老黃家熟悉的廚房又出現(xiàn)了，不過(guò)這次英偉達(dá)沒(méi)有像“虛擬數(shù)字人”那次賣(mài)關(guān)子，在11月9日GTC大會(huì)（GPU Technology Conference）的主題演講開(kāi)始不久廚房就開(kāi)始逐漸虛化，對(duì)，人真了但廚房是假的！場(chǎng)景轉(zhuǎn)換為英偉達(dá)大樓。
這次的假?gòu)N房和上次的虛擬老黃用到的都是Omniverse技術(shù)
英偉達(dá)的每次GTC發(fā)布會(huì)總能給人帶來(lái)不少驚喜。在大會(huì)正式開(kāi)始之前，英偉達(dá)股價(jià)在上周便開(kāi)始應(yīng)聲而漲。有不少投資者認(rèn)為此次大會(huì)可能會(huì)凸顯英偉達(dá)在今年火爆的“元宇宙”主題下的機(jī)遇，應(yīng)為英偉達(dá)所擅長(zhǎng)的GPU之于元宇宙，就相當(dāng)于鋰電池之于新能源車(chē)。雖然老黃在一個(gè)半小時(shí)多的主題演講里沒(méi)有太刻意去強(qiáng)調(diào)元宇宙的概念，但本次大會(huì)中，確實(shí)有不少新技術(shù)產(chǎn)品的背后都有元宇宙的影子。
先下結(jié)論，老黃的整個(gè)主題演講其實(shí)就想傳達(dá)一個(gè)核心觀念——英偉達(dá)在推進(jìn)AI在各行各業(yè)發(fā)展的過(guò)程中扮演了關(guān)鍵角色。串起這個(gè)觀念的內(nèi)容自然是展示自家的核心技術(shù)，簡(jiǎn)要來(lái)說(shuō)，英偉達(dá)展示了自家產(chǎn)品在企業(yè)和數(shù)據(jù)中心AI、對(duì)話式AI和自然語(yǔ)言處理領(lǐng)域的最新技術(shù)，以及邊緣AI的應(yīng)用，如機(jī)器人、醫(yī)療和自動(dòng)駕駛汽車(chē)等。
這次主題演講的重頭戲自然跟外界炒的沸沸揚(yáng)揚(yáng)元宇宙難脫關(guān)系。英偉達(dá)在本次GTC大會(huì)上發(fā)布了NVIDIA Omniverse——一個(gè)用于3D工作流程的虛擬世界模擬和協(xié)作平臺(tái) 。其實(shí)英偉達(dá)在去年12月就發(fā)布了Omniverse平臺(tái)的公開(kāi)測(cè)試版，它可以讓創(chuàng)造者在物理精確模擬或3D渲染中進(jìn)行實(shí)時(shí)協(xié)作。
如今，Omniverse平臺(tái)再次升級(jí)，新發(fā)布了Omniverse Avatar和Omniverse Replicator。其中，Omniverse Avatar是一個(gè)用于生成交互式AI化身的技術(shù)平臺(tái)。它集合了英偉達(dá)在語(yǔ)音AI、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言理解、推薦引擎和模擬技術(shù)方面積累的技術(shù)，為創(chuàng)建人工智能助手打開(kāi)了大門(mén)，可以幫助處理數(shù)十億的日?？蛻?hù)服務(wù)互動(dòng)。Omniverse Replicator則是一種合成數(shù)據(jù)生成引擎，可以基于現(xiàn)有數(shù)據(jù)持續(xù)生成用于訓(xùn)練的合成數(shù)據(jù)。
Omniverse的門(mén)戶(hù)是USD（通用場(chǎng)景描述）黃仁勛認(rèn)為Omniverse的本質(zhì)是一個(gè)數(shù)字蟲(chóng)洞。未來(lái)任何計(jì)算機(jī)都可以連接到Omniverse，并將一個(gè)Omniverse世界連接到另一個(gè)世界，USD之于Omniverse就像HTML（一種標(biāo)記語(yǔ)言，可以將網(wǎng)絡(luò)上的文檔格式統(tǒng)一）基于網(wǎng)站。
黃仁勛對(duì)Omniverse頗有野心。老黃表示，人們經(jīng)常說(shuō)“互聯(lián)網(wǎng)改變了一切”，在萬(wàn)物互聯(lián)的當(dāng)下，互聯(lián)網(wǎng)本質(zhì)上是這個(gè)世界的數(shù)字化表達(dá)，這種數(shù)字化覆蓋了所有2D層面的信息，即文本、語(yǔ)音、圖像、視頻。如今，隨著技術(shù)的進(jìn)一步發(fā)展，3D層面的信息也在不斷涌現(xiàn)。
在黃仁勛的設(shè)想當(dāng)中，未來(lái)會(huì)有很多的設(shè)計(jì)者、創(chuàng)造者在虛擬現(xiàn)實(shí)、Metaverse中設(shè)計(jì)數(shù)字事物，然后才在現(xiàn)實(shí)世界中去完成設(shè)計(jì)，包括汽車(chē)、包、鞋子等等產(chǎn)品。而此次發(fā)布的Omniverse平臺(tái)，正是擁有著創(chuàng)建全新3D世界或?yàn)槲锢硎澜缃５募夹g(shù)。
用一句互聯(lián)網(wǎng)黑話表示，就是所有現(xiàn)實(shí)世界中物理存在或不存在的東西，都值得在Omniverse上再做一遍?？蛇@么看來(lái)，Omniverse不就和游戲引擎一樣了嘛，但老黃說(shuō)了Omniverse是面向數(shù)據(jù)中心的規(guī)模來(lái)設(shè)計(jì)的，在未來(lái)或可能達(dá)到全球數(shù)據(jù)規(guī)模，也就是說(shuō)英偉達(dá)的預(yù)期是未來(lái)的Omniverse能真的為物理世界建模。
當(dāng)然，讓Omniverse中的虛擬物品與物理世界中的人進(jìn)行實(shí)時(shí)交互仍存在諸多挑戰(zhàn)。黃仁勛表示：“如何使用Omniverse模擬倉(cāng)庫(kù)、工廠、物理和生物系統(tǒng)、5G邊緣、機(jī)器人、自動(dòng)駕駛汽車(chē)，甚至是虛擬形象的數(shù)字孿生，是一個(gè)永恒的主題?！?/p>
接下來(lái)黃仁勛展示了Omniverse Avatar結(jié)合英偉達(dá)各項(xiàng)技術(shù)后生產(chǎn)出來(lái)的實(shí)時(shí)應(yīng)用程序。首先是用于客戶(hù)支持的Project Tokkio，“Tokkio”是一款智能操作臺(tái)應(yīng)用程序，在視頻案例中“Tokkio”在一家快餐店服務(wù)，與兩位顧客直接對(duì)話并幫助顧客進(jìn)行了點(diǎn)餐服務(wù)。
基于Omniverse Avatar制作的智能操作臺(tái)應(yīng)用程序Tokkio
如果將Omniverse Avatar與Drive Concierge相結(jié)合，可愛(ài)的自定義行車(chē)虛擬助手便出現(xiàn)了。
Omniverse Avatar展示的另一個(gè)例子則是老黃自己的AI化身，英偉達(dá)的員工們?cè)缇烷_(kāi)始用老黃的聲音構(gòu)建出了一個(gè)會(huì)對(duì)話的語(yǔ)音合成AIToy-Me——一個(gè)玩具AI老黃。不得不說(shuō)，老黃確實(shí)懂得多，玩具版的AI老黃在視頻案例中輕松回答了氣候、天文、生物三個(gè)領(lǐng)域?qū)＜业膶?zhuān)業(yè)問(wèn)題。
黃仁勛表示：“你會(huì)看到這個(gè)虛擬形象是基于目前訓(xùn)練的最大語(yǔ)言模型的語(yǔ)言處理打造，包括聲音也是用我自己的語(yǔ)音進(jìn)行合成，還可以看到實(shí)時(shí)基于光線追蹤的精美圖像。”
實(shí)時(shí)對(duì)話AI機(jī)器人“Toy Jensen Omniverse Avatar”
老黃還將Omniverse Avatar與視頻會(huì)議平臺(tái)Maxine相結(jié)合，為虛擬協(xié)作和內(nèi)容創(chuàng)建應(yīng)用添加了音視頻功能。在視頻案例中，一位女士在嘈雜的咖啡廳中可以視頻會(huì)議中簡(jiǎn)單的去除背景噪音后通話，同時(shí)，她的英文可以被實(shí)時(shí)轉(zhuǎn)化為多種語(yǔ)言，并生成對(duì)應(yīng)口型及語(yǔ)調(diào)的虛擬形象。
一個(gè)看似簡(jiǎn)單AI數(shù)字人其實(shí)并不簡(jiǎn)單，Omniverse Avatar能夠如此強(qiáng)大的原因在于其背后英偉達(dá)近年來(lái)的技術(shù)突破，老黃直稱(chēng)在幾年前想要實(shí)現(xiàn)上述案例的功能幾乎不可能。如今，Omniverse Avatar的推薦引擎采用Merlin方案，該框架允許企業(yè)能夠建立處理大量數(shù)據(jù)的深度學(xué)習(xí)推薦系；感知能力則來(lái)自計(jì)算機(jī)視覺(jué)框架Metropolis；頭像動(dòng)畫(huà)由Video2Face和Audio2Face（二維和三維AI驅(qū)動(dòng)的面部動(dòng)畫(huà)和渲染技術(shù)）驅(qū)動(dòng)。
黃仁勛在演講上發(fā)布的另一項(xiàng)產(chǎn)品Omniverse Replicator，已產(chǎn)生了兩個(gè)用于生成合成數(shù)據(jù)的應(yīng)用——NVIDIA DRIVE Sim?、NVIDIA Isaac Sim?。它們分別是用于承載自動(dòng)駕駛汽車(chē)數(shù)字孿生的虛擬世界和用于可操縱機(jī)器人數(shù)字孿生的虛擬世界。
Omniverse Replicator的優(yōu)勢(shì)在于它能在一定程度上代替真人來(lái)進(jìn)行昂貴、費(fèi)力的數(shù)據(jù)標(biāo)記工作，同時(shí)這些虛擬世界中產(chǎn)生的數(shù)據(jù)可以涵蓋各類(lèi)不同場(chǎng)景，包括在現(xiàn)實(shí)世界中無(wú)法經(jīng)常經(jīng)歷的場(chǎng)景以及極度危險(xiǎn)的場(chǎng)景。它還能生成人類(lèi)難以或無(wú)法標(biāo)記的真值數(shù)據(jù)，如速度、深度、被遮擋的物體、惡劣的天氣條件、追蹤各傳感器上的物體移動(dòng)等。當(dāng)自動(dòng)駕駛汽車(chē)和機(jī)器人在系列虛擬環(huán)境中得到充分訓(xùn)練后，才會(huì)逐漸應(yīng)用到現(xiàn)實(shí)世界當(dāng)中。
此外，黃仁勛還公布了Omniverse的另外四項(xiàng)功能。Showroom——一個(gè)包含演示和示例應(yīng)用程序，展示了Omniverse核心技術(shù)；Farm——一個(gè)系統(tǒng)層，用于協(xié)調(diào)跨多個(gè)系統(tǒng)、工作站、服務(wù)器和虛擬化批作業(yè)處理，可以用于批量渲染，AI合成數(shù)據(jù)生成或分布式計(jì)算；Omniverse AR——可以將將圖形串流到手機(jī)或者AR眼鏡；Omniverse VR——首款全幀交互式光線追蹤VR。
英偉達(dá)對(duì)Omniverse的期待遠(yuǎn)不止于此，英偉達(dá)還將利用Omniverse來(lái)構(gòu)建一個(gè)數(shù)字孿生模型來(lái)模擬和預(yù)測(cè)氣候變化。黃仁勛表示：“預(yù)測(cè)氣候變化，以制定減緩和適應(yīng)策略，可以說(shuō)是當(dāng)今社會(huì)面臨的最大挑戰(zhàn)之一?！?/p>
英偉達(dá)的上一臺(tái)超級(jí)計(jì)算機(jī)是Cambridge-1，而如今用來(lái)模擬和預(yù)測(cè)氣候變化的這臺(tái)新的超級(jí)計(jì)算機(jī)將叫做E-2（Earth Two），寓意為地球的數(shù)字孿生，它能夠在Omniverse中以數(shù)百萬(wàn)倍的速度運(yùn)行Modulus創(chuàng)建的AI物理模型。
NVIDIA Cambrigde-1 中的GPU
在主題演講最后，黃仁勛表示人類(lèi)需要在為時(shí)已晚之前采取行動(dòng)緩解和適應(yīng)當(dāng)今越來(lái)越頻繁的極端天氣，而“我們目前發(fā)明的所有技術(shù)，均是實(shí)現(xiàn)Earth Two所必不可少的，我想不出比這更宏偉、更重要的用途?！?/p>
本文來(lái)自微信公眾號(hào)“硅星人”（ID：guixingren123），作者：洪雨晗，36氪經(jīng)授權(quán)發(fā)布。
