在2021GTC大會(huì)上，英偉達(dá)CEO黃仁勛表示Omniverse愿景是讓個(gè)人模擬制造出遵從物理規(guī)律的共享3D虛擬世界。Omniverse可完成實(shí)時(shí)3D設(shè)計(jì)協(xié)作和虛擬世界模擬，將圖形、AI、模擬和可擴(kuò)展計(jì)算整合到一個(gè)平臺(tái)上。
同時(shí)，英偉達(dá)將自己定位為提供底層基礎(chǔ)設(shè)施服務(wù)商。英偉達(dá)技術(shù)專家表示，Omniverse為“數(shù)字人”引入了最接近“人”的表情、語言系統(tǒng)。英偉達(dá)認(rèn)為，當(dāng)數(shù)字人跟真人可以溝通交流，貫穿真實(shí)跟虛擬世界時(shí)，才算是完美詮釋了元宇宙的概念。
今年NVIDIA GTC大會(huì)已于3月21日展開，CEO黃仁勛在主題演講中，著重介紹了Omniverse Avatar。黃仁勛請(qǐng)出了基于自身形象定制的、完全實(shí)時(shí)、完全動(dòng)畫化的Avatar——Toy Jensen。并借Toy Jensen之口介紹了Avatar的制作流程。
Avatar是一個(gè)基于Omniverse平臺(tái)框架構(gòu)建的虛擬人，Avatar的聲音完全由Riva的文本轉(zhuǎn)語音RADTTS合成，而且可用于通過Omniverse Audio2Face驅(qū)動(dòng)Avatar的面部動(dòng)畫。接下來Omniverse動(dòng)畫的動(dòng)畫圖形用于定義并控制Avatar的動(dòng)作，包括手和手臂的動(dòng)作，以及細(xì)微的頭部和身體運(yùn)動(dòng)。
使用NVIDIA開源的跨平臺(tái)材質(zhì)定義語言（MDL）可以增加觸感，而RTX渲染器能實(shí)時(shí)以高保真度呈現(xiàn)Avatar形象。最后得益于Riva中的最新對(duì)話式AI技術(shù)和Megatron 530B NLP模型，從而實(shí)現(xiàn)Avatar自由對(duì)話。
同時(shí)Omniverse Avatar可以從云、數(shù)據(jù)中心、或其它任何分解系統(tǒng)運(yùn)行，而這都要?dú)w功于Tokkio。Tokkio是一款使用Omniverse Avatar構(gòu)建的應(yīng)用，它將客戶服務(wù)AI引入零售店、快餐餐廳甚至網(wǎng)絡(luò)。它使用計(jì)算機(jī)視覺、Riva語言AI和NVIDIA NeMO 等NVIDIA AI模型和技術(shù)打造而成。由于Tokkio在我們的統(tǒng)一計(jì)算框架（或UCF）上運(yùn)行，因此可以從云端橫向擴(kuò)展。
如果說Omniverse的魅力是融合多種可能，將游戲、VR、數(shù)字會(huì)議空間、數(shù)字資產(chǎn)，甚至可能是到大腦與機(jī)器的互動(dòng)，乃至于人工智能被納入其中。在做到融合的愿景之前，業(yè)界普遍看好行業(yè)底層技術(shù)如游戲引擎和數(shù)字人廣泛地應(yīng)用到其它領(lǐng)域。
2月23日晚11點(diǎn)，NVIDIA GTC 2022在電話會(huì)上談?wù)摂?shù)字人如何影響各行各業(yè)。對(duì)話嘉賓有Cedrus Digital 研發(fā)負(fù)責(zé)人 Sarah Bacha 、迪士尼動(dòng)畫工作室研發(fā)副總裁Markus Gross， Epic Games數(shù)字人科技部門副總經(jīng)理Vladimir Mastilovic、Cine Tracer 開發(fā)者M(jìn)att Workman，NVIDIA圖形處理及AI負(fù)責(zé)人Simon Yuen， Reallusion產(chǎn)品市場(chǎng)副總經(jīng)理John Matin II及Microsoft首席科學(xué)家Erroll Wood。
以下是編譯內(nèi)容節(jié)選，略經(jīng)編輯：
Epic Games數(shù)字人科技部門副總經(jīng)理Vladimir Mastilovic:
大家好，我的名字是弗拉基米爾，我是Epic Games數(shù)字人技術(shù)副總裁。早前，我供職于數(shù)字人技術(shù)與創(chuàng)意內(nèi)容開發(fā)商3Lateral。從那時(shí)開始，我們一直專注于研發(fā)數(shù)字人技術(shù)。因此，我們整合優(yōu)化了大量動(dòng)捕系統(tǒng)，以便在實(shí)時(shí)環(huán)境處理大量數(shù)據(jù)。我們很多項(xiàng)目都圍繞開放世界游戲，比如最近的《極限競(jìng)速：地平線》系列。
我們?cè)趯?shí)時(shí)數(shù)據(jù)處理方面擁有豐富的經(jīng)驗(yàn)。我們研發(fā)了 Metrics Human Product，我們的使命是把它帶給每個(gè)人，幫助他們講故事，期望未來能廣泛地應(yīng)用到其它領(lǐng)域。
Cine Tracer開發(fā)者M(jìn)att Workman :
大家好，我是馬特·沃克曼。我是一名專注數(shù)字人的開發(fā)者和內(nèi)容生產(chǎn)者。幾乎每一天，我都專注于開發(fā)一款電影攝影布光產(chǎn)品Cine Tracer。Cine Tracer用虛幻引擎制作，主要被電影制作者用于預(yù)演和故事板，現(xiàn)在它在Steam上銷售。
在過去的一年里，我一直在整合數(shù)字人資產(chǎn)，做了很多衣服、鞋子、帽子等等。我一直在制作有關(guān)動(dòng)作捕捉的內(nèi)容，而后用在Cine Tracer，并盡我所能努力提高質(zhì)量。
NVIDIA圖形處理及AI負(fù)責(zé)人 Simon Yuen:
大家好，我是西蒙·尤尼恩，我是英偉達(dá)人工智能和圖形處理總監(jiān)。大約4年前，我加入了視頻行業(yè)，在此之前，我花了20多年時(shí)間制作視覺特效，創(chuàng)造數(shù)字人類、生物等等。我們看到游戲娛樂、電影等領(lǐng)域，對(duì)數(shù)字人需求與日俱增。想問一個(gè)問題，大家在生產(chǎn)數(shù)字人時(shí)是否需要耗費(fèi)大量時(shí)間？對(duì)一些領(lǐng)域?qū)＜襾碚f，這是非常耗時(shí)的。因此，我們想使用人工智能來加速這一進(jìn)程，希望最終能夠普及且質(zhì)量不錯(cuò)。
Reallusion產(chǎn)品市場(chǎng)副總經(jīng)理JohnMatinII:
大家好，我叫約翰·馬丁，來自3D/2D 即時(shí)動(dòng)畫公司Reallusion。公司為動(dòng)畫系統(tǒng)、角色、創(chuàng)造提供工具。對(duì)公司來說，優(yōu)先級(jí)最高的事情是把工具融入到行業(yè)發(fā)展大勢(shì)中，讓動(dòng)畫角色流動(dòng)起來。舉例來說，我們已經(jīng)Omniverse平臺(tái)成功打通，在此基礎(chǔ)之上大家可以聯(lián)合任意一家社區(qū)來創(chuàng)建和協(xié)作。
我們的使命是把我們的角色打造成一個(gè)可擴(kuò)展的版本，無論你需要一群人還是單個(gè)高逼真度、實(shí)時(shí)的角色。大家可以輕松地接入。這些先進(jìn)的數(shù)字人，對(duì)于行業(yè)發(fā)展非常重要。
Microsoft首席科學(xué)家Erroll Wood:
我是Erroll，我擔(dān)任微軟混合現(xiàn)實(shí)和人工智能實(shí)驗(yàn)室的首席科學(xué)家?；旧?，我們的工作室圍繞混合現(xiàn)實(shí)、全息眼鏡及增強(qiáng)現(xiàn)實(shí)等硬件。你可以將設(shè)備戴在頭上，或者連接到具有景深功能的相機(jī)上。我們致力于研究人們使用混合現(xiàn)實(shí)備時(shí)，如何互動(dòng)和交流才能變得更愉快。
我們有很多計(jì)算機(jī)視覺問題需要去解決。但我一直在研究，我們?nèi)绾问褂糜蓴?shù)字人類驅(qū)動(dòng)的合成數(shù)據(jù)來解決這些計(jì)算機(jī)視覺問題。然而，目前有很多傳統(tǒng)的機(jī)器學(xué)習(xí)問題，很難收集正確的數(shù)據(jù)。
迪士尼動(dòng)畫工作室研發(fā)副總經(jīng)理Markus Gross:
我現(xiàn)在在迪士尼工作室擔(dān)任首席科學(xué)家，早前曾在瑞士聯(lián)邦理工學(xué)院（ETH）計(jì)算機(jī)符號(hào)學(xué)院工作了近30年。大約在25年前，我開始研究數(shù)字人，主要是為了基于物理模擬的醫(yī)學(xué)應(yīng)用。進(jìn)入迪士尼后，我們開始涉足娛樂和特效等領(lǐng)域。過去10年里，我們所做的美杜莎動(dòng)物動(dòng)作捕捉系統(tǒng)，對(duì)行業(yè)意義重大。目前，它已被集成至工業(yè)光魔特效管道中。
我們小組致力于把數(shù)字人帶到日常生活中，這在電影特效領(lǐng)域應(yīng)用尤為廣泛。十三年前，我加入迪士尼后，花了很長(zhǎng)時(shí)間才把數(shù)字人面部動(dòng)畫效果提升至真人水平。通常情況下，動(dòng)畫效果由故事驅(qū)動(dòng)。我們想要塑造能夠向觀眾投射真實(shí)情感深度的數(shù)字角色，他們會(huì)跟觀眾建立聯(lián)系。在這一點(diǎn)上，我相信我們已經(jīng)在某種程度上實(shí)現(xiàn)了這一目標(biāo)。電影中基于動(dòng)捕的數(shù)字角色是絕對(duì)可信和真實(shí)的。
看來，隨著元宇宙興起，以及NLP、AI等技術(shù)推動(dòng)下，實(shí)時(shí)數(shù)字人有望迎來新一輪爆發(fā)。他們?cè)谛袠I(yè)中的重要性將變得愈發(fā)重要。
Reallusion產(chǎn)品市場(chǎng)副總經(jīng)理John Matin II:
現(xiàn)在，制作電影的門檻已經(jīng)相對(duì)較低，尤其是拍攝前期，無需龐大的制作團(tuán)隊(duì)及設(shè)備，大家都站在同一起跑線上。如果大家目標(biāo)是打造像素動(dòng)畫，用現(xiàn)有工具非常容易實(shí)現(xiàn)這一目標(biāo)。我認(rèn)為，獨(dú)立電影人潛力巨大，他們能打破傳統(tǒng)制作流程，引入新制作思路，會(huì)對(duì)行業(yè)產(chǎn)生巨大影響。
在實(shí)際拍攝中，數(shù)字人可以幫助導(dǎo)演、編劇更好地詮釋畫面。像Cine Tracer工具就非常好用。
Cine Tracer 開發(fā)者M(jìn)att Workman:
我認(rèn)為，如果我們把個(gè)體創(chuàng)造者看作是創(chuàng)造者經(jīng)濟(jì)，那么他們會(huì)對(duì)數(shù)字人做什么？這是我們將要考慮到的現(xiàn)實(shí)問題。聽起來，使用已有創(chuàng)作者工具，會(huì)有多種方式讓木偶變成數(shù)字人，輕輕地點(diǎn)擊一下就行。在制作過程中，它實(shí)際上需要調(diào)校好的算法進(jìn)行分發(fā)。
現(xiàn)在看來，遠(yuǎn)程協(xié)作將變成日常工作模式。那么，你是否能讓開發(fā)者協(xié)作變得快捷，讓電影學(xué)院學(xué)生在宿舍就能完成拍攝？我個(gè)人還蠻期待這種協(xié)作方式的。
Epic Games數(shù)字人科技部門副總經(jīng)理Vladimir Mastilovic:
20年前，當(dāng)我進(jìn)入數(shù)字人領(lǐng)域時(shí)，感覺互動(dòng)媒體是一種真正的藝術(shù)形式，它還沒有被超越?，F(xiàn)在，它們?cè)谏虡I(yè)上成果豐碩。還想提一句，最近Epic公布的虛幻5引擎開發(fā)的演示DEMO:《黑客帝國(guó):覺醒》讓人虛實(shí)難辨，真的很有趣。
我們將不再把電影看作是線性內(nèi)容。它將被轉(zhuǎn)化為同時(shí)具有交互性和線性兩種特質(zhì)的產(chǎn)物。你將有機(jī)會(huì)選擇，甚至直接參與。事實(shí)上，從后期制作中的特效演變?yōu)榍捌谝曈X化、虛擬制作，這似乎是娛樂業(yè)的自然演變。
Microsoft首席科學(xué)家Erroll Wood:
Microsoft在數(shù)字人方面取得的進(jìn)展，將幫助我們以新的方式解決傳統(tǒng)的計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)問題。特別是計(jì)算機(jī)視覺領(lǐng)域。我們正呼吁越來越多的人重視合成數(shù)據(jù)的重要性。原因在于，當(dāng)你可以制作出更多樣化的數(shù)據(jù)，訓(xùn)練模型有望更加具有實(shí)用性。
公司不少已發(fā)布產(chǎn)品，都采用合成數(shù)據(jù)進(jìn)行訓(xùn)練。我們意識(shí)到，就像其它計(jì)算機(jī)視覺問題一樣，數(shù)字人可以解決這些問題。
NVIDIA圖形處理及AI負(fù)責(zé)人Simon Yuen:
我將在大家談?wù)摰膬?nèi)容和視頻基礎(chǔ)上展開討論。我們擁有相當(dāng)多樣化的客戶，都是關(guān)于虛擬世界的。由于內(nèi)容創(chuàng)造速度和雇傭員工數(shù)量有限，利用人工智能加速成為一個(gè)大趨勢(shì)。
更重要的是，我認(rèn)為Sarah、Erroll和其他人提到的其它領(lǐng)域也在增長(zhǎng)。像醫(yī)院中的殘疾患者，他們或許更喜歡與數(shù)字人交談，而不是真人。原因在于，與數(shù)字人交談讓他們感到更舒服。我將以這個(gè)例子做結(jié)束，我的一個(gè)朋友，他們的孩子大約10歲，他們使用iPhone Siri交談的方式與我們大多數(shù)人不同。他們像跟朋友一樣和他們交談。
所以，我認(rèn)為無論是我們這一代還是下一代，都會(huì)跟虛擬角色建立關(guān)系。這將成為我們生活的一部分。同時(shí)，這也造成一個(gè)明顯的問題，當(dāng)我們開始研究用數(shù)字人技術(shù)時(shí)，耗費(fèi)時(shí)間長(zhǎng)達(dá)數(shù)十年之巨才能擁有阿拉丁精靈、霍克教授。
特效的數(shù)字人體技術(shù)時(shí)，它需要花費(fèi)整整十年的持續(xù)研究和技術(shù)改進(jìn)，才能在某種程度上超越了年輕的肯尼谷?；孟氲臄?shù)字人類類型從阿拉丁精靈類型到霍克教授皆有。
所以這真的需要一段很長(zhǎng)的時(shí)間。在不同的場(chǎng)景中，我們不一定非得需要一個(gè)真人，可以是擬真人類或者是抽象人物。
Cedrus Digital 研發(fā)負(fù)責(zé)人 Sarah Bacha:
在我看來，發(fā)展何種數(shù)字人類型完全取決于用途。比如你想做什么？如果你想讓他們與真人聯(lián)系起來，或許知名歷史人物會(huì)更具親和力。如果是一款教育作品，頭像越逼真越能與學(xué)生產(chǎn)生聯(lián)系。如果你不想讓它聯(lián)想到真人，我會(huì)說數(shù)字人越抽象越好。
再次強(qiáng)調(diào)，這一切取決于我們?yōu)槭裁葱枰@個(gè)數(shù)字人。
Reallusion產(chǎn)品市場(chǎng)副總經(jīng)理John Matin II:
我認(rèn)為美妙之處在于實(shí)時(shí)數(shù)字人一直在進(jìn)步。眼下數(shù)字人現(xiàn)在正變得更加真實(shí)，像頭發(fā)等，這主要是由于引擎不斷在進(jìn)化?？紤]數(shù)字人整體性，如果衣服、眼鏡等配飾有更多選擇的話，它會(huì)顯得更加真實(shí)。當(dāng)然，這與不同的角色特性有關(guān)。
關(guān)鍵詞： 副總經(jīng)理 計(jì)算機(jī)視覺 人工智能
