文 | 王毓嬋 編 | 張信宇
11 月 7 日，“進(jìn)入外太空”將近 5 個(gè)月后，小諍傳回了她行走在火星表面的視頻。這條視頻展示了火星地表的景色和氣象變化，在 B 站獲得了 15 萬(wàn)播放和 700 多條評(píng)論。
小諍的身份是“新華社數(shù)字記者”、“全球首位數(shù)字航天員”，她由新華社媒體融合生產(chǎn)技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室與騰訊互娛旗下 NExT Studios 聯(lián)合打造，首次亮相于 6 月 17 日神舟十二號(hào)載人飛船發(fā)射的當(dāng)天。按照規(guī)劃，她未來(lái)會(huì)替代真人記者，完成在火星的新聞報(bào)道任務(wù)。
火星上的小諍
“這次火星之旅，是在多場(chǎng)景數(shù)字人資產(chǎn)運(yùn)用取得了一定積累之后，面向下一階段——‘大規(guī)?？山换?shù)字場(chǎng)景’開(kāi)展的關(guān)鍵嘗試。你可以說(shuō)它面向全真互聯(lián)網(wǎng)的超級(jí)數(shù)字場(chǎng)景雛形?！盢ExT Studios 新技術(shù)研發(fā)中心副總監(jiān)葛誠(chéng)說(shuō)。
為小諍提供技術(shù)支持的 NExT Studios （官方稱作“騰訊互娛新體驗(yàn)與技術(shù)部”）是一家騰訊互娛旗下的電子游戲開(kāi)發(fā)商，于 2017 年 4 月在中國(guó)上海成立。NExT Studios在創(chuàng)作超寫(xiě)實(shí)數(shù)字航天員之前，還發(fā)布過(guò)實(shí)時(shí)高保真數(shù)字人 Siren（塞壬）等。
NExT Studios 新技術(shù)研發(fā)中心副總監(jiān)葛誠(chéng)參與了對(duì)小諍和塞壬等數(shù)字人的塑造工作，也見(jiàn)證了近兩年來(lái)該領(lǐng)域技術(shù)水平的提升——2017 年，為了創(chuàng)作塞壬，NExT Studios 花了四個(gè)跨國(guó)團(tuán)隊(duì)將近一年的時(shí)間。而今年，小諍從無(wú)到有，只用了 NExT Studios 15 名工程師的 3 個(gè)月。
小諍
以下為 36 氪與葛誠(chéng)的采訪實(shí)錄：
36氪：小諍在火星的這一期視頻是如何誕生的？Next Studios 做了哪些工作？
葛誠(chéng)：這期高沉浸火星場(chǎng)景視頻主要圍繞小諍探秘火星展開(kāi)，新華社負(fù)責(zé)總策劃、腳本分鏡設(shè)計(jì)以及人工智能語(yǔ)音合成等工作；NExT Studios 負(fù)責(zé) 3D 資產(chǎn)制作，場(chǎng)景搭建，特效仿真，音頻制作，渲染合成等。
36氪：你們 2017 年創(chuàng)作塞壬時(shí)投入了很大的時(shí)間和人力成本，今年創(chuàng)作小諍就快了很多，效率是怎么提升的？
葛誠(chéng)：可以從兩個(gè)方面解釋：一是塞壬追求的是和真人一模一樣，而小諍是超寫(xiě)實(shí)，即 Artist 以真人為基礎(chǔ)加以創(chuàng)作，所以她其實(shí)并不需要像某個(gè)真人，省去了不少 LookDev 的工程量；二是我們 2018 年做完塞壬之后，搭建了一條數(shù)字人制作管線 xFaceBuilder?。
從建模、綁定到動(dòng)畫(huà)，這條管線貫穿了數(shù)字人最關(guān)鍵的人臉制作的流程。xFaceBuilder? 幫我們省下了很多時(shí)間，所以我們僅僅花了兩個(gè)半月，就為小諍做出了第一個(gè)視頻。
36氪：在新華社的 B 站視頻封面上寫(xiě)著一行字“按任意鍵進(jìn)入游戲”，這是什么意思？未來(lái)普通人能夠跟小諍有更多互動(dòng)嗎？
B站視頻封面截圖
葛誠(chéng)：高沉浸互動(dòng)數(shù)字場(chǎng)景是個(gè)有魅力的方向，借助 AI 和實(shí)時(shí)圖形技術(shù)，我們希望能讓普通人也能和高沉浸的數(shù)字內(nèi)容互動(dòng)。
36氪：小諍此次傳回的行走在火星表面的視頻看起來(lái)比之前復(fù)雜得多，Next Studios 是如何完成場(chǎng)景制作的？
葛誠(chéng)：這次是我們第一次使用 UE5 實(shí)時(shí)出片，主要探索的是大場(chǎng)景、海量高解析度模型在 UE5 中的極限表現(xiàn)。角色資產(chǎn)的制作流程上，我們還是依靠自研的 xFaceBuilder 和 xMoCap（基于光學(xué)動(dòng)捕的動(dòng)畫(huà)生產(chǎn)管線）兩套管線，場(chǎng)景制作我們引入了 Houdini 過(guò)程化資產(chǎn)生成（PCG）能力，加速了場(chǎng)景資產(chǎn)的生產(chǎn)效率。
這次整個(gè)場(chǎng)景和角色資產(chǎn)從無(wú)到有，用了不到 3 個(gè)月時(shí)間，而且大量資產(chǎn)是可復(fù)用的，可能會(huì)用于未來(lái)的實(shí)時(shí)互動(dòng)場(chǎng)景。
36氪：xFaceBuilder 可以被應(yīng)用在游戲開(kāi)發(fā)中嗎？
葛誠(chéng)：可以。我們本身就是希望這套流程既可以生產(chǎn)數(shù)字人，也可以生產(chǎn)游戲角色。實(shí)際上，騰訊已經(jīng)有項(xiàng)目開(kāi)始使用 xFaceBuilder 完成了游戲角色的建模、綁定和動(dòng)畫(huà)制作等工作。
36氪：未來(lái) xFaceBuilder 有可能會(huì)被開(kāi)放出來(lái)嗎？
葛誠(chéng)：目前在騰訊內(nèi)部它其實(shí)已經(jīng)是一個(gè)開(kāi)放狀態(tài)了。但我們還需要打磨，因?yàn)樗粌H要支持虛擬人，還要支持游戲角色，這個(gè)打磨的過(guò)程可能需要一兩年。
36氪：從技術(shù)角度來(lái)說(shuō)，創(chuàng)造虛擬人的底層基礎(chǔ)設(shè)施已經(jīng)比較完善了。最近有不少虛擬人網(wǎng)紅出現(xiàn)，其中有些虛擬人甚至是只靠一個(gè)人的力量被創(chuàng)作出來(lái)的。未來(lái)創(chuàng)作和運(yùn)營(yíng)虛擬人會(huì)成為一件沒(méi)有技術(shù)門(mén)檻的事情嗎？
葛誠(chéng)：整個(gè)虛擬人的制作分兩個(gè)階段，先是模型和綁定的制作，再是動(dòng)畫(huà)制作。前一個(gè)階段相當(dāng)于把模具做好，后一個(gè)階段相當(dāng)于用模具來(lái)生產(chǎn)產(chǎn)品。
把靜態(tài)模型做到“好看”并不難。在電影 CG 行業(yè)，一些資深的模型師一個(gè)人就能調(diào)出非常好看、非常像真人的模型，吃的是模型師的手上功夫。更難的還是讓它動(dòng)起來(lái)也很自然傳神，這就需要精細(xì)的動(dòng)畫(huà)技術(shù)，比如：物理仿真，綁定，動(dòng)捕。我們?cè)陔娪袄锝?jīng)常能看到很像真人的CG角色，但讓它實(shí)時(shí)地動(dòng)起來(lái)就很困難。
小諍的面部細(xì)節(jié)
其次是動(dòng)畫(huà)制作。如果你想獲得非常寫(xiě)實(shí)的畫(huà)面，就需要有比較好的動(dòng)捕設(shè)備、算法流程、動(dòng)畫(huà)TA、動(dòng)畫(huà)師。所以要讓動(dòng)畫(huà)做出足夠高的可信度也是一件很高成本的事。
今年四月，英偉達(dá)在發(fā)布會(huì)上展示了“虛擬黃仁勛”，但畫(huà)面僅有約 15 秒。有人問(wèn)：既然他們大費(fèi)周章做了數(shù)字人，為什么不把老黃的整個(gè)演講用虛擬畫(huà)面呈現(xiàn)出來(lái)呢？科技目前還沒(méi)有進(jìn)步到可以非常快速且低成本地生產(chǎn)出電影級(jí)的動(dòng)畫(huà)。
當(dāng)然，國(guó)內(nèi)外很多 Researcher 和工程師都在為這個(gè)目標(biāo)努力。比如 Epic 的 Metahuman 可以快速定制出高質(zhì)量的角色，但是目前 Metahuman 有限的模板庫(kù)還是很難滿足模型師的創(chuàng)作需求。比如用 Metahuman 就很難捏出數(shù)字航天員小諍。
36氪：跨越恐怖谷（注：恐怖谷，由于機(jī)器人與人類相似，兩者的細(xì)微差別會(huì)顯得非常刺眼恐怖，使人有面對(duì)僵尸的感覺(jué)。）還是一個(gè)困難的工作嗎？
葛誠(chéng)：實(shí)時(shí)互動(dòng)的寫(xiě)實(shí)向數(shù)字人，跨越恐怖谷依然是件很困難的工作，即便塞壬也就是剛跨過(guò)了恐怖谷的邊緣。專業(yè)人士仔細(xì)看，還是可以看出來(lái)她不像真人的地方。當(dāng)數(shù)字人趨近恐怖谷邊緣時(shí)，普通人對(duì)數(shù)字人的恐懼感就趨向輕微。
36氪：小諍可以算是 NExT Studios 第一個(gè)投入實(shí)用場(chǎng)景的虛擬人，之前為什么沒(méi)有對(duì)塞壬進(jìn)行商業(yè)化運(yùn)營(yíng)？虛擬人的商業(yè)化時(shí)機(jī)已經(jīng)成熟了嗎？
葛誠(chéng)：我們小團(tuán)隊(duì)在做前沿探索的時(shí)候，不會(huì)特別去考慮它的應(yīng)用場(chǎng)景，因?yàn)檫@會(huì)限制探索的方向和深度。一旦確定某個(gè)方向具備了未來(lái)商業(yè)化的可能，我們會(huì)用 3-5 年的時(shí)間去打磨這條線上的技術(shù)。之前做塞壬和 Matt（NExT Studios 的另一個(gè)虛擬人）的時(shí)候，其實(shí)都沒(méi)有過(guò)于糾結(jié)商業(yè)化，但是接下來(lái)做的一些新角色，我們會(huì)優(yōu)先考慮跟商業(yè)化、運(yùn)營(yíng)相關(guān)的技術(shù)。
從 2017 年開(kāi)始，國(guó)內(nèi)已經(jīng)有不少企業(yè)加入了虛擬偶像賽道，這個(gè)賽道目前來(lái)看是紅紅火火，但實(shí)際上平均利潤(rùn)率還是比較低的。大家并沒(méi)有找到特別好的方式可以讓一個(gè)角色像真人 IP 一樣運(yùn)轉(zhuǎn)起來(lái)，這受限于技術(shù)、內(nèi)容，更多的是商業(yè)模式還需要進(jìn)一步探索。
但是我相信虛擬偶像產(chǎn)業(yè)目前還處在非常初級(jí)的階段。接下來(lái)一定會(huì)有一個(gè)世界，可能是Metaverse（元宇宙），來(lái)承載風(fēng)格各異的虛擬偶像。在那個(gè)世界里，每位虛擬人都擁有自己的 ID，也許還會(huì)有建立在 NFT（非同質(zhì)化代幣）上的交易。這樣虛擬人就能與真人、真實(shí)世界建立更完整的商業(yè)關(guān)系和情感紐帶。
現(xiàn)在各家單打獨(dú)斗做虛擬人，今天做個(gè)屏保，明天做個(gè)直播，后天帶個(gè)貨……從 IP 角度來(lái)說(shuō)，其實(shí)尚未形成虛擬 IP 成長(zhǎng)的最好土壤，也就是“如同真實(shí)世界的數(shù)字世界”。
36氪：目前來(lái)看，虛擬人還是被集中應(yīng)用在了娛樂(lè)產(chǎn)業(yè)中。除了當(dāng)偶像，虛擬人未來(lái)可能還會(huì)有什么樣的應(yīng)用場(chǎng)景？
葛誠(chéng)：未來(lái)虛擬人可能會(huì)成為人們遠(yuǎn)程溝通的媒介，但它不是現(xiàn)有視頻聊天軟件的衍生品。因?yàn)楫?dāng)一個(gè)可信的虛擬世界徐徐展開(kāi)的時(shí)候，虛擬 IP 不再是現(xiàn)實(shí)世界中的一個(gè)附加品，而是虛擬世界中“實(shí)實(shí)在在”的存在。兩個(gè)世界的界限也會(huì)漸漸打破。當(dāng)下，最重要的是精進(jìn)數(shù)字內(nèi)容技術(shù)，在大眾間打造高可信度的社交紐帶。我們?cè)诔@個(gè)方向努力。
