?????????????????????【導(dǎo)讀】元宇宙這條路，又多了一個(gè)實(shí)力干將！近日，Unity斥資16.25億美元收購(gòu)了《阿凡達(dá)》、《復(fù)聯(lián)4》背后的視覺(jué)特效公司W(wǎng)eta Digital。
還記得復(fù)仇者聯(lián)盟4最終大戰(zhàn)那個(gè)恢弘的場(chǎng)面嗎？
?又或是在阿凡達(dá)星球上的奇遇?
這些精彩的畫(huà)面，總是讓人非常好奇：如此嘆為觀止的震撼的視覺(jué)特效，究竟是出自誰(shuí)之手呢？
答案揭曉！
這些經(jīng)典電影背后強(qiáng)大的渲染技術(shù)正是來(lái)自曾6次獲得奧斯卡最佳視覺(jué)效果獎(jiǎng)，由著名導(dǎo)演Peter Jackson創(chuàng)建的Weta Digital（維塔數(shù)字）。
?
而就在11月9日，這家工作室被全球交互式實(shí)時(shí)3D（Real Time 3D，RT3D）內(nèi)容創(chuàng)作和運(yùn)營(yíng)平臺(tái)Unity出資16.25億美元收購(gòu)。
根據(jù)公告的說(shuō)法，本次收購(gòu)是為了將 Weta Digital 的獨(dú)家視覺(jué)特效（VFX）工具集成到Unity平臺(tái)，為實(shí)現(xiàn)新一代3D創(chuàng)意內(nèi)容和塑造「元宇宙」的未來(lái)提供幫助。
那么就是說(shuō)，未來(lái)Unity要在「元宇宙」這條路上大步流星。
要建立元宇宙，打造數(shù)字人類化身是最重要的核心難點(diǎn)之一。
但是，或許你無(wú)法想象，數(shù)字化身的逼真度目前已經(jīng)可以無(wú)限逼近人類。
下面這位真人小姐姐便是由 Unity 用時(shí)2個(gè)月打造。
她會(huì)嘟嘴賣萌，也會(huì)緊皺眉頭生氣，如果有了她你還需要再捏造二次元老婆么。
?前段時(shí)間，Unity技術(shù)開(kāi)放日上揭秘了數(shù)字人的部分制作流程，主要分為兩個(gè)主題，一個(gè)是渲染，一個(gè)是流程。
上面這個(gè)虛擬小姐姐的制作用到的就是人臉掃描+FACS表情編碼技術(shù)來(lái)進(jìn)行實(shí)時(shí)高清渲染。
虛擬人頭發(fā)渲染是通過(guò)機(jī)器掃描一位真人，之后再用Unity最近發(fā)布了全新的頭發(fā)系統(tǒng)進(jìn)行渲染。
在設(shè)置中可以將不同的配置進(jìn)行分組，每個(gè)配置文件都可以調(diào)細(xì)節(jié)。
Unity團(tuán)隊(duì)介紹道，「關(guān)于數(shù)字人臉部動(dòng)畫(huà)的制作，我們是用手機(jī)蘋(píng)果 ARKit 方法進(jìn)行面部表情捕捉的?！?/p>
關(guān)于面部表情捕捉，這其實(shí)是另外一項(xiàng)技術(shù)，需要搭配蘋(píng)果手機(jī)并使用 Face Cap 軟件，面部表情捕捉可以提供更高精度和細(xì)節(jié)的面部表情。
通過(guò)使用 FBX 文件導(dǎo)件，可以用左邊的白模把動(dòng)作移動(dòng)到角色上。
?還有，數(shù)字人眼瞼的幾何形狀這一部分的制作并非易事。
由于在捕獲真人數(shù)據(jù)的過(guò)程中睫毛部分遮擋了眼瞼，數(shù)據(jù)難免存在噪音。
?結(jié)果就會(huì)導(dǎo)致眼瞼的幾何形狀不準(zhǔn)確，這意味著必須找到一種方法來(lái)重建這些區(qū)域的幾何形狀。
Unity 可以將這些數(shù)據(jù)輸入系統(tǒng)，并使用差分網(wǎng)格處理技術(shù)（Differential Mesh Processing tech）進(jìn)行了特定區(qū)域的降噪和重建。
?
那么，Unity 如何通過(guò)技術(shù)來(lái)?yè)崞桨櫦y？
面部圖像中的特征在輸入序列中就存在遺漏的表面細(xì)節(jié)，比如皺紋和毛孔的拉伸。
為了處理這些細(xì)致的表面細(xì)節(jié)，Unity 將導(dǎo)入序列的幾何圖形與來(lái)自 Snappers Systems 的混合形狀基于面部的特征映射結(jié)合起來(lái)。
前后額部皺紋貼合
眼鏡著色部分是 Unity 通過(guò)眼睛著色器有效地將眼睛模擬為兩層，其中第一層用于描述角膜和表面的液體，第二層用于描述鞏膜和虹膜，通過(guò)第一層可見(jiàn)。
照明在兩層之間被分開(kāi)，鏡面照明是專門(mén)為頂層評(píng)估的，而漫射照明只是為底層評(píng)估的。
?包括淚線這么一個(gè)微小細(xì)節(jié)也不能放過(guò)。
就那下面兩個(gè)對(duì)比圖來(lái)說(shuō)，左邊沒(méi)有淚線，右邊添加了淚線，并且進(jìn)行了陰影處理，哪個(gè)更真實(shí)也就不言而喻。
添加淚線前后對(duì)結(jié)果
Unity介紹自己的數(shù)字人生產(chǎn)全量流程包括了：4D真人掃描，高精度面部建模等等。
可能以后甚至不需要真人演員，用數(shù)字人就可以拍出一線大片，也不用考慮會(huì)有緋聞、合同等各種問(wèn)題。
對(duì)于Unity來(lái)說(shuō)，其自身還有一套HDRP高清渲染管線，這是專為高端硬件上的高畫(huà)質(zhì)渲染量身定制的工具，可以充分挖掘PC和主機(jī)的全部視覺(jué)保真度。
可以看到，用Unity HDRP可以打造出影視大片級(jí)的畫(huà)面。
Unity的渲染能力已經(jīng)可以傲視群雄了。
而這次收購(gòu)更是強(qiáng)強(qiáng)聯(lián)合，Unity將Weta Digital的技術(shù)整合到自己的平臺(tái)后，或許未來(lái)我們會(huì)在更多的游戲和元宇宙場(chǎng)景中看到這兩家公司帶來(lái)的呈現(xiàn)效果。
那么，Weta Digital 能夠?yàn)閁nity帶來(lái)什么樣的技術(shù)呢？
Weta Digital成立于1993年，成立多年來(lái)一直是視覺(jué)特效（VFX）設(shè)計(jì)領(lǐng)域的前沿創(chuàng)新者之一。
截至2017年，Weta Digital 已經(jīng)獲得了6項(xiàng)奧斯卡最佳視覺(jué)效果獎(jiǎng)，其中就包括《指環(huán)王：指環(huán)王：護(hù)戒使者》(2001)、《指環(huán)王：雙塔》(2002)、《指環(huán)王：王者歸來(lái)》(2003)、《金剛》(2005)、《阿凡達(dá)》(2009) 和《叢林王子》(2016)。
「Weta Digital的技術(shù)代表了有史以來(lái)最完整的三維創(chuàng)建、模擬和渲染工具鏈。Peter Jackson和Weta Digital整個(gè)團(tuán)隊(duì)的才華對(duì)Unity公司的所有人來(lái)說(shuō)都是難以置信的鼓舞。」
Weta Digital 15年的深度研發(fā)，帶來(lái)了數(shù)十種行業(yè)領(lǐng)先的工具，如Manuka、Gazebo、Barbershop、Lumberjack、Loki、Squid、Koru等，這些工具都無(wú)縫集成到了Weta Digital的生產(chǎn)流水線中。
這些工具是獲獎(jiǎng)電視和電影的基礎(chǔ)，如《阿凡達(dá)》、《黑寡婦》、《權(quán)力的游戲》、《指環(huán)王》、《猩球崛起》、《神奇女俠》、《X特遣隊(duì)》等等。
Weta Digital的視覺(jué)特效（VFX）工具在動(dòng)作捕捉、表演捕捉和CGI技術(shù)上頗有建樹(shù)。
?為了完美捕捉演員面部細(xì)節(jié)，技術(shù)人員會(huì)先使用Koru，一個(gè)先進(jìn)的木偶操縱系統(tǒng)，可以捕捉多角色的表演并且支持高性能動(dòng)畫(huà)、布料模擬和類似應(yīng)用。
在創(chuàng)建好木偶后，需要用演員的牙齒和牙齦的模具建立面部肌肉系統(tǒng)，完成面部表情人偶（數(shù)字替身），用來(lái)建立表情庫(kù)。
這時(shí)就用到了Facial Tech。Facial Tech提供了高級(jí)面部捕捉和操作工作流，并且使用機(jī)器學(xué)習(xí)來(lái)支持面部肌肉的直接操作，可以將演員面部捕捉轉(zhuǎn)移到目標(biāo)人偶模型上。
?然后，還要再建立一個(gè)合適的臉部表面，包括肌肉上面的脂肪組織、表面的皮膚層等等。
Tissue工具可以讓藝術(shù)家和動(dòng)畫(huà)師能夠創(chuàng)建生物學(xué)上精確的解剖角色模型，精確地表示肌肉和皮膚的行為，并將生成的角色轉(zhuǎn)移到模擬工具中。
?
?精細(xì)的頭發(fā)渲染也是一大難題。
Weta Digital的視覺(jué)特效（VFX）工具中有一套頭發(fā)和毛皮工具：Barbershop，支持從生長(zhǎng)到梳理的整個(gè)工作流程。
藝術(shù)家可以使用程序工具和藝術(shù)家指導(dǎo)工具的組合來(lái)生長(zhǎng)頭發(fā)和毛發(fā)，調(diào)整生長(zhǎng)模式，并修飾最終模型，高級(jí)的程序工具甚至還支持編發(fā)之類的概念。而且生成的模型是實(shí)時(shí)模擬的，可以提供由運(yùn)動(dòng)和風(fēng)產(chǎn)生的真實(shí)動(dòng)態(tài)。
最終，通過(guò)這樣一步一步的建模，就可以塑造一個(gè)有血有肉的人物形象。
值得一提的是，將面部捕捉投影到動(dòng)作捕捉木偶上這一過(guò)程是可以實(shí)時(shí)觀看的，計(jì)算機(jī)生成的內(nèi)容和現(xiàn)場(chǎng)攝像機(jī)輸入也支持現(xiàn)場(chǎng)混合進(jìn)行現(xiàn)場(chǎng)觀看。
?除了這些工具外，Unity此次收購(gòu)Weta Digital，還將從Weta Digital那里拿到成千上萬(wàn)的素材庫(kù)庫(kù)，其中包括城市和自然環(huán)境、動(dòng)植物、人類、人造物體、材料、紋理等。
WetaFX團(tuán)隊(duì)將繼續(xù)進(jìn)行電影和電視的視覺(jué)特效制作，并在未來(lái)幾年繼續(xù)為這個(gè)資源庫(kù)提供素材。
?而Unity的目標(biāo)是將這些工具變成云支持的，并確保它們能夠輕松地集成在目前的工作流和Unity引擎中。這樣就可以將世界級(jí)的視覺(jué)特效工具交到全球數(shù)百萬(wàn)創(chuàng)作者和藝術(shù)家的手中，讓下一代實(shí)時(shí)3D（Real Time 3D，RT3D）發(fā)揮創(chuàng)造力，從而塑造元宇宙的未來(lái)。
?「Weta Digital的工具為我們創(chuàng)造了無(wú)限的可能性，讓原本生活在我們想象中的世界和生物栩栩如生，」仍然擔(dān)任Weta Digital董事長(zhǎng)的彼得·杰克遜說(shuō)。
「Unity和Weta Digital可以共同為任何行業(yè)的任何藝術(shù)家創(chuàng)造一條道路，讓他們能夠利用這些極具創(chuàng)造力的工具，這無(wú)異于改變游戲規(guī)則，Unity正是將這一愿景變?yōu)楝F(xiàn)實(shí)的公司?！?/p>
參考資料：
https://blog.unity.com/technology/making-of-the-heretic-digital-human-tech-package
http://www.gamelook.com.cn/2021/09/455604
https://blog.unity.com/news/welcome-weta-digital
http://www.0478114.com/u19806/cc8c906235844b6990f863b492f3a542.html
https：//www.shacknews.com/article/127602/unity-u-to-acquire-weta-digital-for-1625-billion-in-cash-and-stock
本文來(lái)自微信公眾號(hào)“新智元”（ID:AI_era），作者：新智元，36氪經(jīng)授權(quán)發(fā)布。
