英偉達黃仁勛：我們給真實(shí)世界和元宇宙間建了個(gè)穿梭門(mén)

老黃說(shuō)元宇宙叫Omniverse不叫Meta，誰(shuí)有意見(jiàn)

——

文｜洪雨晗   

老黃家熟悉的廚房又出現了，不過(guò)這次英偉達沒(méi)有像“虛擬數字人”那次賣(mài)關(guān)子，在11月9日GTC大會(huì )（GPU Technology Conference）的主題演講開(kāi)始不久廚房就開(kāi)始逐漸虛化，對，人真了但廚房是假的！場(chǎng)景轉換為英偉達大樓。

英偉達的每次GTC發(fā)布會(huì )總能給人帶來(lái)不少驚喜。在大會(huì )正式開(kāi)始之前，英偉達股價(jià)在上周便開(kāi)始應聲而漲。有不少投資者認為此次大會(huì )可能會(huì )凸顯英偉達在今年火爆的“元宇宙”主題下的機遇，應為英偉達所擅長(cháng)的GPU之于元宇宙，就相當于鋰電池之于新能源車(chē)。雖然老黃在一個(gè)半小時(shí)多的主題演講里沒(méi)有太刻意去強調元宇宙的概念，但本次大會(huì )中，確實(shí)有不少新技術(shù)產(chǎn)品的背后都有元宇宙的影子。

先下結論，老黃的整個(gè)主題演講其實(shí)就想傳達一個(gè)核心觀(guān)念——英偉達在推進(jìn)AI在各行各業(yè)發(fā)展的過(guò)程中扮演了關(guān)鍵角色。串起這個(gè)觀(guān)念的內容自然是展示自家的核心技術(shù)，簡(jiǎn)要來(lái)說(shuō)，英偉達展示了自家產(chǎn)品在企業(yè)和數據中心AI、對話(huà)式AI和自然語(yǔ)言處理領(lǐng)域的最新技術(shù)，以及邊緣AI的應用，如機器人、醫療和自動(dòng)駕駛汽車(chē)等。

這次主題演講的重頭戲自然跟外界炒的沸沸揚揚元宇宙難脫關(guān)系。英偉達在本次GTC大會(huì )上發(fā)布了NVIDIA Omniverse——一個(gè)用于3D工作流程的虛擬世界模擬和協(xié)作平臺 。其實(shí)英偉達在去年12月就發(fā)布了Omniverse平臺的公開(kāi)測試版，它可以讓創(chuàng )造者在物理精確模擬或3D渲染中進(jìn)行實(shí)時(shí)協(xié)作。

如今，Omniverse平臺再次升級，新發(fā)布了Omniverse Avatar和Omniverse Replicator。其中，Omniverse Avatar是一個(gè)用于生成交互式AI化身的技術(shù)平臺。它集合了英偉達在語(yǔ)音AI、計算機視覺(jué)、自然語(yǔ)言理解、推薦引擎和模擬技術(shù)方面積累的技術(shù)，為創(chuàng )建人工智能助手打開(kāi)了大門(mén)，可以幫助處理數十億的日?？蛻?hù)服務(wù)互動(dòng)。Omniverse Replicator則是一種合成數據生成引擎，可以基于現有數據持續生成用于訓練的合成數據。

Omniverse的門(mén)戶(hù)是USD（通用場(chǎng)景描述）黃仁勛認為Omniverse的本質(zhì)是一個(gè)數字蟲(chóng)洞。未來(lái)任何計算機都可以連接到Omniverse，并將一個(gè)Omniverse世界連接到另一個(gè)世界，USD之于Omniverse就像HTML（一種標記語(yǔ)言，可以將網(wǎng)絡(luò )上的文檔格式統一）基于網(wǎng)站。

黃仁勛對Omniverse頗有野心。老黃表示，人們經(jīng)常說(shuō)“互聯(lián)網(wǎng)改變了一切”，在萬(wàn)物互聯(lián)的當下，互聯(lián)網(wǎng)本質(zhì)上是這個(gè)世界的數字化表達，這種數字化覆蓋了所有2D層面的信息，即文本、語(yǔ)音、圖像、視頻。如今，隨著(zhù)技術(shù)的進(jìn)一步發(fā)展，3D層面的信息也在不斷涌現。

在黃仁勛的設想當中，未來(lái)會(huì )有很多的設計者、創(chuàng )造者在虛擬現實(shí)、Metaverse中設計數字事物，然后才在現實(shí)世界中去完成設計，包括汽車(chē)、包、鞋子等等產(chǎn)品。而此次發(fā)布的Omniverse平臺，正是擁有著(zhù)創(chuàng )建全新3D世界或為物理世界建模的技術(shù)。

用一句互聯(lián)網(wǎng)黑話(huà)表示，就是所有現實(shí)世界中物理存在或不存在的東西，都值得在Omniverse上再做一遍?？蛇@么看來(lái)，Omniverse不就和游戲引擎一樣了嘛，但老黃說(shuō)了Omniverse是面向數據中心的規模來(lái)設計的，在未來(lái)或可能達到全球數據規模，也就是說(shuō)英偉達的預期是未來(lái)的Omniverse能真的為物理世界建模。

當然，讓Omniverse中的虛擬物品與物理世界中的人進(jìn)行實(shí)時(shí)交互仍存在諸多挑戰。黃仁勛表示：“如何使用Omniverse模擬倉庫、工廠(chǎng)、物理和生物系統、5G邊緣、機器人、自動(dòng)駕駛汽車(chē)，甚至是虛擬形象的數字孿生，是一個(gè)永恒的主題?！?/p>

接下來(lái)黃仁勛展示了Omniverse Avatar結合英偉達各項技術(shù)后生產(chǎn)出來(lái)的實(shí)時(shí)應用程序。首先是用于客戶(hù)支持的Project Tokkio，“Tokkio”是一款智能操作臺應用程序，在視頻案例中“Tokkio”在一家快餐店服務(wù)，與兩位顧客直接對話(huà)并幫助顧客進(jìn)行了點(diǎn)餐服務(wù)。

基于Omniverse Avatar制作的智能操作臺應用程序Tokkio

如果將Omniverse Avatar與Drive Concierge相結合，可愛(ài)的自定義行車(chē)虛擬助手便出現了。

Omniverse Avatar展示的另一個(gè)例子則是老黃自己的AI化身，英偉達的員工們早就開(kāi)始用老黃的聲音構建出了一個(gè)會(huì )對話(huà)的語(yǔ)音合成AIToy-Me——一個(gè)玩具AI老黃。不得不說(shuō)，老黃確實(shí)懂得多，玩具版的AI老黃在視頻案例中輕松回答了氣候、天文、生物三個(gè)領(lǐng)域專(zhuān)家的專(zhuān)業(yè)問(wèn)題。

黃仁勛表示：“你會(huì )看到這個(gè)虛擬形象是基于目前訓練的最大語(yǔ)言模型的語(yǔ)言處理打造，包括聲音也是用我自己的語(yǔ)音進(jìn)行合成，還可以看到實(shí)時(shí)基于光線(xiàn)追蹤的精美圖像?！?/p>

實(shí)時(shí)對話(huà)AI機器人“Toy Jensen Omniverse Avatar”

老黃還將Omniverse Avatar與視頻會(huì )議平臺Maxine相結合，為虛擬協(xié)作和內容創(chuàng )建應用添加了音視頻功能。在視頻案例中，一位女士在嘈雜的咖啡廳中可以視頻會(huì )議中簡(jiǎn)單的去除背景噪音后通話(huà)，同時(shí)，她的英文可以被實(shí)時(shí)轉化為多種語(yǔ)言，并生成對應口型及語(yǔ)調的虛擬形象。

一個(gè)看似簡(jiǎn)單AI數字人其實(shí)并不簡(jiǎn)單，Omniverse Avatar能夠如此強大的原因在于其背后英偉達近年來(lái)的技術(shù)突破，老黃直稱(chēng)在幾年前想要實(shí)現上述案例的功能幾乎不可能。如今，Omniverse Avatar的推薦引擎采用Merlin方案，該框架允許企業(yè)能夠建立處理大量數據的深度學(xué)習推薦系；感知能力則來(lái)自計算機視覺(jué)框架Metropolis；頭像動(dòng)畫(huà)由Video2Face和Audio2Face（二維和三維AI驅動(dòng)的面部動(dòng)畫(huà)和渲染技術(shù)）驅動(dòng)。

黃仁勛在演講上發(fā)布的另一項產(chǎn)品Omniverse Replicator，已產(chǎn)生了兩個(gè)用于生成合成數據的應用——NVIDIA DRIVE Sim?、NVIDIA Isaac Sim?。它們分別是用于承載自動(dòng)駕駛汽車(chē)數字孿生的虛擬世界和用于可操縱機器人數字孿生的虛擬世界。

Omniverse Replicator的優(yōu)勢在于它能在一定程度上代替真人來(lái)進(jìn)行昂貴、費力的數據標記工作，同時(shí)這些虛擬世界中產(chǎn)生的數據可以涵蓋各類(lèi)不同場(chǎng)景，包括在現實(shí)世界中無(wú)法經(jīng)常經(jīng)歷的場(chǎng)景以及極度危險的場(chǎng)景。它還能生成人類(lèi)難以或無(wú)法標記的真值數據，如速度、深度、被遮擋的物體、惡劣的天氣條件、追蹤各傳感器上的物體移動(dòng)等。當自動(dòng)駕駛汽車(chē)和機器人在系列虛擬環(huán)境中得到充分訓練后，才會(huì )逐漸應用到現實(shí)世界當中。

此外，黃仁勛還公布了Omniverse的另外四項功能。Showroom——一個(gè)包含演示和示例應用程序，展示了Omniverse核心技術(shù)；Farm——一個(gè)系統層，用于協(xié)調跨多個(gè)系統、工作站、服務(wù)器和虛擬化批作業(yè)處理，可以用于批量渲染，AI合成數據生成或分布式計算；Omniverse AR——可以將將圖形串流到手機或者AR眼鏡；Omniverse VR——首款全幀交互式光線(xiàn)追蹤VR。英偉達對Omniverse的期待遠不止于此，英偉達還將利用Omniverse來(lái)構建一個(gè)數字孿生模型來(lái)模擬和預測氣候變化。黃仁勛表示：“預測氣候變化，以制定減緩和適應策略，可以說(shuō)是當今社會(huì )面臨的最大挑戰之一?！?/span>

英偉達的上一臺超級計算機是Cambridge-1，而如今用來(lái)模擬和預測氣候變化的這臺新的超級計算機將叫做E-2（Earth Two），寓意為地球的數字孿生，它能夠在Omniverse中以數百萬(wàn)倍的速度運行Modulus創(chuàng )建的AI物理模型。

在主題演講最后，黃仁勛表示人類(lèi)需要在為時(shí)已晚之前采取行動(dòng)緩解和適應當今越來(lái)越頻繁的極端天氣，而“我們目前發(fā)明的所有技術(shù)，均是實(shí)現Earth Two所必不可少的，我想不出比這更宏偉、更重要的用途?！?/p>