“工程師的元宇宙”又添新應用：NVIDIA深度學(xué)習技術(shù)讓2D圖像瞬間“起立”變3D
加入技術(shù)交流群
快系好安全帶，你的平面汽車(chē)可以隨時(shí)出發(fā)！
GANverse3D 由多倫多的 NVIDIA AI 研究實(shí)驗室開(kāi)發(fā)，作為 NVIDIA Omniverse 平臺的擴展應用，它能將平面圖像轉換成逼真的 3D 模型，并將其可視化地呈現在虛擬空間中，供人們自由操控。
GANverse3D已為美國電視劇《霹靂游俠》 （Knight Rider） 中的 AI 汽車(chē)基特 （KITT) 注入新的靈魂。研究人員將汽車(chē)基特的平面圖像輸入到模型中，通過(guò)預測相應的 3D 紋理網(wǎng)格， GANverse3D 生成出了基特的 3D 模型，讓其在虛擬空間中行駛，并配有逼真的前燈、尾燈和轉向燈。
此外，NVIDIA Omniverse 套件和 NVIDIA PhysX 工具還可以將預測的紋理轉成高質(zhì)量材料，使基特具有更加真實(shí)的外觀(guān)和“觸感”。
通過(guò) GANverse3D ，即使沒(méi)有 3D 建模方面的知識，建筑師、創(chuàng )作者、游戲開(kāi)發(fā)人員和設計師也能輕松地將平面設計轉換成立體模型，并能最大程度削減渲染方面的預算。
GANverse3D 的基礎原理是生成式對抗網(wǎng)絡(luò )（GAN, Generative Adversarial Networks ）。
生成式對抗網(wǎng)絡(luò )是一種新近的深度學(xué)習模型，最早由伊安·好伙伴教授（Ian Goodfellow）于 2014 年提出，一經(jīng)提出，學(xué)界對 GAN 的研究如火如荼。
GAN的框架包括至少兩個(gè)模塊：生成模型（Generative Model）和判別模型（Discriminative Model）。
好伙伴教授將其原理比作制假鈔的偽造者 (Generator） 和警察 （Discriminator） 之間的博弈。偽造者不斷更新技術(shù)制造以假亂真的鈔****，警察則需用更先進(jìn)的技術(shù)甄別假鈔，兩人在對抗中不斷升級各自的技能。
因此，在 GAN 模型的訓練過(guò)程中，生成網(wǎng)絡(luò ) G（Generator，簡(jiǎn)稱(chēng) G） 的任務(wù)就是要生成逼真的圖像欺騙判別網(wǎng)絡(luò ) D（Discriminator，簡(jiǎn)稱(chēng) D），而 D 的目標是區分 G 生成的圖像和真實(shí)圖像。如此，G 和 D 便構成了一個(gè)動(dòng)態(tài)“博弈過(guò)程”。最終，在理想情況下，G 能夠生成以假亂真的圖像成功混淆 D 的判斷。
在原始理論中， G 和 D 只要是能夠擬合相應模型的函數即可，并不要求二者都是神經(jīng)網(wǎng)絡(luò )。但實(shí)際開(kāi)發(fā)中人們多使用深度神經(jīng)網(wǎng)絡(luò )作為 G 和 D 。一個(gè)優(yōu)秀的 GAN 應用需要科學(xué)有效的訓練方法，否則神經(jīng)網(wǎng)絡(luò )模型的自由性可能會(huì )導致輸出不理想。
NVIDIA 利用生成式對抗網(wǎng)絡(luò )形成訓練數據集。這就像攝影師繞著(zhù)一輛停泊的汽車(chē)，從不同的角度拍攝以獲得多視角圖像一樣。這些多視角圖像最終會(huì )被放入逆向圖 （inverse graphics） 的渲染框架中，以此合成 3D 圖像。
逆向圖指是從 2D 圖像推斷 3D 網(wǎng)格模型的過(guò)程。以前的逆向圖模型依賴(lài)于 3D 圖形作為訓練數據，NVIDIA 的 GANverse3D 則是根據真實(shí)圖像進(jìn)行訓練。NVIDIA 研究員 Jun Gao 表示，以真實(shí)圖像作為訓練基礎得到的AI模型，“能更好地推廣到現實(shí)世界中。”
在沒(méi)有 3D 要素的幫助下，“我們把 GAN 模型變成了一個(gè)非常高效的數據生成器，這樣我們就可以基于網(wǎng)絡(luò )上的任何 2D 圖像創(chuàng )建出 3D 對象。”NVIDIA 研究員 Wenzheng Chen 說(shuō)。
有關(guān) GAN verse3D 研究成果將在 5 月份的 ICLR 會(huì )議和 6 月份的 CVPR 會(huì )議上發(fā)表。
為工程師搭建元宇宙
眾多科技公司都在從元宇宙 （Metaverse） 概念中汲取靈感，英偉達也不例外，趁熱推出元宇宙的工程師版。
黃仁勛在 2021 GTC 大會(huì )上宣布，英偉達要推出 to B 端的實(shí)時(shí)協(xié)作仿真平臺 Omniverse ——一個(gè)面向企業(yè)的虛擬工作平臺。
英偉達早在去年 10 月推出 Omniverse 測試版，并在游戲、建筑等領(lǐng)域得到應用。寶馬、愛(ài)立信、沃爾沃、Adobe 等超過(guò)超過(guò) 17,000 名客戶(hù)體驗了測試版。
黃仁勛在此前的采訪(fǎng)中表示， Omniverse 能讓游戲開(kāi)發(fā)者輕松應對復雜的流水線(xiàn)工作，以此提升工作效率。在 Omniverse 平臺上，動(dòng)畫(huà)、紋理、燈光、幾何圖形等常規游戲制作的流水線(xiàn)工程將能一舉打通鏈接。每個(gè)人都能看到他人在做什么，并能做到“眼見(jiàn)為實(shí)”。
游戲、架構和設計領(lǐng)域的創(chuàng )作者們高度依賴(lài)于虛擬世界，在產(chǎn)品完成之前，他們需要測試和可視化其原型。但僅是渲染一輛汽車(chē)、一條街道就需要捕獲成百上千的多視角圖像，期間會(huì )產(chǎn)生大量成本。因此并非每位創(chuàng )作者資源和精力將其繪制的圖像轉成 3D 模型。
基于此， NVIDIA 開(kāi)發(fā) GANverse3D 應用，可以迅速追蹤實(shí)時(shí)光線(xiàn)來(lái)創(chuàng )造一個(gè)真實(shí)的虛擬世界。
任何 2D 圖像都可以在 Omniverse 中轉換成可以自定義和制作動(dòng)畫(huà)的 3D 圖形。
NVIDIA 深度學(xué)習工程師 Jean-Francois Lafleche 表示：“Omniverse 讓研究人員能夠將激動(dòng)人心的前沿研究直接帶給創(chuàng )作者和最終用戶(hù)。作為 Omniverse 的擴展程序, GANverse3D 將幫助藝術(shù)家為游戲開(kāi)發(fā)、城市規劃甚至訓練新的機器學(xué)習模型創(chuàng )建更豐富的虛擬世界?！?br />
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
