NVIDIA透過(guò)人工智能 將2D平面照片轉變?yōu)?D立體場(chǎng)景

當人們在75年前使用寶麗來(lái) (Polaroid ) 相機拍攝出世界上第一張實(shí)時(shí)成像照片時(shí)，便是一項以逼真 2D 影像迅速捕捉 3D 世界畫(huà)面的創(chuàng )舉。時(shí)至今日，人工智能 (AI) 研究人員反將此作法倒轉過(guò)來(lái)，亦即在幾秒鐘內將一組靜態(tài)影像變成數字 3D 場(chǎng)景。
 

NVIDIA Research 透過(guò)人工智能，在一瞬間將 2D 平面照片變成 3D 立體場(chǎng)景

這項稱(chēng)為逆向渲染 (inverse rendering) 的過(guò)程，利用 AI 來(lái)預估光線(xiàn)在真實(shí)世界中的表現，讓研究人員能利用從不同角度拍攝的少量 2D 影像來(lái)重建 3D 場(chǎng)景。NVIDIA Research 團隊開(kāi)發(fā)出一種方法，幾乎能在瞬間內完成這項任務(wù)，是同類(lèi)中首批將超高速神經(jīng)網(wǎng)絡(luò )訓練與快速渲染相結合的模型之一。
NVIDIA 將該方法應用在一種稱(chēng)為神經(jīng)輻射場(chǎng) (Neural Radiance Fields；NeRF) 的熱門(mén)新技術(shù)上，創(chuàng )造出 Instant NeRF 這項當今渲染速度最快的 NeRF 技術(shù)，在某些情況下速度可以提升超過(guò) 1,000 倍。用數十張靜態(tài)照片，便能在幾秒鐘內完成訓練模型，再加上拍攝角度的數據，在幾十毫秒內即可渲染出生成的 3D 場(chǎng)景。
NVIDIA 繪圖研究部門(mén)副總裁 David Luebke 表示：「如果說(shuō)多邊形網(wǎng)格這樣的傳統 3D 表現方式像是向量圖形，那么 NeRF 就像是位圖，它們會(huì )密集捕捉光線(xiàn)從物體或場(chǎng)景中輻射出來(lái)的方式。從這個(gè)意義上來(lái)說(shuō)，Instant NeRF 對 3D 的重要性，不亞于數字相機和 JPEG 壓縮技術(shù)對 2D 攝影的重要性，其可大幅提升 3D 捕捉與分享的速度、便利性和范圍?！?br/>在 NVIDIA GTC 大會(huì )議程中展示的 Instant NeRF，可用于為虛擬世界建立化身或場(chǎng)景、以 3D 方式拍攝視頻會(huì )議的與會(huì )者以及所處環(huán)境，或是為 3D 數字地圖重建場(chǎng)景。
NVIDIA Research 團隊為了向早期的寶麗來(lái)照片致敬，重現了安迪．沃荷 (Andy Warhol) 拍攝實(shí)時(shí)成像照片的經(jīng)典照片，利用 Instant NeRF 將其轉變?yōu)?3D 場(chǎng)景。
NeRF是什么？
NeRF 會(huì )依照輸入的一組 2D 影像，使用神經(jīng)網(wǎng)絡(luò )來(lái)表現及渲染逼真的 3D 場(chǎng)景。
收集資料再投入 NeRF 的做法，有點(diǎn)類(lèi)似紅毯上的攝影師試著(zhù)從各個(gè)角度拍攝名人身上的華麗服裝，而神經(jīng)網(wǎng)絡(luò )需要有從場(chǎng)景四周多個(gè)位置拍攝的數十張照片，以及每張照片的相機位置等數據支持。
場(chǎng)景里的人或物體若移動(dòng)，拍攝照片的速度則是愈快愈好。要是在拍攝 2D 影像的過(guò)程中，人或物體有過(guò)多的移動(dòng)，AI 便會(huì )生成模糊的 3D 場(chǎng)景。
基本上，NeRF 在此時(shí)會(huì )填補空白處，訓練一個(gè)小型神經(jīng)網(wǎng)絡(luò )，預測從 3D 空間中任何一點(diǎn)朝著(zhù)任意方向輻射出的光線(xiàn)顏色來(lái)重建場(chǎng)景。這項技術(shù)甚至能解決當某些照片里的物體被其它照片中的柱子等障礙物遮住時(shí)所產(chǎn)生的遮擋問(wèn)題。
利用 Instant NeRF 將渲染速度提升1,000倍
人類(lèi)天生就會(huì )按照一部分所見(jiàn)畫(huà)面來(lái)估算物體的深度和外觀(guān)，但這對 AI 來(lái)說(shuō)卻是一項高難度的任務(wù)。
根據畫(huà)面的復雜性和分辨率，以傳統方法建立一個(gè) 3D 場(chǎng)景須花費數小時(shí)甚至更長(cháng)的時(shí)間。而利用 AI 則可加快處理速度。早期開(kāi)發(fā)的 NeRF 模型在幾分鐘內便能渲染出無(wú)偽影的清晰場(chǎng)景，但仍需數小時(shí)進(jìn)行訓練。
然而，Instant NeRF 卻大幅縮短了渲染時(shí)間，其以 NVIDIA 所開(kāi)發(fā)出的 Multi-resolution Hash Encoding 技術(shù)為基礎，而這項經(jīng)過(guò)優(yōu)化調整的技術(shù)可以在 NVIDIA GPU 上高效運行。研究人員透過(guò)一種新的輸入編碼法，可以利用一個(gè)高速運行的微型神經(jīng)網(wǎng)絡(luò )來(lái)創(chuàng )造高質(zhì)量的結果。
研究人員使用 NVIDIA CUDA 工具套件與 Tiny CUDA 神經(jīng)網(wǎng)絡(luò )函式庫來(lái)開(kāi)發(fā)此模型。這個(gè)小巧的神經(jīng)網(wǎng)絡(luò )可以在單一 NVIDIA GPU 上進(jìn)行訓練和運行，并在搭載 NVIDIA Tensor 核心的顯示適配器上有著(zhù)最高的運行速度。
這項技術(shù)可以用于拍攝實(shí)體環(huán)境物體的 2D 照片或影片，以訓練機器人和自動(dòng)駕駛車(chē)來(lái)了解這些物體的大小及形狀。建筑業(yè)與娛樂(lè )產(chǎn)業(yè)也能使用這項技術(shù)，快速為實(shí)體環(huán)境建立數字畫(huà)面，創(chuàng )作者便能用它來(lái)進(jìn)行修改和構建。
除了 NeRF，NVIDIA 的研究人員也在探索如何將這種輸入編碼技術(shù)用于加速處理多項 AI 領(lǐng)域的難題，包括強化學(xué)習、語(yǔ)言翻譯和通用的深度學(xué)習算法。