不可思議！英偉達新技術(shù)訓練NeRF模型最快只需5秒，單張RTX 3090實(shí)時(shí)渲染，已開(kāi)源

英偉達將訓練 NeRF 模型從 5 小時(shí)縮至 5 秒。

你曾想過(guò)在 5 秒內訓練完成狐貍的 NeRF 模型嗎？現在英偉達做到了！

令人不可思議的是，就如谷歌科學(xué)家 Jon Barron 在推特上表示的：18 個(gè)月前，訓練 NeRF 還需要 5 小時(shí)；2 個(gè)月前，訓練 NeRF 最快也需要 5 分鐘；就在近日，英偉達的最新技術(shù)——基于多分辨率哈希編碼的即時(shí)神經(jīng)圖形基元，將這一過(guò)程縮減到只有 5 秒?。?？？

NeRF 是在 2020 年由來(lái)自加州大學(xué)伯克利分校、谷歌、加州大學(xué)圣地亞哥分校的研究者提出，其能夠將 2D 圖像轉 3D 模型，可以利用少數幾張靜態(tài)圖像生成多視角的逼真 3D 圖像。之后又出現了改進(jìn)版模型 NeRF-W（NeRF in the Wild），可以適應充滿(mǎn)光線(xiàn)變化以及遮擋的戶(hù)外環(huán)境。

然而，NeRF 的效果是非常消耗算力的：例如每幀圖要渲染 30 秒，模型用單個(gè) GPU 要訓練一天。因此，后續的研究都在算力成本方面進(jìn)行了改進(jìn)，尤其是渲染方面。

現在，英偉達訓練 NeRF，最快只需 5 秒（例如訓練狐貍的 NeRF 模型）！實(shí)現的關(guān)鍵在于一種多分辨率哈希編碼技術(shù)，英偉達在論文《 Instant Neural Graphics Primitives with a Multiresolution Hash Encoding》進(jìn)行了詳細解讀。

論文地址：https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf

項目地址：https://github.com/NVlabs/instant-ngp

項目主頁(yè)：https://nvlabs.github.io/instant-ngp/

英偉達在 4 個(gè)代表性任務(wù)中對多分辨率哈希編碼技術(shù)進(jìn)行驗證，它們分別是神經(jīng)輻射場(chǎng)（NeRF）、十億（Gigapixel）像素圖像近似、神經(jīng)符號距離函數（SDF）和神經(jīng)輻射緩存（NRC）。每個(gè)場(chǎng)景都使用了 tiny-cuda-nn 框架訓練和渲染具有多分辨率哈希輸入編碼的 MLP。

首先是 NeRF 場(chǎng)景。大型的、自然的 360 度場(chǎng)景（左）以及具有許多遮蔽和鏡面反射表面的復雜場(chǎng)景（右）都得到了很好的支持。實(shí)時(shí)渲染這兩種場(chǎng)景模型，并在 5 分鐘內通過(guò)隨意捕獲的數據進(jìn)行訓練：左邊的一個(gè)來(lái)自 iPhone 視頻，右邊的一個(gè)來(lái)自 34 張照片。

接著(zhù)是十億（Gigapixel）像素圖像近似。結果顯示，多分辨率哈希編碼實(shí)現了幾個(gè)數量級的綜合加速，能夠在幾秒鐘內訓練高質(zhì)量的神經(jīng)圖形基元，并在數十毫秒內以 1920x1080 的分辨率進(jìn)行渲染：如果你眨眼可能會(huì )錯過(guò)它！

然后是神經(jīng)符號距離函數（SDF）。如下動(dòng)圖展示了各種 SDF 數據集的實(shí)時(shí)訓練進(jìn)度，訓練數據是使用 NVIDIA OptiX 光線(xiàn)追蹤框架從真值網(wǎng)格動(dòng)態(tài)生成的。

最后是神經(jīng)輻射緩存（NRC）的直接可視化，其中網(wǎng)絡(luò )預測每個(gè)像素路徑的首個(gè)非鏡面反射頂點(diǎn)的出射輻射，并根據實(shí)時(shí)路徑跟蹤器生成的光線(xiàn)進(jìn)行在線(xiàn)訓練。圖左為使用 Müller 等人在 2021 論文《Real-time Neural Radiance Caching for Path Tracing》中的三角波編碼的效果，圖右為本文多分辨率哈希編碼技術(shù)的效果，允許網(wǎng)絡(luò )學(xué)習更清晰細節，如陰影區域。

效果如此驚艷，特斯拉 AI 高級總監 Andrej Karpathy 也對這項研究感嘆道：「令人印象深刻的架構組合和手工制作的元執行。我仍然不相信這項研究進(jìn)展的這么好、這么快?！?/p>

更多的網(wǎng)友認為不可思議，可以預見(jiàn)下一步是在設備上運行，然后在設備上訓練!

從 5 小時(shí)縮至 5 秒，英偉達在技術(shù)上做了哪些突破？

計算機圖形基元基本上是由數學(xué)函數表征的，這些數學(xué)函數對外觀(guān)（appearance）進(jìn)行參數化處理。數學(xué)表征的質(zhì)量和性能特征對視覺(jué)保真度至關(guān)重要，因此英偉達希望在捕獲高頻、局部細節的同時(shí)保持快速緊湊的表征。多層感知機（MLP）表征的函數可以用作神經(jīng)圖形基元，并已經(jīng)被證明可以滿(mǎn)足需求，比如形狀表征和輻射場(chǎng)。

上述方法的一個(gè)重要共性是將神經(jīng)網(wǎng)絡(luò )輸入映射到更高維空間的編碼過(guò)程，這是從緊湊模型中提取高近似精度的關(guān)鍵。在這些編碼中，最成功的是那些可訓練、特定于任務(wù)的數據結構，它們承擔了很大一部分學(xué)習任務(wù)。有了這些數據結構，便可以使用更小、更高效的多層感知機。但是，這類(lèi)數據結構依賴(lài)于啟發(fā)式和結構改變（如剪枝、分割或合并），從而導致訓練過(guò)程復雜化、方法局限于特定任務(wù)、甚至限制 GPU 性能。

針對這些問(wèn)題，英偉達提出一種多分辨率哈希編碼（multiresolution hash encoding），這是一種自適應、高效且獨立于任務(wù)的技術(shù)。該技術(shù)僅包含兩個(gè)值，分別是參數量 T 和預期最佳分辨率 N_max。

英偉達的神經(jīng)網(wǎng)絡(luò )不僅有可訓練的權重參數 Φ，還有可訓練的編碼參數 θ。這些被排列成 L 個(gè)級別（level），每個(gè)級別包含多達 T 個(gè) F 維 的特征向量。這些超參數的典型值如下表 1 所示：

多分辨率哈希編碼的顯著(zhù)特征在于獨立于任務(wù)的自適應性和高效性。

首先來(lái)看自適應性。英偉達將一串網(wǎng)格映射到相應的固定大小的特征向量陣列。低分辨率下，網(wǎng)格點(diǎn)與陣列條目呈現 1:1 映射；高分辨率下，陣列被當作哈希表，并使用空間哈希函數進(jìn)行索引，其中多個(gè)網(wǎng)格點(diǎn)為每個(gè)陣列條目提供別名。這類(lèi)哈希碰撞導致碰撞訓練梯度平均化，意味著(zhù)與損失函數最相關(guān)的最大梯度將占據支配地位。因此，哈希表自動(dòng)地優(yōu)先考慮那些具有最重要精細尺度細節的稀疏區域。與以往工作不同的是，訓練過(guò)程中數據結構在任何點(diǎn)都不需要結構更新。

然后是高效性。英偉達的哈希表查找是，不需要控制流。這可以很好地映射到現代 GPU 上，避免了執行分歧和樹(shù)遍歷中固有的指針雕鏤（pointer-chasing）。所有分辨率下的哈希表都可以并行地查詢(xún)。

下圖 3 展示了多分辨率哈希編碼中的執行步驟：

2D 多分辨率哈希編碼示意圖。

如上圖所示，每個(gè)級別（其中兩個(gè)分別顯示為紅色和藍色）都是獨立的，并在概念上將特征向量存儲在網(wǎng)格頂點(diǎn)處，其中最低和最高分辨率之間的幾何級數 [N_min, N_max] 表示為：

實(shí)驗效果

英偉達在下面 4 個(gè)代表性任務(wù)中驗證了多分辨率哈希編碼：

十億（Gigapixel）像素圖像：MLP 學(xué)習從 2D 坐標到高分辨率圖像的 RGB 顏色的映射；

神經(jīng)符號距離函數（Neural signed distance function, SDF）：MLP 學(xué)習從 3D 坐標到表面距離的映射；

神經(jīng)輻射緩存（Neural radiance caching, NRC）：MLP 從 Monte Carlo 路徑跟蹤器中學(xué)習給定場(chǎng)景的 5D 光場(chǎng)；

神經(jīng)輻射場(chǎng)（NeRF）：MLP 從圖像觀(guān)察和相應的****變換中學(xué)習給定場(chǎng)景的 3D 密度和 5D 光場(chǎng)。

結果表明，在經(jīng)過(guò)幾秒鐘的訓練后，英偉達的多分辨率哈希編碼在各類(lèi)任務(wù)實(shí)現了 SOTA 效果，如下圖 1 所示：

下圖 6 中，英偉達使用多分辨率哈希編碼近似一張分辨率為 20,000 × 23,466（469M RGB 像素）的 RGB 圖像。

下圖 7 展示了四個(gè)場(chǎng)景中，神經(jīng)符號距離函數（SDF）訓練 11000 步后的效果：

圖 8 展示了神經(jīng)輻射緩存（Neural radiance caching, NRC）應用的流程：

下圖 12 為模塊化合成器和大型自然 360 度場(chǎng)景的 NeRF 渲染效果。圖左在使用一張 RTX 3090 的情況下，僅需 5 秒即累積了 128 個(gè) 1080p 分辨率的樣本；圖右使用同一張 GPU，以每秒 10 幀的速度運行交互式進(jìn)程（動(dòng)效圖見(jiàn)文章開(kāi)頭）。