多模態(tài)自動(dòng)駕駛混合渲染HRMAD：將NeRF和3DGS進(jìn)行感知驗證和端到端AD測試

基于3DGS和NeRF的三維重建技術(shù)在過(guò)去的一年中取得了快速的進(jìn)步，動(dòng)態(tài)模型也變得越來(lái)越普遍，然而這些模型僅限于處理原始軌跡域內的對象。

HRMAD作為一種混合方案，將傳統的基于網(wǎng)格的動(dòng)態(tài)三維神經(jīng)重建和物理渲染優(yōu)勢結合，支持在任意位置部署網(wǎng)格動(dòng)態(tài)代理，自由調整環(huán)境條件，在多個(gè)相機視角下進(jìn)行自由切換，與傳統仿真方法相比有效減少了領(lǐng)域差距，同時(shí)保留了可控性。

一、方法描述

HRMAD提出的NeRF2GS雙模型訓練范式顯著(zhù)提升了合成質(zhì)量，尤其是道路和車(chē)道標志，同時(shí)滿(mǎn)足交互式幀率。通過(guò)此塊級并行訓練架構，可以處理超過(guò)10萬(wàn)平方米場(chǎng)景重建，并同步傳輸出分割掩膜/法線(xiàn)圖/深度圖。通過(guò)物理光柵化/光線(xiàn)追蹤渲染后端，HRMAD支持多個(gè)相機模型、LiDAR和Radar的實(shí)時(shí)多模態(tài)輸出。如圖1所示的模型架構。

圖1

具體而言，HRMAD基于RGB相機、GNSS和LiDAR的同步數據進(jìn)行模型訓練。該方案結合了NeRF優(yōu)秀的泛化能力和3DGS實(shí)時(shí)的渲染速度，通過(guò)T-S結構，將NeRF生成的深度、法線(xiàn)和外觀(guān)監督信息傳遞給3DGS模型，并通過(guò)正則化將LiDAR深度數據引入NeRF，從而實(shí)現更準確的幾何結構建模。

傳統基于透視投影的渲染方法通常依賴(lài)于特定的投影模型，為了在3DGS場(chǎng)景中適配任意傳感器，HRMAD提出了一種新的渲染算法架構，如下圖2所示。

圖2

該架構基于共享代碼庫實(shí)現了光柵化和光線(xiàn)追蹤渲染，用于計算高斯沿射線(xiàn)的貢獻。這樣不僅能夠在三維重建場(chǎng)景中支持任意相機畸變模型，還能夠減輕LiDAR仿真中偽影的產(chǎn)生。圖3展示了在aiSim中采用HRMAD渲染場(chǎng)景并配置LiDAR后，點(diǎn)云的可視化效果。

圖3

圖4表明HRMAD在極端視角下RGB、深度、法線(xiàn)和分割（基于Mask2Former）模態(tài)下的幾何細節和表面特性，重建面積約為165000平方米（ZalaZone測試場(chǎng)，此重建場(chǎng)景將于aiSim5.7版本進(jìn)行發(fā)布）。

圖4

二、下游任務(wù)驗證

1、重建質(zhì)量驗證

由于HRMAD采用的是基于雙邊網(wǎng)格的色彩校正方法，傳統的PSNR指標不再適用，而SSIM和LPIPS指標對結果相似性更為敏感，但從結果上看，這兩個(gè)指標仍然受到ISP解耦導致的RAW與重建圖像之間色彩失配的影響。這一影響體現在了評估結果中，如表1，表中對比了原始3DGS和TCLC-GS在6個(gè)Waymo場(chǎng)景上的指標表現。

表1

2、語(yǔ)義分割驗證

在語(yǔ)義分割上分別從三個(gè)角度評估模型性能，首先通過(guò)統計所有像素中語(yǔ)義分類(lèi)一致的比例，反映全局重建一致性。
通過(guò)Mask2Former獲取真實(shí)圖像上計算的分割Mask，并與HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask進(jìn)行比較，驗證重建的準確性。同時(shí)為了降低道路、天空等易分割區域對整體結果的偏差影響，針對"Car"進(jìn)行單獨IoU計算。

為確保驗證過(guò)程的公平性，真實(shí)圖像被重投影至與渲染過(guò)程一致的無(wú)畸變針孔相機參數空間，當重建結果正確標注了遠距離或被遮擋物體，而Mask2Former因輸入信息有限導致誤判時(shí)，此類(lèi)誤差會(huì )被計入評估指標。同時(shí)在夜間拍攝場(chǎng)景和相機直對太陽(yáng)的場(chǎng)景中(如場(chǎng)景11037651和14663356)，掩膜一致性顯著(zhù)下降。結果如表2所示。

表2

其次在非常規視角下進(jìn)行模型渲染，并基于Mask2former生成的Mask與模型預測Mask進(jìn)行比較。此渲染視角沿自車(chē)軌跡生成，并在[-1,3]米范圍內平移前視相機仿真模型。表3展示了針對道路表面信息和車(chē)輛的重建性能。其中Car類(lèi)型的重建性能相對較低，這是由于Mask2Frame無(wú)法檢測遠處或被遮擋的物體，從而擴大了差異。圖5顯了示相關(guān)結果，綠色為匹配區域，藍色和橙色分別表示模型預測Mask和Mask2Former的Mask輸出。

表3

圖5

最后在極端渲染視角下（高5m，橫向偏移2m，向下偏轉25°），針對車(chē)道線(xiàn)和路沿語(yǔ)義分割結果進(jìn)行了定性評估，如圖6所示。

圖6

3、3D目標檢測驗證

為了驗證HRMAD在3D目標檢測上的一致性，采用在Waymo Open數據集訓練中公開(kāi)的DEVIANT 3D目標檢測模型，進(jìn)行定量和定性實(shí)驗。

定量實(shí)驗中，在Waymo-13469905891836363794片段中從[0,3]橫向偏移視角下進(jìn)行驗證，并通過(guò)平移變換后的3DBBox定量計算。定性實(shí)驗選取三個(gè)駕駛片段進(jìn)行靜態(tài)環(huán)境渲染，并基于網(wǎng)格渲染添加動(dòng)態(tài)車(chē)輛，主要用于評估仿真生成的車(chē)輛是否引入了領(lǐng)域差距。

表4基于Waymo指標進(jìn)行驗證，Original為原始圖像。特別在近距離下，HRMAD的表現性能要優(yōu)于原始圖像，這是由于原始圖像中假陽(yáng)FP數量更高。在非常規視角渲染下，觀(guān)察到的差異主要是橫向偏移視角下目標截斷的數量增加，但整體檢測結果在很大程度上保持一致。

表4

圖7為DEVIANT模型在HRMAD渲染W(wǎng)aymo場(chǎng)景中的表現。

圖7

三、結語(yǔ)

雖然HRMAD渲染方法旨在最大程度減少區塊邊界的不連續性，但仍不可避免地會(huì )產(chǎn)生可見(jiàn)的偽影，特別是在天空和遠距離目標區域中。比如天空的RGB重建效果良好，但在自動(dòng)駕駛仿真測試場(chǎng)景中，在非常規視角下仍然會(huì )導致偽影和結構痕跡。

在下游任務(wù)中，HRMAD針對自動(dòng)駕駛場(chǎng)景的評估結果已非常接近真實(shí)數據，但由于樣本有限，仍需要更大規模的數據集進(jìn)行進(jìn)一步驗證。未來(lái)的研究也會(huì )致力于進(jìn)一步縮小重建場(chǎng)景和真實(shí)數據之間的領(lǐng)域差距，具體來(lái)說(shuō)，可以通過(guò)探索層次化高斯潑濺來(lái)減少區塊偽影，并利用生成的法線(xiàn)信息改進(jìn)LiDAR強度模擬，來(lái)更好地反應點(diǎn)云數據的方向敏感強度。

目前，HRMAD生成場(chǎng)景已集成在aiSim中，可在不同傳感器模型配置方案下，實(shí)現端到端仿真測試交互式驗證和測試。