Waymo利用AI生成攝像頭圖像，用于自動(dòng)駕駛仿真

據外媒報道，日前，Waymo表示開(kāi)發(fā)了新方法SurfelGAN，利用自動(dòng)駕駛汽車(chē)收集的傳感器數據，通過(guò)AI生成用于仿真的攝像頭圖像。SurfelGAN使用紋理映射表面元素(surface elements，簡(jiǎn)稱(chēng)surfel)重建場(chǎng)景和攝像頭視角，以獲取位置和方向。

諸如Waymo這樣的自動(dòng)駕駛汽車(chē)公司利用仿真環(huán)境來(lái)訓練、測試和驗證系統，然后再將系統部署到現實(shí)世界的車(chē)輛中。設計模擬器有多種方法，但一些基礎的模擬器忽略了對于場(chǎng)景理解至關(guān)重要的線(xiàn)索，比如行人的手勢和閃爍的燈光。而像Waymo CarCraft這樣更復雜的模擬器，由于試圖對材料進(jìn)行高度精確的建模，因此需要耗費大量的計算資源，以確保像激光雷達和雷達等傳感器在真實(shí)世界中可靠地工作。

隨著(zhù)SurfelGAN的推出，Waymo提出了一種更簡(jiǎn)單的、數據驅動(dòng)的方法來(lái)模擬傳感器數據。SurfelGAN從真實(shí)世界的激光雷達傳感器和攝像頭獲取數據，創(chuàng )建并保存場(chǎng)景中所有物體的3D幾何、語(yǔ)義和外觀(guān)的豐富信息。然后，再從不同的距離和視角渲染仿真場(chǎng)景，以進(jìn)行重建。

Waymo發(fā)言人稱(chēng)，“在仿真中，當自動(dòng)駕駛汽車(chē)和其他道路使用者的移動(dòng)軌跡發(fā)生變化時(shí)，系統會(huì )生成真實(shí)的視覺(jué)傳感器數據，幫助我們在新的環(huán)境中建模場(chǎng)景。部分系統正在生產(chǎn)中?！?/p>

SurfelGAN利用紋理增強表面元素地圖的場(chǎng)景表示方法，這是一種緊湊、易于構造的場(chǎng)景表示方法，能夠在保留傳感器信息的同時(shí)保持合理的計算效率。SurfelGAN將激光雷達掃描到的體元(3D空間中定義點(diǎn)的圖形信息的單位)轉換成表面元素盤(pán)(surfel discs)，可根據攝像頭數據估算顏色，然后對這些元素進(jìn)行后處理，以處理光線(xiàn)和姿態(tài)的變化。

為了處理車(chē)輛這類(lèi)動(dòng)態(tài)物體，SurfelGAN還使用了Waymo Open Dataset中的注釋。興趣物體的激光雷達掃描數據不斷積累，以便在仿真中Waymo可以生成汽車(chē)和行人的重建。

SurfelGAN中的生成對抗網(wǎng)絡(luò )(GAN)模塊負責將表面元素圖像渲染轉換成逼真的圖像。其生成器模型從使用分布采樣的隨機噪聲中生成合成示例，這些示例連同來(lái)自訓練數據集的真實(shí)示例一起反饋給鑒別器，而鑒別器視圖區分這兩者。生成器和鑒別器的能力不斷提升，直到鑒別器無(wú)法區分合成示例和真實(shí)示例。

SurfelGAN模塊以一種無(wú)人監管的方式進(jìn)行訓練，意味著(zhù)其在沒(méi)有參考已知、標記或注釋結果的情況下推斷語(yǔ)料庫中的模式。有趣的是，每當鑒別器正確地識別合成示例時(shí)，就會(huì )告訴生成器如何調整輸出，從而更加真實(shí)。

Waymo進(jìn)行了一系列測試來(lái)評估SurfelGAN的表現，給它輸入了798個(gè)訓練序列，包括20秒的攝像頭數據和激光雷達數據，以及來(lái)自Waymo Open Dataset數據集中關(guān)于車(chē)輛、行人和騎行者的注釋。SurfelGAN團隊還創(chuàng )建和使用新的數據集Waymo Open Dataset-Novel View，為原始數據中的每一幀創(chuàng )建全新的表面元素圖像渲染。

最后，Waymo收集了未注釋攝像頭圖像的額外序列(共9800個(gè)，每個(gè)100幀)，并構建了一個(gè)稱(chēng)為雙攝像頭后數據集(Dual-Camera-Post Dataset，DCP)的語(yǔ)料庫，以測量SurfelGAN生成圖像的真實(shí)度。DCP可處理兩輛車(chē)同時(shí)觀(guān)察同一場(chǎng)景的情況；Waymo使用來(lái)自第一輛車(chē)的數據重建場(chǎng)景，并在第二輛車(chē)的精確姿態(tài)下渲染表面元素圖像。

研究人員稱(chēng)，當SurfelGAN生成的圖像提供給現成的車(chē)輛探測器時(shí)，最高質(zhì)量的合成圖像達到了與真實(shí)圖像相同的標準。SurfelGAN還改進(jìn)了DCP(雙攝像頭后數據集)中的表面元素渲染，在一定距離內生成更逼真的圖像。此外，研究人員還證明，SurfelGAN生成的圖像還將車(chē)輛探測器的平均精度從11.9%提高到13%。

Waymo指出SurfelGAN并不完美。例如，它有時(shí)無(wú)法從損壞的幾何圖形中恢復，導致車(chē)輛看起來(lái)不真實(shí)。在沒(méi)有表面元素信息的情況下，AI表現出了很大的差異。盡管如此，研究人員仍然認為SurfelGAN是未來(lái)動(dòng)態(tài)物體建模和視頻生成仿真系統的堅實(shí)基礎。