合成數據為自動(dòng)駕駛汽車(chē)鋪平了道路

根據幾年前的樂(lè )觀(guān)預測，自動(dòng)駕駛汽車(chē)現在應該已經(jīng)在我們的車(chē)庫里了。但隨著(zhù)自動(dòng)駕駛出租車(chē)的采用率上升，消費者逐漸習慣了車(chē)輛中越來(lái)越復雜的駕駛輔助系統，我們可能正在接近一些轉折點(diǎn)?？偛课挥诠韫鹊?nbsp;Helm.ai 是一家推動(dòng)發(fā)展的公司，該公司為駕駛員輔助系統和全自動(dòng)駕駛汽車(chē)開(kāi)發(fā)軟件。

該公司為自動(dòng)駕駛汽車(chē)在道路上所需的意圖預測和路徑規劃提供基礎模型，還使用生成式 AI 創(chuàng )建合成訓練數據，讓車(chē)輛為許多可能出錯的事情做好準備。 IEEE Spectrum 與 Helm.ai 的創(chuàng )始人兼首席執行官 Vladislav Voroninski 就該公司創(chuàng )建合成數據來(lái)訓練和驗證自動(dòng)駕駛汽車(chē)系統進(jìn)行了交談。

Helm.ai 如何使用生成式 AI 來(lái)幫助開(kāi)發(fā)自動(dòng)駕駛汽車(chē)？

弗拉迪斯拉夫·沃羅寧斯基：我們將生成式 AI 用于模擬目的。那么，給定你觀(guān)察到的一定數量的真實(shí)數據，你能根據這些數據模擬新的情況嗎？您希望創(chuàng )建盡可能真實(shí)的數據，同時(shí)實(shí)際提供新內容。我們可以從任何相機或傳感器創(chuàng )建數據，以增加這些數據集的多樣性，并解決訓練和驗證的極端情況。

我知道您使用 VidGen 創(chuàng )建視頻數據，使用 WorldGen 創(chuàng )建其他類(lèi)型的傳感器數據。不同的汽車(chē)公司是否仍然依賴(lài)不同的模式？

沃羅寧斯基： 我們的客戶(hù)肯定對多種模式感興趣。不是每個(gè)人都只想用視力做所有事情。相機相對便宜，而激光雷達系統更昂貴。但我們實(shí)際上可以訓練模擬器，這些模擬器獲取相機數據并模擬激光雷達輸出的樣子。這可能是節省成本的一種方式。

即使只是視頻，在您進(jìn)行實(shí)時(shí)駕駛時(shí)，也會(huì )有一些情況非常罕見(jiàn)或幾乎不可能獲得，或者太危險而無(wú)法獲得。因此，我們可以使用生成式 AI 來(lái)創(chuàng )建非常非常高質(zhì)量的視頻數據，并且在這些情況下與真實(shí)數據基本上沒(méi)有區別。這也是節省數據收集成本的一種方式。

您如何創(chuàng )建這些不尋常的邊緣情況？你說(shuō)..「現在把一只袋鼠放在路上，現在把一只斑馬放在路上”嗎？

沃羅寧斯基： 有一種方法可以查詢(xún)這些模型，讓它們產(chǎn)生異常情況 — 這實(shí)際上只是整合控制仿真模型的方法。這可以通過(guò)文本或提示圖像或各種類(lèi)型的幾何輸入來(lái)完成。這些場(chǎng)景可以明確指定：如果汽車(chē)制造商已經(jīng)有一份他們知道可能發(fā)生的情況的清單，他們可以查詢(xún)這些基礎模型來(lái)生成這些情況。您還可以做一些更具可擴展性的作，其中有一些探索過(guò)程或模擬中發(fā)生的情況隨機化，這可用于針對各種情況測試您的自動(dòng)駕駛堆棧。

視頻數據的一個(gè)好處是，它絕對仍然是自動(dòng)駕駛的主要模式，您可以使用不僅僅是來(lái)自駕駛的視頻數據進(jìn)行訓練。因此，當涉及到那些稀有的天體類(lèi)別時(shí)，您實(shí)際上可以在許多不同的數據集中找到它們。

那么，如果你有一個(gè)動(dòng)物園里動(dòng)物的視頻數據集，它能幫助駕駛系統識別路上的袋鼠嗎？

沃羅寧斯基： 當然，這種數據可以用來(lái)訓練感知系統來(lái)理解這些不同的對象類(lèi)別。它還可用于模擬傳感器數據，將這些對象整合到駕駛場(chǎng)景中。我的意思是，同樣，很少有人在現實(shí)生活中見(jiàn)過(guò)路上的袋鼠。甚至可能在視頻中。但這很容易在你的腦海中浮現，對吧？如果你真的看到了它，你就能很快理解它。生成式 AI 的優(yōu)點(diǎn)在于，如果 [模型] 在不同場(chǎng)景中接觸到不同的概念，它可以在新穎的情況下將這些概念組合在一起。它可以在其他情況下觀(guān)察它，然后將這種理解帶到駕駛中。

您如何對合成數據進(jìn)行質(zhì)量控制？您如何向客戶(hù)保證它與真品一樣好？

沃羅寧斯基：您可以捕獲一些指標，以數字方式評估真實(shí)數據與合成數據的相似性。一個(gè)例子是你獲取一個(gè)真實(shí)數據的集合，然后你獲取一個(gè)旨在模擬它的合成數據的集合。你可以對兩者進(jìn)行概率分布擬合。然后，您可以用數字方式比較這些概率分布之間的距離。

其次，我們可以驗證合成數據對于解決某些問(wèn)題有用。你可以說(shuō)，“我們要解決這個(gè)極端情況。您只能使用模擬數據。您可以驗證使用模擬數據是否確實(shí)解決了問(wèn)題，并提高此任務(wù)的準確性，而無(wú)需對真實(shí)數據進(jìn)行訓練。

是否有反對者說(shuō)合成數據永遠不夠好，無(wú)法訓練這些系統并教給它們他們需要知道的一切？

沃羅寧斯基： 反對者通常不是 AI 專(zhuān)家。如果你尋找冰球的去向，很明顯，仿真將對自動(dòng)駕駛系統的開(kāi)發(fā)產(chǎn)生巨大影響。此外，一個(gè)移動(dòng)的目標就足夠好了，就像 AI 或 AGI [通用人工智能] 的定義一樣。做了一些發(fā)展，然后人們習慣了它們，“哦，這已經(jīng)沒(méi)意思了。一切都是為了接下來(lái)的事情。但我認為很明顯，基于 AI 的模擬將繼續改進(jìn)。如果你明確希望 AI 系統對某事進(jìn)行建模，那么此時(shí)沒(méi)有瓶頸。然后，這只是一個(gè)問(wèn)題，即它的推廣程度如何。