大模型如何助力自動(dòng)駕駛數據閉環(huán)？

生成式AI 大模型進(jìn)入自動(dòng)駕駛系統的速度越來(lái)越快了。7 月初的智駕系統發(fā)布會(huì )上，理想汽車(chē)推出了全鏈路一體式端到端+ 視覺(jué)語(yǔ)言模型的雙系統方案。7 月23 日的科技創(chuàng )新日上，蔚來(lái)汽車(chē)推出世界模型NWM，雖然尚未量產(chǎn)，但也宣誓了蔚來(lái)汽車(chē)要將生成式AI 大模型搬上車(chē)端自動(dòng)駕駛系統的決心。7 月30 日的智駕系統發(fā)布會(huì )上，小鵬汽車(chē)宣布全量推送搭載大語(yǔ)言模型技術(shù)的XBrain 與XPlanner、XNet 三網(wǎng)合一的端到端大模型。到了10 月下旬，理想汽車(chē)全量推送了接棒分段式端到端無(wú)圖NOA 方案的雙系統方案。至此，頭部智駕車(chē)企以生成式AI 大模型解決傳統端到端方案缺陷的技術(shù)路線(xiàn)已經(jīng)相當明朗了，不過(guò)，這并非生成式AI大模型與自動(dòng)駕駛領(lǐng)域的初次相遇，更早之前，世界模型和大語(yǔ)言模型就已經(jīng)用在了自動(dòng)駕駛系統的數據閉環(huán)里。

在這樣的語(yǔ)境和事實(shí)下，兩個(gè)值得探討的問(wèn)題是：大模型為什么能夠用于自動(dòng)駕駛數據閉環(huán)，大模型又是怎樣助力數據閉環(huán)的呢？

1   數據閉環(huán)與大模型的適配

時(shí)代的變遷從來(lái)都不是忽如一夜春風(fēng)來(lái)，千樹(shù)萬(wàn)樹(shù)梨花開(kāi)，是一天又一天潤物細無(wú)聲的悄然改變，讓你在多日之后回頭一看方驚覺(jué)已經(jīng)變了天。自動(dòng)駕駛技術(shù)路線(xiàn)的變遷也像郭德綱成名那樣，并非發(fā)生在具體的哪一天，而是發(fā)生在每一個(gè)夜晚。隨著(zhù)自動(dòng)駕駛系統中感知定位、決策規劃和控制模塊的實(shí)現方式由基于規則的代碼向AI 模型慢慢轉變，自動(dòng)駕駛系統開(kāi)發(fā)范式也從規則驅動(dòng)逐漸過(guò)渡到了數據驅動(dòng)，自動(dòng)駕駛系統越來(lái)越依賴(lài)數據驅動(dòng)，意味著(zhù)數據閉環(huán)對自動(dòng)駕駛系統越來(lái)越關(guān)鍵了。

圖片來(lái)源：地平線(xiàn)

所謂數據閉環(huán)，指的是從數據采集到存儲，到挖掘、標注、模型訓練，再到仿真驗證、集成部署的整個(gè)開(kāi)發(fā)工作流。數據閉環(huán)完成的是對數據價(jià)值的提取工作，其本質(zhì)是將隱藏在一個(gè)又一個(gè)駕駛數據片段中的人類(lèi)駕駛知識慢慢地乾坤大挪移到自動(dòng)駕駛系統模型的參數文件里。

圖片來(lái)源：輝羲智能

在海量數據驅動(dòng)的端到端大模型時(shí)代。如何高效地采集、處理數據，如何高效地訓練模型并驗證模型能力成了決定系統迭代速度的關(guān)鍵。顯然，決定數據采集和價(jià)值提取效率的數據閉環(huán)，決定著(zhù)自動(dòng)駕駛系統能力升級的效率。提到效率，AI大模型的價(jià)值之一就是變革工作流，提升各個(gè)環(huán)節的效率，所以，AI大模型順理成章地被各路玩家應用到了自動(dòng)駕駛的數據閉環(huán)里。

圖片來(lái)源：華為

在《技術(shù)的本質(zhì)》一書(shū)里，作者鮮明地指出，技術(shù)方案的一端連著(zhù)用戶(hù)需求，另一端連著(zhù)技術(shù)的能力。將這種認知方法論套用過(guò)來(lái)，對于自動(dòng)駕駛數據閉環(huán)而言，鏈條的一端是目的或需求，數據閉環(huán)的需求在于數據標注和挖掘、模型訓練和仿真，鏈接的另一端是能夠達到目的或滿(mǎn)足需求的技術(shù)能力，大模型的技術(shù)能力在于帶來(lái)了兩個(gè)關(guān)鍵能力的根本性提升：超強的理解能力和超強的生成能力。

所以，就大模型的技術(shù)能力和自動(dòng)駕駛數據閉環(huán)需求的匹配而言，大模型超強的理解能力可以滿(mǎn)足數據標注、場(chǎng)景挖掘的需求，其超強的生成能力可以滿(mǎn)足用于模型訓練與仿真的場(chǎng)景重建和生成。那么，展開(kāi)來(lái)講，大模型是如何加持自動(dòng)駕駛數據閉環(huán)的數據標注、場(chǎng)景挖掘、場(chǎng)景重建和生成的呢？

2   大模型賦能數據標注和場(chǎng)景挖掘

數據標注的主要作用在于從原始圖像、雷達數據中生成精標數據，通過(guò)精確標注的數據構建模型的訓練集、驗證集和測試集，用于自動(dòng)駕駛模型的訓練和評估。具體而言，在自動(dòng)駕駛模型的訓練中，通過(guò)精標訓練數據集提供的真值和模型輸出做對比，計算損失函數，再以反向傳播的方式更新模型的參數，使得模型輸出可以愈來(lái)愈逼近訓練數據的真值。在自動(dòng)駕駛模型的性能評估和驗證中，通過(guò)標注數據構建驗證集和測試集，將模型預測結果與標注的真實(shí)結果作比較，評估模型的性能。

圖片來(lái)源：高通

場(chǎng)景挖掘的主要作用是搜索或檢索帶有相似語(yǔ)義標簽的場(chǎng)景數據，在模型訓練階段，通過(guò)特定場(chǎng)景庫的訓練讓自動(dòng)駕駛模型學(xué)習該類(lèi)場(chǎng)景的特征，提升在該類(lèi)場(chǎng)景下的感知、決策準確性和泛化能力。在模型驗證和評估階段，通過(guò)場(chǎng)景挖掘構建測試場(chǎng)景庫，驗證模型是否可以有效應對此類(lèi)場(chǎng)景。如果拿日常生活片段做類(lèi)比，數據標注是將所有衣物都進(jìn)行清洗，場(chǎng)景挖掘則是建立一個(gè)又一個(gè)帶標簽的小抽屜，把這些衣物分門(mén)別類(lèi)地放在了小抽屜里。

圖片來(lái)源：特斯拉

早在幾年前，頭部玩家們就已經(jīng)借助AI 能力實(shí)現了自動(dòng)標注，相較于傳統的人工標注，自動(dòng)標注的效率提高了幾個(gè)數量級。

大模型問(wèn)世之后，通過(guò)海量數據的預訓練和精標數據的精調訓練，具有圖文理解能力的大模型可以進(jìn)一步提高標注的速度和準確性。更為難得的是，為了挑戰OpenAI，部分大模型頭部玩家采用了開(kāi)源的戰略，使得自動(dòng)駕駛行業(yè)的從業(yè)者們可以奉行拿來(lái)主義，近乎于直接采用具備精確標注能力的開(kāi)源大模型進(jìn)行數據標注。

圖片來(lái)源：一汽紅旗

大模型對場(chǎng)景挖掘的加持主要得益于圖文大模型的場(chǎng)景理解能力。借助之前那個(gè)小抽屜的比喻，場(chǎng)景挖掘的核心工作是給視頻片段打標簽、做分類(lèi)，大模型具備超強的語(yǔ)義理解能力，可以代替人工打標簽，以極高的效率完成對海量視頻片段的處理。

圖片來(lái)源：百度

3   大模型賦能場(chǎng)景重建和生成

自動(dòng)駕駛系統能力提升的過(guò)程是覆蓋一個(gè)又一個(gè)長(cháng)尾場(chǎng)景的過(guò)程。長(cháng)尾場(chǎng)景遵循動(dòng)態(tài)的定義，因人而異，因時(shí)而異，對比亞迪智駕系統成立的長(cháng)尾場(chǎng)景對華為ADS和小鵬XNGP不一定成立，對半年前的智駕系統成立的長(cháng)尾場(chǎng)景對今天的智駕系統也未必成立。簡(jiǎn)而言之，系統處理不了的都是長(cháng)尾場(chǎng)景，處理得了，無(wú)論場(chǎng)景有多么復雜，也不再稱(chēng)其為長(cháng)尾場(chǎng)景。

雖然現實(shí)世界千奇百怪，但是，大部分人過(guò)的都是一個(gè)又一個(gè)平平淡淡的日子，換言之，通過(guò)真實(shí)車(chē)輛收集駕駛長(cháng)尾場(chǎng)景的速度實(shí)在太慢了。根據頭部智駕方案供應商Momenta的估計，自動(dòng)駕駛系統要達到L4 等級，需要1,000 億公里的累計駕駛里程才能收集完罕見(jiàn)長(cháng)尾問(wèn)題。目前，國內累計智駕里程最多的理想汽車(chē)累計里程也不過(guò)才25億公里，和1000億公里還有著(zhù)遠超十萬(wàn)八千里的差距。

既然通過(guò)真實(shí)車(chē)輛收集長(cháng)尾場(chǎng)景的時(shí)間太漫長(cháng)，那么，秉持“有困難要上，沒(méi)有困難創(chuàng )造困難也要上”的態(tài)度，可以以虛擬仿真和數字孿生的方式制造長(cháng)尾場(chǎng)景，利用大模型的生成能力將Corner case 變成小case。具體的，首先通過(guò)3D 高斯濺射或Nerf 神經(jīng)輻射場(chǎng)重建駕駛場(chǎng)景，然后利用大模型的生成能力對重建的駕駛場(chǎng)景做泛化，做數據增強，生成各種天氣、光照、交通參與者下的長(cháng)尾場(chǎng)景。

圖片來(lái)源：地平線(xiàn)

寫(xiě)在最后

過(guò)去領(lǐng)跑自動(dòng)駕駛賽道的玩家更早地布局自動(dòng)駕駛數據閉環(huán)的建設，再加上代表自動(dòng)駕駛最新技術(shù)路線(xiàn)的端到端更加依賴(lài)數據驅動(dòng)，所以，雖然大模型對各家自動(dòng)駕駛數據閉環(huán)的各個(gè)階段都能有所助益，但是，從大模型這個(gè)大家伙那里獲得最大收益的，依然是頭部玩家華為、特斯拉、蔚小理！

圖片來(lái)源：Momenta

（注：本文來(lái)源于《EEPW》202412）