黑芝麻智能：BEV感知將成為車(chē)載感知的主流發(fā)展方向

2023年6月27日--近日，由黑芝麻智能主辦的"2023智能汽車(chē)高峰論壇"匯聚了眾多行業(yè)專(zhuān)家和企業(yè)代表。在其中的軟件論壇上，來(lái)自不用領(lǐng)域的嘉賓共同探討新形勢下汽車(chē)軟件行業(yè)的未來(lái)。黑芝麻智能深度學(xué)習研發(fā)高級總監王祚官在論壇上發(fā)表了主題為"BEV感知，給自動(dòng)駕駛開(kāi)啟‘上帝視角'"的主旨演講，分享黑芝麻智能在BEV感知方面的研發(fā)進(jìn)展。

感知質(zhì)量更好的前融合方案

BEV是Bird's-Eye-View Perception的縮寫(xiě)，即鳥(niǎo)瞰視角感知，簡(jiǎn)單而言就是融合車(chē)載多視角攝像頭的輸入，然后變成鳥(niǎo)瞰圖的檢測輸出，可用于各種下游任務(wù)。

相校于傳統的感知算法，BEV感知有明顯優(yōu)勢。如果把多視角的感知看作一個(gè)融合過(guò)程，傳統的感知算法可以看作是一個(gè)后融合方案，其典型做法是對每一路輸入的視頻做單獨檢測，然后通過(guò)一些方法把檢測結果融合起來(lái)。其缺點(diǎn)是會(huì )產(chǎn)生一些比較大的累計誤差。

BEV感知則屬于前融合感知，把圖像特征先融合起來(lái)，直接生成BEV的檢測結果，如此省去了很多中間步驟，生成的感知結果質(zhì)量比后融合方案的更好。

王祚官表示，BEV感知能為自動(dòng)駕駛感知任務(wù)提供有效的時(shí)空表征方法，將成為車(chē)載感知的主流發(fā)展方向。

黑芝麻智能開(kāi)發(fā)多重亮點(diǎn)的BEV技術(shù)

王祚官介紹，黑芝麻智能的BEV框架主要分三部分：第一部分是特征提取，對每一路輸入的圖像，提取其圖像特征；第二部分是BEV的特征生成，包含空間的融合和時(shí)間的融合；第三部分是目標檢測。

整體而言，黑芝麻智能開(kāi)發(fā)的BEV技術(shù)有諸多亮點(diǎn)：上下文感知增強的BEV投影，可自適應時(shí)空采樣，可學(xué)習車(chē)道結構的碼本，基于"BST渲染器"的實(shí)時(shí)矢量化地圖構建能力，結合"NeRF + LiDAR"的  Occupancy Grid Map（占位柵格地圖）功能 ，以及芯片本身的高效網(wǎng)絡(luò )架構與強大性能。

在將圖像投影到三維空間時(shí)，現有方法僅從一條光線(xiàn)中采樣上下文特征。黑芝麻智能采用了上下文感知的增強BEV，圖象包括非常豐富的場(chǎng)景信息，最終可以得到質(zhì)量非常高的BEV。

空間的融合之后，緊接著(zhù)就是時(shí)間的融合，典型做法是把當前均勻采樣的幀融合在一起。但這樣做有一個(gè)明顯問(wèn)題，即車(chē)輛停止的時(shí)候，采樣會(huì )產(chǎn)生大量重復的幀，造成之前的路面信息丟失，導致算力浪費，而且感知范圍會(huì )變小。黑芝麻智能的做法是增加了空間上的抽樣，即根據車(chē)身信息，每隔一定的距離做抽樣，然后把空間抽樣和時(shí)間抽樣結合起來(lái)，作為最后的目標檢測。通過(guò)這種方式，車(chē)輛在緩慢行駛甚至停止的情況下，仍然能夠保證有較大的感知范圍。

車(chē)道是高度規則化的結構，黑芝麻智能設計了用低維編碼的方法來(lái)引入車(chē)道線(xiàn)的結構信息，學(xué)習并保存多種車(chē)道結構的碼本(Codebook)，并在學(xué)習到的碼本指導下進(jìn)行預測。

在車(chē)輛周?chē)鷮?shí)時(shí)生成地圖對自動(dòng)駕駛非常關(guān)鍵。但是，地圖通常包含很多種類(lèi)的元素，比如車(chē)道線(xiàn)、人行道、停車(chē)位等，這給網(wǎng)絡(luò )實(shí)時(shí)預測周?chē)貓D帶來(lái)了困難。黑芝麻智能采用矢量的方法作為統一的表達方式，開(kāi)發(fā)了可微分的"BST-Renderer"，將各種地圖元素渲染成圖像，然后對渲染出的圖像進(jìn)行訓練。用一致的矢量表示，的好處就是說(shuō)，為后期的矢量地圖構建提供了便利。

在提到OCCUPANCY GRID時(shí)，王祚官表示，一個(gè)空間是否被占據，表示方法是把它離散化成等大小的立方體，用一個(gè)參數來(lái)表示這個(gè)立方體被占據的概率是多少。傳統的典型做法是使用LiDAR信號，但會(huì )出現信號缺失或被遮擋的問(wèn)題。黑芝麻智能設計了"NeRF + LiDAR"的方案，與僅使用 LiDAR相比，可端到端訓練，充分結合圖像信息和LiDAR信息，對被遮擋區域依然可以進(jìn)行場(chǎng)景流監督，可使用無(wú)LiDAR數據集進(jìn)行模型微調。

此外，BEV模型里面使用了很多Transformer模型，鑒于Transformer注意力機制的計算成本較高，黑芝麻智能簡(jiǎn)化了計算，使其適合在邊緣設備上運行。

自研高性能芯片為BEV模型落地提供支持

黑芝麻智能已將開(kāi)發(fā)的BEV模型部署到旗下華山二號A1000芯片上。A1000芯片擁有58TOPS(INT8)的強大算力，有矩陣運行單元和非線(xiàn)性運算單元，再加上DSP，能夠滿(mǎn)足行業(yè)需求。與此同時(shí)，BEV模型還可部署在黑芝麻智能最新發(fā)布的武當系列C1200芯片上。該系列是業(yè)內首個(gè)智能汽車(chē)跨域計算芯片平臺。

作為中國本土自動(dòng)駕駛芯片的供應商之一，黑芝麻智能擁有全棧感知算法量產(chǎn)化能力，能夠提供客戶(hù)算法定制服務(wù)，支持第三方算法移植，多種算法交付方式等靈活的商業(yè)模式。這些感知算法能夠加速并且助力一些中短期內智能領(lǐng)航和泊車(chē)應用產(chǎn)品快速落地，從而加速整個(gè)芯片的量產(chǎn)及應用。