技術(shù)分享 | AVM合成數據仿真驗證方案

隨著(zhù)自動(dòng)駕駛技術(shù)的快速發(fā)展，仿真軟件在開(kāi)發(fā)過(guò)程中扮演著(zhù)越來(lái)越重要的角色。仿真傳感器與環(huán)境不僅能夠加速算法驗證，還能在安全可控的條件下進(jìn)行復雜場(chǎng)景的重復測試。

本文將分享如何利用自動(dòng)駕駛仿真軟件配置仿真傳感器與搭建仿真環(huán)境，并對腳本進(jìn)行修改，優(yōu)化和驗證4個(gè)魚(yú)眼相機生成AVM（Around View Monitor）合成數據的流程。通過(guò)這一過(guò)程，一同深入體驗仿真軟件的應用潛力！

一、流程概述

AVM是一種通過(guò)多相機實(shí)現車(chē)輛周?chē)h(huán)境的實(shí)時(shí)監控和顯示的系統，廣泛應用于自動(dòng)駕駛和高級駕駛輔助系統（ADAS）的環(huán)境感知中。本文基于仿真軟件與腳本生成AVM圖像的流程如下所示：

圖1：基于aiSim構建AVM圖像流程

首先，在Unreal Engine中配置標定投影參數所需的地圖，并在仿真器中為車(chē)輛部署4個(gè)方向的魚(yú)眼相機；

其次，基于相機內參進(jìn)行去畸變，并記錄求解投影矩陣所需的關(guān)鍵參考值，例如AVM畫(huà)幅尺寸、參考點(diǎn)的相對坐標、參考區域的大小與位置、車(chē)輛與參考區域的距離等；

隨后，在完成了角點(diǎn)提取預處理的標定圖像中快速選取參考點(diǎn)，生成單方向的BEV視圖，重復4次完成標定去畸變；

后文將對每個(gè)流程進(jìn)行具體描述。

二、仿真傳感器與環(huán)境配置

對于A(yíng)VM功能而言，通常需要配備4個(gè)及以上的大FOV相機以拍攝車(chē)輛周?chē)膱D像，在此基礎上還可配備雷達以更好地獲取車(chē)輛周?chē)恼系K物信息。

圖2：aiSim相機傳感器障礙物真值輸出

由于本文所使用仿真軟件的相機傳感器可以直接輸出識別對象（車(chē)輛、行人等）的2D、3D邊界框真值，所以只需配置4個(gè)方向的魚(yú)眼相機即可滿(mǎn)足整體需求：

（1）前置魚(yú)眼相機：安裝在前方車(chē)標附近，約15°俯視角；

（2）后置魚(yú)眼相機：安裝在后備箱附近，約25°俯視角；

（3）左、右側魚(yú)眼相機：分別安裝在左右后視鏡下方，約40°俯視角與相對車(chē)縱軸約100°的偏航角。

圖3：環(huán)視OpenCV魚(yú)眼相機傳感器配置

除了傳感器的配置，考慮到腳本是通過(guò)選取地面點(diǎn)，求解相機到地面的投影矩陣，并轉換生成BEV視圖進(jìn)行組合，所以還需要構建一張特征明顯、易于辨認標定效果的地圖。

本文所使用的仿真軟件支持在Unreal Engine中進(jìn)行地圖編輯與導出，并帶有一定數量的3D資產(chǎn)庫，因此可以基于一張基礎室內地圖，布置一定數量的正方形黑白標定板，根據需要搭建一個(gè)標定地圖：

圖4：基于aiSim插件的Unreal Engine地圖編輯

首先，在Unreal Engine中打開(kāi)項目，并進(jìn)入室內合成地圖；

然后，從3D資產(chǎn)庫中選擇100cm×100cm×5cm的標定板靜態(tài)網(wǎng)格體，拖放到地圖中；

隨后，通過(guò)直接拖動(dòng)模型上的變換工具或者修改側邊欄中的變換屬性框調整標定板的位置與姿態(tài)；

進(jìn)而，配置標定板的材質(zhì)，以黑色、白色的交替順序鋪展標定板；

最終形成一個(gè)長(cháng)方形的標定區域。

圖5：編輯完成后的地圖效果參考

批量鋪展的過(guò)程可以拆分為對2×2的標定板組合實(shí)施橫向與縱向陣列，完成后的地圖如圖所示，整體是一個(gè)6m×11m的矩形區域，車(chē)輛放置在中間2m×5m的矩形區域中。

三、圖像處理與AVM合成驗證集

如前文所述，本文使用的AVM腳本是基于車(chē)輛四周，位于相鄰兩個(gè)相機重疊視野的標定物，通過(guò)選取參考投影區域實(shí)現魚(yú)眼相機到BEV的轉化，以前視魚(yú)眼相機為例：

圖6：投影區域及BEV轉化示意圖

首先，由于是仿真傳感器的標準OpenCV魚(yú)眼相機模型，焦距、中心像素位置、畸變參數等內參均已知，可直接使用OpenCV的去畸變函數實(shí)現去畸變，如圖6的(c)到(d)所示；

其次，設定圖6(a)與(b)所示關(guān)鍵參數，確定圖像上的點(diǎn)對應的真實(shí)世界位置，進(jìn)而計算尺度：

（1）AVM視野總寬total_width = 2 × shift_width + 6 × board_size；

（2）AVM視野總長(cháng)total_height = 2 × shift_height + 11 × board_size；

（3）board_size為標定板邊長(cháng)，此處為100，單位cm；

（4）shift_width與shift_height為視野延伸距離，單位cm；

（5）左上角投影點(diǎn)projection_point_0：(shift_width + 100, shift_height)，以此類(lèi)推右上角、左下角、右下角投影點(diǎn)坐標，形成投影區域；

（6）inner_height與inner_width為投影區域相對車(chē)輛的橫向、縱向距離，單位cm，由此可以推算出自車(chē)所處區域；

而后，對去畸變相機圖像追加Shi-Tomasi角點(diǎn)提取處理，并增加半自動(dòng)采點(diǎn)的模式切換，自動(dòng)選取鼠標點(diǎn)擊像素位置周?chē)鷼W式距離最小的角點(diǎn)，保障準確度的同時(shí)提升效率；

最后，如圖6(d)選取4個(gè)角點(diǎn)，形成與(b)對應的參考投影區域，輸出的BEV視圖如圖6(e)所示。

圖7：環(huán)視BEV合成AVM示例

以此類(lèi)推可以得到4個(gè)方向的BEV視圖及對應的投影參數，結合車(chē)輛圖層作為覆蓋，即可生成對應傳感器布置下的二維AVM合成圖像，如圖7所示，其中每個(gè)像素分辨率為1cm2。

圖8：傳感器外參優(yōu)化示例

通過(guò)仿真軟件，一方面可以在控制算法不變的情況下尋找出更優(yōu)的傳感器外參布局，另一方面也可以在控制傳感器不變的情況下在多種不同場(chǎng)景驗證，進(jìn)而迭代優(yōu)化AVM算法的表現。結合相機傳感器自帶的標注信息，后續也可以進(jìn)行包括障礙物識別在內的更多功能驗證。

圖9：不同場(chǎng)景下的AVM合成數據

四、總結與展望

本文介紹了基于仿真軟件aiSim生成AVM合成數據的完整流程，包括傳感器與地圖的配置、圖像處理與BEV視圖生成以及最終的AVM合成驗證。

不難看出，仿真軟件的高效性與靈活性保障了在安全可控的環(huán)境中快速驗證算法性能的可行性，并可以通過(guò)多場(chǎng)景測試與參數優(yōu)化改進(jìn)算法，最終提升其綜合表現。