BEV感知技術(shù)：多相機數據采集與高精度時(shí)間同步方案

隨著(zhù)自動(dòng)駕駛技術(shù)的快速發(fā)展，車(chē)輛準確感知周?chē)h(huán)境的能力變得至關(guān)重要。BEV（Bird's-Eye-View，鳥(niǎo)瞰圖）感知技術(shù)，以其獨特的視角和強大的數據處理能力，正成為自動(dòng)駕駛領(lǐng)域的一大研究熱點(diǎn)。

一、BEV感知技術(shù)概述

BEV感知技術(shù)，是一種從鳥(niǎo)瞰圖視角（俯視圖）出發(fā)的環(huán)境感知方法。與傳統的正視圖相比，BEV視角具有尺度變化小、視角遮擋少的顯著(zhù)優(yōu)勢，有助于網(wǎng)絡(luò )對目標特征的一致性表達?；谶@樣的優(yōu)勢，可以更有效的對車(chē)輛周?chē)h(huán)境進(jìn)行感知。

圖1：BEV 感知圖

因此，在自動(dòng)駕駛感知任務(wù)中，BEV感知算法通常包括分類(lèi)、檢測、分割、跟蹤、預測、計劃和控制等多個(gè)子任務(wù)，共同構建起一個(gè)完整的感知框架。

BEV感知算法的數據輸入主要有圖像和點(diǎn)云兩種形式。根據數據源不同，BEV算法主要分為BEV Camera（純視覺(jué)）、BEV LiDAR（基于激光雷達）和BEV Fusion（多模態(tài)融合）三類(lèi)。其中，圖像數據具有紋理豐富、成本低的優(yōu)勢，此外，基于圖像的任務(wù)、基礎模型相對成熟和完善，比較容易擴展到 BEV 感知算法中。

為了更好的訓練BEV Camera感知算法，往往需要先搭建一個(gè)高質(zhì)量的數據集。而搭建一套BEV感知數據采集系統，通常包括以下幾個(gè)關(guān)鍵環(huán)節：

1. 硬件選型與集成：選合適的攝像頭和計算采集平臺，集成穩定系統。

2. 數據采集：在實(shí)際環(huán)境中采集圖像數據，覆蓋不同場(chǎng)景、光照和天氣。

3. 時(shí)間同步：確保不同傳感器數據時(shí)間精確同步，是后續算法訓練的必要前提。

4. 系統調試和部署：調試系統確保組件協(xié)同工作，部署到實(shí)際應用環(huán)境。

因此，在實(shí)際搭建過(guò)程中，常會(huì )遇到技術(shù)復雜性高、成本投入大、數據質(zhì)量與時(shí)間同步實(shí)現難、系統穩定性與可靠性要求高等挑戰。針對這些問(wèn)題，本文分享一套BEV Camera數據采集方案，能高效搭建高質(zhì)量的BEV感知數據集，加速算法研發(fā)和訓練。

二、BEV Camera數據采集系統方案

BEV Camera數據系統采集方案以BRICKplus為核心系統平臺，通過(guò)擴展PCIe Slot ETH6000模塊連接6個(gè)iDS相機，利用GPS接收模塊獲取衛星時(shí)鐘信號，提供XTSS時(shí)間同步服務(wù)，并支持13路（g）PTP以太網(wǎng)接口，確保高精度時(shí)間同步。

BRICKplus搭載BRICK STORAGEplus硬盤(pán)，提供大容量高速存儲，滿(mǎn)足高帶寬數據采集需求，確保數據的完整性和可靠性。

圖2：系統集成

三、數據采集

在BEV Camera數據采集方案中，難點(diǎn)在于如何同步多相機的采集動(dòng)作、確保數據的高精度時(shí)間同步以及高效傳輸。因此，在整個(gè)軟件方面，我們采用ROS+PEAK SDK方案進(jìn)行深度集成，實(shí)現了多相機的參數配置、數據采集與傳輸。

為了更靈活應對實(shí)際采集環(huán)境需求，對相機（如曝光時(shí)間、幀率和分辨率等）參數進(jìn)行了統一管理和存儲，這些參數可在節點(diǎn)啟動(dòng)時(shí)通過(guò)配置文件動(dòng)態(tài)加載，為相機的初始化提供了靈活性。

圖3：相機參數配置

為實(shí)現多相機的同步采集和高效傳輸，我們利用了ROS的多線(xiàn)程和節點(diǎn)管理功能。通過(guò)為每個(gè)相機創(chuàng )建獨立的采集線(xiàn)程，并啟動(dòng)采集循環(huán)，確保了每個(gè)相機的采集過(guò)程獨立且高效。引入全局控制信號與信號處理機制，確保了統一管理所有相機的采集和同步結束狀態(tài)。

圖4：相機實(shí)時(shí)可視化

四、時(shí)間同步

為了實(shí)現多相機的時(shí)間同步，一般有兩種方式：軟時(shí)間同步和硬件時(shí)間同步。軟時(shí)間同步主要依賴(lài)于軟件層面的算法和協(xié)議來(lái)實(shí)現時(shí)間同步。其精度通常在微秒級別，適用于對時(shí)間同步精度要求不是較高的場(chǎng)景。

圖5：多相機軟件時(shí)間同步

為了應對時(shí)間同步精度要求較高的采集場(chǎng)景，如自動(dòng)駕駛和高精度測量等。在BEV Camera數據采集方案中，進(jìn)一步支持相機進(jìn)行硬件時(shí)間同步。通過(guò)XTSS軟件可以有效管理數采平臺的時(shí)間同步功能，能夠快速輕便配備各個(gè)傳感器的時(shí)間同步配置。

圖6：XTSS 時(shí)間同步管理

通過(guò)GPS模塊提供高精度的時(shí)間基準，并利用支持硬件時(shí)間戳的以太網(wǎng)接口直接捕獲數據包的時(shí)間戳。其時(shí)間同步精度可以達到納秒級別，具備高穩定性，不受軟件和網(wǎng)絡(luò )延遲影響。

圖7：多相機硬件時(shí)間同步

五、總結

在自動(dòng)駕駛技術(shù)的快速發(fā)展中，BEV Camera數據采集系統的構建至關(guān)重要。通過(guò)采用BRICKplus平臺，結合PCIe Slot ETH6000模塊和iDS相機，我們實(shí)現了多相機的高效數據采集和存儲。通過(guò)ROS+PEAK SDK的深度集成，實(shí)現了多相機的參數配置、數據采集與傳輸。利用GPS接收模塊和XTSS時(shí)間同步服務(wù)，確保了多相機的高精度時(shí)間同步。

BEV Camera數據采集方案有效解決了多相機同步采集和高精度時(shí)間同步的難題，還提供了靈活的相機參數配置和高效的數據傳輸，能夠滿(mǎn)足自動(dòng)駕駛和高精度測量等場(chǎng)景的需求。