智能駕駛中的 感知 模塊介紹
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對面交流
海量資料庫查詢(xún)
現在大家不都是在提倡感知規控“端到端”嗎？為什么還要拆開(kāi)介紹？個(gè)人理解：完全端到端還有很長(cháng)一段時(shí)間要走，了解感知模塊，沒(méi)什么壞處。
1.感知的定義
感知是指通過(guò)傳感器獲取環(huán)境信息并將其轉化為可用數據的過(guò)程。在自動(dòng)駕駛中，感知技術(shù)主要包括目標檢測、識別、跟蹤、分割、預測等。沒(méi)有可靠的感知技術(shù)，下游規控很難進(jìn)行決策，自動(dòng)駕駛系統也很難實(shí)現安全駕駛。
2.感知硬件
感知系統通常由多種傳感器和數據處理單元組成。常見(jiàn)的傳感器包括：
激光雷達（LiDAR）：通過(guò)激光掃描獲取高精度的三維點(diǎn)云數據，能夠準確測量物體的位置和形狀。
攝像頭：提供高分辨率的視覺(jué)信息，用于識別物體的顏色、形狀以及交通標志等。
毫米波雷達：擅長(cháng)檢測動(dòng)態(tài)物體，尤其適合在惡劣天氣條件下工作。
超聲波傳感器：用于近距離障礙物檢測，常用于泊車(chē)場(chǎng)景。
有了這些傳感器，怎么把它們采集到的信息用起來(lái)呢？這就涉及到數據流轉的計算單元了。常見(jiàn)的數據處理單元包括：
Image Pyramid（簡(jiǎn)稱(chēng)Pyramid，圖像金字塔）用于對輸入的圖像按照金字塔圖層的方式處理，并輸出到DDR，可實(shí)現對圖像多尺度的縮小、裁剪，輸出圖像數據可直接用于BPU上的模型推理；
GDC (Geometry and Distortion Correction，幾何校正和失真校正)可將輸入的圖像進(jìn)行視角變換、畸變校正和指定角度（0,90,180,270）旋轉，常用于對魚(yú)眼相機圖像的畸變矯正；
Stitch可對輸入的圖像進(jìn)行裁剪、拼接，常用于A(yíng)VM的環(huán)視圖像拼接；
ISP(Image Signal Processing) 圖像信號處理。主要用來(lái)對前端圖像傳感器輸出信號處理的單元，以匹配不同廠(chǎng)商的圖像傳感器。
NPU(NeuralNetwork Processing Unit)神經(jīng)網(wǎng)絡(luò )處理器：常見(jiàn)的有GPU、BPU等。
CPU(Central Processing Unit)中央處理器，常用于解釋計算機指令以及處理軟件中的數據。
有了輸入數據傳感器和數據處理單元后，下面就涉及到感知模塊常用的算法了。
3.關(guān)鍵算法
智能駕駛感知技術(shù)依賴(lài)于多種算法模型，以下是幾種常用的算法：
目標檢測與識別：通過(guò)攝像頭數據檢測識別出車(chē)輛、行人、交通標志等。
點(diǎn)云分割與分類(lèi)：通過(guò)激光雷達點(diǎn)云處理技術(shù)，識別障礙物和行駛道路。
多傳感器融合：結合激光雷達、攝像頭的數據，提高感知的準確性和魯棒性。
軌跡預測：對檢測出的動(dòng)態(tài)物體運動(dòng)軌跡進(jìn)行預測，為路徑規劃和決策提供支持。
4.數據通路
以一個(gè)多傳感器、多視角融合算法模型為例，介紹如何將整個(gè)數據通路串接起來(lái)，前面介紹的傳感器和數據處理單元也會(huì )一起用起來(lái)。
5.感知技術(shù)的挑戰
盡管感知技術(shù)已經(jīng)取得顯著(zhù)進(jìn)展，但仍然面臨諸多挑戰：
復雜環(huán)境下的可靠性：在雨雪、大霧、強光等惡劣天氣條件下，傳感器的性能會(huì )大幅下降，影響感知系統的可靠性。
計算效率：感知算法需要實(shí)時(shí)處理大量數據，計算復雜度高，對硬件性能要求極高。
傳感器成本：高性能傳感器如激光雷達成本較高，限制了其在量產(chǎn)車(chē)上的普及。
誤檢與漏檢：在復雜場(chǎng)景中，感知系統可能出現誤檢（將無(wú)威脅物體識別為障礙）或漏檢（忽略真實(shí)威脅）的情況，影響駕駛安全性。
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
