雙目立體視覺(jué)帶你進(jìn)入 FCW / LDW 新視野
加入技術(shù)交流群
現今，最火熱的 ADAS 應用莫過(guò)于 前方防撞系統(Forward Collision Warning, FCW) 與 車(chē)道偏移系統(Lane Departure Warning, LDW)。
主要作用是預先偵測到任何會(huì )發(fā)生事故的物件或車(chē)輛、行人，盡而達到預防意外的功效! 以及搭配車(chē)道偏移預測加強輔助駕駛者 ! 但因受限于技術(shù)尚未成熟僅能針對特定的物件進(jìn)行描繪，像是車(chē)輛或是行人。故善用雙目立體視覺(jué)技術(shù)，即可提高物件辨識率以及辨識更多種類(lèi)的物件就是未來(lái)的研究一大方向，更是各家學(xué)術(shù)單位、公司百家爭鳴之處。
雙目立體視覺(jué)應用層面相當廣泛，能用于前車(chē)偵測與防撞、車(chē)道偏移、號志識別、行人偵測等等 ADAS 相關(guān)安全應用，如下圖1。 即透過(guò)新穎的雙目概念建立新的維度 (物體深度/遠近)，為車(chē)用安全領(lǐng)域多一種新的發(fā)想與延伸應用，更能輕易的識別標的物，以利于提早邁入自動(dòng)駕駛的領(lǐng)域之中。并能配合光學(xué)焦距的設計，使識別物件距離達到另一種層次提升，替未來(lái)車(chē)輛開(kāi)拓市場(chǎng)。
圖1 雙目立體視覺(jué)應用場(chǎng)景
本方案提供一套 Sky Eye 雙目立體視覺(jué) ADAS 產(chǎn)品開(kāi)發(fā)原型與技術(shù)資源，如 "展示板圖片" 所示。要讓初入此領(lǐng)域者的開(kāi)發(fā)者更快速地上手應用，縮短開(kāi)發(fā)周期并更能專(zhuān)注于開(kāi)發(fā)算法，設計出符合一定水平的 ADAS 產(chǎn)品。目前主要針對前車(chē)偵測與辨識進(jìn)行開(kāi)發(fā)，并搭配 Sony IMX224 車(chē)用感測器于實(shí)際架設在車(chē)輛上進(jìn)行道路測試，如下圖2，能夠偵測出前方車(chē)輛距離，最遠偵測距離約50米。并邁入車(chē)用安全 ADAS 與自動(dòng)駕駛之未來(lái)新領(lǐng)域中，創(chuàng )造更好的應用價(jià)值。
圖2 Sky Eye 雙目視覺(jué)前車(chē)偵測實(shí)測示意圖
借由專(zhuān)屬的雙目立體視覺(jué)算法創(chuàng )造建立三維空間(景深)。如下圖所示，取得兩顆鏡頭之影像后，由視差概念計算獲得新的空間 "視差" ! 同時(shí)，即可推導出車(chē)輛距離 (視差值越大距離越近，反之視差值越小則距離越遠) ! 亦可用彩色方式呈現視差圖，深淺程度由紅、澄、黃、綠、藍來(lái)表示近到遠的物件，如 "實(shí)測結果與彩色視差示意圖" 所示。
圖3 Sky Eye 雙目視覺(jué)前車(chē)偵測之視差原理示意圖
本方案提供的技術(shù)核心參考，取得視差圖后就可依照算法流程進(jìn)行分析，由改善視差影像、地面估算、移除天空等步驟構成，即可將場(chǎng)景中的物件分類(lèi)出來(lái)。最后統計資訊并利用條件篩選出車(chē)輛，如同下圖結果顯示即表示搜尋到前方車(chē)輛 !! 經(jīng)實(shí)際測試，執行速度約可達到每秒 27 張 FPS，可偵測到 50 米內的車(chē)輛。
圖4 Sky Eye 算法流程大公開(kāi)
最后，亦可善用 S32V234 APEX 視覺(jué)加速器所量身打造的 NXP eIQ Auto 套件與深度學(xué)習框架來(lái)提高識別車(chē)輛的辨識率 !! 達到辨識率與檢測速度更進(jìn)一步的提升!!
圖5 eIQ Auto機器學(xué)習軟體套件之應用場(chǎng)景
? 場(chǎng)景應用圖
? 產(chǎn)品實(shí)體圖
? 展示版照片
? 方案方塊圖
? 實(shí)測結果與彩色視差示意圖
? 核心技術(shù)優(yōu)勢
優(yōu)勢一 : 能配合雙目視覺(jué)之視差概念，建置深度資訊以利于識別物件。比起單一鏡頭，雙目視覺(jué)多一個(gè)維度運用更能輕易識別遠方的車(chē)輛，應用前景極為廣闊可識別車(chē)輛、行人、號志與道路。 優(yōu)勢二: 提供兩路 MIPI 接口，其鏡頭相距 30 公分以擴大視差效果，如下圖3，搭配 Sony IMX224 鏡頭可偵測 50 米內之車(chē)輛。以視差原理搭配長(cháng)焦、窄角鏡頭即可偵測更遠的物體(車(chē)輛)，更加強化雙目視覺(jué)的優(yōu)勢。 優(yōu)勢三: 提供齊全的周邊配置，如 高畫(huà)質(zhì)多媒體界面(HDMI) 、 乙太網(wǎng)路(Ethernet) 、異步收發(fā)傳輸器(UART) 接口。 優(yōu)勢四: 可快速上手應用 NXP eIQ Auto 深度學(xué)習套件，與雙目視覺(jué)結合能增加辨識速度。亦可配合任何一個(gè)深度學(xué)習的架構作延伸應用，提高物件識別的準確度
? 方案規格
- 搭配 4 顆 Quad Cortex-A53 高效能處理器，最高時(shí)脈為 1GHz
- 搭配 ISP 圖形處理器、APEX 視覺(jué)加速器、GPU 圖形加速器等核心
- ISP 圖形處理器 提供 HDR、色彩轉換、白平衡、自動(dòng)曝光等技術(shù)
- APEX 視覺(jué)加速器 由 64 個(gè)小型運算器組成的硬體加速器，能提高約 8 倍的運算性能。
- GPU 圖形加速器(GC3000) ，運算速度高達 800 MHZ 。
-提供 4MB 內部記憶體 與 DDR3/DDR3L/LPDDR2 外部記憶體
-提供 H.264 影像解碼與編碼技術(shù) (8-12bit)
- 提供 SD card 、Ethernet 等周邊接口
-符合車(chē)用安全規范 ISO 26262 標準 與 車(chē)輛安全等級 ASIL 的要求 2. 鏡頭模組 Camera Module 規格 (Sony IMX224) :
- 提供最高分辨率為 1280(H)x960(V) 共 1.23 百萬(wàn)畫(huà)素
- 提供最大禎數率 120 frame/s
- 提供 10 and 12 bit數位類(lèi)比轉換器
- 提供低光源時(shí)，良好的高分辨率彩色圖像
- 符合 AEC-Q100 2級 3. 外部記憶體 External Memory DDR3 規格 (MT41K256M16TW-107) :
- 最高運行時(shí)脈為 933 MHZ
- 儲存容量為 512 Byte
- 操作電壓為 1.283 至 1.45 V
-操作溫度為 0 至 95 度 4. 電源管理集成電路 PMIC (PF8100/PF8200) 規格:
- 提供 7 個(gè)高效能降壓轉換器
- 提供 4 個(gè)線(xiàn)性穩壓器
- 提供看門(mén)狗監控機制
- 符合 ISO 26262 標準與 車(chē)輛安全等級 ASIL-B 的要求 5. 低靜態(tài)電流同步降壓控制器 DCDC 規格（NCV881930）：
- 工作頻率為 410 KHz，具有同步功能
- 提供穩定的工作電流 30umA
- 提供熱關(guān)斷(TSD) 機制
- 符合 AEC-Q100 與 PPAP 標準
評論