基于INTEL 11代芯片Tiger Lake 在A(yíng)I 套件OPENVINO上所開(kāi)發(fā)之智合科技車(chē)聯(lián)網(wǎng)暨駕駛行為解決方案

隨著(zhù) 5G 及車(chē)聯(lián)網(wǎng)發(fā)展，物流業(yè)主需要更具智慧的管理物流駕駛的系統，現行市場(chǎng)中仍處于安裝行車(chē)記錄器來(lái)進(jìn)行事后究責，無(wú)法達到事前預警及駕駛行為有效的改善。本提案透過(guò)兩支攝影機（車(chē)前影像及駕駛畫(huà)面）進(jìn)行在線(xiàn)影像分析，使用高效AI運算主機(HPC)分析車(chē)前狀況及駕駛行為，當發(fā)生異常事件后，進(jìn)行即時(shí)告警，并進(jìn)行事件錄影，透過(guò)4G/5G網(wǎng)路提供管理者查閱，讓管理者隨時(shí)檢視行車(chē)狀態(tài)（例如跟車(chē)過(guò)近或行人追撞危險），即時(shí)發(fā)現并修正駕駛行為異常（例如分心）。

其用途為：

· 保障駕駛安全

· 透過(guò)駕駛行為智能分析來(lái)修正駕駛行為，以保護用路人安全

解決方案

本系統特別適合應用于 運輸業(yè) 的駕駛管理，我們使用：

· Intel 11 代 TigerLake Edge Computer 及 NCS2 神經(jīng)棒來(lái)提供高效能的 AI 運算

· 使用二支 Webcam 擷取車(chē)前及駕駛影像，其中車(chē)前影像進(jìn)行人車(chē)物件偵測及追蹤，稱(chēng)為 ADAS；車(chē)內影像進(jìn)行駕駛人臉識別 [5]及頭部姿態(tài)角追蹤 [2]，稱(chēng)為 DMS

· 當系統偵測到 駕駛行為異常時(shí)，會(huì )即時(shí)提出警示，并進(jìn)行后端錄影

· 車(chē)隊管理者可以透過(guò) 4G/5G 路由連入檢測駕駛行為 異常狀況，可做駕駛行為評分依據。

在開(kāi)發(fā)過(guò)程中所用軟硬體如下：

硬體：

軟體：

1.系統架構－開(kāi)發(fā)硬體平臺：Intel 11 代 TigerLake Edge Computer+ Intel? NCS2 + Webcam x2 + 路由器

本系統由兩支Webcam擷取車(chē)前及駕駛座影像，至車(chē)聯(lián)網(wǎng)AI平臺并將影像分流至OpenVINO平臺進(jìn)行AI inference，并將異常事件上傳至駕駛監控平臺，業(yè)主能透過(guò)駕駛監控平臺得知目前駕駛狀態(tài)。（圖一所示）

                                         圖一 系統架構

2.技術(shù)架構－OpenVINO GStreamer [4]

在串流處理，我們采用 OpenVINO 平臺搭配 GStreamer 及 OpenCV 方式進(jìn)行。
AI 順向使用 OpenVINO 預訓練模型 [1]，主要有三類(lèi)：

· 車(chē)前物件偵測及屬性識別

· 人臉檢測及頭部姿態(tài)角追蹤

· 人臉識別

影像輸入，可透過(guò) Web Camera 或 檔案方式輸入，Inference 后的影像輸出到二路 V4L2 裝置 [3]

使用 GStreamer 連接 ADAS 及 DMS 所需的預訓練模型（由OpenVINO提供），將 Inference 后的結果，由 MQTT 傳至團隊開(kāi)發(fā)的 AI 智能駕駛行為分析程式進(jìn)行分析，使用 OpenCV 進(jìn)行 online 貼圖，并將駕使行為異常結果儲存于資料庫，管理者可透過(guò) 本團隊開(kāi)發(fā)之駕駛監控平臺進(jìn)行異常事件的檢索。（圖二所示）

圖二 技術(shù)架構圖

3.ADAS Pipeline

圖三為 GStreamer 連接 OpenVINO Model（人、車(chē)、自行車(chē)辨識）、（人物屬性辨識）、（車(chē)輛屬性辨識）之 ADAS Pipeline：

圖三 ADAS Pipeline

DMS Pipeline

圖四為 GStreamer 連接 OpenVINO Model（頭部姿態(tài)角辨識）、（人臉辨識）之DMS Pipeline：

圖四 DMS Pipeline

成果介紹短片

成果介紹

· 安裝模擬場(chǎng)景

圖五  模擬場(chǎng)景

· ADAS 與 DMS 功能介紹及觸發(fā)條件

 圖六 功能介紹

· 車(chē)機畫(huà)面及駕駛監控平臺 – 展示說(shuō)明

 圖七  車(chē)機畫(huà)面介紹

圖八  駕駛監控平臺操作步驟

· 各項Model使用CPU及VPU效能表現

                                                      圖九  Model使用CPU及VPU效能

                           圖十 使用 CPU 及VPU 效能圖表 (因值域差異大，以 Log10 對數表示)

                                                                    圖十一  裝置工作詳細內容

以下概略說(shuō)明主要硬體的使用方式及整合后系統效能的表現，其中CPU 占比最高，功能包含：

· 負責兩項 AI 功能：車(chē)前物件偵測與追蹤，及駕駛頭部姿態(tài)角

· 應用端的邏輯及 online OSD 貼圖

· 網(wǎng)頁(yè)服務(wù)器及資料庫

GPU 提供車(chē)機影像的顯示，NCS2 神經(jīng)棒負責第三個(gè)AI的功能：人臉偵測與識別。

輸入資料量為兩只 Web Camera 攝影機，其分辨率為 752×416@30 FPS，整合后的系統效能，張數大約落在 15~25 張。

本系統能即時(shí)分析輔助駕駛并讓業(yè)主了解駕駛行為表現，可以進(jìn)行員工教育，提升駕駛素質(zhì)，保障駕駛及用路人的生命安全。