基于ZYNQ AP SoC的安全駕駛系統設計

作者 莫長(cháng)江 李俊宏 駱綺健 陳明波 嶺南師范學(xué)院 信息工程學(xué)院(廣東 湛江 524048)

摘要：針對系統對實(shí)時(shí)圖像處理的需求，本文提出了一種基于ZYNQ AP SoC的安全駕駛系統設計方案。本系統由ZYNQ架構中的PL(FPGA)部分負責驅動(dòng)CMOS攝像頭，將采集的圖像進(jìn)行灰度轉換，傳給PS(ARM)部分運行Adaboost算法，對圖像進(jìn)行人臉檢測，從而獲取駕駛員的眼睛和嘴巴的坐標值、面積值和張開(kāi)度，并利用OpenCV的PERCLOS算法制定疲勞狀態(tài)標準，給出預警信息。同時(shí)，ARM通過(guò)USB驅動(dòng)攝像頭，實(shí)現行車(chē)記錄，并通過(guò)酒精濃度傳感器采集車(chē)內酒精濃度，實(shí)現酒駕預警。通過(guò)實(shí)驗表明，本系統性能穩定，實(shí)現了保障安全駕駛的目的。

引言

　　疲勞駕駛和酒駕是嚴重的交通違法行為，駕駛員疲勞行車(chē)時(shí)，會(huì )造成反應遲鈍、困倦、四肢無(wú)力，不能及時(shí)發(fā)現路面交通情況以采取準確的駕駛操控措施，極易發(fā)生交通事故^[1]。據交通部統計，2015年間，由于駕駛員疲勞駕駛導致的交通事故占總數的10.64%，在重特大交通事故中約占45%。在美國，每年與疲勞駕駛相關(guān)的車(chē)禍奪去了15000人的生命。而酒后的駕駛員會(huì )出現視覺(jué)障礙、運動(dòng)反射神經(jīng)遲鈍、判斷力降低。有數據顯示，在中國，每年因酒駕導致的交通事故占40%~50%，可見(jiàn)，車(chē)輛裝備具有疲勞檢測和酒駕提醒的安全駕駛系統的必要性。

1 硬件系統架構及方案

　　基于ZYNQ AP SoC(ZYNQ All Programmable SoC)的安全駕駛系統的硬件系統^[2]如圖1所示，系統主要由高速CMOS圖像傳感器Ov7725、130萬(wàn)像素USB網(wǎng)絡(luò )攝像頭、Zynq-7000可擴展處理芯片、數據存儲單元DDR3、HDMI顯示屏、酒精傳感器和喇叭等組成。Xilinx公司的Zynq-7000可擴展處理芯片是整個(gè)系統的核心，其包含處理系統(Processing System,PS)和可編程邏輯(Programmable Logic,PL)兩部分，PS部分集成了最高頻率為667GHz的高性能雙核ARM Cortex-A9處理器，而PL部分包含28nm工藝的FPGA(Field-Programmable Gate Array)邏輯單元和DSP資源。

　　PL端通過(guò)I²C協(xié)議驅動(dòng)^[3]Ov7725攝像頭，將攝像頭采集的圖像數據緩存于一個(gè)異步時(shí)鐘FIFO(First Input First Output)隊列中，而FIFO的寫(xiě)時(shí)鐘由Ov7725攝像頭模塊提供，異步讀時(shí)鐘由VDMA Engine提供，并在讀過(guò)程進(jìn)行灰度圖轉換，后將數據讀入VDMA Engine。

　　PS端通過(guò)AMBA高速總線(xiàn)AXI_HP接口，驅動(dòng)DDR3控制器，并讀取一幀圖片數據，并對圖片進(jìn)行臉部識別等圖像處理，得到人臉五官特征值。(3)PS端同時(shí)通過(guò)USB-Host總線(xiàn)對網(wǎng)絡(luò )攝像頭進(jìn)行配置，并得到圖像數據，在Linux系統下將圖像通過(guò)HDMI顯示器顯示，并將圖像數據存儲到SD存儲卡中。(4)PS端在Linux系統下驅動(dòng)內部集成的12位精度ADC轉換器，將酒精傳感器采集的模擬信號進(jìn)行數字轉換。

　　預警提示最終通過(guò)調用程序預設的語(yǔ)音組合，由HDMI接口輸出到帶功放或者音頻接口的HDMI顯示設備，達到提醒駕駛員的目的。

2 軟件系統設計

　　軟件系統架構如圖2，采用Linaro系統，其是在Linux系統基礎下，由ARM、飛思卡爾、IBM、Samsung、ST-Ericsson 及德州儀器 (TI)等半導體廠(chǎng)商聯(lián)合為嵌入式SoC架構平臺而設計的開(kāi)源系統。其次，本系統使用開(kāi)源的OpenCV(Open Source Computer Vision Library)進(jìn)行圖像的高級處理^[4]，并采用具有跨平臺優(yōu)勢、易擴展的Qt圖形界面開(kāi)發(fā)框架作為軟件APP的界面設計與產(chǎn)品封裝。如果說(shuō)系統硬件是骨架和軀體，那么軟件算法就是思想和靈魂。編寫(xiě)程序之前，需要搭建好軟件開(kāi)發(fā)環(huán)境，步驟如圖3。

3 疲勞檢測算法分析

　　本系統的疲勞檢測流程如圖4，系統啟動(dòng)后會(huì )對駕駛員的臉部信息^[5]進(jìn)行獲取，因為駕駛員在圖像中的位置相對固定，通過(guò)基于Haar特征的AdaBoost級聯(lián)分類(lèi)器^[6]，對駕駛員進(jìn)行人臉檢測，得到駕駛員的臉坐標，并提取檢測的臉部作為ROI(region of interes)，圖像繼續對人眼和嘴巴進(jìn)行定位，得到人眼和嘴巴的特征值圖像后，進(jìn)而進(jìn)行二值化處理，再經(jīng)過(guò)形態(tài)學(xué)濾波器，對二值化圖像先腐蝕后膨脹，消除小物體，在纖細點(diǎn)處分離物體，然后通過(guò)OpenCV里面的findcontours算子尋找并標記輪廓，從而去除圖片中的噪聲和圖片邊緣無(wú)關(guān)物體，精確得到眼睛和嘴巴的輪廓，然后對該輪廓計算收斂的面積、高度和寬度。經(jīng)過(guò)上述步驟后，便得到了駕駛員的臉部五官坐標之間的距離比例關(guān)系。之后，實(shí)時(shí)地對獲取攝像頭的圖像數據，按照得到的臉部坐標對圖像進(jìn)行分割，并進(jìn)行AdaBoost人臉識別處理，再根據初始化時(shí)得到的人眼坐標，進(jìn)一步分割圖像，提高運算速度，進(jìn)行人眼識別，得到實(shí)時(shí)的人眼坐標，通過(guò)人臉五官的分布比例，定位到嘴巴，然后計算人眼和嘴巴的睜開(kāi)度、打哈欠數、閉眼持續時(shí)間，根據PERCLOS算法^[7]制定的標準，對駕駛員進(jìn)行疲勞提醒。