基于S32V來(lái)實(shí)現人臉識別的應用

摘要：汽車(chē)行業(yè)ADAS功能需求日益增長(cháng)，防疲勞駕駛是一個(gè)熱門(mén)方向，對于駕駛員狀態(tài)的檢測，人臉識別是基礎，只有快速準確地識別到人臉，才能對人臉狀態(tài)進(jìn)行分析。本文將介紹基于S32V來(lái)實(shí)現人臉識別的應用。

一、S32V視覺(jué)處理平臺

NXP于2015開(kāi)始推出S32V平臺，現在已經(jīng)推出了第二代型號S32V234，第三代目前已經(jīng)在樣品階段，該平臺定位為ADAS視覺(jué)處理，提供了視覺(jué)系統應用所需的性能和功能。

對于圖像處理，S32V具有自己的特色，硬件方面：具有兩路CSI和兩路并口攝像頭接口，提供了可圖形化編程的ISP、APEX，以及3D渲染的GPU。其中可編程的ISP可以對通過(guò)CSI輸入的攝像頭圖像數據進(jìn)行處理，支持HDR、顏色轉換、色調映射等。APEX提供了并行圖像處理的能力。還提供了H264硬件編解碼等，基本覆蓋了圖像處理所需要的硬件資源。

軟件方面：提供了VSDK，包含S32V平臺的各個(gè)外設驅動(dòng)，并配有相關(guān)例程。API方面提供了OpenCV、FFmpeg、OpenCL、OpenGL、EGL等常用圖像處理相關(guān)庫。

圖1 S32V內部框圖

二、人臉識別方案介紹

采用索尼的IMX224攝像頭作為圖像輸入，移植人臉識別庫，建立演示demo將檢測到的人臉實(shí)時(shí)用方框標記出來(lái)。

1.   方案框圖

圖 2 人臉識別方案框圖

2.   Demo搭建

l          獲取攝像頭數據

首先，基于VSDK實(shí)現iMX224攝像頭的數據獲取。通過(guò)NXP提供S32 Design Studio for Vision Version軟件建立iMX224的ISP處理流程，如下圖所示。

圖 3 ISP處理流程

這里通過(guò)運行在IPUS0中的debayer_rgb_simple_interleaced，實(shí)現了攝像頭Debayer數據轉RGB，然后通過(guò)FDMA傳輸到DDR中供算法調用。如果對于圖像有特殊要求的，可以自己建立對應的IPUS核，對圖像數據進(jìn)行相關(guān)處理。

l          交叉編譯相關(guān)庫

移植人臉識別算法庫，該庫基于NCNN神經(jīng)網(wǎng)絡(luò )上搭建人臉識別系統，依賴(lài)的庫有OpenCV、NCNN以及Sqlit3。這些庫需要交叉編譯，其中OpenCV和Sqlit3的ARM版S32V已經(jīng)提供不需要再進(jìn)行編譯，編譯后的NCNN和人臉識別算法庫都是靜態(tài)庫，不需要拷貝到目標板上。

l          人臉檢測demo

通過(guò)Qt來(lái)實(shí)現界面顯示，首先在pro文件中添加VSDK中獲取攝像頭數據的相關(guān)庫，算法移植的相關(guān)庫，然后通過(guò)如下API接口獲取圖像數據。

int getCImg(cv::Mat &cimg);

再調用如下接口進(jìn)行人臉檢測：

void detectMaxFace(ncnn::Mat& img_, std::vector<Bbox>& finalBbox);

3.   Demo效果

    最后將檢測結果通過(guò)Qt界面顯示出來(lái)，如下圖所示。

圖4 人臉檢測結果

通過(guò)測試，人臉檢測耗時(shí)如下所示：