基于深度學(xué)習的交通場(chǎng)景中行人檢測方法*

*基金項目：湖南省自然科學(xué)基金(No.2018JJ4074,No.2018JJ4077)；湖南省教育廳科學(xué)研究項目(No.19A139)。

作者簡(jiǎn)介: 舒小華(1965－),男,博士,副教授,碩士生導師,研究領(lǐng)域為圖像處理、智能交通,E-mail: sxhdata@126.com。

何許梅(1996－),女, 碩士生,研究領(lǐng)域為圖像處理、智能信息處理。

0   引言

行人檢測是目標檢測領(lǐng)域中重要的研究課題，其在智能駕駛系統、視頻監控、人流量密度監測等領(lǐng)域有廣泛應用^[1-2]。但由于行人背景的復雜以及個(gè)體本身的差異，行人檢測成為目標檢測領(lǐng)域的研究難點(diǎn)之一。

目前行人檢測方法主要分為兩類(lèi)：傳統的行人識別主要通過(guò)人工設計特征結合分類(lèi)器的方式進(jìn)行。比較經(jīng)典的方法有HOG+SVM^[3]、HOG+LBP^[4] 等。此類(lèi)方法可以避免行人遮擋帶來(lái)的影響，但是泛化能力和準確性較低^[5]，難以滿(mǎn)足實(shí)際需求。另一類(lèi)是基于深度學(xué)習的方法。通過(guò)多層卷積神經(jīng)網(wǎng)絡(luò )(CNN) 對行人進(jìn)行分類(lèi)和定位。與傳統特征算子相比，CNN 能根據輸入的圖像自主學(xué)習特征，提取圖像中更豐富和更抽象的特征。目前已有許多基于深度學(xué)習的目標檢測框架，如R-CNN(Region Convolutional Neural Network) 系列^[6-8]、YOLO(You Look at Once) 系列[9-12]。R-CNN 系列算法又被稱(chēng)為二階段算法^[13]，該類(lèi)算法通過(guò)網(wǎng)絡(luò )找出待檢測目標可能存在的位置，即疑似區域，然后利用特征圖內的特征信息對目標進(jìn)行分類(lèi)，優(yōu)點(diǎn)是檢測準確率較高，但實(shí)時(shí)性較差。YOLO 系列算法又稱(chēng)為一階段算法^[14]，此類(lèi)算法所有工作過(guò)程在一個(gè)網(wǎng)絡(luò )內實(shí)現，采用端到端的方式，將目標檢測問(wèn)題轉換為回歸問(wèn)題，使其網(wǎng)絡(luò )的實(shí)時(shí)性得到了較好的提高，但準確率卻不及Faster R-CNN（Faster Region Convolutional Neural Network,更快速的區域卷積神經(jīng)網(wǎng)絡(luò )）。

本論文借鑒目標檢測的R-CNN 系列算法，在Faster R-CNN 網(wǎng)絡(luò )的第一層卷積層前加入一個(gè)預處理層，其次使用K-means 算法聚類(lèi)分析anchor 框中行人的寬高比，選出適合行人的寬高比作為anchor 的尺寸，提出交通場(chǎng)景下基于Faster R-CNN 的行人檢測算法。所提方法在自制的交通場(chǎng)景下的數據集上進(jìn)行測試，實(shí)驗表明網(wǎng)絡(luò )的檢測效果有明顯提升。

1   Faster R-CNN檢測方法

Faster R-CNN 的檢測框架如圖1 所示。其檢測流程主要分為4 部分：卷積網(wǎng)絡(luò )、RPN(Region Proposal Network)、感興趣區域池化(RoI Pooling) 以及目標檢測分類(lèi)。

卷積網(wǎng)絡(luò )由卷積層、池化層和輸出層構成，各網(wǎng)絡(luò )層之間權值共享，從訓練的數據集中學(xué)習并自動(dòng)提取目標特征。與傳統手工設計特征相比，具有更好的泛化能力。

RPN 使用一個(gè)3×3 的塊在最后一個(gè)卷積層輸出的特征圖上滑動(dòng)來(lái)獲得區域建議框即anchor 框，FasterR-CNN中的anchor 框有3 種比例尺寸，分別為0.5、1、2。

Faster R-CNN 的全連接層需要固定大小的輸入，因此通過(guò)RoI 池化將不同大小的RoI 轉成固定的大小。圖2 為RoI 的池化過(guò)程。

在檢測分類(lèi)階段，分類(lèi)函數計算得分，得到目標的所屬類(lèi)別，同時(shí)通過(guò)邊界框回歸計算出檢測框的位置偏移量，得到更精確的位置。

2   改進(jìn)的行人檢測方法

Faster R-CNN 是針對通用目標的檢測網(wǎng)絡(luò )，識別的類(lèi)別數為20，但在行人檢測中只需要識別“行人”及“背景”這兩個(gè)類(lèi)別。由于圖片中的行人在圖片中所占的比例較小，因此設計一個(gè)預處理層，提取一層底層特征（本文提取紋理特征），再與原始圖像一起輸入到卷積網(wǎng)絡(luò )中，能夠減少訓練所需的時(shí)間。

2.1 預處理層

選擇傳統行人檢測方法中的紋理特征(LBP 特征) 作為預處理部分要提取的特征。LBP 特征描述了圖片的局部紋理，它以

每個(gè)像素值為中心取一個(gè)局部鄰域區域，比較該區域內的每個(gè)像素的灰度值與中心像素的灰度值，得到一個(gè)二進(jìn)制碼，即該中心像素的LBP 值。但會(huì )導致二進(jìn)制模式種類(lèi)過(guò)多，所以等價(jià)模式(Uniform Pattern) 應運而生。等價(jià)LBP[15-16] (ULBP) 在LBP 算子的基礎上，統計二進(jìn)制數中“01”或“10”跳變的次數，若跳變次數在2 次以?xún)?，則稱(chēng)為一個(gè)等價(jià)模式類(lèi)，定義式為：

式中， gp 表示鄰域像素值， gc 表示中心像素值，U(LBP ) _P,R 代表“01”或“10”的跳變次數。

從圖3 中可以看出，圖像中行人與背景的區別轉換成了紋理上的差異。

(a)原圖

(b)ULBP圖

圖3 原圖與ULBP圖

2.2 anchor框聚類(lèi)分析

使用k-means 聚類(lèi)對訓練集中所有行人目標的真實(shí)框進(jìn)行聚類(lèi)分析。anchor 框聚類(lèi)分析算法的主要流程：

Step1：將訓練集中所有目標框的寬高構成數據集D，再從D 中隨機選擇一個(gè)聚類(lèi)中心ci false；

Step2：求D 中每個(gè)樣本s 到ci 的距離，記為di ，將使di 最小的那個(gè)樣本歸到ci 中；

Step4：循環(huán)執行Step2 和Step3，直到聚類(lèi)中心不變。

取出所有行人標注框的坐標信息，計算出每一個(gè)標注框的寬和高，并對其進(jìn)行聚類(lèi)統計，這里取聚類(lèi)數k = 3 。隨后，計算寬與高的比值，使用統計直方圖的方法求出其均值，得到寬高比的均值μ = 0.39 ，也就是說(shuō)訓練集中目標的anchor 框的合適的寬高比是0.39，即w ≈ 0.39h。圖 4 為行人 anchor 框的寬高統計結果。

因此，本文將原Faster R-CNN 算法中anchor 框的寬高比修改為(0.39:1)。

a)寬高統計圖

(b)寬高比統計圖

圖4 寬高聚類(lèi)分析

3   實(shí)驗結果與分析

3.1 實(shí)驗數據集

實(shí)驗數據集來(lái)源有：車(chē)載攝像頭拍攝的圖片、手機拍攝的圖片，選取光照條件比較好的圖片作為數據集，采用LabelImg 圖像標注工具對采集到的圖片進(jìn)行標注，標注的區域包含行人的輪廓，得到帶標簽的行人數據集，共計1 304 張。標簽名統一采用person 表示。在模型的訓練階段，選取數據集的80% 來(lái)訓練模型，20% 作為測試集。部分實(shí)驗數據集如圖5 所示。

圖5 數據集樣本

3.2 實(shí)驗平臺及訓練

實(shí)驗所使用的軟硬件環(huán)境如表1 所示。

表1 軟硬件配置

訓練參數如表2 所示。

表2 訓練參數設置

3.3 實(shí)驗結果分析

實(shí)驗采用平均準確度(mAP)^[17] 作為判斷算法性能的標準。在自制的數據集上進(jìn)行實(shí)驗，檢測精度達到了90.1%。所提方法檢測結果與直接使用Faster R-CNN的檢測效果對比如圖6 所示，圖6(a) 表示直接使用Faster R-CNN 的檢測效果，圖6(b) 表示所提算法的檢測效果，通過(guò)左右圖片對比可以看出，使用所提算法檢測出來(lái)的目標個(gè)數要優(yōu)于調整前的檢測個(gè)數。

(a) Faster R-CNN檢測結果

(b)本文方法結果

圖6 測試結果對比

為了比較調整寬高比對模型準確率的影響，在自制數據集上對原算法和所提算法分別訓練40 000 次。得到的檢測準確率如表3 所示，所提算法的準確率較原算法提高了1.8%。

表3 調整寬高比前后測試結果

4   結語(yǔ)

以Faster R-CNN 為基礎，通過(guò)在卷積層之前加入一個(gè)預處理層成功實(shí)現行人檢測的目標。以自制數據集為訓練和測試網(wǎng)絡(luò )所需的數據，針對漏檢和誤檢，提出將紋理特征作為底層特征對原圖進(jìn)行預處理，同時(shí)使用K-means 算法對行人寬高比進(jìn)行統計分析，得出適合數據集中行人的寬高比尺寸，達到降低漏檢的目的。實(shí)驗測試結果表明，本文算法可以有效提高交通場(chǎng)景下行人檢測的準確率，在漏檢率和誤檢率上，分別提高了5%、6.1%。但存在訓練樣本還不夠豐富，因此下一步研究工作的重點(diǎn)將放在提高檢測模型的實(shí)時(shí)性和魯棒性上。

參考文獻：

[1] 許言午,曹先彬,喬紅.行人檢測系統研究新進(jìn)展及關(guān)鍵技術(shù)展望[J].電子學(xué)報,2008,36(5):368-376.

[2] 劉建國,羅杰,王帥帥,等.基于YOLOv2的行人檢測方法研究[J].數字制造科學(xué),2018,16(1):50-54.

[3] DALAL N，TRIGGS B. Histograms of oriented gradients for human de-tection[C].2005 IEEE Computer Society Conference on Computer Vi-sion and Pattern Recognition,2005:886-893.

[4] WANG X,HAN T X,YAN S.An HOG－LBP Human Detector with Partial Occlusion Handling[C]∥Proc.2009 IEEE 12th International Conference on ComputerVision.Kyoto: IEEE Press,2009:32－39．

[5] 賈慧星,章毓晉.車(chē)輛輔助駕駛系統中基于計算機視覺(jué)的行人檢 測研究綜述[J].自動(dòng)化學(xué)報,2007,33(1):84 -90.

[6] LIN T K,DOLLAR P,GIRSHICK R,et al.Feature pyramid networks for object detection[C].//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，July 21-26，2017，Honolulu，HI，USA，NewYork：IEEE，2017(17)：355-379.

[7] GIRSHICK R. Fast R-CNN[C].2015 IEEE International Conference on Computer Vision(ICCV),2015(10):7-13.

[8] REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].

IEEE Transaction on Pattern Analysis and Machine Intellige nce,2017,39(6):1137-1149.

[9] REDMOM J,DIVVALA S,GIRSHICK R,et al.You Only Look at Once: Unified,realtime object detection[C]//Proceedings of the IEEE International Conference on Computer Vision(ICCV),2016:779-788.

[10] REDMOM J,FARHADI A.YOLO9000:better,faster,s tronger[C].//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，July 21-26，2017， Honolulu，HI，USA，NewYork:IEEE，2017:6517-6525.

[11] REDMOM J,FARHADI A. YOLOv3:an incremental improvement[J/OL].arXiv preprint arXiv:https://arxiv.org/  abs/1804.02767.

[12] BOCHKOVSKIY A, WANG C Y,HONG-YUAN M L.YOLOv4:Optimal Speed and Accuracy of Oobject Detection[J/OL]. https://arxiv.org/abs/2004.10934.

[13] REILLY V,SOLMAZ B,SHAH M.Geometric constraints for humandetection in aerial imagery[C].The 11th European conference onComputer vision,2010:252-265.

[14] GERONIMO D,LOPEZ A,SAPPA A,et al.Survey of pedestrian detection for advanced driver assistance systems[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,2010,32(7):1239-1258.

[15] TIMO O,MATTI P A,DAVID H.A Comparative Study of Texture Measures with Classification based on Feature Distributions[J].Pattern Recognition,1996,29(1):51-59.

[16] 程如中,張永軍,李晶晶,等.應用于行人檢測的HLBP與CHLBP 紋理特征[J].北京大學(xué)學(xué)報,2018,54(05):935-945.

[17] HENDERSON P,FERRARI V. End-to-end training of object class detectors for mean average precision[J].Asian Conference on Computer Vision,2016(6):198-213.

（本文來(lái)源于《電子產(chǎn)品世界》雜志2021年3月期）