瑞薩AI視覺(jué)識別方案應用筆記2

話(huà)不多說(shuō)，我們開(kāi)始拆解如何使用RZ/A2M的DRP實(shí)現在8ms時(shí)間內檢測5中不同編碼格式的二維碼。

二維碼又稱(chēng)二維條碼，常見(jiàn)的二維碼為QR Code，QR全稱(chēng)Quick Response，是一個(gè)近幾年來(lái)移動(dòng)設備上非常流行的一種編碼方式，它比傳統的Bar Code條形碼能存更多的信息，也能表示更多的數據類(lèi)型。除了這種常見(jiàn)的QR Code之外，還有一些其它編碼格式的二維碼，例如Micro QR Code, DataMatrix, AZTec和漢信碼等等，因此要求掃碼槍能夠識別多種不同編碼的二維碼。 常規的操作是循環(huán)調用不同解碼器，逐一用不同的解碼器進(jìn)行檢測和解碼，但導致的問(wèn)題是解碼時(shí)間不穩定性與解碼時(shí)間偏長(cháng)，如果能夠在解碼之前快速識別出二維碼的編碼格式，然后有針對性的調用對應的解碼器，則會(huì )大大提高解碼效率。

瑞薩的RZ/A2M微處理器可以利用其獨特的動(dòng)態(tài)可配置處理器（DRP）完美解決這一問(wèn)題，實(shí)現了1280x720(1百萬(wàn))攝像頭輸入時(shí)，在8ms時(shí)間內完成QR ,Micro QR, DataMatrix, AZTec 和漢信碼5種編碼格式的快速識別，下面讓我們看一下DRP是如何實(shí)現的。

以下是示例中用到的5種二維碼的圖例，我們將利用DRP的圖像處理加速功能識別每種編碼格式的特征

我們將通過(guò)9個(gè)步驟的數據處理，逐步從MIPI接口輸入的圖像數據中提取出我們希望得到的特征標識。

在這9個(gè)數據處理環(huán)節中，大部分由DRP硬件加速模塊處理（藍色），少量過(guò)程由CPU進(jìn)行處理（綠色），在此期間我們可以看到硬件DRP處理和軟件CPU處理之間的靈活搭配與無(wú)縫對接。

步驟1

為了加快圖像的處理速度，我們會(huì )先載入一個(gè)Bayer2GrayThinning的DRP加速庫將圖像的分辨率降采樣為原始大小的1/4，同時(shí)完成圖像格式從Bayer到灰度圖的轉換并統計每幀圖像的亮度值，我們會(huì )將這個(gè)亮度的統計結果反饋給CMOS傳感器用于調整自動(dòng)曝光參數。

由于Bayer2GrayThinning庫只占用1個(gè)Tile的DRP硬件資源，在此步驟中利用DRP的多Tile并行處理特性將每一幀1280x768的圖像分成6個(gè)1280x128的區域，由6個(gè)DRP處理單元進(jìn)行并行化處理，這樣處理速度可增加為原來(lái)的6倍，而且每個(gè)處理單元內部的像素級處理也是并行化的。

利用DRP的這兩個(gè)并行化特性，我們可以在0.6ms的時(shí)間內完成1幀1280x768分辨率圖像的處理，包含0.2ms的DRP庫載入時(shí)間和0.4ms的圖像數據處理時(shí)間。經(jīng)過(guò)步驟1的處理我們得到一個(gè)320x192的灰度圖。

步驟2

得到灰度圖后我們加載一個(gè)binarization_adaptive的DRP庫，將圖像轉換為只有0x00和0xFF兩種顏色的黑白圖像。這個(gè)DRP庫可以根據每個(gè)8x8像素區域的灰度值平均值動(dòng)態(tài)計算二值化的閾值，這樣可以有效解決不同亮度的場(chǎng)景中二值化閾值該如何選擇的問(wèn)題。

我們可以設置二值化轉換的參數，控制輸出圖像以反轉方式輸出，即二維碼圖像中黑色部分輸出為白色，這樣方便下一步對白色部分提取輪廓信息。步驟2的總處理時(shí)間是0.9ms左右，包含0.6ms的DRP庫載入時(shí)間和0.3ms的圖像數據處理時(shí)間。

步驟3

得到二值化圖像后我們再載入一個(gè)Dialte的DRP庫實(shí)現膨脹功能，其基本實(shí)現原理如下；

■   用3x3區塊以步長(cháng)為1像素掃描輸入圖像

■   掃描窗口中心點(diǎn)的新數據輸出值為3x3范圍內的最大值

■   實(shí)現效果：將白色擴展，吞并被包圍的黑色區域

■   可配置迭代次數，次數越多，白色擴展范圍越大

經(jīng)過(guò)膨脹處理后的圖像中，包含二維碼數據的區域基本被聯(lián)通，形成一個(gè)包含整個(gè)二維碼的大區域?？偺幚頃r(shí)間是0.4ms左右，包含0.2ms的DRP庫載入時(shí)間和0.2ms的圖像數據處理時(shí)間。

步驟4

此時(shí)我們對膨脹之后的圖像調用openCV的FindContour方法，它將得到這一幀圖像中所有高亮部分的外輪廓以及每個(gè)輪廓的最小外接矩形。我們會(huì )逐一判斷輪廓的寬高比，面積，位置等信息，篩選出最有可能包含二維碼的輪廓。如果條件不匹配則采集下一幀圖像。此步驟由CPU實(shí)現，時(shí)間約為4ms。

圖中帶有旋轉角度的矩形為二維碼區域的輪廓，后面我們會(huì )將這個(gè)旋轉的矩形調整為傾角為0度的圖形，用于更精細的特征檢測。而最小外接矩形的四個(gè)頂點(diǎn)坐標將被換算成原始輸入圖像的坐標，用于從原始圖像中裁剪包含二維碼的區域。

步驟5

為了保證二維碼標識特征提取的精度，我們會(huì )從MIPI輸入buffer中裁剪Bayer格式的原始二維碼圖像。此時(shí)我們載入一個(gè)bayer2gray_cropping的DRP庫從MIPI buffer進(jìn)行圖像裁剪，裁剪的位置就是步驟4中最小外接矩形4個(gè)頂點(diǎn)在MIPI buffer中對應的坐標。

這個(gè)bayer2gray_cropping只占用1個(gè)Tile的硬件資源，它具備6個(gè)tile并行運行的能力，因此我們會(huì )用6個(gè)Tile的DRP并行處理。

此步驟的執行時(shí)間約為0.6ms，DRP的載入時(shí)間為0.25ms，執行時(shí)間約為0.35ms

步驟6

下圖左側為裁剪出的帶有旋轉角度的灰度圖，其中4個(gè)綠色頂點(diǎn)可以從步驟4的輪廓信息得到。在此步驟中我們由CPU實(shí)現一個(gè)簡(jiǎn)易的Keystone和縮放功能，將4個(gè)綠色頂點(diǎn)中的有效圖像映射到右側的buffer中，這里的梯形校正只是簡(jiǎn)單抽取或重復原有像素點(diǎn)，不生成新的點(diǎn)，因此屬于有損但快速的算法。更精確的算法可用使用DRP的仿射變換(affine)功能，但會(huì )消耗更多的時(shí)間。

步驟7

得到一個(gè)無(wú)旋轉的圖像后，我們重復步驟2中的binarization_adaptive處理，得到一個(gè)無(wú)旋轉角度的二值化圖像。這一步耗時(shí)約0.5ms

步驟8

此時(shí)載入FindContour DRP庫，檢測二值化后的二維碼圖像中所有高麗部分的輪廓，檢測結果為圖像中藍色的矩形區域。

FindContour DRP庫會(huì )輸出每個(gè)輪廓的位置，大小信息。所有的輪廓信息將被保存起來(lái)用于下一步的二維碼標識檢測。此過(guò)程總耗時(shí)約1.4ms，包含0.4ms的DRP庫載入時(shí)間及1.0ms的處理時(shí)間。

步驟9

此時(shí)我們已經(jīng)得到二維碼圖像中所有輪廓的坐標信息，我們可以很容易的通過(guò)輪廓相對于二維碼的對應位置，是否是正方形輪廓，是否包含對稱(chēng)的子輪廓，是否包含偏心的子輪廓等信息來(lái)判斷出QR code, Micro QR code, 漢信碼，Aztec code。

對于DataMatrix的檢測，我們可以利用DRP運行時(shí)不消耗CPU負載的特性，在步驟8的DRP處理過(guò)程中（1ms的DRP執行期間）同時(shí)由CPU計算圖像每行和每列的求和統計，這樣可以讓DRP和CPU的處理也并行起來(lái)。

讓我們回顧以下以上9個(gè)步驟的處理：

我們可以在8ms的時(shí)間內完成5種不同編碼的二維碼類(lèi)型的檢測主要得益于：

■   加載具有并行化處理能力的DRP庫

■   同時(shí)加載多個(gè)DRP庫對一幀圖像的多個(gè)區域同時(shí)進(jìn)行處理

■   DRP處理期間，并行運行CPU運算

■   硬件DRP加速處理與openCV軟件處理無(wú)縫對接

此時(shí)如果將裁剪出來(lái)的二維碼圖像交給后續對應的解碼器進(jìn)行解碼，將極大的縮短多類(lèi)型二維碼解碼的處理時(shí)間。

以下是對一個(gè)快速旋轉且變換編碼格式的圖像進(jìn)行實(shí)時(shí)檢測的結果。

【video RZA2M_Barcode_Type_Detection_30ms_gif_c1.mp4】