基于ZYNQ的流水線(xiàn)食品外觀(guān)檢測系統設計

　　王明全，胡芯暢，關(guān)欣然，李根旺

　?。|北大學(xué)計算機科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110819）

　　摘要：針對圖像處理技術(shù)在食品加工領(lǐng)域的應用，提出了一種基于ZYNQ平臺的流水線(xiàn)食品外觀(guān)辨別檢測系統設計方案。該系統采用FPGA+ARM架構的ZYNQ-7000平臺實(shí)現，利用單目OV5640攝像頭進(jìn)行圖像采集，并將采集后的視頻圖像進(jìn)行預處理以及VDMA視頻圖像顯示，之后采用對射式光電開(kāi)關(guān)達到流水線(xiàn)上食品目標的檢測目的，最后通過(guò)圖像測量方法提取食品特征。該系統解決了流水線(xiàn)上不規則食品外觀(guān)檢測辨別問(wèn)題，可應用于食品加工質(zhì)量檢測領(lǐng)域。

　　關(guān)鍵詞：ZYNQ；食品外觀(guān)檢測；計算機視覺(jué)；特征提取；OV5640

　　0 引言

　　隨著(zhù)人們物質(zhì)生活水平的提高，對食品質(zhì)量要求也越來(lái)越高，而國家經(jīng)濟的快速發(fā)展促進(jìn)食品生產(chǎn)速度隨之提升，因此，如何在流水線(xiàn)上保證生產(chǎn)速度的同時(shí)檢測食品質(zhì)量已逐漸成為研究問(wèn)題。

　　目前，市面上存在的圖像傳感器中，大多以模板匹配的方法對特定規格的產(chǎn)品進(jìn)行檢測，如車(chē)牌、餅干、門(mén)窗等，而對于許多不規則的食品如鳳爪、鴨翅、蝦仁等卻無(wú)法對其包括產(chǎn)品尺寸、傳送方向等進(jìn)行有效檢測。本設計采用具有雙核的ARM-Cortex TM -A9處理系統(PS)和Artix-7可編程邏輯(PL)的ZYNQ作為主控制和算法處理單元，通過(guò)圖像測量方法提取不規則食品外觀(guān)共同特征，是進(jìn)一步檢測食品傳送方向是否與流水線(xiàn)方向一致，以及食品缺損問(wèn)題的關(guān)鍵。

　　從我國食品發(fā)展行業(yè)趨勢來(lái)看，市場(chǎng)上需要能夠應用在流水線(xiàn)上的高精度、針對無(wú)特定性狀食品檢測處理的圖像傳感器，因此其具有十分廣闊的市場(chǎng)前景。

　　1 系統的總體結構

　　整個(gè)系統由圖像采集模塊OV5640、圖像處理模塊、VGA顯示模塊、機械執行模塊以及光電開(kāi)關(guān)組成。如圖1所示。

　　圖像處理模塊是整個(gè)系統的控制核心。圖像采集單元通過(guò)單目攝像頭OV5640對食品生產(chǎn)線(xiàn)上的食品成品進(jìn)行采集，由光電開(kāi)關(guān)檢測當前圖像采集區域是否有完整食品傳入，將觸發(fā)信號傳送給ZYNQ平臺對實(shí)時(shí)采集到的圖像數據進(jìn)行灰度化、閾值分割、圖像膨脹、特征提取，以實(shí)現運動(dòng)食品的檢測，并對當前檢測食品傳送方向是否正確以及是否存在缺損作出判斷。通過(guò)控制分揀開(kāi)關(guān)，將次品與合格品分類(lèi)集中，方便下一步的產(chǎn)品生產(chǎn)包裝工藝。

　　視頻圖像顯示單元是在FPGA控制下對處理前后的視頻圖像進(jìn)行顯示 [1] 。其中圖像測量算法是基于背景顏色的圖像分割算法，它是本文在灰度閾值分割算法基礎上提出的一種適合本系統的算法。

　　2 圖像采集及顯示系統設計

　　圖像采集系統平臺的設計主要包括以下幾個(gè)部分：?jiǎn)文縊V5640攝像頭模組，用來(lái)實(shí)現圖像的采集；ZNYQ-7000系列開(kāi)發(fā)板用來(lái)實(shí)現攝像頭采集、數據存儲與傳遞以及完成圖像處理算法；VGA顯示器用來(lái)顯示攝像頭實(shí)時(shí)采集的圖像以及經(jīng)ZYNQ開(kāi)發(fā)板處理后的結果。

　　2.1 OV5640攝像頭模塊

　　本模塊設計中采用美國OmniVision公司的CMOS圖像傳感器OV5640。OV5640擁有2590×1944的感光陣列，能夠以15幀的500萬(wàn)像素的分辨率記錄圖像，并且可對輸出數據格式、圖像分辨率、輸出幀率以及圖像特性等進(jìn)行配置，滿(mǎn)足許多應用需求 [2] 。其攝像頭模組通過(guò)DVP接口和FPGA連接實(shí)現圖像的傳輸,具體參數及主要特性如下：

　　(1)具有標準的SCCB接口；

　　(2)支持多種視頻輸出格式：RAW RGB、RGB565/555/444、YCbCr422等；

　　(3)支持VGA、QVGA以及1080P分辨率輸出；

　　(4)支持數字視頻端口(DVP)并行輸出接口和雙車(chē)道MIPI輸出接口。

　　OV5640圖像數據采集模塊是整個(gè)系統的輸入模塊，它主要負責將攝像頭采集到的圖像數據傳送到FPGA例化的存儲器中，使用DVP傳輸視頻時(shí)，PCLK為像素時(shí)鐘，HREF為行同步信號，VSYNC為場(chǎng)同步信號，數據線(xiàn)為8 bit，在FPGA中配置RGB565輸出。

　　OV5640芯片采集的數據通過(guò)FPGA軟核VDMA0、VDMA1分別用作視頻的輸入，將數據寫(xiě)入與PS端相連的DDR中，以及視頻的輸出。ARM核完成對存儲數據的圖像處理及分析算法。使能的VDMA在DDR中讀取相應的數據，數據經(jīng)過(guò)圖像測量算法提取特征后再輸出。VDMA獲取的數據均為符合AXI4協(xié)議的32位數據，經(jīng)過(guò)32位數據轉24位RGB 888格式數據后，根據VGA輸出協(xié)議，在相應的時(shí)序控制下，依次轉換為DVI數據輸出到VGA顯示器中 ^[3] 。

　　2.2 VDMA配置模塊

　　VDMA是針對視頻圖像處理的一個(gè)特殊的DMA。在ZYNQ-7000的PS中，包含處理器和DDR存儲器控制器；而在PL中，實(shí)現AXI DMA和AXI數據FIFO。通過(guò)AXI-Lite總線(xiàn)，處理器與AXI DMA通信，用于建立、初始化和監控數據傳輸。VDMA有一個(gè)AXI4 MemoryMap接口，用于對存儲器進(jìn)行讀寫(xiě)視頻數據，AXI4-Lite接口用于讀取VDMA狀態(tài)以及配置VDMA的參數；AXI4-Stream接口用于視頻的輸入和輸出。VDMA系統結構原理如圖2所示。

　　在該設計中，AXI_MM2S和AXI_S2MM是存儲器映射的AXI4總線(xiàn)，提供了對DDR存儲器的訪(fǎng)問(wèn)。AXIS_MM2S和AXIS_2MM是AXI4 Stream總線(xiàn)，它可以連續的傳輸數據，而不需要提供地址信息 ^[4] 。

　　2.3 VGA顯示設計

　　VGA顯示模塊分為：上電等待模塊、寄存器配置模塊、攝像頭采集模塊、SDRAM控制模塊以及系統控制模塊。其中FIFO控制模塊原理機制如圖3所示。

　　由于視頻圖像數據通過(guò)ZYNQ系統的高速AXI_HP0口輸出，系統使用AXI_VDMA IP核來(lái)通過(guò)AXI_interconnect連接ZYNQ系統的HP0口，AXI_subset_converter來(lái)進(jìn)行數據格式的轉換，轉換為24位的視頻圖像數據，V_axi4s_vid_out IP將視頻流裝換成RGB888的視頻格式信號。最后視頻圖像通過(guò)自定義IP核(rgb2dvi)轉換成TMDS信號驅動(dòng)VGA顯示器顯示圖像。構架好的系統如圖4所示。

　　2.4 光電開(kāi)關(guān)檢測設計

　　為減少圖像數據處理量，并較準確確定視頻圖像流中哪一幀中食品進(jìn)入到單目攝像頭圖像采集區域內，系統設計中采用對射式光電開(kāi)關(guān)來(lái)檢測目標，并將觸發(fā)信號傳送到ZYNQ中，在間隔一定時(shí)間后處理當前幀圖像，確保其采集食品圖像的完整性。

　　采用對射式的光電開(kāi)關(guān)可分辨不透明的反光物體，有效距離大，不易受干擾，靈敏度高，并且響應時(shí)間快，可將觸發(fā)信號傳送給ZYNQ平臺的I/O口作為進(jìn)行圖像測量的起始信號。

　　3 系統軟件設計

　　圖像處理部分包括：圖像預處理、圖像膨脹及基于圖像測量的特征提取。軟件設計流程如圖6。

　　3.1 圖像預處理設計

　　針對不規則食品外觀(guān)的檢測，首先要對圖像進(jìn)行預處理，再進(jìn)一步用圖像測量算法提取圖像特征。本文提取的特征是基于灰度圖像的，需將采集到的24位真彩色圖轉換為灰度圖

　　由于光源和實(shí)際拍攝的情況，采集到的圖像可能含有噪聲，為排除噪聲的影響，先對圖像進(jìn)行去噪的處理。根據項目需要，采用中值濾波的方法。這種非線(xiàn)性的圖像平滑法對脈沖干擾級的椒鹽噪聲抑制效果較好，能保護邊緣少受模糊的影響。

　　3.2 圖像形態(tài)學(xué)處理

　　為了更加明顯區分背景與目標，需將灰度圖進(jìn)行二值化處理來(lái)區分?zhù)P爪與傳送帶。采用閾值分割的方法，根據閾值將圖像中灰度級大于閾值的像素點(diǎn)和小于像素值的像素點(diǎn)分開(kāi)，從而實(shí)現圖像分割 ^[5] 。

　　其中，T為預設的閾值，從0~255中取值，具體大小由工業(yè)流水線(xiàn)實(shí)際環(huán)境決定，根據多次試驗可選取150作閾值分割，是目標為黑色，背景為白色。

　　根 據 圖像 特 征 提 取算 法 識 別 的要 求 ， 需 通過(guò)遍歷像素值所在區域通過(guò)黑白像素值邊界的跳躍次數來(lái)區分爪趾的數目及食品被放置方向與傳送帶方向是否一致，因此需要保證目標的連通性要完整，將得到的二值化圖像進(jìn)行一輪腐蝕膨脹，以消除噪聲點(diǎn)，使不連續的地方連接起來(lái)，為下一步的圖像識別及特征提取做基礎。

　　本系統中以鳳爪為例，對二值化后的目標鳳爪進(jìn)行圖像膨脹，采用15×15大小的方陣集合做膨脹的結構元素。關(guān)鍵源代碼如下(定義flag為記錄結構元素區域內各像素值與運算后的結果)：

　　for(j=0;j<height;j++){

　　for(i=0;i<width;i++){       //對二值圖遍歷

　　flag=1;       //賦初值

　　//采用15×15大小結構元素作掩膜處理

　　for(m=j-1;m<j+15;m++){

　　for(n=i-1;n<i+15;n++){

　　if(image_in[j][i]==0||image_in[m][n]==0)

　　{flag=0;break;}

　　else{flag=1;}}

　　if(flag==0){break;}}

　　//根據flag值來(lái)輸出膨脹后結果

　　if(flag==0){image_out[j][i]=0;}

　　else{image_out[j][i]=255;}}}}

　　通過(guò)圖像膨脹后的結果如圖7所示：可去除二值化結果中的不連續的噪聲點(diǎn)及食品本身瑕疵的影響。

　　3.3 圖像測量算法設計

　　機器視覺(jué)定位的最終目的是利用工業(yè)相機采集運動(dòng)食品的圖像，再通過(guò)算法確定運動(dòng)目標的特征點(diǎn)與特征邊緣，以方便進(jìn)行機械分揀 ^[6] 。對于在高速流水線(xiàn)上采集到的視頻圖像流進(jìn)行處理，首先，通過(guò)光電開(kāi)關(guān)的觸發(fā)信號在視頻流中確定食品目標已全部進(jìn)入圖像采集區域，對該幀圖像作圖像識別，并在確定幀圖像后，識別目標送入方向是否正確及是否存在殘缺。

　　對于閾值化并經(jīng)過(guò)圖像膨脹處理后，目標區域是完整的連通區域，可通過(guò)遍歷查詢(xún)提取該不規則圖像邊緣特征。從鳳爪這個(gè)研究對象的特點(diǎn)來(lái)看具有以下特性：

　　(1)從形狀上看，鳳爪共有4個(gè)指頭，其中一端較短，其余三個(gè)指頭較長(cháng)，中間者為最長(cháng)。骨干部分占整個(gè)長(cháng)度的一半左右。

　　(2)從顏色上看，鳳爪色澤絳紅，深淺程度基本一致，掌心部分偏暗紅。

　　以上分析，作為待識別的鳳爪，雖然是不規則形狀，但無(wú)論從顏色還是形狀上，都能保持一個(gè)較穩定的特性，因此在編寫(xiě)算法程序中，可通過(guò)數組記錄圖像的每行像素值黑白邊界跳躍次數，以此提取流水線(xiàn)上加工食品特征，并根據不同食品特征要求通過(guò)遍歷特征數組及測量算法作判別，按照判別結果啟動(dòng)分揀開(kāi)關(guān)將食品歸入不同的箱中。

　　4 結論

　　本文針對食品流水線(xiàn)上的圖像外觀(guān)辨別問(wèn)題進(jìn)行了分析與解決方案的提出，利用圖像測量的方法對不規則食品進(jìn)行特征提取，并采用ARM+FPGA結構的實(shí)時(shí)圖像處理平臺以及光電開(kāi)關(guān)的結合，使系統小型化，利于后期進(jìn)一步開(kāi)發(fā)、成本降低，便于針對特定應用定制等優(yōu)勢、具有較高的工程應用參考價(jià)值，流水線(xiàn)食品辨別系統擁有廣闊的應用空間。

　　參考文獻

　　[1].杜文略，劉建梁，沈三民等.基于FPGA的運動(dòng)目標檢測系統設計[J].電子技術(shù)應用,2014,40(11):36-42.

　　[2].張震.基于FPGA的USB3.0高速圖像采集系統設計與圖像特征提取算法研究[D].西安電子科技大學(xué)開(kāi)發(fā)板的攝像頭采集與處理系統實(shí)驗設計與實(shí)現[J].計算機教育，2018(4):23-26.

　　[3].何賓，張艷輝.Xilinx Zynq-7000嵌入式系統設計與實(shí)現[M].北京：電子工業(yè)出版社.2016.

　　[4].吳長(cháng)冶.食品(蝦仁)分揀系統中的圖像處理算法的研究[D].南京理工大學(xué).2012.

　　[5].李明.運動(dòng)食品機器視覺(jué)的識別與定位技術(shù)的研究[D].哈爾濱商業(yè)大學(xué).2014.

　　[6].胡健.基于Zynq的智能相機圖像處理流水線(xiàn)程序優(yōu)化與實(shí)現[J].通信設計與應用.2017(10):3-4.

　　作者簡(jiǎn)介

　　王明全（1973-），男，博士，講師，主要研究方向：信號與信息處理.

　　本文來(lái)源于科技期刊《電子產(chǎn)品世界》2019年第6期第41頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處