基于以太網(wǎng)的嵌入式視覺(jué)傳感器

　　隨著(zhù)計算機科學(xué)和自動(dòng)控制技術(shù)的發(fā)展，視覺(jué)系統被廣泛用于工業(yè)檢測、生物醫學(xué)、軍事偵察等領(lǐng)域。嵌入式視覺(jué)系統，是將圖像的采集、處理與通信功能集成于單一相機內，從而提供了具有多功能、模塊化、高可靠性、易于實(shí)現的機器視覺(jué)解決方案。同時(shí)，視覺(jué)傳感器需要通過(guò)網(wǎng)絡(luò )化設計完成控制信息、圖像數據的通信任務(wù)，網(wǎng)絡(luò )通信裝置是視覺(jué)傳感器的重要組成部分。筆者采用DSP和CPLD作為核心芯片來(lái)控制圖像采集處理和傳輸，采集的圖像經(jīng)DSP的處理后，可經(jīng)以太網(wǎng)傳輸至微機進(jìn)一步處理，或與其他視覺(jué)系統、自動(dòng)化檢測裝置通信，組成分布式監測網(wǎng)絡(luò )。本系統的設計優(yōu)點(diǎn)為：

　　使用CMOS為圖像傳感器直接采集數字圖像，采用高速DSP和CPLD作為核心芯片來(lái)控制圖像采集和處理，簡(jiǎn)化了電路的復雜度，提高了系統的集成度，降低了成本。 ?在DSP內對采集到的圖像實(shí)現快速圖像的預處理，提高了系統的智能化。

　　通過(guò)以太網(wǎng)將圖像數據傳輸到聯(lián)網(wǎng)計算機，利于圖像的傳輸、保存和與其他視覺(jué)傳感器通信交換數據，組成視覺(jué)網(wǎng)絡(luò )。并可與PLC、機器人和其他自動(dòng)化裝置通信。

　　系統設計

　　圖1為系統框圖，系統通過(guò)DSP給CPLD發(fā)出一個(gè)采集命令，由CPLD控制CMOS圖像傳感器向FIFO寫(xiě)入圖像數據，同時(shí)DSP通過(guò)DMA將圖像轉移至SDRAM中并進(jìn)行圖像處理，在處理結束后，將處理的結果通過(guò)以太網(wǎng)傳給微機或其他設備，對其I/O接口經(jīng)擴展后，可與PLC等執行裝置相連，被外部執行器觸發(fā)，完成圖像的采集處理，達到控制檢測目的。

圖1 系統框圖

　　圖像采集過(guò)程

　　圖像采集過(guò)程主要通過(guò)DSP給CPLD(ALTERA的MAX II系列 EPM240)發(fā)送命令字，包括單幀采集、連續采集等控制命令。每次采集的圖像時(shí)都先復位FIFO,防止上一次采集過(guò)程出錯有數據滯留而導致本次采集的圖像出錯。CPLD采集程序的仿真波形如圖2所示，可以看出當采集單幀數據時(shí)，CPLD通過(guò)控制連續兩個(gè)VSYNC(幀同步信號)間的FIFO( CYPRESS的CYCY7C4291V)的/WE(寫(xiě)使能信號)低有效來(lái)達到圖像采集的目的。OV7640每幀圖像的時(shí)間為33ms(30f/s),工作在黑白模式下，每幅圖像數據有300K(640480),即9.3MByte/s，而DSP讀取的速度可以到66.7Mbyte/s，若采用16Bit總線(xiàn)寬度的FIFO，則可達到133Mbyte/s。本系統中由CPLD對圖像的行進(jìn)行計數，為保證圖像數據不溢出FIFO(FIFO為128K字節)，選取每80行圖像數據觸發(fā)一次DMA傳輸(DMA選擇為外觸發(fā)模式)，每幅圖像分成6次傳輸(共480行數據)。

圖2 CPLD采集程序的仿真波形

　　以太網(wǎng)的圖像傳輸

　　本系統的以太網(wǎng)設計，采用Wiznet公司全功能硬件協(xié)議棧芯片W5100。W5100內有16K的發(fā)送/接收緩存，支持TCP、UDP、ICMP、IPV4 ARP、IGMP等協(xié)議，本系統中采用TCP/IP協(xié)議，接收上位機的命令并執行相應的圖像采集和處理任務(wù)。Wiznet公司提供了完整的Socket API函數，其工作方式類(lèi)似于Windows的Socket API，程序在TI公司的CCS集成開(kāi)發(fā)環(huán)境下，非常方便用C語(yǔ)言編寫(xiě)。圖3是利用VC編寫(xiě)的基于異步Socket的系統軟件。在不同的命令代碼下上傳圖像。如果所示輸入命令1，可以上傳單幅不加任何圖像處理的灰度圖。

圖3 帶有命令選項的圖像接受軟件

　　軟件流程

　　系統的軟件流程如圖4所示。系統初始化后配置網(wǎng)絡(luò )設置，建立命令Socket，Socket連接成功后處在TCP連接狀態(tài)中。當接收到命令時(shí)，通過(guò)中斷觸發(fā)使DSP從W5100讀取命令字，根據命令字做出相應的操作，添加圖像預處理程序。然后關(guān)閉命令Socket，啟動(dòng)數據Socket進(jìn)行數據傳輸，發(fā)送處理后的圖像數據以便上位機進(jìn)行更高級的圖像處理，最終得到用戶(hù)想要的結果和數據。

圖4 軟件流程圖

　　圖像采集和處理程序示例

　　本系統可以應用于視覺(jué)系統的多個(gè)領(lǐng)域，通過(guò)開(kāi)發(fā)標準的軟件處理模塊，如幾何邊緣提取、Blob、灰度直方圖、OCV/OCR、簡(jiǎn)單的定位和搜索等，由用戶(hù)根據實(shí)際的測量需求選擇相應的處理模塊，由上位機編譯成相應的固件并下載到系統中，從而實(shí)現特定功能的視覺(jué)檢測。目前系統開(kāi)發(fā)，只能完成特定的幾種功能，以下以圓盤(pán)的直徑檢測為例，介紹系統的處理效果。

　　算法的基本思想是：先對采集的圖像進(jìn)行濾波，再用邊緣檢測算法檢測出圓的邊緣，最后再利用圓檢測算法算出圓的外徑和孔徑。

　　檢測基本過(guò)程如下：

　　標定

　　在能夠進(jìn)行檢測之前，系統必須要標定。標定決定圖像與物理世界之間的映射關(guān)系。因此，把圖像中的每個(gè)點(diǎn)與一定的物理世界坐標以及反過(guò)來(lái)建立一一映射。使用一個(gè)無(wú)畸變的理想二維標定平面來(lái)進(jìn)行標定。首先，可以使用一個(gè)標準的網(wǎng)格變換把物理坐標變換到目標平面;然后使用非線(xiàn)性映射把這些中間坐標變換到圖像平面。用于變換運算的參數可以通過(guò)對一個(gè)包含已知位置信息的已知特征標定物成像來(lái)獲取。非線(xiàn)性變換是通過(guò)在確定的測量點(diǎn)之間進(jìn)行線(xiàn)性插補來(lái)實(shí)現。

　　圖像預處理

　　圖5為采集到的原始圖象。由于CMOS傳感器本身的噪聲或系統的擾動(dòng)等其它原因，原始圖像中會(huì )含有噪聲，所以要先對原始圖像做低通濾波處理，可采用33模板的低通濾波器，或選擇一些其它的更為復雜的濾波器，如自適應濾波器。

圖5 原始采集圖片

　　邊緣檢測

　　采用牛頓插值法對圖像實(shí)現高精度的邊緣檢測，具體計算步驟如下：

　　搜索像邊緣過(guò)渡區計算向量

　　根據像邊緣的位置沿著(zhù)灰度值對應的行或列從亮區向暗區搜索，若相鄰的兩個(gè)點(diǎn)的灰度值下降幅度大于閾值(閾值應由實(shí)驗確定)，即認為該點(diǎn)為像邊緣過(guò)渡區的起始節點(diǎn)，過(guò)渡區包含有3~4個(gè)節點(diǎn)，把其定義為一維數組，以像邊緣過(guò)渡區起始節點(diǎn)為首項，沿灰度值矩陣的行或列順序存放由亮到暗像邊緣的灰度值。

　　使用牛頓插值函數實(shí)現像邊緣光強函數軟件解調設向量u[m]={u1，u2，......un}，m=0，1，.......n。

　　在基點(diǎn)m=0處向前5階差分為：

　　D1u0=u1-u0

　　D2u0=u2-u1+u0

　　D3u0=u3-3u2+u1-u0 (1)

　　D4u0=u4-4u3+6u2-4u1+u0

　　D5u0=u5-5u4+10u3-10u2+5u1-u0

　　設t為[0.5]內的連續變量，則五階牛頓向前插值函數為：

　　v(t)=u0+tD1u0+(t-1)D2u0/2+t(t-1)(t-2)D3u0/6+t(t-1)(t-2)(t-3)D4u0/24+t(t-1)(t-2)(t-3)(t-4)D5u0/120 (2)

　　確定像邊緣特征點(diǎn)的坐標

　　式(2)給出了表征象邊緣位置的連續函數，對其求二階導數，即，

　　d2u/dt2=D2u0+(t-1)D3u0+(12t2-36t+22)D4u0/24+(20t3-120t2+210t-100)D5u0/120 (3)

　　其零交叉點(diǎn)(d2u/dt2=0)即為特征點(diǎn)。圖6為邊緣檢測的效果圖。

圖6 邊緣檢測效果圖

　　直徑的計算

　　通過(guò)圓檢測算法，計算出圓的外徑和內徑。限于篇幅，具體算法在此不作詳細介紹。

　　在實(shí)驗中，使用的f=35mm的鏡頭，采用LED環(huán)形光源從底部同軸照明，圖像分辨率為640480，相面尺寸為3.6mm2.7mm。系統標定在XY方向上每像素為0.0375mm。對標稱(chēng)外徑為15mm，內徑為9mm的元件做了10次檢測，檢測直徑的平均外徑值為401.6像素即15.06mm，內徑為241.3像素即9.049mm。

　　實(shí)驗結果

　　圖7為我們設計的視覺(jué)傳感器樣機的系統實(shí)物圖。其由三部分組成，分別為主板、電源板和CMOS電路板。采用抓包程序Ethereal對數據傳輸速度進(jìn)行了測試。我們分別對發(fā)送數據量為100kbyte，200kbyte和300kbyte進(jìn)行了測試，實(shí)驗結果如表1所示，對于本系統可以達到10f/s的圖像傳輸速度。

圖7 系統實(shí)物圖

表1 傳輸數據速度實(shí)驗結果

　　結語(yǔ)

　　本文介紹的的視覺(jué)系統，在硬件系統，采用CMOS圖像傳感器，CPLD時(shí)序控制，以及高速DSP和以太網(wǎng)高速數據傳輸，構成了一個(gè)典型嵌入式視覺(jué)系統。通過(guò)以太網(wǎng)接口可組成分布式視覺(jué)檢測網(wǎng)絡(luò )。對于簡(jiǎn)單的視覺(jué)檢測任務(wù)，系統可滿(mǎn)足在線(xiàn)檢測的要求。當然，要想最終脫離微機高速的完成復雜的圖像處理任務(wù)，單DSP還不能滿(mǎn)足要求。今后改進(jìn)是添加FPGA實(shí)現FPGA與DSP融合的處理系統以及多DSP并行處理系統，實(shí)現高速嵌入式視覺(jué)系統。

　　參考文獻：

　　1. TMS320C5000系列DSPs原理與應用(第2版)，電子工業(yè)出版社，2003

　　2. 趙建、劉濟林、于海濱，基于以太網(wǎng)的立體視覺(jué)圖像采集系統，電視技術(shù)，2005，12

　　3. 張飛舟、鄧旭明，嵌入式工業(yè)以太網(wǎng)接口開(kāi)發(fā)與應用，計算機工程，2003，29(16)

　　4. WIZNET Corporation .W5100 Datasheet (version 1.0.1). 2006

　　5. Wang Xu-Fa,Zhuang Zhen-Quan,Wang Dong-Sheng. Image Processing Programming in C.Hefei: Publishing House of University of Science Technology of China.1994