基于FPGA的圖像采集和快速移動(dòng)物體檢測

2 FPGA圖像采集端
2.1 攝像頭的初始化
　 本系統實(shí)驗所使用的攝像頭是OV7670，其感官陣列共656×488個(gè)像素。OV7670通過(guò)SCCB總線(xiàn)控制，可以輸出整幀、子采樣、取窗口等方式的各種分辨率為8 bit的影響數據。用于VGA圖像顯示最高可達30幀/s。用戶(hù)可以完全控制圖像質(zhì)量、數據格式和傳輸方式。攝像頭內部包含伽瑪曲線(xiàn)、白平衡、飽和度、色度等，這些設置均通過(guò)SCCB總線(xiàn)接口完成。
SCCB是和I2C相同的一個(gè)協(xié)議。SCCB由一根數據線(xiàn)(SIO_D)和一根時(shí)鐘線(xiàn)(SIO_C)構成，數據線(xiàn)是雙向傳輸的，時(shí)鐘線(xiàn)是由主機完全控制的。本系統中主機是由FPGA芯片來(lái)?yè)蔚?，對攝像頭初始化的過(guò)程只是由主機對攝像頭內部的寄存器寫(xiě)入數據，不需要完成從攝像頭接收數據的過(guò)程，而且對攝像頭(OV7670)寄存器寫(xiě)入指令的格式很統一。指令由3 B構成，第1個(gè)字節為命令字節,對于本文中的攝像頭其內容是0x42；第2個(gè)字節是一個(gè)8 bit寄存器地址;第3個(gè)字節為所要修改的寄存器內容。
根據以上分析，通過(guò)FPGA實(shí)現攝像頭初始化的過(guò)程簡(jiǎn)化了SCCB傳輸協(xié)議，不再考慮接收數據；而且由于發(fā)送數據固定為24 bit,如果再加上起始、終止和確認位，總共需要傳輸的狀態(tài)位為29 bit，通過(guò)狀態(tài)機機制即可很輕松地編寫(xiě)FPGA代碼。本系統中將實(shí)驗所產(chǎn)生的FPGA信號通過(guò)邏輯分析儀提取,結果如圖2所示。

2.2 圖像采集
圖像采集要用到OV7670的3個(gè)同步信號，分別為VSYNC(場(chǎng)同步信號)、HREF(行同步信號)和PCLK(像素同步信號)，三者的時(shí)序關(guān)系如圖3所示。VSYNC的上升沿表示一幀新圖像的到來(lái)，下降沿則表示一幀圖像數據采集的開(kāi)始;HREF的上升沿表示一行圖像數據的開(kāi)始，HREF為高電平即可開(kāi)始有效的數據采集；PCLK下降沿表明數據的產(chǎn)生，PCLK每出現一個(gè)下降沿，OV7670 攝像頭便傳輸一個(gè)像素數據。最后，當下一個(gè)VSYNC信號上升沿到來(lái)，表明一幀圖像輸出結束，同時(shí)表示下一幀圖像輸出開(kāi)始。從圖3中可以看出，當PCLK下降沿到來(lái)時(shí)攝像頭就會(huì )更新輸出下一個(gè)數據；要通過(guò)FPGA采集圖像數據就要選定一個(gè)穩定的圖像數據采樣點(diǎn)，通過(guò)分析圖像可知，在PCLK為上升沿時(shí)最適合圖像數據的采樣。

本系統中,FPGA采樣得到的數據暫存于一個(gè)雙端口的內部RAM緩沖存儲器中。當收到采集圖像命令時(shí),系統首先復位雙端口RAM的寫(xiě)地址,每當PCLK上升沿到來(lái)時(shí)FPGA將數據總線(xiàn)上的數據保存下來(lái)，接著(zhù)再將獲得的數據寫(xiě)入雙端口緩沖區中，每寫(xiě)完一個(gè)數據便對寫(xiě)地址做加1的操作。其主要流程如圖4所示，在用Verilog語(yǔ)言實(shí)現對圖像數據采集時(shí),檢測PCLK上升沿并將總線(xiàn)數據保存到寄存器是在一個(gè)周期內完成的，將寄存器中的數據存入雙端口RAM是在下一個(gè)周期完成的，即如果輸入時(shí)鐘為48 MHz，則通過(guò)FPGA可以對24 MHz的像素頻率(PCLK)的輸出圖像進(jìn)行采集。其采集頻率即使對640×480的圖像也能達到30幀/s以上的速度。提高圖像采集的速度瓶頸關(guān)鍵在圖像從FPGA傳輸到控制端的過(guò)程中,因此提高數據的傳輸速度顯得非常重要。

2.3 數據傳輸
本系統通過(guò)一個(gè)雙端口RAM存儲器來(lái)做緩沖，與使用外部SRAM相比，其好處是實(shí)現簡(jiǎn)單、不需要外接SRAM芯片，同時(shí)作為FPGA內部RAM，其處理速度很快可以達到350 MHz。但是RAM緩沖區的大小有限，不能夠存儲一幅完整的圖像，如果控制端讀取數據太慢，可能會(huì )使原有的緩沖數據被覆蓋。從圖3中可以看出，在每一行數據傳輸結束后都有很長(cháng)一段行同步時(shí)間，通過(guò)使用緩沖區可以有效利用這段時(shí)間來(lái)傳輸數據。
數據傳輸過(guò)程的實(shí)現流程如圖5所示，該數據傳輸過(guò)程中使用4根控制線(xiàn)和8根數據線(xiàn)。4根控制線(xiàn)分別是開(kāi)始（start）、結束（finish）、接收狀態(tài)(R_ready)和發(fā)送狀態(tài)（S_ready）。圖5(a)為FPGA發(fā)送端的控制流程，圖5(b)為數據接收端的控制流程。發(fā)送端中rdata為從RAM緩沖區中讀出的數據，raddress為雙端口讀地址，waddress為雙端口寫(xiě)地址,數據采集完畢為采集過(guò)程結束的標志。

3 處理器控制端
3.1 移動(dòng)物體檢測研究現狀
目前比較常用的運動(dòng)物體檢測的方法主要有3種，分別是光流法、背景差法和幀差法。光流法的基本原理是給圖像中的每一個(gè)像素分配一個(gè)速度矢量，根據各個(gè)像素的速度矢量特征，對圖像進(jìn)行動(dòng)態(tài)分析[2]，但光流計算方法相當復雜，且抗噪性能差；幀差法的基本原理是利用圖像序列相鄰兩幀之間的差異計算出變化的像素[3]；背景差法的主要思想是通過(guò)對序列圖像建立一個(gè)背景模型，估算出當前的最優(yōu)背景圖像，再通過(guò)對前景圖像與背景圖像的差分來(lái)判斷場(chǎng)景中的運動(dòng)物體[4]。
3.2 移動(dòng)物體檢測
由于處理速度和資源都十分有限，本系統需要通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò )來(lái)傳輸圖像，在這樣的硬件條件下難以完成視頻采集，如果使用幀差法前后兩幀之間的差異可能會(huì )很大；并且本系統主要起到監控報警的功能，通常所監控的環(huán)境移動(dòng)物體很少，所以選用背景差法進(jìn)行運動(dòng)物體檢測。
3.2.1 移動(dòng)物體檢測流程
首先要獲取初始圖像，系統上電后將第一次獲取的圖像作為初始背景，初始背景并不一定準確，但是隨著(zhù)時(shí)間的推移，在自適應背景更新的過(guò)程中背景將會(huì )越來(lái)越趨近于真實(shí)的背景；接下來(lái)，將采集到的圖像與背景做差，得到背景差圖像，再對背景差圖像做中值濾波處理；之后，對中值濾波后的背景差圖像做二值化，從而提取出移動(dòng)物體即背景差圖中的白色部分，在對圖像二值化過(guò)程中,本系統根據實(shí)際應用環(huán)境采用自適應的二值化閾值。
3.2.2 中值濾波
　 由于噪聲和運動(dòng)的相關(guān)性，會(huì )出現一部分殘留的噪聲和運動(dòng)物體內部空洞的現象，需要利用形態(tài)學(xué)中開(kāi)和閉運算進(jìn)行必要的后處理。在眾多預處理方法中，中值濾波作為一種常用的圖像預處理方法，能夠有效地去除噪聲、平滑圖像，并能夠有效地保留圖像的邊緣信息，所以本系統采用中值濾波來(lái)處理圖像。
　 本系統所采用的是快速中值濾波[5]?？焖僦兄禐V波的處理過(guò)程為：首先獲得需要中值濾波處理的像素及其周?chē)袼?，結果為一個(gè)3×3矩陣;然后分別計算每一行中3個(gè)數據的最大值max、中值med和最小值min；再在上面求得的3個(gè)最小值中求最大值max_of_min，最大值中求最小值min_of_max，中值中求中值med_of_med；最后在max_of_min、min_of_max和med_of_med中求中值middle，middle即為所求,把3×3矩陣的中間值換成middle就完成了對Data5的中值濾波處理。
3.2.3 自適應閾值
由于閾值的大小對移動(dòng)物體的檢測主要表現在：當閾值定得較大時(shí)，會(huì )忽略背景差圖中的一些微小變化；當閾值定得太小，又會(huì )導致出現太多的移動(dòng)物體，造成錯誤的移動(dòng)物體檢測。因此，可以根據經(jīng)驗給移動(dòng)物體個(gè)數規定一個(gè)上限和一個(gè)下限。當檢測到的移動(dòng)物體個(gè)數大于所規定的上限時(shí)就適當的增大閾值，當移動(dòng)物體個(gè)數小于所設置的下限時(shí)就適當地增大閾值。閾值的變化不是無(wú)限的，而是在所容忍的范圍之內變化的。本系統經(jīng)過(guò)上述一系列處理后得到的結果如圖6、圖7所示：圖6為包含移動(dòng)物體及背景的圖像，圖7為經(jīng)過(guò)一系列處理后得到的對移動(dòng)物體二值化處理后的結果，其中白色部分為移動(dòng)物體。

3.2.4 背景自適應更新
現實(shí)環(huán)境中，即使是固定不變的背景也會(huì )因為天氣和光照條件的變化、周?chē)h(huán)境的影響、物體的經(jīng)過(guò)以及攝像機的輕微抖動(dòng)等因素而發(fā)生變化。因此在長(cháng)期運行的運動(dòng)檢測系統中背景的更新至關(guān)重要。背景更新一般有統計平均法和加權平均法兩種方法。統計平均即取幾幀圖像的平均值作為背景，其公式如下：

本系統采用的更新策略為加權平均，FK表示采集的圖像中扣除被判定為移動(dòng)物的那部分圖像，對于移動(dòng)物體部分,將會(huì )保留其原來(lái)的背景像素值。
本文重點(diǎn)介紹了圖像采集和移動(dòng)物體檢測，系統主要著(zhù)眼于對一個(gè)簡(jiǎn)單實(shí)用型監控系統的研究，為此提出了一些有效的方法。隨著(zhù)硬件技術(shù)的發(fā)展和芯片價(jià)格的下降，系統在日后可以作更大的改進(jìn)和完善。
參考文獻
[1] 王冠，俞一鳴．面向CPLD/FPGA的Verilog設計[M]．北京: 機器工業(yè)出版社，2007．
[2] MEYER D, DENZLER J, NIERMANN H. Model based extraction of articulated objects in image sequences for gait analysis[C]. SantaBara, California: Proc IEEE International Conference on Image Processing， 1997：50-78.
[3] LIPTON A, FUJIYOSHI H, PATIL R. Moving target classification and tracking form real-time video[C]. Princeton: Proc IEEE Workshop on Application of Computer Vision，1998.
[4] STEPHEN J, SUMER J, ZORAN D. Tracking groups of people[J].Computer Vision and Image Understanding,2000，80(1):42-56.
[5] 侯景忠.基于運動(dòng)物體檢測的智能監控系統[D].石家莊:河北工業(yè)大學(xué)，2008.
[6] 湯武當. 基于FPGA的運動(dòng)物體檢測系統設計[D].長(cháng)沙: 湖南大學(xué),2010.