基于Nios II的視頻運動(dòng)目標檢測跟蹤系統設計

　　摘要：文章是以Nios II處理器為中心的視頻運動(dòng)目標檢測跟蹤系統，通過(guò)CMOS圖像傳感器采集視頻圖像信息，采用幀間差分法檢測運動(dòng)目標，形心跟蹤算法對目標進(jìn)行跟蹤，最后在VGA顯示器上顯示視頻中運動(dòng)物體。實(shí)驗結果表明，該系統可達到運動(dòng)目標檢測跟蹤的理想結果。

　　0 引言

　　運動(dòng)目標檢測跟蹤就是將運動(dòng)的目標從視頻圖像序列中檢測出來(lái)，對其進(jìn)行跟蹤。在計算機視覺(jué)領(lǐng)域和智能視頻監控系統中，目標檢測與跟蹤系統是一個(gè)最要的研究?jì)热?，該系統在很多領(lǐng)域中經(jīng)得到廣泛的應用，例如在家庭住宅小區、智能交通、銀行、超市等場(chǎng)所都設有視頻監控系統，起到了不需要人為的作用，就可以對采集來(lái)的視頻圖像信號進(jìn)行處理，并對監控系統進(jìn)行控制。視頻監控與監視系統VSAM是由美國國防部研制出來(lái)的，其作用是對整個(gè)場(chǎng)景進(jìn)行監控，該系統可以自動(dòng)地調多個(gè)圖像傳感器無(wú)縫接入，主要應用在戰爭、危險場(chǎng)合的監控。馬里蘭大學(xué)研制出的W4實(shí)時(shí)監控可以在夜晚或者光線(xiàn)較差的環(huán)境下對出現的人定位和分割，主要應用在智能交通、家居服務(wù)等。視頻運動(dòng)目標檢測與跟蹤系統對檢測目標的準確性和實(shí)時(shí)性要求很高。SOPC是嵌入式微處理器可編程片上系統，可在FPGA芯片上實(shí)現。本文采用SOPC(在FPGA嵌入NiosII軟核)作為視頻處理核心器件的方案，與傳統的采用DSP和ARM芯片的方案相比，具有成本更低、設計更靈活，而且能達到軟硬件協(xié)同工作、處理速度更快、容易升級。系統采用Altera公司的CycloneII EP2C35F672C6作為核心處理芯片，NIOSII軟核處理器為核心對運動(dòng)目標實(shí)時(shí)準確地檢測與跟蹤。

　　1 系統組成及框圖

　　本文是基于FPGA的視頻運動(dòng)目標檢測跟蹤系統，主要分為四個(gè)模塊：圖像采集模塊、存儲模塊、目標檢測跟蹤模塊和VGA顯示模塊。

　　1.1 圖像采集模塊

　　圖像采集模塊的作用是接收CMOS圖像傳感器采集到的視頻圖像。本系統采用的是友晶公司提供的TRDB—D5M攝像頭開(kāi)發(fā)套件，使用的是CMOS圖像傳感器，它是將光學(xué)圖像轉化成電子信號的有源像素傳感器，是利用CMOS半導體而制成的。TRDB—D5M作為一款攝像頭套件，有很多攝像方面的優(yōu)勢;高幀率、優(yōu)秀的低亮度性能、微弱的暗電流、全局復位解除(使所有像素點(diǎn)同時(shí)開(kāi)始曝光)、可編程控制幀率、幀規模、曝光時(shí)間，片上鎖相環(huán)、自動(dòng)黑面校準等。

　　1.2 存儲模塊

　　本設計在硬件系統中使用一片SDRAM作為圖片緩存的存儲器，在軟件系統中，備用一片SDRAM存儲幀圖片，使用一片SRAM存儲軟件代碼和軟件處理過(guò)程的中間數據。

　　1.3 目標檢測跟蹤模塊

　　系統中大部分模塊是由Verilog HDL設計的，使用硬件來(lái)完成實(shí)際的功能，此模塊是在基于NiosII IDE集成開(kāi)發(fā)工具使用C語(yǔ)言實(shí)現的，我們在EP2C35中嵌入NIOS II軟核，控制連接在外部總線(xiàn)上的SDRAM和SRAM。在整個(gè)模塊中，FPGA是綜合了NIOS II處理器、SDRAM控制器、SRAM控制器、攝像頭等許多模塊的最主要的部分。

　　1.4 VGA顯示模塊

　　VGA輸出接口芯片采用的是美國AD公司的ADV7123，它是一款單芯片包含3路高速、10位輸入的視頻D/A轉換器、行場(chǎng)同步信號、行場(chǎng)消隱信號、時(shí)鐘信號。ADV7123對RGB視頻數字信號進(jìn)行D/A變換成VGA需要的RGB模擬信號。最后將運動(dòng)目標檢測跟蹤結果顯示到PC顯示器上。運動(dòng)目標檢測跟蹤系統的總體框圖如圖1所示。

　　運動(dòng)目標檢測是目標跟蹤的前提，其作用就是當視頻圖像序列中有運動(dòng)目標出現，通過(guò)檢測算法將目標從背景圖像中提取出來(lái)。根據監控場(chǎng)景是運動(dòng)的還是固定的，可以分為背景是固定的運動(dòng)目標檢測和背景是運動(dòng)的運動(dòng)目標檢測。本系統是對背景運動(dòng)的運動(dòng)目標檢測，目前，運動(dòng)目標檢測主要有三種方法：背景差分法、光流法和幀間差分法。背景差分法和光流法與幀間差分法相比，具有精度高定位準的優(yōu)點(diǎn)，但算法的復雜性較高，難以在硬件平臺上實(shí)現實(shí)時(shí)處理，因此，本系統采用的是幀間差分法。

　　幀間差分法是對連續視頻序列圖像中相鄰兩幀作差，從而得到運動(dòng)目標的方法。通常選取相鄰的兩幀或三幀圖像進(jìn)行差分運算，設t時(shí)刻當前幀圖像為Fk(x，y)，t-1時(shí)刻的前一幀圖像為Fk-1(x，y)，兩幀進(jìn)行相減運算如下：

　　其中，T為閾值，如果相鄰兩幀差分后的像素灰度值大于T，則二值化圖像Bk(x，y)像素點(diǎn)為1表示運動(dòng)目標區域，若為0表示背景區域。幀間差分算法基本流程如圖2所示。

　　1.5 目標跟蹤

　　目標跟蹤有很多算法，本系統選用的是形心跟蹤法。形心就是運動(dòng)目標的中心，對于準確定位出目標具有重要的意義。本文形心的獲取主要是通過(guò)幀間差分法檢測到運動(dòng)目標后，對檢測到的所有動(dòng)態(tài)點(diǎn)橫坐標和縱坐標進(jìn)行統計，然后算出所有動(dòng)態(tài)點(diǎn)橫坐標和縱坐標的中值，這個(gè)中值即為運動(dòng)目標的中心。當運動(dòng)目標較小時(shí)，若采用模板匹配法，由于所取模板與背景類(lèi)似，目標特征不夠明顯，比較容易產(chǎn)生錯誤的匹配，因此，比較適合采用形心跟蹤法進(jìn)行跟蹤和測量。二值化后的圖像，其形心坐標計算公式為：

　　形心跟蹤得到運動(dòng)目標的坐標后，統計運動(dòng)目標的像素點(diǎn)，再根據形心坐標將運動(dòng)目標用矩形框跟蹤，進(jìn)而得出運動(dòng)物體軌跡，NiosII處理器作出相應的控制信號，驅動(dòng)云臺進(jìn)行跟蹤運動(dòng)目標。

　　2 實(shí)驗結果

　　本論文是基于SOPC的視頻運動(dòng)目標檢測跟蹤系統，使用Altera公司DE2多媒體開(kāi)發(fā)板完成的。