紅外圖像實(shí)時(shí)跟蹤系統

系統組成及工作原理

實(shí)時(shí)紅外圖像自動(dòng)跟蹤系統，對紅外成像傳感器獲取的地面場(chǎng)景圖像數據中指定目標區域進(jìn)行實(shí)時(shí)自動(dòng)跟蹤，實(shí)時(shí)解算出目標在圖像場(chǎng)景中的精確位置，并輸出目標偏離系統視軸的方位，通過(guò)伺服控制回路，驅動(dòng)穩定平臺跟蹤目標。同時(shí)，圖像跟蹤系統接受來(lái)自外部控制系統的控制命令和數據，并按總體通訊協(xié)議要求向外部控制系統回送跟蹤系統的狀態(tài)、圖像數據和系統關(guān)鍵參數。

根據系統總體要求，選擇Altera公司Stratix系列的EP1S25。實(shí)時(shí)圖像跟蹤系統總體框圖如圖1所示，圖像跟蹤系統接受來(lái)自紅外成像焦平面視頻數據流，通過(guò)視頻信號行場(chǎng)和像素時(shí)鐘用來(lái)確定視場(chǎng)中每個(gè)像素的空間位置，視頻信號分為兩路處理，一路經(jīng)過(guò)系統中的Nios II相關(guān)跟蹤部分作自動(dòng)跟蹤處理，另一路通過(guò)采集和顯示邏輯送到LCD監視器用來(lái)觀(guān)察系統跟蹤情況。啟動(dòng)相關(guān)跟蹤之前，系統通過(guò)遠距離的RS485接收目標位置和大小參數，將選定目標分割后的數據保存到目標模板存儲區，形成初始模板。利用模板對目標進(jìn)行跟蹤，對跟蹤結果進(jìn)行預測外推，得到目標的坐標參數誤差后，通過(guò)RS232控制伺服系統對目標進(jìn)行跟蹤。為了減小外圍電路使用，系統采用對二值化后的數據進(jìn)行相關(guān)匹配方式?？紤]到EP1S25帶有1944576 bits的RAM，因此利用RAM模塊用來(lái)做高速相關(guān)匹配模板存儲區，例化兩場(chǎng)圖像數據需要120000bits，僅占片內RAM總容量的6%。

圖 1 系統的總體結構框圖

跟蹤算法

目前有多種算法可用于目標跟蹤。為了發(fā)揮FPGA實(shí)現并行算法的優(yōu)勢和NiosⅡ的靈活性，系統采用自遞歸的0tsu分割和相關(guān)跟蹤算法對紅外目標進(jìn)行穩定跟蹤，為了提高跟蹤精度，克服分割后的噪聲干擾，采用形態(tài)學(xué)方法去除噪聲突出目標。整個(gè)算法的實(shí)現過(guò)程如圖2所示。

圖2 跟蹤原理算法圖

目標分割

目標圖像的分割效果尤其是有效地使目標從背景中分離出來(lái)是保證系統穩定跟蹤的關(guān)鍵。系統采用自遞歸的Otsu的聚類(lèi)分割法。用聚類(lèi)準則分割圖像，當目標在圖像中占有適當的比例時(shí)，分割結果比較好，而且算法比較簡(jiǎn)單，有利于實(shí)時(shí)處理。然而對小目標圖像卻不能把目標從背景中分割出來(lái)，經(jīng)常會(huì )把很多背景錯分為目標，為此，我們提出了利用Otsu準則對圖像進(jìn)行自遞歸分割。即在第一次Otsu方法分割之后，將分割得到的亮像素再次利用Otsu分割準則計算得到新的分割閾值。

圖3 硬件實(shí)現相關(guān)匹配算法原理圖

相關(guān)跟蹤

相關(guān)跟蹤算法將系統的基準圖像 (即模板)在實(shí)時(shí)圖像上以一定的偏移值平移，然后根據一定的相似性度量準則對基準圖像和與基準圖像同樣大小的實(shí)時(shí)圖像塊進(jìn)行相關(guān)匹配，最匹配的那個(gè)位置就認為是目標位置?？紤]利用FPGA實(shí)現算法，系統采用絕對差相關(guān)算法。

為了保證系統實(shí)時(shí)性，減小算法對圖像RAM的使用量，采取如下方式對算法進(jìn)行優(yōu)化：圖像經(jīng)過(guò)分割后得到二值化圖像，運用異或運算處理來(lái)代替相關(guān)度的復雜計算：即將圖像和模板的二值灰度函數進(jìn)行異或運算，其最小值即為正確匹配位置。

目標預測

在目標跟蹤過(guò)程中，根據目標在運動(dòng)過(guò)程中具有軌跡的連續性的特點(diǎn)，首先利用目標過(guò)去的位置信息預測當前位置，然后在預測點(diǎn)周?chē)欢ǚ秶鷥冗M(jìn)行匹配。這樣既能減少計算量，在一定程度上又能排除其它物體對跟蹤的影響，從而保證匹配的可靠性。系統中采用最佳線(xiàn)性逼近預測法。

模板刷新

相關(guān)跟蹤算法進(jìn)行跟蹤時(shí)，用事先存儲好的模板在波門(mén)范圍內進(jìn)行匹配，尋找最佳匹配點(diǎn)。在跟蹤過(guò)程中，隨著(zhù)視場(chǎng)范圍內場(chǎng)景的變化，目標形體的變化，需要及時(shí)更新模板，使得模板始終正確地反映要跟蹤地目標。

系統采用模板的自適應刷新。根據相關(guān)峰確定是否更換模板，若所尋找到的相關(guān)峰同某個(gè)閥值比較，若小于該閥值，則認為此時(shí)的目標己經(jīng)和模板存在較大的差距，此時(shí)應該及時(shí)更新模板。經(jīng)大量試驗，閥值選取0.985有較好的跟蹤效果。

跟蹤算法實(shí)現

為了滿(mǎn)足系統實(shí)時(shí)性，系統采用NiosⅡ的定制指令和VHDL編寫(xiě)硬件算法加速器保證系統運行速度，在系統目標跟蹤算法中，對需要循環(huán)迭代浮點(diǎn)處理的Otsu分割和運動(dòng)預測算法，采用自定義的單精度浮點(diǎn)運算指令加速計算結果，表1 所示為采用自定義浮點(diǎn)指令和軟件實(shí)現浮點(diǎn)運算性能對比。定制指令邏輯和Nios II的連接在SOPC Builder 中完成。NiosⅡCPU配置向導提供了一個(gè)圖形用戶(hù)界面，在該界面中可導入設計文件，設置定制指令名，并分配定制指令所需的CPU時(shí)鐘周期數目。系統生成時(shí)，Nios II IDE為每條用戶(hù)指令產(chǎn)生一個(gè)在系統頭文件中定義的宏，可以在C或C++應用程序代碼中直接調用這個(gè)宏。

系統的相關(guān)匹配算法采用VHDL語(yǔ)言硬件并行實(shí)現，并且作為Avalon總線(xiàn)的用戶(hù)外設集成到Nios  II中實(shí)現算法的硬件加速單元。通過(guò)SOPC Builder中元件編輯器在GUI下將用戶(hù)邏輯封裝成一個(gè) Nios Ⅱ的用戶(hù)外設。這樣用戶(hù)可以像Altera提供的外設元件一樣使用自定義的邏輯組件。

圖3為硬件實(shí)現相關(guān)匹配算法原理圖，主要包括一個(gè)帶圖像行移位FIFO的模板寄存器組和目標模板生成模塊、集成相關(guān)運算的Avalon總線(xiàn)接口。

圖4  系統對2公里外的靶機目標跟蹤效果圖

實(shí)驗結果

系統在夜間對2公里外的多云天空中靶機目標進(jìn)行跟蹤實(shí)驗，圖像格式為384