SOPC實(shí)現4路高清攝像頭視頻處理的方案設計，軟硬件架構

系統原理和技術(shù)特點(diǎn)：

視頻圖像的拼接過(guò)程主要可分為圖像配準和融合處理兩個(gè)部分。本項目基于SIFT（Scale invariant feature transform尺度不變特征變換）算法，提取視頻幀圖像中局部部分（邊緣部分）的特征值實(shí)現圖片匹配，采用加權平均方法方法對圖像進(jìn)行拼接。實(shí)現4路高清攝像頭視頻數據采集、SIFT算法特征提加權平均方法圖片拼接的SOC設計。由于視頻數據處理量大，視頻中幀圖像拼接要求兼顧高效性與精確性，采用可編程器件FPGA平臺，設計比較靈活，通過(guò)硬件與軟件再次分配實(shí)現SIFT算法的硬件，提取邊緣交匯部分的特征值精確匹配，完成視頻實(shí)時(shí)處理的項目設計。

SIFT算法原理

SIFT是世界上最強大的特征點(diǎn)檢測算法之一。特征點(diǎn)檢測確定了所有特征點(diǎn)的最終位置，決定了整個(gè)系統的精度和穩定性，這方面在適合于FPGA中硬件實(shí)現加速。通過(guò)合理的設計，可以實(shí)現實(shí)時(shí)的SIFT特征提取系統設計。

特稱(chēng)點(diǎn)檢測一直是計算機視覺(jué)中備受關(guān)注指出，2004年，哥倫比亞大學(xué)的David Lowe提出SIFT算法，較好的解決了物體遮擋、旋轉、視角變換引起的圖像變形等問(wèn)題。

SIFT算法獲取圖像特征點(diǎn)的主要思想：

(1)尺度空間極值點(diǎn)的檢測：該算法的第一步是通過(guò)對原始圖像進(jìn)行高斯濾波，建立高斯金字塔，獲得高斯差分來(lái)找到那感興趣的關(guān)鍵點(diǎn)，也就是在以后的圖像匹配中可能發(fā)揮作用的特征點(diǎn)。

唯一可能的尺度空間的核心是高斯函數。因此，圖像的尺度空間定義為一個(gè)函數L（X;Y;σ），從尺度可變的高斯卷積生產(chǎn)G(X;Y;σ)，輸入圖像I(X;Y)

為有效地檢測尺度空間穩定關(guān)鍵點(diǎn)的位置，Lowe建議通過(guò)高斯差分獲取圖像的空間尺度極值函數D(X;Y;σ)，可以通過(guò)一個(gè)乘法系數K分離出來(lái)的兩個(gè)相近的尺度進(jìn)行計算。

在尺度空間通過(guò)一個(gè)常量系數K，初始圖像與高斯函數局部卷積。如下圖左側

檢測D(X;Y;σ)局部的最大值和最小值，每個(gè)采樣點(diǎn)與其當前圖像和9個(gè)尺度相鄰，找最小值與最大值。

(2)關(guān)鍵點(diǎn)的定位：在第(1)步中找到的點(diǎn)，需要經(jīng)過(guò)穩定性的篩選才能成為真正的關(guān)鍵點(diǎn)。

在(1)中確定了關(guān)鍵點(diǎn)，在此步驟進(jìn)行篩選。

高斯函數中一個(gè)定義不情的峰值會(huì )有一個(gè)大的主曲率邊緣和一個(gè)小的在垂直方向。通過(guò)一個(gè)2×2的Hessian矩陣，在關(guān)鍵點(diǎn)的位置和尺度上計算主曲率H。

根據H的特征值和D的主曲率比例關(guān)系，通過(guò)計算比例不用明確計算特征值。

(3)方向指定：根據每一個(gè)關(guān)鍵點(diǎn)鄰域內點(diǎn)的梯度方向，為關(guān)鍵點(diǎn)分配梯度方向和梯度的模。所有將來(lái)對圖像數據的操作都被轉化成為相關(guān)被分配的方向，尺度和區域，因此對這些轉換提供一個(gè)不變性。

在像素樣本L(x;y)在尺度上，梯度幅度m(x;y)和方向 (x;y)如下

其中方向直方圖覆蓋360度

通過(guò)梯度主導方向確定峰值，檢測直方圖中的最高峰值。不到80％的最峰值被用于創(chuàng )建一個(gè)同方向的關(guān)鍵點(diǎn)。

這樣，通過(guò)位置，尺度，方向就可以確定SIFT特征值

(4)關(guān)鍵點(diǎn)描述符：在每個(gè)關(guān)鍵點(diǎn)周?chē)鷧^域被選擇的尺度上，測量局部圖像的梯度，將特征點(diǎn)以多維向齡的形式描述出來(lái)。

以特征點(diǎn)為中心取16*16的鄰域作為采樣窗口，將采樣點(diǎn)與特征點(diǎn)的相對方向通過(guò)高斯加權后歸入包含8個(gè)bin的方向直方圖，最后獲得4*4*8的128維特征描述子。

最后，匹配關(guān)鍵點(diǎn)。

環(huán)視全景視頻系統主要步驟：

輸入4路視頻，在初始化階段對邊緣局部位置進(jìn)行SIFT特征提取、特征點(diǎn)初匹配、特征點(diǎn)精確匹配，在實(shí)時(shí)階段通過(guò)加權平均法融合視頻，輸出合成視頻。

圖 主要步驟

主要技術(shù)特點(diǎn)

1.高分辨率寬視野

高分辨率的寬視野圖像或視頻在當今視頻圖像信號處理領(lǐng)域越顯重要。在全景試圖的構建、全景視頻監控系統的實(shí)現以及虛擬現實(shí)技術(shù)中虛擬環(huán)境的構建等等都極其關(guān)鍵。普通攝像頭獲取場(chǎng)景往往不能兼顧高分辨率與寬視野，通過(guò)縮放鏡頭減小拍攝視野以換取高分辨率的場(chǎng)景圖片或者犧牲分辨率獲取大場(chǎng)景。另外，有些大尺寸物體用一張照片無(wú)法拍攝下來(lái)。所以，通過(guò)視頻或者圖像拼接解決高分辨率寬視野視頻或者圖像獲取問(wèn)題顯得極其迫切與必要。

2.邊緣交匯圖像特偵提取

由于系統要求實(shí)時(shí)性切高精度拼接，對硬件要求較大。而由于硬件架構導致攝像頭相對位置的固定，視頻圖像之間交匯部分也相對比較固定，所以沒(méi)有必要對4幅圖像全部進(jìn)行特偵提取。有算法研究通過(guò)邊緣檢測后進(jìn)行特征點(diǎn)提取，證明了局部的特偵提取可以大大提高系統實(shí)時(shí)性能。針對本項目，我們只需要對邊緣交匯部分區域進(jìn)行局部的特征提取，這樣可以大大提高系統性能，達到加速效果。

3.SIFT特征檢測提取算法硬件實(shí)現

對SIFT算法進(jìn)行的深入研究，將其移植到FPGA芯片上，實(shí)現軟件模塊與硬件模塊功能互相補充，達到軟件與硬件的最大優(yōu)化，實(shí)現高速的圖像特征提取效果。硬件加速SIFT算法為其在機器人定位，3D目標識別與跟蹤等嵌入式領(lǐng)域的應用奠定了基礎。

在圖像匹配眾多的算法中，SIFT算法對圖像的光線(xiàn)亮度變化、尺度縮放以及旋轉都能保持不變，對視角變化和噪聲也保持一定程度的穩定性。適用于在海量數據庫中進(jìn)行快速實(shí)時(shí)的匹配，極具有極其廣泛的應用范圍與可觀(guān)的發(fā)展前景。

4.可編程器件FPGA實(shí)現算法硬件加速

可編程器件FPGA極具設計靈活性，非常適合于高性能低成本的視頻和圖像系統設計及應用，視頻特征提取的實(shí)時(shí)性對硬件要求很高，普通計算機CPU計算能力有限難以達到要求?；贔PGA平臺，設計者可以選擇如何實(shí)現軟件代碼中的每個(gè)模塊，可以通過(guò)對算法實(shí)現的軟硬件劃分，利用FPGA中現有硬件資源等來(lái)加速軟件代碼中的瓶頸問(wèn)題，使用FPGA硬件設計模塊來(lái)提高SIFT算法的時(shí)效性。

本項目算法采用抗干擾、高精確度、應用前景廣泛但計算相對比較大的SIFT，對其進(jìn)行硬件實(shí)現極具研究?jì)r(jià)值。且有數據顯示，100MHz處理一幅320×240大小圖像SIFT特征點(diǎn)提取只需0.8ms。

5.SOPC(Systems On Programmable Chip)設計

本項目以FPGA芯片為實(shí)現目標器件，實(shí)現多路視頻數據的采集處理，研究SIFT算法的硬件實(shí)現與加速，一定程度上提出有具有創(chuàng )新性的SOC體系結構。設計具有實(shí)時(shí)多路視頻數據采集與復雜算法運算的數據處理的片上系統，把算法和控制集成到當個(gè)芯片中，為該類(lèi)系統的產(chǎn)業(yè)化做了很好的理論與實(shí)踐基礎。在單系統芯片中實(shí)現大連數據采集、復雜數據處理是未來(lái)集成電路的發(fā)展趨勢。

系統框圖（jpg/gif格式的圖像文件）：

圖1 系統框圖

軟件流程介紹（允許的格式doc，pdf，vsd，rar，zip）：

本項目系統設計主要分三大模塊，分別為數據采集與基本處理、視頻幀圖像的拼接處理以及視頻顯示輸出?；诳蒲袑?shí)驗室項目經(jīng)驗，多路高速CCD攝像頭數據采集與基本顏色生成與矯正存儲功能模塊以及單路標準視頻顯示模塊以基本實(shí)現，本項目可在之前項目設計的基礎上加以衍生升級應用。在此基礎上，本項目更著(zhù)重于實(shí)現SIFT算法的硬件實(shí)現與加速，實(shí)現實(shí)時(shí)視頻的拼接。

數據處理有兩大算法實(shí)現模塊，為SIFT算法硬件模塊與加權平均法圖像拼接模塊。

通過(guò)對SIFT算法的研究，在PC機上實(shí)現SIFT算法提取圖像特征值，用加權平均法拼接圖像。加權平均法在重疊區域的融合效果一般，會(huì )出現一些圖像內容的模糊與重影，不過(guò)不是本項目的重點(diǎn)，多副圖像的融合可以作為后續的發(fā)展及研究。在了解SIFT算法的基礎上，采用HDL描述SIFT算法，實(shí)現硬件設計。

系統主要開(kāi)發(fā)環(huán)境：Xilinx ISE Design Suite

擬采用的平臺：Atlys Spartan-6 FPGA開(kāi)發(fā)套件

系統所需額外設備：4臺高速CCD攝像頭(MT9P001_MI5100_DS)

項目測試的標準：

本項目最終實(shí)現環(huán)視系統的視頻的實(shí)時(shí)采集與顯示。

實(shí)現四路視頻的采集，分辨率達到標清。通過(guò)SIFT算法特征點(diǎn)檢測和平均加權法對幀圖像拼接實(shí)現環(huán)視圖像。4路視頻幀圖像之間銜接連貫，達到實(shí)時(shí)高效準確的視頻拼接功能。