多相機實(shí)時(shí)拼接視頻影像技術(shù)

摘要：?jiǎn)我幌鄼C分辨率有限，不利于大范圍場(chǎng)景的監視。本文基于不變特征拼接算法，提出多相機實(shí)時(shí)拼接視頻影像技術(shù)。該技術(shù)首先利用SIFT進(jìn)行特征提取，獲得的各相機圖像間的投影矩陣，然后通過(guò)不同相機幀間信息投影及拼接，獲得實(shí)時(shí)的成像結果。該技術(shù)已投入使用，實(shí)踐驗證取得了良好的成像效果，視頻幀率可達24fps。

引言

　　拼接成像相對于普通成像技術(shù)可獲得更加寬闊的視野，能夠更廣范圍地探測監視環(huán)境，并從圖像中獲得更加豐富的信息。因此越來(lái)越受到研究人員的重視。

　　Junhong Gao^[1]等人提出了對一幅圖像使用兩個(gè)單應性進(jìn)行描述的無(wú)縫圖像拼接方法，減少拼接圖像的接縫影響。Minsoo Kim^[2]等人提出一種魯邦和漸進(jìn)的圖像拼接方法，使用圖像的旋轉信息，達到了與使用光束平差法進(jìn)行拼接的效果。DeCarufel^[3]等人提出一種在對于在城市環(huán)境中有序捕獲的全向圖像集的匹配方案，提高了拼接圖像的匹配效果。目前，拼接視頻成像系統廣泛應用于軍事偵察、臨床醫學(xué)、地質(zhì)勘測、管道檢查、公安警戒以及生活中的各類(lèi)娛樂(lè )體驗項目。然而，實(shí)時(shí)的圖像拼接效率及對于拍攝環(huán)境的魯棒性仍是拼接成像系統的挑戰。

　　由于監控或拍攝場(chǎng)景的復雜性，以及相機視角的多樣性，在進(jìn)行圖像拼接時(shí)需要能夠較好地抵御包括噪聲、旋轉等因素的干擾。不變特征的圖像拼接算法恰具有以上優(yōu)勢，因此本論文將以基于不變特征的圖像拼接算法作為依據，獲取不同相機間的投影關(guān)系實(shí)現拼接，并通過(guò)優(yōu)化執行步驟達到實(shí)時(shí)的拼接成像要求。本論文分為3個(gè)部分：(1)基于不變特征的圖像拼接算法;(2)實(shí)時(shí)圖像拼接系統;(3)實(shí)時(shí)成像結果。

1 不變特征的圖像拼接算法

　　不變特征的圖像拼接算法是一種采用圖像不變局部特征點(diǎn)和似然模型來(lái)判定圖像匹配，并能夠對輸入圖像實(shí)施拼接而無(wú)需提供用戶(hù)輸入的算法。該算法以一組具有重疊區域的不同拍攝視角圖像作為輸入，首先采用SIFT算法尋找對光照、旋轉等因素具有不變性的圖像特征點(diǎn)同時(shí)進(jìn)行匹配，接著(zhù)，使用RANSAC算法對特征點(diǎn)進(jìn)行篩選，同時(shí)獲得基于特征點(diǎn)的4參數相機模型，通過(guò)矩陣參數的相乘以及向量參數與矩陣參數的計算得到各圖像與參考圖像之間的單應矩陣，進(jìn)而利用單應矩陣對原圖像實(shí)施拼接，獲得預期結果。

　　Autostitch是英屬哥倫比亞大學(xué)計算機科學(xué)學(xué)院的Matthew Brown和David G.Lowe^[7-8]共同開(kāi)發(fā)的一種利用多幅圖像拼接生成軟件。該軟件實(shí)現了基于不變特征的圖像拼接算法，運行結果包括圖像分辨率 、用于描述相機光心到成像平面的距離的焦距 ，以及通過(guò)對相機標定得到的兩個(gè)相機外參數矩陣。外參數矩陣描述了所拍攝圖像從相機坐標系到世界坐標系的轉換關(guān)系，包括平移矩陣

　　(1)

　　公式(1)中a₁₃和a₂₃為二維圖像在進(jìn)行上述坐標系轉換時(shí)在x、y方向上的平移量，通過(guò)相機標定獲得。以及旋轉矩陣R

　(2)

　　公式(2)中各元素的值通過(guò)二維圖像在進(jìn)行上述坐標系轉換時(shí)分別繞x軸、y軸和z軸旋轉的3個(gè)角度的正余弦所構造的3個(gè)矩陣相乘得到，旋轉角度通過(guò)相機標定獲得。Autostitch基于不變特征的圖像拼接算法，對輸入圖像進(jìn)行拼接。

2 實(shí)時(shí)視頻拼接系統

2.1 拼接成像算法

　　實(shí)時(shí)圖像拼接系統的成像過(guò)程如圖1所示，運行過(guò)程主要分為兩部分：參數計算包括步驟(1)、(2)、(3)、(4)和視頻合成包括步驟(5)、(6)。具體過(guò)程如下：

　　(1)假設采集系統共有k個(gè)相機，分別為。在初次使用實(shí)時(shí)拼接視頻系統或多相機間相對位置發(fā)生改變時(shí)，需首先使用多相機同時(shí)拍攝一幀圖像，其中選取為參考圖像，即在拼接的過(guò)程中，同一時(shí)刻的都以為參照，與其進(jìn)行特征匹配和單應關(guān)系的計算。本文選取。

　　(2)將圖像作為輸入，應用Autostitch尋找特征點(diǎn)、進(jìn)行特征匹配并計算I_i的分辨率d_i及f_i、T_i、R_i。

　　(3)利用T_i、R_i、f_i計算圖像I_i的投影轉換矩陣P_i且 (3)

　　式(3)中，P_i為I_i的投影矩陣，描述了I_i 從相機坐標系投影到世界坐標系下所進(jìn)行的平移及旋轉變換。矩陣k_i：

　　(4)

　　(4)使用P_i計算I_i的單應矩陣H_i：

(5)

　　用以表示I_i與I_r進(jìn)行圖像匹配時(shí)各像素點(diǎn)之間的坐標對應關(guān)系。inv(P_i)為矩陣P_i的逆矩陣。

　　(5)計算經(jīng)過(guò)單應變換后的圖像IW_i。首先利用I_i與H_i相乘得到Ii相對于I_r各像素點(diǎn)的坐標對應關(guān)系，再根據對應關(guān)系為IW_i的像素點(diǎn)賦值得結果。將IW_i中各像素點(diǎn)的坐標值(x,y,1)'轉化為齊次坐標 ，與I_i的矩陣H_i 進(jìn)行計算：

(7)

　　　　(8)

　　　(9)

　　式(7)中x、y為IW_i中某點(diǎn)的坐標值，(x,y,1)'為(x,y)的齊次坐標，為H_i與(x,y,1)'相乘的結果，將z化為1后向量的前兩個(gè)值即為式(8)、(9)中的x'、y'。(x',y')即為I_i中與IW_i的(x,y)對應的坐標值，若(x',y')均在I_i分辨率的坐標范圍之內，則將I_i中(x',y')處的像素點(diǎn)的值賦給IW_i的(x',y')處的像素點(diǎn)，完成圖像的單應變換的操作。