多相機實(shí)時(shí)拼接視頻影像技術(shù)
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對面交流
海量資料庫查詢(xún)
(6)將(5)中得到的所有IWi移動(dòng)到同一坐標系下，對重疊部分像素點(diǎn)的值進(jìn)行求均處理，得到拼接圖像并顯示。
本文引用地址：http://dyxdggzs.com/article/276356.htm
為了提高圖像拼接效率，達到實(shí)時(shí)的要求，計算出Hi之后，定義一個(gè)與拼接圖像同分辨率的矩陣，稱(chēng)為pixelData。該矩陣的每個(gè)位置存放3個(gè)數值，分別為拼接圖像矩陣每一個(gè)位置(x,y)對應單應變換的圖像的相機序號Ci及Ii中與(x,y)對應的像素點(diǎn)坐標值x'、y'，重疊部分取序號較小的圖像像素信息。由于圖像選取不變特征點(diǎn)以及相機間相對位置保持不變，在拼接視頻合成之前，首先計算pixelData并保存以重復利用，然后與視頻圖像共同作為輸入，對于不同相機同時(shí)采集的一組圖像，分配固定分辨率的拼接圖像矩陣，遍歷圖像中每一個(gè)像素，在pixelData中對應位置得到相機序號Ci及x'、y'，在Ii中搜索對應圖像及(x',y')處像素對拼接圖像進(jìn)行賦值，完成圖像拼接。該做法顯著(zhù)提高了圖像拼接的效率，保證系統實(shí)現實(shí)時(shí)拼接的要求。
2.2 系統的硬件平臺
系統采用12臺同步精度小于1ms的PointGrey Flea3相機作為視頻采集設備，并將12臺相機排成一列，每個(gè)相機間保持10cm的間距，主機使用32GB內存和64位CPU計算機，從硬件條件上滿(mǎn)足了圖像采集和實(shí)時(shí)系統的要求。相機組架構如圖2所示。
3 實(shí)時(shí)成像結果
通過(guò)實(shí)驗，基于不變特征的多相機實(shí)時(shí)視頻拼接成像系統的處理速率可達到24fps。圖3為室外環(huán)境下相機陣列中某一相機所拍攝圖像，圖4為該組圖像成像結果。圖5、圖6分別為室外場(chǎng)景實(shí)時(shí)采集與成像結果。通過(guò)實(shí)驗結果可以看出在室內和室外的不同場(chǎng)景下都具有較好的拼接效果。經(jīng)圖3場(chǎng)景實(shí)驗，合成圖像的分辨率為1557×833，原輸入圖像分辨率均為640×480，由此證明拼接圖像分辨率比原圖像有較大提高。同時(shí)作者使用OPENCV所提供的stitch方法進(jìn)行測試，使用本系統采集的一組圖像執行拼接，處理一幀圖像的時(shí)間約為8秒。實(shí)驗證明，對于相同的輸入圖像，采用本論文方法拼接效率約是OPENCV stitch方法效率的190倍，符合實(shí)時(shí)拼接成像的要求。
4 結論
以多相機為實(shí)驗基礎，采用基于不變特征的圖像拼接算法，實(shí)現了多相機實(shí)時(shí)視頻拼接系統。該系統直接利用Autostitch獲得圖像的分辨率、焦距、平移矩陣和旋轉矩陣進(jìn)行計算，避免重復尋找特征點(diǎn)及圖像匹配等過(guò)程，降低時(shí)間成本，處理速率可達24fps，滿(mǎn)足了實(shí)時(shí)視頻系統的要求。同時(shí)，由于缺少圖像接縫處理、圖像融合等后期操作，拼接效果仍然有待提高，在后續的研究中將借鑒研究人員對于提高圖像拼接效果的處理方法，引入使拼接圖像接縫更加自然平滑。
參考文獻:
[1]Junhong Gao, Seon Joo Kim,BROWN MS. Constructing image panoramas using dual-homography warping. Proceedings of Computer Vision and Pattern Recognition (CVPR), 2011[C], Providence, RI:IEEE, 2011: 49-56
[2]Minsoo Kim,Sunjung Kim,Jinyoung Choi. Robust and incremental stitching and calibration with known rotation on pan-tilt-zoom camera. Proceedings of Image Processing (ICIP), 2013 [C], Melbourne, VIC ,IEEE,2013: 2247-2251
[3]DE Carufel, J, Laganiere, R.Matching cylindrical panorama sequences using planar reprojections. Proceedings of Computer Vision Workshops (ICCV Workshops),2011[C], Barcelona,IEEE,2011: 320-327
[4]M Brown D Lowe. Automatic Panoramic Image Stitching using Invariant Features.International Journal of Computer Vision. 2007,74(1), 59-73
[5]M Brown,D G Lowe.Recognizing Panoramas.Proceedings of International Conference onComputerVision(ICCV),2003[C].Nice,France:IEEE,2003:1218-1225
評論