基于計算機視覺(jué)的虛實(shí)場(chǎng)景合成方法研究與應用

摘要 ：開(kāi)發(fā)了一種虛擬場(chǎng)景與實(shí)時(shí)視頻之間的合成技術(shù)，成功地將該技術(shù)應用于虛擬規 劃系統中，詳細介紹了系統所采用的基于計算機視覺(jué)的標識識別和實(shí)時(shí)、自動(dòng)攝像機位置、姿態(tài)跟蹤算法，并給出了系統運行結果。

0 引 言

虛擬現實(shí)技術(shù) 的最終目的是使用戶(hù)完全沉浸在一個(gè) 由計算機生成的虛擬環(huán)境中，該技術(shù)已經(jīng)被成功地應用到軍事、教育、娛樂(lè )等眾多領(lǐng)域。隨著(zhù)應用 的增多 ，虛擬現實(shí)技術(shù) 的缺陷也逐漸暴露出來(lái)，主要表現在如下兩個(gè)方面：(1)虛擬現實(shí) 中的場(chǎng)景完全由計算機生成，隨著(zhù)繪制場(chǎng)景真實(shí)程度的提高，對系統硬件配置的要求也相應提高，從而形成了繪制效果和實(shí)時(shí)性?xún)蓚€(gè)同等重要又難以同時(shí)解決 的問(wèn)題 。(2)交互方式受限．鼠標、鍵盤(pán)等傳統輸入設備并沒(méi)有提供給用戶(hù)一種直觀(guān) 自然的交互方式，而數據手套等較為昂貴的外圍設備不僅使用起來(lái)不方便，而且對工作范圍也有一定的限制。

混合現實(shí) 技術(shù)的出現很大程度上解決了以上兩個(gè)問(wèn)題，它將計算機生成的虛擬場(chǎng)景、提示信息實(shí)時(shí)疊加到用戶(hù)所能觀(guān)察到的真實(shí)世界當中，并以此來(lái)增強用戶(hù)視覺(jué)感受 。在混合現實(shí)環(huán)境中用戶(hù)所能觀(guān)察到的主體是來(lái)源于真實(shí)世界的圖像信息，虛擬場(chǎng)景只起到輔助、提示作用，因此不需要真實(shí)感圖形繪制所需的高端的硬件配置。另一方面，由于圖像信息來(lái)源于真實(shí)世界，這就使得用戶(hù)本身能夠很自然地融合到整個(gè)系統中，并且能夠 以一種 自然 、直觀(guān)的方式與系統交互，而不必添加額外的硬件設備。正是由于以上特性，混合現實(shí)技術(shù)已經(jīng)被應用到眾多領(lǐng)域當中，而且能夠比虛擬現實(shí)更好地完成某些任務(wù)，如交互式規劃、動(dòng)態(tài)虛擬展示等。

一個(gè)實(shí)用的混合現實(shí)系統所必須具備的特性之一是幾何一致性，即系統必須實(shí)時(shí)準確地判斷攝像機相對于真實(shí)世界的位置和姿態(tài)．以便將虛擬場(chǎng)景正確地疊加到真實(shí)世界的具體位置上，使得用戶(hù)從感官上認為虛擬場(chǎng)景確實(shí)是真實(shí)世界的一部分。傳統的方法是利用硬件設備(電磁式、機械式跟蹤系統)來(lái)獲取攝像頭位置信息，但這些方法不僅工作范圍受限，而且求得的結果也不夠精確。本文采用當前流行的基于計算機視覺(jué)的方法來(lái)獲取位置信息，事實(shí)證明該方法是有效、可行的。

系統結構及工作流程

筆者構建 了一個(gè)如圖 1所示的混合現實(shí)原型系統，主要由如下幾個(gè)部分組成：(1)平面標識塊：一個(gè)帶有黑色邊框的正方形．尺寸、內部圖案由用戶(hù)定義，主要功能是使系統能夠根據實(shí)際圖像中標識的變形來(lái)計算虛實(shí)配準所需的位置、姿態(tài)信息，同時(shí)還可以用不同的內部圖案代表不同的虛擬場(chǎng)景，以增強系統的實(shí)用性。(2)圖像采集設備(攝像機)：主要完成實(shí)時(shí)視頻采集功能。(3)圖形渲染系統：生成與視頻合成所需的虛擬場(chǎng)景。(4)虛實(shí)合成：利用攝像機位置、姿態(tài)信息將視頻與虛擬場(chǎng)景相融合。(5)顯示設備 ：包括頭盔式顯示器以及桌面臺式顯示器，用以將虛實(shí)合成的影像展現給使用者。

系統運行過(guò)程中，首先將采集到的一幀彩色圖像轉換成一幅二值(黑 白)圖像，然后對該二值圖像進(jìn)行連通域分析，找出其中所有的四邊形區域作為候選匹配區域，將每一候選區域與模板庫中的模板進(jìn)行匹配，如果產(chǎn)生匹配，則認為找到了一個(gè)標識，在生成與該標識對應的虛擬場(chǎng)景的同時(shí)利用該標識區域的變形來(lái)計算攝像機相對于已知標識的位置和姿態(tài)，最后根據得到的變換矩陣實(shí)現虛實(shí)之間的無(wú)縫融合。

2 標識識別與攝像機位置、姿態(tài)跟蹤算法

由上一節可知，構建該系統有兩個(gè)關(guān)鍵問(wèn)題需要解決 ，即如何識別標識內部的不同圖案以生成與之對應的虛擬場(chǎng)景 以及如何利用標識的變形計算虛實(shí)配準所需的坐標變換關(guān)系。以下分別介紹以上兩個(gè)問(wèn)題的解決方法。

2．1標識識別

本系統 所采用的標識識別方法可 以分為以下幾步。

2．1．1圖像二值化

首先對采集到的彩色圖像進(jìn)行二值化，處理成黑白(0，1)圖像，如圖 2(b)。具體方法為：設定一個(gè) 閾值，對圖像進(jìn)行遍歷 ，根據該閾值，對圖像重新賦值。為了克服光照對識別結果造成的影響，同時(shí)采用 了自適應閾值法 來(lái)提高系統穩定性，設定當前 閾值 為上一幀圖像中標識投影區域像素灰度的平均值，實(shí)驗證明該方法對改善系統性能有較為明顯的效果。

2．1．2連通域分析

連通域分析的 目的是從復雜背景中提取標識的投影區域。分析過(guò)程為：查找所有像素值為 1的連通區域，首先根據大小約束對區域進(jìn)行預篩選，然后利用最小二乘直線(xiàn)擬合法篩選出所有四邊形區域 ，結果見(jiàn)圖 2(c)。

2．1．3 區域規則化與模板匹配

區域規則化是將圖像中經(jīng)過(guò)投影變換的標識區域變換到標準模板空間，本文利用仿射變換 將標識經(jīng)過(guò)投影變形后 的區域直接映射到一個(gè) 64×64大小的正方形模板，效果見(jiàn)圖2(d)。接下來(lái)的工作是將規則化圖像與模板庫中的模板進(jìn)行匹配，以返回代表不同虛擬場(chǎng)景的 ID值。本文采用相關(guān)系數法來(lái)完成匹配工作，方法如下：

首先利用以下四式計算規則化圖像 I和標準模板圖像 P各自的均值和方差。

然后計算兩幅圖像的相關(guān)系數 p，本文選擇所有模板中與規則化圖像具有最大相關(guān)系數 p且 p>0．5的模板作為當前匹配結果，并返回與之對應的 ID值　　2．2攝像機位置、姿態(tài)估計

首先給出系統的坐標變換關(guān)系如圖 3所示。規定平面標識在世界坐標系中的位置為已知，攝像機位置、姿態(tài)計算問(wèn)題轉化為攝像機坐標系與世界坐標系之間三維變換矩陣的求解。

世界坐標 系與攝像機坐標系間的變換關(guān)系可以用式(5)表示。其中 W為世界坐標系下某點(diǎn)坐標，C為該點(diǎn)在攝像機坐標系中的位置，T ：[R R R：T] 為待求三維變換矩陣，包含三個(gè)旋轉分量和一個(gè)平移分量。