雙目攝像技術(shù)分析--突破光學(xué)與尺寸的極限

背景知識

運動(dòng)模糊

釣寒江雪整理

Figure 1 水平方向運動(dòng)模糊50像素（圖像已經(jīng)縮?。?/p>

Figure 2 水平方向運動(dòng)模糊10像素（圖像已經(jīng)縮?。?/p>

Figure 3 軟件模擬水平方向運動(dòng)模糊5像素（圖像已經(jīng)縮?。?/p>

Figure 4 軟件模擬無(wú)運動(dòng)模糊（圖像已經(jīng)縮?。?/p>

Figure 5 軟件模擬運動(dòng)模糊對比（圖像無(wú)縮放，左上：無(wú)運動(dòng)模糊，右上：運動(dòng)模糊5像素，左下：運動(dòng)模糊10像素，右下運動(dòng)模糊50像素）釣寒江雪整理

Figure 6 軟件模擬運動(dòng)模糊對比（圖像無(wú)縮放，左上：無(wú)運動(dòng)模糊，右上：運動(dòng)模糊5像素，左下：運動(dòng)模糊10像素，右下運動(dòng)模糊50像素）釣寒江雪整理

Figure 7 軟件模擬運動(dòng)模糊對比（左上：無(wú)運動(dòng)模糊，右上：運動(dòng)模糊5像素，左下：運動(dòng)模糊10像素，右下運動(dòng)模糊50像素）釣寒江雪整理

Figure 8 運動(dòng)模糊（左30毫秒，右50毫秒）

Figure 9 運動(dòng)模糊（左10毫秒，右30毫秒）

圖像配準

配準是尋找從一個(gè)數據集到另一個(gè)數據集的轉換關(guān)系的問(wèn)題。大部分這類(lèi)直接形式中，這兩組數據集的維度相同(例如，我們配準3D數據到3D數據或者2D數據到2D數據)，轉換方式有旋轉，平移，也可能有縮放。好的方法對此類(lèi)問(wèn)題非常有用。很多案例中人們希望知道一個(gè)在與自己具有相同維度的數據集中的目標的位姿—世界坐標中的位置和方向。例如，我們有一個(gè)病人體內的MRI（核磁共振）圖像（3D數據集），我們希望疊加在真實(shí)病人的畫(huà)面上以指導外科手術(shù)。這種情況下，我們希望知道旋轉，平移，縮放模型，用以將一個(gè)圖像疊加在另外一個(gè)圖像上（釣寒江雪翻譯）。還有個(gè)例子，我們可能有一個(gè)2D圖像模板，我們想在一副航拍圖像中找到該模板，我們同樣需要知道旋轉平移和縮放關(guān)系，以將一副圖像疊加在另外一個(gè)副上。我們可能也使用匹配質(zhì)量打分的方式來(lái)表示我們是否建立了正確的匹配關(guān)系。我們使用搜索和發(fā)現位姿恒常性特性來(lái)解決此類(lèi)問(wèn)題。位姿恒常性是指剛性物體中不同特征集反應該物體相同的位姿。結果，剛性物體配準問(wèn)題變得簡(jiǎn)單很多，因為我們只需找到一小部分特征來(lái)估計物體的位姿（釣寒江雪翻譯），且我們能用其他部分來(lái)確認該位姿。

該問(wèn)題一個(gè)重要的變種是在投影關(guān)系下實(shí)施配準。這種情況下我們看到一個(gè)3D物體的圖像，且需要將該物體配準到圖像。通常，這個(gè)問(wèn)題能夠用同維度數據集配準的搜索算法來(lái)解。這里我們需要借助一種有時(shí)被稱(chēng)為攝像機恒常性的特性的幫助，攝像機恒常性意思是圖像中的所有特征在都是同一個(gè)攝像機拍攝的（釣寒江雪翻譯）。攝像機恒常興意味著(zhù)，剛性物體到圖像的匹配搜索問(wèn)題被大大簡(jiǎn)化，因為我們只需要一小撮特征來(lái)估計物體的位姿和攝像機的標定，且我們可以用其他剩余的特征來(lái)確認位姿。

最復雜的配準問(wèn)題是要處理能發(fā)生形變的物體。這種情況下，配準兩個(gè)數據集的轉換模型是個(gè)大家族（譯者注：不只旋轉，平移，縮放，投影）。搜索特定轉換相對而言更加復雜。配準可形變土體是醫療圖像分析的一個(gè)核心技術(shù)，因為人體組織可形變且通常在不同的成像模式下對相同的身體部分進(jìn)行成像。

剛性物體配準

假設我們有兩個(gè)點(diǎn)集，源集與目標集。目標集是源集的旋轉，平移及縮放版本，且其中可能有噪點(diǎn)。我們希望計算該旋轉，平移及縮放量。

這個(gè)問(wèn)題可以直接表達為公式，如果我們知道到的映射，記為目標點(diǎn)集合中某點(diǎn)索引到源集中第i個(gè)點(diǎn)（釣寒江雪翻譯）。這種情況下，我們可以計算一個(gè)最小二乘方程，最小化

其中s是縮放因子，是旋轉，是平移。如果目標沒(méi)有縮放，我們設s=1。

我們能可以用數值優(yōu)化的方法解該優(yōu)化問(wèn)題，雖然該問(wèn)題有解析解。Horn(1987b)認為平移兩可以從中心點(diǎn)恢復，旋轉和縮放可以從點(diǎn)集的各類(lèi)矩中得到。事實(shí)上，這篇文章認為如果目標是源的旋轉平移和縮放版本，點(diǎn)到點(diǎn)的映射關(guān)系無(wú)關(guān)緊要。這個(gè)案例違背了配準問(wèn)題，但是實(shí)際中并不常見(jiàn)。

更普遍地，S是一個(gè)從幾何結構中采樣到的點(diǎn)集，T是一個(gè)從相同結構的旋轉平移縮放版本中采樣的的點(diǎn)集。例如，S可能是物體的集合模型，T是通過(guò)立體重構或者激光測距的方式獲得。另一個(gè)例子，S和T可能是從不同的3D圖像解剖結構數據集中通過(guò)特征檢測齊獲得。不同例子中，我們相信S是T的旋轉平移及縮放版。但是T中的點(diǎn)未必對應S中的點(diǎn)。更糟糕，采樣過(guò)程意味著(zhù)我們無(wú)法準確估計矩。所以Horn的算法不行。還有糟糕的事情，數據集可能包含較大的誤差和錯誤外點(diǎn)。

記

該數據集通過(guò)源集的旋轉平移與縮放得到。在解決該問(wèn)題的方法中，中大部分點(diǎn)需要靠近T中的一個(gè)點(diǎn)。且提供一個(gè)映射關(guān)系。我們通過(guò)估計映射關(guān)系來(lái)搜索正確的轉換關(guān)系，然后通過(guò)估計得轉換關(guān)系來(lái)估計映射關(guān)系，然后重復。我們也可以選擇一小部分數據來(lái)搜索，然后用以估計轉換關(guān)系。

迭代最近點(diǎn)

此刻，假設我們沒(méi)有外點(diǎn)。我們期望對于任意，存在最近點(diǎn)。如果我們使用一個(gè)合理的轉換估計，距離不能太大。注意點(diǎn)的索引依賴(lài)于j, 但也依賴(lài)于特定的轉換參數，記最近點(diǎn)索引為，假設我們估計的轉換歡喜為。然后我們迭代地精細化估計結果：(a)轉換S中的點(diǎn)；(b)逐一找到T中對應的最近點(diǎn)；以及(C)最小二乘法重新估計轉換參數。這催生了一個(gè)迭代算法，根據文獻 Besl and McKay (1992),稱(chēng)為迭代最近點(diǎn)算法iterated closestpoints。該算法可以明確地收斂到正確答案（釣寒江雪翻譯）。

實(shí)際應用中，它確實(shí)可以。兩個(gè)點(diǎn)集可以助其改善其性能。首先，重估計過(guò)程不需要收斂以使算法有用。例如，我們不需要完整地估計轉換關(guān)系，我們做一次梯度下降。這稍微改善了轉換關(guān)系，且修改了最近點(diǎn)映射關(guān)系。其次，我們不需要再最小化過(guò)程中使用全部的點(diǎn)。特殊地，如果最近點(diǎn)相對較遠，最好在下一步的最小2乘法中拋棄這些點(diǎn)。這會(huì )使算法更魯棒。

你可能會(huì )認為與其說(shuō)這是個(gè)算法不如說(shuō)是個(gè)算法模板；大量特征可以被成功地修改。例如，它可以用來(lái)在數據結構中小心地加速保持對最近點(diǎn)的跟蹤。另一個(gè)例子，一個(gè)可選的用于改善魯棒性的策略，是使用M估計器取代最小二乘誤差項。事實(shí)上，該算法不需要S和T的點(diǎn)集。例如，它相對直接地用于S是網(wǎng)格點(diǎn)，T是點(diǎn)集的案例（Besl and McKay 1992）。另外，有良好的證據表明我們優(yōu)化的關(guān)于(s, θ, t)的目標函數在實(shí)際應用中性能良好。例如，雖然它不是可微的（因為最近點(diǎn)改變，導致微分步長(cháng)變化），2階方法如牛頓方法或者LBFGS在實(shí)際引用中事實(shí)上表現更好。

通過(guò)映射關(guān)系搜索轉換關(guān)系

迭代最近點(diǎn)重復估計源集于目標集的映射關(guān)系，然后用以估計轉換關(guān)系。就我們所見(jiàn)，該搜索方法面臨很多局部極小值。另一個(gè)方法是搜索映射空間。這看起來(lái)似乎沒(méi)有前途，因為有大量的映射關(guān)系，但是在剛性物體的案例中，較小的映射集足以配準整個(gè)物體。另一個(gè)直接考慮映射的優(yōu)勢是我們可以直接使用標記進(jìn)行作用而不是點(diǎn)。例如，我們映射中放置線(xiàn)段，角，甚至如斑點(diǎn)（blobs）點(diǎn)狀特征。這類(lèi)標記可能改變細節，但對整個(gè)算法影響微小。

很小的源標記集與目標標記集進(jìn)行映射，足以估計轉換關(guān)系。集合的尺寸依賴(lài)于轉換關(guān)系及標記本身。我們參考可用于計算轉換關(guān)系的稱(chēng)謂幀支持群frame-bearing group一群標記。表12.1給出了2D-2D幀支持群的例子，且表12.02給出了3D到3D案例的例子。這也將在未來(lái)的運用中進(jìn)一步拓展。

現在我們假設我們在源和目標中有幀支持群。進(jìn)一步，如果我們有標記集的映射關(guān)系，我們可以計算源之于目標的相應的轉換關(guān)系（釣寒江雪翻譯）。只能有一個(gè)可能的映射關(guān)系。例如，如果群是先或者點(diǎn)，我們只能把源線(xiàn)（點(diǎn)）放置在與目標線(xiàn)（點(diǎn)）映射的位置。但是可能有多種可能的映射；例如群由3個(gè)點(diǎn)組成，但是有6種可能性。

如果一個(gè)群或者映射錯誤，大部分的源標記將轉換到遠離目標的位置。但是如果正確，很多或者大部轉換過(guò)的源標記將落在目標標記附近。這意味著(zhù)我們可以用RANSAC（10.4.2），重復地使用如下步驟，分析結果：

• 為目標和源隨機選擇幀支持群，
• 計算源與目標單元的映射關(guān)系（如果有多個(gè)，我們隨機選擇），然后計算轉換關(guān)系。
• 使用該轉換關(guān)系轉換源集沒(méi)，并與目標進(jìn)行比較打分只。

如果我們實(shí)施足夠多次，我們極大可能可以在好的群之間獲得好的映射結果，且我們也可以檢查每個(gè)分數用以分辨優(yōu)劣。從好的映射關(guān)系，我們可以分辨源與目標的匹配對，最終根據最小2乘法計算轉換關(guān)系。

應用：建立圖像拼接

一個(gè)拍攝大而壯觀(guān)的目標的細節的方法是拍攝很多張小的圖像，并將其拼接到一起。過(guò)去的做法常常是將照片沖印，然后堆疊貼在軟木板上，用以吻合。這引入了圖像拼接，一系列重疊的圖像。圖像拼接現在能用數字圖像配準的方法實(shí)施。

表1 3D-3D幀支持群.假設我們在源和目標中都有一個(gè)群，且有一個(gè)映射關(guān)系；從而，我們可以唯一地估計轉換關(guān)系。

Figure 10 左圖，機場(chǎng)上空航拍視頻幀。這些幀被矯正并拼接在右圖，其中顯示（a）全局可見(jiàn)結構（b）飛機飛行路徑。這個(gè)圖最作為Figure1發(fā)表在“Video Indexing Based on Mosaic Representations,”by M. Irani and P. Anandan, Proc. IEEE, v86 n5, 1998, _c IEEE, 1998.

一個(gè)應用是創(chuàng )建大型圖像。也有幾個(gè)其他重要的應用。例如，假設我們用在飛機垂直安裝的一個(gè)的攝像機拍攝了一些圖像（釣寒江雪翻譯）；然后如果我們一幀一幀配準這些圖像，我們不但可以得到飛機可見(jiàn)的圖像，還可以呈現飛機的路徑，如圖Figure 12.1所示。另一個(gè)例子， 假如我們我們有一個(gè)獲取視頻的固定的攝像機。逐幀配準后，我們可以估計（a）運動(dòng)物體，（b）背景，且用新的方式向觀(guān)眾呈現（figure 12.2）。還有個(gè)例子，我們能夠構建圓柱面全景圖像，模仿圓柱面攝像機拍攝的圖像。甚至球面全景圖像，模擬球面球面攝像機拍攝的圖像。全景圖像的一個(gè)特性看起來(lái)像一個(gè)視角的圖像，容易查詢(xún)提取信息。特別地，容易使用全景圖像模仿攝像機旋轉聚焦點(diǎn)時(shí)之所見(jiàn)。

創(chuàng )建拼接式圖像配準的一個(gè)重要應用。在最簡(jiǎn)單的例子中我們希望配準兩張圖像我們先找到標記，然后確定哪些點(diǎn)是匹配額，然后選擇轉換關(guān)系，并最小化２次匹配誤差。Brown and Lowe(2003)給出了尋找標記的策略。他們找到感興趣點(diǎn)，然后計算領(lǐng)域的ＳＩＦＴ特征，然后使用近似最臨近點(diǎn)方法尋找匹配對，一小組匹配點(diǎn)足以擬合映射關(guān)系。

figure 11 左圖，空中飛機拍攝的視頻幀（釣寒江雪翻譯）。這些幀被矯正并拼接到右圖，其中顯示（a）視頻中飛機飛行軌跡和（b）觀(guān)察者的飛行軌跡。注意拼接顯示了飛機移動(dòng)速度（可看到每一個(gè)飛機拼接實(shí)體間距多遠；如果間距遠，說(shuō)明移動(dòng)快）。

這類(lèi)有兩種有用的轉換關(guān)系。最簡(jiǎn)單的例子中，攝像機是一個(gè)垂直平移的攝像機，且它被平移。這意味著(zhù)圖像標記平移（釣寒江雪翻譯），因為我們只需要估計圖像之間的平移量，另一個(gè)復雜的例子，攝像機是一個(gè)繞其焦點(diǎn)旋轉的透視的攝像機。如果我們對該攝像機一無(wú)所知，這個(gè)I1和I2的關(guān)聯(lián)部分是一個(gè)面投影轉換關(guān)系，又稱(chēng)單應變換。了解更多關(guān)于攝像機及環(huán)境信息，能夠得到更緊的約束條件的轉換（釣寒江雪翻譯）。

在單應坐標中，轉換關(guān)系將點(diǎn)I1中的Ｘ１＝映射到Ｉ２中的。轉換關(guān)系的形式是3x3行列式非零的矩陣。記為Ｈ。我們用平面上４個(gè)對應點(diǎn)估計元素值。記為第Ｉ１中第ｉ個(gè)點(diǎn)，對應，現在我們有式

Figure 12

如果我們叉乘并相減，我們根據每一組映射點(diǎn)對的未知矩陣入口得到單應線(xiàn)性方程，例如：

這個(gè)系統給出了H大小的（up to scale,原文）求解方法（我們工作在單應坐標系下）。這是一個(gè)根據少量點(diǎn)估計Ｈ好的方法，　但當我們有一大堆映射點(diǎn)對時(shí)，可能得不到最準確的解。這種情況下，我們應該最小化Ｈ的函數

其中g(shù)是判別函數，如果我們有外點(diǎn)的話(huà)，這不是個(gè)好主意，或者一個(gè)M估計器。這個(gè)函數值關(guān)于H的大小是不變的（意思是H矩陣的元素統一放大或者縮小都不影響函數值），所以我們需要一個(gè)歸一化的形式（釣寒江雪翻譯）。我們可以設置一個(gè)量為1來(lái)歸一化（不是個(gè)好主意，因為這帶來(lái)了偏置量），或者要求Frobenius 范數等于1。好的估計單應矩陣的軟件已經(jīng)可以在Web上獲得。Manolis　Lourakis在http://www.ics.forth.gr/~lourakis/homest/發(fā)表了一個(gè) C/C++ 庫; there is a set of MATLAB functions for multiple view geometry at一個(gè)ＭＡＴＬＡＢ多視幾何函數集，http://www.robots.ox.ac.uk/~vgg/hzbook/code/,作者是 David Capel, Andrew　Fitzgibbon, Peter Kovesi, Tomas Werner, Yoni Wexler, and Andrew Zisserman.

最后，OpenCV也有單應估計方法。

如果有超過(guò)2張圖像，配準圖像到拼接圖像更有意思。想想我們有三個(gè)圖像，我們能夠配準圖像1到圖像2，然后圖像2到圖像3。但是如果圖像3具有一些圖像1所具有的特征，這可能是不明智的做法。記為圖像2到圖像1的轉換關(guān)系（依次類(lèi)推）。問(wèn)題是可能不是圖像2到圖像1的轉換關(guān)系的好的估計。在三張圖像的情況下，誤差可能不是那么大，但是能累加?！?/p>

為了解決誤差累加的問(wèn)題，我們需要使用全部的誤差值一次估計所有的配準數據。這個(gè)動(dòng)作叫做綁定調整（bundle adjustment），依靠分析運動(dòng)中結構的相關(guān)項實(shí)施（章節8.3.3）。一個(gè)自然方法是選擇一個(gè)坐標幀，圖像幀再其內工作－例如，第一幀圖像，然后搜索一系列其他圖像與第一幅圖像的匹配關(guān)系，并最小化點(diǎn)對誤差平方和。例如，記為第j元組，它由圖像ｉ中及圖像k中組成。我們可以通過(guò)最小化下式估計和，　

(其中，如果沒(méi)有外點(diǎn)，g是一致的，否則是M估計器)，然后用轉換關(guān)系配準。注意，隨著(zhù)圖像數量增加，這個(gè)方法可能帶來(lái)大的和差的優(yōu)化問(wèn)題（釣寒江雪翻譯），很可能出現局部最小值，所以需要從一個(gè)好的轉換估計值開(kāi)始。配準獨立圖像對能夠提供這樣的起始點(diǎn)。一旦圖像已經(jīng)配準到另外一副圖像，我們能得到一單張全景圖像，然后小心地混疊像素以處理由鏡頭系統導致的空間亮度變化（圖12.5）?！?/p>

基于模型的視覺(jué)：使用投影配準剛性物體

MODEL-BASED VISION: REGISTERING RIGID OBJECTS WITH PROJECTION我們現在已經(jīng)可以用圖像配準剛性物體。這個(gè)問(wèn)題的解決方法在實(shí)際應用中很有用，　因為它們允許我們根據攝像機估計圖像中已知物體的位置，方向，縮放，盡管物體身上的圖像特征有很多不確定性。這類(lèi)算法能夠和世界產(chǎn)生作用，在系統中特別有用。例如，如果我們希望移動(dòng)一個(gè)物體到特定位置，或者抓住它，根據攝像機知道它的數據真的特別有用。我們使用相同的方法來(lái)解決3D物體到3D物體的配準，方法重復：找到一個(gè)群；恢復轉換關(guān)系；對全部源實(shí)施轉換；然后對源于目標的相似度打分。最后我們輸出得分最好的轉換結果。更進(jìn)一步，如果最好的轉換關(guān)系得分較好，那么物體就在那兒（那兒就是估計出的位姿）；如果不好，他就不是（不在那兒）?！?/p>

源由多個(gè)基于某些幾何結構的標記組成，而是基于幾何結構的旋轉平移及縮放版的標記組成。我們想得到實(shí)際的旋轉，平移及縮放。通常該問(wèn)題涉及很多中的外點(diǎn)，因為我們不知道特征是否真的來(lái)自該物體。幾乎所有的標記都是點(diǎn)或者線(xiàn)段；對于，這些由物體的幾何模型決定，而對于，則來(lái)自邊緣點(diǎn)或者邊緣點(diǎn)的擬合線(xiàn)（我們能使用Chapter 10的這些機制獲得這些線(xiàn)）（釣寒江雪翻譯）。這個(gè)案例有兩個(gè)不同的特性。我們不能估計全部的轉換參數（通常也無(wú)關(guān)緊要），且它也很難得到令人滿(mǎn)意的源與目標的相似度評分?！?/p>

有很多方法可以估計轉換參數。細節依賴(lài)于我們是否標定攝像機，以及我們使用了何種攝像機模型。在最簡(jiǎn)單的案例中，我們使用了垂直的攝像機，標定基于未知的尺度，沿著(zhù)Ｚ軸俯視攝像機坐標系。我們無(wú)法估計3D目標的深度，因為改變深度不改變圖像。我們不能獨立于攝像機的縮放尺度判定物體的尺度，因為同時(shí)改變這兩個(gè)參數能得到相同的圖像。例如，我們放大物體一杯，同時(shí)縮小攝像機的像元，我們得到的圖像點(diǎn)具有相同的坐標值。因此，我們不能影響上述搜索過(guò)程背后的因果關(guān)系。例如，我們建立源與目標的正確的映射關(guān)系，然后，源標記將停止在靠近或者在目標標記的上方。這意味著(zhù)使用了上述RASANC風(fēng)格的方法。相似地，如果我們提供了準確的轉換參數（我們能設置攝像機縮放參數為1），我們就可以估計深度。

在單個(gè)垂直攝像機的案例中，基于未知縮放值得標定，三個(gè)映射點(diǎn)對已經(jīng)足夠估計旋轉量。兩個(gè)可觀(guān)測的平移及縮放（參考聯(lián)系，給出了另一個(gè)幀群組）。在大部分應用中，深度在物體間的變換相對于物體的深度要小的多。這意味著(zhù)，一個(gè)透視攝像機能夠能被弱透視變換近似模型來(lái)近似。這等同于單個(gè)垂直攝像機，標定到一個(gè)未知的尺度。如果攝像機的尺度已知，也就可以恢復出無(wú)圖的深度?！?/p>

Figure 13 一個(gè)平面物體被配準到圖像。左圖中，一個(gè)物體的圖像；中圖中，一個(gè)圖像中包含物體的兩個(gè)實(shí)例，及其他材料（聚類(lèi)中常見(jiàn)的例子）。特征點(diǎn)被檢測了，且兩個(gè)群組－在這個(gè)案例中，三點(diǎn)集－被搜索；每個(gè)映射給出了一個(gè)從模型到圖像的變換。滿(mǎn)意的映射對齊了很多模型邊緣點(diǎn)與圖像邊緣點(diǎn)，在左圖中，這是為什么這個(gè)方法有時(shí)候被稱(chēng)為“對齊”。這個(gè)圖像來(lái)自該主題的早期的論文，但是受到當時(shí)落后的再生技術(shù)的影響。這個(gè)圖像最早作為Figure 7發(fā)表在“Object recognition using　alignment,” D.P. Huttenlocher and S. Ullman, Proc. IEEE ICCV, 1986. c IEEE, 1986.

驗證: 比較轉換與玄然后的源圖與目標圖

實(shí)際應用中，用來(lái)搜索轉換關(guān)系的RANSAC-風(fēng)格的搜索算法主要的難點(diǎn)在于配準３Ｄ目標與一個(gè)圖像，一個(gè)好的評分方法比較難以得到（釣寒江雪翻譯）。計算評分函數的方法是直接的，如果我們啟用渲染，一個(gè)通用目的用于根據模型生成圖像的方法的描述，包含所有的從繪線(xiàn)到給圖像物理地精確地著(zhù)色工作。我們獲得估計得轉換模型，應用到模型，然后使用攝像機模型渲染轉換后的物體模型。我們實(shí)施渲染，并與圖像進(jìn)行比較。難點(diǎn)在于比較方式（這決定我們需要渲染什么）。

我們需要一個(gè)能夠說(shuō)明所有已知圖像跡象的評分函數。這要能包含難以確定確定型的標記（角點(diǎn)或者邊緣點(diǎn)），或者圖像紋理的跡象。如果我們知道所有的物體在其之下被觀(guān)測的光照條件。我們可能可以使用像素亮度（實(shí)際條件下，這幾乎行不通）。通常，關(guān)于光照我們所能知道全部就是亮度足夠時(shí)，我們能找到一些標記，這也是為什么我們有配準假設需要檢驗。這意味著(zhù)這些比較被要求在在光照變換條件下是魯棒的。顯然，實(shí)踐中，最重要的檢驗是渲染物體的輪廓，然后比較其邊緣點(diǎn)。

一個(gè)自然檢驗方法是根據攝像機模型疊加物體的輪廓邊緣到圖像，然后根據這些點(diǎn)與真實(shí)圖像邊緣點(diǎn)的比較對假設模型進(jìn)行評分，通常的評分是靠近的實(shí)際的邊緣點(diǎn)的預測的輪廓邊緣碎片的長(cháng)度。這在攝像機框架下是旋轉平移不變性的，這是個(gè)好事，但是隨縮放因子變化，但未必是壞事。通常允許圖像邊緣點(diǎn)知在他們方向與對應的模型邊緣方向相近時(shí)貢獻評價(jià)分值。這個(gè)原則是對邊緣點(diǎn)描述越詳細，人們更容易知道它是否來(lái)自該物體。

在線(xiàn)段中包含不可見(jiàn)的輪廓可不是個(gè)好主意，因此，渲染需要刪除隱藏的線(xiàn)。由于輪廓內邊緣在差的光照條件下可能對比度低，所以使用了輪廓。這意味著(zhù)輪廓的缺失表現的是光照的條件而非物體的存在性。

　
邊緣存在性檢驗可能很不可靠，甚至方向信息也不能真正解決該難題。當我們投影一個(gè)模型邊界到一個(gè)圖像時(shí)，輪廓附近的邊緣的缺失是一個(gè)模型不存在于此的可靠的信號。但是輪廓附近存在邊緣卻不是關(guān)于模型存在于此的可靠的信號（釣寒江雪翻譯）。例如，在紋理區域，有很多邊緣點(diǎn)組合在一起，這意味著(zhù)，多紋理區域中，每個(gè)模型的每個(gè)位姿都可能會(huì )得到高的檢驗評分值。注意即使評分考慮邊緣方向也無(wú)濟于事。

我們能夠調整邊緣檢測器來(lái)重度平滑紋理強度，以期紋理區域的消失。這是個(gè)危險的規避方法，因為這常常會(huì )影響對比度靈敏度，從而也會(huì )導致物體消失。然而，這個(gè)方法在可接受的程度下有效果，被廣泛地應用。

參考文獻：

COMPUTER VISIONA MODERN APPROACHsecond editionDavid A. Forsyth
University of Illinois at Urbana-ChampaignJean PonceEcole Normale Supérieure

與非網(wǎng)原創(chuàng )內容，謝絕轉載！