三維重建技術(shù)概述

三維重建技術(shù)通過(guò)深度數據獲取、預處理、點(diǎn)云配準與融合、生成表面等過(guò)程，把真實(shí)場(chǎng)景刻畫(huà)成符合計算機邏輯表達的數學(xué)模型。這種模型可以對如文物保護、游戲開(kāi)發(fā)、建筑設計、臨床醫學(xué)等研究起到輔助的作用。

一、研究背景及意義人類(lèi)通過(guò)雙眼來(lái)探索與發(fā)現世界。人類(lèi)接收外部信息的方式中，有不到三成來(lái)自于聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等感受器官，而超過(guò)七成、最豐富、最復雜的信息則通過(guò)視覺(jué)[1]進(jìn)行感知的。計算機視覺(jué)便是一種探索給計算機裝備眼睛（攝像頭）與大腦（算法）的技術(shù)，以使計算機能夠自主獨立的控制行為、解決問(wèn)題，同時(shí)感知、理解、分析外部環(huán)境。

20世紀60年代，計算機視覺(jué)得到了最初的發(fā)展。該階段的研究重心主要體現在如何從二維圖像中恢復出如立方體、圓柱體等立體化的三維形狀，解釋各個(gè)物體的空間位置關(guān)系。

1982年，David Marr[2]從信息處理的角度對數學(xué)、神經(jīng)生理學(xué)、計算機圖形學(xué)等學(xué)科的研究成果進(jìn)行了歸納總結，并在此基礎上提出了一系列計算機視覺(jué)理論。得益于這個(gè)完整明確的理論體系，計算機視覺(jué)得到了蓬勃的發(fā)展。它的核心思想是從二維圖像恢復三維結構。圖1-1展示的是經(jīng)典Marr視覺(jué)信息處理過(guò)程。

圖1-1 Marr視覺(jué)信息處理過(guò)程

隨著(zhù)科學(xué)技術(shù)的日新月異，計算機視覺(jué)的應用日益受到各行業(yè)的關(guān)注和重視，如設備檢測與監視、醫學(xué)圖像處理、文物保護[3]、機器人視覺(jué)、自動(dòng)導航、工業(yè)產(chǎn)品外觀(guān)設計與生產(chǎn)等領(lǐng)域。計算機視覺(jué)技術(shù)為人們帶來(lái)了機遇，也帶來(lái)了挑戰。

三維重建作為計算機視覺(jué)技術(shù)中最為最為熱門(mén)的研究方向之一，涉及到包括圖像處理、立體視覺(jué)、模式識別等多個(gè)學(xué)科體系。利用計算機建立表達現實(shí)客觀(guān)景物的三維模型，并以此來(lái)滿(mǎn)足生產(chǎn)和生活的需要。隨著(zhù)工業(yè)化進(jìn)程的不斷發(fā)展，多種技術(shù)的實(shí)現均有賴(lài)于目標物體三維信息的獲取。三維重建現已被廣泛的應用于生活和科研工作中，特別是在醫學(xué)治療、文物保護、游戲開(kāi)發(fā)、工業(yè)設計、航天航海等方面，展現出了極強的生命力和影響力。

二、 三維重建技術(shù)簡(jiǎn)介

三維重建技術(shù)的重點(diǎn)在于如何獲取目標場(chǎng)景或物體的深度信息。在景物深度信息已知的條件下，只需要經(jīng)過(guò)點(diǎn)云數據[4]的配準及融合，即可實(shí)現景物的三維重建?；谌S重建模型的深層次應用研究也可以隨即展開(kāi)。人們按照被動(dòng)式測量與主動(dòng)式測量[5]對目標物體深度信息的獲取方法進(jìn)行了分類(lèi)，下面對這兩種方式進(jìn)行相應的介紹。

1、被動(dòng)式三維重建技術(shù)

被動(dòng)式一般利用周?chē)h(huán)境如自然光的反射，使用相機獲取圖像，然后通過(guò)特定算法計算得到物體的立體空間信息。主要有以下三種方法：

1.1 紋理恢復形狀法

各種物體表面具有不同的紋理信息，這種信息由紋理元組成，根據紋理元可以確定表面方向，從而恢復出相應的三維表面。這種方法稱(chēng)為紋理恢復形狀法[6] (Shape From Texture，SFT)。

紋理法的基本理論為：作為圖像視野中不斷重復的視覺(jué)基元，紋理元覆蓋在各個(gè)位置和方向上。當某個(gè)布滿(mǎn)紋理元的物體被投射在平面上時(shí)，其相應的紋理元也會(huì )發(fā)生彎折與變化。例如****收縮變形使與圖像平面夾角越小的紋理元越長(cháng)，投影變形會(huì )使離圖像平面越近的紋理元越大。通過(guò)對圖像的測量來(lái)獲取變形，進(jìn)而根據變形后的紋理元，逆向計算出深度數據。SFT對物體表面紋理信息的要求嚴苛，需要了解成像投影中紋理元的畸變信息，應用范圍較窄，只適合紋理特性確定等某些特殊情形。所有在實(shí)際使用中較為少見(jiàn)。

1.2 陰影恢復形狀法

SFS[7] (Shape From Shading，從陰影恢復形狀)法也是一種較為常用的方法?？紤]到圖像的陰影邊界包含了圖像的輪廓特征信息，因此能夠利用不同光照條件下的圖像的明暗程度與陰影來(lái)計算物體表面的深度信息，并以反射光照模型進(jìn)行三維重建。需要注意的是，像素點(diǎn)的亮度受到包括光源指標、攝像機參數、目標表面材質(zhì)等的制約。

陰影恢復形狀法的應用范圍比較廣泛，可以恢復除鏡面外的各種物體的三維模型。缺點(diǎn)體現在過(guò)程多為數學(xué)計算、重建結果不夠精細，另外不能忽視的是，SFS法需要準確的光源參數，包括位置與方向信息。這就導致其無(wú)法應用于諸如露天場(chǎng)景等具有復雜光線(xiàn)的情形中。

1.3 立體視覺(jué)法

立體視覺(jué)法[8]（Multi-View Stereo，MVS)是另外一種常用的三維重建方法。主要包括直接利用測距器獲取程距信息、通過(guò)一幅圖像推測三維信息和利用不同視點(diǎn)上的兩幅或多幅圖像恢復三維信息等三種方式。通過(guò)模擬人類(lèi)視覺(jué)系統，基于視差原理獲取圖像對應點(diǎn)之間的位置偏差，恢復出三維信息。S.T.Barnard[9]等人對20世紀70年代到80年代之間出現的三維重建的算法和評價(jià)體系做了概述。

到了80年代中后期，出現了更多、更深層次的視覺(jué)原理，包括立體測量方法和深度傳感器等，極大的促進(jìn)了相關(guān)學(xué)科的發(fā)展。新興方法可以直接獲取景物的三維信息，極大的節省了物力與人力成本。U.R.Dhond[10]等人提出了基于層次處理的三目立體約束方法。二十世紀90年代末，涌現出諸如圖像匹配的前沿算法、遮擋處理算法等。M.Z.Brown[11]等人總結了2000年到2010年間的三維視覺(jué)發(fā)展的總體概況，包括遮擋、配準和效率等的相關(guān)分析。

雙目立體視覺(jué)重建，在實(shí)際應用情況優(yōu)于其他基于視覺(jué)的三維重建方法，也逐漸出現在一部分商業(yè)化產(chǎn)品上; 不足的是運算量仍然偏大，而且在基線(xiàn)距離較大的情況下重建效果明顯降低 。

代表文章：AKIMOIO T Automatic creation of 3D facial models 1993

CHEN C L Visual binocular vison systems to solid model reconstruction2007

作為計算機視覺(jué)的關(guān)鍵技術(shù)之一，立體視覺(jué)法也其弊端。例如，立體視覺(jué)需要假設空間的平面是正平面，而實(shí)際情況卻與此相差甚遠。除此之外，匹配還存在歧義性：對于一幅圖像上的某些特征點(diǎn)，另外的圖像可能存在若干個(gè)與之相似的特征點(diǎn)。那么如何選取最適配的匹配點(diǎn)，顯得較為棘手。如圖1-2所示，展示了Middlebury[16]數據集中Teddy和Cones場(chǎng)景的基準彩色圖像、標準視差以及通過(guò)Graph Cuts[17]算法獲取的立體匹配視差估計結果。雖然視差結果體現出了景物的三維位置關(guān)系，但是某些像素點(diǎn)的視差與標準值仍有細微的差距。除此之外，對于如相機運動(dòng)參數的確定、大型場(chǎng)景重建需要獲取多幀圖像等問(wèn)題，也極大的影響了立體視覺(jué)的深層次應用。

圖1-2(a) 基準彩色圖像

圖1-2(b) 標準視差

參考：立體匹配導論

2、主動(dòng)式三維重建技術(shù)

主動(dòng)式是指利用如激光、聲波、電磁波等光源或能量源****至目標物體，通過(guò)接收返回的光波來(lái)獲取物體的深度信息。主動(dòng)測距有莫爾條紋法、飛行時(shí)間法、結構光法和三角測距法等四種方法。

1.莫爾條紋法

莫爾條紋在生活中比較常見(jiàn)，如兩層薄薄的絲綢重疊在一起，即可以看到不規則的莫爾(Morie)條紋；微風(fēng)的吹動(dòng)窗紗時(shí)，條紋亦隨之運動(dòng)。莫爾條紋法[18]起源于18世紀的法國，是一項古老又現代的測量方法?；驹硎菍蓧K等間隔排列的直線(xiàn)簇或曲線(xiàn)簇圖案重疊起來(lái)，以非常小的角度進(jìn)行相對運動(dòng)來(lái)形成莫爾條紋。如圖1-3所示，在主光柵與指示光柵的交叉重合處，因光線(xiàn)的透射與遮擋而產(chǎn)生不同的明暗帶，即莫爾條紋。莫爾條紋隨著(zhù)光柵的左右平移而發(fā)生垂直位移，此時(shí)產(chǎn)生的條紋相位信息體現了待測物體表面的深度信息，再通過(guò)逆向的解調函數，實(shí)現深度信息的恢復。這種方法具有精度高、實(shí)時(shí)性強的優(yōu)點(diǎn)，但是其對光照較為敏感，抗干擾能力弱。

圖1-3 雙光柵莫爾條紋法

提出：WIKTIN recovering surface shape and orientation from texture (1987)（被引用454 次）。

發(fā)展：Warren 2010 對 wiktin 方法進(jìn)行改進(jìn)使用了****投影；

Liboy 2006 給出了在紋理單元結構發(fā)生改變的情況下的重建方法。

優(yōu)點(diǎn)：精度高，對光照和噪聲不敏感。

缺點(diǎn)：只應用于具有規則紋理的物體。

2.飛行時(shí)間法

飛行時(shí)間法[19] (Time of Flight，ToF)指的是在光速及聲速一定的前提下，通過(guò)測量****信號與接收信號的飛行時(shí)間間隔來(lái)獲得距離的方法。這種信號可以是超聲波，也可以是紅外線(xiàn)等。飛行時(shí)間法相較于立體視覺(jué)法而言，具有不受基線(xiàn)長(cháng)度限制、與紋理無(wú)關(guān)、成像速度快等特點(diǎn)。但是其也有一定的缺點(diǎn)。首先，ToF相機的分辨率非常低。例如圖1-4所示，當今分辨率最高的PMD Camcube 2.0 相機，也僅為204×204像素；其次，ToF相機容易受到環(huán)境因素的影響，如混合像素、外界光源等，導致景物深度不準確；最后，系統誤差與隨機誤差對測量結果的影響很大，需要進(jìn)行后期數據處理，主要體現在場(chǎng)景像素點(diǎn)的位置重合上。值得注意的是，ToF相機的售價(jià)達到了數萬(wàn)美元，受眾較窄。

圖1-4 SR4000 ToF相機

3.結構光法

結構光法[20](Structured Light)通過(guò)向表面光滑無(wú)特征的物體****具有特征點(diǎn)的光線(xiàn)，依據光源中的立體信息輔助提取物體的深度信息。具體的過(guò)程包括兩個(gè)步驟，首先利用激光投影儀向目標物體投射可編碼的光束，生成特征點(diǎn)；然后根據投射模式與投射光的幾何圖案，通過(guò)三角測量原理計算攝像機光心與特征點(diǎn)之間的距離，由此便可獲取生成特征點(diǎn)的深度信息，實(shí)現模型重建。這種可編碼的光束就是結構光，包括各種特定樣式的點(diǎn)、線(xiàn)、面等圖案。結構光法解決了物體表面平坦、紋理單一、灰度變化緩慢等問(wèn)題。因為實(shí)現簡(jiǎn)單且精度較高，所以結構光法的應用非常廣泛，目前已有多家公司生產(chǎn)了以結構光技術(shù)為基礎的硬件設備，如PrimeSense公司的Prime Sensor、微軟公司的Kinect和華碩公司的Xtion PRO LIVE等產(chǎn)品[21]。圖1-5展示了利用結構光技術(shù)采集文物三維信息的場(chǎng)景。

提出：Woodham 對 SFS 進(jìn)行改進(jìn)（1980 年）：photometric method for determining surface orientation from multiple images (該文章被引用了 891 次)

發(fā)展：Noakes ：非線(xiàn)性與噪聲減除 2003 年；

Horocitz ：梯度場(chǎng)合控制點(diǎn) 2004 年；

Tang ：可信度傳遞與馬爾科夫隨機場(chǎng) 2005 年；

Basri ：光源條件未知情況下的三維重建 2007 年；

Sun ：非朗伯特 2007 年；

Hernandez ：彩色光線(xiàn)進(jìn)行重建方法 2007 年；

Shi ：自標定的光度立體視覺(jué)法 2010 年。

圖1-5 結構光法原理圖

4.三角測距法

三角測距法[22]是一種非接觸式的測距方法，以三角測量原理為基礎。紅外設備以一定的角度向物體投射紅外線(xiàn)，光遇到物體后發(fā)生反射并被CCD（Charge-coupled Device，電荷耦合元件）圖像傳感器所檢測。隨著(zhù)目標物體的移動(dòng)，此時(shí)獲取的反射光線(xiàn)也會(huì )產(chǎn)生相應的偏移值。根據****角度、偏移距離、中心矩值和位置關(guān)系，便能計算出****到物體之間的距離。三角測距法在軍工測量、地形勘探等領(lǐng)域中應用廣泛。

參考文獻

[1] Szeliski R. Computer vision: algorithms and applications[M]. Berlin: Springer, 2010.

[2] D. Marr, et al. A Computational Theory of Human Stereo Vision. Proc.R.Soc.Lond. 1979, B.204:301-328.

[3] Levoy, M. Pulli, et al. The Digital Michelangelo Project:3D Scanning of Large Statues. Proc.SIGGRAPH,2000.

[4] Anand A, Koppula H S, Joachims T, et al. Contextually guided semantic labeling and search for three-dimensional point clouds[J]. The International Journal of Robotics Research, 2013, 32(1):19-34.

[5] Mada S K, Smith M L, Smith L N, et al. Overview of passive and active vision techniques for hand-held 3D data acquisition [C]//Opto Ireland. International Society for Optics and Photonics, 2003: 16-27.

[6] D. A. Forsyth, J. Ponce, Computer Vision: A Modern Approach. Prentice Hall 2001

[7] Horn B. K. P. Shape from shading: a method for obtaining the shape of a smooth opaque object from one view. PhD thesis, Department of Electrical Engineering, MIT, Cambridge. 1970.

[8] Ikeuchi K. Determining surface orientations of specular surfaces by using the photometric stereo method [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions, 1981, (6): 661-669.

[9] S. T. Barnard, M. A. Fisehler. Computational Stereo[J].ACM Computing Surveys. 1982, Vol.14:553-572.

[10] U. R. Dhond, J. K. Aggarval. Struct from Stereo—A Review [J]. IEEE Trans. Systems, Man, and Cybemeties.1989, Vol.19: 1489-1510.

來(lái)源：http://blog.csdn.net/wangyaninglm/article/details/51558310

作者：shiter@CSDN

編輯：3D視覺(jué)開(kāi)發(fā)者社區