機器視覺(jué)的來(lái)源與發(fā)展

　　視覺(jué)是人類(lèi)強大的感知方式，它為人們提供了關(guān)于周?chē)h(huán)境的大量信息，使人們能有效地與周?chē)h(huán)境進(jìn)行交互。據統計，人類(lèi)從外界接收的各種信息中80％以上是通過(guò)視覺(jué)獲得的，人類(lèi)有50％的大腦皮層參與視覺(jué)功能運轉。

　　關(guān)于視覺(jué)有很多有趣的發(fā)現，比如螳螂蝦的眼睛能探測到偏振光。人眼以及普通相機只能感受到光的強度信息而不能探測到光的偏振信息。澳大利亞昆士蘭大學(xué)的研究人員發(fā)現，螳螂蝦的復眼（見(jiàn)圖1-2）能探測到偏振光。根據生物醫學(xué)及光學(xué)方面的理論知識，生物組織特性與偏振信息有關(guān)，所以螳螂蝦的眼睛是能夠“診斷”出生物組織的病變的。此外，蜻蜓等昆蟲(chóng)具有復眼結構（見(jiàn)圖1-3），蜘蛛有很多只眼睛，青蛙的眼睛只能看到動(dòng)態(tài)場(chǎng)景，狗對色彩信息的分辨能力極低。

圖1-2螳螂蝦的眼睛

圖1-3蜻蜓的眼睛

　　那么，介紹完生物的視覺(jué)功能之后，什么是機器視覺(jué)呢？

　　機器視覺(jué)是機器（通常指數字計算機）圖像進(jìn)行自動(dòng)處理并報告“圖像是什么”的過(guò)程，也就是說(shuō)它用于識別圖像中的內容，比如自動(dòng)目標識別。

　　機器視覺(jué)一般以計算機為中心，主要由視覺(jué)傳感器、高速圖像采集系統及專(zhuān)用圖像處理系統等模塊組成。

　　根據David A.Forsyth和Jean Ponce的定義，計算機視覺(jué)是借助于幾何、物理和學(xué)習理論來(lái)建立模型，從而使用統計方法來(lái)處理數據的工作。它是指在透徹理解相機性能與物理成像過(guò)程的基礎上，通過(guò)對每個(gè)像素值進(jìn)行簡(jiǎn)單的推理，將多幅圖像中可能得到的信息綜合成相互關(guān)聯(lián)的整體，確定像素之間的聯(lián)系以便將它們彼此分割開(kāi)，或推斷一些形狀信息，進(jìn)而使用幾何信息或概率統計計數來(lái)識別物體。

　　從系統的輸入輸出方式考慮，機器視覺(jué)系統的輸入是圖像或者圖像序列，輸出是一個(gè)描述。進(jìn)一步講，機器視覺(jué)由兩部分組成：特征度量與基于這些特征的模式識別。

　　機器視覺(jué)與圖像處理是有區別的。圖像處理的目的是使圖像經(jīng)過(guò)處理后變得更好，圖像處理系統的輸出仍然是一幅圖像，而機器視覺(jué)系統的輸出是與圖像內容有關(guān)的信息。圖像處理可分為低級圖像處理、中級圖像處理和高級圖像處理，處理內容包含圖像增強、圖像編碼、圖像壓縮、圖像復原與重構等。

　　01機器視覺(jué)的發(fā)展

　　圖1-4所示為20世紀70年代至今機器視覺(jué)發(fā)展過(guò)程中的部分主題，包括機器視覺(jué)發(fā)展初期（20世紀70年代）的數字圖像處理和積木世界，20世紀80年代的卡爾曼濾波、正則化，20世紀90年代的圖像分割、基于統計學(xué)的圖像處理以及21世紀計算攝像學(xué)與機器視覺(jué)中的深度學(xué)習等。

圖1-4機器視覺(jué)發(fā)展過(guò)程中的部分主題

　　1.20世紀70年代

　　機器視覺(jué)始于20世紀70年代早期，它被視為模擬人類(lèi)智能并賦予機器人智能行為的感知組成部分。當時(shí)，人工智能和機器人的一些早期研究者（如麻省理工大學(xué)、斯坦福大學(xué)、卡內基·梅隆大學(xué)的研究者）認為，在解決高層次推理和規劃等更困難問(wèn)題的過(guò)程中，解決“視覺(jué)輸入”問(wèn)題應該是一個(gè)簡(jiǎn)單的步驟。比如，1966年，麻省理工大學(xué)的Marvin Minsky讓他的本科生Gerald Jay Sussman在暑期將相機連接到計算機上，讓計算機來(lái)描述它所看到的東西?，F在，大家知道這些看似簡(jiǎn)單的問(wèn)題其實(shí)并不容易解決。

　　數字圖像處理出現在20世紀60年代。與已經(jīng)存在的數字圖像處理領(lǐng)域不同的是，機器視覺(jué)期望從圖像中恢復出實(shí)物的三維結構并以此得出完整的場(chǎng)景理解。場(chǎng)景理解的早期嘗試包括物體（即“積木世界”）的邊緣抽取及隨后的從二維線(xiàn)條的拓撲結構推斷其三維結構。當時(shí)有學(xué)者提出了一些線(xiàn)條標注算法，此外，邊緣檢測也是一個(gè)活躍的研究領(lǐng)域。

　　20世紀70年代，人們還對物體的三維建模進(jìn)行了研究。Barrow、Tenenbaum與Marr提出了一種理解亮度和陰影變化的方法，并通過(guò)表面朝向和陰影等恢復三維結構。那時(shí)也出現了一些更定量化的機器視覺(jué)方法，包括基于特征的立體視覺(jué)對應（stereo correspondence）算法和基于亮度的光流（optica lflow）算法，同時(shí)，關(guān)于恢復三維結構和相機運動(dòng)的研究工作也開(kāi)始出現。

　　另外，David Marr特別介紹了其關(guān)于（視覺(jué)）信息處理系統表達的三個(gè)層次：

　?。保┯嬎憷碚摚河嬎悖ㄈ蝿?wù)）的目的是什么？針對該問(wèn)題已知或可以施加的約束是什么？

　?。玻┍磉_和算法：輸入、輸出和中間信息是如何表達的？使用哪些算法來(lái)計算所期望的結果？

　?。常┯布?shí)現：表達和算法是如何映射到實(shí)際硬件即生物視覺(jué)系統或特殊的硅片上的？相反地，硬件的約束怎樣才能用于指導表達和算法的選擇？隨著(zhù)機器視覺(jué)對芯片計算能力需求的日益增長(cháng)，這個(gè)問(wèn)題再次變得相當重要。

　　2.20世紀80年代

　　20世紀80年代，圖像金字塔和尺度空間開(kāi)始廣泛用于由粗到精的對應點(diǎn)搜索在80年代后期，在一些應用中小波變換開(kāi)始取代圖像金字塔。

　　三維視覺(jué)重建中出現“由X到形狀”的方法，包括由陰影到形狀、由光度立體視覺(jué)到形狀、由紋理到形狀及由聚焦到形狀。這一時(shí)期，探尋更準確的邊緣和輪廓檢測方法是一個(gè)活躍的研究領(lǐng)域，其中包括動(dòng)態(tài)演化輪廓跟蹤器的引入例如Snake模型。立體視覺(jué)、光流、由X到形狀及邊緣檢測算法如果作為變分優(yōu)化問(wèn)題來(lái)處理，可以用相同的數學(xué)框架來(lái)統一來(lái)描述，而且可以使用正則化方法增加魯棒性。此外，卡爾曼濾波和三維距離數據世紀90年代（range data）處理仍然是這十年很活躍的研究領(lǐng)域。

　　3.20世紀90年代

　　20世紀90年代，視覺(jué)的發(fā)展情況如下：

　?。保╆P(guān)于在識別中使用投影不變量的研究呈現爆發(fā)式增長(cháng)，這種方法可有效用于從運動(dòng)到結構的問(wèn)題。最初很多研究是針對投影重建問(wèn)題的，它不需要相機標定的結果。與此同時(shí)，有人提出了用因子分解方法來(lái)高效地解決近似正交投影的問(wèn)題，后來(lái)這種方法擴展到了透視投影的情況。該領(lǐng)域開(kāi)始使用全局優(yōu)化方法，后來(lái)被認為與攝影測量學(xué)中常用的“光束平差法”相關(guān)。

　?。玻┏霈F了使用顏色和亮度的精細測量，并將其與精確的輻射傳輸和形成彩色圖像的物理模型相結合。這方面的工作始于20世紀80年代，構成了一個(gè)稱(chēng)作“基于物理的視覺(jué)（physics-based visio）”的子領(lǐng)域。

　?。常┕饬鞣椒ǖ玫搅瞬粩嗟母倪M(jìn)。

　?。矗┰诔砻芰Ⅲw視覺(jué)對應算法方面也取得了很多進(jìn)展。其中最大的突破可能就是使用“圖割（graph cut）”方法的全局優(yōu)化算法。

　?。担┛梢援a(chǎn)生完整三維表面的多視角立體視覺(jué)算法。

　?。叮└櫵惴ㄒ驳玫搅撕芏喔倪M(jìn)，包括使用“活動(dòng)輪廓”方法的輪廓跟蹤（例如蛇形、粒子濾波和水平集方法）和基于亮度的跟蹤。

　?。罚┙y計學(xué)習方法開(kāi)始流行起來(lái)，如應用于人臉識別的主成分分析。

　　3.21世紀

　　21世紀，計算機視覺(jué)與計算機圖形學(xué)之間的交叉越來(lái)越明顯，特別是在基于圖像的建模和繪制這個(gè)交叉領(lǐng)域。另外，計算攝像學(xué)發(fā)揮越來(lái)越重要的作用，包括光場(chǎng)獲取和繪制以及通過(guò)多曝光實(shí)現的高動(dòng)態(tài)范圍成像。目標識別中基于特征的方法（與學(xué)習方法相結合）日益凸顯，更高效的復雜全局優(yōu)化問(wèn)題求解算法也得到了發(fā)展。

　　最后一個(gè)趨勢是復雜的機器學(xué)習方法在計算機視覺(jué)中的應用，尤其是近幾年，基于深度學(xué)習的機器學(xué)習方法在圖像與視頻等方面中的關(guān)于目標檢測、跟蹤、理解等領(lǐng)域的應用。

　　02機器視覺(jué)與其他領(lǐng)域的關(guān)系

　　機器視覺(jué)屬于交叉學(xué)科，它與眾多領(lǐng)域都有關(guān)聯(lián)，尤其是機器視覺(jué)與計算機視覺(jué)之間的關(guān)系，有的學(xué)者認為二者一樣，有的則認為二者存在差別，圖1-5顯示了機器視覺(jué)與其他領(lǐng)域的關(guān)系圖，包括計算機視覺(jué)、圖像處理、人工智能、機器人控制、信號處理、成像等。人工智能、機器人控制等概念在相關(guān)學(xué)科中都有比較明確的定義。成像是表示或重構客觀(guān)物體形狀及相關(guān)信息的學(xué)科。

圖1-5機器視覺(jué)與其他領(lǐng)域關(guān)系

　　圖像處理主要是基于已有圖像生成一張新的圖像，可以通過(guò)噪聲抑制、去模糊、邊緣增強等處理來(lái)實(shí)現。模式識別的主要任務(wù)是對模式進(jìn)行分類(lèi)。機器視覺(jué)的核心問(wèn)題是從一張或多張圖像生成一個(gè)符號描述。計算機視覺(jué)與計算機圖形學(xué)是相互關(guān)聯(lián)而又互逆的過(guò)程。計算機圖形學(xué)的目的是真實(shí)或非真實(shí)地呈現一些場(chǎng)景，即通過(guò)虛擬建模等方式對得到的場(chǎng)景進(jìn)行處理，然后使用計算機進(jìn)行呈現；而計算機視覺(jué)是為了得到真實(shí)場(chǎng)景的信息通過(guò)采集圖像進(jìn)行處理。