圖像傳感器的發(fā)展可滿(mǎn)足新興的嵌入視覺(jué)需求

1.隨著(zhù)處理器、圖像傳感器、存儲器和其它半導體器件的性能提高、成本下降與功耗減小，開(kāi)發(fā)人員正針對各種系統形狀因數和價(jià)格點(diǎn)，評估為它們增加嵌入視覺(jué)功能的情況。

2.傳統基于圖像傳感器的設計可以支持很多嵌入視覺(jué)實(shí)現，但對于深度識別要求，通常需要一個(gè)3D圖像傳感器子系統。

3.深度映射的常見(jiàn)方法是立體傳感器陣列，它將兩個(gè)攝像頭“固定”起來(lái)；結構光法是將一個(gè)預設的光模式投射到屏幕做分析；而飛行時(shí)間法則是通過(guò)投射光經(jīng)過(guò)的時(shí)間(從源到物體，再返回傳感器)計算出距離。

看一下你正在做的設計，或者更省事一點(diǎn)，看一下你的周邊，你很可能會(huì )發(fā)現攝像機正在盯著(zhù)你，甚至不止一臺。圖像傳感器和它配套的圖像處理器正在各種電子產(chǎn)品中日益普及。

例如，現在幾乎不可能買(mǎi)到一款不帶攝像頭的筆記本電腦，而越來(lái)越多的一體機、專(zhuān)用計算機顯示器，甚至電視機中都包含了攝像頭。智能手機與平板電腦也更多地配上了圖像傳感器，通常前后都有，有時(shí)甚至采用“立體”配置以獲取三維圖像。甚至在便攜媒體播放器和汽車(chē)內也能看到攝像頭的存在。

豐富的應用

設計中增加攝像頭的基本理由一般是實(shí)現基本的圖像捕捉，尤其是靜像、錄像以及視頻會(huì )議。但由于已經(jīng)有很多圖像構建塊，軟件與系統開(kāi)發(fā)者也充分將它們用于更多新的用途，如根據內容識別含義，根據判讀的信息采取動(dòng)作。

例如在汽車(chē)應用中，先進(jìn)的分析系統并不是簡(jiǎn)單地將后視攝像頭捕捉的視頻送到LCD屏幕上，它還會(huì )警告駕駛員在車(chē)后探測到了某個(gè)物體，更先進(jìn)的系統甚至能緊急剎車(chē)以避免撞車(chē)的發(fā)生。

在汽車(chē)兩側和周?chē)芏辔恢眠€可以安裝更多的攝像頭，用以提醒駕駛者，先進(jìn)的實(shí)現還會(huì )采取措施，以避免無(wú)意的變道或與前方物體的碰撞。它們還可以解析出道路標志的含義，對駕駛者提出超速或可能發(fā)生碰撞的警告。攝像頭能夠實(shí)現對收音機和其它汽車(chē)子系統的手勢界面控制，從而減少駕駛者的分心，它們可以發(fā)現正在打盹、發(fā)短信或做著(zhù)其他分神的事的駕駛者，讓他們把全部注意力放回道路上。

智能手機、平板電腦、計算機和電視用前置攝像頭可完成不同功能。它們可以警告用戶(hù)距離顯示器過(guò)近或過(guò)遠，或姿勢不好。它們可以確保有人坐在顯示器前時(shí)，顯示屏背光一直亮著(zhù)，而當人走開(kāi)時(shí)，顯示屏背光自動(dòng)關(guān)閉。在這些例子和其它消費電子應用中，手勢界面扮演著(zhù)越來(lái)越重要的角色(如在游戲機中)，它為傳統的按鈕按鍵、觸摸板或鼠標的操作提供了一種補充(雖然不是替代)。

正面的攝像頭可以用于監控呼吸，它量度胸腔的起伏節奏，并且通過(guò)探測血流引起的面部顏色微小的周期性變化測出心律。它可以監控眼球的移動(dòng)，警告一個(gè)人喝酒過(guò)多了。它可以判斷出一個(gè)出現在系統前的人是授權用戶(hù)，自動(dòng)為其登錄，并裝入特定賬戶(hù)的程序與設置。而后置攝像頭則可以采用增強現實(shí)的手段，為某個(gè)物體或場(chǎng)景的普通視圖提供額外的信息。

這些是嵌入視覺(jué)的典型例子，這個(gè)發(fā)展迅速的應用類(lèi)型已擴展到專(zhuān)用功能設備，如監控系統和生產(chǎn)線(xiàn)檢查設備等。有些情況下，過(guò)去是由運行PC操作系統的計算機執行視覺(jué)分析工作，但這種方法成本高、笨重、功耗大，并且不可靠。在其它一些情況下，任一或所有這些因素都會(huì )導致不可能實(shí)現視覺(jué)功能。

現在，由于處理器、圖像傳感器、存儲器和其它半導體器件的性能提高、成本下降及功耗減小，開(kāi)發(fā)人員可以針對各種系統規模和價(jià)格點(diǎn)，評估嵌入視覺(jué)的能力，這也提升了對越來(lái)越強健的圖像子系統的需求。

距離還是分辨率

多年來(lái)， 消費數碼相機市場(chǎng)的動(dòng)力一直是“像素越多越好”的心態(tài)，由于這些圖像傳感器有大規模的批量，因而價(jià)格較低，所以也進(jìn)入了很多嵌入視覺(jué)系統。但近年來(lái)，這種過(guò)分簡(jiǎn)單化選擇策略的局限性已經(jīng)越來(lái)越明顯。

首先，消費者日益發(fā)現，除非他們要把照片放大打印到一整面墻那么大，或對源照片做嚴格的剪裁，否則根本不需要高分辨率的圖像，高分辨率照片要占用龐大的存儲空間。另外，現代相機拍出的高噪聲照片或經(jīng)人為修補的照片，揭示出了越來(lái)越高的分辨率的缺陷。

傳感器尺寸必須保持很小以維持性?xún)r(jià)比，這是消費電子系統的一個(gè)重要特性。當制造商硬性在傳感器中塞入更多像素時(shí)，可想而知，必須縮小單個(gè)像素的尺寸。在確定的時(shí)間量下，越小的像素獲得的光子數越少，因此降低了光敏感度。這樣不僅降低了相機的低光性能，同時(shí)也對系統動(dòng)態(tài)范圍產(chǎn)生了負面影響。后處理工作只能部分地補償這種損失，通常是只采用運動(dòng)修補和其它折中方法。

諷刺地是，嵌入視覺(jué)應用的需求傾向于采用較通用攝影更低的分辨率。例如，微軟公司Kinect中使用的紅外和可見(jiàn)光圖像傳感器都是VGA(640×480像素)分辨率的類(lèi)型，而視覺(jué)外設只將QVGA(320×240像素)的深度圖像傳送給連線(xiàn)的游戲機或PC。

鑒于現代傳感器中可用像素已經(jīng)過(guò)剩，有些供應商轉而采用非傳統Bayer RGB模式的濾波器陣列方案，將多余像素用于提高光靈敏度和彩色精度(圖1)。額外的(和改變的)濾波器顏色據說(shuō)能提高全譜段上的單像素插值結果，而單色(或無(wú)濾波器)像素可以進(jìn)入更多光線(xiàn)，付出的代價(jià)是沒(méi)有了彩色識別能力(參考文獻1)。

圖1，Bayer傳感器模式以一位柯達圖像科學(xué)家的名字命名，它保留了數字影像應用中的

濾波器陣列方法(a)。更多現代方案則以一種隨機方式增加了綠色光譜像素，以提高可見(jiàn)光頻譜中這一最重要部分的細節(b)，使用減色(代價(jià)是需要更多的后期處理)，以提高濾波器的光傳輸能力(c)，甚至為像素混合體增加無(wú)濾波器的單色像素(d)。

萊卡相機公司的最新數碼相機將濾波器的變通做到了極致，它用自己的無(wú)濾波器單色圖像傳感器，僅捕捉黑白圖像(圖2a)。但即使在高ISO設置下，其照片銳度也獲得了評論家們的支持。

圖2，Leica公司的M Monochrom要價(jià)8000美元，只能捕捉到黑白圖像，但評測者們都盛贊該相機的清晰度與低照度下的性能(a)。諾基亞808 PureView智能手機包含有一個(gè)超強的4100萬(wàn)像素圖像傳感器，用于實(shí)現數字變焦，以及集簇像素的光學(xué)收集能力(b)。索尼開(kāi)發(fā)的名為背照的傳感器設計技術(shù)，它將像素互連接線(xiàn)改到光電二極管背后，從而改善了每像素填充因素比(c)。

同時(shí)， 諾基亞公司的8 0 8PureView智能手機嵌入了一只4100萬(wàn)像素的圖像傳感器， 但缺省情況下只輸出800萬(wàn)像素或更低分辨率的圖像(圖2b和參考文獻2)。808PureView會(huì )根據數字變焦設置，將多個(gè)像素組合成為不同尺寸的簇，從而省掉了復雜、昂貴和笨重的光學(xué)變焦結構，并將實(shí)際的單像素光子收集能力提高了很多倍，改善了低光照下的性能。

索尼公司開(kāi)發(fā)了一種稱(chēng)為背照的傳感器設計技術(shù)(圖2c)。撇開(kāi)實(shí)現細節不談，該技術(shù)是將像素間的連線(xiàn)布放到像素光電二極管的后面，從而改善了傳感器單像素的填充因數(即感光面積占總面積的百分比)，因此也提高了低光照性能。

深度識別

基于傳統圖像傳感器的設計可以支持很多嵌入視覺(jué)實(shí)現。例如，它可以幫助解析基本手勢，以及處理基本的面部探測與識別工作，通常也適用于光學(xué)字符識別功能。但是，它可能無(wú)法明確地探測出復雜的手勢，如針對攝像頭的進(jìn)退運動(dòng)(3D)，因為手勢被嚴格限制在垂直和水平面上(2D)。更常見(jiàn)的是，它不能完全分辨一個(gè)物體的整體，即深度；例如，它無(wú)法輕松區分出是真臉還是該人的照片。對于這類(lèi)深度識別的需求，通常需要有一個(gè)3D圖像傳感器子系統(參考文獻3)。

無(wú)論哪種3D傳感器實(shí)現，常見(jiàn)的輸出就是深度圖，這是一個(gè)圖像陣列，其中每個(gè)像素數據項(有時(shí)為了人類(lèi)判讀目的而要做附加的彩色編碼)都代表著(zhù)傳感器與傳感器前方某點(diǎn)之間的距離(圖3)。每個(gè)深度圖幀通常都配合一個(gè)由普通2D圖像傳感器捕捉的相應幀，兩個(gè)幀要相互做視差校正，因為兩臺攝像頭所處位置不同。

圖3，無(wú)論采用哪種3D攝像頭技術(shù)， 都能給出一個(gè)物體的深度圖(a)。像HTC EVO 3-D智能手機這樣的設備也可以用于3D嵌入視覺(jué)用途，該手機的立體傳感器陣列主要用于捕捉3D靜像和頻圖像(b)。微軟的Kinect(c)采用的是結構光方法，測深的方法是在投影儀的前方投射一個(gè)知的紅外光模式，然后分析它所看到橢圓的形狀與方向(d)。

有一種常用的判斷深度方法是使用一個(gè)立體傳感器陣列，它是按照類(lèi)似一對人眼的結構，布放兩個(gè)圖像傳感器。圖像SoC像人類(lèi)的大腦和眼睛一樣，處理傳感器從不同視點(diǎn)對一個(gè)物體的視圖，從而評判出物體與傳感器陣列之間的距離。在多視圖幾何應用中，可以將雙傳感器擴展至多傳感器。雙傳感器方案通常有最低的成本、最小的功耗、最小的外形，如果設計中已經(jīng)有多個(gè)傳感器用于3D靜像攝像和視頻捕捉，則這種方案更有吸引力。

有一種立體影像實(shí)現是分立的“雙眼”方案，實(shí)現方法是將兩個(gè)攝像頭“拴”在一起。雖然從硬件角度看，這是最直接的概念，但所需要的軟件支持則比較復雜。打個(gè)比方，把兩輛摩托車(chē)用一個(gè)公共軸連接起來(lái)，也成不了一輛汽車(chē)。攝像頭需要做校正才能得到可靠的圖像配準，經(jīng)常有這種情況，攝像機陣列或物體在運動(dòng)，此時(shí)必須做幀的同步。

還有一種方法，可以將兩只圖像傳感器裝在單只SoC或多片芯封裝內，通過(guò)一個(gè)總線(xiàn)輸出聯(lián)合數據流。這種完全集成化方案的優(yōu)點(diǎn)是便于控制和幀同步。更緊密的集成改善了校正工作，從而獲得更好的立體影像結果，即增強的深度感知能力和更快的圖像處理速度。

投影方案

結構光(Structured light)是第二種常見(jiàn)3D傳感器方法，也是微軟Kinect中使用的技術(shù)，它是將預設的光模式投射在一個(gè)屏幕上，以供分析之用。結構光方法的3D傳感器方案采用一個(gè)投影儀來(lái)建立光模式，并有一個(gè)攝像頭用于探測結果。

Kinect的投影儀是采用的紅外光，使用的是x和y方向上不同焦距的散射鏡。鏡片后的一個(gè)紅外激光器將一個(gè)包含大量點(diǎn)的圖像投射出去，圖像變換成橢圓，其特定的形狀與方向取決于每種情況下物體離鏡片的距離。

結構光的優(yōu)點(diǎn)在于，它有精密的細節分辨率和高精度，尤其是在暗光環(huán)境下，此時(shí)主要針對可見(jiàn)光譜的傳感器就很難捕捉到恰當的圖像。與立體傳感器方案相比較，結構光的軟件算法也更簡(jiǎn)單，雖然光點(diǎn)云的處理可能會(huì )有接近于立體視覺(jué)的大計算量。

不過(guò)，結構光技術(shù)依賴(lài)于紅外光，至少Kinect證明了這點(diǎn)，這意味著(zhù)該技術(shù)在室外工作會(huì )有問(wèn)題，室外環(huán)境下，太陽(yáng)光中的紅外輻射將破壞性地干擾投影儀的光線(xiàn)。另外，投影儀既昂貴又笨重，消耗功率可觀(guān)， 并大量發(fā)熱； 事實(shí)上，Kinect專(zhuān)門(mén)為此而做了一個(gè)風(fēng)扇(參考文獻4)。必要的定制投影鏡片又增加了總的物料成本。

飛行時(shí)間(Time of flight)是第三種常見(jiàn)的3D傳感器實(shí)現方法。與結構光一樣，飛行時(shí)間攝像頭包括一個(gè)圖像傳感器、一只鏡片和一個(gè)有源發(fā)光源。但采用飛行時(shí)間方法時(shí)，攝像頭會(huì )根據投射光從光源到投影儀，再回到圖像傳感器的時(shí)間，得出范圍或距離(參考文獻5)。發(fā)光源一般可以是一只脈沖激光器或調制光束，具體取決于設計采用的圖像傳感器類(lèi)型。

集成了數字時(shí)間計數器的圖像傳感器通常帶有脈沖激光束，正如包括快門(mén)的距離選通傳感器。對于后者，快門(mén)以投影儀投射脈沖光束的速度開(kāi)閉。因此，每個(gè)圖像傳感器像素所“看到”的光通量就與脈沖傳輸的距離有關(guān)，這就是從傳感器到物體的距離。帶相位探測器圖像傳感器的飛行時(shí)間設計則采用了調制波束源。波束的強度隨時(shí)間而改變，因此測量進(jìn)入光的相位，就間接地得到了“飛行時(shí)間”的距離。

飛行時(shí)間攝像頭在汽車(chē)應用中很常見(jiàn)，例如行人探測和駕駛員輔助，并且在機器人產(chǎn)品中也很普遍。它們還在軍事、國防與航空領(lǐng)域有較豐富的應用史。所需要的圖像處理軟件比較簡(jiǎn)單，因此要比立體攝像頭結構的必備軟件更有實(shí)時(shí)能力，雖然飛行時(shí)間技術(shù)對環(huán)境照射干擾和多次反射的敏感性多少會(huì )使算法復雜化。

飛行時(shí)間方案的幀速率可以非常高，達到每秒60幀，用立體影像設置難以達到這個(gè)速度，但其分辨率通常相對較低。并且與結構光技術(shù)相比，需要的時(shí)間飛行光投影儀帶來(lái)了成本、功耗(及散熱)、尺寸以及重量上的缺陷。

聯(lián)盟促進(jìn)設計成功

嵌入視覺(jué)技術(shù)能夠讓電子產(chǎn)品更加智能且有響應能力，因此對用戶(hù)比以往更有價(jià)值。該技術(shù)能為現有產(chǎn)品增加有助益的特性，為硬件、軟件、半導體和系統制造商提供了嶄新的市場(chǎng)。

嵌入視覺(jué)聯(lián)盟(The EmbeddedVision Alliance)是去年夏天組成的一個(gè)全球技術(shù)開(kāi)發(fā)人員與供應商的組織，它為工程師提供各種必要的工具，以加快這種潛能向實(shí)際的轉化。該聯(lián)盟的使命是提供實(shí)用教育、信息及洞見(jiàn)，幫助工程師們將嵌入視覺(jué)功能加到產(chǎn)品中。