精美影像背后的技術(shù)玄機

影像是如何生成的？

在使用普通的傳統相機時(shí)，光學(xué)系統把捕捉到的光打在膠卷上，隨后人們就可以通過(guò)一個(gè)化學(xué)過(guò)程對其進(jìn)行曝光和沖洗。而在使用數碼相機或攝影手機時(shí)，光仍然要通過(guò)由多個(gè)單元鏡頭和一個(gè)鏡桶組成的光學(xué)系統，不同的是，現在光是打在由行和列組成的數字傳感器陣列上，這一陣列由幾百萬(wàn)個(gè)微小像素組成。例如，1280 1024像素的傳感器為1.3 mp（百萬(wàn)像素） 傳感器。圖1為帶有三個(gè)單元鏡頭的定焦攝像手機示例。

當光打在像素陣列上之前，它要通過(guò)彩色濾光片，確保只有紅、綠或藍色光到達每個(gè)像素上。光打在每個(gè)像素上，首先生成一個(gè)模擬信號，該模擬信號再通過(guò)模數轉換器（adc）轉變?yōu)閿底中盘?。這一數字信號然后被發(fā)送到稱(chēng)之為成像管道（image pipe 或i-pipe）的地方。成像管道由一系列過(guò)濾處理器組成，經(jīng)過(guò)過(guò)濾處理器處理后會(huì )使影像信號看起來(lái)更加逼真。

成像管道可調節白平衡和顏色，并用“捕獲方式”改變圖片所帶的某些異常情況，例如：鏡頭陰影、影像幾何變形、偏離鏡頭中心時(shí)圖片清晰度下降以及數字傳感器噪聲。處理器或成像管道也可以壓縮影像，使用jpeg格式生成可以快速寫(xiě)入存儲介質(zhì)的影像，這一壓縮影像文件較小，但很精確。臨時(shí)存儲區也稱(chēng)為緩沖區，圖片在被壓縮以實(shí)現最終存儲之前保存在緩沖區里。攝像手機中使用的基本功能模塊有鏡頭、圖像傳感器、post processing、存儲器等。

光線(xiàn)預處理

紅外線(xiàn)濾鏡的作用是擋住超過(guò)780nm的紅外線(xiàn)并使光譜的可見(jiàn)光部分通過(guò)，從而確保傳感器僅聚焦于肉眼所看到的事物，并優(yōu)化色彩整合。這就好像在音響設備中，對大于22 khz的聲音不做處理一樣，因為人們根本聽(tīng)不到這些聲音，所以音響組件根本不需要對這些會(huì )降低效率或使可聽(tīng)到的聲音失真的超量信息進(jìn)行處理。如果不以這種方式將紅外線(xiàn)擋住，這些紅外線(xiàn)會(huì )使影像變得模糊不清，并會(huì )降低鏡頭所形成影像的清晰度。紅外濾鏡分為吸收型和反射型兩種。

在這個(gè)過(guò)程中，還使用了顯微透鏡對昏暗的光線(xiàn)進(jìn)行預處理，使光線(xiàn)以盡可能垂直的方向準確折射成像。顯微透鏡可以增強像素的光學(xué)靈敏度，通常位于色彩濾鏡陣列（cfa）之上。

色彩濾鏡陣列——bayer濾鏡

光電二極管只能感應光線(xiàn)亮度，不能感應色彩信息。因此，必須使用某種機制以人工的方式增強它對不同色彩的靈敏度，從而向人眼呈現不同的顏色。色彩濾鏡陣列的作用是確保每個(gè)傳感器像素只會(huì )收到一種顏色的光：通常是紅、綠、藍三種顏色。色彩濾鏡陣列可以使用不同的模式。由于人眼感應色彩的方式和人眼對綠色的靈敏度是其對紅色和藍色靈敏度的兩倍這一事實(shí)，要模仿人眼的感應方式，相機需要使用更多的綠色像素來(lái)表現會(huì )被人們認為是正確顏色的影像。

bayer 模式交替使用一組紅色和綠色濾鏡以及一組綠色和藍色濾鏡，其中綠色像素的總數為紅色和藍色像素之和。用bayer濾鏡制作的原始輸出是紅、藍、綠三種顏色像素的相互鑲嵌，但各種顏色像素的強度不同，這主要取決于光線(xiàn)照在某一特定像素上的角度。圖2所示為數碼相機中顯微透鏡和濾鏡結構與傳感器陣列結合使用的方式。

demosaicing算法

在用色彩濾鏡陣列生成影像時(shí)，有四種不同的像素決定著(zhù)每個(gè)像素的顏色。這就形成了一個(gè)不同色彩的組合，但看起來(lái)還不像一個(gè)真正的影像。為此，使用了一種算法。這種算法使用距離目標像素最近的像素的平均色彩值來(lái)盡可能完美地模擬目標像素的真正顏色。這種插入缺失值的方法稱(chēng)為demosaicing。有多種demosaicing算法，例如雙線(xiàn)性?xún)炔宸?。圖3所示為使用bayer色彩濾鏡陣列模式對影像進(jìn)行馬賽克化的方式。圖4所示為通過(guò)demosaicing算法將同一個(gè)影像表現為真正影像的方式。

白平衡

在用膠卷攝影時(shí)，可根據拍攝光線(xiàn)的類(lèi)型調整白平衡設置，例如：室內日光燈、鈉燈、鹵鎢燈、室外晴天和室外陰天。如果不進(jìn)行校正的話(huà)，例如，在日光燈下拍攝的圖片會(huì )偏綠，而在室外晴天的情況下拍攝的圖片可能又有點(diǎn)偏黃。自動(dòng)白平衡校正可以確保影像中的白色與觀(guān)察者看到的真正的白色一樣。圖5中左側的影像是在2856k鹵鎢燈照明的條件下拍攝的，但是對它進(jìn)行了標準的自動(dòng)白平衡處理。一個(gè)高級的自動(dòng)白平衡（awb）系統，可根據影像拍攝的照明條件，使影像幾乎呈現為真正的白色。圖5中右側的影像為經(jīng)過(guò)改進(jìn)的自動(dòng)白平衡處理后的影像。

影像還原：消除不必要的人為因素

在膠卷世界中，可以與噪聲劃等號的是膠卷的顆粒度。因此，asa400膠卷要比asa 100膠卷的顆粒大。在cmos或ccd傳感器中，有好幾種不符合要求的噪聲源。必須消除這些噪聲源或減輕它們的影響。

（1）固定模式噪聲（fpn）：這種噪聲會(huì )在每張拍攝的照片中產(chǎn)生同樣的噪聲模式。減輕這種噪聲的具體方法為：在“黑暗”中讀取照片（在無(wú)光的情況下曝光），然后用標準讀數（正常曝光的情況下）減去這個(gè)結果。黑暗級的輸出電流是指在沒(méi)有照明的條件下所產(chǎn)生的平均輸出級別。因此，它包含光電二極管的泄漏電流。人們常常用視覺(jué)黑像素作為參考像素，來(lái)查找黑暗電流并對它進(jìn)行相應的校正。視覺(jué)黑像素是指不參與感光的像素。 （2）隨機噪聲。隨機噪聲是指周?chē)h(huán)境產(chǎn)生的噪聲。溫度越高，離開(kāi)軌道的電子就越多，同時(shí)還會(huì )在傳感器中產(chǎn)生隨機噪聲信號。傳感器電路散熱或者環(huán)境溫度升高都會(huì )加劇這種噪聲。在夏季，用放在車(chē)內的攝像手機所拍攝的照片比將它放在涼爽的大樓中拍攝的照片要差很多。
在某些用于天文觀(guān)測的復雜數碼slr和相機中，為了將熱噪聲降低到最小程度，甚至會(huì )將傳感器封裝在迷你冰箱中。一些高端天文照相機使用液氮來(lái)降低傳感器的溫度。在開(kāi)氏零度或攝氏 273度，從理論上講，電子中不存在動(dòng)能，因此，也就沒(méi)有噪聲。在光線(xiàn)較弱的情況下，信噪比較低，影像中的噪聲較多。 （3）像素干擾（pixel cross talk）。像素干擾是指通過(guò)一個(gè)像素的光線(xiàn)交叉進(jìn)入鄰近的像素所產(chǎn)生的一種混亂狀態(tài)。例如，一個(gè)紅色的像素讓“紅色的”光進(jìn)入鄰近的藍色像素，引起藍色像素中信號增加而紅色信息中影像信息丟失。

在比較高端的傳感器中，可通過(guò)使用另外一個(gè)顯微透鏡通過(guò)再次曲光來(lái)進(jìn)一步降低像素，這樣就可以將光線(xiàn)交叉進(jìn)入鄰近像素引起像素交叉干擾的機會(huì )降到最小的程度，見(jiàn)圖6。

有時(shí)，用分辨率較高的傳感器拍出的影像比用較低分辨率的傳感器拍出的影像的質(zhì)量還要差。這是因為像素數量只是進(jìn)行信息采集的一個(gè)方式。像素大小還決定著(zhù)信噪比的大小?？偟膩?lái)說(shuō)，較大的像素尺寸要比較小的好，這是因為像素尺寸較大，收集光線(xiàn)的面積較大，因此，可以捕獲更多光子，與存在的所有噪聲相比，這會(huì )產(chǎn)生較大信號。這也就是有些5 mp 數碼相機所生成的圖片不如3mp相機質(zhì)量好的原因。

相對于一個(gè)特定的半導體生產(chǎn)工藝而言，不論像素有多大，所產(chǎn)生的噪聲幾乎是相同的，而且信號隨著(zhù)像素尺寸的增大而增強，所以，對一個(gè)類(lèi)似的過(guò)程來(lái)說(shuō)，像素越大，影像越好、越清晰。

實(shí)時(shí)缺陷校正

在傳感器上總是有一些不盡人意的有缺陷的像素和區域。在生產(chǎn)過(guò)程中，傳感器中可能會(huì )帶入了一些光學(xué)污點(diǎn)或電路故障。這可能會(huì )產(chǎn)生非常不理想的視覺(jué)效果，導致與入射光不一致或非線(xiàn)性反應的產(chǎn)生。有時(shí)，像素還可能出現一些電子異常，如某些像素輸出較高，而其他像素則輸出較低，從而產(chǎn)生比可以接收的平均水平要低的輸出。

i-pipe可以通過(guò)測量像素的輸出并將其與鄰近像素的平均值進(jìn)行對比來(lái)確定是否某個(gè)像素存在缺陷。如果該像素輸出與鄰近像素輸出的平均值之差大于某個(gè)容許極限值，該像素將被標記為壞像素，它的輸出不再有效?？梢杂脙炔钪捣ㄌ鎿Q那個(gè)目標像素所在位置的輸出值，具體方法如下：獲得鄰近像素的輸出值，并求出它們的平均值，這樣就可以得出壞像素的“模擬”輸出。這種缺陷校正存在的問(wèn)題是：有時(shí)它會(huì )降低整行的線(xiàn)分辨率，除非以保守的方式使用。此外，還可以使用其他專(zhuān)用方法和算法來(lái)減輕這種缺陷。

增強降質(zhì)影像的分辨率或清晰度

現在，我們已經(jīng)了解了光線(xiàn)通過(guò)光學(xué)鏡頭、bayer矩陣以及一個(gè)或多個(gè)顯微透鏡的方式以及如何使用demosaicing、插值（interpolation）、消除黑角、缺陷校正等方法重現影像。進(jìn)行這么多人為的電子處理會(huì )使最后的影像比它原本的顏色要暗。這就要求使用另一種過(guò)濾處理器，比較有代表性的是一種可以恢復影像表面清晰度的平滑影像邊緣技術(shù)。通過(guò)向經(jīng)過(guò)校正的影像添加部分高通（high-pass）信號（僅是高頻信號）就可以獲得所需的清晰度。噪音銳化的程度取決于所添加高通信號的多少。

消除黑角

黑角是指由于鏡頭和鏡桶的原因在圖片邊緣生成的陰影或黑影。消除黑角技術(shù)可以校正這種異常，通過(guò)將黑角的照明比校正為影像中心的照明比，影像看起來(lái)就好像沒(méi)有不正常的陰影了。

后期處理增強效果

圖7所示為改進(jìn)的demosaicing技術(shù)如何提高影像質(zhì)量的方式。左側的影像使用了典型demosaicing算法進(jìn)行了處理。在這張影像中有一種稱(chēng)為圣誕樹(shù)燈光效果（christmas tree lights effect）的影像缺陷，帶有彩光。改進(jìn)的demosaicing算法可以大大降低甚至消除這種效果，如右圖所示。

圖8所示為通過(guò)增強明暗區域對比來(lái)增強影像效果的示例，通過(guò)提高明暗對比度，可以提高影像的豐滿(mǎn)度和色彩質(zhì)量。在cmos影像傳感器內使用自適應色調調整（adaptive tone mapping）技術(shù)，通過(guò)擴展動(dòng)態(tài)范圍來(lái)產(chǎn)生更真實(shí)、更豐富的色彩。圖8中下面的影像使用了自適應色調調整技術(shù)，并通過(guò)自動(dòng)調節色調分布圖提高了影像的亮度和對比度。這樣就提高了明暗區域的對比度，改變了曝光不足或曝光過(guò)強的影像，并且，產(chǎn)生了更明亮、更生動(dòng)的色彩再現效果。

圖9為安捷倫公司提供的整個(gè)成像系統結構圖。從這張圖可以看出，i-pipe影像處理階段是在將信號凈化、銳化并增強后，但還沒(méi)有輸出為顯示或存儲在內存中之前進(jìn)行的。

總結

現在，我們已經(jīng)了解了光線(xiàn)通過(guò)光學(xué)鏡頭、bayer矩陣以及一個(gè)或多個(gè)顯微透鏡的方式以及如何通過(guò)定型以及調整重現精美影像的過(guò)程。隨著(zhù)攝像手機從低端產(chǎn)品發(fā)展為帶有較好分辨率和影像質(zhì)量的中端數碼相機，不但需要極好的影像后期處理技術(shù)，而且還需要今天數碼相機中已經(jīng)采用的基本功能。

光學(xué)變焦、自動(dòng)對焦和photo strength 閃光等功能需要進(jìn)行內部影像處理以及i-pipe早期階段不需要的支持功能。i-pipe的神奇之處在于可支持類(lèi)似于數碼相機的功能，但是這又帶來(lái)了另一層復雜性。它面臨著(zhù)雙重挑戰，一方面要確保自己強大的功能，另一方面是以如今價(jià)格高度敏感的攝像手機市場(chǎng)中令人心動(dòng)的價(jià)格始終如一地提供一流的影像質(zhì)量。