數碼相機的圖像處理通道

現在的數碼機都是采用CCD(電荷耦合元件)或CMOS感光器件—這些感光器件都是將光信號轉化為電信號，但兩者的轉換方式不一樣。

圖1 CCD的結構

在CCD器件中—有幾百萬(wàn)的感光像素(Pixel)組成的陣列覆蓋在傳感器的表面。曝光后，整個(gè)CCD像素陣列上累積的電荷通過(guò)一定的時(shí)序，列隊從CCD傳感器的一個(gè)端口讀出，并通過(guò)一個(gè)專(zhuān)用模數轉換芯片進(jìn)行A/D轉換。CMOS則直接對每個(gè)像素的曝光量進(jìn)行A/D轉換。然而，CMOS的缺點(diǎn)就是感光度比CCD低，容易出現雜訊，這主要是因為CMOS的每一像素的結構要比CCD復雜，CMOS的感光開(kāi)口不及CCD大_并且CMOS每個(gè)像素旁都搭配一個(gè)ADC放大器，(每個(gè)放大器都是有輕微的差異)，對比單一放大器的CCD，CMOS計算出來(lái)的噪聲要比較多。但CMOS相對于CCD的優(yōu)勢在于成本低，耗電少，電路較簡(jiǎn)單?；谏鲜龅膬?yōu)缺點(diǎn)，CMOS應用在數碼相機的低端產(chǎn)品， CCD用在數碼相機的中高檔產(chǎn)品。

CMOS傳感器通常以RGB或YcbCr格式輸出像素單元的并行數據，伴隨水平和垂直同步以及一個(gè)像素時(shí)鐘，有時(shí)也可以使用外部時(shí)鐘和同步信號來(lái)控制CMOS傳感器圖像幀的輸出。

圖2 CCD像素的排列

CCD傳感器則不同，輸出為模擬信號，需要一個(gè)專(zhuān)用芯片(含A/D轉換器，時(shí)序發(fā)生器，垂直發(fā)生器)，例如LR38667, AD9943,它可處理模擬信號，將其A/D轉換和產(chǎn)生CCD陣列所需的適當時(shí)序。A/D轉換器輸出為每個(gè)像素的10位或12位并行數據，也伴隨水平和垂直同步以及像素時(shí)鐘。

當然，圖像的捕獲過(guò)程不會(huì )在傳感器結束，相反，這一過(guò)程才剛剛開(kāi)始。讓我們看一下原始圖像(RAW data)在變成顯示器或其他輸出設備的精美圖像之前要經(jīng)過(guò)那些環(huán)節。在數碼相機中，這些處理環(huán)節被成為“圖像處理通道”。圖中給出了一個(gè)可能的流程。這些算法通常由專(zhuān)用的DSP來(lái)處理。例如ATMEL 公司的AT76C113，此DSP含自動(dòng)測光，自動(dòng)對焦，自動(dòng)白平衡。

對焦和測光系統
在你按相機的按制時(shí)，相機進(jìn)行自動(dòng)測光和自動(dòng)對焦，自動(dòng)對焦，DSP根據事先預設的區域，控制鏡頭作動(dòng)，不斷運算，得出鏡頭的最清晰點(diǎn)，從而控制鏡頭到清晰點(diǎn)位置。自動(dòng)_光，測量預先設定區域的亮度，通過(guò)調節快門(mén)速度或光圈大小來(lái)對曝光過(guò)度或曝光不足區域進(jìn)行補償，其主要目標是維持圖像中不同區域之間的相對對比度，并達到要求的平均亮度。

圖像壞點(diǎn)補點(diǎn)(圖像預處理)
傳感器是高度精密的元器件，由于制造工藝等因素的影響，通常含有一些
缺陷像素，所以，一般的圖像補點(diǎn)處理技術(shù)通過(guò)中值濾波來(lái)消除。這種技術(shù)依賴(lài)于這樣的事實(shí)，即像素間的急劇變化是不正常，因為光學(xué)過(guò)程只能稍微使圖像變得不清楚。下圖為補償缺陷像素的方法。

白平衡(圖像預處理)
當我們看到一幅場(chǎng)景時(shí)，無(wú)論光線(xiàn)條件如何，我們的眼睛都能將場(chǎng)景內的所有事物都轉換成同樣的一套自然色彩。但圖像傳感器對顏色的“感知”很大程度上取決于光線(xiàn)條件，因此它需要映射其獲得的圖像，使最終輸出看起來(lái)不受光線(xiàn)的影響。這種圖像映射可通過(guò)手動(dòng)或自動(dòng)完成。如圖左為傳感器出來(lái)的原始圖片，通過(guò)對傳感器輸出的紅，綠，藍的像素數據乘以不同的倍數進(jìn)行校正，使出_的_色同人眼感覺(jué)一致。

預處理還有一個(gè)鏡頭校正(陰影或畸變)，這套算法解決了輸出圖像和與用戶(hù)看到實(shí)際場(chǎng)景之間偏差的鏡頭的物理屬性問(wèn)題。不同的鏡頭會(huì )產(chǎn)生不同的畸變。例如：鏡頭的陰影畸變減低了鏡頭周?chē)鷧^域的亮度，色差失常會(huì )使圖像周?chē)霈F色彩版紋，因此DSP要對圖像進(jìn)行數學(xué)變換，以校正畸變。

去馬賽克，像素內插，降噪以及邊緣銳化成
去馬賽克可能是圖像處理管道中最重要且運算量最大的操作。通常各個(gè)廠(chǎng)商都有自己的方法。但一般來(lái)說(shuō)可歸納為幾類(lèi)主要的算法。

雙線(xiàn)性插值或雙三插值等非自適應算法屬于最簡(jiǎn)單易行的方法，非常適合圖像的平滑區域。但用這些算法處理邊緣或紋理豐富的區域會(huì )出現問(wèn)題，那些可根據局部圖像特點(diǎn)進(jìn)行調整的自適應算法可以提供更好的處理紋理。

自適應算法的一個(gè)例子是基于邊緣導向的重構，這種算法分析像素的區域并確定在那個(gè)方向內插。如果它在像素周?chē)浇业竭吘?，則順著(zhù)邊緣進(jìn)行插值，而不是橫過(guò)邊緣。另一種自適應算法是假設整個(gè)對象有一個(gè)恒定色掉，這就可以防止在個(gè)別對象中出現的顏色梯隊的突變。還有許多的去馬賽克方法，包括頻域分析，神經(jīng)元等。

每像素(Pixel)對應的一個(gè)顏色(R或B，或G)轉換為每像素(Pixel)對應3個(gè)顏色R，G，B

顏色轉換
在這一階段，內插后的RGB圖像轉換到目標輸出空間，為了壓縮或在LCD，TV顯示圖像，通常要進(jìn)行RGB到Yuv(YcbCr)的矩陣轉換，這往往還包括另外的伽碼校正以適應目標顯示。在這一階段可能還要按照標準4_2_2格式對Yuv(YcbCr)輸出進(jìn)行顏色濃度二次采樣，以減少顏色帶寬，從而不會(huì )影響視覺(jué)效果。

后處理
在這一階段，圖像在送到顯示器或存儲媒介之前通過(guò)各種濾波操作得到完善。例如：邊緣增強，降低噪聲以及人工顏色的消除都在此一階段完成。

顯示壓縮和存儲
一旦圖像準備好用于顯示，圖像管道就會(huì )向兩個(gè)不同的分叉，在第一個(gè)分叉，處理好的圖像輸出到目標顯示器，通常是LCD或TV。在第二個(gè)分叉圖像被送到DSP的壓縮算法，在這里先用工業(yè)標準的壓縮技術(shù)(如JPEG)進(jìn)行壓縮，然后再將圖像送到本地的一些存儲器介質(zhì)(通常是一個(gè)非易失的閃存卡，如SD卡CF卡)。