便攜式設計中圖像采集與處理的挑戰與解決方案

這個(gè)共分四部分的系列文章深入研究了在手機和其他手持設備平臺上的圖像采集與處理的趨勢以及設計上的挑戰。本部分主要討論的是使用軟件增強光學(xué)性能。

晶圓規模的制造技術(shù)的發(fā)明使得以非常低廉的成本生產(chǎn)及其緊湊的相機模塊成為可能。處于物理上的原因，很小的相機模塊其性能要劣于大一些的相機模塊，但小相機模塊產(chǎn)生的缺陷可以通過(guò)新式的采用晶圓規模制造的鏡頭結構來(lái)糾正。然而，這只能用來(lái)保持現狀，無(wú)法提升圖像質(zhì)量也無(wú)法增強用戶(hù)的體驗。

當前，高分辨率拍照手機的設計師們已經(jīng)可以?xún)H突出像素數量來(lái)向消費者推銷(xiāo)其產(chǎn)品。隨著(zhù)拍照手機的廣泛應用(已經(jīng)超過(guò)80%的手機安置了至少一個(gè)攝像頭)，消費者們已經(jīng)意識到圖像的質(zhì)量和其像素數不存在必然的聯(lián)系。事實(shí)上，從火星車(chē)上傳回的令人驚嘆的圖片是通過(guò)僅為1M像素的相機拍攝的。同樣，專(zhuān)業(yè)級相機的設計師們已經(jīng)很早就知道，為了獲取一個(gè)更高質(zhì)量的數碼圖片，就需要光學(xué)和軟件的密切配合。

如在本文的第一部分討論的那樣，客戶(hù)的需求提高了新式拍照手機的圖像質(zhì)量以及一系列嵌入式功能。其中最讓人期待的是光學(xué)變焦、調焦以及低光學(xué)靈敏度，例如沒(méi)有閃光的拍照。所有這些功能都是實(shí)現起來(lái)相對簡(jiǎn)單的，前提是允許增加高度和成本，尤其是變焦的范圍。傳統的變焦需要兩個(gè)鏡頭來(lái)在相機內的光軸上做相對運動(dòng)。這可以通過(guò)微型驅動(dòng)器來(lái)完成，但最終的產(chǎn)品會(huì )體積大、功耗大、反應速度慢，并且不符合便攜式電子設備的惡劣環(huán)境下的完整無(wú)損，尤其是“跌落試驗”。因此，相機模型的設計師們如何能提供所有的消費者所需的功能，提高圖片質(zhì)量，同時(shí)不影響產(chǎn)品的外觀(guān)、可靠性以及最重要的成本?答案就是軟件增強光學(xué)。

軟件增強光學(xué)

軟件增強光學(xué)，或稱(chēng)之為“智能光學(xué)”，是一種對已知光學(xué)效應進(jìn)行圖像處理的糾正技術(shù)。光學(xué)效應可以是必須予以糾正的內在缺陷，或有意引入一種能提供某功能或特定效果的人為修正。如果目標僅僅是提高圖像的質(zhì)量，那么可以不用投資購買(mǎi)高質(zhì)量、高精度的光學(xué)設備，可以通過(guò)軟件就可以糾正由低廉光學(xué)鏡頭倉引來(lái)的已知畸變。例如，如果尺寸以及成本受限，就意味著(zhù)圖片的角落總是存在相同程度的模糊不清，軟件增強光學(xué)可以應用邊緣銳化算法來(lái)修正這些角落區域。然后，用戶(hù)就會(huì )對這樣的圖片感到滿(mǎn)意，因為這些相機模塊內部固有的缺陷可以修正或被掩蓋，而呈現出的圖片在所有部門(mén)都很好。為了進(jìn)一步高效，這種修正可以完全做到對用戶(hù)透明，即無(wú)需用戶(hù)干涉。

有了這種軟件增強光學(xué)的概念，新的機會(huì )處處逢生。這些基本的方法是使用專(zhuān)業(yè)鏡頭，在光線(xiàn)進(jìn)入相機時(shí)對這些光線(xiàn)進(jìn)行操作，按照所需的功能來(lái)將這些光線(xiàn)在分布在成像器上。受操作的圖片沒(méi)有直接使用，它需要軟件進(jìn)一步修正。然而，因為圖像按照已知的方式被操作，在數字上是可以被恢復的，從而高質(zhì)量的輸出被提出出來(lái)。通過(guò)這種辦法便可實(shí)現很多功能，包括無(wú)運動(dòng)部件的全光學(xué)變焦、延長(cháng)景深以及低能見(jiàn)度環(huán)境下的小F值光學(xué)性能。

用于光學(xué)變焦的軟件增強光學(xué)解決方案利用了這種現象，即在常規光學(xué)鏡頭倉中，信息的密度在視野范圍內是不一致的。中心區域包含了更多的數據，而邊緣相反。然而一個(gè)圖像傳感器有一個(gè)規則的、二維的像素陣列。這意味著(zhù)取景時(shí)，成像器的中心是正常采樣，而邊緣是過(guò)采樣。軟件增強光學(xué)解決方案利用了特定設計的像素鏡頭，從而提供了視野內非均勻分布的光學(xué)感應性能，從而與固態(tài)成像器的量化格式相吻合。在效果上，這與自然界所采取的傳統方法相反。很多帶有單孔徑眼睛的動(dòng)物，尤其是鳥(niǎo)類(lèi)，有一個(gè)標準的“鏡頭”，但在視網(wǎng)膜上的導管和圓錐細胞是非均勻分布的。在這兩種情況中，都會(huì )導致圖像失真，但都可以得到糾正，因為鏡頭的設計以及成像器(或者視網(wǎng)膜)的像素分布都是已知的。

為了能以一樣的放大倍數查看，算法必須壓縮視野中央區域的細節，因為在這個(gè)區域中專(zhuān)業(yè)鏡頭增加了放大倍數和分辨率。因此，壓縮不會(huì )降低圖像的質(zhì)量，而實(shí)際上，軟件增強鏡頭解決方案在這樣的設計中，可以使得圖像質(zhì)量與傳統的相機產(chǎn)生的一樣。當圖像進(jìn)行縮放時(shí)，圖像的邊框會(huì )出現，而已經(jīng)放大的中央區域會(huì )被保留。隨后，圖像會(huì )被糾正失真。這是與數字變焦最大的不同，因為變焦是鏡頭運動(dòng)的結果，并在圖像采集時(shí)已經(jīng)固定下來(lái)，因此變焦后的圖像保留了其原始的較高的分辨率。軟件增強光學(xué)可以實(shí)現3倍的變焦。

圖是一個(gè)使用軟件增強光學(xué)來(lái)提供變焦功能的例子。在這個(gè)方案中，沒(méi)有可運動(dòng)的部件，即是物理上的緊湊型、堅固耐用、瞬間可視、耗電量很小的、進(jìn)而成本很低。這明顯好于數字變焦。數字變焦涉及到了圖像的修剪和擴展來(lái)填補視野，這自然會(huì )降低分辨率，因為可用的信息將分散在更大的區域上。在一個(gè)3倍的數字變焦中，幾乎90%的質(zhì)量信息會(huì )在圖像采集時(shí)丟失，這也是為什么數字變焦只提供了很小倍數的放大功能。用于變焦的圖像增強解決方案可以通過(guò)固定鏡頭和一個(gè)簡(jiǎn)單的算法來(lái)實(shí)現。這使得這種方案對所有成像器技術(shù)以及所有分辨率(從QCIF到>10M像素)都適應，所以預計將在短期內廣泛應用于拍照手機中。

圖. 使用OptiMLTM變焦軟件增強光學(xué)解決方案實(shí)現的光學(xué)變焦(僅顯示視野的中央區域)(左圖)進(jìn)行失真糾正前的圖像(中圖)經(jīng)過(guò)1倍光學(xué)變焦放大的失真糾正后的圖像(右圖)經(jīng)過(guò)2倍光學(xué)變焦放大的失真糾正后的圖像。來(lái)源：Tessera公司

通過(guò)拍照手機得到的圖片往往是出于“一時(shí)興起”的事情。消費者不希望場(chǎng)景是安排好的，并且將沒(méi)有時(shí)間或感到麻煩來(lái)將相機和他們本人置于距目標最合適的地方。借助于這些小型光學(xué)器件，一個(gè)傳統的相機模塊只需在一定的距離內聚焦目標，典型的是60厘米到數十米。由于未能了解和遵守這個(gè)限制，消費者往往對他們自己成像后的圖片無(wú)法感到滿(mǎn)意。針對這個(gè)問(wèn)題的圖像增強解決方案是“擴展景深”。這導致了場(chǎng)景的所有細節將會(huì )被定焦，只要這些細節在距相機模塊10厘米到無(wú)窮遠的范圍內。類(lèi)似于軟件增強鏡頭變焦方案，這可以通過(guò)專(zhuān)業(yè)鏡頭提供的光學(xué)放大和一個(gè)簡(jiǎn)單算法的合并得到。它不涉及任何運動(dòng)部件，因此是堅固的、可靠的、瞬時(shí)的并低功耗的。