新一代圖片處理技術(shù)讓富士X-Trans傳感器如虎添翼

X-Trans 相機與市場(chǎng)上的其他相機有何不同，機器學(xué)習又是如何顛覆 raw 文件的處理方式的？ DxO首席科學(xué)家 Wolf Hauser 探討了 X-Trans 的優(yōu)缺點(diǎn)，以及 DxO 用于顯著(zhù)提高圖像質(zhì)量的處理方法。

***

富士公司向來(lái)不憚?dòng)诹肀傩聫?，他們?2012 年推出了 X-Trans 傳感器。 鑒于整個(gè)相機行業(yè)幾乎都在使用拜耳傳感器，這可謂一個(gè)大膽的舉措。在過(guò)去的十年里，關(guān)于 X-Trans 的激烈討論不絕于耳，它能否為攝影師帶來(lái)切實(shí)的好處，或者僅僅是一個(gè)精心設計的營(yíng)銷(xiāo)技巧？ 正如接下來(lái)將探討的，X-Trans 兼有優(yōu)缺點(diǎn)，而用于解讀該傳感器 raw 數據的算法對于獲取理想結果至關(guān)重要。 富士相機的粉絲長(cháng)期以來(lái)一直在尋找一款最優(yōu)秀的軟件來(lái)處理他們的圖像，DxO PhotoLab 5 和 DxO PureRAW 2 現支持對 X-Trans raw 文件的處理，讓富士相機拍攝的清晰圖像呈現出色的細節。

拜耳還是X-Trans，百事可樂(lè )還是可口可樂(lè )？

您可能已經(jīng)注意到，討論相機技術(shù)的微小細節會(huì )一石激起千層浪，自 X-Trans 推出以來(lái)，留言板和社交媒體上關(guān)于 X-Trans 優(yōu)缺點(diǎn)的辯論便如火如荼。 然而，濾色器陣列只是用于定義相機的眾多功能中的一個(gè)，鮮有客戶(hù)在購買(mǎi)相機時(shí)將其放在首位。 使用富士相機的攝影師喜愛(ài)其相機的獨特外觀(guān)和質(zhì)感，享受其人體工學(xué)設計和易用性，更不用說(shuō)相機直出的驚艷效果。 富士的工程師是色彩方面的專(zhuān)家，擁有 70 多年的彩色攝影經(jīng)驗，品牌愛(ài)好者深?lèi)?ài)富士依托公司悠久的膠片生產(chǎn)歷史打造出的膠片模擬效果。

Astia 和 Velvia 等名稱(chēng)也為他們的相機賦予一種逼真感。

拜耳與 X-Trans 的爭論與 ARM 處理器與英特爾設計的處理器之間上演的對決十分相似。 蘋(píng)果的營(yíng)銷(xiāo)部門(mén)聲稱(chēng)他們的 iPad 更好，因為其配備了他們的全新 ARM 芯片，而微軟則勸說(shuō)大眾 Surface 更好，因為它使用了最新的英特爾芯片。 兩家品牌的愛(ài)好者們會(huì )花無(wú)數個(gè)夜晚在論壇上激烈爭辯，討論 ARM 與英特爾、RISC 與 CISC 孰優(yōu)孰劣——但實(shí)際上 99% 的用戶(hù)對此并不關(guān)心。 他們選擇平板電腦的標準，是更喜歡其中某一款的外觀(guān)和質(zhì)感、用戶(hù)體驗以及對品牌的認可。

除了系統內部的一些技術(shù)差異之外，對于大多數用戶(hù)來(lái)說(shuō)，選擇富士還是佳能、尼康、索尼等可能與選擇百事可樂(lè )還是可口可樂(lè )那樣沒(méi)有太大區別。

復雜性的后果

無(wú)論選擇相機的標準是什么，盡可能發(fā)揮其傳感器的最佳性能仍然很重要。此外，還有必要看看將圖像放大到 100% 或更大時(shí)會(huì )發(fā)生什么。

我們需要牢記，最終呈現的圖像不單是傳感器本身作用的結果。無(wú)論是在相機內還是通過(guò)軟件，都會(huì )歷經(jīng)各種各樣的流程，尤其是去馬賽克，即填補紅色、綠色和藍色通道之間空白的算法。 這些算法與濾色器陣列相結合，才決定了最終的結果。

拜耳濾色器一直占據一席之地的原因之一，便是工程師已習慣于處理它的數據。 研究人員耗費四年時(shí)間，才找到為拜耳傳感器去馬賽克的最佳方案，多年來(lái)開(kāi)發(fā)的那些高度復雜的算法為他們放寬了許多設計方面的基本限制。 即使是相當簡(jiǎn)單的算法，例如嵌入在第一代數碼相機中的算法，也能產(chǎn)生不錯的效果。

另一方面，X-Trans 模式增加的復雜性也相應帶來(lái)了復雜得多的去馬賽克流程。 據說(shuō)富士的工程師花了五年時(shí)間才使得其相機處理能力迎頭趕上其他競品，得以于 2012 年在 X-Pro1 中引入 X-Trans。 與此同時(shí)，與拜耳相比，研究界發(fā)表的關(guān)于 X-Trans 去馬賽克的論文要少得多。它不僅是一個(gè)更復雜的問(wèn)題，而且用于解決這個(gè)問(wèn)題的研究數量也更少。 平心而論，當前的 X-Trans 去馬賽克算法距離實(shí)現理論上的最佳解決方案還有一段距離。 這也是富士的粉絲經(jīng)常徘徊在不同的軟件包之間尋找解決方案、以獲得最佳結果的原因之一。

通過(guò)機器學(xué)習克服復雜性

今天，機器學(xué)習——特別是一項被稱(chēng)為卷積神經(jīng)網(wǎng)絡(luò )的技術(shù)——正在徹底改變圖像處理。 這類(lèi)新算法在短短幾年之內便讓數十年的研究工作相形見(jiàn)絀，它不再由研究人員和工程師手工計算得出，而是由計算機從數百萬(wàn)個(gè)訓練示例中由經(jīng)驗式學(xué)習得出。 例如，在拜耳的去馬賽克技術(shù)中，神經(jīng)網(wǎng)絡(luò )現在可以輕松擊敗人類(lèi)設計出的最佳算法。

這種變革對于畢生致力于去馬賽克算法的研究人員來(lái)說(shuō)，固然令人沮喪，但它實(shí)際上是一個(gè)巨大的機會(huì )。 由此不僅可以獲取更佳的結果，而且還提高了生產(chǎn)力：計算機可以在幾天或幾周內找到最先進(jìn)的去馬賽克算法，而不是幾年或幾十年。 當有確切的輸入和預期的輸出，但兩者之間的映射過(guò)于復雜、無(wú)法以經(jīng)典算法表達時(shí)，機器學(xué)習的優(yōu)勢便格外突顯。 圖像和語(yǔ)音識別便是最早的范例。機器學(xué)習確實(shí)是一種非常強大的工具，在經(jīng)典算法行之有效的領(lǐng)域（如去馬賽克），它依然被證實(shí)有用。

X-Trans 的去馬賽克是機器學(xué)習的絕佳對象。 由于比拜耳的去馬賽克流程更為復雜，其機器學(xué)習相較于傳統工程的優(yōu)勢，理應比在拜耳去馬賽克上顯現的優(yōu)勢更大。 我們在 Adobe 的同行在 2020 年初推出由機器學(xué)習驅動(dòng)的“增強細節”功能時(shí)，便清晰地證明了這一點(diǎn)。 測評人士得出結論是，拜耳的圖像上只展現出微妙的差異，但 X-Trans 的圖像獲得了顯著(zhù)改善。

在 DxO，我們使用 DxO PhotoLab 中的機器學(xué)習解決了另一項高度復雜的任務(wù)：我們的 RAW 轉換技術(shù)——DxO DeepPRIME。它使用單個(gè)巨大的卷積神經(jīng)網(wǎng)絡(luò )同時(shí)應用去馬賽克和降噪。 經(jīng)過(guò) 10 天的密集工作，我們的計算機開(kāi)發(fā)出了一種高度復雜的算法，其表現優(yōu)于我們在低 ISO 條件下的傳統去馬賽克技術(shù)，以及我們在高 ISO 條件下的傳統去馬賽克和降噪技術(shù)。

DxO PhotoLab5和DxO PureRAW2為X-Trans提供DxO DeepPRIME

拜耳傳感器圖像的工作完成后，做出更改以適應 X-Trans 的 raw 文件便不再是一項艱巨的任務(wù)，因為只需進(jìn)行少量修改就可重復使用生成訓練數據的過(guò)程。 當中依然有許多困難需要克服，因為我們必須從根本上改變網(wǎng)絡(luò )形狀以適應復雜的 X-Trans 模式，但它是可行的，并且具有光明的前景， 最終的結果也令人振奮。 我們來(lái)看一個(gè)例子。

這張低光室內動(dòng)態(tài)照片是使用富士 X-T3 在 ISO 6400 下拍攝的。 原始照片曝光不足，因此我們在后期處理過(guò)程中將其推高了兩檔 — 相當于 ISO 25600（上圖）。 JPEG 圖像上無(wú)法進(jìn)行如此大幅度的曝光調整，因此這里不是與相機進(jìn)行比較，而是與一款著(zhù)名的 raw 轉換器——具有“增強細節”功能的 Adobe Lightroom（左下角）進(jìn)行比較。 當我們放大人臉觀(guān)察時(shí)，可以看到 DxO DeepPRIME（右下，使用 DxO PhotoLab）的圖像明顯更為清晰。 因為 DeepPRIME 使用神經(jīng)網(wǎng)絡(luò )同時(shí)運行去馬賽克和降噪，在降噪方面表現更佳，同時(shí)在亮度和顏色方面保留了更多細節。

不僅僅是機器學(xué)習

顯然，要在像 DxO PhotoLab 和 DxO PureRAW 2 這樣復雜的軟件中完全支持 X-Trans，需要的不僅僅是 DxO DeepPRIME。 我們實(shí)驗室用于校準每個(gè)相機機身的顏色和噪點(diǎn)模型的許多內部工具也必須進(jìn)行調整。 其他幾個(gè)處理塊也必須從頭開(kāi)始設計，例如用戶(hù)在進(jìn)行調整時(shí)用于顯示預覽的去馬賽克算法。

讓您的照片也受益于技術(shù)的進(jìn)步

經(jīng)過(guò)一段時(shí)間的緊張研發(fā)，DxO PhotoLab 5 和 DxO PureRAW 2 現已準備就緒，可為您的 RAW 文件帶來(lái)顯著(zhù)的改進(jìn)。 我們相信，攝影師會(huì )愛(ài)上我們的 DxO DeepPRIME 技術(shù)，它能成功再現此前缺失的色彩細節，為老照片帶來(lái)新的活力，提升高 ISO 圖像的品質(zhì)。 下載免費試用版并了解 DxO DeepPRIME 如何可以提升您的照片品質(zhì)。