CVPR 2022 Oral | SCI：實(shí)現快速、靈活與穩健的低光照圖像增強

來(lái)源丨大連理工大學(xué)編輯丨極市平臺

論文地址：https://arxiv.org/pdf/2204.10137.pdf

代碼地址：https://github.com/vis-opt-group/SCI

本文提出了一種全新的低光照圖像增強方案：自校準光照學(xué)習（SCI）。通過(guò)構建引入自校準模塊的權重共享光照學(xué)習過(guò)程，摒棄了網(wǎng)絡(luò )結構的繁雜設計過(guò)程，實(shí)現了僅使用簡(jiǎn)單操作進(jìn)行增強的目的。大量實(shí)驗結果表明，SCI在視覺(jué)質(zhì)量、計算效率、下游視覺(jué)任務(wù)應用方面均取得了突破（見(jiàn)圖1）。該研究已被CVPR 2022收錄為Oral。

低光照圖像增強作為圖像處理中的經(jīng)典任務(wù)，在學(xué)術(shù)界與工業(yè)界均受到了廣泛關(guān)注。2018-2020年連續舉辦三屆的UG2+Prize Challenge比賽將低光照人臉檢測作為主競賽單元，極大程度推動(dòng)了學(xué)術(shù)界對于低光照圖像增強技術(shù)的研究。某手機廠(chǎng)商于2019年發(fā)布會(huì )上將暗光拍攝能力作為主打亮點(diǎn)，掀起了工業(yè)界利用深度學(xué)習技術(shù)解決低光照圖像增強的又一波浪潮。

現有的低光照圖像增強技術(shù)聚焦于構建數據驅動(dòng)的深度網(wǎng)絡(luò )，通常其網(wǎng)絡(luò )模型復雜，導致計算效率低、推理速度慢，并且由于對于訓練數據分布的依賴(lài)性導致其在未知場(chǎng)景下的性能缺乏保障?？偟膩?lái)說(shuō)，現有技術(shù)普遍缺乏實(shí)用性。為解決以上問(wèn)題，本文致力于從學(xué)習策略入手，構建一種快速、靈活與穩健的低光照圖像增強方案。

（1）權重共享的光照學(xué)習

根據Retinex理論，低光照觀(guān)測圖像等于清晰圖像與光照的點(diǎn)乘，即。在基于該模型設計的方法中，光照的估計通常被視為主要的優(yōu)化目標，得到精確的光照后，清晰圖像能夠上述關(guān)系直接得到。受現有工作的逐階段光照優(yōu)化過(guò)程啟發(fā)，本文構建漸進(jìn)式的光照優(yōu)化過(guò)程，其基本單元如下所示：

其中  與  分別表示第t階段的殘差與光照。 表示光照估計網(wǎng)絡(luò )。需要注意的是這里  與 階段數無(wú)關(guān), 即在每一階段光照估計網(wǎng)絡(luò )均保持結構與參數共享狀態(tài)。進(jìn)一步理解該模塊能夠 發(fā)現, 在漸進(jìn)式優(yōu)化與參數共享機制下, 每個(gè)階段均希望得到與目標接近的輸出。換句話(huà)說(shuō), 是否存在一種可能, 能夠令每個(gè)階段的輸出盡可能接近且與目標一致, 這樣一來(lái), 多階段級聯(lián) 測試變?yōu)閱坞A段測試, 將大幅減少推理代價(jià)。為實(shí)現該目標, 如下引入了一種自校準模塊。

（2）自校準模塊

該模塊的目的在于從分析每個(gè)階段之間的關(guān)系入手，確保在訓練過(guò)程中的不同階段的輸出均能夠收斂到相同的狀態(tài)。自校準模塊的公式表達如下所示：

其中是校準后的用于下一階段的輸入。也就是說(shuō)，原本的光照學(xué)習過(guò)程中第二階段及以后的輸入變成了由上述公式得到的結果（總的計算流程如圖2所示），即光照優(yōu)化過(guò)程的基本單元被重新公式化為：

實(shí)際上，該自校準模塊通過(guò)引入物理規律（即Retinex理論），逐步校正了每一階段的輸入來(lái)間接地影響了每一階段的輸出，進(jìn)而實(shí)現了階段間的收斂。圖3探究了自校準模塊的作用，可以發(fā)現，自校準模塊的引入使得不同階段的結果能夠很快地收斂到相同狀態(tài)（即三個(gè)階段的結果重合）。

（3）無(wú)監督損失函數

為了更好地訓練提出的學(xué)習框架，該部分設計了一種無(wú)監督損失函數，以約束每一階段的光照估計，公式表示如下：

其中前一項與后一項分別代表數據保真項及平滑正則項（關(guān)于各個(gè)變量的詳細說(shuō)明請參見(jiàn)論文）。

（1）定量分析

表1展示了在著(zhù)名的MIT-Adobe FiveK數據集上的定量結果對比，可以看出，提出方法取得了最優(yōu)性能。值得注意的是，盡管提出方法為無(wú)監督方法，但其在PSNR與SSIM這類(lèi)有參考指標上的結果均實(shí)現了最優(yōu)，究其原因在于該數據集的Ground Truth是由專(zhuān)家修飾得到的，也說(shuō)明了提出方法生成的結果更符合人類(lèi)視覺(jué)習慣。

（2）真實(shí)場(chǎng)景下的視覺(jué)對比

圖4展示了兩組在有難度的真實(shí)場(chǎng)景下的增強結果對比?？梢钥闯?，相比于其他的方法，提出方法的增強結果亮度適中、細節豐富、色調自然、具有更高的視覺(jué)質(zhì)量。

（3）下游任務(wù)性能分析

為了進(jìn)一步探究SCI的優(yōu)勢，本文比較了在低光照人臉檢測與夜間語(yǔ)義分割兩個(gè)下游任務(wù)的性能。在低光照人臉檢測任務(wù)中，定義了兩種與SCI相關(guān)的版本，一種是將SCI作為預處理來(lái)實(shí)現數據的亮度增強（其他對比方法采用相同方式）并在該數據基礎上微調檢測網(wǎng)絡(luò )，另一種是SCI與檢測網(wǎng)絡(luò )聯(lián)合微調（記為SCI+）。圖5中展示了檢測結果，可以看出，本文提出的方法具有明顯優(yōu)勢，能夠檢測出更多的小目標。

圖6展示了夜間語(yǔ)義分割性能，可以看出，SCI獲得了有競爭的數值結果，同時(shí)在類(lèi)別劃分上更準確，邊緣刻畫(huà)更清晰。

本文提出的SCI在圖像質(zhì)量和推理速度方面均取得了突破，為低光照圖像增強任務(wù)的解決提供了一種新的視角，即如何在有限資源下賦予網(wǎng)絡(luò )模型更強的刻畫(huà)能力，該種視角相信也能夠為其他相關(guān)視覺(jué)增強領(lǐng)域帶來(lái)啟發(fā)。未來(lái)，作者將繼續探究如何設計更有效的學(xué)習手段來(lái)建立輕量、魯棒、面向更具有挑戰真實(shí)場(chǎng)景的低光照圖像增強方案。

本文僅做學(xué)術(shù)分享，如有侵權，請聯(lián)系刪文。