74KB圖片也高清，谷歌用神經(jīng)網(wǎng)絡(luò )打造圖像壓縮新算法

　　還在為圖像加載犯愁嗎？
　　最新的好消息是，谷歌團隊采用了一種GANs與基于神經(jīng)網(wǎng)絡(luò )的壓縮算法相結合的圖像壓縮方式HiFiC，在碼率高度壓縮的情況下，仍能對圖像高保真還原。
　　GAN（Generative Adversarial Networks，生成式對抗網(wǎng)絡(luò )）顧名思義，系統讓兩個(gè)神經(jīng)網(wǎng)絡(luò )相互「磨煉」，一個(gè)神經(jīng)網(wǎng)絡(luò )負責生成接近真實(shí)的數據，另一個(gè)神經(jīng)網(wǎng)絡(luò )負責區分真實(shí)數據與生成的數據。
　　簡(jiǎn)單來(lái)說(shuō)，就是一個(gè)神經(jīng)網(wǎng)絡(luò )「造假」，另一個(gè)神經(jīng)網(wǎng)絡(luò )「打假」，而當系統達到平衡時(shí)，生成的數據看起來(lái)便會(huì )非常接近真實(shí)數據，達到「以假亂真」的效果。
　　下面是這種算法展現出來(lái)的圖像與JPG格式圖像的對比。
　　可見(jiàn)，在圖像大小接近的情況下（HiFiC大小74kB，JPG圖像大小78kB），算法所展現出來(lái)的圖像壓縮效果要好得多。

　　而在與原圖進(jìn)行對比時(shí)，HiFiC所展現出來(lái)的還原效果仍然非常優(yōu)秀。（真的不是在原圖中間畫(huà)了條線(xiàn)嗎？）

　　目前處于特殊時(shí)期，大量國外網(wǎng)友仍在家中隔離，Netflix和油管的播放量暴增，一些視頻網(wǎng)站甚至不得不被迫降低視頻在線(xiàn)播放的清晰度，以適應激增的數據量。
　　但看慣了高清視頻的網(wǎng)友們，面對突如其來(lái)的「模糊打擊」自然怨聲載道。
　　用一位網(wǎng)友的話(huà)來(lái)說(shuō)，如果視頻行業(yè)也能被應用類(lèi)似的技術(shù)，相信Netflix和油管會(huì )特別高興，畢竟這種高清低碼率的圖像復原實(shí)在太誘惑。

　　哇，如果他們可以對視頻做同樣的事情的話(huà)，我相信Netflix和YouTube會(huì )很高興的。
　　事實(shí)上，在了解HiFiC算法的原理后，會(huì )發(fā)現它的確不難實(shí)現。
接近原圖的圖像重構算法
　　此前，相關(guān)研究已有采用神經(jīng)網(wǎng)絡(luò )進(jìn)行圖像壓縮的算法，而隨著(zhù)近年來(lái)生成式對抗網(wǎng)絡(luò )興起，采用GANs生成以假亂真圖像的算法也不在少數。
　　如果能有辦法將二者結合，圖像壓縮的效果是不是會(huì )更好、更接近于人類(lèi)的感知？
　　這次圖像壓縮的模型便是基于二者的特性設計，在基于神經(jīng)網(wǎng)絡(luò )的壓縮圖像算法基礎上，采用GANs進(jìn)一步讓生成的圖片更接近于人類(lèi)視覺(jué)，在圖像大小和視覺(jué)感知間達到一個(gè)平衡。

　　可以看見(jiàn)，HiFiC的架構被分成了4個(gè)主要部分，其中E為編碼器，G為生成器，D為判別器，而P則是E的輸出E(x)的概率模型（這里用y表示），也就是P用于模擬y的概率分布。
　　GANs運作的核心思想在于，需要讓架構中的生成器G通過(guò)某種方法，「欺騙」判別器D判定樣本為真。
　　而概率模型P，則是達成這步操作的條件。
　　然后，將E、G、P參數化為卷積神經(jīng)網(wǎng)絡(luò )，這樣就可以通過(guò)率失真優(yōu)化的條件，對這些網(wǎng)絡(luò )進(jìn)行共同訓練。
　　同時(shí)，研究者也對已有的幾種GANs算法架構進(jìn)行了微調，使其更適于HiFiC架構。
　　研究發(fā)現，將GANs與深度學(xué)習相結合的HiFiC算法取得了意想不到的效果。
模型評估
　　下圖是采用目前幾種主流圖像質(zhì)量評估標準，對幾種前沿的圖像壓縮算法與HiFiC算法進(jìn)行比較的結果。

　　在圖中，評估標準后面自帶的箭頭，表示數據更低（↓）或數據更高（↑）表示圖像質(zhì)量更好。
　　為了更好地對比，結果分別采用了HiFiC算法（圖中紅點(diǎn)連線(xiàn)）、不帶GANs的對比算法（圖中橙方連線(xiàn)）、目前較為前沿的M&S算法（圖中藍方連線(xiàn)）和BPG算法（圖中藍點(diǎn)連線(xiàn)）。
　　從結果來(lái)看，HiFiC算法在FID、KID、NIQE、LPIPS幾種評估標準均為最優(yōu)，而在MS-SSIM和PSNR標準中表現一般。
　　由評估標準間的差異可見(jiàn)，各項圖像質(zhì)量標準不一定是判斷壓縮技術(shù)的最好辦法。
用戶(hù)評測對比
　　畢竟，圖像是用來(lái)看的，最終的判斷權還得交回用戶(hù)手里。
　　圖像究竟是否「清晰」，某種程度上得通過(guò)人眼的判斷來(lái)決定。
　　出于這個(gè)考慮，團隊采取了調研模式，讓一部分志愿者參與算法的比較。
　　他們先展示一張測試圖片的隨機裁切圖樣，當志愿者對其中某張裁切圖樣感興趣時(shí)，便用這一部分來(lái)進(jìn)行所有算法的對比。
　　志愿者將原圖與經(jīng)過(guò)算法處理后的圖像對比后，選出他們認為「視覺(jué)上」更接近于原圖的壓縮算法。
　　在所有算法經(jīng)過(guò)選取后，將會(huì )出現一個(gè)排名，以衡量HiFiC的實(shí)際效果。（其中，HiFiC的角標Hi、Mi和Lo分別為設置由高至低3種不同碼率閾值時(shí)的算法）

上圖中，評分越低，則代表圖像在用戶(hù)眼中「越清晰」。從圖中來(lái)看，HiFiC(Mi)在0.237bpp的壓縮效果下，甚至比兩倍碼率的0.504bpp的BPG算法在用戶(hù)眼里還要更好。
　　即使壓縮效果達到了0.120bpp，也比0.390bpp的BPG算法更好。
　　這項研究再次推動(dòng)了圖像壓縮技術(shù)的發(fā)展，正如網(wǎng)友所說(shuō)，隨著(zhù)圖像壓縮技術(shù)的發(fā)展，在線(xiàn)看4k電影也許真能實(shí)現。