用于圖像編碼的超解像技術(shù)

NHK放送技術(shù)研究所于正在舉行的“技研展2011”上，公開(kāi)了進(jìn)行了將超解像技術(shù)應用于圖像編解碼的技術(shù)演示。該技術(shù)通過(guò)在原來(lái)的圖像編解碼技術(shù)的基礎上“外加”視頻縮小(降頻轉換)和超解像技術(shù)(升頻轉換)，來(lái)避免在編碼時(shí)使用過(guò)高的壓縮率，以減輕畫(huà)質(zhì)劣化。

　　具體做法為，首先對分辨率高的圖像進(jìn)行圖像縮小處理。然后，采用原來(lái)的H.264對該圖像進(jìn)行編碼。傳輸后，再用H.264進(jìn)行解碼。至此還保持著(zhù)圖像縮小后的尺寸，因此還需要采用超解像技術(shù)將其恢復到原來(lái)的圖像尺寸。

　　據介紹這樣做的優(yōu)點(diǎn)在于，無(wú)需改變原有的編解碼技術(shù)，就能利用外加的技術(shù)和系統改進(jìn)編解碼。編碼時(shí)能夠選擇合理的壓縮率，具有減輕畫(huà)質(zhì)劣化的效果。

　　隨著(zhù)圖像縮小產(chǎn)生的畫(huà)質(zhì)劣化較輕。原因是將圖像縮小時(shí)采用的各種參數及畫(huà)質(zhì)補償信息作為輔助信息發(fā)送到與影像數據不同的影像接收端，以供利用超解像技術(shù)恢復圖像時(shí)使用。

　　之所以能夠實(shí)現上述技術(shù)，是因為超解像技術(shù)的發(fā)展。“原來(lái)的超解像技術(shù)存在邊緣處理方面的技術(shù)課題”(解說(shuō)員)。最近，該課題得到大幅改善，因此才實(shí)現了此次的應用。

　　不過(guò)，現在存在的課題是數據處理復雜，處理時(shí)的負荷和延遲較大。一般而言，圖像編碼技術(shù)的編碼處理越復雜，處理規模越大，就越能夠獲得劣化少的圖像壓縮效果。此次的方法是否真比上述的一般編解碼改善方法有優(yōu)勢，將是今后探討的課題。

　　“水的流動(dòng)優(yōu)先”還是“邊緣優(yōu)先”?

　　此次，NHK技研作為具體的安裝方法，提出了A和B兩種方法。

　　方法A是在圖像縮小時(shí)根據圖案來(lái)改變像素壓縮率的方法。圖案復雜的部分降低壓縮率，而圖案簡(jiǎn)單的部分則大膽間隔像素以大幅縮小圖像。

　　這樣，縮小后的圖像變?yōu)閴嚎s率隨著(zhù)圖案明顯不同的變形圖像。這一點(diǎn)在將壓縮率不同的數據作為輔助信息發(fā)送給接收端并采用超解像技術(shù)恢復時(shí)使用。“方法A適于再現水的流動(dòng)及光的反射等隨機動(dòng)態(tài)數據。不過(guò)，在安裝到處理電路的硬件中還需要解決很多問(wèn)題”。

　　方法B則是通過(guò)發(fā)送端掌握源于圖像縮小和編碼處理算法的圖像劣化信息，并將其用于優(yōu)化圖像縮小技術(shù)的方法。

　　具體做法是首先將通過(guò)編碼縮小了的圖像數據通過(guò)發(fā)送端解碼及采用超解像技術(shù)復原。然后，將復原后的圖像與原來(lái)的輸入圖像進(jìn)行比較，調整圖像縮小時(shí)的參數，以使源于圖像處理算法的圖像劣化降至最小。劣化信息作為輔助信息也發(fā)送給接收端。

　　方法B“最適合圖像不連續變化的邊緣處理。有時(shí)還采用小波分析等易于實(shí)現硬件電路的技術(shù)，比較容易安裝”(解說(shuō)員)。據NHK技研介紹，今后還將探討將方法A和方法B相結合的方法。

　　利用超解像技術(shù)的新圖像編碼技術(shù)的概要。通過(guò)演示可以看出，采用新技術(shù)輸出的圖像比利用原編碼技術(shù)形成的圖像劣化明顯減少