超高清電視終端顯示圖像畫(huà)質(zhì)提升技術(shù)研究*

摘要：文章提出超高清電視終端的AI色帶平滑技術(shù)、AI超級增補技術(shù)、AI動(dòng)態(tài)目標降噪技術(shù)，能夠降低超高清電視終端顯示標清或高清視頻內容時(shí)的色帶、物體細節模糊、動(dòng)態(tài)目標拖尾，解決了標清或高清視頻內容的色深、清晰度、噪聲無(wú)法滿(mǎn)足超高清電視終端顯示要求的矛盾，有效提升了超高清電視終端顯示圖像畫(huà)質(zhì)。該技術(shù)已應用于創(chuàng )維超高清電視產(chǎn)品，效果良好，產(chǎn)生了良好效益。

關(guān)鍵詞：超高清電視；AI色帶平滑；AI超級增補；AI動(dòng)態(tài)目標降噪

*科研項目：廣東省科技計劃項目——2021年度廣東省5G+8K超高清視頻顯示企業(yè)重點(diǎn)實(shí)驗室（項目編號：2021B1212050008）

1 引言

4K 超高清電視自 2011 年進(jìn)入消費市場(chǎng)后得到迅猛 發(fā)展 , 至 2018 年已成為主導產(chǎn)品，同時(shí) 8K 超高清電視也在起步并成為產(chǎn)品升級的必然方向 ^[1]。超高清電視終端解析顯示能力達到 3840×2160 或 7680×4320 像素 ^[2]，超高清電視終端顯示超高清視頻內容時(shí)的畫(huà)面質(zhì)量（畫(huà)質(zhì)）好、臨場(chǎng)感強，能夠帶來(lái)震撼的視覺(jué)體驗。然而目前大部分視頻源還是標清或高清內容，視頻源質(zhì)量較低，其色深、清晰度、噪聲等無(wú)法滿(mǎn)足超高清顯示要求。超高清電視終端與低質(zhì)視頻源之間的突出矛盾，嚴重制約用戶(hù)視頻體驗，不能給廣大用戶(hù)帶來(lái)美好的視覺(jué)享受。近年來(lái)人工智能（artificial intelligence, AI）技術(shù)發(fā)展迅速，AI 技術(shù)在圖像處理領(lǐng)域應用日益廣泛，采用 AI 來(lái)提升電視清晰度等技術(shù)開(kāi)始了廣泛地研究 ^[3]。

本文開(kāi)展超高清電視終端顯示圖像畫(huà)質(zhì)提升技術(shù)研究，提出超高清電視終端的 AI 色帶平滑技術(shù)、AI 超級增補技術(shù)、AI 動(dòng)態(tài)目標降噪技術(shù)，能夠降低超高清電視終端顯示標清或高清視頻時(shí)的色帶和物體細節模糊、動(dòng)態(tài)目標拖尾，避免顯示圖像的色彩突變和保持色彩過(guò)渡平滑，提高人眼感知清晰度和精細重現視頻細節，以及去除視頻中的噪聲并保證圖像細節，能夠有效提升超高清電視終端顯示圖像的畫(huà)質(zhì)。本文提出的技術(shù)已使用于創(chuàng )維超高清電視產(chǎn)品，產(chǎn)生了良好效果。

2 AI色帶平滑處理技術(shù)

當高色深顯示終端顯示較低色深數字視頻信號時(shí)，由于存在色階差異會(huì )產(chǎn)生色帶現象。傳統的去除色帶技術(shù)，主要針對原生色深視頻圖像的色彩丟失情況進(jìn)行統計分析和 2~4 倍的色深度補償，但無(wú)法處理大的色深色彩丟失及視頻壓縮造成的色深損失。超高清電視終端顯示色深一般為 8~12 位，而目前大部分數字視頻源還是 8 位以下色深，即使采用傳統去除色帶技術(shù)，超高清電視顯示低位色深視頻時(shí)也會(huì )產(chǎn)生色帶現象、甚至嚴重的色彩失真。

AI 色帶平滑處理是通過(guò)對圖像色帶特征進(jìn)行訓練并分析出視頻圖像色階缺失部分（即色帶區域），動(dòng)態(tài)補償色階缺失部分圖像像素的顏色，使得色帶過(guò)渡平滑，避免圖像顏色突變，從而使得色彩呈現更好。AI 色帶平滑處理原理框圖如圖 1 所示。

AI 色帶平滑處理原理為：首先采用神經(jīng)網(wǎng)絡(luò )激活函數對輸入的視頻圖像進(jìn)行色帶特征分析訓練，設定目標函數及目標值，檢測出符合目標特征的色帶區域并進(jìn)行標記；然后統計計算色帶區域與相鄰區域的圖像像素的差值并估算細節補償值，對色帶區域的像素按照設定權重函數進(jìn)行細節補償、實(shí)現像素值調整；最后用抖動(dòng)算法修正色帶區域像素值，實(shí)現顏色的平滑處理。

圖1 AI色帶平滑處理框圖

由圖 1 可見(jiàn)，低色深視頻圖像未進(jìn)行 AI 色帶平滑處理時(shí)，存在明顯的色帶，背景圖像部分尤其明顯。在經(jīng)過(guò) AI 色帶平滑處理處理后，色帶明顯減輕，背景圖像部分的顏色較為平滑，有效避免圖像顏色過(guò)渡突變、使得圖像色彩失真小和過(guò)渡平滑，顯示圖像的畫(huà)質(zhì)、尤其是背景圖像的色彩呈現明顯得到改善。

3 AI超級增補技術(shù)

目前超高清分辨率視頻資源非常缺乏，主要是標清 480 像素或高清 720/（1 080）像素分辨率視頻內容。超高清電視終端一般采用傳統圖像拉伸和銳度增強算法來(lái)進(jìn)行超分處理，將低分辨率視頻轉換成超高清分辨率視頻圖像后進(jìn)行顯示。傳統超分算法只能增強低分辨率視頻中已有的細節和物體邊緣，無(wú)法重建低分辨率視頻源采樣頻率以上的頻率范圍，即傳統超分處理前后視頻圖像的頻率范圍一致；由于超高清視頻圖像頻率需要遠高于標清或高清視頻圖像的頻率時(shí)才能顯示更加清晰細膩，因此傳統超分算法處理后的超高清顯示圖像將會(huì )出現細節模糊和物體邊緣鋸齒現象。尤其是壓縮率較高的網(wǎng)絡(luò )標清或高清視頻，以及存在大量后期制作動(dòng)畫(huà)效果的視頻，在超高清電視上顯示時(shí)細節模糊和邊沿鋸齒更加明顯，嚴重影響了視頻圖像顯示質(zhì)量，觀(guān)看者甚至認為超高清電視顯示清晰度還不如高清電視。

AI 超級增補是基于機器學(xué)習的方式，針對低分辨率視頻圖像中局部范圍內的結構特性，進(jìn)行算法訓練和識別 2D 結構（二維結構），然后在不同畫(huà)面放大倍率下依據 2D 結構重塑細節，改善物體結構邊緣的精細銳利程度。如圖 2 所示，為 AI 超級增補（右）與傳統方向性插值（左）處理效果對比。

圖2 AI超級增補（右）與傳統方向性插值（左）處理效果對比

AI 超級增補重塑視頻源中不存在的人眼視覺(jué)細節特征，可改善在大倍率放大時(shí)存在的物體邊緣鋸齒化現象，提高人眼感知清晰度、精細重現視頻細節，提升超高清電視顯示低分辨率視頻圖像內容時(shí)的畫(huà)質(zhì)。

4 AI動(dòng)態(tài)目標降噪技術(shù)

在視頻圖像的獲取、轉換與傳輸過(guò)程中，受到硬件系統設備自身因素與外界環(huán)境的影響，獲取的圖像信息包含一些隨機、離散或孤立的點(diǎn)，即圖像噪聲。電視顯示圖像對噪聲非常敏感，降噪在電視圖像處理中非常重要。電視中一般采用 3D-IIR 濾波器，通過(guò)時(shí)域上的迭代來(lái)達到平順低通濾波；然而 3D-IIR 濾波器的時(shí)空域覆蓋范圍通常較小，當視頻中噪聲較大并存在運動(dòng)物體目標時(shí)，運動(dòng)物體周?chē)鷧^域的降噪效果明顯下降、如果強制提高降噪強度則會(huì )產(chǎn)生嚴重細節丟失及物體拖尾現象，對超高清圖像顯示尤其明顯。

AI 動(dòng)態(tài)目標降噪采用稀疏濾波算法，針對大量視頻源中不同的目標個(gè)體獨立的運動(dòng)軌跡，進(jìn)行算法訓練，分析對比物體目標在運動(dòng)過(guò)程中與周?chē)渌矬w和環(huán)境的頻譜，分離實(shí)際物體與背景噪聲，在運動(dòng)過(guò)程中進(jìn)行頻域和時(shí)域聯(lián)合降噪，降低動(dòng)態(tài)噪聲、并重構物體細節，解決較大噪聲視頻降噪問(wèn)題及避免運動(dòng)物體產(chǎn)生的細節丟失和拖尾現象。

AI 動(dòng)態(tài)目標降噪處理原理為：首先采用稀疏濾波算法對視頻進(jìn)行分析處理，提取出物體邊緣特征，并依此將圖像拆分為背景圖像與運動(dòng)目標物體，對背景圖像與運動(dòng)目標物體進(jìn)行時(shí)域分析和頻域分析；然后分別對背景圖像和運動(dòng)目標物體進(jìn)行時(shí)域降噪，并實(shí)時(shí)分析視頻源中不同目標物體的運動(dòng)軌跡及其運動(dòng)過(guò)程中的頻譜、對運動(dòng)目標物體邊沿進(jìn)行細節重構，將處理后的背景圖像和運動(dòng)目標物體融合為完整圖像；更新圖像的噪聲水平，進(jìn)行空域降噪，輸出得到最終降噪完畢的圖像。

由圖 3 可見(jiàn)，大噪聲圖像經(jīng)過(guò) AI 動(dòng)態(tài)目標降噪處理后，噪聲得到明顯降低，無(wú)物體細節丟失，顯示圖像的畫(huà)質(zhì)明顯提升。

5 系統應用

AI 色帶平滑處理、AI 超級增補和 AI 動(dòng)態(tài)目標降噪技術(shù)已經(jīng)在多個(gè)電視產(chǎn)品中進(jìn)行了應用，涵蓋 55 英寸 至 86 英寸（1 英寸 =2.54 cm），包括創(chuàng )維超高清電視 Q6A、Q51、S81、W81 等產(chǎn)品系列，這些產(chǎn)品在播放標清或高清視頻內容時(shí)，能夠較好的平滑色帶、提升顯示清晰度、降低噪聲時(shí)運動(dòng)物體細節無(wú)丟失和拖尾，顯示時(shí)能夠呈現良好的圖像畫(huà)質(zhì)。

6 結語(yǔ)

文章采用 AI 色帶平滑處理技術(shù)，深入對視頻圖像的色帶特征進(jìn)行訓練分析和像素補償，避免圖像顏色過(guò)渡突變，使得圖像色彩失真小和過(guò)渡平滑；采用 AI 超級增補技術(shù)，基于機器學(xué)習的方式識別視頻圖像 2D 結構和重塑細節，增補視頻源中不存在的人眼視覺(jué)細節特征、改善物體邊緣鋸齒，提高人眼感知清晰度、精細重現視頻細節；以及采用 AI 動(dòng)態(tài)目標降噪技術(shù)，通過(guò)稀疏濾波算法來(lái)分析視頻源中不同目標物體的運動(dòng)軌跡及其運動(dòng)過(guò)程中的頻譜，分離出物體對象和背景噪聲、并消除噪聲和重構物體對象細節。

文章技術(shù)的使用能夠降低超高清電視終端在播放低質(zhì)視頻源時(shí)顯示圖像的色彩突變、物體邊緣鋸齒、運動(dòng)物體噪聲，使得顯示圖像的色彩過(guò)渡平滑、人眼感知清晰度高、細節豐富，有效提升了顯示圖像的畫(huà)質(zhì)。技術(shù)已經(jīng)在創(chuàng )維 Q6A、W81 等超高清電視產(chǎn)品上得到了大規模使用，效果良好。

參考文獻：

[1] 徐遙令.一種8K超高清電視系統設計方案[J].電子產(chǎn)品世界,2018,25(6):28-30.

[2] 李超,時(shí)大鑫.超高清晰度顯示技術(shù)[J].現代顯示,2010(5):99-103.

[3] FU B,LI Y,WANG X H,REN Y G. Image super-resolution using TV priori guided convolutional network[J].Pattern Recognition Letters,2019,125(7):780-784.

(注：本文轉載自《電子產(chǎn)品世界》雜志2022年8月期)