H.264中多參考幀預測技術(shù)的優(yōu)化

摘要：提出了一個(gè)低復雜度的快速多參考幀選擇算法。模擬結果表明本算法在保持率失真性能的前提下可以大大減少多參考幀預測的計算復雜度。 關(guān)鍵詞：H.264運動(dòng)估計 多參考幀預測 運動(dòng)搜索 運動(dòng)估計是去除視頻序列相鄰幀之間冗余信息的有效方法，對整個(gè)視頻編碼效果有重要的影響。由兩大國際標準化組織（ISO/IEC的MPEG和ITU-T的VCEG）共同制定的最新的國際視頻編碼標準H.264/AVC仍然采用成熟的基于塊的混合編碼框架，但由于引入了很多新的編碼技術(shù)，如多參考幀預測運動(dòng)估計，從而可以提供更高的編碼效率。 以前的視頻編碼標準如MPEG-4和H.263等都只支持一個(gè)參考幀預測。H.264不同于以前的標準，采用了多參考幀預測技術(shù)，使得運動(dòng)搜索范圍從原來(lái)的一個(gè)參考幀擴展為多個(gè)解碼后的參考幀，這樣通常能找到更精確的匹配，從而有助于獲得更高的編碼效率。但是多參考幀預測技術(shù)同時(shí)也存在一些缺點(diǎn)，對存儲空間和計算能力要求更高。 H.264中引入的拉格朗日率失真最優(yōu)策略采用窮盡搜索在所有候選參考幀中選擇率失真成本最低的參考幀。拉格朗日率失真最優(yōu)模式選擇問(wèn)題可表述為：其中m=(mx,my)T表示某個(gè)運動(dòng)矢量，REF表示某個(gè)參考幀，Jmotion(s,c,m,REFf1λMotion)表示在運動(dòng)矢量m和參考幀REF下的率失真成本，s為原始的視頻信號，c(m,REF)為在運動(dòng)矢量m和參考幀REF下的重構視頻信號，λmotion為拉格朗日乘子，R（m-P）表示編碼運動(dòng)矢量m的比特數，R（REF）表示編碼參考幀REF的比特數，SAD（s,c,m,REF）(Sum Absolute Difference)為原始信號和重構信號之間的絕對差和，采用（2）式計算：其中B1,B2表示塊的水平和垂直像表數，可以取值16，8或4。 設m表示運動(dòng)矢量搜索范圍，若只允許一個(gè)參考幀進(jìn)行預測，那么每個(gè)宏塊需要搜索（2%26;#215;m+1）2個(gè)候選點(diǎn)；若允許N個(gè)參考幀進(jìn)行預測，那么每個(gè)宏塊總共有N%26;#215;2%26;#215;m+1）2個(gè)候選搜索點(diǎn)。這意味著(zhù)，運動(dòng)搜索的計算量、編碼時(shí)間隨著(zhù)預測中總參考幀數成倍增長(cháng)。允許的參考幀數越多，運動(dòng)搜索的計算量、編碼時(shí)間就越大。 為了減少上述多參考幀預測技術(shù)中存在的問(wèn)題，本文利用相鄰幀間很高的相關(guān)性提出了一種低復雜度的快速多參考幀選擇算法。 1 快速多參考幀預測算法 在H.264運動(dòng)估計中，多參考幀運動(dòng)搜索過(guò)程在7種不同的塊大小和形狀條件下進(jìn)行，執照從16%26;#215;16到4%26;#215;4的順序依次進(jìn)行。對于每一個(gè)塊編碼大小，需要在所有可能的參考幀中找出率失真成本最低的參考幀和其相應的運動(dòng)矢量。多參考幀運動(dòng)搜索過(guò)程首先從概率較高的參考幀REF(0)開(kāi)始，一直進(jìn)行到距離當前編碼幀最遠的參考幀REF（N-1）. 由于視頻序列相鄰幀間存在很強的時(shí)域相關(guān)性，一般情況下，最優(yōu)的匹配通常位于與當前編碼幀緊密相鄰的參考幀，本文采用REF（0）表示這一參考幀；其余的參考幀（在本文中表示為REF（i），i=1，2，…，N-1，設允許的最大參考幀數為N）被選中的概率遠遠小于第一個(gè)參考幀REF(0)。 為了進(jìn)一步了解不同參考幀在實(shí)際視頻序列中被采納的情況，本文選擇了幾個(gè)典型的視頻測試序列，并利用拉格朗日率失真最優(yōu)搜索策略，在不同參考幀數條件下統計不同參考幀的被選中概率，實(shí)驗數據如表1所示。從表1可以看出，在所有參考幀，REF（0）成為最優(yōu)參考幀的概率最高，概率高達88.67%，而其余所有參考幀被選中的概率遠遠小于REF（0）。表1 參考幀概率統計結果 測試序列總參考幀數REF（0）概率REF（i）概率，（i=1,...,N）Foreman_qcif.yuv587.2012.80Silent_qcif.yuv594.385.62Mobile_cif.yuv567.6432.36Akiyo_cif.yuv1096.123.88coastg_cif.yuv1096.093.91Stefan_cif.yuv1090.619.39Average　88.6711.33從上述分析可知，參考幀REF（0）成為最終預測幀的概率最高，在這一參考幀中獲得的運動(dòng)搜索結果對整個(gè)編碼性能有著(zhù)重要的影響。因此，可以認為在REF（0）中的搜索范圍越大，對整個(gè)編碼性能的改善也會(huì )越大。相比較，由于其余的參考幀被選 中的概率很低，而且每增加一個(gè)參考幀就會(huì )增加很大一部分計算量，所以在一定條件下合理地減少在這些參考幀中運動(dòng)搜索的計算量， 對整個(gè)編碼性能不會(huì )產(chǎn)生顯著(zhù)影響。由于相鄰幀間存在很強的進(jìn)域相關(guān)性，前一個(gè)參考幀中運動(dòng)搜索后得到的運動(dòng)信息可以用來(lái)預測下一個(gè)參考幀的搜索中心。根據運動(dòng)矢量的中心偏置定理，最優(yōu)的運動(dòng)矢量通常位于搜索中心周?chē)男》秶?，利用螺旋搜索順序，只需搜索這一小部分區域。 減少多參考幀預測計算量的思路如圖1所示。在最重要的參考幀REF（0）中，搜索范圍較大以保證取得較高的預測精度；而在其余不很重要的參考幀中，可以選擇較小的搜索范圍，同時(shí)利用前一幀已得到的運動(dòng)信息預測下一幀的搜索中心。這樣既能減少計算量，同時(shí)又不會(huì )顯著(zhù)影響整個(gè)編碼性能。 本文提出了一種減少多參考幀預測計算量的快速算法。本算法不僅利用了運動(dòng)矢量的空域相關(guān)性來(lái)預測第一個(gè)參考幀REF（0）的搜索中心，即利用當前宏塊周?chē)娜齻€(gè)空域相鄰塊的中值運動(dòng)矢量來(lái)預測REF（0）的搜索中心；而且利用了運動(dòng)矢量的時(shí)域相關(guān)性，即利用前一幀REF(i-1)所得到的運動(dòng)信息對下一個(gè)參考幀REF(i)的搜索中心進(jìn)行修正。由于相鄰 幀間存在很高的時(shí)域相關(guān)性，下一幀的最優(yōu)運動(dòng)矢量很可能就位于修正后的搜索中心附件，只需對搜索中心周?chē)暮苌僖徊糠趾蜻x點(diǎn)進(jìn)行匹配運算。這樣就省略了很大一部分運算量。2 模擬結果和分析 為了測試本文算法的性能，本文采用H.264參考軟件JM7.0作為實(shí)驗平臺。實(shí)驗參數設置如下：6個(gè)典型的視頻測試序列（Ailent、Mobile、Foreman、Template、Bus和Suzi）、CIF（352%26;#215;288）或QCIF(176%26;#215;144)圖像格式，每個(gè)序列150幀，幀率為30f/s，運動(dòng)矢量搜索范圍為16，量化參數為32，采用Hadamard transform,GOP結構為IPPP。 表2列出了本文提出的算法與原始的采用窮盡搜索的拉格朗日率失真最優(yōu)模式選擇方法的比較結果。在表2中，ΔPSNR表示平均峰值信噪比（PSNR）下降值，單位為Db, Δbits表示平均碼率增長(cháng)百分數，Δtime表示運動(dòng)估計編碼時(shí)間的減少百分數。Δtime和Δbits分別采用式（3）和式（4）得到： 其中Toriginal和Borigind分別表示采用原始方法時(shí)所用的運動(dòng)估計編碼時(shí)間和總比特數；Tproposed和Bproposed分別表示采用本文提出的方法時(shí)所用的運動(dòng)估計編碼時(shí)間和總比特數。表2 實(shí)驗結果比較 測試序列2個(gè)參考幀5個(gè)參考幀ΔPSNRΔbitsΔtimeΔPSNRΔbitsΔtimeSilent_quif.yuv-0.0220.166.67-0.0170.357.66Mobile_qcif.yuv0.004-0.225.57-0.1332.8722.97Foreman_cif.yuv-0.0380.438.05-0.0991.7011.82Football_qcif.yuv-0.0169.228.32-0.0310.6821.74Template_cif.yuv0.0030.284.52-0.0480.9516.50Bus_qcif.yuv-0.0642.896.03-0.1663.9614.21Suzi_quif.yuv0.0172.326.94-0.0430.3811.39Average-0.0172.156.60-0.0771.5615.18從表2中的實(shí)驗數據可以看出，與原始的采用窮盡搜索的拉格朗日率失真最優(yōu)模式選擇方法相比，本文提出的算法可以使運動(dòng)估計編碼時(shí)間平均減少15.18%，同時(shí)平均PSNR僅僅下降0.077dB，碼率增長(cháng)僅僅1.56%（5個(gè)參考幀情況下）。此外，對比不同參考幀數的實(shí)驗結果，很容易發(fā)現允許的參考幀數越多，節省的編碼時(shí)間就越多。 模擬結果表明本文提出的算法可以節省H.264多參考幀運動(dòng)預測的計算復雜度，同時(shí)對率失真性能的影響很小。這對H.264編碼的實(shí)時(shí)實(shí)現很有利。