h.264編碼技術(shù)

H.264是由ITU-T（ITU Telecommunication Standardization Sector，國際電信聯(lián)盟遠程通信標準化組）視頻編碼專(zhuān)家組（VCEG）和ISO/IEC動(dòng)態(tài)圖像專(zhuān)家組（MPEG）聯(lián)合組成的聯(lián)合視頻組 （JVT，Joint Video Team）提出的高度壓縮數字視頻編解碼器標準。H.264是ITU-T以H.26x系列為名稱(chēng)命名的標準之一，同時(shí)AVC是ISO/IEC MPEG一方的稱(chēng)呼。這一標準正式成為國際標準是2003年3月在泰國Pattaya舉行的JVT第7次會(huì )議上通過(guò)的。由于該標準是由兩個(gè)不同的組織共同 制定的，因此有兩個(gè)不同的名稱(chēng)：在ITU-T中，它的名字叫H.264；而在ISO／IEC中，它被稱(chēng)為MPEG-4的第10部分，即高級視頻編碼 （AVC）。

H.264的特點(diǎn)
H.264在編碼框架上還是沿用以往的MC-DCT結構，即運動(dòng)補償加變換編碼的混合（hybrid）結構，因此它保留了一些先前標準的特點(diǎn)，如不受限制 的運動(dòng)矢量（unrestricted motion vectors），對運動(dòng)矢量的中值預測（median prediction）等。然而，以下介紹的技術(shù)使得H.264比之前的視頻編碼標準在性能上有了很大的提高。應當指出的是，這個(gè)提高不是單靠某一項技術(shù) 實(shí)現的，而是由各種不同技術(shù)帶來(lái)的小的性能改進(jìn)而共同產(chǎn)生的。

1. 幀內預測
對I幀的編碼是通過(guò)利用空間相關(guān)性而非時(shí)間相關(guān)性實(shí)現的。以前的標準只利用了一個(gè)宏塊（macroblock）內部的相關(guān)性，而忽視了宏塊之間的相關(guān)性， 所以一般編碼后的數據量較大。為了能進(jìn)一步利用空間相關(guān)性，H.264引入了幀內預測以提高壓縮效率。簡(jiǎn)單地說(shuō)，幀內預測編碼就是用周?chē)徑南袼刂祦?lái)預 測當前的像素值，然后對預測誤差進(jìn)行編碼。這種預測是基于塊的，對于亮度分量（1uma），塊的大小可以在16×16和4×4之間選擇，16×16塊有4 種預測模式，4×4塊有9種預測模式；對于色度分量（chroma），預測是對整個(gè)8×8塊進(jìn)行的，有4種預測模式。除了DC預測外，其他每種預測模式對 應不同方向上的預測。

2. 幀間預測
與以往的標準一樣，H.264使用運動(dòng)估計和運動(dòng)補償來(lái)消除時(shí)間冗余，但是它具有以下五個(gè)不同的特點(diǎn)：
（1）預測時(shí)所用塊的大小可變
由于基于塊的運動(dòng)模型假設塊內的所有像素都做了相同的平移，在運動(dòng)比較劇烈或者運動(dòng)物體的邊緣處這一假設會(huì )與實(shí)際出入較大，從而導致較大的預測誤差，這時(shí) 減小塊的大小可以使假設在小的塊中依然成立。另外小的塊所造成的塊效應相對也小，所以一般來(lái)說(shuō)小的塊可以提高預測的效果。為此，H.264一共采用了7種 方式對一個(gè)宏塊進(jìn)行分割，每種方式下塊的大小和形狀都不相同，這就使編碼器可以根據圖像的內容選擇最好的預測模式。與僅使用16×16塊進(jìn)行預測相比，使 用不同大小和形狀的塊可以使碼率節省15％以上。
（2）更精細的預測精度
在H.264中，Luma分量的運動(dòng)矢量（MV）使用1／4像素精度。Chroma分量的MV由luma MV導出，由于chroma分辨率是luma的一半（對4:2:0），所以其MV精度將為1／8，這也就是說(shuō)1個(gè)單位的chroma MV所代表的位移僅為chroma分量取樣點(diǎn)間距離的1／8。如此精細的預測精度較之整數精度可以使碼率節省超過(guò)20％。
（3）多參考幀
H.264支持多參考幀預測（multiple reference frames），即可以有多于一個(gè)（最多5個(gè)）的在當前幀之前解碼的幀可以作為參考幀產(chǎn)生對當前幀的預測（motion-compensated prediction）。這適用于視頻序列中含有周期性運動(dòng)的情況。采用這一技術(shù)，可以改善運動(dòng)估計（ME）的性能，提高H.264解碼器的錯誤恢復能 力，但同時(shí)也增加了緩存的容量以及編解碼器的復雜性。不過(guò)，H.264的提出是基于半導體技術(shù)的飛速發(fā)展，因此這兩個(gè)負擔在不久的將來(lái)會(huì )變得微不足道。較 之只使用一個(gè)參考幀，使用5個(gè)參考幀可以節省碼率5～10％。
（4）抗塊效應濾波器
抗塊效應濾波器（Deblocking Filter），它的作用是消除經(jīng)反量化和反變換后重建圖像中由于預測誤差產(chǎn)生的塊效應，即塊邊緣處的像素值跳變，從而一來(lái)改善圖像的主觀(guān)質(zhì)量，二來(lái)減少 預測誤差。H.264中的Deblocking Filter還能夠根據圖像內容做出判斷，只對由于塊效應產(chǎn)生的像素值跳變進(jìn)行平滑，而對圖像中物體邊緣處的像素值不連續給予保留，以免造成邊緣模糊。與 以往的Deblocking Filter不同的是，經(jīng)過(guò)濾波后的圖像將根據需要放在緩存中用于幀間預測，而不是僅僅在輸出重建圖像時(shí)用來(lái)改善主觀(guān)質(zhì)量，也就是說(shuō)該濾波器位于解碼環(huán)中 而非解碼環(huán)的輸出外，因而它又稱(chēng)作Loop Filter。需要注意的是，對于幀內預測，使用的是未經(jīng)過(guò)濾波的重建圖像。

3.整數變換
H.264對幀內或幀間預測的殘差（residual）進(jìn)行DCT變換編碼。為了克服浮點(diǎn)運算帶來(lái)的硬件設計復雜，更重要的是舍入誤差造成的編碼器和解碼 器之間不匹配（mismatch）的問(wèn)題，新標準對DCT的定義做了修改，使得變換僅用整數加減法和移位操作即可實(shí)現，這樣在不考慮量化影響的情況下，解 碼端的輸出可以準確地恢復編碼端的輸入。當然這樣做的代價(jià)是壓縮性能的略微下降。此外，該變換是針對4×4塊進(jìn)行的，這也有助于減少塊效應。為了進(jìn)一步利 用圖像的空間相關(guān)性，在對chroma的預測殘差和16×16幀內預測的預測殘差進(jìn)行上述整數DCT變換之后，標準還將每個(gè)4×4變換系數塊中的DC系數 組成2×2或4×4大小的塊，進(jìn)一步做哈達瑪（Hadamard）變換。

4.熵編碼
如果是Slice層預測殘差，H.264有兩種熵編碼的方式：基于上下文的自適應變長(cháng)碼（Context-based Adaptive Variable Length Coding，CAVLC）和基于上下文的自適應二進(jìn)制算術(shù)編碼（Context-based Adaptive Binary Arithmetic Coding，CABAC）；如果不是預測殘差，H.264采用Exp-Golomb碼或CABAC編碼，視編碼器的設置而定。
（1）CAVLC
VLC的基本思想就是對出現頻率大的符號使用較短的碼字，而出現頻率小的符號采用較長(cháng)的碼字。這樣可以使得平均碼長(cháng)最小。在CAVLC中，H.264采用 若干VLC碼表，不同的碼表對應不同的概率模型。編碼器能夠根據上下文，如周?chē)鷫K的非零系數或系數的絕對值大小，在這些碼表中自動(dòng)地選擇，最大可能地與當 前數據的概率模型匹配，從而實(shí)現了上下文自適應的功能。
（2）CABAC
算術(shù)編碼是一種高效的熵編碼方案，其每個(gè)符號所對應的碼長(cháng)被認為是分數。由于對每一個(gè)符號的編碼都與以前編碼的結果有關(guān)，所以它考慮的是信源符號序列整體 的概率特性，而不是單個(gè)符號的概率特性，因而它能夠更大程度地逼近信源的極限熵 ，降低碼率。為了繞開(kāi)算術(shù)編碼中無(wú)限精度小數的表示問(wèn)題以及對信源符號概率進(jìn)行估計，現代的算術(shù)編碼多以有限狀態(tài)機的方式實(shí)現，H.264的CABAC便 是一個(gè)例子，其他的例子還有JPEG2000。在CABAC中，每編碼一個(gè)二進(jìn)制符號，編碼器就會(huì )自動(dòng)調整對信源概率模型（用一個(gè)“狀態(tài)”來(lái)表示）的估 計，隨后的二進(jìn)制符號就在這個(gè)更新了的概率模型基礎上進(jìn)行編碼。這樣的編碼器不需要信源統計特性的先驗知識，而是在編碼過(guò)程中自適應地估計。顯然，與 CAVLC編碼中預先設定好若干概率模型的方法比較起來(lái)，CABAC有更大的靈活性，可以獲得更好的編碼性能——大約10％碼率的降低。以上介紹的特點(diǎn)都 是用來(lái)提高H.264的編碼性能的，此外H.264還具有很好的錯誤恢復能力（error resilience）和網(wǎng)絡(luò )適應性（network adaptability），下面介紹其中的一些特點(diǎn)。

5. SP Slice
SP Slice的主要目的是用于不同碼流的切換（switch），此外也可用于碼流的隨機訪(fǎng)問(wèn)、快進(jìn)快退和錯誤恢復。這里所說(shuō)的不同碼流是指在不同比特率限制 下對同一信源進(jìn)行編碼所產(chǎn)生的碼流。設切換前傳輸碼流中的最后一幀為Al，切換后的目標碼流第一幀為B2（假設是P幀），由于B2的參考幀不存在，所以直 接切換顯然會(huì )導致很大的失真，而且這種失真會(huì )向后傳遞。一種簡(jiǎn)單的解決方法就是傳輸幀內編碼的B2，但是一般I幀的數據量很大，這種方法會(huì )造成傳輸碼率的 陡然增加。根據前面的假設，由于是對同一信源進(jìn)行編碼，盡管比特率不同，但切換前后的兩幀必然有很多相關(guān)性，所以編碼器可以將Al作為B2的參考幀，對 B2進(jìn)行幀間預測，預測誤差就是SP Slice，然后通過(guò)傳遞SP Slice完成碼流的切換。與常規P幀不同的是，生成SP Slice所進(jìn)行的預測是在A(yíng)l和B2的變換域中進(jìn)行的。SP Slice要求切換后B2的圖像應和直接傳送目標碼流時(shí)一樣。顯然，如果切換的目標是毫不相關(guān)的另一碼流，SP Slice就不適用了。

6.靈活的宏塊排序
靈活的宏塊排序（flexible macroblock ordering，FMO），是指將一幅圖像中的宏塊分成幾個(gè)組，分別獨立編碼，某一個(gè)組中的宏塊不一定是在常規的掃描順序下前后連續，而可能是隨機地分 散在圖像中的各個(gè)不同位置。這樣在傳輸時(shí)如果發(fā)生錯誤，某個(gè)組中的某些宏塊不能正確解碼時(shí)，解碼器仍然可以根據圖像的空間相關(guān)性依靠其周?chē)_譯碼的像素 對其進(jìn)行恢復。

H.264編碼技術(shù)
H.264的目標應用涵蓋了目前大部分的視頻服務(wù)，如有線(xiàn)電視遠程監控、交互媒體、數字電視、視頻會(huì )議、視頻點(diǎn)播、流媒體服務(wù)等。H.264為解決不同應 用中的網(wǎng)絡(luò )傳輸的差異。定義了兩層：視頻編碼層（VCL：Video Coding Layer）負責高效的視頻內容表示，網(wǎng)絡(luò )提取層（NAL：Network Abstraction Layer）負責以網(wǎng)絡(luò )所要求的恰當的方式對數據進(jìn)行打包和傳送(如圖所示： 標準的整體框架)。 　　
基本層次（Baseline Profile）：該層次使用了H.264的除了B-Slices，CABAC以及交織編碼模式外所有的特性。該層次主要使用于低時(shí)延的實(shí)時(shí)應用場(chǎng)合。 　　
主要層次（Main Profile）：包含Baseline profile的所有特性，并包括了B-slices，CABAC以及交織編碼模式。它主要針對對時(shí)延要求不高，當壓縮率和質(zhì)量要求較高的場(chǎng)合。 　　
擴展層次(Profile X)：支持所有Baseline profile的特性，但不支持CABAC以及基于宏塊的自適應幀場(chǎng)編碼。該層次主要針對的時(shí)各種網(wǎng)絡(luò )視頻流傳輸方面的應用。

H.264產(chǎn)品
H.264 高清編碼器
MPEG-4 AVC/H.264 高清編碼器是一款專(zhuān)業(yè)的高清音視頻編碼產(chǎn)品。該產(chǎn)品支持幾乎所有模擬 及數字音視頻輸入接口，包括 CVBS、YPbPr、SD/HD-SDI、HDMI 視頻輸入接口、平衡/非平衡模 擬音頻及 AES/EBU、HDMI、SD/HD-SDI 嵌入音頻輸入接口。該設備可對標清及高清的音視頻進(jìn)行編碼，支持 MPEG-4 AVC/H.264 編碼格式，具有極高的 編碼壓縮效率及極佳的視頻質(zhì)量，可廣泛應用于各種數字電視播出系統中。

主要特性
1、支持 H.264/AVC High Profile Level 4.0 及 H.264/AVC High Profile Level 3.0 編碼，先 進(jìn)的視頻預處理算法
2、音頻編碼支持 MPEG1 Audio Layer 2
3、支持 CVBS、S-Video、YPbPr 模擬視頻輸入 • 支持 HDMI，HD/SD-SDI 數字視頻輸入
4、支持平衡及非平衡模擬音頻輸入
5、支持 AES/EBU、HDMI、HD/SD-SDI 數字音頻輸入 • 支持 PAL、NTSC 標清視頻格式
6、支持高清 720P、1080I 視頻格式
7、支持 IP 輸出 TS，UDP 協(xié)議，單播及多播 • 支持液晶按鍵操作