關(guān)于H.264視頻編碼傳輸的QoS特性分析
加入技術(shù)交流群
4. 冗余片方法
H.264中參考圖像的選擇與以前在H.263中的一樣，在基于反饋的系統中，解碼器接收到丟失或被破壞的圖像信息時(shí)，選擇參考圖像序列中正確的參考宏塊，來(lái)進(jìn)行錯誤恢復；而對于無(wú)反饋的系統，H.264提出了冗余分片編碼。
冗余分片允許編碼器把在同一個(gè)碼流中添加同一MB的一個(gè)或更多冗余表示。需要注意的是這些冗余片的編碼參數與非冗余片的編碼參數不同，例如主片可用低QP（高質(zhì)量）來(lái)編碼，而冗余信息中能用一個(gè)高QP（低質(zhì)量）的方式來(lái)編碼，這樣質(zhì)量粗糙一些但碼率更低。解碼器在重構時(shí)，首先使用主片，如果它可用就拋棄冗余片；而如主片丟失（比如因為包的丟失）冗余片也能被用于重構。冗余片主要用于支持高誤碼的移動(dòng)環(huán)境。
5. 幀內編碼
H.264中幀內編碼大體上類(lèi)似于以往的視頻編碼標準，但也進(jìn)行了重要的改進(jìn)，主要體現在：
?。?）H.264中幀內預測宏塊的參考宏塊可以是幀間編碼宏塊，幀內預測宏塊并不像H.263中的幀內編碼一樣，而采用預測的幀內編碼比非預測的幀內編碼有更好的編碼效率，但降低了幀內編碼的重同步性能，可以通過(guò)設置限制幀內預測標記來(lái)恢復這一性能。
?。?）只包含幀內宏塊的片有兩種，一種是幀內片（I Slice），一種是立即刷新片（IDR Slice）。立即刷新片需存在于立即刷新圖像（IDR Picture）中。與短期參考圖像相比，立即刷新圖像有更強壯的重同步性能。
為了更適用無(wú)線(xiàn)IP網(wǎng)絡(luò )環(huán)境中的應用，H.264通過(guò)采用率失真優(yōu)化編碼和設置幀內預測標志，來(lái)提高幀內圖像的重同步性能。
四、H.264的網(wǎng)絡(luò )提取層的錯誤恢復
NAL支持眾多基于包的有線(xiàn)/無(wú)線(xiàn)通信網(wǎng)絡(luò )，諸如H.320、MPEG-2和RTP/IP等。但目前，絕大部分的視頻應用所采用的網(wǎng)絡(luò )協(xié)議層次是RTP/UDP/IP，因此在下面的描述中主要基于這個(gè)傳輸框架。下面首先分析NAL層的基本處理單元NALU以及它的網(wǎng)絡(luò )封裝、分割和合并的方法。
1. NAL單元
每個(gè)NAL單元是一個(gè)一定語(yǔ)法元素的可變長(cháng)字節字符串，包括包含一個(gè)字節的頭信息（用來(lái)表示數據類(lèi)型），以及若干整數字節的負荷數據。一個(gè)NAL單元可以攜帶一個(gè)編碼片、A/B/C型數據分割或一個(gè)序列或圖像參數集。
NAL單元按RTP序列號按序傳送。其中，T為負荷數據類(lèi)型，占5bit；R為重要性指示位，占2個(gè)bit；最后的F為禁止位，占1bit。具體如下：
?。?）NALU類(lèi)型位
可以表示NALU的32種不同類(lèi)型特征，類(lèi)型1～12是H.264定義的，類(lèi)型24～31是用于H.264以外的，RTP負荷規范使用這其中的一些值來(lái)定義包聚合和分裂，其他值為H.264保留。
?。?）重要性指示位
用于在重構過(guò)程中標記一個(gè)NAL單元的重要性，值越大，越重要。值為0表示這個(gè)NAL單元沒(méi)有用于預測，因此可被解碼器拋棄而不會(huì )有錯誤擴散；值高于0表示此NAL單元要用于無(wú)漂移重構，且值越高，對此NAL單元丟失的影響越大。
?。?）禁止位
編碼中默認值為0，當網(wǎng)絡(luò )識別此單元中存在比特錯誤時(shí)，可將其設為1，以便接收方丟掉該單元，主要用于適應不同種類(lèi)的網(wǎng)絡(luò )環(huán)境（比如有線(xiàn)無(wú)線(xiàn)相結合的環(huán)境）。例如對于從無(wú)線(xiàn)到有線(xiàn)的網(wǎng)關(guān)，一邊是無(wú)線(xiàn)的非IP環(huán)境，一邊是有線(xiàn)網(wǎng)絡(luò )的無(wú)比特錯誤的環(huán)境。假設一個(gè)NAL單元到達無(wú)線(xiàn)那邊時(shí)，校驗和檢測失敗，網(wǎng)關(guān)可以選擇從NAL流中去掉這個(gè)NAL單元，也可以把已知被破壞的NAL單元前傳給接收端。在這種情況下，智能的解碼器將嘗試重構這個(gè)NAL單元（已知它可能包含比特錯誤）。而非智能的解碼器將簡(jiǎn)單地拋棄這個(gè)NAL單元。NAL單元結構規定了用于面向分組或用于流的傳輸子系統的通用格式。在H.320和MPEG-2系統中，NAL單元的流應該在NAL單元邊界內，每個(gè)NAL單元前加一個(gè)3字節的起始前綴碼。在分組傳輸系統中，NAL單元由系統的傳輸規程確定幀界，因此不需要上述的起始前綴碼。一組NAL單元被稱(chēng)為一個(gè)接入單元，定界后加上定時(shí)信息（SEI），形成基本編碼圖像。該基本編碼圖像（PCP）由一組已編碼的NAL單元組成，其后是冗余編碼圖像（RCP），它是PCP同一視頻圖像的冗余表示，用于解碼中PCP丟失情況下恢復信息。如果該編碼視頻圖像是編碼視頻序列的最后一幅圖像，應出現序列NAL單元的end，表示該序列結束。一個(gè)圖像序列只有一個(gè)序列參數組，并被獨立解碼。如果該編碼圖像是整個(gè)NAL單元流的最后一幅圖像，則應出現流的end?！?
H.264采用上述嚴格的接入單元，不僅使H.264可自適應于多種網(wǎng)絡(luò )，而且進(jìn)一步提高其抗誤碼能力。序列號的設置可發(fā)現丟的是哪一個(gè)VCL單元，冗余編碼圖像使得即使基本編碼圖像丟失，仍可得到較“粗糙”的圖像。
2. H.264中的RTP
上面闡述了NAL單元的結構和實(shí)現，這里要詳細討論RTP的載荷規范和抗誤碼性能。RTP可通過(guò)發(fā)送冗余信息來(lái)減少接收端的丟包率，會(huì )增加時(shí)延，與冗余片不同的是它增加的冗余信息是個(gè)別重點(diǎn)信息的備份，適合于非平等保護機制。相應的多媒體傳輸規范有：
?。?）分組復制多次重發(fā)，發(fā)送端對最重要的比特信息分組進(jìn)行復制重發(fā)，使得保證接收端能至少正確接收到一次，同時(shí)接收端要丟棄已經(jīng)正確接收的分組的多余備份。
（2）基于分組的前向糾錯，對被保護的分組進(jìn)行異或運算，將運算結果作為冗余信息發(fā)送到接收方。由于時(shí)延，不用于對話(huà)型應用，可用于流媒體。
?。?）音頻冗余編碼，可保護包括視頻在內的任何數據流。每個(gè)分組由頭標、載荷以及前一分組的載荷組成，H.264中可與數據分割一起使用。
評論