淺談基于IP網(wǎng)絡(luò )的H.264關(guān)鍵技術(shù)及其應用
加入技術(shù)交流群
(2)只包含幀內宏塊的片有兩種，一種是幀內片(Islice)，一種是立即刷新片(IDRslice)，立即刷新片必存在于立即刷新圖像 (IDRpicture)中。與短期參考圖像相比，立即刷新圖像有更強壯的重同步性能。
在無(wú)線(xiàn)IP網(wǎng)絡(luò )環(huán)境下，為了提高幀內圖像的重同步性能，要采用率失真優(yōu)化編碼和設置限制幀內預測標記。
2. 圖像的分割
H.264支持一幅圖像劃分成片，片中宏塊的數目是任意的。在非FMO模式下，片中的宏塊次序是同光柵掃描順序，FMO模式下比較特殊。片的劃分可以適配不同的MTU尺寸，也可以用來(lái)交織分組打包。
3. 參考圖像選擇
參考圖像數據選擇，不論是基于宏塊、基于片，還是基于幀，都是錯誤恢復的有效工具。對于有反饋的系統，編碼器獲得傳輸中丟失圖像區域的信息后，參考圖像可以選擇解碼已經(jīng)正確接收的圖像對應的原圖像區域作參考。在沒(méi)有反饋的系統中，將會(huì )使用冗余的編碼來(lái)增加錯誤恢復性能。
4. 數據的劃分
通常情況下，一個(gè)宏塊的數據是存放在一起而組成片的，數據劃分使得一個(gè)片中的宏塊數據重新組合，把宏塊語(yǔ)義相關(guān)的數據組成一個(gè)劃分，由劃分來(lái)組裝片。
在H.264中有三種不同的數據劃分。
頭信息劃分：包含片中宏塊的類(lèi)型，量化參數和運動(dòng)矢量，是片中最重要的信息。
幀內信息劃分：包含幀內CBPs和幀內系數，幀內信息可以阻止錯誤的蔓延。
幀間信息劃分：包含幀間CBPs和幀間系數，通常比前兩個(gè)劃分要大得多。
幀內信息劃分結合頭信息解出幀內宏塊，幀間信息劃分結合頭信息解出幀間宏塊。幀間信息劃分的重要性最低，對重同步?jīng)]有貢獻。當使用數據劃分時(shí)，片中的數據根據其類(lèi)型被保存到不同的緩存，同時(shí)片的大小也要調整，使得片中最大的劃分小于MTU尺寸。
解碼端若獲得所有的劃分，就可以完整重構片；解碼端若發(fā)現幀內信息或幀間信息劃分丟失，可用的頭信息仍然有很好的錯誤恢復性能。這是因為宏塊類(lèi)型和宏塊的運動(dòng)矢量含有宏塊的基本特征。
5. 參數集的使用
序列的參數集(SPS)包括了一個(gè)圖像序列的所有信息，圖像的參數集(PPS)包括了一個(gè)圖像所有片的信息。多個(gè)不同的序列和圖像參數集經(jīng)排序存放在解碼器。編碼器參考序列參數集設置圖像參數集，依據每一個(gè)已編碼片的片頭的存儲地址選擇合適的圖像參數集來(lái)使用。對序列的參數和圖像的參數進(jìn)行重點(diǎn)保護才能很好地增強H.264錯誤恢復性能。
在差錯信道中使用參數集的關(guān)鍵是保證參數集及時(shí)、可靠地到達解碼端。例如，在實(shí)時(shí)信道中，編碼器用可靠控制協(xié)議及早將他們以帶外傳輸的方式發(fā)送，使控制協(xié)議能夠在引用新參數的第一個(gè)片到達之前把它們發(fā)給解碼器；另外一個(gè)辦法就是使用應用層保護，重發(fā)多個(gè)備份文件，確保至少有一個(gè)備份數據到達解碼端；第三個(gè)辦法就是在編解碼器的硬件中固化參數集設置。
6. 靈活的宏塊次序(FMO)
靈活的宏塊次序是H.264的一大特色，通過(guò)設置宏塊次序映射表(MBAmap)來(lái)任意地指配宏塊到不同的片組，FMO模式打亂了原宏塊順序，降低了編碼效率，增加了時(shí)延，但增強了抗誤碼性能。FMO模式劃分圖像的模式各種各樣，重要的有棋盤(pán)模式、矩形模式等。當然FMO模式也可以使一幀中的宏塊順序分割，使得分割后的片的大小小于無(wú)線(xiàn)網(wǎng)絡(luò )的MTU尺寸。經(jīng)過(guò)FMO模式分割后的圖像數據分開(kāi)進(jìn)行傳輸，以棋盤(pán)模式為例，當一個(gè)片組的數據丟失時(shí)可用另一個(gè)片組的數據(包含丟失宏塊的相鄰宏塊信息)進(jìn)行錯誤掩蓋。實(shí)驗數據顯示，當丟失率為(視頻會(huì )議應用時(shí))10%時(shí)，經(jīng)錯誤掩蓋后的圖像仍然有很高的質(zhì) 量。
7. 冗余片方法
前邊提到了當使用無(wú)反饋的系統時(shí)，就不能使用參考幀選擇的方法來(lái)進(jìn)行錯誤恢復，應該在編碼時(shí)增加冗余的片來(lái)增強抗誤碼性能。要注意的是這些冗余片的編碼參數與非冗余片的編碼參數不同，也就是用一個(gè)模糊的冗余片附加在一個(gè)清晰的片之后。在解碼時(shí)先解清晰的片，如果其可用就丟棄冗余片；否則使用冗余模糊片來(lái)重構圖像。
四、H.264中實(shí)時(shí)傳輸協(xié)議(RTP)
1. RTP載荷規范
在第二部分已經(jīng)對H.264的網(wǎng)絡(luò )協(xié)議環(huán)境作了闡述，這里要詳細討論RTP的載荷規范和抗誤碼性能。RTP通過(guò)發(fā)送冗余信息來(lái)減少接收端的丟包率，會(huì )增加時(shí)延，與冗余片不同的是它增加的冗余信息是個(gè)別重點(diǎn)信息的備份，適合于應用層的非等重保護。下邊闡述與多媒體傳輸有關(guān)的3個(gè)規范。
(1)分組復制多次重發(fā)，發(fā)送端對最重要的比特信息分組進(jìn)行復制重發(fā)，使得保證接收端能至少正確接收到一次，同時(shí)接收端要丟棄已經(jīng)正確接收的分組的多余備份。
(2)基于分組的前向糾錯，對被保護的分組進(jìn)行異或運算，將運算結果作為冗余信息發(fā)送到接收方。由于時(shí)延，不用于對話(huà)型應用，可用于流媒體。
(3)音頻冗余編碼，可保護包括視頻在內的任何數據流。每個(gè)分組由頭標、載荷以及前一分組的載荷組成，H.264中可與數據分割一起使用。
評論