實(shí)時(shí)網(wǎng)絡(luò )視頻設計方案

在某個(gè)層面上，On2 科技有限公司 （On2 Technologies） 的 TrueMotion VP7 技術(shù)實(shí)現這一目標的方式與其它視頻編解碼器幾乎相同。不過(guò)，On2 的VP7技術(shù)卻包含了多項使其與眾不同、脫穎而出的創(chuàng )新性技術(shù)，而且這些技術(shù)目前正在申請專(zhuān)利。

　　黃金幀 （Golden Frame）

　　對 On2 TrueMotion 編解碼器的新用戶(hù)而言，最令人驚喜的功能之一是黃金幀。就象其它壓縮器一樣，TrueMotion 也保留一個(gè)最新解壓的幀作為當前幀的預測器。TrueMotion 編解碼器和 VP7 則特別改為保留過(guò)去任意一個(gè)解壓數據的幀。這種編解碼器能夠更新某個(gè)幀在未來(lái)任一點(diǎn)的任何部分。我們稱(chēng)這種二級參考幀為黃金幀，并已發(fā)掘出它的眾多用途。

　　數據在網(wǎng)絡(luò )上是以很小的稱(chēng)為幀（Frame）的單位傳輸的，幀由幾部分組成，不同的部分執行不同的功能。幀通過(guò)特定的稱(chēng)為網(wǎng)絡(luò )驅動(dòng)程序的軟件進(jìn)行成型，然后通過(guò)網(wǎng)卡發(fā)送到網(wǎng)線(xiàn)上，通過(guò)網(wǎng)線(xiàn)到達它們的目的機器，在目的機器的一端執行相反的過(guò)程。接收端機器的以太網(wǎng)卡捕獲到這些幀，并告訴操作系統幀已到達，然后對其進(jìn)行存儲。就是在這個(gè)傳輸和接收的過(guò)程中，嗅探器會(huì )帶來(lái)安全方面的問(wèn)題 。

　　圖1：On2 VP7的幀類(lèi)型

　　幀--就是影像動(dòng)畫(huà)中最小單位的單幅影像畫(huà)面，相當于電影膠片上的每一格鏡頭。 一幀就是一副靜止的畫(huà)面，連續的幀就形成動(dòng)畫(huà)，如電視圖象等。 我們通常說(shuō)幀數，簡(jiǎn)單地說(shuō)，就是在1秒鐘時(shí)間里傳輸的圖片的幀數，也可以理解為圖形處理器每秒鐘能夠刷新幾次，通常用fps（Frames Per Second）表示。每一幀都是靜止的圖象，快速連續地顯示幀便形成了運動(dòng)的假象。高的幀率可以得到更流暢、更逼真的動(dòng)畫(huà)。每秒鐘幀數 （fps） 愈多，所顯示的動(dòng)作就會(huì )愈流暢。 　　關(guān)鍵幀--任何動(dòng)畫(huà)要表現運動(dòng)或變化，至少前后要給出兩個(gè)不同的關(guān)鍵狀態(tài)，而中間狀態(tài)的變化和銜接電腦可以自動(dòng)完成，在Flash中，表示關(guān)鍵狀態(tài)的幀叫做關(guān)鍵幀。

　　注：這些幀類(lèi)型僅供參考。利用 VP7 入門(mén)開(kāi)發(fā)工具包，用戶(hù)可以準確控制幀何時(shí)使用或更新黃金幀或最后的幀參考緩沖器。

　　前景影響大

　　我們發(fā)現黃金幀的第一個(gè)用途是前景和背景視頻的分割。例如，大多數視頻會(huì )議應用中，總是有一個(gè)人在靜態(tài)的背景前面講話(huà)。這個(gè)發(fā)言人遮蔽了背景，但隨著(zhù)他在座位上的移動(dòng)，會(huì )顯露出局部背景。TrueMotion編解碼器利用非移動(dòng)的高質(zhì)模塊來(lái)更新黃金幀，即使前景快速移動(dòng)，也可以保持高質(zhì)量的背景圖像。

　　丟包恢復

　　我們還可以在丟包情況下采用黃金幀。在一般的視頻會(huì )議系統中，接收器在發(fā)現丟包時(shí)，會(huì )用信號通知發(fā)送者。發(fā)送者一接收到這個(gè)信號，就會(huì )對一個(gè)獨立于前面各幀的幀 （即‘關(guān)鍵幀’） 進(jìn)行編碼來(lái)恢復。該幀由于必須從頭開(kāi)始編碼，故往往非常大，這會(huì )導致視頻的播放斷斷續續。另一種情況是，這是一個(gè)低質(zhì)量的幀，看起來(lái)比周邊的幀要模糊，而且產(chǎn)生視覺(jué)干擾脈沖。

　　VP7恢復幀

　　幀0是關(guān)鍵幀

　　幀1到6都只根據前一個(gè)幀來(lái)構建預測器

　　幀7只以幀0為參考

　　即使幀1到6中的任一個(gè)丟失了，VP7仍然能夠對幀7進(jìn)行解碼，因為它只以幀0為參考

　　圖2：利用恢復幀來(lái)處理丟包問(wèn)題

　　視頻會(huì )議

　　電視會(huì )議是用電視和電話(huà)在兩個(gè)或多個(gè)地點(diǎn)的用戶(hù)之間舉行會(huì )議，實(shí)時(shí)傳送聲音、圖像的通信方式。它同時(shí)還可以附加靜止圖像、文件、傳真等信號的傳送。參加電視會(huì )議的人，可以通過(guò)電視發(fā)表意見(jiàn)，同時(shí)觀(guān)察對方的形象、動(dòng)作、表情等，并能出示實(shí)物、圖紙、文件等實(shí)拍的電視圖像或者顯示在黑板、白板上寫(xiě)的字和畫(huà)的圖，使在不財點(diǎn)參加會(huì )議的人感到如同和對方進(jìn)行“面對面”的交談，在效果上可以代替現場(chǎng)舉行的會(huì )議。

　　多方視頻會(huì )議也可以采用黃金幀。在多方會(huì )議系統中，各個(gè)用戶(hù)的連接帶寬都不同。一般的解決方案是把帶寬減小到一個(gè)假定的最小公分母：所有用戶(hù)都以最慢的連接都能接收的速度來(lái)收取數據。

　　基于On2 VP7技術(shù)的系統則采用了一種新穎的替代方案。通過(guò)使用黃金幀、普通幀和可拋棄幀，VP7 可獲得四個(gè)級別的有限時(shí)間可調性。這意味著(zhù)我們可以根據每一方的需要生成不同的比特流 （參見(jiàn)圖3）。這樣，會(huì )議中的高清方就不會(huì )受到較低速連接的影響。最重要的是，這種方案無(wú)需額外的CPU成本。

　　圖3：采樣時(shí)間可調性模式和On2 VP7