VR技術(shù)及其新聞應用前景研究

　　本文首先介紹了VR在新聞等各個(gè)領(lǐng)域的應用，并介紹了VR目前面臨的主要問(wèn)題。為了解決這個(gè)問(wèn)題，我們提出了基于自適應FEC編碼的VR傳輸協(xié)議MPFEC，可以充分利用多路徑的能力，并根據冗余包恢復丟失的數據包以降低時(shí)延，保證更好的VR的沉浸式用戶(hù)體驗，使VR在新聞領(lǐng)域廣泛使用成為可能。

　　引言

　　最近迅猛發(fā)展的VR(虛擬現實(shí))技術(shù)給新聞、游戲、教育、藝術(shù)、甚至醫療等眾多領(lǐng)域帶來(lái)了天翻地覆的變化，VR能夠利用計算機生成一種多源信息融合的、交互式的三維動(dòng)態(tài)視景仿真環(huán)境，使用戶(hù)沉浸到該環(huán)境中，給人身臨其境、重現現場(chǎng)的效果，這種現場(chǎng)感也是新聞媒體業(yè)追求的目標，同時(shí)也會(huì )給用戶(hù)帶來(lái)時(shí)空穿越的感覺(jué)，拉近和新聞事件的距離，使用戶(hù)產(chǎn)生強烈的體會(huì )和感受。

　　紐約時(shí)報(New York Times)、美國有線(xiàn)電視新聞網(wǎng)(CNN)和英國廣播公司(BBC)等媒體大軍紛紛加入VR陣營(yíng)，打造VR全景新聞視頻吸引受眾，并且希望最終從中獲益，提高自身競爭力。2017年3月7日，CNN宣布正式成立名為“CNNVR”的虛擬現實(shí)新聞部門(mén)，該部門(mén)專(zhuān)注于VR新聞，每周推出一期360度全景視頻，并不定期舉行VR現場(chǎng)直播，使用戶(hù)借助具備浸入感的電視新聞產(chǎn)品了解全球大事，并獲得了不錯的效果，其中包括敘利亞北部的交通要道和軍事重鎮阿勒頗遭受襲擊、美國總統就職等視頻在臉譜網(wǎng)上有超過(guò)3000萬(wàn)的點(diǎn)擊量。美國廣播公司(ABC)、英國廣播公司(BBC)、美聯(lián)社、美國全國廣播公司(NBC)等多家廣電媒體提供了新鮮的VR觀(guān)賽體驗，全方位地轉播了開(kāi)閉幕式、跳水、拳擊等精彩盛典賽事，讓屏幕前的用戶(hù)如同置身現場(chǎng)一般感受盛典的宏大場(chǎng)面以及奧運賽場(chǎng)的緊張氣氛。

　　同時(shí)，隨著(zhù)技術(shù)和硬件的普及，VR設備的獲得門(mén)檻和成本越來(lái)越低。按照硬件形態(tài)來(lái)劃分，VR設備主要分為三種：PC端VR、一體機VR、移動(dòng)端頭顯(又叫手機VR)。其中PC端VR是目前體驗最好的VR，典型的是Oculus Rift、HTC的Vive，這類(lèi)VR設備需要連接電腦，因此他們擁有更強勁的性能，可以渲染出更精良的VR內容，但是會(huì )受到數據線(xiàn)的束縛;一體機VR，顧名思義，它具有獨立CPU、輸入和輸出顯示功能，完全擺脫傳輸線(xiàn)的束縛，但是由于CPU性能和顯示屏分辨率的限制，其體驗效果不如PC端VR;移動(dòng)端頭顯是最便宜的一種入門(mén)版VR頭戴設備，只需花10磅就可以購買(mǎi)一個(gè)谷歌紙板，向其中放入手機并打開(kāi)YouTube，就能體驗“無(wú)與倫比”的VR視頻，移動(dòng)端頭顯讓一些擁有手機的用戶(hù)可以輕松享受到VR技術(shù)。

　　VR視頻傳輸質(zhì)量深刻影響VR用戶(hù)體驗，是VR中至關(guān)重要的技術(shù)之一。VR視頻傳輸的一大特點(diǎn)是傳輸數據量大，雖然采用FOV傳輸方案可以有效降低帶寬，但是VR的沉浸式用戶(hù)體驗與數據傳輸時(shí)延密不可分。較大的傳輸時(shí)延會(huì )帶來(lái)較大的頭動(dòng)延時(shí)和較差的用戶(hù)體驗。目前移動(dòng)VR設備逐步成為主流，VR視頻數據通過(guò)無(wú)線(xiàn)方式傳輸到VR設備中，數據在無(wú)線(xiàn)信道中傳輸會(huì )因為干擾和擁塞而丟包，而丟包重傳會(huì )帶來(lái)較大時(shí)延。為了降低傳輸延時(shí)，提高VR用戶(hù)體驗，我們提出了基于自適應FEC編碼的VR傳輸協(xié)議MPFEC，可以利用多路徑傳輸視頻數據，并根據冗余包恢復丟失的數據包以解決重傳帶來(lái)的高時(shí)延問(wèn)題。

　　問(wèn)題和挑戰

　　VR視頻傳輸的一大特點(diǎn)是傳輸數據量大，碼率大(平均碼率在5000kbps左右，碼率變動(dòng)比傳統視頻小)，為了降低傳輸帶寬，有人提出采用FOV傳輸方案代替360度傳輸方案，FOV傳輸方案工作原理見(jiàn)圖3所示，VR設備將用戶(hù)當前頭部位置傳至服務(wù)器，服務(wù)器返回對應頭部位置的視頻圖像，由VR設備進(jìn)行渲染并呈現給用戶(hù)。若采用FOV傳輸方案，VR的沉浸式用戶(hù)體驗與數據傳輸時(shí)延密不可分。較大的傳輸時(shí)延會(huì )帶來(lái)較大的頭動(dòng)延時(shí) (Motion-To-Photon Latency)，使用戶(hù)產(chǎn)生眩暈感等較差的用戶(hù)體驗，嚴重時(shí)會(huì )對用戶(hù)健康造成損害。

　　由此可見(jiàn)，要想獲得更好的VR體驗， VR傳輸協(xié)議需要滿(mǎn)足以下兩個(gè)主要需求：高帶寬和低時(shí)延。

　　MPFEC系統設計

　　目前移動(dòng)VR設備逐步成為主流，VR視頻數據通過(guò)WiFi、LTE等無(wú)線(xiàn)方式傳輸到VR設備中，數據在無(wú)線(xiàn)信道中傳輸會(huì )因為干擾和擁塞而丟包，不同無(wú)線(xiàn)信道的RTT和丟包率也各異。為了降低傳輸延時(shí)，充分利用多路徑的優(yōu)勢，我們提出了基于自適應FEC編碼的VR傳輸協(xié)議MPFEC，可以利用多路徑傳輸視頻數據，并根據冗余包恢復丟失的數據包以解決重傳帶來(lái)的高時(shí)延問(wèn)題，提高VR用戶(hù)體驗。

　　1.發(fā)送端架構

　　MPFEC發(fā)送端的基本架構如下圖所示：

　　用戶(hù)在線(xiàn)觀(guān)看VR視頻時(shí)，視頻并不是一次性傳送到用戶(hù)計算機上的，這樣會(huì )占用太多的帶寬，所以，視頻會(huì )被切割成若干個(gè)小時(shí)間片段依次傳送，同時(shí)每一個(gè)時(shí)間片段的視頻也會(huì )切分為相同大小的分塊，每一個(gè)分塊采用不同碼率進(jìn)行編碼。發(fā)送端的視頻分塊選擇模塊(Video Tile Selector)會(huì )根據反饋的當前網(wǎng)絡(luò )RTT丟包率等信息選擇相應碼率的視頻分塊并輸入編碼模塊(FEC Encoder)進(jìn)行編碼。原始數據和編碼數據并行傳輸至數據包分配和擁塞控制模塊(Packet Allocate & Congestion Control Unit)，該模塊會(huì )根據不同子路徑的實(shí)際情況進(jìn)行路徑分配和發(fā)送速率控制。原始數據和編碼數據均以UDP數據包的形式在各個(gè)子路徑中傳輸。

　　2.接收端架構

　　MPFEC接收端的基本架構如下圖所示：

　　MPFEC接收端會(huì )從不同子路徑中收到不同的原始數據包和編碼數據包，網(wǎng)絡(luò )監控模塊(Network Monitor)會(huì )統計丟包率等信息，并將各個(gè)子路徑的網(wǎng)絡(luò )狀態(tài)信息傳給反饋發(fā)送模塊(Feedback Sender)，由其將各個(gè)子路徑的網(wǎng)絡(luò )狀況信息和用戶(hù)當前頭部角度反饋給發(fā)送端。接收到的數據包會(huì )儲存在緩存模塊(Buffer)中，當所有原始數據包均收到時(shí)，原始數據直接傳送至視頻解碼和拼接模塊(Video Decode & Stitch)，當原始數據沒(méi)有完全收齊但是該分塊的數據包總數到達一定數量時(shí)，數據包將會(huì )被傳送至解碼模塊(FEC Decoder)中，解碼成功后，視頻數據會(huì )傳送至視頻解碼和拼接模塊(Video Decode & Stitch)，由該模塊進(jìn)行視頻解碼和拼接，并呈現給用戶(hù)。

　　MPFEC系統實(shí)現

　　MPFEC系統的實(shí)現分為其發(fā)送端實(shí)現和接收端實(shí)現兩部分，目前還在實(shí)現階段。FEC編解碼算法采用自適應參數的Semi-Random LT codes算法，視頻編解碼算法采用H.264算法。

　　總結

　　最近迅猛發(fā)展的VR(虛擬現實(shí))技術(shù)給新聞、游戲、教育、藝術(shù)、甚至醫療等眾多領(lǐng)域帶來(lái)了天翻地覆的變化，各大主流媒體大軍紛紛加入VR陣營(yíng)，打造VR全景新聞視頻和VR直播吸引受眾。VR視頻傳輸質(zhì)量深刻影響VR用戶(hù)體驗，是VR中至關(guān)重要的技術(shù)之一。VR視頻傳輸具有傳輸數據量大的特點(diǎn)，雖然采用FOV傳輸方案可以有效降低帶寬，但是VR的沉浸式用戶(hù)體驗與數據傳輸時(shí)延密不可分。較大的傳輸時(shí)延會(huì )帶來(lái)較大的頭動(dòng)延時(shí)和較差的用戶(hù)體驗。為了降低傳輸延時(shí)，充分利用多路徑的優(yōu)勢，我們提出了基于自適應FEC編碼的VR傳輸協(xié)議MPFEC，可以利用多路徑傳輸視頻數據，并根據冗余包恢復丟失的數據包以解決重傳帶來(lái)的高時(shí)延問(wèn)題，提高VR用戶(hù)體驗，為VR技術(shù)在新聞出版業(yè)中獲得更廣泛的應用打下堅實(shí)的技術(shù)基礎。