在移動(dòng)終端上實(shí)現沉浸式的VR體驗

摘要：為了使頭顯VR達到沉浸式效果，需要在視覺(jué)、聽(tīng)覺(jué)以及用戶(hù)體驗上提高，這對處理器及工具軟件提出了挑戰，高通已有相關(guān)的解決方案。

VR時(shí)代正在到來(lái)

　　VR(虛擬現實(shí))是劃時(shí)代的革命產(chǎn)品，可以給人們帶來(lái)真實(shí)的感受，可以讓你去一些你無(wú)法去的地方，讓你身臨其境地感受到現實(shí)生活中無(wú)法感受到的一些體驗，比如觀(guān)看美國大峽谷的日落，可以360°欣賞景色，還可以聽(tīng)到真實(shí)的鳥(niǎo)鳴和瀑布聲。

　　上個(gè)世紀90年代曾掀起過(guò)VR熱，但那時(shí)僅僅是曇花一現，因為當時(shí)無(wú)論從生態(tài)鏈的內容角度還是從技術(shù)角度，都沒(méi)有達到一個(gè)可以使VR進(jìn)入到平常百姓家的能力。VR今天已經(jīng)是時(shí)候爆發(fā)了，日本等地已經(jīng)把2016年看作是VR元年，而且VR很可能成為繼電腦和手機之后的下一個(gè)熱潮。

　　移動(dòng)手機業(yè)對于未來(lái)最被看好的VR主流形態(tài)——一體機VR有巨大的推動(dòng)作用?，F在很多做VR設備的人是做手機和平板的設備廠(chǎng)商，不管從硬件系統架構還是從生態(tài)鏈和供應鏈上，跟手機的關(guān)系是非常緊密的。手機擁有很大的體量，擁有大規模效應，可以極大拉低從芯片到外圍器件的成本。手機還有非?？斓牡芷?，大部分廠(chǎng)商一年甚至不到一年就能替代一代產(chǎn)品?？梢?jiàn)，手機和VR打通管道之后，能夠被大眾接受的難度就大大降低了。

　　從設備體驗看，需要從三個(gè)角度來(lái)提供手機的沉浸式體驗的感受(如圖1)。首先，視覺(jué)方面，需要有超高分辨率的支持，需要在芯片前端做圖像轉換的功能;聲音側也會(huì )提供真實(shí)的分辨率聲音、高清聲音以及3D聲音的一些算法;在交互上，高通也會(huì )針對目前所提供的用戶(hù)調查報告以及人體工程學(xué)的數據，從頭部運動(dòng)到畫(huà)面隨動(dòng)上面，從用戶(hù)交互、手勢跟蹤、眼球跟蹤等方面，以及用戶(hù)頭部旋轉和運動(dòng)移動(dòng)的位置跟蹤上，優(yōu)化移動(dòng)VR的體驗。

視覺(jué)

　　*視覺(jué)處理

　　視覺(jué)是體驗感最關(guān)鍵的因素。如果我們把目前的2K手機插到VR盒子里看，可以明顯地看到三格效應。因為人的視角非常廣闊，有超過(guò)180°的視角，但真正能感受到比較多信息的視角約在50°~60°(如圖2)。當視角超過(guò)100°、120°的情況下，目前的手機或者電腦的最高分辨率也無(wú)法達到目前我們對VR的需求。目前手機4K被普遍認為是沒(méi)有必要的，只是額外增加手機功耗。但對于VR來(lái)說(shuō)，4K、8K遠遠沒(méi)有達到要求，有可能到10K以后才能達到視網(wǎng)膜屏幕的解析度。

　　目前市面上已經(jīng)出現了眼球跟蹤技術(shù)及產(chǎn)品發(fā)布。所謂眼球跟蹤技術(shù)，因為人真正能注意到的視角很窄，可能只有20°、30°，余光看到50°、60°以外是獲取不到太多信息的。根據人體功能學(xué)的這一特點(diǎn)，我們可以在畫(huà)面渲染時(shí)增加眼球跟蹤技術(shù)，這樣就可以知道目前用戶(hù)的眼睛盯在什么地方，并在眼睛盯著(zhù)的范圍之內重點(diǎn)做100%的全景渲染，而在周邊區域可以慢慢降低渲染程度，比如只渲染一半的像素，另一半像素只需要通過(guò)一些其他算法做一些模糊效果即可。所以當眼球跟蹤技術(shù)的時(shí)延達到一定程度，人的眼睛是完全感覺(jué)不到的。此技術(shù)最大的好處是大大減少了CPU圖形渲染的工作量，同時(shí)提高了渲染效果以及CPU運行的效率。

　　另外，目前VR領(lǐng)域因為鏡片的簡(jiǎn)單造成了圖片的畸變。因為現在的VR眼鏡不可能像傳統的專(zhuān)業(yè)單反相機或專(zhuān)業(yè)鏡頭，可以用多組鏡頭實(shí)現?，F在的VR基本上是一組凸透鏡，這是無(wú)法達到中間和邊緣都一致的效果。所以如果一個(gè)正方形的圖像顯示在VR屏幕上，且僅通過(guò)一組透鏡到達人眼的效果，會(huì )發(fā)現四個(gè)角會(huì )被明顯拉長(cháng)(如圖3右上)。所以在CPU側的前端要做一些補償。

　　CPU怎么補償?我們會(huì )在顯示上做一個(gè)桶形的圖像(如圖3左下)，如果你看手機上一些這種類(lèi)型的VR，看的時(shí)候把手機摘下來(lái)，你會(huì )發(fā)現左右的形狀是桶形，但是最后通過(guò)凸透鏡可以變成正方形。

　　還有一點(diǎn)也是目前VR沒(méi)法改變的情況，就是在邊緣處，由于可見(jiàn)光的不同顏色的光的波長(cháng)不一樣，會(huì )通過(guò)透鏡邊緣出現色散的問(wèn)題(如圖4上)，這需要色彩校正。方法是做反向處理，將原來(lái)一個(gè)點(diǎn)變成三個(gè)點(diǎn)，通過(guò)凸透鏡折射之后，形成一個(gè)方向的曲線(xiàn)，這樣可以看到邊緣和中間一樣清晰。所有這些技術(shù)都需要在送到顯存的時(shí)候就要做優(yōu)化。

　　*360°全景

　　VR宣稱(chēng)可以360°看到圖像，所以從源端到設備端都需要整個(gè)產(chǎn)業(yè)鏈共同推進(jìn)。我們看到源端360°采集是多種多樣的，從大而笨重的設備去采集，到現在由于算法升級，所以攝像頭的相機數量可以減少到三四個(gè)、兩個(gè)魚(yú)眼鏡頭，所以我們可以不斷地推進(jìn)，包括采集設備、360°全景照片的編碼格式等，都需要整個(gè)業(yè)界做促進(jìn)和統一。

　　而在VR設備端，需要針對目前沒(méi)有達到統一的360°視頻形式做各種適應的編/解碼，甚至需要左、右眼區別對待。

　　*3D效果

　　3D帶來(lái)景深效果。當我們看3D電影或者玩3D游戲時(shí)，可能需要CPU分辨左、右眼，讓大家感受到景深/3D效果。原理眾所周知，因為人的左、右眼之間有距離，不同景深對應人的左、右眼的圖像不一樣。當圖6中一個(gè)紅點(diǎn)遮擋汽車(chē)時(shí)，左、右眼不僅在視網(wǎng)膜上投影有位移，同時(shí)汽車(chē)的位置也有位移。所以我們在很多全景游戲和3D游戲方面，需要在CPU上做左、右眼的渲染。

聽(tīng)覺(jué)

　　目前VR的聽(tīng)覺(jué)雖然沒(méi)有視覺(jué)那么被重視，但是在整個(gè)VR的沉浸式體驗中也是非常重要的，其中包括高分辨率的聲音以及基于3D的定位聲音。目前如果我們用手機或者電腦來(lái)聽(tīng)音樂(lè )、看電影，如果要分辨聲音從什么地方傳過(guò)來(lái)，通常是通過(guò)聲音的強度來(lái)判斷的：如果來(lái)自左聲道，你會(huì )發(fā)現左聲道聲音大，右聲道聲音小，但是這遠遠達不到3D的效果。我們還需要聲音達到左、右耳時(shí)有微小的時(shí)延，而且不僅是左右，還有上下、前后，以及斜前方、斜后方等位置。我們還要通過(guò)算法，體驗到聲音已到我們面前了;我們也可以隨時(shí)改變這個(gè)函數，達到最真實(shí)的效果。

　　另外，當聲源開(kāi)始移動(dòng)時(shí)，這時(shí)也一樣可以通過(guò)傳輸的函數計算出來(lái)，在任何一個(gè)時(shí)刻它傳到左、右耳的效果是什么樣。而且還有根據人體工程學(xué)和耳道模型做的耳道傳輸函數，會(huì )考慮人的耳廓、外耳、中耳和內耳的人體工程學(xué)結構，考慮到你的反射，以達到最好的效果。

　　還有一些聲源在不同的室內環(huán)境，諸如浴室、臥室、客廳，或者在展館、室外，會(huì )產(chǎn)生不同的反射和效果，這是游戲開(kāi)發(fā)者在做游戲時(shí)需要重點(diǎn)考慮的方面。目前PC游戲基本可以達到令人滿(mǎn)意的效果，但是在VR上要考慮人的頭部轉動(dòng)和聲源變動(dòng)，因此變量復雜得多，計算過(guò)程也更復雜。

　　目前高通領(lǐng)先的手機芯片驍龍820會(huì )支持音頻的功能，像高分辨率的音頻及噪聲技術(shù)，以及同時(shí)進(jìn)行音頻和視頻的處理。

用戶(hù)交互體驗

　　時(shí)延被認為越短越好。關(guān)于頭部的運動(dòng)，目前市面上看到的大部分一體機或者分體機，基本有三個(gè)維度的頭部運動(dòng)：X軸、Y軸和Z軸(如圖7)，手機陀螺儀就用于此，只不過(guò)VR上把陀螺儀頻率提高了一點(diǎn)，提高到1000Hz或者800Hz。

　　但是實(shí)際上，當考慮三個(gè)維度時(shí)，陀螺儀已無(wú)法達到準確控制了，因為會(huì )有很多漂移。但是我們有一種技術(shù)——結合攝像頭技術(shù)，攝像頭可以放在VR前端，這樣攝像頭再結合陀螺儀的感應器一起工作，再通過(guò)復雜的算法，就不需要任何外界設施，只需要安裝兩個(gè)可以發(fā)出可見(jiàn)光或者不可見(jiàn)光的掃描設備做移動(dòng)的檢測，利用周?chē)o止的物體作為參考，再結合陀螺儀就達到頭部轉動(dòng)、垂直和平移的跟蹤。

　　*延遲

　　很短暫的延遲是讓用戶(hù)沒(méi)有任何感覺(jué)的，但是當延遲達到一定程度后，用戶(hù)會(huì )感覺(jué)到有明顯的眩暈感覺(jué)。時(shí)間是多少比較合適?20ms是目前VR不感到頭暈的時(shí)間點(diǎn)。

　　為此我們主要做三件事情，1.頭部運動(dòng)旋轉一個(gè)角度時(shí)，需要感應頭部的運動(dòng)。目前手機是在100Hz，采樣周期10ms，但這么低的頻率是沒(méi)法滿(mǎn)足要求的。我們考慮高頻方案，在三個(gè)采樣上只浪費了不到1ms。2.圖像處理之后，我們需要根據運動(dòng)隨時(shí)產(chǎn)生新的圖像，同時(shí)需要根據特殊情況產(chǎn)生左右眼分別兩幅圖像，然后再進(jìn)行渲染，以及做到色差的校正。3.送到顯存，再通過(guò)TFT顯示讓用戶(hù)感覺(jué)到圖像隨著(zhù)頭部在做運動(dòng)。

　　如上所述，我們需要在每一件事情上做優(yōu)化，VR顯示技術(shù)是用了響應時(shí)間較短的屏幕刷新來(lái)實(shí)現較高的刷新率，例如90Hz、100Hz，這也是大大減少VR延遲的好辦法。所以中間這部分就留給高通等芯片廠(chǎng)商做GPU或者CPU的處理。

VR對處理器芯片的需求特點(diǎn)

　　在移動(dòng)VR設備當中有一個(gè)很艱難的挑戰，它不像目前的PC的VR可以通過(guò)PC來(lái)取電，因而比較輕便。但是移動(dòng)VR設備的工作量卻沒(méi)有降低，完全不輸于PC的CPU，而電源功耗要求會(huì )比PC的VR嚴格很多。在系統端，從CPU到屏幕，整個(gè)系統的功耗決定了VR設備的體驗。

　　這兩個(gè)需求是相悖的，但是又是相互關(guān)聯(lián)的。當芯片顯示技術(shù)做到較好的省電技術(shù)，這時(shí)留給工程師做設計的空間就大了很多。所以高通立志在芯片端提高電池效率，包括眼球跟蹤技術(shù)可以極大提高CPU效率，這樣讓VR設備廠(chǎng)商在VR設計時(shí)可以有更大的自由度，設計出更加輕便、省電、漂亮的VR設備。

　　目前VR對于芯片端的功能模塊的需求是非常高的，因此高通主推高端手機芯片—驍龍820。驍龍820里面有DPU、DSP、GPU以及CPU等。此外，高通也發(fā)布了針對于游戲和視頻開(kāi)發(fā)者的SDK(開(kāi)發(fā)者套件)，包含很多東西，有針對用戶(hù)交互體驗以及視覺(jué)、聽(tīng)覺(jué)優(yōu)化出來(lái)的用戶(hù)接口，可以供開(kāi)發(fā)者去調用，比如有DSP的技術(shù)以降低時(shí)延，也有色差校正來(lái)提高邊緣的效果，還有雙眼的渲染，單顯存的機制。

小結

　　視覺(jué)、聽(tīng)覺(jué)和交互提高了移動(dòng)式一體機的體驗。我們堅信一體機最終會(huì )成為市場(chǎng)的一個(gè)主流，可以替代目前移動(dòng)不便的PC的VR，也可以替代目前為了追求低成本而制造出來(lái)的插卡式手機VR，而達到一個(gè)理想的沉浸式體驗。高通驍龍820將把領(lǐng)先的技術(shù)集成到VR當中去。

本文來(lái)源于中國科技期刊《電子產(chǎn)品世界》2016年第5期第15頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處。