從谷歌的光場(chǎng)技術(shù)平臺，談?wù)刅R視頻和全景視頻到底有什么區別

谷歌一直堅信虛擬現實(shí)身臨其境的力量，但要創(chuàng )建最為逼真的臨場(chǎng)感，在VR中展示的內容需要盡可能接近看到的內容。 

光場(chǎng)是一種先進(jìn)的捕捉，拼接和渲染算法。通過(guò)為靜態(tài)捕捉圖像生成運動(dòng)視差和非常逼真的紋理和光照，光場(chǎng)可以向你提供極高質(zhì)量的臨場(chǎng)感。為了展示這種技術(shù)的潛力，谷歌曾經(jīng)在Steam上發(fā)行了免費應用“Welcome to Light Fields”，支持HTC Vive，Oculus Rift和WMR頭顯。 

谷歌的光場(chǎng)技術(shù)

捕捉和處理光場(chǎng)

對于光場(chǎng)，附近的對象似乎相當靠近你。當你移動(dòng)頭部的時(shí)候，它們看起來(lái)的變化會(huì )很大。遠處的對象變化較少，不同對象的光線(xiàn)****也不同，因此你會(huì )得到強烈的暗示，認為自己正身處于3D空間之中。當通過(guò)支持位置追蹤的VR頭顯進(jìn)行瀏覽時(shí)，光場(chǎng)可以根據真實(shí)世界中捕獲的片段實(shí)現真正令人驚嘆的VR體驗。

這一切的原因在于光場(chǎng)可以記錄進(jìn)入空間的所有不同光線(xiàn)。為了記錄它們，谷歌改裝了一臺GoPro Odyssey Jump相機平臺，將其彎曲成16個(gè)鏡頭的垂直弧形并安裝在旋轉平臺上。

左：在發(fā)現號航天飛船甲板上拍攝的球形光場(chǎng)延時(shí)拍攝視頻。

右：光場(chǎng)渲染允許我們通過(guò)對鏡頭記錄的光線(xiàn)進(jìn)行采樣和插值，并且在球形空間內的任何位置合成新場(chǎng)景視圖。

相機平臺旋轉并錄制70厘米球體上的大約1000個(gè)外向視角大概需要1分鐘。這提供了一個(gè)兩英尺寬的光線(xiàn)量，而后者決定了頂部空間的大小，亦即用戶(hù)為探索場(chǎng)景而轉動(dòng)頭部的空間。為了向頭顯渲染視圖，谷歌從球體表面上的相機位置采樣光線(xiàn)，從而構建從球體內部看到的新視圖，并以此匹配用戶(hù)移動(dòng)頭部的方式。它們在一個(gè)自定義數據集文件中對齊和壓縮，據小編了解谷歌是通過(guò)作為Unity游戲引擎插件的特殊渲染軟件讀取這個(gè)數據集文件。

用光場(chǎng)記錄世界

谷歌選擇了數個(gè)特殊場(chǎng)所來(lái)測試他們的光場(chǎng)相機平臺。谷歌表示，他們鐘愛(ài)帕薩迪納蓋博住宅(Gamble House)的亮漆柚木和紅木內飾，威尼斯馬賽克小屋(Mosaic Tile House)的光澤陶瓷和閃亮，以及格拉納達山圣斯蒂芬教堂那陽(yáng)光瀲滟的彩色玻璃窗。最重要的是，史密森學(xué)會(huì )的航空航天博物館和3D數字化辦公室允許谷歌進(jìn)入NASA的發(fā)現號航天飛船，在這個(gè)不對外開(kāi)放的飛行甲板中為我們提供宇航員的視角。最后谷歌錄制了一系列的光場(chǎng)，并且實(shí)驗了眼神接觸如何應用于6自由度體驗。

VR視頻是探索世界的一項光明技術(shù)。盡管只是實(shí)驗，但光場(chǎng)向我們展示了VR體驗可以實(shí)現的逼真水平 。

VR視頻和全景視頻的區別

VR視頻與全景視頻有什么區別?

我們用一張圖來(lái)說(shuō)明360度全景視頻和VR視頻的不同：

全景視頻很好理解，就是有別于傳統視頻單一的觀(guān)看視角，讓人們可以360度自由觀(guān)看。而VR視頻在此基礎上，還允許人們在視頻里自由移動(dòng)觀(guān)看（提供場(chǎng)景中任意位置的360度自由視角）。

全景視頻可以是3D的也可以不是，可以通過(guò)屏幕觀(guān)看，也可以帶上眼鏡觀(guān)看。而VR視頻必須帶上頭顯觀(guān)看，且必須是3D的。

全景視頻是線(xiàn)性播放的，也就是按照時(shí)間軸來(lái)進(jìn)行回放的。而VR視頻可以允許用戶(hù)在同一時(shí)間，站在不同的位置觀(guān)看（有點(diǎn)類(lèi)似科幻電影里時(shí)間暫停了，然后觀(guān)察者在定格的時(shí)間和空間里任意移動(dòng)，觀(guān)看周?chē)娜宋锖途拔铮?/span>

全景視頻和VR視頻有什么相似之處？

1.都可以是3D的（全景視頻也有2D版）；

2.都能360度上下、左右旋轉觀(guān)看；

3.具有視覺(jué)沉浸感。

那有什么不同呢？

最大區別就是VR視頻允許觀(guān)看者在場(chǎng)景里自由走動(dòng)觀(guān)察，但全景視頻不行，拍攝機位在哪兒，觀(guān)看者就必須在哪兒，頂多只能原地360度觀(guān)看。

如果是一部VR電影，那么傳統的“鏡頭運動(dòng)、場(chǎng)景切換、Zoom In or Zoom Out”可能都將被取代，由觀(guān)眾來(lái)決定鏡頭位置。你可以把VR視頻看成是“3D全景視頻+自由移動(dòng)”。

所以，現在大家所看到的基本都是“偽VR視頻”，各大視頻網(wǎng)站上標稱(chēng)的VR視頻也基本都是360度全景視頻。而打著(zhù)“VR相機”口號行銷(xiāo)的其實(shí)大部分都是360度全景相機。那么，我們不禁要問(wèn)，真正的VR視頻是什么樣呢？

真正的VR視頻目前只能通過(guò)CG實(shí)現

如何才能拍攝出真正的VR視頻呢？很遺憾，以現在的技術(shù)手段和設備能力還很難實(shí)現。所以到目前為止，我們還沒(méi)有看到過(guò)一部真正意義上的VR視頻是被實(shí)際拍攝出來(lái)的。因為一臺攝像機只能捕捉一個(gè)位置的光線(xiàn)，而要實(shí)現場(chǎng)景里的自由移動(dòng)，需要捕捉場(chǎng)景里任意位置的光線(xiàn)，顯然我們無(wú)法在場(chǎng)景里安置那么多攝像機，這是矛盾的?，F今的谷歌光場(chǎng)技術(shù)是否能解決這問(wèn)題？

那未來(lái)有沒(méi)有可能呢？答案是肯定的。

要拍攝真正意義上的VR視頻，我們需要光場(chǎng)攝像機。

什么是光場(chǎng)攝像機？這絕對是一個(gè)黑科技，很難用幾句話(huà)表述清楚。大概意思就是通過(guò)矩陣式攝像頭（非常非常多的微型攝像頭），捕捉和記錄周?chē)煌嵌壬淙氲墓饩€(xiàn)信號，再利用計算機后期合成出任意位置的圖像。

Lytro公司去年發(fā)布的360度光場(chǎng)攝像機

Immerge，其內部的數百個(gè)鏡頭和圖像傳感器分為五個(gè)“層”（你可以想象每層都是20部GoPro相機組合在一起），除此之外還配套專(zhuān)用的服務(wù)器和編輯工具等。

與傳統攝像機不同的是，光場(chǎng)攝像機除了記錄色彩和光線(xiàn)強度信息外，還會(huì )記錄光線(xiàn)的射入方向——這就是“光場(chǎng)”技術(shù)的由來(lái)。

有了從四面八方射入的光的方向信息，再利用算法，就能對環(huán)境進(jìn)行分析，逆向建模，從而還原出一個(gè)三維的環(huán)境模型。這和計算機建模（CG）的結果是相似的，只不過(guò)CG是人為主觀(guān)“虛構”模型，而光場(chǎng)攝像機是逆向方式“客觀(guān)”還原模型。

有了三維模型，計算機便可以實(shí)時(shí)計算出任意位置的視覺(jué)圖像，3D+360度全景也沒(méi)有問(wèn)題。這就是說(shuō)，光場(chǎng)攝像機所在的位置拍攝到的景象是真實(shí)的，而自由移動(dòng)位置后看到的景象是通過(guò)電腦后期合成的。

Lytro公司坦言目前他們只能做到視角在一定范圍的左右和前后移動(dòng)，要想“看到”物體背面的樣子還不行（也許要對反射光進(jìn)行計算和建模）。所以要實(shí)現真正意義上的VR視頻，還是電腦建模然后實(shí)時(shí)渲染輸出最簡(jiǎn)單。

如今所有的VR游戲，都可以看作是VR視頻。不僅可以3D顯示+360度全景，還可以自由移動(dòng)，甚至控制時(shí)間軸也沒(méi)有問(wèn)題。只是，VR視頻都用計算機建模了，還有拍攝什么事情呢？我們要繼續討論VR視頻的拍攝過(guò)程嗎？

當然要，全景視頻雖然是“偽VR視頻”，但全景視頻還是可以被認為是VR視頻的初級階段。因為全景視頻加上3D效果也能帶來(lái)沉浸感，相比普通視頻已經(jīng)有了質(zhì)的飛躍，應用領(lǐng)域也非常廣闊，值得我們去嘗試和探索。

未來(lái)VR的呈現方式會(huì )趨向多元化，頭顯本身的發(fā)展也會(huì )從目前眼前單一屏幕向光場(chǎng)化真實(shí)化邁進(jìn)，目前以Magic Leap為代表的國內外研究機構在光場(chǎng)頭戴式顯示進(jìn)行探索，這種頭顯可以讓人眼聚焦在虛擬物體的不同深度，而不是一塊顯示屏上; 最后，應用方式上，谷歌Welcome to Light Field為我們提供了一個(gè)很好的范例，更好的光場(chǎng)應用方式還需要進(jìn)一步研究探索，比如，虛擬的光場(chǎng)和真實(shí)世界的逼真融合以及自然的交互也會(huì )成為學(xué)界和產(chǎn)業(yè)界的熱點(diǎn)。"

- END -