xR的概念、原理與前景分析
自1933年電影《金剛》應用“鄧寧藍幕技術(shù)”到今天,綠幕摳像+后期制作是現下絕對主流的特效視頻拍攝方式。
人們可以將演員或實(shí)物,放置在任何劇情需要的奇幻炫酷場(chǎng)景中。
從《阿凡達》瑰麗奇異的潘多拉星球,到《流浪地球》的冰封北京城,從虛擬演播室里的衛星云圖展示,到2021年央視春晚中劉德華和現場(chǎng)演員的同臺互動(dòng)。
均采用了綠幕摳像+三維場(chǎng)景渲染技術(shù)!
但是時(shí)至今日,這項技術(shù)仍有一些無(wú)法規避的問(wèn)題。
比如無(wú)實(shí)物表演,演員需要在純粹的綠箱環(huán)境中依托想象力進(jìn)行表演。
再比如光線(xiàn)問(wèn)題,怎樣讓綠箱中的演員/物體呈現出真實(shí)的周邊光線(xiàn)反射效果?尤其是金屬、珠寶、汽車(chē)這類(lèi)帶有鏡面材質(zhì)的物體?
畢竟光線(xiàn)修復一向是影視后期人員工作內容的重要組成部分。
而此時(shí),擴展現實(shí)(Extended Reality,簡(jiǎn)稱(chēng)xR)技術(shù)正日趨成熟,并頻繁亮相在公眾眼前。
一/是什么——xR定義
xR詞匯的提出,可以追溯到CO Allen于2014年的申請的一份專(zhuān)利《Method for creation ofaugmented reality medium i.e. extended reality medium, involves detectingaugmented reality contents based on determination that reality data correspondsto given acquisition event data》,文中將xR作為AR的別稱(chēng)進(jìn)行使用,約2年后,一些國際媒體服務(wù)器廠(chǎng)家開(kāi)始在市場(chǎng)中嘗試推廣xR的概念。 xR到底是什么?眾說(shuō)紛紜。但為了方便繼續講述,我們在此先對xR做一個(gè)定義,xR(ExtendedReality)即通過(guò)攝像機追蹤與實(shí)時(shí)圖像渲染技術(shù),使顯示介質(zhì)(LED/投影碗幕)及顯示介質(zhì)外的虛擬場(chǎng)景實(shí)時(shí)跟蹤攝像機視角,在攝像機鏡頭前與現實(shí)拍攝畫(huà)面合成,從而營(yíng)造出無(wú)限空間感的技術(shù)。
不好理解?沒(méi)關(guān)系,下面會(huì )進(jìn)一步解釋。
對于xR是VR、AR、MR等多種技術(shù)統稱(chēng)及其他說(shuō)法,在此不作討論。
二/為什么——xR原理
想要了解xR原理,我們需要先理解****。
因為xR技術(shù)貫通虛擬與現實(shí)的橋梁,正是建立在****的基礎之上。
那些把人物P在一個(gè)個(gè)旅游景點(diǎn)前的合成照片,有的能“以假亂真”,有的卻能一眼看出“作假”。為什么?
虛假的原因千奇百怪,真實(shí)的條件千篇一律。
條件之一是它們必須具備正確的****關(guān)系。
****學(xué),在平面上再現空間感、立體感的方法及相關(guān)的科學(xué)。
為了滿(mǎn)足****這一自然科學(xué)原理,如果想要制作一張以假亂真的合成照片,照片上的所有物體都必須在空間中擁有統一的****點(diǎn)。
簡(jiǎn)單講,如果照片中的背景是采用俯視的角度拍攝的,那么需要合成的那個(gè)人,絕不能采用Ta仰視下的形象。
這是在二維平面上,混淆虛擬與現實(shí)的做法。
那么在三維空間中呢?
如果要合成一段視頻,我希望演員身處室內,然而在鏡頭下其身后卻是一整片森林,除了利用綠幕,還有什么方法?
如果攝像機鏡頭固定且位置合適,甚至可以在演員身后直接掛一面巨幅的森林圖案畫(huà)布,只要演員和背景平面都在鏡頭下呈現出正確的****關(guān)系,就能滿(mǎn)足一些最初級的需求。
與那些合成照片一樣。
但鏡頭一旦移動(dòng),背景森林實(shí)為平面畫(huà)布的事實(shí)便無(wú)論如何也無(wú)法遮掩。
實(shí)際上,場(chǎng)景背景的真實(shí)感,正是在鏡頭移動(dòng)的過(guò)程中得到塑造并增強的。在鏡頭推拉搖移的每一幀,如俯瞰時(shí)的大全景、跟拍時(shí)的中景——演員的身后都應當呈現出一個(gè)在這個(gè)位置、這個(gè)角度,滿(mǎn)足真實(shí)****關(guān)系的背景場(chǎng)景。
如果當攝像機旋轉或改變角度時(shí),演員身后的背景也能契合攝像機鏡頭同步完成角度的改變,就好了。
這個(gè)技術(shù),就是xR技術(shù)。
三/怎么做——實(shí)現xR
我們以一款國內自主研發(fā)的媒體服務(wù)器——hecoos虛擬制作服務(wù)器為例,其完成一場(chǎng)xR項目需要的基本配置有:一套hecoos虛擬制作系統、一套攝像機追蹤系統、一套實(shí)時(shí)渲染引擎、LED屏/投影碗幕。
實(shí)現xR技術(shù)的流程可分為5個(gè)環(huán)節:
1、攝像機追蹤系統將真實(shí)攝像機的實(shí)時(shí)運動(dòng)位置、姿態(tài)及鏡頭參數(x、y、z、pan、tilt、roll、FOV......)傳輸到hecoos虛擬制作服務(wù)器。
2、hecoos虛擬制作服務(wù)器對攝像機信息進(jìn)行實(shí)時(shí)解析與處理,驅動(dòng)實(shí)時(shí)渲染引擎渲染該視點(diǎn)所需的虛擬畫(huà)面。
3、hecoos虛擬制作服務(wù)器接收虛擬畫(huà)面并通過(guò)****投射將渲染的虛擬畫(huà)面輸出至背景LED屏/投影碗幕,由攝像機完成最終采集。
4、將LED屏/投影碗幕外拓展空間中的虛擬內容疊加在鏡頭前,采用自動(dòng)校色功能對所有虛擬畫(huà)面分別進(jìn)行顏色校正,達到背景畫(huà)面顏色統一。
5、鏡頭合成后,即為觀(guān)眾在鏡頭前看到的最終影像——無(wú)論鏡頭如何移動(dòng),演員始終身處在符合正確****關(guān)系的一整片廣袤森林前。
四/“R”詞匯的區別與聯(lián)系
VR(Virtual Reality) 頭顯
xR(Extended Reality) 攝像機
AR(Augmented Reality) 頭顯/攝像機
MR(Mixed Reality) 頭顯
觀(guān)看VR內容必須借助頭顯,而所觀(guān)看內容全部為虛擬內容,缺乏與現實(shí)環(huán)境的互動(dòng)。
xR所用的攝像機起到與頭顯相同的作用,但其攝像機視角也可以拍攝到真實(shí)環(huán)境下的客觀(guān)物體。如果從這個(gè)角度來(lái)看,為了便于理解,我們可以簡(jiǎn)單地將xR類(lèi)比為攝像機視角下的VR。
AR技術(shù)需要借助頭顯或攝像設備,才能使人們看到疊加在現實(shí)環(huán)境上的虛擬物體。如節目現場(chǎng)的觀(guān)眾,在不借助設備的情況下,其實(shí)無(wú)法看到節目中的AR特效。
而MR技術(shù)的解釋稍微復雜一點(diǎn),MR頭顯實(shí)時(shí)采集實(shí)際場(chǎng)景畫(huà)面并將其與虛擬效果相結合。從技術(shù)上來(lái)說(shuō),MR頭顯混合了VR頭顯的虛擬制作技術(shù)和AR頭顯的實(shí)景采集技術(shù);而從體驗上來(lái)說(shuō),MR頭顯混合了VR頭顯的超高表現能力和AR頭顯的真實(shí)互動(dòng)體驗。
此為“混合現實(shí)”——Mixed Reality。
五/xR VS 綠幕
xR能否取代綠幕一直是個(gè)熱點(diǎn)話(huà)題。
相較綠幕,xR有一些明顯優(yōu)勢:
1、xR實(shí)時(shí)呈現的背景為演員提供臨場(chǎng)感,能夠讓缺乏無(wú)實(shí)物表演經(jīng)驗的人們直觀(guān)了解當下處境,掌握自身走位。
2、xR使演員表演與表演環(huán)境相結合的效果及時(shí)呈現,并且更方便創(chuàng )作團隊及時(shí)修改創(chuàng )作想法。
3、xR能夠節省掉影視制作過(guò)程中許多花費在光線(xiàn)修復上的時(shí)間和金錢(qián)。
但是xR技術(shù)本身同樣具有局限,如果是基于LED屏幕方案實(shí)現的xR技術(shù),那么站在LED屏上的演員腳下將沒(méi)有影子,這是xR技術(shù)的一個(gè)較大遺憾。
xR技術(shù)誕生至今約5年時(shí)間,與之相關(guān)的軟硬件設備尚有巨大的可優(yōu)化空間,而綠幕拍攝在從1933年至今的近90年中已經(jīng)發(fā)展到了非常成熟的地步,因此在某些情況下使用綠幕能夠實(shí)現更為理想的效果。
我們所見(jiàn)到的使用xR技術(shù)制作的舞臺節目,如果是錄播播出,其中部分節目還會(huì )采用后期做進(jìn)一步的修飾加工。
所以,作為當下新興前沿科技的xR技術(shù),想要實(shí)現對傳統綠幕技術(shù)的“彎道超車(chē)”,還需進(jìn)一步發(fā)展自身。
有些問(wèn)題是不確定的,比如隨著(zhù)xR技術(shù)的飛速興起,今后的文旅演藝活動(dòng)市場(chǎng)將呈現出怎樣的格局?
比如隨著(zhù)計算機運算處理能力的提升和產(chǎn)業(yè)鏈設備的不斷優(yōu)化,虛擬制作技術(shù)能否成為人們未來(lái)日常生活中不可或缺的一部分?
比如人類(lèi)始祖曾經(jīng)抬頭長(cháng)久凝望一片浩瀚璀璨的星空,如今我們距離那片星空又還有多遠?
而能夠確定的卻是,不用太久,在技術(shù)的快速迭代和需求創(chuàng )新的內在驅動(dòng)下,方興未艾的xR技術(shù)定將迎來(lái)屬于自己的一片廣闊天地。
*博客內容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀(guān)點(diǎn),如有侵權請聯(lián)系工作人員刪除。