MR整合現實(shí)與虛擬 創(chuàng )造元宇宙數字生態(tài)系

在Connect2021的開(kāi)發(fā)者大會(huì )上，Facebook公布了Metaverse計劃，構筑出基于元宇宙的下一代3D空間社交網(wǎng)絡(luò )平臺。此后，元宇宙被視為現實(shí)空間和虛空間的融合，未來(lái)人們可以在這里展開(kāi)互動(dòng)和各種商業(yè)。同時(shí)Meta（Facebook母公司）也將Metaverse定位為下一個(gè)行動(dòng)平臺，繼Apple和Google之后，又另一新創(chuàng )建的網(wǎng)絡(luò )平臺。

Meta構建元宇宙的基礎技術(shù)與概念是，整合增強實(shí)境（AR）和虛擬現實(shí)（VR）后所產(chǎn)生混合實(shí)境（MR）。而這些MR相關(guān)的應用技術(shù)都在元宇宙研究所「Facebook Reality Labs」積極的開(kāi)發(fā)中。

創(chuàng )造虛擬世界的技術(shù)：Presence Platform
Meta開(kāi)發(fā)的Metaverse是期望讓現實(shí)社會(huì )和虛擬社會(huì )的平滑融合，而創(chuàng )造出這種社會(huì )的技術(shù)則被稱(chēng)為「Presence Platform」。這個(gè)平臺是以視覺(jué)運算和人工智能為核心，將虛擬對象整合到現實(shí)空間的數據處理模塊。具體來(lái)說(shuō)，它提供了產(chǎn)生MR、對象互動(dòng)和語(yǔ)音互動(dòng)的能力。如前所述，MR是一種混合實(shí)境的環(huán)境，融合了真實(shí)空間和虛空間，成為元宇宙的核心功能。

Presence Platform 由三個(gè)SDK組成，包括了「Insight SDK」：在現實(shí)空間中嵌入虛擬對象來(lái)產(chǎn)生MR環(huán)境的技術(shù)?！窱nteraction SDK」：手動(dòng)操作虛擬對象的技術(shù)?！竀oice SDK」：使用對話(huà)語(yǔ)音來(lái)對虛擬對象進(jìn)行操控的技術(shù)。



 
圖一 : Mixed Reality 全球市場(chǎng)規模預測(兆日圓)。(source：PWC；作者整理)

MR空間生成技術(shù)：Insight SDK
Insight SDK是元宇宙的核心技術(shù)，目的在產(chǎn)生高質(zhì)量的MR空間。Insight SDK包含兩個(gè)函數，「Passthrough」和「Spatial Anchors」，以及Scene Understanding功能。

Passthrough是一種透過(guò)VR耳機來(lái)創(chuàng )建出MR空間，并在現實(shí)空間中描繪虛擬物體的技術(shù)。圖二顯示了利用「Oculus Quest 2」來(lái)進(jìn)行鋼琴課程。鋼琴鍵盤(pán)上會(huì )顯示一個(gè)圓形的虛擬對象，操作者可以用手指輕敲它來(lái)播放音樂(lè )。

同時(shí)，「Oculus Quest 2」還內建了攝影鏡頭，可以黑白方式看到前方的影像。因此，「Oculus Quest 2」不僅可以用作VR，還可以用以當作MR玻璃。


 
圖二 : 透過(guò)MR技術(shù)將實(shí)體物品與虛擬圖像結合后進(jìn)行鋼琴課程。(source：META)

Spatial Anchors是一種透用手機映像出真實(shí)空間的功能。它能利用Oculus手機，讓操作者利用手指沿著(zhù)家具移動(dòng)，繪制出房間內部的地圖。經(jīng)由這個(gè)功能，可以了解真實(shí)空間的結構，并顯示出相對應的虛擬對象。

Scene Understanding是對用戶(hù)空間進(jìn)行理解的功能，判斷出空間的位置關(guān)系及其意義。使用此場(chǎng)景模型時(shí)，可在房間中建立出一個(gè)MR空間。

利用這種方式，可以整合Passthrough、Spatial Anchors和 Scene Understanding來(lái)開(kāi)發(fā)可判斷物理空間含義的高度復雜Metaverse。

表達手部動(dòng)作的技巧：Interaction SDK
Interaction SDK是針對手或手機在虛空間中移動(dòng)的處理和控制操作，例如用手抓握、觸摸和指向虛擬對象。圖三顯示了一個(gè)虛擬的咖啡杯被用手抓著(zhù)。Interaction SDK是利用視覺(jué)運算、AI追?手部動(dòng)作并判斷出與對象的互動(dòng)程度。


 
圖三 : 一個(gè)虛擬的咖啡杯被用手抓著(zhù)。(source：META)

理解語(yǔ)音的技巧：Voice SDK
Voice SDK是一種自然語(yǔ)言分析功能，可透過(guò)聲音來(lái)進(jìn)行語(yǔ)音操控。當應用于游戲時(shí)，可以透過(guò)語(yǔ)音來(lái)進(jìn)行操控。除了語(yǔ)音導航外，Voice SDK還提供語(yǔ)音搜索和語(yǔ)音問(wèn)答功能。例如當操作者說(shuō)出虛擬角色的名字「Oppy」時(shí)，系統就會(huì )明白這個(gè)詞的意思并接近它。

行動(dòng)MR技術(shù)正積極被開(kāi)發(fā)
行動(dòng)MR具有許多明顯的優(yōu)勢，因此備受全球所注目，也吸引了相當多業(yè)者投入開(kāi)發(fā)相關(guān)的各項技術(shù)。目前許多潛在的用戶(hù)已經(jīng)擁有一款可支持MR的智能型手機，因此無(wú)需耗費金錢(qián)購買(mǎi)昂貴且笨重的耳機。就其本質(zhì)而言，今天的行動(dòng)設備已經(jīng)非常便于攜帶，也相當容易進(jìn)入任何空間。

Apple ARKIT 5
Apple的最新版本AR/MR開(kāi)發(fā)工具集開(kāi)放原始碼行動(dòng)ARKit5，進(jìn)行了重大改進(jìn)。其中最重要的功能，包括對位置錨點(diǎn)(Anchors)的擴充支原、改進(jìn)的運動(dòng)追?，以及在超廣角攝影鏡頭中可提供更好的臉部跟?，App Clip Codes還可支持快速掃描啟動(dòng)體驗。

自從在A(yíng)RKit 4中加入位置錨點(diǎn)后，允許APP開(kāi)發(fā)人員可以將具有特定緯度、經(jīng)度和高度的虛擬對象放置在屏幕上，并且可相對于現實(shí)環(huán)境中的位置。例如，位置錨點(diǎn)可在標志性建筑旁邊的空間中，顯示三維圖標或文字。在A(yíng)RKit 5中，此功能的支持性已擴展到倫敦和美國的其他城市。

擴充的臉部追?技術(shù)，允許一次最多追?三個(gè)人的臉部，現在可支持所有配備A12Bionic處理器，以及更高版本的設備，即使沒(méi)有真深度鏡頭(TrueDepth Camera)也可以應用。

而App Clip Codes則是應用在類(lèi)似于QR Code的影像，可以透過(guò)掃描來(lái)啟動(dòng)APP的lightweight，并且能與 ARKit整合，允許從任何地方啟動(dòng)AR/MR，而無(wú)需下載其他軟件。

Google ARCORE
Android的ARKit-ARCore提供了開(kāi)發(fā)人員在A(yíng)ndroid設備上，雖然可以開(kāi)發(fā)出AR/MR APP所需的開(kāi)放原始碼工具集，但由于需要注意Android設備上各種硬件的兼容性，因此這通常被視為也些挑戰性。

2021年，Google在A(yíng)RCore中加入了一些新功能，例如錄制和播放API等。這些功能可以讓開(kāi)發(fā)人員使用AR原始數據錄制視訊片段，在透過(guò)深度和IMU運動(dòng)傳感器數據，來(lái)以重新建立與視訊中相同的環(huán)境，同時(shí)也為開(kāi)發(fā)人員能更輕松地測試特定環(huán)境的方式。

錄制和播放API不僅是開(kāi)發(fā)人員所需要，對使用者來(lái)說(shuō)也有一定的用處，這項技術(shù)提供用戶(hù)可以錄制視訊，應用在以后的AR/MR效果中，因為這些視訊可以包含環(huán)境原始數據。

ARKit和ARCore之間的競爭并不如外界想象中的明顯。由于A(yíng)PPLE掌控了所有的設備組件，因此ARKit在軟件和硬件之間有著(zhù)較佳的兼容性。但是在市場(chǎng)上，并非每個(gè)使用者都擁有iPhone或iPad。因此對于其他的用戶(hù)或行動(dòng)產(chǎn)品業(yè)者來(lái)說(shuō)，ARCore就變得非常重要。盡管由于采用的硬件的不同，不能保證每臺Android設備都能獲得完全支持和兼容，但Google仍舊盡可能讓其眾多用戶(hù)擁有一定程度的競爭力。

就實(shí)際效能而言，這兩個(gè)平臺背后的技術(shù)幾乎是一樣的。例如，對于場(chǎng)景檢測等應用，這兩種技術(shù)使用相同的方法，但差異最大還是在硬件的部分，與兼容能力。

手機增強實(shí)境：Spark AR
Spark AR是一款針對行動(dòng)終端的AR/MR開(kāi)發(fā)環(huán)境，這款行動(dòng)終端AR/MR，可以整合到智能手機的APP中來(lái)使用。例如，Spark AR可應用在臉部插入特殊效果，像是用Spark AR對臉部進(jìn)行特殊化妝，并將其轉變?yōu)楣治锏膽谩?br/>
Project Aria
Meta也正在開(kāi)發(fā)AR/MR眼鏡「Project Aria」。這是一個(gè)在眼鏡上內建攝影鏡頭和顯示器產(chǎn)品，并在面前的真實(shí)空間中強行加入一個(gè)虛擬對象。AR/MR眼鏡可被當數字助理應用，透過(guò)AI來(lái)了解周?chē)矬w的類(lèi)型和含義，例如識別沙發(fā)和桌子。此外，也可利用人工智能掌握用戶(hù)的想法，并協(xié)助進(jìn)行下一步行動(dòng)。例如，當操作者看著(zhù)燈時(shí)，開(kāi)關(guān)就會(huì )被自動(dòng)打開(kāi)。

智能眼鏡的輸入：Electromyography
但是挑戰在于如何將數據輸入AR/MR眼鏡，因此Meta正在開(kāi)發(fā)一種稱(chēng)為Electromyography(肌電圖)的技術(shù)。

這個(gè)想法是將設備戴在手腕上后，并測量肌電圖，再透過(guò)人工智能分析肌肉中產(chǎn)生的弱電場(chǎng)來(lái)預測操作者的意圖。例如當您用手指書(shū)寫(xiě)字母時(shí)，此設備會(huì )將其轉換為文字（圖四）。


 
圖四 : 利用肌肉的電位變化轉換稱(chēng)操控方式。(source：META)

MR在工業(yè)領(lǐng)域的潛力和未來(lái)
第一個(gè)實(shí)現MR的產(chǎn)品是，HoloLens于2015年1月所發(fā)布的產(chǎn)品。這是一款無(wú)需外接控制器的獨立頭戴式顯示器，可透過(guò)手部追?和語(yǔ)音輸入進(jìn)行操作。HoloLens的產(chǎn)品透過(guò)攝影鏡頭和深度傳感器，來(lái)對周?chē)h(huán)境進(jìn)行識別，并經(jīng)由透射式顯示器在真實(shí)空間中加迭內容來(lái)提供新體驗的設備。

隨后，Magic Leap One也于2017年12月發(fā)表一款新技術(shù)，將需要處理數據的機制，轉移到外部的獨立計算設備，大幅度減輕顯示器的重量，并且利用數字內容，以更真實(shí)的方式強化顯示能力，例如擴大視角，和根據視線(xiàn)切換影像，在發(fā)表之后便大大威脅HoloLens的領(lǐng)先地位。

面對此一挑戰，HoloLens也于2年后發(fā)表第二代產(chǎn)品-HoloLens 2。與初代的HoloLens相比，無(wú)論是顯示視角、縱橫比、分辨率、運算和佩戴感等，多項性能都獲得了大幅度的提升。此外，傳感器的加入更使得佩戴者五根手指的動(dòng)作都可以被檢測到，來(lái)達到捏握等全影像操作，提高了實(shí)用性。

雖然這些主要用于工業(yè)用途的MR設備，性能相當卓越，但價(jià)格卻是非常昂貴。因此針對消費者使用的MR設備商品化更是備受期待，市場(chǎng)上終于在2020年8月，出現了一款專(zhuān)為消費者使用而開(kāi)發(fā)的MR產(chǎn)品-Nreal Light。這款產(chǎn)品可與智能型手機連接，將處理數據的工作轉移到智能型手機，來(lái)達到減輕頭戴式顯示器重量，雖然在攝影鏡頭數量、畫(huà)素數、環(huán)境偵測與掌握，和各種跟?的精度等性能方面不如工業(yè)設備，但它實(shí)現了大幅降低售價(jià)，讓消費者在低價(jià)格負擔下就能輕松體驗MR(表一)。

MR技術(shù)的未來(lái)
未來(lái)將有很多業(yè)者進(jìn)入MR設備市場(chǎng)，透過(guò)提高性能和減輕重量來(lái)增強現有產(chǎn)品，就像前述高整合度的HoloLens 2。雖然頭戴式顯示器是目前MR設備的主流，但掛戴眼鏡式和隱形眼鏡式等，無(wú)需考慮佩戴舒適度的顯示器設備，也有業(yè)者積極的投入開(kāi)發(fā)。不過(guò)，目前MR的主要用途主要是還是工業(yè)用，根據PWC預測工業(yè)用市場(chǎng)短期內將會(huì )持續擴大。

從中長(cháng)期來(lái)看，市場(chǎng)有機會(huì )在各種應用領(lǐng)域擴大，例如數字內容和虛擬全影像顯示、醫療領(lǐng)域醫師與患者僅行互動(dòng)、減壓和復健等醫療，都將可在MR平臺上僅行。此外，MR在娛樂(lè )應用和商業(yè)產(chǎn)業(yè)的應用也將進(jìn)一步擴大，因此不僅工業(yè)市場(chǎng)，包括普通消費者的市場(chǎng)的成長(cháng)也將持續增加。