一文看懂VR、AR 和 MR

來(lái)源：精智工廠(chǎng)

虛擬現實(shí)VR一般指一種技術(shù)，它仿真真實(shí)和虛擬世界，使人類(lèi)沉浸地融入一個(gè)三維空間，產(chǎn)生有立體感的視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)甚至嗅覺(jué)，在一個(gè)確定范圍內非常類(lèi)似于真實(shí)世界。它有三個(gè)特征(3R):實(shí)時(shí)渲染( Real time)、真實(shí)空間(Real space)和真實(shí)交互(Real Interaction)。

數字化的巨浪把數字革命從我們的真實(shí)世界活動(dòng)引入到了虛擬世界。除了通信、購物、學(xué)習、生產(chǎn)、游戲、交友外，人們發(fā)微信、玩網(wǎng)游、看3D影視等，消耗在虛擬世界的時(shí)間在逐步超過(guò)在真實(shí)世界的時(shí)間。

VR技術(shù)依靠其沉浸感把人類(lèi)推高到虛擬環(huán)境的一個(gè)高境界。HMD ( Head Mounted Display，即頭戴式顯示器(俗稱(chēng)頭盔)，結合跟蹤系統使得沉浸容易實(shí)現，大大推動(dòng)了虛擬現實(shí)的發(fā)展，應用紛紛涌現，令人眼花繚亂。隨著(zhù)發(fā)展，AR和MR成了虛擬現實(shí)的新寵。

1、VR

關(guān)于VR有不同的定義:虛擬現實(shí)技術(shù)是一種可以創(chuàng )建和體驗虛擬世界的計算機仿真系統，它利用計算機生成一種模擬環(huán)境，是一種多源信息融合的、交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統仿真使用戶(hù)沉浸到該環(huán)境中。

虛擬現實(shí)VR一般指一種技術(shù)，它仿真真實(shí)和虛擬世界，使人類(lèi)沉浸地融入一個(gè)三維空間，產(chǎn)生有立體感的視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)甚至嗅覺(jué)，在一個(gè)確定范圍內非常類(lèi)似于真實(shí)世界。它有三個(gè)特征(3R)，即實(shí)時(shí)渲染( Real time)、真實(shí)空間(Real space)和真實(shí)交互(Real Interaction)。

幾十年來(lái)，VR在游戲、影視、專(zhuān)業(yè)學(xué)習與訓練、旅游、制造、軍事等各個(gè)方面極大地影響了人類(lèi)。近年來(lái)，隨著(zhù)HMD的普及和遠程通信技術(shù)的發(fā)展，距離已經(jīng)不成問(wèn)題，在真實(shí)環(huán)境中融入虛擬現實(shí)獲得了人們的青睞，從而誕生了增強現實(shí)(AR)。進(jìn)一步，技術(shù)的發(fā)展使得真實(shí)環(huán)境和虛擬環(huán)境可以更好地融合，人類(lèi)可以靈活地游走于虛、實(shí)環(huán)境，從而混合現實(shí)(MR)大****展，以至于Microsoft號稱(chēng)其Hololen、系統只聚焦于混合現實(shí)。

2、AR

什么是增強現實(shí)(AR)，百度百科和維基百科說(shuō):增強現實(shí)技術(shù)是一種實(shí)時(shí)地計算攝影機影像的位置及角度并加上相應圖像、視頻、3D模型的技術(shù)，這種技術(shù)的目標是在屏幕上把虛擬世界套在現實(shí)世界并進(jìn)行互動(dòng)。

增強現實(shí)技術(shù)AR，以一種鮮活的直接或間接視點(diǎn)交互物理真實(shí)環(huán)境，其中的成分已獲“增強”，增強效果借助于計算機生成或真實(shí)世界傳感輸入，諸如聲音、視頻、圖形或GPS數據等。

顯然，VR本身是基于個(gè)人計算機誕生的，而增強現實(shí)和參與者的現實(shí)環(huán)境相關(guān)，因此可以說(shuō)是面向移動(dòng)計算的。

3、MR

混合現實(shí)MR有時(shí)也稱(chēng)hybrid reality，它把真實(shí)世界和虛擬世界合成在一起，產(chǎn)生一個(gè)新的環(huán)境，使之形象化，物理和數字對象共存，實(shí)時(shí)的交互?；旌犀F實(shí)不僅僅發(fā)生在真實(shí)世界或虛擬世界，而且把現實(shí)和虛擬現實(shí)融合到了一起，借助于沉浸技術(shù)包容了增強現實(shí)和增強虛擬。

圖1 從現實(shí)到虛擬和從虛擬到現實(shí)

如圖1所示，橫向兩端分別是真實(shí)(環(huán)境)和虛擬(環(huán)境)，從左往右，對真實(shí)世界略有修改的狀態(tài)稱(chēng)為放大現實(shí)(Amplified Reality)。放大現實(shí)意味著(zhù)借用計算手段將物理對象的性質(zhì)予以充實(shí)。AR是關(guān)于如何讓用戶(hù)感知真實(shí)，放大現實(shí)則是影響用戶(hù)感知真實(shí)。

這里，出現了新的中間狀態(tài)—Mediated reality(姑且稱(chēng)為“間接現實(shí)”)。這里還出現了增強虛擬AV ( Augmented Virtuality，指的是從一個(gè)虛擬世界看真實(shí)世界。因這兩個(gè)已不常用，我們這里不再贅述。

我們關(guān)注的是其中的3點(diǎn):VR,AR和MR。我們在廣義上把VR,AR和MR統稱(chēng)為虛擬現實(shí)(VR)。下面就以VR統稱(chēng)它們。

虛擬現實(shí)的歷史與由來(lái):Virtual Reality這個(gè)詞是由美國計算機科學(xué)工作者Jaron Lanier在上世紀80年代末引入的。但是，追溯起來(lái)，虛擬現實(shí)的歷史要悠久得多。我們列出一張表，見(jiàn)表1。

表1 虛擬現實(shí)發(fā)展史

到了21世紀，計算設施和智能手機越來(lái)越強大、高清晰度顯示和3D圖像能力劇增，VR迅速發(fā)展。各種頭盔(如Google Cardboard , Samsung galaxy Gear , Oculus Rift , HTC vive)的問(wèn)世，大幅推動(dòng)了VR的發(fā)展。

云計算又使得基于云端的VR應用紛紛涌現，AR和MR成了主流。一些IT尤其是軟件界巨頭，如Google ,Apple和Microsoft開(kāi)始競相大力布局AR和MR，構建自己的VR生態(tài)系統。

以Microsoft為例，2015年1月，微軟對Microsoft HoloLens混合現實(shí)設備的能力進(jìn)行了發(fā)布和展示。它可以無(wú)縫地把全息對象集成到用戶(hù)世界，有時(shí)難以區分自己是在現實(shí)世界還是虛擬世界。微軟在做一個(gè)大布局，就像當年Apple開(kāi)發(fā)智能手機iPhone一樣，開(kāi)放接口，讓基于HoloLens平臺的新應用不停地由獨立開(kāi)發(fā)者開(kāi)發(fā)出來(lái)，共享這個(gè)大餅。

若干關(guān)鍵技術(shù)支持

虛擬現實(shí)涉及技術(shù)很多，限于篇幅，這里聚焦于其中的一部分。首先討論VR建模方法與技術(shù)，因為建模是虛擬現實(shí)的關(guān)鍵核心之一。

虛擬現實(shí)建模

虛擬現實(shí)建模即3D對象建模，這些對象將在真實(shí)世界和虛擬世界里交互。建模是VR的基礎之一，它包括一系列方法。

1、場(chǎng)景展現建模方法

虛擬現實(shí)系統首先需要一個(gè)場(chǎng)景及其展現，需要建立一個(gè)虛擬與真實(shí)融通的場(chǎng)景，并有效地展現。相關(guān)的建模問(wèn)題包括:

1)基于深度區域圖像的建模:

(1)區域圖像獲取與登錄;

(2)3D模型表面重構;

(3)3D模型修補。

2)基于圖像的建模方法:

(1)基于單個(gè)圖像的幾何模型重構;

(2)采用立體視覺(jué)和結構光照方法幾何模型重構;

(3)使用先驗知識重構風(fēng)景;

(4)基于輪廓線(xiàn)的幾何模型重構。

3)材質(zhì)光照建模方法:

(1)體光照建模方法(Volume Illumination modelling method);

(2)活勝變化建模(Active alteration model;

(3)變密度傳播模型( Varying density emission model;

(4)材質(zhì)分類(lèi)與混合模型( Material classification&hybrid model)。

4)領(lǐng)域建模方法(Filed modelling method):

(1)矢量場(chǎng)(Vector field;

(2)標量場(chǎng)(Scalar field。

2、行為建模方法

虛擬現實(shí)環(huán)境中活動(dòng)對象(如人、車(chē))建模尤其是其行為建模也是VR的關(guān)鍵，其中，常用的方法有:

(1)自主對象的主要類(lèi)型( Main types of autonomous objects)方法;

(2}基于有限狀態(tài)自動(dòng)機的建模方法;

(3)面向建模方法的專(zhuān)家系統;

(4)基于智能代理的建模方法;

(5)聚合與分解模型 ( Aggregation and disaggregation model)。

3、虛實(shí)結合建模

AR和MR需要虛實(shí)結合的場(chǎng)景，虛實(shí)結合建模是一個(gè)大挑戰。涉及的建模問(wèn)題包括:

(1)虛實(shí)合成場(chǎng)景中真實(shí)環(huán)境信息的獲取與表示;

(2)虛實(shí)間3D登錄和存儲方法;

(3)虛實(shí)間禍合處理方法;

(4)虛實(shí)合成方法。

4、基于物理的建模方法

1)剛體建模方法:

(1)剛體運動(dòng)仿真;

(2)碰撞檢測;

(3)連接性和限制性建模。

2)柔性物體建模方法:

(1)離散顆粒建模;

(2)連續性建模方法;

(3)柔性物體碰撞檢測。

3)虛擬人體運動(dòng)建模方法:

(1)運動(dòng)數據采集(Acquisition of motion data)

(2)運動(dòng)數據處理(Treatment of motion data)

(3)運動(dòng)控制(Motion control)

計算機圖形學(xué)和計算機動(dòng)畫(huà)

視覺(jué)是人感知世界的第一感覺(jué)，因此虛擬現實(shí)中涉及的一個(gè)關(guān)鍵技術(shù)是計算機圖形學(xué)和計算機動(dòng)畫(huà)技術(shù)。

這里涉及的技術(shù)有數學(xué)問(wèn)題、3維建模和影像渲染問(wèn)題等。數學(xué)指的是坐標系統、向量和轉換矩陣，用于表示可視化、3D對象動(dòng)畫(huà)、特征描述等。3D建模是借助于幾何描述為實(shí)際物體對象構建一個(gè)特定的3D形象;渲染借助于光照模型、燈光、色彩和紋理演繹3D模型。

大部分虛擬世界是動(dòng)態(tài)的，隨時(shí)間變化的，物件在其中運動(dòng)、旋轉和變化，因此需要計算機動(dòng)畫(huà)技術(shù)的支持。計算機動(dòng)畫(huà)的主要目標是合成期望的運動(dòng)效果。

虛擬現實(shí)系統的體系結構

虛擬現實(shí)系統的體系結構也是一個(gè)技術(shù)難點(diǎn)。

目前常用的體系結構大多數由本地部署的，陸續地往基于云計算的發(fā)展。

一個(gè)模擬駕駛虛擬現實(shí)系統如圖2所示。

圖2 一個(gè)模擬駕駛系統

討論基于Microsoft的HoloLens開(kāi)發(fā)MR系統，給出開(kāi)發(fā)一個(gè)混合現實(shí)系統的必要軟、硬件要求:一臺PC，參數要求是:Windows 10 64bit ( Windows ,Mac OS or Linux ) ; 30GB可用硬盤(pán)空間;RAM 6 GB ; CPU處理能力。推薦Intel Core i5或Core i7處理器(或類(lèi)似性能);GPU( Graphics Processing Unit)或圖形卡。

如果使用HoloLens仿真器，推薦的最小系統要求是:操作系統64bit Windows 10 Pro/Enterprise/Education Edition;CPU至少4核;8 GB RAM;BIOS必須支持和能夠基于硬件的虛擬化;二級地址轉換技術(shù)(SLAT)和基于硬件的數據執行保護(DEP ) ; DirectX 11.0及以上的GPU, WDDM 1.2或更高版的驅動(dòng)。其他還有專(zhuān)用硬件要求:HoloLens , Emulator或其他類(lèi)似硬件。建模則可以使用一些3D建模軟件，如Unity Technologies公司的Unity。

感知技術(shù)

1、視覺(jué)

計算機的顯示技術(shù)經(jīng)歷了顯像管CRT,液晶LC D等時(shí)代，期間，等離子顯示也曾流行，但目前基本上有LCD占據主流。

虛擬現實(shí)的顯示目前有HMD頭盔、投影和桌面顯示三種主要方式，最受青睞的是HMD。

大部分HMD有一個(gè)或兩個(gè)帶透鏡的小顯示器，顯示單元可以使用CRT , LCD , LCos或OLED技術(shù)。顯示器有鏡頭和半透明反光鏡，封裝在一起。許多HMD配有耳機(或喇叭)，以便視頻和音頻一起輸出。有的HMD是一個(gè)復雜的感知和計算系統，以Microsoft的HoloLens為例:它擁有3個(gè)處理器—CPU,GPU,HPU(holographic processing unit);Inertial Measurement Unit(IMU)—加速度傳感器、陀螺儀、磁力計;攝像機一一一5個(gè)可見(jiàn)波長(cháng)攝像機、一個(gè)遠紅外攝像機;一個(gè)遠紅外激光投影器;麥克風(fēng)等等。

為了發(fā)揮自己潛力，HMD和跟蹤器配合在一起，探測角度、方向甚至是位置的變化，以便在計算機里控制VR應用，按特定實(shí)踐渲染成虛擬場(chǎng)景。

在醫療外科應用中，還使用了X射線(xiàn)視像，和傳統視像合成在一起。傳統的HMD可以提供大多數沉浸感，但還有不足，主要如顯示粒度、視角大小等。

2、聽(tīng)覺(jué)

聲音是我們日常生活體驗的一部分，從中獲取大量信息。聲音來(lái)自不同空間位置，我們生活中感知的是空間聲音。如何在虛擬環(huán)境里構建空間聲音一個(gè)重要挑戰。

聲音在虛擬顯示系統中扮演著(zhù)不同角色，如:

1)補充信息:聲音可以提供較僅有視覺(jué)外補充的、更豐富的信息。少許的回聲和反響都可使人的大腦對關(guān)注對象的方位和距離，以及環(huán)境大小和背景有新的認識。

2)可供選擇的反饋:聲音反饋可以提升用戶(hù)接口(例如可以用聲音指示用戶(hù)命令的確認或選擇的對象)。

3)可供選擇的交互模式:聲音是一種有效的通信通道。語(yǔ)音識別和語(yǔ)音合成可以有效地提升VR效果。

涉及的問(wèn)題如空間聲音的記錄與再生和空間聲音合成等?？臻g聲音合成包括處理聲音信號以生成逼真的聲音，描述真實(shí)聲音場(chǎng)景:聲源的位置、方位，室內還是曠野，等等。還有的問(wèn)題如聲音渲染。聲音渲染大多用于為動(dòng)畫(huà)生成同步聲道，為場(chǎng)景里的每個(gè)對象通過(guò)創(chuàng )建有特征音色的空間聲音。聲源可以通過(guò)采樣或合成實(shí)現。

VR里的聲音系統需要滿(mǎn)足如下需求:

1) 3D定位:精確地定位虛擬聲源。

2)音響仿真:音響空間仿真是再現真實(shí)環(huán)境的基本要素，要能反映出房間的大小，墻面的特點(diǎn)等。

3)速度和效能:在空間聲音的物理性質(zhì)的精確仿真和聲音實(shí)時(shí)有效生成間往往存在矛盾，因此一般需要有個(gè)折衷。同時(shí)，實(shí)現虛擬環(huán)境還需要一定數目的虛擬聲源。大多數重要的聲音現象可以用計算機引擎仿真。值得注意的一個(gè)挑戰是如何在任意虛擬位置將聲源映射到一定數目的喇叭，而其實(shí)際位置又受到VR系統安裝時(shí)的物理設置所限制。

3、觸覺(jué)

目前的大多數VR應用提供視覺(jué)和聽(tīng)覺(jué)反饋，較少涉及力反饋。但是，很多VR應用，迫切需要涉及觸覺(jué)和肌肉運動(dòng)知覺(jué)，給人“接觸”虛擬物體的能力。觸摸是人的一種重要感覺(jué)，其中包括皮膚接觸和肌肉運動(dòng)觸覺(jué)等。典型的觸覺(jué)感知設備和技術(shù)如:

1)數據手套(Data Gloves)手是人觸摸的一個(gè)主要輸入通道，是通過(guò)觸摸感知和操縱外部環(huán)境的主要接口。因此，手套形式的VR設備被大量設計和開(kāi)發(fā)出來(lái)。這類(lèi)手套里納入了大量的傳感器，用于獲取手指彎曲等身體數據。內置磁性或慣性的運動(dòng)跟蹤器( motion tracker)用于獲取全方位的手套位置與旋轉數據。有的還有響應激勵設施，用于反映用戶(hù)在虛擬現實(shí)應用中的反應，例如在手指關(guān)節處內置可充氣氣囊，在用戶(hù)接觸虛擬物體時(shí)，彎曲手指或握拳時(shí)適時(shí)將小氣囊充氣，用戶(hù)感知氣囊壓力，虛擬環(huán)境逼真仿真出握到虛擬物體的感覺(jué)。市場(chǎng)上已有豐富的數據手套產(chǎn)品，如CyberGlove,SDT Data Glove。它們擁有豐富的傳感功能，藍牙接口，開(kāi)發(fā)SDI等。

2)觸覺(jué)演繹和渲染觸覺(jué)演繹和渲染指的是通過(guò)用戶(hù)和虛擬物體的交互，計算和產(chǎn)生出響應力的過(guò)程。

一般有2類(lèi)渲染算法:

(1) 3-DOF觸覺(jué)演繹:這類(lèi)算法考慮和虛擬物體的單個(gè)接觸點(diǎn)場(chǎng)景，只有3個(gè)自由度(3 DOF)，只能在3D空間里變化位置。

(2) 6-DOF觸覺(jué)演繹:這類(lèi)算法以6自由度抓住的物體:解決位置和轉動(dòng)問(wèn)題，觸覺(jué)的反饋既有位置還有力矩。觸覺(jué)渲染接口也值得一提，觸覺(jué)渲染接口負責產(chǎn)生機械信號刺激人的肌肉和觸摸通道，讓人理解感知和在現實(shí)環(huán)境里作出響應動(dòng)作。觸覺(jué)接口的目標是通過(guò)再生虛擬物體的物理特征便于操縱虛擬物體。一般可將這類(lèi)接口分為被動(dòng)觸覺(jué)接口、主動(dòng)觸覺(jué)接口和混合觸覺(jué)接口三類(lèi)。被動(dòng)觸覺(jué)接口只能針對用戶(hù)運動(dòng)施加阻力。主導觸覺(jué)接口使用激勵器，有提供能量的能力，這類(lèi)激勵器可以是電動(dòng)馬達、水力系統、壓電裝置等?；旌嫌|覺(jué)接口則同時(shí)使用主動(dòng)和被動(dòng)激勵器。

虛擬現實(shí)系統工程與軟件框架

如何構建一個(gè)VR系統

開(kāi)發(fā)和運維一個(gè)VR系統并不容易，需要許多領(lǐng)域的深度知識，涵蓋傳感和跟蹤技術(shù)、立體顯示、多模態(tài)交互和處理、計算機圖形學(xué)和幾何建模、動(dòng)態(tài)和物理仿真、性能調節等。和其他軟件系統比較，新的特點(diǎn)是:(1)實(shí)時(shí)性性能要求;(2)對象外觀(guān)和物理性質(zhì)建模問(wèn)題，還要包括其行為特征;(3)根據不同任務(wù)和輸入/輸出設備，不同風(fēng)格和形態(tài)的交互技術(shù)。同時(shí)VR面臨的是一個(gè)多目標決策的復雜問(wèn)題，這些目標還很可能是矛盾的。

構建一個(gè)VR系統往往需要分步和迭代實(shí)現。第一步需要分析對虛擬體驗的需求，初略描述完整的流程和情景結構，包括時(shí)間和交互條件。還需要估算基本的輸入/輸出設施或必要的計算能力。在需求分析基礎上，需要對主要虛擬對象建模。要使用CAD軟件常常還需要建立幾何形態(tài)，開(kāi)發(fā)人員使用圖形/VR庫函數(例程)對行為特征進(jìn)行編程。虛擬對象和其他成分要組織起來(lái)構成一幕幕場(chǎng)景，編程后的場(chǎng)景要渲染，以高幀率(如20 Hz)顯示給用戶(hù)，保證對象動(dòng)畫(huà)的平滑性。系統中常用特定的VR傳感器和顯示設備作為接口。通過(guò)一步一步的精細化，系統逐步到達用戶(hù)要求。

VR軟件應當迭代方式分步開(kāi)發(fā)。最初的迭代應聚焦于常規視圖，如需求分析，描述對象和特征，定義分層、全局系統行為、用戶(hù)任務(wù)建模和總體系統體系。下一步更多涉及VR相關(guān)的視野，對性能目標、計算模塊逐步細化。我們可以簡(jiǎn)述如下:

算法1 VR軟件開(kāi)發(fā)算法

(1)腳本設計/需求分析

(2)對象/全局行為/系統結構“場(chǎng)景”建模

①系統概要設計/修改需求

②系統設計

③系統仿真與驗證，性能調節，過(guò)程分配

(3)性能/任務(wù)分解/交互模型/信息、功能、行為模型精細化

(4)實(shí)現呈現/特效

虛擬現實(shí)系統工程

VR/AR/MR開(kāi)發(fā)是一種特殊的系統工程，我們這里稱(chēng)為虛擬現實(shí)系統工程，對此，從3個(gè)方面討論:交互設計、軟件設計和實(shí)現、虛擬現實(shí)應用。

1、交互設計

學(xué)者提出了一個(gè)基于混合對象的集成框架:將MR中出現的對象稱(chēng)為(虛/實(shí))混合對象，分析混合對象的內涵特征和外延特征，從而給出了一些方法，如:

(1)一種迭代的用戶(hù)為中心的設計方法;

(2)嵌入式MR環(huán)境。

針對虛擬現實(shí)系統工程，還討論了若干特殊設計問(wèn)題，如提出一個(gè)面向工程的軟硬件協(xié)調設計方法;在設計結構中，討論了基于模型的方法，使用傳統的基于模型轉換方法，從概念模型逐步演化和求精，最后實(shí)現軟件的方法。

2、生命周期

和所有軟件系統一樣，VR系統也有其生命周期。VR系統的生命周期管理也是一個(gè)挑戰。

應用

VR不只是在游戲娛樂(lè )中找到用武之地，其應用的領(lǐng)域很廣，主要應用在健康、教育、娛樂(lè )、文化、工業(yè)和軍事等領(lǐng)域。

健康科學(xué)

虛擬現實(shí)技術(shù)廣泛應用在健康領(lǐng)域，如外科、康復等。

1、虛擬外科

虛擬細幕)凳集擬現實(shí)應用的一個(gè)熱門(mén)課題，很多系統被開(kāi)發(fā)出來(lái)。手術(shù)前的準備往往可以用一個(gè)VR系統來(lái)實(shí)現。這樣的系統讓外科醫生在一個(gè)虛擬環(huán)境里熟悉和改進(jìn)技能，大大有利于真實(shí)手術(shù)過(guò)程。

2、虛擬康復和治療

虛擬現實(shí)也可用來(lái)基于物理治療的康復處理。用于康復的VR系統集成觸覺(jué)和先進(jìn)傳感技術(shù)，識別運動(dòng)模式、開(kāi)發(fā)仿真任務(wù)(治療練習)和診斷。一般通過(guò)立體顯示、力反饋設備、現代傳感技術(shù)實(shí)現的。診斷則通過(guò)收集數據、導入醫院檢測和基于人工智能模型實(shí)現的。

3、心理治療

心理治療中使用虛擬現實(shí)也很有用。例如，對于孤獨癥兒童而言，直接將其置于人群中可能兒童會(huì )不適應。使用VR技術(shù)，讓他/她在虛擬人群中先熟悉起來(lái)，在逐步讓其真正融入人群會(huì )更有利。

4、虛擬解剖

虛擬解剖也是VR的典型應用，借助于VR技術(shù)，醫學(xué)學(xué)生可以很直觀(guān)地掌握解剖技術(shù)、了解人體結構，很好解決解剖對象短缺困境的問(wèn)題。

工業(yè)制造業(yè)應用

計算機在產(chǎn)品開(kāi)發(fā)中廣泛使用，計算機輔助設計(CAD)、計算機輔助制造(CAM)、計算機輔助裝配規劃(CAAP )等是產(chǎn)品生命周期里廣泛使用的計算機系統。VR技術(shù)的應用大大提高CAD/CAM處理能力。圖3展示VR在產(chǎn)品設計中的應用。

圖3 產(chǎn)品設計中的VR系統

在裝配和運維中虛擬現實(shí)技術(shù)也廣泛應用。1990年，波音公司啟動(dòng)777飛機的研制工作，生產(chǎn)過(guò)程采用了大量全新的航電、飛控、起落架等設計，需要在飛機上安裝大量的長(cháng)捆航空線(xiàn)束。這些航空線(xiàn)束僅擔負著(zhù)傳統的輸配電功能，還擔負這各類(lèi)系統的信息傳輸功能。線(xiàn)束的安裝位置必須準確快速，一方面保證各類(lèi)線(xiàn)束之間彼此不產(chǎn)生干擾，另一方面也要避免被外界的信號干擾或者干擾外界的信號。

為了準確地安裝這些復雜的線(xiàn)束，1990年，波音的兩位工程師，Thomas Caudell和David Mizell，提出了使用一種抬頭****裝置。利用這個(gè)裝置，安裝工人在工作過(guò)程中，按照他們現在所處的位置以及頭部朝向，系統依據數字CAD圖，自動(dòng)生成虛擬圖像，疊加到工人們視野中的真實(shí)場(chǎng)景里。工人們可以方便地按照****的虛擬線(xiàn)路指導，進(jìn)行各類(lèi)航空線(xiàn)束的安裝。通過(guò)這么一個(gè)裝置，可以輕而易舉地提高安裝線(xiàn)束的效率同時(shí)減少安裝線(xiàn)束的錯誤。增強現實(shí)這個(gè)詞也產(chǎn)生于此，描述這種在真實(shí)場(chǎng)景下，按照用戶(hù)看到的物體以及他們的位置和頭部朝向，自動(dòng)疊加虛擬內容的這種技術(shù)。Thomas和David把他們的設想寫(xiě)成論文，發(fā)表在1992年的第25屆系統科學(xué)國際會(huì )議上。

軍事應用

虛擬現實(shí)在軍事上的應用由來(lái)已久。表1中例舉的Ivan Sutherland的項目支持就來(lái)自美國國防部DARPA。戰場(chǎng)的態(tài)勢感知(Situation Awareness)是軍事上的重要問(wèn)題。大量偵察到的信息，無(wú)論來(lái)自衛星、雷達、傳感設備，還是飛機偵察等，需要收集起來(lái)、融合到一起，借助于3D技術(shù)和虛擬現實(shí)技術(shù)就可以把戰場(chǎng)環(huán)境虛擬地再現出來(lái)，有利于指揮和作戰。

培訓也是虛擬現實(shí)技術(shù)在軍事上的重要應用。飛機駕駛、導彈操控、軍艦操作往往可以借助于VR技術(shù)部分實(shí)現，從而減少成本，避免新手初操作時(shí)容易發(fā)生的事故。其他還有:戰士的單兵作戰系統、飛行員的駕駛系統等。

VR的其他應用，如教育、文化、旅游、BIM等，讀者可能已很熟悉，限于篇幅，本文不再贅述。

趨勢、發(fā)展和挑戰

虛擬現實(shí)發(fā)展迅速，從資本市場(chǎng)看:2017年8月9日蜜蜂網(wǎng)發(fā)布《2017年上半年VR/AR投融資報告》稱(chēng):全球VR/AR行業(yè)投資總額超過(guò)21.63億美元。其中，國內VR/AR行業(yè)投資總額超過(guò)5.2億美元;國外投資總額超過(guò)16.4億美元。半年里，發(fā)生投資事件126起，其中國內為60起，國外為84起。這些投資主要集中在技術(shù)、硬件、游戲、平臺、教育、建筑和行業(yè)應用等領(lǐng)域。其中，技術(shù)、硬件、游戲是投資熱點(diǎn)。騰訊2016發(fā)布年全球首份AR行業(yè)報告:到2017年，AR市場(chǎng)將增長(cháng)至52億美元。IDC發(fā)布報告:全球范圍內AR和VR市場(chǎng)的收入預計將在接下來(lái)四年內翻倍，甚至更多。所有在A(yíng)R/VR產(chǎn)品和服務(wù)上的花費預計會(huì )從2017年的114億美元上漲至2021年的2150億美元，年增長(cháng)率達到113.2%。面臨大好機會(huì )，我們也面臨新的挑戰。

首先，鑒于虛擬現實(shí)的3R要求，對處理器的要求很高。芯片(CPU,GPU和HPU)及其集成能力的需求十分迫切。感知技術(shù)/激勵技術(shù)包括硬件和軟件需要進(jìn)一步的發(fā)展。這里，我們僅從軟件角度看，我們的機遇和挑戰包括:

(1) VR建模技術(shù)。前面描述了VR建模技術(shù)的需求，目前尚有很多工作需要去做。

(2) VR開(kāi)發(fā)方法。和大家習慣的軟件開(kāi)發(fā)有很大不同的是，VR是一個(gè)軟硬件融合對策系統，需要軟硬件協(xié)同設計和開(kāi)發(fā)，相應的開(kāi)發(fā)方法有待研究和深化。

(3)大數據處理能力。VR系統中涉及大量感知數據，實(shí)時(shí)采集、融合、處理和分析這些數據需要專(zhuān)門(mén)的算法。

(4)人工智能。傳統的VR演化為AR和MR，其關(guān)鍵在于大數據處理與AI技術(shù)，而面向AR和MR的算法與技術(shù)研究尚在初級階段。

(5)情景感知計算能力。作為一種計算形態(tài)，情景感知計算具有適應性、反應性、相應性、就位性、情景敏感性和環(huán)境導向性的特征，這就是VR系統所必須的更是需要突破的。