Magic Leap和微軟為什么要做AR眼鏡：關(guān)于原理及挑戰

　　Magic Leap 和 HoloLens 是什么?

　　Magic Leap 和 HoloLens 都是 Augmented Reality (AR)眼鏡的代表。

　　AR 和 VR 眼鏡的區別是什么?

　　AR 眼鏡是透明的，讓你能同時(shí)看到現實(shí)世界，和疊加在上面的虛擬成像。應用例子：趕不上 Lady Gaga 的演唱會(huì )?沒(méi)關(guān)系，戴上眼鏡她就在你家里開(kāi)一個(gè)。代表產(chǎn)品原型：Magic Leap 和微軟的 HoloLens。

　　VR 眼鏡是不透明的，只顯示虛擬世界，把物理世界完全擋住。應用例子：坐在家里也能去大溪地“潛水”。代表產(chǎn)品：三星的 Gear VR，谷歌 Cardboard，Oculus Rift。

　　Magic Leap 和 Microsoft 為什么要做 AR 眼鏡?

　　總的來(lái)說(shuō)，這是計算機的必然發(fā)展趨勢。2007 年蘋(píng)果推出 iPhone 以來(lái)，手機發(fā)展太迅猛，用戶(hù)隨時(shí)隨地帶著(zhù)它，各項使用數據毫無(wú)懸念地都在超越 PC 端。所以，人機交互界面的未來(lái)主要在于移動(dòng)。但現在的手機局限在于：

　　(1)既然要便于攜帶屏幕就做得小，屏幕小了某些功能就得受限;

　　(2)顯示屏幕是平面也就是二維的，而真實(shí)世界是三維的。

　　未來(lái)的 AR 眼鏡有望實(shí)現大突破，就是既能讓用戶(hù)隨身攜帶，又能在他眼前顯示超大屏幕，還能把以假亂真的 3D 內容渲染到他看到的真實(shí)世界里(想象你坐在教室里聽(tīng)課，你的老師看起來(lái)真實(shí)無(wú)比，但其實(shí)就是在你的眼鏡上虛擬出來(lái)的)。這樣的眼鏡大概不會(huì )完全取代手機，但毫無(wú)疑問(wèn)潛力無(wú)窮。

　　跟 VR 比較，AR 的應用場(chǎng)景也更廣闊(你總不能帶著(zhù) VR 頭盔大街上走吧)。本質(zhì)上，AR 是 VR 的超集，鏡片前面一擋就成了 VR(前提是視角能做到差不多大)。

　　戴眼鏡好麻煩，為什么不直接像《星球大戰》一樣在空氣中顯示全息圖(Hologram)?

　　Holography 是人類(lèi)的美好愿景，有一天也許能做成，但近期看離實(shí)用還早?，F在有一些大學(xué)實(shí)驗室在研究裸眼光場(chǎng)顯示器(light field display)，但需要很復雜笨重昂貴的設備，還只能在安裝了的地方用。相對而言，眼鏡的可行性要大得多。如果能做成輕便的 AR 眼鏡，將是移動(dòng)人機交互界面上也是計算機發(fā)展的重大革新。

　　在 VR 頭盔上加個(gè)前視攝像頭不也就成 AR 了嗎?為什么非要透明的?

　　好問(wèn)題。說(shuō)起來(lái) AR 有兩種，一種是前面所說(shuō)的透明 AR(optical see-through)——現實(shí)世界是透過(guò)鏡片直接看到的。另一種就是“視頻疊加”(video see-through 或者 video overlay)——現實(shí)世界是通過(guò)攝像頭捕捉，然后以視頻的方式呈現給用戶(hù)(在上面再渲染一些東西)。事實(shí)上，現在手機和平板上已經(jīng)出現了很多 video overlay 的應用，比如看星空，求翻譯，選家具等。

　　那為什么不用 VR 頭盔加攝像頭實(shí)現這種 AR 呢?當然可以，現在很多 VR 頭盔都在試探這種做法。它和透明 AR 相比各有優(yōu)劣，比如優(yōu)勢在于用視頻實(shí)現的虛擬和現實(shí)的疊加(overlay)要比透明 AR 簡(jiǎn)單得多，這也是為什么它已經(jīng)開(kāi)始在移動(dòng)端商用的原因。

　　但劣勢也可想而知，用戶(hù)看到的畢竟只是一個(gè) 2D 視頻，質(zhì)量跟眼睛直接看到的世界還是差很大的。而且視頻從采集到顯示總歸是有延遲的，如果跟體感信號不一致的話(huà)會(huì )造成身體不適。所以不管怎樣都還是會(huì )有公司前仆后繼地去做透明 AR 的，Magic Leap 和 Microsoft HoloLens 就是例子。

　　Magic Leap 為什么那么牛能融到 5.42 億?(最近的 C 輪在融 8億)

　　前面說(shuō)的應用潛力無(wú)窮肯定是助力，同時(shí)還有技術(shù)，創(chuàng )始人，團隊的原因。

　　Magic Leap 的核心技術(shù)是來(lái)自華盛頓大學(xué)前研究員 Brian Schowengerdt 的，他導師 Eric Seibel 是光纖掃描內窺鏡(Scanning Fiber Endoscope)的專(zhuān)家。大家都知道內窺鏡就是醫生們做手術(shù)時(shí)用來(lái)體內成像的，本質(zhì)是個(gè)微小攝像頭。Brian 很聰明地逆轉光路把這個(gè)技術(shù)用到了顯示上，這樣通過(guò)極細的光纖用激光就可以打出彩色的圖像(如圖所示)。這個(gè)技術(shù)十幾年前就發(fā)表了，后來(lái)又不斷改進(jìn)，生成了一堆專(zhuān)利。Magic Leap 很大程度上是基于 Brian 的這些專(zhuān)利。

　　那這種技術(shù)為什么重要呢?我們后面留成一個(gè)專(zhuān)門(mén)的問(wèn)題講。

　　然而光有技術(shù)牛是不夠的，AR 眼鏡這種東西，要想做好可想而知是需要投入巨大的人力物力的，軟件硬件都得有重大突破。蘋(píng)果、微軟、谷歌這樣的公司可能有財力去做這個(gè)事，為什么會(huì )相信一個(gè)初創(chuàng )小企業(yè)能做成?我覺(jué)得猶太人創(chuàng )始人 Rony Abovitz 起的作用很大。Rony 之前是 MAKO Surgical 的聯(lián)合創(chuàng )始人。這家公司知道的人不多，但他們做的東西說(shuō)出來(lái)就嚇人了——是做機器人手術(shù)(robotic surgery)的，主要是骨科手術(shù)精準定位。聽(tīng)起來(lái)科幻超前吧，可是人 2004 年創(chuàng )建，2008 年就上市了，2013 年以 16.5 億美元賣(mài)給了 Stryker Medical。這種 track record 他拉不到投資誰(shuí)能拉到。

　　除了創(chuàng )始人兼 CEO，團隊也不是蓋的，計算機視覺(jué)部分拉到了 Gary Bradski 和 Jean-Yves Bouguet 這樣的大牛。合作的 Weta Workshop 是在好萊塢給電影做特效的，《指環(huán)王》就是他們做的。所以 Magic Leap 當年用來(lái)拉投資用的概念視頻就像一個(gè)微型電影一樣。

　　現在該回到前面的問(wèn)題了，為什么 Magic Leap 的光場(chǎng)顯示技術(shù)很重要?

　　首先，它是基于極細的光纖的，可以讓眼鏡做得輕薄。但更重要的是因為 Brian 證明了用這種技術(shù)不僅可以投射出一個(gè) 2D 圖片，還能顯示出一個(gè)光場(chǎng)(Light Field)。

　　現代的近視眼鏡為了實(shí)現 3D 有兩種主要的技術(shù)：Stereoscopic(中文翻譯成“立體”，但其實(shí)不夠準確)，和 Light Field(光場(chǎng))。Stereoscopic 眼鏡早已商化(比如所有 3D 影院里用的，還有市面上幾乎所有 AR 和 VR 眼鏡/原型——包括 Microsoft HoloLens，Epson Moverio，Lumus DK-40， Facebook Oculus——都是 Stereoscopic)。而 Light Field 還只在實(shí)驗室里有雛形(Magic Leap 大概是做得最好的一個(gè))。什么是 Stereoscopic 3D 呢?為什么它不夠好還要做 Light Field 呢?什么又是Light Field 呢?

　　Stereoscopic 3D 是假 3D

　　3D 圖像比 2D 圖片多了一個(gè)維度，這個(gè)維度就是景深(depth)，看過(guò) 3D 電影和 2D 電影的同學(xué)知道感官上有明顯的區別(只有少數人有雙盲癥不能看到)。大家知道人眼感知景深有很多機制，包括單眼(monocular)和雙眼(binocular)的。

　　單眼能感知的景深信號很多，比如：一個(gè)東西遮擋了另一個(gè)(occlusion)，熟悉的物體的大小(relative size/height)，物體移動(dòng)的變化(遠的物體變化慢近的物體變化快，即 motion parallax)。在此基礎上，雙眼的景深信號也非常強烈(所以遠古的我們能更好地判斷對面的老虎或者鹿到底離多遠)。兩只眼睛看到同一個(gè)場(chǎng)景會(huì )有細微差別，這讓大腦能通過(guò)三角計算(triangulation)來(lái)得到物體景深。

　　Stereoscopic 3D 就是利用這個(gè)原理給雙眼分別顯示不同的圖片(如下圖)，它們很相似，只在水平方向上有細微差別。而這兩張圖片拍攝的時(shí)候，就是用兩個(gè)并排的相機模擬人眼的位置拍的，現在的 3D 電影都是基于這個(gè)原理。

　　但這樣的 Stereoscopic 3D 有什么問(wèn)題呢?簡(jiǎn)單講它會(huì )引起用戶(hù)身體不適如頭暈、惡心等。為什么呢?這又涉及到人眼的一個(gè)有意思的機制。當我們在看一個(gè)現實(shí)世界中的物體時(shí)，眼睛其實(shí)有兩種自然反應：

　　(1)聚焦(Accommodation/Focus)。眼睛的晶狀體就像一個(gè)凸透鏡，它會(huì )調節凸度來(lái)讓那個(gè)物體在咱們視網(wǎng)膜上清楚成像。

　　(2)“會(huì )聚”(Convergence)。在每只眼睛聚焦的同時(shí)，兩只眼球還會(huì )有旋轉運動(dòng)來(lái)一起指向那個(gè)物體。

　　很自然地，這兩種反射運動(dòng)在神經(jīng)上是聯(lián)接的(neurally coupled)，也就是說(shuō)任意一種運動(dòng)會(huì )自動(dòng)引發(fā)另一種運動(dòng)。這也意味著(zhù)，在人眼看真實(shí)物體的時(shí)候，聚焦和會(huì )聚的距離總是相等的(vergence distance = accommodation distance，參見(jiàn)下圖A)。