蘋(píng)果封神頭顯Vision Pro竟暗藏「腦機接口」！蘋(píng)果前員工瘋狂揭秘讀心操控

蘋(píng)果Vision Pro的橫空出世，一夜之間在全球引起軒然大波。

正如庫克所稱(chēng)，這將開(kāi)啟「空間計算」時(shí)代，足見(jiàn)Vision Pro對所有人來(lái)說(shuō)意義非凡。

戴上Vision Pro，只需眨眨眼，捏合手指，甚至動(dòng)動(dòng)嘴，「頭號玩家」的科幻便成為可能。

但，蘋(píng)果Vision Pro的科幻感，不僅于此。

頭顯發(fā)布后，蘋(píng)果前研究員Sterling Crispin在推特回顧自己工作中，透露了不少關(guān)于Vision Pro的「黑科技」。

最讓人驚艷的是，Vision Pro其實(shí)還暗藏著(zhù)一種「腦機接口」技術(shù)。

不需要芯片植入，它就能預測你的大腦行為，妥妥的「讀心術(shù)」。

灰色框可能是蘋(píng)果在搞秘密的項目

此外，蘋(píng)果頭顯還能根據個(gè)人身體和大腦的數據，來(lái)檢測心理狀態(tài)。

看似篇幅不長(cháng)的推文中，其實(shí)給許多人對蘋(píng)果Vision Pro帶來(lái)了無(wú)限的暢享。

Vision Pro暗藏「腦機接口」？

2018年，Sterling Crispin加入蘋(píng)果技術(shù)開(kāi)發(fā)小組，擔任「神經(jīng)技術(shù)原型」的研究員。

3年前，他開(kāi)始參與Vision Pro的研發(fā)工作。

正如他在推特上所稱(chēng)，自己花費人生10%的時(shí)間為Vision Pro的開(kāi)發(fā)做出貢獻，這是我做過(guò)的最長(cháng)的一次努力。

Crispin在蘋(píng)果的大部分工作都受到保密協(xié)議的約束，設計廣泛的主題和方法。

但其實(shí)，這些工作，有些蘋(píng)果已經(jīng)申請了專(zhuān)利，可以拿出來(lái)講。

Crispin稱(chēng)，「要使特定預測成為可能，涉及很多技巧，我提到的少數專(zhuān)利對此進(jìn)行了詳細說(shuō)明?！?/span>

最酷的能力就是能夠預測用戶(hù)，會(huì )在他們實(shí)際點(diǎn)擊之前，點(diǎn)擊某些東西。

而這項技術(shù)背后的主要原理是，每個(gè)人在做每件事之前，瞳孔會(huì )做出反應，其中部分原因是你預計在你點(diǎn)擊之后會(huì )發(fā)生一些事情。

因此，蘋(píng)果可以通過(guò)算法來(lái)監視你的眼睛行為。

并實(shí)時(shí)重新設計UI，以創(chuàng )建更多這種預期的瞳孔反應，從而創(chuàng )建個(gè)人大腦的生物反饋。

這其實(shí)就是通過(guò)眼睛實(shí)現的初級「腦機接口」。

Crispin表示，「這是一項艱巨的工作，也是我引以為豪的事情。隨時(shí)都會(huì )接受侵入性腦部手術(shù)?！?/span>

從中可見(jiàn)，蘋(píng)果頭顯利用大量神經(jīng)科學(xué)技術(shù)來(lái)開(kāi)發(fā)其中的一些關(guān)鍵功能，憑借不同技巧來(lái)確定一個(gè)人將要做的事。

此外，Crispin稱(chēng)自己工作很大一部分，涉及通過(guò)用戶(hù)在沉浸式體驗中的身體和腦部數據，來(lái)檢測用戶(hù)的心理狀態(tài)。

畢竟沉浸在虛擬世界中的人們，真的很需要有個(gè)健康檢測的功能。

當你處在混合現實(shí)，或者虛擬現實(shí)體驗中，AI模型嘗試預測你是否感到好奇、思維漫游、害怕、注意力集中、記起過(guò)去的經(jīng)歷或其他認知狀態(tài)。

而這些都可以通過(guò)眼動(dòng)追蹤、腦部電活動(dòng)、心臟跳動(dòng)和節奏、肌肉活動(dòng)、大腦中的血液密度、血壓、皮膚電導等測量數據來(lái)推斷。

除了以上提到的技術(shù)，推測認知狀態(tài)還包括你可能察覺(jué)不到的方式。

比如，向你快速閃爍視覺(jué)效果，或者聲音，然后測量你對此的反應。

還有一項專(zhuān)利介紹了，如何使用機器學(xué)習，以及來(lái)自身體和大腦的信號來(lái)預測你的注意力、放松程度或學(xué)習情況。

然后，頭顯會(huì )自動(dòng)更新虛擬環(huán)境，以增強這些狀態(tài)。

因此，你可以想象一個(gè)自適應沉浸式環(huán)境，它可以通過(guò)改變你在背景中看到和聽(tīng)到的內容，來(lái)幫助每個(gè)人學(xué)習、工作或放松。

Sterling Crispin介紹的這些和科技，或許我們能夠在VisionPro未來(lái)迭代升級中看到。

背后部分專(zhuān)利一覽

支撐發(fā)布會(huì )上魔幻演示的效果的，是蘋(píng)果在默默開(kāi)發(fā)VR設備這么多年中自己的技術(shù)積累。

5000多項VR專(zhuān)利，是發(fā)布會(huì )上驚艷眾人產(chǎn)品和基石和護城河。

現在就來(lái)看看演示中涉及到的專(zhuān)利技術(shù)。

雙手+意念控制一切

市面上幾乎所有的VR設備都配備了手柄。

但是蘋(píng)果卻大膽的在自己的第一款VR產(chǎn)品中就完全依賴(lài)手勢追蹤和眼球追蹤實(shí)現了絲滑的控制效果。

背后的技術(shù)在2023年獲得了專(zhuān)利。

根據專(zhuān)利圖示，FIG.1是3D操作環(huán)境的框架圖，展示了用戶(hù)UI實(shí)現的整體框架。

FIG.4是捕捉用戶(hù)的手勢輸入的頭顯計算機系統的手部跟蹤單元的框架圖。

FIG.5是用戶(hù)的眼球追蹤數據輸入的頭顯計算機系統的眼睛跟蹤單元的框架圖。

這個(gè)專(zhuān)利圖例展示了眼球反光輔助眼球追蹤的流程圖。

除了提供手部和眼球追蹤技術(shù)的基礎之外，該專(zhuān)利還描述了用戶(hù)如何在3D環(huán)境中更有效的進(jìn)行交互的設計和流程。

強大的手勢追蹤體驗，還源于今年5月，蘋(píng)果又獲得了一項專(zhuān)利。

這項專(zhuān)利描述了頭顯中的攝像頭如何使用深度映射來(lái)區分不同的手勢。

圖注：FIG.7E/F/H/I 說(shuō)明了相對于三維環(huán)境，基于用戶(hù)在一系列用戶(hù)輸入期間保持的手握力從而有選擇地移動(dòng)虛擬對象或相對于三維環(huán)境（以及三維環(huán)境中的所有虛擬對象）移動(dòng)視點(diǎn)維度環(huán)境。

一鍵生成3D形象

還記得之前被全網(wǎng)嘲諷的小扎在Horizon World里的3D形象嗎？

蘋(píng)果給出了的方案也許部分解釋了為什么同樣是做VR設備，蘋(píng)果能引爆全網(wǎng)，Meta卻讓自己的股票「跌跌不休」。

背后的技術(shù)專(zhuān)利也在上周被公布出來(lái)。

這個(gè)專(zhuān)利描述了未來(lái)的 Apple Watch 和 XR 頭顯將允許用戶(hù)使用設備上的相機設置自己的 3D 頭像的技術(shù)。

在專(zhuān)利的示意圖中，蘋(píng)果展示了未來(lái)的 Apple Watch允許用戶(hù)使用 Apple Watch 背面的傳感器拍攝自己的 Face ID 圖像。

該傳感器技術(shù)同樣可用于XR環(huán)境。

無(wú)限畫(huà)布

蘋(píng)果發(fā)布會(huì )上演示的Vision Pro可以將周?chē)臻g作為無(wú)限畫(huà)布。

用戶(hù)不僅可以隨意使用任何APP，而且可以把它們調成喜歡的任意尺寸。

蘋(píng)果在 2018 年就申請了和這個(gè)功能相關(guān)的專(zhuān)利，這項技術(shù)讓未來(lái)的XR頭顯提供用戶(hù)在 3D 環(huán)境中編輯文檔的功能。

如下圖 Apple 的專(zhuān)利圖所示。

另一個(gè)相關(guān)專(zhuān)利是2021年獲得的讓佩戴XR頭顯設備 (HMD) 的用戶(hù)可以查看顯示器（Mac、MacBook 或電視）并根據需要進(jìn)行虛擬擴展的技術(shù)。

收購AR初創(chuàng )公司Mira

其實(shí)，從申請多項專(zhuān)利可見(jiàn)，蘋(píng)果在A(yíng)R/VR領(lǐng)域的探索，蓄謀已久。

最早可以回溯到2010年，蘋(píng)果就收購了來(lái)自瑞典的面部識別技術(shù)公司Polar Rose。

在Vision Pro推出的后一天，就傳出了蘋(píng)果近來(lái)收購了Mira。這是一家構建輕量級AR頭顯的初創(chuàng )公司，還為美國軍方提供服務(wù)。

根據Mira首席執行官Ben Taft在Ins上的帖子顯示，作為收購的一部分，蘋(píng)果已經(jīng)聘請了至少11名Mira的員工。為Mira在蘋(píng)果的下一篇章感到興奮。從宿舍到收購的7年旅程。

目前，具體收購金額未知，也不清楚Mira在蘋(píng)果的增強現實(shí)路線(xiàn)圖中扮演怎樣的角色。

據2名前員工透露，蘋(píng)果前設計主管Jony Ive曾一度擔任這家初創(chuàng )公司的顧問(wèn)。

Mira于2016年由Ben Taft創(chuàng )立，總部位于洛杉磯，一直在為全球客戶(hù)生產(chǎn)AR頭顯，包括任天堂在日本環(huán)球影城中的主題公園。

這家初創(chuàng )公司迄今已籌集了約1700萬(wàn)美元的資金，包括藍熊資本、幸福投資和紅杉資本在內的投資者。

而蘋(píng)果在Vision Pro中展示出來(lái)的很多技術(shù)，也是源于一次次成功的收購。

比如一些手勢和空間定位的專(zhuān)利技術(shù)，就是通過(guò)收購了總部位于蒙特利爾的 VRvana獲得的。

頭顯「iPhone時(shí)刻」到來(lái)，還需5年

蘋(píng)果推出的Vision Pro，預示著(zhù)它的下一個(gè)時(shí)代即將到來(lái)。

這款頭顯標志著(zhù)蘋(píng)果首次創(chuàng )建了一個(gè)新的計算平臺，可以取代現有的大部分主要產(chǎn)品。

盡管iPhone蠶食了iPod，iPad威脅到了Mac。但是，還沒(méi)有哪一個(gè)蘋(píng)果產(chǎn)品類(lèi)別能夠同時(shí)擊敗當前3個(gè)主要細分市場(chǎng)。

彭博報道稱(chēng)，想讓Vision Pro成為iPhone的替代品，至少需要5年的時(shí)間。若要成為殺手級產(chǎn)品，可能需要付出更多的時(shí)間。

如今，Vision Pro售價(jià)3499美元，價(jià)格高且不說(shuō)，不能與手機互聯(lián)互通，甚至也不能打電話(huà)。

而且設計還是太過(guò)笨重，而且必須隨身裝一個(gè)外置電池組，僅有2小時(shí)電量，無(wú)法長(cháng)時(shí)間使用。

但在接下來(lái)的幾年里，蘋(píng)果能夠解決這些問(wèn)題，并推出一款「無(wú)所不能」的設備。

表面來(lái)看，Vision Pro看起來(lái)就像是一個(gè)為有錢(qián)人，或者那些對科技新品有無(wú)限需求的人而定制的「高價(jià)玩具」。

但是，蘋(píng)果在WWDC上也竭力表明，這是每個(gè)人的設備，從辦公、到娛樂(lè )、視頻、出行等等方面。

不過(guò)，這并非不可能。

蘋(píng)果在iPhone、MacBook等產(chǎn)品的迭代更新向世人展示了自身的潛力。

進(jìn)而，Vision Pro及其更先進(jìn)的后續產(chǎn)品的發(fā)展價(jià)值，也將變得更加清晰。

其實(shí)還有一點(diǎn)是，Vision Pro并不像iPad或iPhone一樣容易上手。而且每個(gè)人戴上頭顯還可能會(huì )有沉浸體驗的不舒適感。

不過(guò)，隨著(zhù)時(shí)間的推移，人們便會(huì )習慣這種全新的「空間計算機」，就像戴一副眼鏡一樣。

通過(guò)Vision Pro，蘋(píng)果展示了自己正朝著(zhù)將計算設備體積縮到最小、最輕便的未來(lái)努力。

但這可能是一條漫長(cháng)，而崎嶇的道路。

不過(guò)，至少在周一的2個(gè)小時(shí)里，對于數百萬(wàn)果粉來(lái)說(shuō)，這款頭顯讓他們終于見(jiàn)證了Vision Pro的到來(lái)。

或許有一天，我們可能會(huì )戴著(zhù)Vision Pro，觀(guān)看WWDC 2030。

來(lái)源：新智元