巨頭追逐的眼球追蹤技術(shù)要帶來(lái)的是更加人性化的設備

　　人的身體有視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)味覺(jué)、觸覺(jué)和運動(dòng)五大感知系統，然而我們所接收的80%的信息都來(lái)自于眼睛。

　　眼睛不僅是我們的輸入主設備，也是我們的輸出設備。俗話(huà)說(shuō)：“眼睛是心靈的窗戶(hù)”，情侶之間的愛(ài)意也是靠眼波的流連婉轉。眼睛透露出我們很多的“秘密”。

　　目前我們的人機交互還主要靠的是鍵盤(pán)、鼠標、觸摸，這些輸入并不直接也不高效。人機互動(dòng)的發(fā)展方向應該是越來(lái)越人性化，要能“聽(tīng)”、能“看”，能主動(dòng)探索和回應需求。

　　眼球追蹤讓機器更懂你

　　眼球追蹤就是這樣一個(gè)讓機器人更懂人類(lèi)的技術(shù)。眼球追蹤主要是研究眼球運動(dòng)信息的獲取、建模和模擬。一是根據眼球和眼球周邊的特征變化進(jìn)行跟蹤，二是根據虹膜角度變化進(jìn)行跟蹤，三是主動(dòng)投射紅外線(xiàn)等光束到虹膜來(lái)提取特征。

　　眼球追蹤技術(shù)的發(fā)展由來(lái)已久，應用的場(chǎng)景廣泛。在心理學(xué)實(shí)驗中，可以通過(guò)人的瞳孔變化來(lái)監測一個(gè)人是否在說(shuō)謊;在廣告效果監測方面可以通過(guò)人眼注視點(diǎn)的移動(dòng)來(lái)判斷人的偏好;而到了人機交互方面，眼睛可以取代鍵盤(pán)、鼠標和觸屏，一些手機可以在人眼離開(kāi)時(shí)暫停視頻播放，也有殘障人士通過(guò)眼睛打字完成了一本書(shū)的寫(xiě)作。

　　早在2012年，眼控技術(shù)研究科技公司Tobii宣布研發(fā)出了適配Windows8的眼控Gaze界面。這是一家做眼球追蹤技術(shù)較早的瑞典公司。2007年公司估值1400萬(wàn)美元，2009年則達到了2680萬(wàn)美元。2012年，英特爾注資2100萬(wàn)美元進(jìn)Tobii公司，也是出于對windows8操作系統一次投資。2014年，Tobii推出了第二代智能眼鏡Glass2，利用每個(gè)鏡片配備2個(gè)攝像頭以及相應的軟件技術(shù)，實(shí)現對眼球動(dòng)作的精準捕捉。

　　英特爾雖然很早就收購了眼球追蹤的公司，但是經(jīng)過(guò)多年，眼球追蹤依然未成為筆記本電腦的核心交互方式。而VR的發(fā)展卻讓我們看到了眼球追蹤技術(shù)應用的更多的可能性。

　　各大巨頭爭搶眼球追蹤公司布局VR/AR

　　目前眼球追蹤市場(chǎng)中的主要廠(chǎng)商包括TobiiAB(瑞典)、SensoMotoricInstrumentsGmbH(德國)、SeeingMachines(澳大利亞)、EyeTracking(美國)、SmartEyeAB(瑞典)、EyeTechDigitalSystems(美國)和七鑫易維(中國)等。這些廠(chǎng)商有獨立開(kāi)發(fā)產(chǎn)品的，也有和大廠(chǎng)合作研發(fā)的。

　　(1)三星投資FOVE：主打眼球追蹤的VR頭盔

　　早在2014年末，FOVE就宣布將會(huì )發(fā)布一款使用眼球追蹤技術(shù)的頭戴顯示設備。在當時(shí)，GearVR發(fā)布不久，而OculusRift和HTCVive這些PCVR還沒(méi)發(fā)布。

　　FOVE頭顯結合了眼球和頭部位置追蹤，定位傳感等技術(shù)，讓用戶(hù)可以用眼睛控制顯示器。FOVE一開(kāi)始在Kickstarter上發(fā)起眾籌，募集到246566美元。而在2015年，三星風(fēng)險投資公司投資了FOVE，具體投資金額不詳。2016年之時(shí)，這家公司A輪融資拿到了1100萬(wàn)美金，并且公布在11月接受預定，售價(jià)599美元，價(jià)格堪比Oculus。

　　除了投資FOVE以外，三星自己也在研發(fā)眼球追蹤的頭盔。就在今年7月，一家專(zhuān)注于VR設備眼球追蹤的韓國公司VisualCamp稱(chēng)他們正參與研發(fā)的一款三星秘密開(kāi)發(fā)的VR一體機——SamsungExynosVRIII。擁有作為領(lǐng)軍移動(dòng)VR頭盔GearVR的三星，其融入了手勢識別、眼球追蹤的一體機會(huì )表現如何呢?

　　(2)谷歌收購Eyefluence，或為AR交互

　　2016年10月，谷歌收購了一家專(zhuān)注眼球追蹤的初創(chuàng )公司Eyefluence。Eyefluence擁有的AR交互專(zhuān)利將提升高清注視追蹤技術(shù)，并可通過(guò)眼睛進(jìn)行身份識別和密碼保護，也就是說(shuō)，電腦或手機上的指紋掃描和密碼輸入將由眼球追蹤代替。

　　增強現實(shí)眼鏡的交互與筆記本電腦和臺式電腦的交互方式發(fā)生了顯著(zhù)的變化。當增強現實(shí)眼鏡把圖像呈現在人眼之上時(shí)，任何需要觸摸的交互都難以實(shí)現。依靠眼球追蹤的交互方式成為顯要的需求。

　　除了谷歌Glass以外，谷歌已經(jīng)與HTC、聯(lián)想合作計劃推出VR一體機，或將具有眼球追蹤功能。

　　(3)Facebook收購TheEyeTribe

　　2017年1月，Facebook旗下公司Oculus確認收購一家專(zhuān)做眼球追蹤的創(chuàng )業(yè)公司TheEyeTribe，并且將使用其技術(shù)來(lái)改善OculusVR產(chǎn)品。

　　TheEyeTribe成立于2007年，是一個(gè)有16人的創(chuàng )業(yè)團隊，致力于為多平臺提供眼球追蹤的軟件和硬件。他們已經(jīng)推出了面向計算機設備的眼球追蹤開(kāi)發(fā)者套件，售價(jià)99美元，一個(gè)面向消費者的眼球追蹤盒子，售價(jià)199美元。這個(gè)眼球追蹤盒子可以連接到電腦、平板、手機等多種設備。

　　(4)蘋(píng)果收購S(chǎng)MI

　　2017年6月蘋(píng)果公司昨天確認收購德國計算機視覺(jué)公司SensoMotoricInstruments(SMI)。

　　這家公司的眼球追蹤技術(shù)解決了VR常見(jiàn)的短板，它能夠以120Hz的采樣率實(shí)時(shí)記錄用戶(hù)的自然凝視行為，可以分析佩戴者的目光，并幫助減少眩暈。

　　在2016年CES上，SMI與Lumus合作推出了一款帶有眼球追蹤技術(shù)的LumusDK-50增強現實(shí)眼鏡。用戶(hù)能看到AR顯示屏幕上的3D圖像，并且可以與之互動(dòng)。

　　在今年的WWDC(全球開(kāi)發(fā)者大會(huì ))蘋(píng)果公司推出了ARKit，iPhone全面支持AR，一躍成為最大的AR平臺。在7月，隱匿三年的谷歌Glass以企業(yè)版的形式宣布回歸，但是目前未有消息其應用了眼球追蹤技術(shù)。蘋(píng)果將如何整合AR與眼球追蹤十分值得關(guān)注。

　　(5)高通、英偉達合作七鑫易維，專(zhuān)注VR底層優(yōu)化

　　七鑫易維是國內一家專(zhuān)注眼球追蹤技術(shù)的公司，成立于2009年，一開(kāi)始是希望把眼控技術(shù)用在谷歌Glass這樣的可穿戴產(chǎn)品上面。

　　從2013年，他們轉向了VR，2016年與HTC合作推出可以應用到Vive上的VR眼球追蹤模組“aGlass”。aGlass得到HTCVive官方認證，可以?xún)戎玫絍ive頭顯中，為其增加多項基于眼球追蹤技術(shù)開(kāi)發(fā)的功能，包括注視點(diǎn)渲染、眼控交互、眼動(dòng)大數據和眼控游戲。

　　2016年，英偉達確認與北京七鑫易維科技有限公司展開(kāi)合作，共同助力VR產(chǎn)業(yè)。在VR火爆的元年，英偉達確定了VR開(kāi)發(fā)者計劃，提供硬件測試平臺，推出GameWorksVR方案，向開(kāi)發(fā)者開(kāi)放NVIDIAVRSDK和提供相應的開(kāi)發(fā)工具。

　　七鑫易維CEO黃通兵告訴雷鋒網(wǎng)：“七鑫易維與英偉達的合作主要是PCVR產(chǎn)品的注視點(diǎn)渲染(FoveatedRendering)技術(shù)方面合作，我們需要英偉達底層API和硬件加速支持，才能實(shí)現最佳效果，最高降低GPU負荷到原來(lái)的十分之一，日后注視點(diǎn)渲染會(huì )成為PCVR的標配技術(shù)。”

　　同時(shí)，高通在IFA2016大會(huì )上，發(fā)布了一款VR一體機參考設計——SnapdragonVR820，目前已經(jīng)升級的二代搭載驍龍835芯片，能在低功耗下實(shí)現良好的圖形渲染。高通投資了多家VR公司，在2014年以4000萬(wàn)美元投資七鑫易維。

　　雷鋒網(wǎng)好奇七鑫易維與英偉達和高通這兩家公司合作模式的不同，黃通兵表示：“高通在VR領(lǐng)域主要提供移動(dòng)VR的高性能芯片方案，對于移動(dòng)VR來(lái)說(shuō)，計算能力相對PCVR較弱，對能耗也更敏感。所以，通過(guò)注視點(diǎn)渲染技術(shù)降低功耗、發(fā)熱更加重要。此外，眼球追蹤需要充分利用硬件核心來(lái)加速，高通在移動(dòng)處理器中集成眼球追蹤相關(guān)計算模塊也是可以預見(jiàn)的。”

　　各大巨頭都在收購眼球追蹤公司，可見(jiàn)眼球追蹤技術(shù)已然成為未來(lái)人機交互、AR以及VR的基本技術(shù)。高通和英偉達作為基礎硬件廠(chǎng)商，對于眼球追蹤技術(shù)的應用能從底層設計上優(yōu)化VR/AR體驗，而三星、谷歌和Facebook這樣的VR廠(chǎng)商或許能在應用場(chǎng)景和操作設計上給我們更多的驚喜，當然蘋(píng)果的舉動(dòng)向來(lái)更喜歡出其不意。

　　眼球追蹤解決VR/AR三大問(wèn)題

　　Oculus的創(chuàng )始人PalmerLuckey曾表示，眼部跟蹤技術(shù)會(huì )成為VR技術(shù)未來(lái)的一個(gè)“重要組成部分”。不僅能實(shí)現注視點(diǎn)渲染技術(shù)，它還能用來(lái)創(chuàng )造一種視覺(jué)深度，以創(chuàng )作出更好的用戶(hù)界面。

　　(1)減少眩暈

　　VR要帶給人沉浸感，就要做到能讓人在虛擬空間里自然運動(dòng)，這需要通過(guò)運動(dòng)追蹤來(lái)改變場(chǎng)景的呈現。目前的VR設備主要是利用空間定位技術(shù)來(lái)捕捉人的身體的位置運動(dòng)，用慣性傳感器來(lái)捕捉人的頭部的運動(dòng)，人在轉動(dòng)頭部時(shí)，視角會(huì )發(fā)生相應的變化。

　　但是這只是比較初級的動(dòng)作捕捉，人其實(shí)大多數時(shí)候都是通過(guò)轉動(dòng)眼球而不是頭部來(lái)改變視覺(jué)。人們習慣用眼球轉動(dòng)(而不是頭部轉動(dòng))去觀(guān)察。

　　目前的VR只追蹤頭部不追蹤眼球運動(dòng)容易使人眩暈(MotionSickness)。人類(lèi)對于頭部轉動(dòng)和相對應的視野的變化是極度敏感的。如果用戶(hù)的頭轉動(dòng)了，而相對的，視野轉動(dòng)有延遲，只要很微小的延遲就能感覺(jué)得到。有多微小呢?研究表明，頭動(dòng)和視野的延遲不能超過(guò)20ms，不然就會(huì )非常明顯。而眼球追蹤技術(shù)運用在這里正好可以解決這一問(wèn)題，以眼球的變化來(lái)控制場(chǎng)景的變化。

　　(2)注視點(diǎn)渲染

　　場(chǎng)景的變化很必要，但是要讓VR呈現出同自然世界一樣的場(chǎng)景和空間感所需的信息量和計算量是極大的。目前的VR大多數是將全部場(chǎng)景以同等的清晰度來(lái)呈現，用戶(hù)移動(dòng)頭部和身體時(shí)虛擬物體也會(huì )相應地變換位置，視點(diǎn)拉近和退后都會(huì )影響景深，這些變化都需要大量的計算和不斷更新。

　　目前的VR能達到每秒36次的刷新，而要達到人眼場(chǎng)景轉換的速度則需要2000-3000次每秒，要實(shí)時(shí)渲染出這些場(chǎng)景，就連很高配的電腦都達不到。

　　而事實(shí)上，VR根本就不需要也不應該以全部的清晰度來(lái)呈現場(chǎng)景里的所有物體。在日常生活中，我們都明白“近大遠小”，并且當我們注視一個(gè)物體時(shí)，這個(gè)物體會(huì )變清晰而其他物體會(huì )變模糊，這樣我們看物體才有空間感和景深。如果當我們的視線(xiàn)轉移了，畫(huà)面中的物體還是全部清晰的，那么我們的眼睛就會(huì )感到“不適應”，并且會(huì )因為處理過(guò)多信息而疲勞。

　　注視點(diǎn)渲染可以解決VR里畫(huà)面呈現的問(wèn)題，通過(guò)追蹤眼睛的注視點(diǎn)，計算機可以只清晰渲染出注視點(diǎn)的場(chǎng)景，而將周邊的場(chǎng)景模糊呈現。這樣我們眼睛在虛擬環(huán)境中看物體和在自然場(chǎng)景中看物體的體驗就會(huì )變得一致，這樣虛擬和現實(shí)的切換就不會(huì )有明顯的障礙，由視點(diǎn)和運動(dòng)帶來(lái)的眩暈也會(huì )減輕。

　　Oculus首席科學(xué)家MichaleAbrash在談及VR趨勢時(shí)說(shuō)道，VR將在5年內解決聚焦的景深問(wèn)題。而視點(diǎn)渲染技術(shù)和眼球追蹤技術(shù)是關(guān)鍵的解決辦法。前文已寫(xiě)到，英偉達與七鑫易維展開(kāi)合作將從底層技術(shù)實(shí)現GPU基于眼球追蹤的注視點(diǎn)優(yōu)化渲染技術(shù)。

　　(3)眼球觸發(fā)的交互界面

　　VR中的交互目前還是一個(gè)尚需探索的領(lǐng)域，用戶(hù)已經(jīng)習慣了2D的平面界面信息呈現，在進(jìn)入VR里時(shí)會(huì )出現信息迷失的狀態(tài)。在很多的試驗中發(fā)現，用戶(hù)不會(huì )通過(guò)轉動(dòng)頭部來(lái)獲取整個(gè)環(huán)境信息，也很難自己找到隱藏的菜單和選項，通常需要工作人員的指引或者是游戲語(yǔ)音的引導。

　　眼控VR將會(huì )為VR帶來(lái)全新的玩法，在射擊類(lèi)游戲中可以由眼睛控制光標鎖定，當用戶(hù)閉上一只眼時(shí)自動(dòng)調出瞄準鏡等，還可以根據玩家在游戲場(chǎng)景中注視點(diǎn)不同觸發(fā)不同的劇情，當玩家注視路口時(shí)，會(huì )自動(dòng)出現地圖導航，當注視NPC不同部位觸發(fā)不同的劇情等。除此之外眼控的交互方式還可以應用于游戲菜單，不需要使用的菜單會(huì )自動(dòng)隱藏，使用時(shí)通過(guò)眼控觸發(fā)，使VR界面更加干凈。

　　當然，虛擬現實(shí)中的交互方式還有待探索，不管是LeapMotion主張的手勢交互，還是眼球控制的技術(shù)點(diǎn)交互，都必須符合人們的交互習慣。

　　眼球追蹤的下一步怎么走?

　　雖然各大巨頭都各自收購、投資了眼球追蹤技術(shù)公司，眼球追蹤技術(shù)在解決VR因為的眩暈癥、提升沉浸感、增強交互方面都有極大的作用，眼球追蹤技術(shù)已然成為AR/VR發(fā)展的關(guān)鍵性和基礎性技術(shù)。但是目前有一些顯在的問(wèn)題需要解決。

　　(1)眼球追蹤產(chǎn)品價(jià)格高昂。

　　TobiiGlass2售價(jià)最低為14900美元，高級版29900美元，包括了眼鏡、輔助記錄器和分析軟件。七鑫易維的眼控模組aGlass的售價(jià)是單眼1500元，包括一個(gè)眼控追蹤配件和三個(gè)分別是200度、400度、600度的近視鏡片。TheEyeTribe的眼球追蹤開(kāi)發(fā)者套件，售價(jià)99美元，面向消費者的眼球追蹤盒子，售價(jià)199美元。黃通兵表示，將眼球追蹤模組化集成到頭顯內有望將成本降低到20-30美元，但是即使這樣，要HTC、Oculus這樣的頭盔廠(chǎng)商消化這部分的成本，需要擴展眼球追蹤技術(shù)的應用場(chǎng)景。目前眼球追蹤的最大價(jià)值在于在于與英偉達、AMD這樣的GPU廠(chǎng)商合作，利用注視點(diǎn)渲染技術(shù)降低VR頭顯對GPU的需求。

　　(2)設備可用性。

　　眼球追蹤技術(shù)針對人眼，因此要對人眼的生物體征有很好的了解，眼球追蹤設備需要能夠識別出不同的健康程度、不同膚色、不同特征的人眼。目前僅是近視這個(gè)問(wèn)題就會(huì )困擾很多做智能眼睛和VR頭盔的用戶(hù)，更不用說(shuō)一些患有斜視的用戶(hù)。

　　另外，我們可以看到目前眼球追蹤的設備有各種不同的形態(tài)，包括Tobii的智能眼鏡、TheEyeTribe的眼球追蹤盒子、七鑫易維的VR眼控模組。眼球追蹤盒子的形態(tài)顯然更適用于電腦，智能眼鏡可以整合到AR眼鏡里。

　　(3)VR/AR應用差異較大。

　　目前來(lái)看，眼球追蹤技術(shù)應用于VR是一個(gè)必然的趨勢，目前已有帶眼球追蹤的VR頭盔Fove，各大廠(chǎng)商也計劃推出有眼球追蹤功能的VR一體機。

　　英偉達主要是希望以眼球追蹤技術(shù)幫助VR做注視點(diǎn)渲染，降低GPU負載，專(zhuān)注移動(dòng)VR的高通的移動(dòng)處理器可能集成眼球追蹤算法，更好地支持移動(dòng)VR體驗。

　　雖然在此文主要集中分析VR，但是眼球追蹤在A(yíng)R的應用也是不可忽視的，AR在未來(lái)的應用場(chǎng)景會(huì )比VR更為廣闊。

　　雷鋒網(wǎng)在采訪(fǎng)國內另一家眼球追蹤技術(shù)公司“上海青研”時(shí)了解到，相比于VR，上海青研更為傾向于眼球追蹤在A(yíng)R上的應用，青研結合眼控技術(shù)與AR技術(shù)，在可穿戴的AR眼鏡上添加眼控模組。

　　“AR眼控技術(shù)與VR眼控技術(shù)的應用場(chǎng)景不同：VR看的是虛擬世界，AR看的是真實(shí)世界;VR偏重娛樂(lè )更多一些，AR偏重實(shí)用更多一些;VRtoC更多一些，ARtoB更多一些。青研公司開(kāi)發(fā)AR眼控技術(shù)是為了滿(mǎn)足B端客戶(hù)的需求。”青研CEO杜煜解釋到。AR和VR不僅在客戶(hù)群，應用場(chǎng)景上有不同，需要解決的問(wèn)題也有很大不同。

　　杜煜認為：“AR眼控技術(shù)與VR眼控技術(shù)的主要不同在于：VR眼控需要把眼睛注視點(diǎn)坐標和VR屏幕對應，AR眼控需要把眼睛注視點(diǎn)坐標和真實(shí)世界的物體坐標對應，所以在VR眼控技術(shù)的基礎之上，AR還需要拍攝用戶(hù)前方的真實(shí)場(chǎng)景，并將眼睛注視點(diǎn)坐標與真實(shí)場(chǎng)景建立起三維的對應關(guān)系。AR眼控的主要難點(diǎn)有：

　　通常VR屏幕是2D的，但AR前置場(chǎng)景是3D的。3D位置坐標與眼睛注視點(diǎn)的匹配比2D坐標與眼睛注視點(diǎn)的匹配更復雜。

　　AR眼控比VR眼控要求體積更小，功耗更低，工業(yè)設計、結構設計、電路設計的要求更高。

　　AR眼控很多場(chǎng)合是室外使用，VR一般是室內使用，AR眼控對室外陽(yáng)光的抗干擾能力要求更高。“

　　(4)合作模式不明朗。

　　2016年，風(fēng)投機構AccelPartners的科比·富勒(KobieFuller)說(shuō)：“眼球追蹤技術(shù)可能非常強大，但從投資角度看，還無(wú)法確定其具備的價(jià)值?，F在有價(jià)值數十億美元的眼球追蹤技術(shù)公司嗎?我還不知道。”

　　從目前各大巨頭對眼球追蹤技術(shù)公司收購的金額來(lái)看，價(jià)值數十億美元的眼球追蹤技術(shù)公司并不是不可能。7月16日，美國市場(chǎng)研究機構MarketsandMarkets發(fā)布了關(guān)于眼動(dòng)追蹤市場(chǎng)的分析報告，其預計該市場(chǎng)在2023年將達到13.765億美元的市值，2017年-2023年的年均復合增長(cháng)率為27.4%。眼球追蹤的軟件和硬件在這幾年都會(huì )呈明顯上升趨勢?；蛟S現在仍不明朗的是合作模式，眼球追蹤會(huì )成為獨立的產(chǎn)品還是作為內嵌技術(shù)?

　　目前我們看到，眼球追蹤公司也都在生產(chǎn)眼動(dòng)儀，智能眼鏡等toC的產(chǎn)品，以及開(kāi)些幫助企業(yè)開(kāi)發(fā)的toB產(chǎn)品，同時(shí)也在與大廠(chǎng)合作，做VR/AR的外接或內嵌技術(shù)，商業(yè)模式相對靈活。但是卻始終沒(méi)有獲得一個(gè)明顯的發(fā)展。VR和AR的發(fā)展對眼球追蹤技術(shù)或許能帶來(lái)不一樣的活力。

　　小結

　　目前蘋(píng)果、谷歌、Facebook、英偉達、高通這些巨頭公司幾乎占領(lǐng)互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的大半壁江山，也主導著(zhù)人工智能、自動(dòng)駕駛、AR/VR等前沿技術(shù)的發(fā)展。資本+技術(shù)，巨頭們的任何一個(gè)舉動(dòng)都可能有改變我們的生活的潛力，而雷鋒網(wǎng)通過(guò)長(cháng)期的行業(yè)報道發(fā)現，近年來(lái)巨頭們都在積極布局眼球追蹤技術(shù)，除了眼球追蹤在人機交互的巨大潛能以外，眼球追蹤技術(shù)還可能成為VR和AR的基礎性技術(shù)，為AR的VR的發(fā)展提供必要的支持。雖然未來(lái)還有不少挑戰，但是我們很欣喜地看到在眼球追蹤技術(shù)上，中國公司的發(fā)展已經(jīng)完全與國外接軌，站在同一競爭舞臺上。