揭秘VR及移動(dòng)設備如何實(shí)現眼動(dòng)追蹤

　　2016年被廣泛認為是VR元年，隨著(zhù)VR智能眼鏡、VR跑步機、VR攝影機等等VR虛擬現實(shí)產(chǎn)品相繼問(wèn)世，眼動(dòng)追蹤等相關(guān)技術(shù)開(kāi)始進(jìn)入高速發(fā)展階段。這其中也能為用戶(hù)帶來(lái)更為震撼的視覺(jué)感受，隨著(zhù)眼鏡移動(dòng)而進(jìn)行場(chǎng)景的變換，這就像是我們自己的眼睛一樣，那這些VR產(chǎn)品是如何實(shí)現眼球追蹤技術(shù)的呢？本文介紹兩種MEMS技術(shù)在眼動(dòng)追蹤中的應用。

　　什么是眼動(dòng)追蹤

　　眼動(dòng)追蹤（Eye Tracking），是指通過(guò)測量眼睛的注視點(diǎn)的位置或者眼球相對頭部的運動(dòng)而實(shí)現對眼球運動(dòng)的追蹤。眼動(dòng)儀是一種能夠跟蹤測量眼球位置及眼球運動(dòng)信息的一種設備，在視覺(jué)系統、心理學(xué)、認知語(yǔ)言學(xué)的研究中有廣泛的應用。

　　移動(dòng)端的眼動(dòng)追蹤技術(shù)也開(kāi)始發(fā)展，蘋(píng)果申請了若干相關(guān)專(zhuān)利，通過(guò)“該技術(shù)可以根據用戶(hù)視線(xiàn)延遲顯示屏操作的執行，還可以改變用戶(hù)界面，生成并執行相關(guān)信息。例如，當用戶(hù)輸入文本時(shí)如果出現拼寫(xiě)錯誤，且眼睛正在注視錯詞，系統將自動(dòng)修正；如果設備發(fā)現用戶(hù)的視線(xiàn)沒(méi)有注視錯詞，系統將延遲修正。蘋(píng)果認為該功能可以讓操作更直觀(guān)。”（該描述來(lái)自蘋(píng)果2012年9月提交的專(zhuān)利申請）

　　LG和三星也曾推出過(guò)具有眼動(dòng)追蹤技術(shù)的手機。如三星Galaxy SIII就可以通過(guò)檢測用戶(hù)的眼睛狀態(tài)來(lái)控制鎖屏的時(shí)間，同時(shí)眼球還可以來(lái)控制頁(yè)面的上下滾動(dòng)。

　　無(wú)創(chuàng )眼動(dòng)追蹤

　　一種比較常用的無(wú)創(chuàng )眼動(dòng)追蹤方式為視頻/圖像捕捉。攝像頭拍攝得到眼部圖片，具有一些可以提取的特征，經(jīng)過(guò)某些圖像處理的算法提取出這些特征參數，從而確定眼球位置，用于判定人眼注視的方向和目標，計算結果由處理器CPU反應于你所使用的VR/AR設備上。

　　根據7invensun的介紹，眼圖錄像法和角膜反射法都屬于該類(lèi)方法。

　　眼圖錄像法主要是通過(guò)辨認眼球的特征如瞳孔外形、異色邊緣（虹膜、虹膜邊界）、近距指向光源的角膜反射來(lái)實(shí)現眼動(dòng)跟蹤。根據云視頻的宣傳，其所提到的能夠讀懂人“眼神意識”的視頻技術(shù)，就是基于此項技術(shù)。然而虹膜識別+瞳孔運動(dòng)識別雖然可以捕捉人眼的動(dòng)作但卻無(wú)法檢測到人眼的注視點(diǎn)，這才是最硬的傷！

　　首先虹膜識別和瞳孔識別都是基于一個(gè)平面的，要測量注視點(diǎn)就必須保證頭部是固定的，讓眼睛同頭和注視點(diǎn)的相對位置一致才可以。人眼作為人體最精細的器官之一，注視點(diǎn)轉移僅需要一個(gè)微小的動(dòng)作，而人類(lèi)僅僅因為呼吸而造成的頭部動(dòng)作就足以讓測量誤差造成定位偏移。然后我們再退一萬(wàn)步講，即使頭部是固定的，對于虹膜的識別也沒(méi)那么容易，歐洲人的人眼特征較為明顯，識別相對容易，但也不是一個(gè)家用普通攝像頭就可以判斷眼球特征的，而亞洲人瞳孔多為深褐色，人眼特征較弱，普通攝像頭幾乎無(wú)法捕捉。因此從云視鏈的眼球追蹤技術(shù)的出發(fā)點(diǎn)來(lái)說(shuō)，通過(guò)眼神就能推送出你想要的信息是不可能的了！

　　角膜反射法是目前眼球追蹤領(lǐng)域廣泛認可并應用的方法，主要通過(guò)攝像頭捕捉人眼特征，通過(guò)算法建立人眼二維或者三維注視點(diǎn)估計模型，通過(guò)算法判斷人眼動(dòng)作和注視點(diǎn)。眼球的特殊構造會(huì )形成一到多個(gè)浦肯野像，基于這種方法的眼球追蹤一般定位第一浦肯野像，通過(guò)定標步驟，可以測量出處在垂直平面現實(shí)定標點(diǎn)表面上人眼的注視點(diǎn)。

　　有創(chuàng )眼動(dòng)追蹤

　　有創(chuàng )手段包括在眼睛中埋置眼動(dòng)測定線(xiàn)圈或使用微電極描記眼電圖。眼電圖（electrooculography ）檢測方式通過(guò)電極測量當眼球移動(dòng)時(shí)的電位變化，其原理是眼球可以被考慮為偶極子。其優(yōu)點(diǎn)是成本低，但普及型差。

　　圖示為眼電圖方法及收集信號示意圖

　　MEMS技術(shù)與眼動(dòng)追蹤相結合

　　技術(shù)優(yōu)點(diǎn)

　　MEMS（Micro electro mechanical systems，微機電系統/微機械/微系統），是采用微電子技術(shù)、集成電路技術(shù)及其加工工藝制作而成的微米級別機械器件。MEMS往往會(huì )采用常見(jiàn)的機械零件和工具所對應微觀(guān)模擬元件，例如它們可能包含通道、孔、懸臂、膜、腔以及其它結構。

　　MEMS傳感器、驅動(dòng)器同樣可以實(shí)現眼球追蹤功能，并且具有極大的發(fā)展潛力。MEMS器件的特征長(cháng)度從1毫米到1微米，相比之下頭發(fā)的直徑大約是50微米。MEMS器件主要優(yōu)點(diǎn)是體積小、重量輕、功耗低、可靠性高、靈敏度高、易于集成等，是微型傳感器/驅動(dòng)器的主力軍，正在逐漸取代傳統機械器件。

　　其成本有可能通過(guò)工藝優(yōu)化、批量生產(chǎn)大幅度降低，主要原因是由于MEMS生產(chǎn)不同于傳統加工制造生產(chǎn)，MEMS采用類(lèi)似于集成電路的制造工藝，由于產(chǎn)品體積小，在一個(gè)二十厘米的硅片上可一次性生產(chǎn)出上千器件。若單個(gè)MEMS傳感器芯片面積為5mmx5mm （也有大量MEMS傳感器可以小于毫米尺度），則一個(gè)8英寸（直徑20厘米）硅片（wafer）可切割出約1000個(gè)MEMS傳感器芯片，分攤到每個(gè)芯片的成本則可大幅度降低。由于具有上述優(yōu)勢，基于MEMS的眼動(dòng)追蹤系統在A(yíng)R/AR系統中具有不可比擬的優(yōu)勢，也將成為VR/AR裝置小型化、低成本化的重要資本。

　　圖示為8英寸硅片上的MEMS芯片（5mmX5mm）示意圖

　　圖示為硅片，其上的重復單元可稱(chēng)為芯片（chip 或die），每個(gè)重復單元可含有若干MEMS傳感器，甚至包含相應的集成電路。

　　技術(shù)原理（蘋(píng)果專(zhuān)利及滑鐵盧大學(xué)成果）

　　下面介紹MEMS眼球追蹤技術(shù)一項來(lái)自蘋(píng)果專(zhuān)利（微型眼動(dòng)追蹤系統與方法US 20150238079 A1），該蘋(píng)果專(zhuān)利為可使用與移動(dòng)端的微型眼動(dòng)追蹤系統與方法。其專(zhuān)利介紹如下：

　　本發(fā)明公開(kāi)了一種微型眼動(dòng)跟蹤系統，包括一個(gè)攝像頭（應是與MEMS大小相近的微型攝像機），一個(gè)微機電系統（MEMS）設備和處理器。相機拍攝眼睛的圖像，MEMS裝置控制相機的視角方向，處理器接收來(lái)自相機的眼睛的圖像，確定相機圖像內的眼睛的位置，并控制MEMS以保持相機指向眼睛。

　　該方法首先由相機拍攝獲得眼睛的圖像，然后處理器通過(guò)該圖像確定圖像內眼睛的位置，并控制MEMS以保持相機指向眼睛。在另一個(gè)實(shí)例中，該微機電系統裝置控制相機的可調焦距。首先由該處理器確定眼睛圖像的聚焦狀況，再通過(guò)MEMS設備調整攝像機以保持所需的聚焦條件。在所提及的第三個(gè)實(shí)例中，該MEMS設備可以控制相機變焦。該處理器確定眼睛在整體圖像中的大小，然后通過(guò)MEMS設備控制攝像機以保持眼睛圖像在整體相機圖像內的特定大小。

　　圖示為蘋(píng)果基于MEMS的眼動(dòng)追蹤示意圖

　　由于MEMS驅動(dòng)器極?。蓮?.1微米至幾個(gè)微米），可以直接應用于手機等移動(dòng)端的微型眼動(dòng)追蹤系統中。上圖展示了一個(gè)采用MEMS驅動(dòng)器對攝像頭進(jìn)行移動(dòng)/轉動(dòng)來(lái)控制拍攝的例子。主要原理為采用兩個(gè)MEMS驅動(dòng)器（1405a和1405b）連接平臺（底座）和攝像機及鏡頭。兩個(gè)MEMS驅動(dòng)器中，一個(gè)連接在攝像機一側來(lái)產(chǎn)生水平方向的移動(dòng)，另一個(gè)連接在底部或頂部來(lái)產(chǎn)生垂直方向的移動(dòng)。

　　專(zhuān)利中并沒(méi)有特地指出采用何種MEMS驅動(dòng)器，專(zhuān)利更側重于構建這樣一個(gè)系統。實(shí)際MEMS中有非常多的方法可以實(shí)現伸縮。MEMS常用的伸縮結構有彈簧spring，spring大部分屬于被動(dòng)器件。主動(dòng)伸縮的話(huà)可以通過(guò)熱膨脹（加熱之后物體膨脹，例子有雙晶片）、壓電效應（加電之后產(chǎn)生力以及相應的位移）或靜電驅動(dòng)（通過(guò)靜電力產(chǎn)生位移）。

　　MEMS的彈簧結構

　　MEMS中一些主動(dòng)位移結構

　　另一項來(lái)自加拿大滑鐵盧大學(xué)（N.Sarkar：SCANNING DIFFRACTIVE OPTIC ELEMENTS FOR UNTETHERED EYETRACKING MICROSYSTEMS）的MEMS眼動(dòng)追蹤技術(shù)則是完全基于MEMS器件的方案，取消了體積較大的攝像頭。

　　眼睛與眼角膜具有不同的直徑，這是該設計的原理基礎。該方案通過(guò)采用下圖所示的簡(jiǎn)單設計從而實(shí)現在尺寸、價(jià)格、功率、帶寬、準確性上的改進(jìn)。

　　該設計使用一束低輻射（1-10μW/cm2），紅外（850nm）、發(fā)散（50mrad）的光束。光束從激光源發(fā)出后射向掃描儀scanner，掃描儀scanner具有一個(gè)平面，功能類(lèi)似于鏡子，將入射光束反射。再由掃描儀scanner操控該光束射向眼角膜，然后從角膜表面反射（在掠射角從60？到90？）到一個(gè)光電二極管。光電二極管的作用為接受光信號，產(chǎn)生電信號。輸出電信號隨輸入光強增大而增大。隨著(zhù)眼睛的轉動(dòng)，掃描儀scanner控制光束追蹤眼角膜上能夠使光電二極管接受到最大信號的點(diǎn)。

　　值得注意的是，其光電二極管的表面可作為一個(gè)空間濾波器，使其不需要大面積平坦的微鏡。相應地，該設計使用了一個(gè)300微米大小的掃描儀（Fresnel zone plate scanner）。其支撐anchor可以實(shí)現掃描儀scanner兩個(gè)自由度（藍色支撐以及紅色支撐均可旋轉）的偏轉，可以完成光束的較大范圍操縱。

　　下圖為另一種同樣具有兩個(gè)自由度的掃描儀scanner，其工作原理與上圖類(lèi)似，通過(guò)支撐anchor的旋轉對掃描儀進(jìn)行旋轉，從而操縱光束的角度。其中間載荷為垂直排列的兩個(gè)cylindrical lens patterns用以投射十字準線(xiàn)（crosshair）。

　　進(jìn)行色彩描繪后的掃描儀scanner的掃描電鏡圖，其整體尺寸小于一毫米（1000微米）

　　其制作的掃描儀scanner模塊產(chǎn)品原型

　　結語(yǔ)

　　2016年被廣泛認為是VR元年，眼動(dòng)追蹤等相關(guān)技術(shù)開(kāi)始進(jìn)入高速發(fā)展階段。本文介紹兩種MEMS技術(shù)在眼動(dòng)追蹤中的應用。隨著(zhù)游戲娛樂(lè )、虛擬實(shí)境、甚至智能手機對眼動(dòng)追蹤需求日益旺盛，MEMS技術(shù)將通過(guò)其不可比擬的體積優(yōu)勢為眼動(dòng)追蹤提供重大改進(jìn)，打造出更具便攜性的VR/移動(dòng)設備，從而大幅提升用戶(hù)苛刻的體驗訴求，在虛擬設備中進(jìn)一步幫助用戶(hù)達到真實(shí)的感受。