佐治亞理工大學(xué)、萊斯大學(xué)、Meta開(kāi)發(fā)全新眼動(dòng)追蹤系統

在不犧牲追蹤算法準確性的情況下，以更小的尺寸、更高的效率進(jìn)行眼動(dòng)追蹤

基于攝像頭的眼動(dòng)追蹤是AR/VR系統的重要組成，但目前的系統存在一定的局限性，包括體積尺寸，吞吐量，以及攝像頭和后端系統之間的高通信成本。

在一項研究中，美國佐治亞理工大學(xué)、萊斯大學(xué)和Meta的團隊開(kāi)發(fā)了一種全新的眼動(dòng)追蹤系統，他們希望通過(guò)結合無(wú)透鏡攝像頭、專(zhuān)有算法和加速處理器設計來(lái)克服相關(guān)限制。

研究人員表示：“目前的VR頭顯太重，游戲可能存在滯后，而使用控制器會(huì )很麻煩。綜合起來(lái)，這會(huì )讓用戶(hù)無(wú)法獲得真正的沉浸式體驗?！?/p>

所以，團隊研發(fā)了名為EyeCoD的新系統。通過(guò)用編碼的二進(jìn)制掩模代替對焦透鏡，FlatCam可以比基于透鏡的攝像頭薄5倍～10倍。掩模對入射光進(jìn)行編碼，而不是直接聚焦?？梢詫latCam傳感測量的編碼信息進(jìn)行計算解碼，以重建在掩模制造和測量過(guò)程中可能引入偽影和噪電的捕獲圖像。

另外，減小的形狀參數為將后端眼動(dòng)追蹤處理器連接到更靠近前端攝像頭留出了空間，從而大大減小了攝像頭和處理器之間的距離，并相應地降低了眼動(dòng)追蹤的整個(gè)系統延遲的通信成本。

EyeCoD系統的另一個(gè)特點(diǎn)是，它只將用戶(hù)眼睛注視的屏幕位置設置為高分辨率。它通過(guò)預測用戶(hù)的注視點(diǎn)可能落在哪里，然后以高分辨率即時(shí)渲染這些區域來(lái)實(shí)現這一點(diǎn)。這可以計算節省，加上專(zhuān)用加速器，鞏固了EyeCoD提高處理速度和效率的能力。

通過(guò)結合FlatCam，團隊提出的系統能夠在不犧牲追蹤算法準確性的情況下，以更小的尺寸、更高的效率進(jìn)行眼動(dòng)追蹤。系統同時(shí)可以通過(guò)不包括基于透鏡的攝像頭來(lái)增強用戶(hù)隱私。 

值得一提的是，團隊在2023年獲得了斯坦福技術(shù)授權辦公室的25000美元撥款，以幫助項目實(shí)現商業(yè)化。他們希望利用這筆資金將當前的演示集成到一個(gè)緊湊的眼動(dòng)追蹤系統中，并用于商業(yè)VR/AR頭顯。