看不懂6DoF，還想談AR？深入淺出講解6DoF四種流行方案

6DoF追蹤帶給AR眼鏡怎樣的體驗飛躍？如何在設計一款AR眼鏡時(shí)，實(shí)現六自由度追蹤？Rokid R-Lab研究科學(xué)家霍志宇從成本和性能角度出發(fā)，對目前流行的四種6DoF追蹤解決方案進(jìn)行了比較。

6DOF追蹤的進(jìn)化：從標識追蹤到SLAM定位，帶給AR體驗質(zhì)的飛越

好的增強現實(shí)體驗首先要是一種互動(dòng)體驗，實(shí)現現實(shí)環(huán)境和虛擬世界的結合，而這種體驗離不開(kāi)6 DOF追蹤（Six degrees of freedom tracking）的加入。

6DoF追蹤為用戶(hù)提供了前所未有的互動(dòng)體驗和對虛擬世界的控制，可以說(shuō)，6DoF追蹤是虛擬世界與現實(shí)世界建立聯(lián)系的基礎，是AR實(shí)現顛覆式體驗的前提。近年來(lái)，隨著(zhù)技術(shù)的指數級的增長(cháng)，這種新型的AR互動(dòng)體驗正在以超出我們想象的態(tài)勢發(fā)展。

AR領(lǐng)域六自由度（6DoF）追蹤的應用，最早可以追溯到2003年, 由ARToolKit所支持的首個(gè)移動(dòng)端AR應用就出現在了WinCE平臺上，但早期運體驗并沒(méi)有那么優(yōu)秀。

早期的AR利用標識圖來(lái)跟蹤攝像機的位置和姿態(tài)，實(shí)現6DoF追蹤。使用者必須將標識圖保留在視野范圍內，虛擬內容也只能覆蓋在標識圖上，使用者稍微移動(dòng)便會(huì )失去對標識物的追蹤，虛擬內容便無(wú)法對現實(shí)進(jìn)行覆蓋，虛擬與現實(shí)的融合停留在比較淺層的階段，無(wú)法給予使用者沉浸式的體驗。

3DoF與6DoF技術(shù)對比圖

隨著(zhù)SLAM (simultaneous localization and mapping)技術(shù)的普遍應用，6DoF追蹤與SLAM相結合，沉浸式的AR體驗時(shí)代終于來(lái)臨了。使用者可以擺脫標識圖的束縛，進(jìn)行實(shí)時(shí)定位與地圖構建，從而在虛擬內容上產(chǎn)生更加沉浸和逼真的體驗。

微軟Holoens設備的SLAM功能演示

早期的AR眼鏡，為了在任意場(chǎng)景下都能提供最為精確和可靠的追蹤體驗，需要裝備由多個(gè)魚(yú)眼攝像頭、深度攝像頭和其他傳感器驅動(dòng)的高性能追蹤系統。不過(guò)這會(huì )讓設備變得沉重且昂貴。即便是功能最為豐富且擁用商用前景的AR眼鏡,也會(huì )因為其高昂的成本和糟糕的佩戴體驗而遭到市場(chǎng)拒絕。

2016年面世的Meta 2 AR眼鏡

因此，想在輕量級AR設備領(lǐng)域取得成功，產(chǎn)品需要結合舒適性、經(jīng)濟性和技術(shù)可行性來(lái)進(jìn)行研發(fā)。很多AR眼鏡研發(fā)公司，正在嘗試通過(guò)有限的視覺(jué)設備和更少的算力來(lái)實(shí)現6DoF追蹤。

在A(yíng)R眼鏡上實(shí)現6DoF追蹤，這4種流行方案到底誰(shuí)更好？

讓我們從成本和性能出發(fā)，比較以下四種流行的6DoF追蹤解決方案：

1、單攝像頭

●     硬件成本低

●     易于集成到多種眼鏡設計中

●     需要更專(zhuān)業(yè)的優(yōu)化和定制

●     適用于偏靜態(tài)場(chǎng)景

單攝像頭

視頻攝像頭是AR眼鏡的常用組件，主要用于拍攝高分辨率的照片和視頻。在外觀(guān)和可用性方面，將單個(gè)相機安裝在眼鏡上相對簡(jiǎn)單。

但是，視頻攝像機通常以低頻率（<60fps，大多數<30fps）運行，無(wú)法在運動(dòng)中捕捉的高質(zhì)量圖像。 “果凍效應”和其他扭曲使得位置追蹤失敗。

2、單眼魚(yú)眼攝像頭

●     為6DoF追蹤所預留的傳感器

●     持續高頻刷新6DoF追蹤結果

●     會(huì )出現尺度漂移，使得虛擬物體會(huì )在場(chǎng)景中意外移動(dòng)

單魚(yú)眼攝像頭

一些AR眼鏡會(huì )配備用于6DOF追蹤的單個(gè)魚(yú)眼鏡頭。此解決方案會(huì )產(chǎn)生一些額外的功耗，但通常會(huì )為設備提供更好的6DOF追蹤效果。魚(yú)眼攝像頭的高相機幀更新率（> 90fps）和全局快門(mén)功能，可以使得SLAM系統在運動(dòng)場(chǎng)景中保持可靠的追蹤位置。但單個(gè)魚(yú)眼攝像機應放置在眼鏡前面，這會(huì )產(chǎn)生一些設計限制。

單魚(yú)眼攝像頭比較不足的的地方在于它所支持的場(chǎng)景規模有限。一旦移動(dòng)范圍過(guò)大，SLAM系統就容易產(chǎn)生尺度漂移，導致虛擬對象在場(chǎng)景中意外移動(dòng)。

3、雙目魚(yú)眼攝像頭

●   高功耗

●   追蹤、尺度估算準確

●   眼鏡的工業(yè)設計會(huì )面臨挑戰

基于雙目魚(yú)眼的6DoF追蹤系統已被不同的AR / VR頭戴式設備制造商證明是一種可以量產(chǎn)的解決方案，高通已經(jīng)使用雙目魚(yú)眼視覺(jué)在其VR頭盔上展示了高質(zhì)量的6DoF位置追蹤功能。

雙目魚(yú)眼攝像頭模組

由于它提供實(shí)時(shí)的地圖初始化、強大的追蹤和對環(huán)境尺度的準確測量，因此額外增加攝像機所產(chǎn)生的功耗和成本是值得的。與單眼解決方案相比，雙目魚(yú)眼攝像頭可以更快地擴展場(chǎng)景，并能更準確的測量環(huán)境尺度從而防止漂移。即使傳感器數量加倍，計算復雜度也不比單眼視覺(jué)系統高很多。但該方案的實(shí)現需要高質(zhì)量?jì)?yōu)化和定制工作，并且功耗高、發(fā)熱大，需要更強的系統和硬件支持。

4、運用邊緣計算

●     成本高昂

●     能實(shí)現高質(zhì)量的6DoF追蹤

●     穩定性高，可兼容不同平臺

英特爾推的定位追蹤實(shí)感攝像頭T265  可在邊緣執行計算任務(wù)

邊緣計算在A(yíng)R設備中變得越來(lái)越流行，例如，Hololens已經(jīng)通過(guò)邊緣計算來(lái)運行其SLAM功能，使CPU和OS在用戶(hù)應用程序上更高效地工作。對于輕量級AR眼鏡，通過(guò)邊緣計算來(lái)運行SLAM不僅可以減少計算負荷，還可以使AR眼鏡兼容不同類(lèi)型的主機平臺。

這個(gè)解決方案的最優(yōu)之處就在于，它可以在任何主機平臺上均衡性能，無(wú)需定制優(yōu)化算法。然而，輕量級AR眼鏡通過(guò)邊緣計算運行6DoF并不容易。這些類(lèi)型的AR眼鏡上的芯片通常僅設計用于驅動(dòng)顯示器并傳輸傳感器數據而無(wú)剩余資源用于其他計算工作。因此可行的解決方案是將成熟的6DoF追蹤模塊集成到AR眼鏡板上。

目前還沒(méi)有關(guān)于哪種解決方案對于輕型眼鏡“完美”的結論。設計人員需要根據AR眼鏡的應用場(chǎng)景，來(lái)定義其產(chǎn)品的功能和預期用途，以便做出最佳的軟硬件選擇。

隨著(zhù)輕量級AR眼鏡的逐漸普及，具有6DoF追蹤功能的產(chǎn)品是能夠給消費者帶去優(yōu)質(zhì)體驗的基礎，也是AR產(chǎn)品走向千家萬(wàn)戶(hù)的關(guān)鍵技術(shù)之一。

作者：霍志宇，美國密蘇里大學(xué)計算機和電子工程系博士畢業(yè)，研究機器人及人機交互方向?，F就職于位于美國舊金山的Rokid R-Lab，擔任研究科學(xué)家。

本文轉自雷鋒網(wǎng)，如需轉載請至雷鋒網(wǎng)官網(wǎng)申請授權。

原文章地址為看不懂6DoF，還想談AR？深入淺出講解6DoF四種流行方案