Leap Motion運行原理介紹

定位與輸入是VR技術(shù)的關(guān)鍵，leap MoTIon使用的是一種基于計算機視覺(jué)原理的識別技術(shù)。目前在業(yè)內比較有代表性的就是Leap MoTIon的手勢識別技術(shù)，當然這并非Leap MoTIon獨有的技術(shù)，hololens上同樣搭載該技術(shù)。從 API 的角度大概說(shuō)一下。

Leap MoTIon 傳感器的結構：

大體上，Leap 傳感器根據內置的兩個(gè)攝像頭從不同角度捕捉的畫(huà)面，重建出手掌在真實(shí)世界三維空間的運動(dòng)信息。檢測的范圍大體在傳感器上方 25 毫米到 600 毫米之間，檢測的空間大體是一個(gè)倒四棱錐體。

首先，Leap Motion 傳感器會(huì )建立一個(gè)直角座標系，座標的原點(diǎn)是傳感器的中心，座標的 X 軸平行于傳感器，指向屏幕右方。Y 軸指向上方。Z 軸指向背離屏幕的方向。單位為真實(shí)世界的毫米。如圖：

在使用過(guò)程中， Leap Motion 傳感器會(huì )定期的發(fā)送關(guān)于手的運動(dòng)信息，每份這樣的信息稱(chēng)為“幀”（ frame ）。每一個(gè)這樣的幀包含檢測到的：

所有手掌的列表及信息；

所有手指的列表及信息；

手持工具（細的、筆直的、比手指長(cháng)的東西，例如一枝筆）的列表及信息；

所有可指向對象（Pointable Object），即所有手指和工具的列表及信息；

Leap 傳感器會(huì )給所有這些分配一個(gè)唯一標識（ID），在手掌、手指、工具保持在視野范圍內時(shí)，是不會(huì )改變的。根據這些 ID，可以通過(guò) Frame：：hand（ ） ， Frame：：finger（ ） 等函數來(lái)查詢(xún)每個(gè)運動(dòng)對象的信息。

Leap 可以根據每幀和前幀檢測到的數據，生成運動(dòng)信息。例如，若檢測到兩只手，并且兩只手都超一個(gè)方向移動(dòng)，就認為是平移；若是像握著(zhù)球一樣轉動(dòng)，則記為旋轉。若兩只手靠近或分開(kāi)，則記為縮放。所生成的數據包含：

旋轉的軸向向量；

旋轉的角度（順時(shí)針為正）；

描述旋轉的矩陣；

縮放因子；

平移向量；

對于每只手，可以檢測到如下信息：

手掌中心的位置（三維向量，相對于傳感器座標原點(diǎn)，毫米為單位）；

手掌移動(dòng)的速度（毫米每秒）；

手掌的法向量（垂直于手掌平面，從手心指向外）；

手掌朝向的方向；

根據手掌彎曲的弧度確定的虛擬球體的中心；

根據手掌彎曲的弧度確定的虛擬球體的半徑；

其中，手掌的法向量和方向如下圖所示：

“手掌球”的圓心和半徑：

對于每個(gè)手掌，亦可檢測出平移、旋轉（如轉動(dòng)手腕帶動(dòng)手掌轉動(dòng)）、縮放（如手指分開(kāi)、聚合）的信息。檢測的數據如全局變換一樣，包括：

旋轉的軸向向量；

旋轉的角度（順時(shí)針為正）；

描述旋轉的矩陣；

縮放因子；

平移向量；

Leap 除了可以檢測手指外，也可以檢測手持的工具。像上文所說(shuō)的，就是細的、筆直的、比手指長(cháng)的物件：

對于手指和工具，會(huì )統一地稱(chēng)為可指向對象（Pointable Object，抱歉不太會(huì )翻譯），每個(gè) Pointable Object 包含了這些信息：

長(cháng)度；

寬度；

方向；

指尖位置；

指尖速度；

方向和指尖位置如下圖：

根據全局的信息、運動(dòng)變換，手掌、手指和工具的信息和變換，開(kāi)發(fā)者就可以靠這些來(lái)制作游戲、程序了。