基于kinect傳感器的全方位運輸平臺控制系統研究

摘要：設計一種麥克納姆輪全向行走運輸平臺的體感交互控制系統。該系統應用kinect體感器提出骨骼運動(dòng)信息識別和基于深度手勢識別的兩種控制方式，應用于不同場(chǎng)景?；诠趋肋\動(dòng)信息識別控制方式通過(guò)kinect獲取人體深度圖像數據，然后利用骨骼追蹤技術(shù)提取人體應用關(guān)節點(diǎn)，并建立空間坐標系，最后通過(guò)向量計算法來(lái)計算出人體關(guān)節轉動(dòng)角度實(shí)現動(dòng)態(tài)的動(dòng)作識別進(jìn)而轉換為控制指令實(shí)現平臺控制?；谏疃?a class="contentlabel" href="http://dyxdggzs.com/news/listbylabel/label/手勢識別">手勢識別控制方式利用kinect獲取的深度信息實(shí)現手部從背景中分割，然后運用模板匹配的方式識別手勢轉換為控制指令實(shí)現平臺控制。實(shí)驗表明，通過(guò)該控制系統能對全方位運輸平臺進(jìn)行有效靈活的控制。

隨著(zhù)隨著(zhù)科技的進(jìn)步，人們一直都在致力于對便捷高效運輸機構的研究。全方位運動(dòng)機構以其平面內完全運動(dòng)自由度，實(shí)現了狹小空間內的高度靈活性，在軍事、工業(yè)、社會(huì )生活等多方面具備廣泛的應用前景。用人的體態(tài)和手勢進(jìn)行人機交互是一種新穎自然的交互方式，人們通過(guò)簡(jiǎn)單的肢體語(yǔ)言便能進(jìn)行快速的人機交互，具有易實(shí)現、控制靈活等特點(diǎn)。kinect是微軟公司研制的一款體感識別設備，通過(guò)它可以實(shí)現體感識別，進(jìn)行人機交互。

由此本文設計了一種應用麥克納姆輪的體感控制全方位運輸平臺模型。并針對此模型控制系統提出了基于kinect體感器的骨骼運動(dòng)信息識別和基于深度手勢識別兩種體感控制模式，應用于該運輸平臺的兩種場(chǎng)景：當該平臺整合到移動(dòng)機器人等遠程設備時(shí)，操縱者控制環(huán)境寬廣，可應用人體多種姿勢進(jìn)行精細操控;當改運輸平臺整合到輪椅、叉車(chē)等近程控制設備時(shí)，操縱者位于狹窄的設備上，可應用近距離手勢動(dòng)作進(jìn)行簡(jiǎn)單快速高效的操控。經(jīng)實(shí)驗結果表明，該控制系統兩種控制模式均能對該全方位運輸平臺進(jìn)行良好的操控。

1 全方位運輸平臺模型構建及運動(dòng)學(xué)分析

1.1 全方位平臺構建

本文構建的全方位移動(dòng)平臺如圖1(a)所示，其由鋁60毫米45度萬(wàn)向輪子、直流電機、電機驅動(dòng)模塊、12 V鋰電池、MSP430f149最小系統控制板、串口藍牙等部件構成。平臺控制器讀取上位機通過(guò)藍牙發(fā)送過(guò)來(lái)的數據進(jìn)行相應動(dòng)作相應完成操控，圖1(b)為模型實(shí)物。

1.2 全方位運動(dòng)學(xué)分析及操控

如圖2(a)所示麥克納姆輪的原理結構，其主輪周邊分布著(zhù)與輪子軸線(xiàn)成α=45度的小滾輪。滾輪能自身轉動(dòng)同時(shí)又能繞車(chē)軸轉動(dòng)，使得主輪具備了繞輪軸的轉動(dòng)和沿滾輪軸線(xiàn)垂線(xiàn)方向運動(dòng)的兩個(gè)自由度。圖2(b)所示為底盤(pán)運動(dòng)力學(xué)分析。通過(guò)對輪子的運動(dòng)解析得到平臺的運動(dòng)學(xué)方程為：

公式中(1)Vx，Vy，ω為控制量。本文采用通過(guò)單片機產(chǎn)生PWM信號調制功率Cn來(lái)實(shí)現底盤(pán)驅動(dòng)控制。由公式(2)，Cn是第n個(gè)電機的功率，ωn是計算出的第n個(gè)電機的轉速，ωmax是n號電機在同一電壓下設定的最大輸出功率下的轉速，mn是維護4個(gè)電機轉速在同一最大值的實(shí)測參數。

2 人體深度圖像及骨骼信息獲取

文中采用kinect傳感器獲取人體深度圖像及骨骼信息。它由RGB彩色攝像頭、紅外線(xiàn)發(fā)射器、紅外線(xiàn)CMOS攝影頭等模塊構成，能獲得目標物體的深度圖像數據和RGB圖像數據。在深度圖像數據的基礎上，運用骨骼追蹤技術(shù)提取出人體骨骼信息。

3 骨骼運動(dòng)信息識別控制模式設計

3.1 關(guān)節角度計算方法

Kinect能夠追蹤人體四肢20個(gè)骨骼點(diǎn)，骨骼運動(dòng)信息識別控制模式指系統通過(guò)分析人體骨骼點(diǎn)的運動(dòng)數據識別控制指令。本文采用了左右手肩關(guān)節點(diǎn)、左右手肘關(guān)節點(diǎn)、左右手腕關(guān)節點(diǎn)、左右手手關(guān)節點(diǎn)8個(gè)上肢關(guān)節點(diǎn)，通過(guò)識別各關(guān)節的轉動(dòng)角度來(lái)識別關(guān)節的運動(dòng)情況。本文應用kinect獲取的人體骨骼數據以?xún)杉缰行臑樵c(diǎn)建立空間坐標系，根據各關(guān)節點(diǎn)的坐標構建向量進(jìn)行向量運算，得出關(guān)節轉動(dòng)角度，具體以計算右手肘關(guān)節轉動(dòng)為例。

如圖3所示，取a、b、c分別為右手的肩關(guān)節點(diǎn)、肘關(guān)節點(diǎn)、腕關(guān)節點(diǎn)，其對應空間坐標分別為(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，肘關(guān)節的運動(dòng)角度為α。則有

最后通過(guò)反解三角函數可得該關(guān)節的運動(dòng)角度。

3.2 運動(dòng)姿勢對應控制指令

于是本文采用雙手協(xié)作的方式，操控全向底盤(pán)的運作。從數學(xué)模型上我們可以得出全向移動(dòng)底盤(pán)有任意軌跡運動(dòng)能力，但是由于運動(dòng)軌跡的方向性多，極易導致控制的不穩定性，反而讓優(yōu)點(diǎn)變?yōu)槿秉c(diǎn)。由此我們精簡(jiǎn)了運動(dòng)的方向性，使其既滿(mǎn)足全向運動(dòng)的豐富的能動(dòng)性的同時(shí)也能保證其穩定性。由此見(jiàn)表.我們設定了10種方向運動(dòng)，并分割了不同的自然手勢對應控制指令。

4 手勢識別模式設計

4.1 背景分割

在根據圖像數據進(jìn)行手勢識別的時(shí)候需要提取操縱者的手勢，首先我們需要將人物的手掌部分和背景信息分割開(kāi)來(lái)?；趉inect提取的深度數據，本文采用基于閾值分割法來(lái)進(jìn)行背景分割，即提取前景的平均深度值，對場(chǎng)景進(jìn)行分割。深度閾值的設定公式為：

μmax=ω+ε (6)

其中ω為實(shí)驗測定能準確分割手掌的最小值，ε為根據實(shí)際應用場(chǎng)景自由設定的可調節值，μmax為能準確識別手掌的距離空間。

4.2 手勢識別

文中采用了Y—H.Lin提出的一種模板匹配算法處理提取出來(lái)的手勢并進(jìn)行手勢識別。該算法首先將提取到的二維圖像轉換成一維向量，消除平面內圖形放縮、旋轉帶來(lái)的影響。同時(shí)，針對同種手勢構造多種比例的參考模板向量，并將提取出的手勢向量與參考模板進(jìn)行手勢比對，從而得出比對結果。

4.3 系統流程圖

系統運用手勢識別進(jìn)行控制時(shí)流程圖如圖4所示。

4.4 手勢對應指令

針對當前控制模式的應用場(chǎng)景，本文針對運輸平臺設計了6中運動(dòng)指令，滿(mǎn)足操縱者進(jìn)程的簡(jiǎn)單快捷準確的操控需求，具體手勢對應指令如圖5所示。

5 實(shí)驗分析

本文控制系統上位機采用的Kinect開(kāi)發(fā)工具為Kinect Software Devel-opment Kit(SDK)v1.8，開(kāi)發(fā)環(huán)境為Visual Studio 2013，使用的編程語(yǔ)言為C#。

5.1 骨骼運動(dòng)信息識別控制模式有效性測試

這一模式的應用的成功與否在于對應用的各關(guān)節點(diǎn)轉動(dòng)角度的識別有效性。據此，我們對左右肩關(guān)節、肘關(guān)節、腕關(guān)節6個(gè)我們應用的關(guān)節點(diǎn)進(jìn)行了轉動(dòng)角度識別測試。具體測試方法如下：我們挑選體型身高均有差異的10個(gè)人，每一個(gè)關(guān)節的轉動(dòng)角度設為10°、20°、40°、60°、80°5種情況，每種情況每人測試5次，即每個(gè)關(guān)節累積進(jìn)行250次實(shí)驗，角度允許誤差±30°。去除偶然反常結果實(shí)驗統計結果如表4所示。從表中可以有如下發(fā)現：由左右肩關(guān)節到左右腕關(guān)節3個(gè)節點(diǎn)的識別率依次降低;轉動(dòng)角度越大，識別的成功率越高。產(chǎn)生以上現象的原因是kinect識別人體關(guān)節角度跟人體姿勢變化幅度有關(guān)，而人體各關(guān)節點(diǎn)的人體姿勢幅度又取決于關(guān)節點(diǎn)為位置和關(guān)節點(diǎn)的轉動(dòng)角度，故肩關(guān)節的識別準確率最高，同一個(gè)關(guān)節點(diǎn)轉動(dòng)角度越大，識別率越高。盡管如此，各關(guān)節在各轉動(dòng)角度的識別率都超過(guò)90%，具有較高的識別成功率，符合控制要求。

5.2 手勢識別測試

針對提出的幾種控制手勢，我們展開(kāi)了識別準確率測試，具體測試方法為我們挑選了手型不用的5人對每種手勢進(jìn)行了10次識別測試，即每種手勢測試50次。結果如表所示，我們可以發(fā)現，由于我們選用的手勢區分度比較大且手勢類(lèi)別數量較小，所以手勢識別準確度較高，符合控制要求。

5.3 整體操控性驗證

進(jìn)行完了兩種體感操控模式識別的有效性后，為實(shí)際檢驗運輸平臺的操控性能，我們使用黑色膠帶在平整的地面布局了一個(gè)執行任務(wù)的場(chǎng)景，分別邀請三位經(jīng)過(guò)簡(jiǎn)單訓練的操縱人員進(jìn)行操控測試每人使用2種模式分別操控3次，實(shí)驗表明，3人均完成了全部測試內容，但時(shí)間和路線(xiàn)不一致，熟練的操縱者路線(xiàn)比不熟練的操縱者平滑，且耗時(shí)短。同時(shí)，肢體操控由于比手勢操控控制更為精細所以平均耗時(shí)長(cháng)于手勢操控。

6 結論

文中針對一種基于麥克納姆輪的全方位運輸平臺提出了基于kinect的骨骼運動(dòng)信息識別和基于深度手勢識別兩種體感控制模式，經(jīng)實(shí)驗證明，兩種控制模式均能滿(mǎn)足控制要求且具備靈活、高效等特點(diǎn)。