基于多特征SVMs分類(lèi)器的手語(yǔ)識別的研究

　　七個(gè)不變矩由二階和三階中心矩的線(xiàn)性組合構成，具體表達式如下：

　　實(shí)驗中，使用了全部的7Hu不變矩特征量作為手語(yǔ)圖像整體形狀描述的特征向量。形成特征空間(M1, M2, M3, M4, M5, M6, M7)，如表1所示。

　　表1手語(yǔ)字母X，Y，Z的7Hu矩分量

　　SIFT特征

　　David G.Lowe在2004年總結了現有的基于不變量技術(shù)的特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算子-SIFT算子[6,11]，即尺度不變特征變換。

　　SIFT算法首先在尺度空間進(jìn)行特征檢測，并確定關(guān)鍵點(diǎn)(Keypoints)的位置和關(guān)鍵點(diǎn)所處的尺度，然后使用關(guān)鍵點(diǎn)鄰域梯度的主方向作為該點(diǎn)的方向特征，以實(shí)現算子對尺度和方向的無(wú)關(guān)性。

　　Lowe在圖像二維平面空間和DoG(Difference of Gaussian)尺度空間中同時(shí)檢測局部極值以作為特征點(diǎn)，以使特征具備良好的獨特性和穩定性。DoG算子定義為兩個(gè)不同尺度的高斯核的差分，其具有計算簡(jiǎn)單的特點(diǎn)，是歸一化LoG (Laplacian of Gaussian)算子的近似。DoG算子如下式所示：

　　對于圖像上的點(diǎn)，計算其在每一尺度下DoG算子的響應值，這些值連起來(lái)得到特征尺度軌跡曲線(xiàn)。特征尺度曲線(xiàn)的局部極值點(diǎn)即為該特征的尺度。尺度軌跡曲線(xiàn)上完全可能存在多個(gè)局部極值點(diǎn)，這時(shí)可認為該點(diǎn)有多個(gè)特征尺度。

　　一幅圖像SIFT特征向量的生成算法總共包括4步：

　　(1)尺度空間極值檢測，初步確定關(guān)鍵點(diǎn)位置和所在尺度。

　　(2)通過(guò)擬和三維二次函數以精確確定關(guān)鍵點(diǎn)的位置和尺度，同時(shí)去除低對比度的關(guān)鍵點(diǎn)和不穩定的邊緣響應點(diǎn)(因為DoG算子會(huì )產(chǎn)生較強的邊緣響應)，以增強匹配穩定性、提高抗噪聲能力[6,11]。

　　(3)利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數，使算子具備旋轉不變性。

　　式(14)為(x,y)處梯度的模值和方向公式。其中L所用的尺度為每個(gè)關(guān)鍵點(diǎn)各自所在的尺度。

　　(4)生成SIFT特征向量。 首先將坐標軸旋轉為關(guān)鍵點(diǎn)的方向，以確保旋轉不變性。接下來(lái)以關(guān)鍵點(diǎn)為中心取8×8的窗口。然后在每4×4的小塊上計算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，即可形成一個(gè)種子點(diǎn)。手語(yǔ)字母圖像的SIFT特征提取如圖2所示。

　　圖2 (a)手語(yǔ)字母J原圖 (b)對(a)提取SIFT特征向量

　　實(shí)驗

　　本文從視頻中采集了中國手語(yǔ)字母表中的30個(gè)手語(yǔ)字母的圖像，30組，每組圖像195幅，共5850幅圖像作為實(shí)驗圖像。每組的前50幅作為正例訓練樣本，從其他29組中各選取5幅共145幅作為反例訓練樣本。每類(lèi)圖像除選作正例的50圖像外，剩余的145幅作為測試圖像。實(shí)驗中首先提取圖像的7維不變矩特征量，48維Gabor紋理特征，128維SIFT特征作為圖像全局和局部特征描述。然后分別采用兩種不同核函數(Linear kernel, Radical Basis Function)的SVMs分類(lèi)器進(jìn)行訓練，對中國手語(yǔ)字母表中的30個(gè)手語(yǔ)字母圖像的識別結果如表2所示。

　　表2 30個(gè)中國手語(yǔ)字母的識別結果

　　基于線(xiàn)性核函數的SVM平均識別率為95.556%，基于徑向基核函數的SVM平均識別率為83.1282%。實(shí)驗表明，采用徑向基核函數的SVM識別率普遍低于采用線(xiàn)性核函數的SVM。

　　結語(yǔ)

　　本文提出了一種采用7Hu不變矩特征量等多種圖像特征相融合的SVMs手語(yǔ)識別方法。實(shí)驗表明，在手語(yǔ)識別中，采用圖像全局和局部特征相結合的方法，可獲得較高的識別率，為手語(yǔ)識別方法的早日推廣應用提供了理論依據。