人臉自動(dòng)定位及其系統實(shí)現

1 引 言

　　人臉的自動(dòng)定位是應用視覺(jué)研究領(lǐng)域的一個(gè)重要課題。它首先需要檢測到人臉的位置和特征點(diǎn)，然后采用一定的控制策略控制攝像機運動(dòng)將人臉定位到圖像的中心。人臉自動(dòng)定位屬于人臉跟蹤的范疇，在人臉識別、人機交互、智能視頻通信、監視和安全以及娛樂(lè )等領(lǐng)域有著(zhù)廣泛的應用，發(fā)展前景巨大。例如在人臉識別應用中，首先需要獲得符合一定大小的正面清晰人臉；又如在安全監控應用中，需要對人的各項特征進(jìn)行有針對性的監視，對于監控對象的身高、衣著(zhù)等特征，可以在較模糊圖像中獲得，但是對人臉部分的特征，卻必須要清晰的圖像才能獲得，因此需要對人臉做針對性的監控。

　　人臉定位到圖像中心比之人臉跟蹤，主要有以下幾個(gè)區別：

(1)人臉跟蹤不需要定位人臉到圖像的中心，只需將人臉限定在圖像區域內即可，而人臉定位要求人臉必須在圖像的中心；

(2)人臉跟蹤實(shí)時(shí)性要求很高，人臉運動(dòng)速度較快，而人臉定位只是針對靜止目標或目標只做小范圍的動(dòng)作。

　　目前人臉自動(dòng)定位圖像中心系統尚不多見(jiàn)，參照人臉跟蹤系統，可知相關(guān)算法主要有兩類(lèi)：基于目標跟蹤的方法、人臉檢測和目標跟蹤算法相結合的方法?；谀繕烁櫟姆椒ㄍ耆蕾?lài)于好的運動(dòng)目標跟蹤算法，從運動(dòng)目標中找出人臉，沒(méi)有充分利用人臉的特征，因此在人臉跟蹤中很少單獨使用。人臉檢測和跟蹤算法相結合的方法是在基于目標跟蹤的方法上，利用人臉的相關(guān)信息(例如膚色、器官分布等)達到快速跟蹤的目的。在一些典型的約束環(huán)境下(如背景簡(jiǎn)單靜止的視頻、工作臺前的人臉或頭肩部人臉視頻等)可以取得很好的人臉跟蹤效果。需要說(shuō)明的是，這些方法一般建立在人臉初始位置大致已知的基礎上，需要使用其他方法解決起始幀中人臉的檢測問(wèn)題，這就增加了系統實(shí)現的難度。

　　目標跟蹤的實(shí)現算法主要有3類(lèi)：幀間變化檢測法、運動(dòng)矢量法和偏移量法。其中幀間變化檢測法主要適用于靜止背景下的運動(dòng)目標檢測，利用相關(guān)幀間的信息恢復背景并進(jìn)行運動(dòng)目標的提取。運動(dòng)矢量法主要用于運動(dòng)背景下的運動(dòng)目標的檢測，一般配合卡爾曼濾波器使用。首先建立運動(dòng)模型，然后根據運動(dòng)模型得出目標點(diǎn)在圖像平面上的位置、速度和加速度的相關(guān)信息，再利用卡爾曼濾波器根據這些信息預測下一幀圖像中目標點(diǎn)的位置、速度和加速度等相關(guān)信息，最后將這些預測信息反饋給控制設備驅動(dòng)攝像機運動(dòng)，從而將運動(dòng)目標定位在圖像中心。以上2種方法主要針對運動(dòng)目標的跟蹤，都需要利用幀間信息，計算量偏大。而偏移量法則是首先通過(guò)圖像預處理方法檢測目標位置距圖像中心的偏差(△x，△y)，然后計算攝像機的水平調整量α和垂直調整量β，根據調整量控制攝像機運動(dòng)，從而將目標定位在圖像中心。偏移量法的優(yōu)點(diǎn)是算法非常簡(jiǎn)單，缺點(diǎn)是精度低，可拓展性差，不利于今后進(jìn)一步的研究。另外，以上幾種方法在控制攝像機運動(dòng)定位目標時(shí)均需要利用攝像機成像的參數，而這些參數需要標定。標定內容包括攝像機焦距、計算機圖像中心坐標、像平面單位距離上的像素數等。由于攝像機存在著(zhù)許多畸變，所以標定的精度直接影響算法的精度。

　　目前的標定方法雖然多種多樣，但是大部分方法都是利用成像幾何性質(zhì)，首先建立一定的模型形式，然后將需要標定的各個(gè)參數分解，分別進(jìn)行計算。由于攝像機鏡頭存在著(zhù)多種非線(xiàn)性失真，所以要得到較高的標定精度，計算方法復雜而且計算量大。

　　鑒于此，本文提出一種基于膚色的人臉檢測和基于人工神經(jīng)網(wǎng)絡(luò )的控制方法相結合的人臉自動(dòng)定位的方法。首先，采用基于KL膚色的人臉初定位、積分投影法和小灰度值聚類(lèi)法確定眼球中心的人臉檢測和特征點(diǎn)獲取的方法檢測人臉的位置。該方法逐步縮小圖像處理的區域，檢測速度快，能夠滿(mǎn)足實(shí)時(shí)性的要求。然后提出一種新的基于人工神經(jīng)網(wǎng)絡(luò )反向傳播算法的目標定位圖像中心的控制方法，用來(lái)控制攝像機快速定位人臉到圖像中心區域。該方法克服傳統跟蹤算法中需要利用幀間相關(guān)信息和需要標定攝像機的缺點(diǎn)，只需通過(guò)目標檢測程序給出目標特征點(diǎn)在計算機圖像中的坐標，就可直接得出攝像機水平調整量和垂直調整量，根據調整量控制攝像機運動(dòng)即可將目標自動(dòng)定位在圖像中心。最后通過(guò)VC++編程實(shí)現該系統。該系統主要針對簡(jiǎn)單背景下單個(gè)靜止正面人臉的定位，但是對于其他較為復雜的情況，也有很好的拓展性。

2 人臉檢測及特征點(diǎn)獲取

2.1 基于KL膚色的人臉初定位

　　本文采用膚色信息進(jìn)行人臉的初定位。人臉具有比較穩定的特征，在灰度圖中表現為眉毛、眼睛、鼻子和嘴相對臉部其他區域而言灰度要深一些；在彩色圖像中，從顏色上觀(guān)察，發(fā)現消除了亮度的影響后，眼睛和眼睛周?chē)念伾植季哂泻芊置鞯奶攸c(diǎn)，除了眼睛顏色偏黑外，眼睛周?chē)蟛糠志鶠槟w色，而且臉頰部分在一般情況下都可成功地將膚色檢測出來(lái)。在人臉檢測算法中加入對膚色信息的運用，目的是希望通過(guò)利用膚色信息判斷圖像中的各點(diǎn)像素是否屬于膚色，從而排除非膚色區域，即不可能存在人臉的區域，以達到減小搜索空間、提高人臉檢測算法的時(shí)間效率、降低誤報率的作用。由此可見(jiàn)，選擇恰當的聚類(lèi)空間和膚色區間閾值以確定最終的膚色模型是非常重要的，它將影響到人臉檢測的正確率和實(shí)用性。

　　經(jīng)過(guò)大量實(shí)驗的驗證，最終選取KL膚色坐標系建立膚色模型。它的特點(diǎn)是通過(guò)采用降維的特征臉空間描述人臉，使得每個(gè)人臉都是特征臉的線(xiàn)性組合，因而能用一組系數簡(jiǎn)單而完備地表示。這樣，可以將人臉識別和特征檢測過(guò)程轉換到代數空間進(jìn)行，這種變換對于膚色有更好的聚類(lèi)特性。這里借鑒了文獻[9]中的KL膚色坐標系。通過(guò)KL變換，得到其變換矩陣為：

通過(guò)對4000個(gè)膚色樣本進(jìn)行分析，得出KL膚色過(guò)濾器的閾值為：

　　對任一待處理彩色圖像，先用式(1)對其進(jìn)行色彩轉換，然后按式(2)的閾值進(jìn)行判斷：在該范圍內則置1，否則置0，即可得到過(guò)濾膚色后的二值圖像。在此二值圖像上可實(shí)現人臉的初定位。

2.2 積分投影法確定眼睛區域

　　在初步獲得人臉區域后，接下來(lái)的工作就是人臉重心的獲取。由于眼睛在人臉中的重要性，所以把眼睛作為人臉的特征點(diǎn)，兩眼間的中點(diǎn)作為人臉的重心點(diǎn)。具體方法是先采用積分投影的方法確定眼睛區域，再采用小灰度值聚類(lèi)法計算眼球中心。然后根據人臉的幾何特征即可確定人臉重心，為下一步的自動(dòng)定位做好充分的準備。

　　眼睛具有明顯的特征。相對于鼻子、嘴和眉毛而言，眼睛特征較為穩定且成對出現，與周?chē)鷧^域具有較強的灰度對比度。在通常情況下，通過(guò)邊緣檢測都可以將眼睛提取出來(lái)。選用Robinson算子和Laplacian of Gaussian算子對圖像進(jìn)行邊緣提取，然后在水平、垂直兩個(gè)方向上對經(jīng)過(guò)邊緣提取的灰度圖像利用積分投影法產(chǎn)生投影曲線(xiàn)。積分投影法的基本原理如下：設原圖像I(n，m)大小為N×M矩陣，其中n，m分別為圖像的列、行坐標，則水平方向和垂直方向上的積分投影曲線(xiàn)J(n)，I(m)分別定義如式(3)和式(4)所示。垂直投影曲線(xiàn)在眉毛、眼睛、鼻子、嘴巴、下顎等位置上形成駝峰，駝峰的大小和峰值點(diǎn)位置反映了各個(gè)特征部件的大小和形狀信息。根據J(n)，I(m)的極值點(diǎn)信息及眼睛在人臉中的幾何特性，即可檢測出眼睛區域。如圖1所示。圖1中Ⅰ和Ⅱ區域是水平方向投影的結果，在其上方做豎直方向投影得A和B區域，即為眼睛區域。

2.3 小灰度值聚類(lèi)法獲取人臉重心

　　確定了眼睛區域A和B后，在這2個(gè)矩形區域內采用小灰度值聚類(lèi)法確定眼球中心。聚類(lèi)的過(guò)程是將圖像中灰度值最小(即顏色最深)的n個(gè)像素按列遞增順序排序，若相鄰的列數差值都未超過(guò)預先設定的門(mén)限T1，說(shuō)明只有一個(gè)聚類(lèi)中心，求出這些像素行列的平均值就是要找的眼球中心點(diǎn)；若超過(guò)了門(mén)限T1，說(shuō)明這n個(gè)像素可以聚成2類(lèi)，對左眼，因為陰影集中在左邊，所以取右邊那類(lèi)的平均值；對右眼則取左邊那類(lèi)的平均值。n的選擇可根據圖像的總像素數目及眼球占圖像的大致百分比決定。檢測結果如圖2所示。確定了眼睛的位置后，根據人臉的幾何模型，重心的位置即可確定?？紤]到自動(dòng)定位要求將人臉定位到顯示屏幕的中心，而對人臉主要感興趣的特征就是眼睛，所以規定2眼之間的中點(diǎn)即為人臉的重心。

3 基于人工神經(jīng)網(wǎng)絡(luò )的目標定位圖像中心方法

　　檢測到人臉并且獲取人臉重心后，下一步就要定位人臉到圖像的中心了。本文提出一種新的基于人工神經(jīng)網(wǎng)絡(luò )的目標定位圖像中心方法。利用人工神經(jīng)網(wǎng)絡(luò )反向傳播算法對非線(xiàn)性函數超強的擬合能力，只需通過(guò)目標檢測程序給出目標在計算機圖像中的坐標點(diǎn)，就可直接得出攝像機水平調整量α和垂直調整量β，根據調整量控制攝像機運動(dòng)即可將目標定位在圖像中心。此外，該方法只需對圖像中心坐標進(jìn)行簡(jiǎn)單的預標定，基本上擺脫了攝像機標定這一繁瑣的步驟。作為目標定位的一個(gè)特例，將人臉檢測程序中計算出的人臉重心點(diǎn)替換目標點(diǎn)，即可完成人臉的自動(dòng)定位圖像中心。下面詳細介紹這種方法。

　　首先確定攝像機模型。攝像機模型就是對景物成像到圖像平面的物理過(guò)程的一個(gè)數學(xué)描述，依據該模型，可以確切地掌握圖像所成的幾何關(guān)系。本文采用Pin-hole模型(如圖3所示)，也就是透視投影模型。Pin-hole模型是在計算機視覺(jué)中廣泛采用的一類(lèi)模型，其物理上相當于薄透鏡成像，該模型最大的特點(diǎn)是成像關(guān)系是線(xiàn)性的。而且，由于攝像機的焦距相對于物距很小，所以無(wú)論是在仿真實(shí)驗還是在實(shí)際實(shí)驗中，都可以不考慮物距對精度的影響。在圖3中，C為攝像機光學(xué)中心，CO′為攝像機光軸，CO′的距離為攝像機的焦距f，O′u′v′為像平面坐標，P是目標在像平面上的投影。仿真實(shí)驗需要對對攝像機模型進(jìn)行簡(jiǎn)單的預標定(實(shí)際定位算法中不需要)：設f=10 mm；計算機圖像平面為768×576，中心坐標(Cx，Cy)為(384，288)，單位pixel；像平面單位距離上對應的像素數Sx=Sy=100，單位pixel／mm。

　　然后，根據攝像機模型，依據神經(jīng)網(wǎng)絡(luò )的理論，建立網(wǎng)絡(luò )結構。Hornik等利用泛函分析理論，證明在很寬的條件下，具有至少一層S型神經(jīng)元隱含層的前向反饋網(wǎng)絡(luò )神經(jīng)網(wǎng)絡(luò )，用標準BP算法經(jīng)過(guò)足夠的訓練，能以任意精度逼近任意函數及其各階導數。Elsken證明使用單隱含層網(wǎng)絡(luò )為好，增加隱含層數目可導致網(wǎng)絡(luò )性能的下降，所以通常用單隱含層的網(wǎng)絡(luò )。經(jīng)實(shí)驗驗證，采用單隱含層網(wǎng)絡(luò )優(yōu)于2個(gè)隱含層的網(wǎng)絡(luò )，隱含層節點(diǎn)采用10個(gè)為好，隱含層使用Log-Sigmoid函數，輸出層使用線(xiàn)性函數，網(wǎng)絡(luò )的輸入為目標在計算機平面圖像中的坐標點(diǎn)(u，v)，輸出為攝像機水平調整量α和垂直調整量β。

　　因為L(cháng)og-Sigmoid函數的靈敏區有限，因此有必要對樣本數據進(jìn)行歸一化處理。本文采用式(5)所示的歸一化方法：

　　根據計算機圖像坐標(u，v)和像平面坐標(u′，v′)的關(guān)系，即式(5)，可得像平面坐標(u′，v′)。

　　再根據三角形關(guān)系，即可得攝像機水平調整量α和垂直調整量β。計算可知α∈[-0.3666，0.3666]，β∈[-0.2804，0.2804]，單位弧度。

　　由于標準BP算法收斂速度較慢、容易陷入局部極小點(diǎn)，所以采用BP改進(jìn)算法。通過(guò)對幾種改進(jìn)算法的比較試驗，最終采用基于啟發(fā)式信息的動(dòng)量方法(MOBP)。

　　在計算機平面上每隔10個(gè)像素取1點(diǎn)作為訓練樣本，水平方向78組，垂直方向59組，共得到4 602組訓練樣本。對這些樣本反復實(shí)驗，得出在2-10-2型網(wǎng)絡(luò )下，訓練2 000次后的測試結果如圖4所示。其中，測試樣本共192組，水平方向16組，垂直方向12組。取與訓練樣本不同的點(diǎn)，x，y坐標分別表示計算機水平方向和垂直方向的像素點(diǎn)，z坐標表示誤差，。

　　由圖4可以看出，由水平調整量α和垂直調整量β可以精確的控制攝像機將目標定位到計算機圖像中心，誤差一般小于2個(gè)像素(即RMS小于1.77×10-3)，只是在u=[0.768]，v=[0，50]，也就是計算機上方50個(gè)像素的水平帶上誤差稍大一些，在5個(gè)像素(即RMS≤4.47×10-3)左右?？稍谶@些區域多取一些樣本減小誤差。

4 系統實(shí)現

　　系統采用PC機和圖像采集卡構成的圖像采集系統，在實(shí)驗室普通白幟燈照明的條件下，采用微視科技MVP-CI-V3C圖像采集卡附帶的軟件開(kāi)發(fā)包，進(jìn)行人臉自動(dòng)定位圖像中心系統的二次開(kāi)發(fā)。

　　系統的軟件環(huán)境是在Microsoft Windows 2000下采用面向對象的語(yǔ)言Microsoft Visual C++6.0編程。硬件環(huán)境采用Panasonic WV-CP210／G CCTV CAMERA(固定于三腳架上)，鏡頭焦距8 mm；北京微視科技MVPCI-V3C采集卡，采集圖像為768×576 pixel；利凌PIH-302云臺；PC機通過(guò)北京微視科技AV2002云臺解碼器驅動(dòng)攝像機云臺轉動(dòng)。

　　目標開(kāi)始定位在計算機圖像中心(384，288)，然后控制攝像機云臺轉動(dòng)，記錄下轉動(dòng)的角度α，β和此時(shí)目標在計算機圖像中的坐標(u，v)，即獲得一組訓練樣本。根據實(shí)際需要選擇物距的大小(即目標距鏡頭的距離)，這里在1，1.2(單位m)遠時(shí)分別取1 500組訓練樣本(在計算機上方50個(gè)像素的水平帶上多取一些訓練樣本)，通過(guò)對3 000組訓練樣本的反復實(shí)驗，誤差一般在10個(gè)像素(即RMS小于8.98×10-3)以?xún)?，不超過(guò)20個(gè)像素(即RMS小于18×10-3)，而且網(wǎng)絡(luò )有較好的泛化能力，對訓練樣本中沒(méi)有的1.1 m遠處的測試也能達到較滿(mǎn)意的結果(誤差不超過(guò)20個(gè)像素)。實(shí)驗表明，如果樣本足夠多，訓練次數足夠大，RMS還可以足夠小，攝像機可以更加精確的定位到圖像中心。

　　實(shí)驗結果表明，該算法簡(jiǎn)單有效，可以較精確地將目標定位在圖像中心。配合目標檢測程序即可完成目標跟蹤任務(wù)。目前商用變速云臺水平轉速可達到32°／s(0.558 5 rad／s)，垂直轉速可達到16°／s(0.279 3 rad／s)，在一些高速攝像系統中可以達到更高，完全可以用于實(shí)時(shí)的目標跟蹤。在實(shí)際跟蹤中，可根據情況選擇樣本的范圍和數量，可以滿(mǎn)足一般跟蹤的要求。該方法有很好的可拓展性，如果要進(jìn)行人臉跟蹤的研究，只需考慮相關(guān)幀的信息，然后對人臉搜索區域加以限定以減少搜索時(shí)間，就能提高跟蹤效率，達到實(shí)時(shí)跟蹤的目的。該方法的缺點(diǎn)是前期樣本的獲取和神經(jīng)網(wǎng)絡(luò )的訓練工作量較大。

　　經(jīng)過(guò)對不同年齡、不同臉型、性別不同的人進(jìn)行試驗，結果證明該系統簡(jiǎn)單有效，有較強的實(shí)際應用價(jià)值。由于云臺設備的限制，系統沒(méi)有考慮自動(dòng)對焦功能的實(shí)現，這可以根據人臉區域的大小自動(dòng)調整焦距。雖然系統是針對靜止人臉的，但是完全可以實(shí)現動(dòng)態(tài)人臉的實(shí)時(shí)跟蹤功能，只要在程序中加入一個(gè)獨立線(xiàn)程定時(shí)更新采集圖像就能夠實(shí)現。

　　隨著(zhù)Internet技術(shù)的發(fā)展，家庭及企事業(yè)單位接入互聯(lián)網(wǎng)已經(jīng)成為現實(shí)?；ヂ?lián)網(wǎng)不僅使人類(lèi)的視野得到空前的擴大，同時(shí)也極大地縮短了人與人之間的距離。利用Internet人們不僅坐在家中或辦公室就知天下之事，而且即使遠離住所或辦公地點(diǎn)，通過(guò)Internet也可獲知家中或辦公場(chǎng)所、工業(yè)現場(chǎng)的有關(guān)情況，并且能夠對遠端設備實(shí)施遠程監控。所以，通過(guò)網(wǎng)絡(luò )進(jìn)行遠程人臉的自動(dòng)定位的操作是未來(lái)的發(fā)展方向之一。