人臉專(zhuān)集知識鞏固2 | 人臉關(guān)鍵點(diǎn)檢測匯總

今天應該是“計算機視覺(jué)研究院”人臉專(zhuān)集的第2期，我們主要涉及目標檢測與識別，主要在人臉領(lǐng)域做更多的詳解。

接下來(lái)，我們針對人臉配準該領(lǐng)域詳細講解一次，今日主要涉及的就是人臉關(guān)鍵點(diǎn)檢測，這個(gè)基礎是人臉?lè )治龅幕A，也是最重要的步驟之一。

簡(jiǎn) 要

在人臉部分和輪廓周?chē)幕鶞嗜四橁P(guān)鍵點(diǎn)位置捕獲了由于頭部移動(dòng)和面部表情造成的剛性和非剛性面部變形。

因此，它們對于各種面部分析任務(wù)非常重要。多年來(lái)，許多人臉關(guān)鍵點(diǎn)檢測算法都是為了自動(dòng)檢測這些關(guān)鍵點(diǎn)而發(fā)展起來(lái)的，今天，我們對它們進(jìn)行了廣泛的綜述。

今天所要講解的，將人臉關(guān)鍵點(diǎn)檢測算法分為三大類(lèi)：整體方法、約束局部模型(CLM)方法和基于回歸的方法。他們利用面部外觀(guān)和形狀信息的方式不同，整體方法顯式地建立模型來(lái)表示全局的面部外觀(guān)和形狀信息；CLMs顯式地利用全局形狀模型，但構建局部外觀(guān)模型；基于回歸的方法隱式捕獲人臉形狀和外觀(guān)信息。

對于每一類(lèi)算法，我們今天就討論它們的基本理論以及它們的不同之處。在不同的面部表情、頭部姿勢和遮擋情況下，還比較了它們在受控數據集和基準數據集上的性能。根據這些評價(jià)，我們指出了它們各自的優(yōu)缺點(diǎn)，最后還單獨回顧最新的基于深度學(xué)習的算法。

背 景

人臉在視覺(jué)傳達中起著(zhù)重要的作用。通過(guò)觀(guān)察臉部，人類(lèi)可以自動(dòng)提取許多非語(yǔ)言信息，如人類(lèi)的身份、意圖和情感。

在計算機視覺(jué)中，為了自動(dòng)提取這些人臉信息，基準的人臉關(guān)鍵點(diǎn)(下圖)的定位通常是一個(gè)關(guān)鍵步驟，許多面部分析方法都是建立在對這些關(guān)鍵點(diǎn)的準確檢測的基礎上的。

例如，面部表情識別和頭部姿態(tài)估計算法可能?chē)乐匾蕾?lài)于關(guān)鍵點(diǎn)位置提供的面部形狀信息。眼睛周?chē)拿娌筷P(guān)鍵點(diǎn)可以提供瞳孔中心位置的初步猜測，用于眼睛檢測和眼睛凝視跟蹤。對于人臉識別，二維圖像上的關(guān)鍵點(diǎn)位置通常與三維頭部模型相結合，以“正面化”人臉，并幫助減少顯著(zhù)的變化，以提高識別精度。通過(guò)面部關(guān)鍵點(diǎn)位置獲取的面部信息可以為人機交互、娛樂(lè )、安全監視和醫療應用提供重要信息。

人臉關(guān)鍵點(diǎn)檢測算法的目的是自動(dòng)識別面部關(guān)鍵點(diǎn)在面部圖像或視頻中的位置。這些關(guān)鍵點(diǎn)要么是描述人臉部件的獨特位置(例如眼角)的優(yōu)勢點(diǎn)，要么是將這些優(yōu)勢點(diǎn)與人臉部件和輪廓連接起來(lái)的插值點(diǎn)。形式上，給定一個(gè)以i表示的面部圖像，一個(gè)檢測算法預測d的關(guān)鍵點(diǎn)：x={x1，y1，x2，y2，...，xd，yd}的位置，其中x和y是面部圖像關(guān)鍵點(diǎn)的坐標。

Holistic methods

整體方法顯式地利用整體面部外觀(guān)信息以及全局面部形狀進(jìn)行面部關(guān)鍵點(diǎn)檢測(下圖)。接下來(lái)，我先介紹經(jīng)典的整體方法：主動(dòng)外觀(guān)模型（AAM）；然后，介紹它的幾個(gè)擴展。

AAM

由Taylor和Cootes引入了主動(dòng)外觀(guān)模型(AAM)。它是一種統計模型，用少量的系數擬合人臉圖像，控制人臉的外觀(guān)和形狀的變化。在建模過(guò)程中，AAM建立了基于主成分分析(PCA)的全局人臉形狀模型和整體人臉外觀(guān)模型。

在檢測過(guò)程中，它通過(guò)將學(xué)習到的外觀(guān)和形狀模型與測試圖像進(jìn)行擬合來(lái)識別關(guān)鍵點(diǎn)位置。

圖A 學(xué)習形狀變化

圖B 學(xué)習外觀(guān)變化

基于學(xué)習的擬合方法的分析擬合方法

相比于解析擬合方法，用梯度下降算法求解Hissian矩陣和Jacobian矩陣，基于學(xué)習的擬合方法采用常量線(xiàn)性或非線(xiàn)性回歸函數逼近最陡下降方向。因此，基于學(xué)習的擬合方法通常是快速的，但它們可能不準確。

分析方法不需要訓練圖像，而擬合方法需要訓練圖像?；趯W(xué)習的擬合方法通常使用第三PCA來(lái)學(xué)習形狀系數和外觀(guān)系數之間的聯(lián)合相關(guān)性，從而進(jìn)一步減少未知系數的數量，而解析擬合方法通常不這樣做。但是，對于解析擬合方法，外形系數和形狀系數之間的相互作用可以嵌入到聯(lián)合擬合目標函數中。形狀系數與外觀(guān)系數之間的相關(guān)性可以減少參數的個(gè)數，這種學(xué)到的相關(guān)性可能不能很好地推廣到不同的圖像。用聯(lián)合擬合目標函數進(jìn)行形狀系數和外觀(guān)系數聯(lián)合估計可以得到更準確的結果。

其他拓展

特征表示

傳統的AAM方法還有其他擴展。一個(gè)特別的方向是改進(jìn)特征表示。眾所周知，AAM模型泛化能力有限，難以擬合不可見(jiàn)的人臉變化(如：跨對象、光照、部分遮擋等)。

這一限制部分是由于使用原始像素強度作為特征。為了解決這個(gè)問(wèn)題，一些算法使用了更魯棒的圖像特征。例如，不使用原始像素強度，而是使用小波特征來(lái)建模面部外觀(guān)。另外，僅利用局部外觀(guān)信息來(lái)提高對局部遮擋和光照的魯棒性；采用高斯混合模型的Gabor小波對局部圖像進(jìn)行建模，實(shí)現了局部點(diǎn)的快速搜索。這兩種方法都提高了傳統AAM方法的性能。

Constrained local methods

如下圖所示，約束局部模型(CLM)方法根據全局面部形狀模式以及每個(gè)關(guān)鍵點(diǎn)周?chē)毩⒌木植客庥^(guān)信息推斷出關(guān)鍵點(diǎn)位置x，與整體外觀(guān)相比，該方法更容易捕獲，并且對光照和遮擋更有魯棒性。

局部外觀(guān)模型

與局部外觀(guān)模型相關(guān)的問(wèn)題有幾個(gè)。首先，存在準確性-魯棒性權衡。例如，大的局部塊更魯棒，而對于精確的關(guān)鍵點(diǎn)定位則不太準確。一個(gè)小塊，更獨特的外觀(guān)信息，將導致更準確的檢測結果。

為了解決這個(gè)問(wèn)題，一些算法（Ren, S., Cao, X., Wei, Y., Sun, J.: Face alignment at 3000 fps via regressing local binary features. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1685–1692 (2014)）將大塊和小塊結合起來(lái)進(jìn)行估計，并在迭代過(guò)程中調整塊的大小或搜索區域。其次，在基于分類(lèi)器的方法和基于回歸的方法之間，還不清楚應該遵循哪種方法？

基于回歸的方法的一個(gè)優(yōu)點(diǎn)是，它只需要計算特征和預測幾個(gè)樣本塊在測試中的位移向量。它比基于分類(lèi)的掃描感興趣區域內所有像素位置的方法更有效。經(jīng)驗表明，GentleBoost回歸模型作為基于回歸的外觀(guān)模型優(yōu)于GentleBoost分類(lèi)器作為基于分類(lèi)器的局部外觀(guān)模型。

Regression-based methods

基于回歸的方法直接從圖像外觀(guān)到關(guān)鍵點(diǎn)位置的映射學(xué)習。與整體方法和約束局部模型方法不同的是，它們通常不顯式地建立任何全局人臉模型。相反，面部形狀約束可以隱式嵌入。通常，基于回歸的方法可分為直接回歸法、級聯(lián)回歸法和深度學(xué)習回歸法。直接回歸方法在沒(méi)有初始化的情況下，在一次迭代中對關(guān)鍵點(diǎn)進(jìn)行預測，而級聯(lián)回歸方法則進(jìn)行級聯(lián)預測，通常需要初始的關(guān)鍵點(diǎn)位置?；谏疃葘W(xué)習的方法要么遵循直接回歸，要么遵循級聯(lián)回歸。由于它們使用了獨特的深度學(xué)習方法，我們之后會(huì )分別討論。

級聯(lián)回歸方法

與執行一步預測的直接回歸方法相比，級聯(lián)回歸方法從對面部關(guān)鍵點(diǎn)位置(例如均值臉)的初始猜測開(kāi)始，并通過(guò)不同階段學(xué)習的不同回歸函數逐步更新關(guān)鍵點(diǎn)位置(如上圖)。

具體而言，在訓練中，在每個(gè)階段，應用回歸模型來(lái)學(xué)習形狀索引圖像外觀(guān)(例如，根據當前估計的關(guān)鍵點(diǎn)位置提取的局部外觀(guān))到形狀更新之間的映射。從早期開(kāi)始的學(xué)習模型將用于更新下一階段的訓練數據。在測試期間，學(xué)習到的回歸模型依次應用于跨迭代更新形狀。

今天就先到這里，下次我們繼續接著(zhù)"人臉關(guān)鍵點(diǎn)"相關(guān)知識進(jìn)行展開(kāi)講解。接下來(lái)給大家展示一些比較成功的案例。