人臉專(zhuān)題知識鞏固 （一） | 級聯(lián)卷積神經(jīng)網(wǎng)絡(luò )用于人臉檢測

01 簡(jiǎn)  要

說(shuō)到人臉檢測，應該是近幾年不老的話(huà)題了，如果要將這技術(shù)真的落實(shí)到現在產(chǎn)品，其實(shí)還有很長(cháng)的路，不知道大家有沒(méi)有發(fā)現，很多無(wú)人超市開(kāi)始走下坡路，也許不僅僅是技術(shù)的原因之一吧，但是我們只針對技術(shù)來(lái)說(shuō)，其實(shí)還是有很多不足需要去解決，這也是之后我們人臉這個(gè)專(zhuān)集和大家要說(shuō)的，那我們就開(kāi)始吧！

級聯(lián)算法在人臉檢測中得到了廣泛的應用，其中首先可以使用計算量小的分類(lèi)器來(lái)縮小大部分背景，同時(shí)保持召回。

今天說(shuō)的這個(gè)技術(shù)就是提出了一種由兩個(gè)主要步驟組成的級聯(lián)卷積神經(jīng)網(wǎng)絡(luò )方法。第一階段采用低像素候選窗口作為輸入，使淺層卷積神經(jīng)網(wǎng)絡(luò )快速提取候選窗口；在第二階段，調整來(lái)自前一階段的窗口的大小，并將其分別用作對應網(wǎng)絡(luò )層的輸入。在訓練期間，對hard-樣本進(jìn)行聯(lián)合在線(xiàn)訓練，并采用soft非極大抑制算法對數據集進(jìn)行測試。整個(gè)網(wǎng)絡(luò )在FDDB上實(shí)現了更好的性能。

開(kāi)始詳細講解，先和大家回憶經(jīng)典網(wǎng)絡(luò )

02 Fully Convolution Network

如上圖所示，不知道細心的同學(xué)有發(fā)現差別所在不？？？

差別：全連接結構和完全卷積結構之間的區別表現在每一層的圖像大小上。

經(jīng)過(guò)兩次卷積和池化運算后，原始圖像的分辨率由227×227變?yōu)?5×55，第二次池化后圖像大小為27×27，輸出到第五層，圖像大小減小到13×13。然而，在FCN中，以H×W大小的圖像為輸入，經(jīng)過(guò)兩次卷積和池化運算后，圖像質(zhì)量下降到原來(lái)圖像的四分之一。然后，在每個(gè)池化層之后，圖像的長(cháng)度和寬度減少一半。

因此，卷積特征是原來(lái)尺寸輸出的第五層的十六分之一。最后，將特征縮小到原來(lái)大小的三十二分之一。結果表明，經(jīng)過(guò)多次卷積和池化運算后，圖像大小明顯減小。上面提到的最后一層可以得到最小尺寸的熱圖。它可以看作是重要的高維特征圖。隨后，對圖像進(jìn)行上采樣并將其放大到原始圖像大小，所述位置的像素結果與分類(lèi)結果相對應。由于無(wú)條件圖像大小的顯著(zhù)優(yōu)勢，在三個(gè)多分辨率網(wǎng)絡(luò )中分別采用全卷積層，使得輸入圖像大小不再受限。

03 Spatial Pyramid Pooling

SPP-Net只在整個(gè)圖像上運行一次CNN模型。然后，將通過(guò)選擇性搜索得到的候選區域映射到特征映射。利用空間金字塔池化和支持向量機對候選目標進(jìn)行分類(lèi)。通過(guò)不固定尺寸的輸入圖像可以獲得任意大小的卷積特征，只需保證輸入到全連接層的大小是固定的。

使用FCN結構，這樣就不能再限制輸入圖像的大小了。它將產(chǎn)生一個(gè)固定大小的輸出。因此，總體結構不同于RCNN。下圖給出了空間金字塔池層結構的流程圖。

04  Cascade Structure

級聯(lián)結構在人臉檢測中得到了廣泛的應用，首先可以利用計算量小的分類(lèi)器來(lái)去除大部分背景，同時(shí)保持召回。

級聯(lián)分類(lèi)器在多個(gè)AdaBoost弱分類(lèi)器或強分類(lèi)器上對不同的特征進(jìn)行順序處理。級聯(lián)結構如下圖所示。該流程圖不僅通過(guò)對多個(gè)弱分類(lèi)器的組合，生成了一個(gè)強級聯(lián)分類(lèi)器，而且提高了分類(lèi)器的速度。然而，以往方法的每個(gè)階段都是獨立訓練的。因此，不同CNN的優(yōu)化是相互獨立的。

接下來(lái)開(kāi)始今天技術(shù)的詳解

結構設計

在這一部分中，我們將描述一個(gè)級聯(lián)CNN的人臉檢測使用三種不同分辨率的輸入圖像(12×12，24×24和48×48)。將輸入圖像調整到不同的尺度，形成圖像金字塔。

首先，通過(guò)微網(wǎng)絡(luò )(全卷積候選網(wǎng)絡(luò )，FCPN)消除大量的非人臉窗口；然后，將候選窗口的其余部分輸入到第二階段(多尺度網(wǎng)絡(luò )，MSN)。MSN-24表示輸入大小為24×24的分支，而MSN-48表示輸入大小為48×48的分支。將MSN-24第五層的卷積特征(即概率分布信息)與MSN-48融合。對不同級聯(lián)階段進(jìn)行hard-樣本挖掘和聯(lián)合訓練，完成人臉?lè )诸?lèi)和邊界框回歸兩項任務(wù)。

在工作中，輸入圖像被調整到不同尺度，以創(chuàng )建一個(gè)圖像金字塔。檢測過(guò)程分為兩個(gè)階段。第一階段是全卷積候選網(wǎng)絡(luò )(FCPN)，它采用低分辨率淺卷積神經(jīng)網(wǎng)絡(luò )結構，快速有效地消除大量背景窗口，如下圖所示。

第二階段是多尺度網(wǎng)絡(luò )(MSN)，它結合了加權閾值兩種高分辨率卷積神經(jīng)網(wǎng)絡(luò )的特點(diǎn)，進(jìn)一步濾除hard-樣本，細化邊界框。結構如下圖。這兩個(gè)階段詳細說(shuō)明見(jiàn)“計算機視覺(jué)協(xié)會(huì )”知識星球。

接下來(lái)詳細說(shuō)說(shuō)難樣本挖掘！

與傳統分類(lèi)器訓練中的難樣本挖掘不同，在訓練過(guò)程中自適應地選擇難樣本。在每一批中，計算候選區域的損失函數，并根據損失值對它們進(jìn)行排序。選取損失值最高70%的目標區域作為難樣本，忽略其余30%的簡(jiǎn)單樣本。

為了評估該方法的有效性，訓練了兩種不同的比較模型(w/和w/o難樣本的在線(xiàn)訓練)，并對測試集的性能進(jìn)行了評估。下圖給出了兩個(gè)不同的結果。實(shí)線(xiàn)顯示了難樣品的挖掘性能。虛線(xiàn)顯示不使用此方法的效果。實(shí)驗結果表明，難樣本的在線(xiàn)訓練有助于提高檢測性能，在FDDB上提供1.5%的性能增益。

Soft極大抑制也會(huì )”計算機視覺(jué)協(xié)會(huì )“知識星球詳細講解，為啥會(huì )有如此高的性能提升！

實(shí)  驗

圖 在Pascal Faces數據集上的結果

圖 在FDDB人臉數據集上discROC的結果

圖 在FDDB人臉數據集上contROC的結果

檢測可視化

Best Paper：https://link.springer.com/journal/11042