基礎知識 | 目標檢測中Anchor的認識及理解

近期好多同學(xué)在私信讓我說(shuō)一些基礎性的知識。好多入門(mén)的同學(xué)在糾結Anchor的設置，而且部分同學(xué)私信，可不可以把這個(gè)基礎知識詳細說(shuō)一次，今天就單獨開(kāi)一次小課，一起來(lái)學(xué)習Faster R-CNN中的RPN及Anchor。

1 背景

近期好多同學(xué)在私信讓我說(shuō)一些基礎性的知識。好多入門(mén)的同學(xué)在糾結Anchor的設置，而且部分同學(xué)私信，可不可以把這個(gè)基礎知識詳細說(shuō)一次，今天就單獨開(kāi)一次小課，一起來(lái)學(xué)習Faster R-CNN中的RPN及Anchor。

說(shuō)到RPN和Anchor，應該立馬就能想到Faster R-CNN網(wǎng)絡(luò )框架，這個(gè)我平臺在之前就有詳細的介紹過(guò)。

往期回顧

● 深度學(xué)習近期總結分析

有興趣的可以點(diǎn)擊進(jìn)入看看，當作復習一下。首先我先將幾類(lèi)經(jīng)典的目標檢測網(wǎng)絡(luò )做一個(gè)對比，然后開(kāi)始說(shuō)說(shuō)今天要講的知識。

最開(kāi)始出現的是R-CNN，如下圖：

從上圖可以看出其框架做了很多重復的計算，在第二步之后，如果有2k個(gè)proposals，那后面就要執行2k邊，太低效。于是，出現了改進(jìn)的SSP-Net，如下圖：

SSP-Ne框架組合了Classification和Regression，做成單個(gè)網(wǎng)絡(luò )，并且可以Een-to-End進(jìn)行訓練，速度上提高許多。但是，SSP-Net還是基于Selective Search產(chǎn)生proposal，之后就出現了Fast R-CNN，其是融合了R-CNN和SPP-Net的創(chuàng )新，并且引入多任務(wù)損失函數，使整個(gè)網(wǎng)絡(luò )的訓練和測試變得十分方便。

但是Region proposal的提取還是使用了Selective Search，目標檢測時(shí)間大多消耗在這上面（大約region proposal需2~3s，而提特征分類(lèi)只需0.32s），這種是無(wú)法滿(mǎn)足實(shí)時(shí)應用，而且并沒(méi)有實(shí)現真正意義上的端到端訓練測試（因為region proposal使用了Selective Search先提取處來(lái)）。

于是就有了直接使用CNN產(chǎn)生region proposal并對其分類(lèi)，這就是Faster R-CNN框架，如下圖：

Faster R-CNN將proposals交給了CNN去生成，這樣Region Proposal Network（RPN）應運而生。

2 Faster RCNN

仔細看看Faster R-CNN框架，其實(shí)還保留了Fast R-CNN的框架，其主要就是CNN+RPN。其中RPN主要就是負責生成proposals，然后與最后一層的feature map一起使用，用ROI Pooling生成固定長(cháng)度的feature vector。具體如下：

那接下來(lái)開(kāi)始好好的說(shuō)一下RPN和Anchor！下圖是我從網(wǎng)絡(luò )copy過(guò)來(lái)的，應該更加能理解整體的流程及內容。

在上圖中，紅色的3x3紅框是其中一個(gè)滑窗的操作過(guò)程，注意這里的Anchor是原圖像像素空間中的，而不是feature map上的。這樣的話(huà)，就可以很好去知道Anchor的意思，而且Anchor對于RPN非常重要。

現在，我們假設現在的feature map尺寸為W x H x C（13x13x256就是feature map的Width=13，Height=13和Channel=256），在feature map使用滑動(dòng)窗口的操作方式，當前滑窗的中心在原像素空間的映射點(diǎn)就稱(chēng)為Anchor，并且以Anchor為中心去生成K（paper中default K=9，3個(gè)尺寸和3個(gè)縮放比例）個(gè)proposals。

在feature map上滑動(dòng)一次，得到一個(gè)小網(wǎng)絡(luò )，該網(wǎng)絡(luò )輸入是3x3x256，經(jīng)過(guò)3x3x256x256的卷積，就可以得到1x1x256的低維特征向量。

然后就得到上圖的兩個(gè)分支。

Classification：經(jīng)過(guò)1x1x256x18的卷積核，得到1x1x18的特征向量，分別代表9個(gè)proposals的Object的概率（是或不是）；

Regression：經(jīng)過(guò)1x1x256x36的卷積核，得到1x1x36的特征向量，分別代表9個(gè)proposals的（長(cháng)寬及中心點(diǎn)坐標）。

注意，上面只是一個(gè)小網(wǎng)絡(luò )，也就是一個(gè)3x3滑窗的過(guò)程及結果，在網(wǎng)絡(luò )整體運行的過(guò)程中，要將整個(gè)feature map都要滑動(dòng)一遍，最終就會(huì )得到兩個(gè)損失函數：

其中就是Classification（Lcls）和Regression（Lreg）兩個(gè)損失。對于邊界框的回歸，其是采用以下4個(gè)坐標的參數化：

綜上，通過(guò)滑窗和Anchor機制就可以找到固定比例、一定大小的proposals，這樣RPN就可以完美替代低效的Selective Search去產(chǎn)生proposals。

最終，在目標檢測領(lǐng)域中，這個(gè)框架算是一個(gè)里程碑，值得大家學(xué)習與深入探索。最后的檢測結果也是不錯的。