什么促使了候選目標的有效檢測？

今天想說(shuō)的其實(shí)也是一個(gè)老一點(diǎn)的知識，但是讀了幾遍感覺(jué)靈感很大，得到了很多想法和去實(shí)踐的思路，所以今天就給大家來(lái)分享下這篇經(jīng)典好文。

 背景

今天想說(shuō)的其實(shí)也是一個(gè)老一點(diǎn)的知識，但是讀了幾遍感覺(jué)靈感很大，得到了很多想法和去實(shí)踐的思路，所以今天就給大家來(lái)分享下這篇經(jīng)典好文。該文錄用于：“ IEEE transactions on pattern analysis and machine intelligence”。

閱讀完全文，您會(huì )知道大概基本內容就如下所示：

回顧Object Proposal（以下簡(jiǎn)稱(chēng)為OP）的各種方法，將其分類(lèi)；

論不同OP在圖片被擾動(dòng)之后在復現上的魯棒性；

討論不同OP在PASCAL和ImageNet上的Recall，并提出了Average Recall（簡(jiǎn)稱(chēng)AR）的一種新的標準；

討論不同OP對于實(shí)際分類(lèi)的性能比較（用了DPM和RCNN這兩個(gè)著(zhù)名detector進(jìn)行比較），以及說(shuō)明了AR是一個(gè)跟性能相當相關(guān)的標準。

2 各種OP方法的回顧

作者大致將OP方法分成了兩類(lèi)，一類(lèi)叫g(shù)rouping method，一類(lèi)叫window scoring method。前者是指先將圖片打散，然后再聚合的一種方法，比如selective search。后者是生成大量window并打分，然后過(guò)濾掉低分的一種方法，比如objectness。另外還有一些介乎兩者之間的方法，比如multibox。

Grouping proposal methods

作者將grouping的方法繼續細分為三個(gè)小類(lèi)。SP，對superpixel進(jìn)行聚合；GC，使用種子點(diǎn)然后groupcut進(jìn)行分割；EC，從邊緣圖提取proposal。下面分別一一進(jìn)行介紹：

SelectiveSearch (SP): 無(wú)需學(xué)習，首先將圖片打散為superpixel，然后根據人為定義的距離進(jìn)行聚合。

CPMC (GC): 隨機初始化種子點(diǎn)，然后做graphcut進(jìn)行分割，反復多次，然后定義了某個(gè)很長(cháng)的特征進(jìn)行排序。（所以速度超級慢）

MCG (EC): 首先用現成方法快速得到一個(gè)層次分割的結果，然后利用邊緣信息進(jìn)行聚合。

Window scoring proposal methods

不同于前者需要通過(guò)聚合小塊來(lái)生成候選框，這里的方法是先生成候選框，然后直接打分排序來(lái)過(guò)濾掉低分的候選框。介紹兩種比較出名的方法：

Bing: 訓練了一個(gè)簡(jiǎn)單的線(xiàn)性分類(lèi)器來(lái)通過(guò)類(lèi)似滑窗的方式來(lái)過(guò)濾候選框，速度驚人地快。但是被其他文獻攻擊說(shuō)分類(lèi)性能不是來(lái)自于學(xué)習而是幾何學(xué)。

EdgeBoxes: 跟selective search一樣，是一個(gè)不需要學(xué)習的方法，結合滑窗，通過(guò)計算窗口內邊緣個(gè)數進(jìn)行打分，最后排序。

Aliternate proposal methods

Multibox，目前所知唯一基于CNN提取proposal的方法，通過(guò)CNN回歸N個(gè)候選框的位置并進(jìn)行打分，目前在ImageNet的dectection track上應該是第一的。

Baseline proposal methods

這里用了Uniform，Gaussian，Sliding Window和Superpixels作為baseline，不是重點(diǎn)就不展開(kāi)說(shuō)了。

3 各種OP方法對于復現的魯棒性的討論

這里作者提出這樣的假設：一個(gè)好的OP方法應該具有比較好的復現能力，也就是相似的圖片中檢索出來(lái)的object應該是具有一致性的。驗證的方法是對PASCAL的圖片做了各種擾動(dòng)（如下圖），然后看是否還能檢測出來(lái)相同的object的recall是多少，根據IoU的嚴格與否能夠得到一條曲線(xiàn)，最后計算曲線(xiàn)下面積得到repeatability。

本次推送的圖表很多具體請看原論文，這里直接給出大概重點(diǎn)和結論，Bing和Edgeboxes在repeatability上表現最好。

4 各種OP方法的Recall

這里提出了好的OP方法應該有著(zhù)較高的recall，不然就要漏掉檢測的物體了。這里討論了三種衡量recall的方式：

Recall versus IoU threshold：固定proposal數量，根據不同的IoU標準來(lái)計算recall

Recall versus number of proposal windows：跟1互補，這里先固定IoU，根據不同的proposal數目來(lái)計算recall

Average recall(AR)：作者提出的，這里只是根據不同的proposal數目，計算IoU在0.5到1之間Recall。

數據集方面，作者在PASCAL VOC07和ImagNet Detection dataset上面做了測試。

MCG， EdgeBox，SelectiveSearch, Rigor和Geodesic在不同proposal數目下表現都不錯。

如果只限制小于1000的proposal，MCG,endres和CPMC效果最好；

如果一開(kāi)始沒(méi)有較好的定位好候選框的位置，隨著(zhù)IoU標準嚴格，recall會(huì )下降比較快的包括了Bing, Rahtu, Objectness和Edgeboxes。其中Bing下降尤為明顯；

在A(yíng)R這個(gè)標準下，MCG表現穩定；Endres和Edgeboxes在較少proposal時(shí)候表現比較好，當允許有較多的proposal時(shí)候，Rigor和SelectiveSearch的表現會(huì )比其他要好；

PASCAL和ImageNet上，各個(gè)OP方法都是比較相似的，這說(shuō)明了這些OP方法的泛化性能都不錯。

5 效果

各種OP方法在實(shí)際做detection任務(wù)時(shí)候的效果

這里作者在OP之后接上了兩種在detection上很出名的detector來(lái)進(jìn)行測試，一個(gè)是文獻（Training deformable part models with decorrelated features）的LM-LLDA（一個(gè)DPM變種），另外一個(gè)自然是R-CNN了，值得注意的是，這兩個(gè)detector的作者都是rbg。

這里用了各種OP方法提取了1k個(gè)proposal，之后作比較。也是直接給作者結論：

如果OP方法定位越準確，那么對分類(lèi)器幫助會(huì )越大，因為定位越準確，分類(lèi)器返回的分數會(huì )越高：

在LM-LLDA和R-CNN下，使得mAP最高的前5個(gè)OP方法都是MCG，SeletiveSearch，EdgeBoxes，Rigor和Geodesic，如下圖。

通過(guò)分析，作者發(fā)現AR和mAP有著(zhù)很強的相關(guān)性：

作者用AR作為指導去tuning EdgeBoxes的參數，然后取得了更好的mAP（提高1.7個(gè)點(diǎn)）。

6 全文總結和討論

對于repeatability這個(gè)標準，目前的OP方法效果都一般?？赡芡ㄟ^(guò)對噪聲和擾動(dòng)更加魯棒的特征能夠提高OP方法的repeatablilty。但是repeatability低不代表最后mAP就低，比如SelectiveSearch，所以最后還是看要應用場(chǎng)景。

如果OP方法定位越準確，那么對分類(lèi)器幫助會(huì )越大。所以對于OP方法來(lái)說(shuō)，IoU為0.5的recall不是一個(gè)好的標準。高recall但是定位不準確，會(huì )傷害到最后的mAP

MCG,Seletive Search,EdgeBoxes,Rigor和Geodesic是目前表現最好的5個(gè)方法，其中速度以EdgeBoxes和Geodesic為優(yōu)。

目前的OP方法在VOC 07和ImageNet的表現都差不多，說(shuō)明它們都有著(zhù)不錯的泛化性能。

討論

如果計算能力上去了，OP還有用嗎？作者認為如果運算性能允許的話(huà)，滑動(dòng)窗口加上CNN等強分類(lèi)器會(huì )有著(zhù)更好的效果。

作者觀(guān)察到在目前OP中使用的特征（比如object boundary和superpixel），不會(huì )在分類(lèi)器中使用；然后OP方法中除了MultiBox之外就沒(méi)有其他OP有使用CNN特征。作者期待會(huì )有工作能夠結合下這兩者的優(yōu)勢。

最后，作者對做了三點(diǎn)猜測：之后top down可能會(huì )在OP中起到更加重要的作用；以后OP和detector的聯(lián)系會(huì )更加緊密；OP生成的segmentation mask會(huì )起到更加重要的作用。