SSFENet | 增強空間和語(yǔ)義特征用于目標檢測

簡(jiǎn)要

目前最先進(jìn)的目標檢測器通常使用預先訓練好的分類(lèi)網(wǎng)絡(luò )來(lái)提取特征，然后利用特征金字塔來(lái)檢測不同尺度的目標。然而，分類(lèi)網(wǎng)絡(luò )更喜歡平移不變性，而忽略了位置信息，因此直接使用提取的特征進(jìn)行融合會(huì )影響性能。

在今天分享中，研究者提出了一個(gè)新的網(wǎng)絡(luò )來(lái)解決這個(gè)困境，即空間和語(yǔ)義特征增強網(wǎng)絡(luò )(SSFENet)。首先，引入了空間特征增強塊來(lái)利用空洞卷積和加權特征融合來(lái)增強特征中的空間信息。其次，在低級階段，框架中的語(yǔ)義特征增強塊利用高級階段的主干網(wǎng)絡(luò )來(lái)獲得具有更豐富語(yǔ)義信息的特征，并且由于使用了共享的卷積層，只引入了很少的計算成本。在MS-COCO基準測試上的實(shí)驗結果表明，該SSFENet顯著(zhù)提高了常用目標探測器的MAP性能。

2

 簡(jiǎn)單背景介紹

Two-stage：

對于Two-stage的目標檢測網(wǎng)絡(luò )，主要通過(guò)一個(gè)卷積神經(jīng)網(wǎng)絡(luò )來(lái)完成目標檢測過(guò)程，其提取的是CNN卷積特征，在訓練網(wǎng)絡(luò )時(shí)，其主要訓練兩個(gè)部分，第一步是訓練RPN網(wǎng)絡(luò )，第二步是訓練目標區域檢測的網(wǎng)絡(luò )。網(wǎng)絡(luò )的準確度高、速度相對One-stage慢。

One-stage：

直接通過(guò)主干網(wǎng)絡(luò )給出類(lèi)別和位置信息，沒(méi)有使用RPN網(wǎng)路。這樣的算法速度更快，但是精度相對Two-stage目標檢測網(wǎng)絡(luò )了略低。

目前常用的典型的One-stage目標檢測網(wǎng)絡(luò )

YOLOv1、YOLOv2、YOLOv3

SSD、DSSD等

Retina-Net等

Feature enhancement：

Feature Enhancement Network: A Refined Scene Text Detector

地址: https://arxiv.org/abs/1711.04249

3

 新框架

Spatial Feature Enhancement Block

大多數最先進(jìn)的目標檢測器都使用預先訓練好的分類(lèi)網(wǎng)絡(luò )來(lái)提取特征。然而，分類(lèi)網(wǎng)絡(luò )在前幾個(gè)卷積層之后進(jìn)行多個(gè)下采樣。此操作將丟失目標檢測所必需的位置信息。直接的解決方案不執行下采樣，但這將大大增加內存和計算成本，并且需要重新設計主干網(wǎng)絡(luò )。

新出了一種有效的空間特征增強(SpaFE)塊來(lái)擴展感受野，并了解不同感受野的重要性，如上圖所示。首先，SpaFE塊采用多分支形式來(lái)提取具有不同感受野的特征，每個(gè)分支都使用具有不同擴張率的空洞卷積。其次，SpaFE塊使用元素級添加而不是連接，這將減少一些計算開(kāi)銷(xiāo)。此外，由不同感受野提取的特征的重要性是不相同的，即不同分支的輸入對輸出的貢獻并不平等。為了解決這個(gè)問(wèn)題，研究者為每個(gè)輸入引入了一個(gè)額外的權重，并讓網(wǎng)絡(luò )了解每個(gè)分支的重要性。研究者使用快速標準化的融合：

Semantic Feature Enhancement Network

研究者將SemFE塊與綜合特征增強(CFE)模塊進(jìn)行了比較。CFE模塊利用多分支和分組卷積來(lái)增強語(yǔ)義信息，需要從頭開(kāi)始進(jìn)行訓練。這將增加模型的復雜性和訓練的難度。實(shí)驗結果表明，SpaFE塊的性能優(yōu)于CFE。

SSFENet框架

4

 實(shí)驗

 Ablation study of SSFENet. The baseline is FPN Faster RCNN with ResNet-50 and the detection results are evaluated on minival set.

Detection performance of different architectures on MS-COCO minival set. Faster RCNN and Mask RCNN both utilize FPN.