多尺度深度特征（上）：多尺度特征學(xué)習才是目標檢測精髓

深度特征學(xué)習方案將重點(diǎn)從具有細節的具體特征轉移到具有語(yǔ)義信息的抽象特征。它通過(guò)構建多尺度深度特征學(xué)習網(wǎng)絡(luò ) (MDFN) 不僅考慮單個(gè)對象和局部上下文，還考慮它們之間的關(guān)系。

1 前言

目前深度學(xué)習用于目標檢測已經(jīng)習以為常。從SSD到Yolo系列，其中：

深層網(wǎng)絡(luò )的感受野比較大，語(yǔ)義信息表征能力強，但是特征圖的分辨率低，幾何信息的表征能力弱（空間幾何特征細節缺乏）；

低層網(wǎng)絡(luò )的感受野比較小，幾何細節信息表征能力強，雖然分辨率高，但是語(yǔ)義信息表征能力弱。

高層的語(yǔ)義信息能夠幫助我們準確的檢測出目標。

SSD框架

ASPP網(wǎng)絡(luò )

Cascaded

下采樣倍數?。ㄒ话闶菧\層）的特征感受野小，適合處理小目標，小尺度特征圖（深層）分辨率信息不足不適合小目標。在yolov3中對多尺度檢測的理解是，1/32大小的特征圖（深層）下采樣倍數高，所以具有大的感受野，適合檢測大目標的物體，1/8的特征圖（較淺層）具有較小的感受野，所以適合檢測小目標。FPN中的處理在下面。對于小目標，小尺度f(wàn)eature map無(wú)法提供必要的分辨率信息，所以還需結合大尺度的feature map。還有個(gè)原因是在深層圖做下采樣損失過(guò)多信息，小目標信息或許已經(jīng)被忽略。

2 背 景

Feature Extraction

作為許多視覺(jué)和多媒體處理任務(wù)的基礎步驟，特征提取和表示得到了廣泛的研究，特別是在網(wǎng)絡(luò )結構層面，這在深度學(xué)習領(lǐng)域引起了很多關(guān)注。更深或更廣的網(wǎng)絡(luò )放大了體系結構之間的差異，并在許多計算機視覺(jué)應用中充分發(fā)揮了提高特征提取能力的作用。skip-connection技術(shù)通過(guò)在網(wǎng)絡(luò )的不同層級之間傳播信息，縮短它們的連接，在一定程度上解決了梯度消失的問(wèn)題，這激發(fā)了構建更深網(wǎng)絡(luò )的熱點(diǎn)研究，并獲得了性能的提升。從5層的LeNet5到16層的VGGNet，再到1000層以上的ResNet，網(wǎng)絡(luò )的深度急劇增加。ResNet-101顯示了其在特征提取和表示方面的優(yōu)勢，尤其是在用作對象檢測任務(wù)的基礎網(wǎng)絡(luò )時(shí)。許多研究人員試圖用ResNet-101替換基礎網(wǎng)絡(luò )。 

SSD在PASCAL VOC2007上使用Residual-101取得了更好的性能。RRC采用ResNet作為其預訓練的基礎網(wǎng)絡(luò )，并通過(guò)提出的循環(huán)滾動(dòng)卷積架構產(chǎn)生了具有競爭力的檢測精度。然而，SSD通過(guò)將VGG-16替換為Residual-101，對于mAP僅獲得1%的提升，而其檢測速度從19 FPS下降到6.6 FPS，幾乎下降了3倍。VGG網(wǎng)絡(luò )在ImageNet Large Scale Visual Recognition Challenge(ILSVRC) 2014中獲得第二名。它淺薄，只有16層，是另一個(gè)廣泛使用的基礎網(wǎng)絡(luò )。它的優(yōu)勢在于提供了精度和運行速度之間的權衡。SSD通過(guò)將VGG-16作為特征提取器與端到端網(wǎng)絡(luò )結構中提出的多目標檢測器相結合，實(shí)現了最佳的總體性能。

如上圖所示，深度特征圖上的多尺度感受野將激活對象的語(yǔ)義和上下文信息。紅色、黃色、藍色和綠色分量代表四種尺寸的過(guò)濾器，分別對應不同的對象表達。例如，紅色的往往只對中間的紅色車(chē)輛敏感，而黃色和藍色的也可能覆蓋周?chē)男⌒推?chē)，這是由于不同目標汽車(chē)之間相關(guān)性的語(yǔ)義表達。綠色的激活范圍最大，它不僅可以檢測所有車(chē)輛，還可以通過(guò)利用對象與其背景之間關(guān)系的語(yǔ)義描述來(lái)檢測道路。這個(gè)提取各種語(yǔ)義信息的過(guò)程可以在深層實(shí)現，其中感受野能夠覆蓋更大的場(chǎng)景和深層產(chǎn)生的特征圖，已經(jīng)擁有語(yǔ)義表達的抽象能力。

我們發(fā)現大多數可用的經(jīng)典網(wǎng)絡(luò )都是強大的足夠的特征提取，并能夠提供必要的細節特征。受這些觀(guān)察的啟發(fā)，研究者采用遷移學(xué)習模型，并在靠近網(wǎng)絡(luò )頂部的深層設計了一個(gè)高效的多尺度特征提取單元。提取的深層特征信息直接饋送到預測層。

研究者提出了四個(gè)inception模塊，并在四個(gè)連續的深層中incept它們，用于提取上下文信息。這些模塊顯著(zhù)擴展了各種特征表達的能力，由此實(shí)現了基于深度特征學(xué)習的多尺度目標檢測器。

Attention to Deep Features

基于隨機深度的ResNet通過(guò)隨機dropping 層來(lái)改進(jìn)深度CNN的訓練，這凸顯了傳播過(guò)程中存在大量冗余。 有研究者實(shí)驗證明，ResNet-101中的大多數梯度僅來(lái)自10到34層的深度。另一方面，基于小物體檢測依賴(lài)于較早層產(chǎn)生的細節信息的論點(diǎn)，許多方法從不同的淺層中提取多尺度信息。雖然實(shí)驗表明語(yǔ)義特征和目標的上下文也有助于小目標檢測以及遮擋檢測。DSSD采用反卷積層和skip connections來(lái)注入額外的上下文，從而在學(xué)習候選區域和池化特征之前增加特征圖分辨率。Mask R-CNN添加了從目標的更精細空間布局中提取的掩碼輸出。它由深度卷積產(chǎn)生的小特征圖提供的像素到像素對應關(guān)系解決。

3 新框架

假設：

這些特征圖應該能夠提供更加精確的細節特征，尤其是對于剛開(kāi)始的淺層較；

轉換特征圖的功能應擴展到足夠深的層，以便可以將目標的高級抽象語(yǔ)義信息構建到特征圖中；

特征圖應包含適當的上下文信息，以便可以準確推斷出被遮擋的目標，小目標，模糊或重疊的目標并對其進(jìn)行穩健的定位。

因此，淺層和深層的特征對于目標識別和定位起著(zhù)必不可少的作用。為了有效地利用檢測到的特征信息，應考慮另一約束條件，以防止特征被改變或覆蓋。

今天內容暫時(shí)到這里，下一期我們將帶領(lǐng)大家一起對新框架詳細分析！

下面我通過(guò)一小段視頻展示下多尺度深度特征學(xué)習的效果，主要基于單分支的YoloV3-Tiny網(wǎng)絡(luò )，效果如下：

小型的籃球被檢測到

科比投出的籃球被檢測到

觀(guān)眾席的觀(guān)眾的領(lǐng)帶被檢測到

簡(jiǎn)單訓練后，不同尺寸都是可以檢測到，部分錯檢是因為沒(méi)有該類(lèi)型數據，被錯檢為相似目標