LCCL網(wǎng)絡(luò )：相互指導博弈來(lái)提升目標檢測精度

論文地址：https://openaccess.thecvf.com/content/ACCV2020/papers/Zhang_Localize_to_Classify_and_Classify_to_Localize_Mutual_Guidance_in_ACCV_2020_paper.pdf

源代碼地址：https://github.com/ZHANGHeng19931123/MutualGuide

目標檢測一般包括分類(lèi)和回歸兩個(gè)子任務(wù)。在模型訓練的過(guò)程中，我們依據回歸任務(wù)的預測結果動(dòng)態(tài)分配分類(lèi)任務(wù)的標簽，同時(shí)利用分類(lèi)任務(wù)的預測結果來(lái)分配回歸任務(wù)的標簽，以此達到相互指導、左右互搏的效果。

一、背景

有監督的目標檢測是計算機視覺(jué)中的一項流行任務(wù)，旨在通過(guò)邊界框定位目標并將它們中的每一個(gè)分配給預定義的類(lèi)?；谏疃葘W(xué)習的方法在很大程度上主導了這個(gè)研究領(lǐng)域，最近的方法都是基于A(yíng)nchor機制的。Anchors是在整個(gè)圖像上均勻堆疊的不同大小和縱橫比的預定義參考框。它們通過(guò)將目標檢測問(wèn)題轉換為基于A(yíng)nchor的邊界框回歸和分類(lèi)問(wèn)題，幫助網(wǎng)絡(luò )處理目標尺寸和形狀變化。大多數最先進(jìn)的基于A(yíng)nchor的目標檢測器采用預定義的Anchor boxes和GT框（以下稱(chēng)為 IoU-anchor）之間的交集（IoU）來(lái)將樣本Anchor分配給目標（正樣本Anchor）或背景（負樣本Anchor）類(lèi)別。然后使用這些分配的Anchors來(lái)最小化訓練期間的邊界框回歸和分類(lèi)損失。

Anchor A和Anchor B與框GT具有相同的IoU，但具有不同的視覺(jué)語(yǔ)義信息。每個(gè)圖像中的真實(shí)情況標記為虛線(xiàn)框。

基于深度學(xué)習的目標檢測涉及兩個(gè)子任務(wù)：實(shí)例定位和分類(lèi)。這兩個(gè)任務(wù)的預測分別告訴我們圖像上的“位置”和“什么”目標。在訓練階段，兩個(gè)任務(wù)都通過(guò)梯度下降聯(lián)合優(yōu)化，但是靜態(tài)Anchor匹配策略并沒(méi)有明確受益于兩個(gè)任務(wù)的聯(lián)合解決方案，這可能會(huì )導致任務(wù)錯位問(wèn)題，即在評估階段 ，該模型可能會(huì )生成具有正確分類(lèi)但不精確定位的邊界框的預測，以及具有精確定位但錯誤分類(lèi)的預測。這兩種預測都顯著(zhù)降低了整體檢測質(zhì)量。

二、前言

為了解決現有基于IoU-anchor策略的這兩個(gè)局限性，研究者提出了一種新的自適應Anchor匹配準則，由定位和分類(lèi)任務(wù)相互指導，動(dòng)態(tài)分配訓練Anchor樣本為優(yōu)化分類(lèi)，反之亦然。特別是，將定位良好的Anchor限制為也很好分類(lèi)（定位到分類(lèi)），以及那些分類(lèi)良好的Anchor也很好定位（分類(lèi)到定位）。這些策略導致內容/上下文敏感的Anchor匹配并避免任務(wù)錯位問(wèn)題。盡管所提出的策略很簡(jiǎn)單，但在PASCAL VOC和MS COCO數據集上，尤其是在嚴格的指標（如AP75）上，Mutual Guidance與具有不同深度學(xué)習架構的傳統靜態(tài)策略相比，帶來(lái)了一致的平均精度 (AP) 增益。

新提出的方法有望在需要精確實(shí)例定位的應用程序上更有效，例如自動(dòng)駕駛、機器人、戶(hù)外視頻監控等。

三、新框架

傳統的Anchor通常是預先定義了一組Anchor的aspect ratio，在實(shí)際的滑窗訓練過(guò)程中先用二分類(lèi)模型判斷這些Anchor的框內有沒(méi)有物體，并根據設定的閾值將sample標注為positive或者negative或者ignored，然后進(jìn)行bonding box回歸進(jìn)行refine，最后做多分類(lèi)再回歸調整位置。

這里作者將預定義的Anchor和GT的IoU叫做IoU-anchor，IoU-anchor大于50%的作為positive，小于40%作為negative，其他作為ignored samples。如果沒(méi)有Anchor的大于50%，那就選最大的IoU的那個(gè)作為positive。如下圖所示：

定位到分類(lèi)（Localize to Classify）

動(dòng)態(tài)設置述分類(lèi)方法中正負樣本的閾值。因為隨著(zhù)訓練進(jìn)行，正樣本變多（因為二分類(lèi)模型能力逐漸增強，但是閾值沒(méi)變），作者認為這樣會(huì )導致訓練不穩定。

于是作者將擬將分類(lèi)模型的分類(lèi)能力納入閾值設置考量范圍以動(dòng)態(tài)設置閾值：在根據IoU-regressed標注確定正負樣本的時(shí)候不再直接采用固定閾值，而是根據IoU-anchor中的正樣本數量n來(lái)選取IoU-regressed的前n個(gè)樣本標注為positive，其他negative和ignored同理。

這種策略能夠隨著(zhù)定位能力提高而提高，同時(shí)也保持了訓練過(guò)程中正負樣本分配的一致性！

分類(lèi)到定位（Classify to localize）

在分類(lèi)早期，模型處于初始狀態(tài)，大多數分類(lèi)的結果都接近于0，存在類(lèi)似于推薦系統的冷啟動(dòng)問(wèn)題同時(shí)也可能使得訓練不穩定，所以研究者定義了一個(gè)Classify to localize的策略來(lái)避免這種問(wèn)題。

首先作者定義了一個(gè)IoU-amplified用于替換傳統的IoU-regressed，其表達式如下:

其中σ是超參用于調整的增強系數，p是分類(lèi)得分。此外，這一部分也采用了類(lèi)似于前面定位到分類(lèi)部分動(dòng)態(tài)閾值設置的策略來(lái)設置這里的正樣本閾值。

顯然開(kāi)始時(shí)與GT的iou較大的anchor box置信度一般更高，被選中的概率也更高；當iou相同時(shí)，置信度p較高的anchor得到的IOUamplified也更大。上圖的第四列是直接預測的置信度，第五列是amplified之后的score?？梢园l(fā)現amplified后的結果與iou和p都有關(guān)。

IoU-amplifed總是高于IoU-anchor，并且amplification與預測的Classif分數成正比。特別是σ越小amplification越強（注意σ要大于1），σ變大時(shí)就消失。

通過(guò)這種交互作用，訓練過(guò)程能夠讓回歸好分類(lèi)差的Anchor盡可能地提升分類(lèi)精度，同樣讓分類(lèi)好但回歸差的Anchor盡可能地提升回歸精度，從而一定程度解決 task-misalignment問(wèn)題。

四、實(shí)驗及可視化

訓練階段標簽分配差異的可視化（圖像大小設置為320×320像素）。紅色、黃色和綠色Anchor框分別是由基于IoU-anchor、Localize to Classify和Classify to Localize分配的正樣本Anchor。