目標檢測創(chuàng )新：一種基于區域的半監督方法，部分標簽即可

研究表明，當訓練數據缺少注釋（即注釋稀疏的數據）時(shí)，目標檢測器的性能會(huì )顯著(zhù)下降。

一、前言

研究表明，當訓練數據缺少注釋?zhuān)醋⑨屜∈璧臄祿r(shí)，目標檢測器的性能會(huì )顯著(zhù)下降?，F在的方法側重于以偽標簽的形式或通過(guò)在訓練期間重新加權未標記框的梯度來(lái)解決缺失真實(shí)標注的問(wèn)題。

在這項工作中，研究者重新審視了稀疏注釋目標檢測的公式。研究者觀(guān)察到稀疏注釋的目標檢測可以被認為是區域級別的半監督目標檢測問(wèn)題?；谶@一見(jiàn)解，研究者們提出了一種基于區域的半監督算法，該算法可以自動(dòng)識別包含未標記前景對象的區域。然后，提出的算法以不同方式處理標記和未標記的前景區域，這是半監督方法中的常見(jiàn)做法。為了評估所提出方法的有效性，對PASCAL-VOC和COCO數據集上稀疏注釋方法常用的五個(gè)分割進(jìn)行了詳盡的實(shí)驗，并實(shí)現了最先進(jìn)的性能。除此之外，還表明新提出的方法在標準半監督設置上實(shí)現了競爭性能，證明了新方法的強度和廣泛適用性。

二、背景

傳統的目標檢測方法假設訓練數據集被詳盡地標記。這種檢測器的性能對標記數據的質(zhì)量很敏感。用于訓練目標檢測器的數據中的噪聲可能是由于噪聲類(lèi)標簽或不正確/丟失的邊界框而產(chǎn)生的。在這項工作中，研究者處理了缺少類(lèi)標簽和邊界框注釋的更難的問(wèn)題，即稀疏注釋的存在。稀疏注釋目標檢測（SAOD）是在訓練數據中存在缺失注釋的情況下提高目標檢測魯棒性的問(wèn)題。這個(gè)問(wèn)題在當前至關(guān)重要，因為獲取眾多數據集可能既昂貴又費力。另一種方法是使用計算機輔助協(xié)議來(lái)收集注釋。然而，這些方法受到嘈雜/缺失標簽的影響。因此，必須調整當前的目標檢測器來(lái)解決稀疏注釋的問(wèn)題。

問(wèn)題的癥結在于訓練期間分配標簽的方式。稀疏注釋減少了真正的正樣本并將假負樣本引入訓練，從而降低了網(wǎng)絡(luò )性能。雖然這過(guò)于簡(jiǎn)單化了，但它可以更好地了解正在處理的問(wèn)題。研究者建立在一個(gè)簡(jiǎn)單的觀(guān)察之上，即SAOD是區域級別的半監督目標檢測(SSOD)。然而，未標記的數據，在我們的例子中是包含前景對象的區域，是先驗未知的，必須被識別。因此，SSOD方法不能直接應用于SAOD，因為當前的方法假設一個(gè)已知的未標記集以及一個(gè)詳盡標記的訓練集。同樣，最近提出的SAOD方法在訓練期間丟棄所有沒(méi)有單個(gè)注釋的圖像，并且不能像SSOD方法那樣真正利用未標記數據的力量。分別在上圖的第1行和第2行中說(shuō)明了SSOD和SAOD。

假設稀疏注釋的目標檢測方法應該是一個(gè)很好的半監督學(xué)習器，因為SSOD中的未標記圖像可以被視為SAOD的缺失注釋。我們在上圖的第3行展示了這個(gè)公式。

三、新框架分析

所提出的方法如下圖所示，由一個(gè)標準的骨干網(wǎng)絡(luò )組成，該網(wǎng)絡(luò )從圖像的原始視圖和增強視圖中提取特征。

一個(gè)通用的RPN將骨干網(wǎng)絡(luò )提取的特征連接起來(lái)，生成一組通用的候選區域。候選區域b可以屬于三個(gè)組之一，即：

• 標記區域b∈ Bl

• 未標記區域b∈Bul

• 背景區域b∈ Bbg

對于給定的一組真實(shí)標注，可以自動(dòng)識別第一組，即標記區域。然后問(wèn)題就變成了從背景區域中識別和分離第二組，即未標記區域。給定所有候選區域，pseudo-positive mining(PPM)步驟識別未標記區域并將它們與背景區域分離。受半監督方法的啟發(fā)，標記和未標記區域分別受到監督和非監督損失的監督。我們在下面詳細描述每個(gè)階段。

Feature Extraction

給定圖像I，計算表示為A(I)的I的增強版本。在這項工作中，我們使用隨機對比度、亮度、飽和度、光照和邊界框以級聯(lián)方式擦除以生成A(I)。 一個(gè)檢測器骨干網(wǎng)絡(luò )用于分別從I和A(I)中提取兩個(gè)特征fo和fa。

Common RPN (C-RPN)

傳統的兩階段目標檢測器使用區域提議網(wǎng)絡(luò )（RPN）來(lái)生成感興趣區域（ROI）。fo和fa這兩個(gè)特征使用RPN生成兩組不同的ROI。對兩組ROI進(jìn)行操作增加了識別標記區域、未標記區域和背景區域的難度，同時(shí)增加了處理時(shí)間。此外，對于關(guān)聯(lián)，必須執行匹配算法，如基于IoU)分數的Kuhn-Munkres算法，以獲得輸入圖像的一組通用標記、未標記和背景框。由于不完美的匹配，此過(guò)程可能會(huì )很嘈雜。為了避免這種情況，提出了一種連接fo和fa以獲得ROI的C-RPN。

Pseudo Positive Mining

給定來(lái)自C-RPN的ROI，下一步是從標記區域和背景區域中識別未標記區域?；谖覀兊挠^(guān)察，即使在使用稀疏注釋進(jìn)行訓練時(shí)，RPN也可以可靠地區分前景和背景區域，我們廣泛依賴(lài)RPN的分數來(lái)識別未標記區域。

首先，根據可用的Ground Truth，所有分配為正的ROI都從C-RPN的輸出中刪除。接下來(lái)，所有具有大于閾值（本工作中為0.5和IoU小于閾值（本工作中為0.2）且具有任何GT的ROI都被視為未標記區域。剩余的ROI分配給負樣本。我們稍后會(huì )證明這個(gè)簡(jiǎn)單的步驟可以提高RPN的召回率。請注意，由于閾值不同，一些未標記的區域可能會(huì )被錯誤地分配給負樣本。這些地區將在后續階段得到照顧。

Losses

在pseudo positive mining步驟之后，來(lái)自C-RPN的ROI被分為標記、未標記和背景區域。首先，ROI池化層從特征fo中提取標記區域和背景區域的區域特征，然后將其饋送到檢測頭。檢測頭預測每個(gè)區域的類(lèi)別概率和邊界框。稀疏GT用于監督這些預測，方法是將交叉熵損失應用于標記和背景區域的分類(lèi)，以及平滑L1用于標記區域的邊界框回歸：

最后，對未標記區域執行與類(lèi)別無(wú)關(guān)的NMS，以刪除導致Nu唯一區域的重復項。Nu未標記區域與fo和fa一起通過(guò)ROI池化層和檢測頭，分別獲得fdo和fda。應用了如下所示的一致性正則化損失，它強制原始區域和增強區域的特征彼此一致。

四、實(shí)驗

Sparsely annotated object detection在COCO的結果

Sparsely annotated object detection在VOC結果

Qualitative results showing the unlabeled regions identified by the pseudo-positive mining step. The red boxes correspond to the available ground truth. A class agnostic NMS was performed on the regions and the result is shown in white.

將使用可用的GT（頂部）訓練的“普通”模型的輸出與使用新提出的方法訓練的模型（底部）進(jìn)行比較的定性結果。顯示類(lèi)別置信度分數大于0.9的預測。紅色：人，青色：狗，紫色：馬，黃色：時(shí)鐘，綠色：停車(chē)標志，藍色：停車(chē)計時(shí)器，紫色：長(cháng)頸鹿，橙色：盆栽，黑色：沖浪板，深綠色：船。