SFOD：無(wú)源域適配升級優(yōu)化，讓檢測模型更容易適應新數據

論文地址：https://openaccess.thecvf.com/content/CVPR2022/papers/Li_Source-Free_Object_Detection_by_Learning_To_Overlook_Domain_Style_CVPR_2022_paper.pdf

無(wú)源目標檢測 (SFOD) 需要將在標記的源域上預訓練的檢測器調整到目標域，只有來(lái)自目標域的未標記訓練數據。

01

技術(shù)簡(jiǎn)要

無(wú)源目標檢測 (SFOD) 需要將在標記的源域上預訓練的檢測器調整到目標域，只有來(lái)自目標域的未標記訓練數據?，F有的SFOD方法通常采用偽標簽范式，模型自適應在預測偽標簽和微調模型之間交替進(jìn)行。

由于域偏移的存在和目標域訓練數據的使用有限，這種方法的偽標簽準確性不令人滿(mǎn)意。如上圖所示。

在今天分享中，研究者提出了一種新穎的Learning to Overlook Domain Style(LODS) 方法，該方法以有原則的方式解決了這些限制。研究者的想法是通過(guò)強制模型忽略目標域樣式來(lái)減少域轉移效應，從而簡(jiǎn)化模型適應并變得更容易進(jìn)行。

為此，增強了每個(gè)目標域圖像的風(fēng)格，并利用原始圖像和增強圖像之間的風(fēng)格度差異作為模型適應的自監督信號。通過(guò)將增強圖像視為輔助視圖，利用學(xué)生教師架構來(lái)學(xué)習忽略與原始圖像的風(fēng)格程度差異，其特征還在于新穎的風(fēng)格增強算法和圖形對齊約束。大量實(shí)驗表明LODS在四個(gè)基準測試中產(chǎn)生了新的最先進(jìn)的性能。

02

背景概述

目前，關(guān)于SFOD問(wèn)題的研究不多。社區更加關(guān)注無(wú)源域適配（SFDA）。SFDA的方法大致可以分為兩類(lèi)。 

第一類(lèi)是基于樣本生成的思想：

由于源數據不可訪(fǎng)問(wèn)，傳統的域適應技術(shù)不適用。生成具有源域樣式或目標域樣式的標記圖像，或服從源分布的標記特征。成功的關(guān)鍵是滿(mǎn)意的樣本生成，這本身就具有足夠的挑戰性并且沒(méi)有很好地解決。 

另一類(lèi)利用基于自我訓練的偽標簽：

獲得可靠的標簽并不容易，尤其是在領(lǐng)域差距很大的情況下，在自訓練過(guò)程中總是只取高置信度的標簽樣本。

很明顯，目標域風(fēng)格（例如成像特征）對域相對于源域的遷移有很大貢獻。因此，最小化目標域樣式對模型行為的影響將立即有效地減少域轉移。在上述基礎上，如剛開(kāi)始的圖所示，提出了一種新的領(lǐng)域適應方法（LODS）。 

它首先增強每個(gè)目標圖像的目標域風(fēng)格，同時(shí)保持目標圖像的原始風(fēng)格。這樣就構建了基于風(fēng)格增強圖像的輔助視圖。有了這個(gè)輔助視圖，新方法讓目標檢測器學(xué)會(huì )忽略目標域樣式。學(xué)生-教師框架被用來(lái)完成這項任務(wù)。

03

新框架分析

提出的LODS方法由兩部分組成。如下圖所示，一個(gè)是style enhancement module；另一個(gè)是overlooking style module。

style enhancement module（上圖(a)）首先提取每個(gè)圖像的風(fēng)格，即通道均值和方差。對于一幅圖像，其增強的目標域風(fēng)格被計算為它本身和任何目標圖像的風(fēng)格的非線(xiàn)性組合。然后，通過(guò)替換增強樣式來(lái)增強樣式。通過(guò)將風(fēng)格增強圖像視為另一個(gè)領(lǐng)域，可以使用Mean-Teacher框架來(lái)利用風(fēng)格差異進(jìn)行模型適應（圖(b)）。目標圖像和風(fēng)格增強版本分別輸入教師和學(xué)生模型。這兩個(gè)模型基于Faster-RCNN并初始化為預訓練的源模型?；趫D匹配的類(lèi)實(shí)例級對齊和圖像級對齊旨在幫助教師和學(xué)生相互學(xué)習。偽標簽也用于增加學(xué)生模型的辨別力。

基于上述推斷，研究者設計了一個(gè)風(fēng)格增強模塊，如上圖所示。兩個(gè)網(wǎng)絡(luò )F1和F2分別設計為近似δ1和δ2。它們中的每一個(gè)都由兩個(gè)全連接層和一個(gè)ReLU層組成，具有最小的參數是非線(xiàn)性的。特征編碼器E源自預訓練的VGG-16模型，并在訓練和測試期間固定。****D是編碼器的逆。由于風(fēng)格一致性受限于底層特征，編碼器E = E2 ?E1進(jìn)一步分為E1和E2部分，其中?是函數嵌套算子。****D = D2 ? D1作為D1和D2也是如此。具體來(lái)說(shuō)，第一次下采樣后的第一個(gè)ReLU層是分割E的分割線(xiàn)。D被對稱(chēng)分割為E。

04

實(shí)驗可視化