CVPR 2021 | 無(wú)需密集人工標簽，用于下游密集預測任務(wù)的自監督學(xué)習方法出爐

來(lái)自阿德萊德大學(xué)、同濟大學(xué)、字節跳動(dòng)的研究者設計了一種簡(jiǎn)單且有效的密集自監督學(xué)習方法，大幅縮小了自監督預訓練與密集預測任務(wù)之間的鴻溝。

預訓練已被證實(shí)能夠大大提升下游任務(wù)的性能。傳統方法中經(jīng)常利用大規模的帶圖像標注分類(lèi)數據集（如 ImageNet）進(jìn)行模型監督預訓練，近年來(lái)自監督學(xué)習方法的出現，讓預訓練任務(wù)不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類(lèi)進(jìn)行設計和優(yōu)化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務(wù)上的性能可能不是最佳的。

基于此，來(lái)自阿德萊德大學(xué)、同濟大學(xué)、字節跳動(dòng)的研究者設計了一種簡(jiǎn)單且有效的密集自監督學(xué)習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務(wù)上實(shí)現出色的性能。目前該論文已被 CVPR 2021 接收。

論文地址：https://arxiv.org/pdf/2011.09157

代碼地址：https://github.com/WXinlong/DenseCL

方法

該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過(guò)考慮局部特征之間的對應關(guān)系，直接在輸入圖像的兩個(gè)視圖之間的像素（或區域）特征上優(yōu)化成對的對比（不相似）損失來(lái)實(shí)現密集自監督學(xué)習。

兩種用于表征學(xué)習的對比學(xué)習范式的概念描述圖。

現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實(shí)現全局對比學(xué)習，這往往會(huì )忽略局部特征的聯(lián)系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個(gè)像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實(shí)現密集對比學(xué)習。

具體而言，該方法去掉了已有的自監督學(xué)習框架中的全局池化層，并將其全局映射層替換為密集映射層實(shí)現。在匹配策略的選擇上，研究者發(fā)現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開(kāi)銷(xiāo)（僅慢了不到 1%），但在遷移至下游密集任務(wù)（如目標檢測、語(yǔ)義分割）時(shí)，表現出了十分優(yōu)異的性能。DenseCL 的總體損失函數如下：

模型性能

該研究進(jìn)行消融實(shí)驗評估了匹配策略對下游任務(wù)的性能影響，結果如下表所示。

另一組消融實(shí)驗評估了預訓練區域數量對下游任務(wù)的性能影響，結果如下表所示。

下圖展示了該方法遷移至下游密集任務(wù)的性能增益：

隨著(zhù)訓練時(shí)間的延長(cháng)，該研究進(jìn)一步提供了與基線(xiàn)的直觀(guān)比較，表明 DenseCL 始終比 MoCo-v2 的性能高出至少 2％：

DenseCL 與 MoCo-v2 的預訓練時(shí)間消耗對比如下：

下圖對高相似度匹配進(jìn)行了可視化，旨在描述局部語(yǔ)義特征間的對應關(guān)系：

如下圖所示，帶有隨機初始化的大多數匹配都是不正確的，從圖中可以看出隨著(zhù)訓練時(shí)間的變化，對應關(guān)系發(fā)生了改變。

[1] Improved baselines with momentum contrastive learning. Chen, Xinlei and Fan, Haoqi and Girshick, Ross and He, Kaiming