ICCV2021何愷明團隊又一神作：Transformer仍有繼續改善的空間

一個(gè)簡(jiǎn)單、漸進(jìn)、但必須知道的基線(xiàn)：用于Vision Transformer的自監督學(xué)習。盡管標準卷積網(wǎng)絡(luò )的訓練方法已經(jīng)非常成熟且魯棒，然而ViT的訓練方案仍有待于構建，特別是自監督場(chǎng)景下的訓練極具挑戰。

1 背景

在今天分享愷明團隊新推出的自監督學(xué)習+Transformer=MoCoV3之前，我想和大家分享下最近我看到一篇目標檢測文章，最近因為一直推送目標檢測類(lèi)的，覺(jué)得這篇是個(gè)不錯的idea。

什么是開(kāi)放世界中的目標檢測呢？

A model is tasked to:

在沒(méi)有明確的監督下，能夠將沒(méi)有見(jiàn)過(guò)的目標識別為“未知”類(lèi)；

對于這些認定為“未知”的類(lèi)，當逐步獲得對應的標簽之后，能夠漸進(jìn)地學(xué)習它們，且不遺忘以前學(xué)過(guò)的那些類(lèi)別。

這個(gè)與以前提出的Open Set和Open World image classification的最大不同在于：在目標檢測器的訓練過(guò)程中，將那些未知的目標當做背景。

深度學(xué)習加快了目標檢測的研究進(jìn)展，但目前現有方法都在一個(gè)強假設下進(jìn)行：所有要被檢測的種類(lèi)都需要在訓練階段提供。當我們放寬這一假設，就會(huì )出現兩個(gè)具有挑戰性的問(wèn)題：

測試圖像可能包含未知類(lèi)的目標，這些未知目標也需要被歸類(lèi)；

當被識別為未知類(lèi)別的標簽已經(jīng)可用時(shí)，模型需要進(jìn)一步學(xué)習新的類(lèi)別。

2 檢測框架

論文：https://arxiv.org/pdf/2103.02603.pdf

代碼：https://github.com/JosephKJ/OWOD

第一行：在每個(gè)增量學(xué)習步驟中，模型識別未知對象（用“？”表示），這些對象被逐步標記（藍色圓圈）并添加到現有知識庫（綠色圓圈）中。

第二行：開(kāi)放世界目標檢測模型使用基于能量的分類(lèi)頭和未知感知RPN識別潛在的未知對象。此外，在特征空間中執行對比學(xué)習來(lái)學(xué)習判別集群，并且可以以連續的方式靈活地添加新類(lèi)而不會(huì )忘記以前的類(lèi)。

對比聚類(lèi)

在隱藏層特征空間上類(lèi)的區分性將是實(shí)現類(lèi)別分離的理想特征。采用對比性聚類(lèi)就是為了強制性的達到上圖第二行中間圖的效果，類(lèi)內差盡量小，而類(lèi)間差盡量大。每個(gè)已知類(lèi)別會(huì )維護一個(gè)向量是檢測器中間層生成的特征向量，假設已知類(lèi)別數為，則特征向量表征為，其中代表未知類(lèi)的特征向量。然后再建立一個(gè)用來(lái)存儲訓練過(guò)程中的臨時(shí)特征向量，每個(gè)類(lèi)的特征向量存在其對應位置。

最后在常規損失函數上再疊加一個(gè)對比聚類(lèi)損失來(lái)達到強制降低類(lèi)內差，增大類(lèi)間差的效果。原文中該部分的流程圖如下，其中是不疊加對比聚類(lèi)損失的輪數，用以初始化已知類(lèi)別的特征向量，表示，在迭代輪數大于后，每輪都計算對比聚類(lèi)的損失，并每輪進(jìn)行一次特征向量更新(有點(diǎn)像混合高斯背景建模了)：

基于RPN自動(dòng)標記機制

框架的核心就是利用RPN的建議框類(lèi)別無(wú)關(guān)特性，將RPN提取的置信度最高的前K個(gè)背景建議框作為位置對象的建議框位置向后傳遞。

基于能量的分類(lèi)頭

首先是基于前面提到的對比聚類(lèi)將不同類(lèi)別的特征表征盡量的拉開(kāi)了，研究者選擇對不同類(lèi)別的概率密度函數進(jìn)行建模，作為不同類(lèi)別的區分，作者用圖進(jìn)行了說(shuō)明。

如上所示，已知和未知數據點(diǎn)的能量值表現出明顯的分離。研究者在每個(gè)樣本上擬合Weibull分布，并使用這些分布來(lái)識別未知的已知和未知樣本。

Alleviating Forgetting

在識別未知數之后，開(kāi)放世界檢測器的一個(gè)重要要求是能夠學(xué)習新的類(lèi)，當提供一些感興趣的未知類(lèi)的標記示例時(shí)。重要的是，在此階段將不存在先前任務(wù)的訓練數據，因為從頭開(kāi)始重新訓練不是可行的解決方案。

僅使用新類(lèi)實(shí)例進(jìn)行訓練將導致災難性地遺忘之前的類(lèi)。研究者注意到已經(jīng)開(kāi)發(fā)了許多涉及的方法來(lái)減輕這種遺忘，包括基于參數正則化的方法，示例重放（exemplar replay），動(dòng)態(tài)擴展網(wǎng)絡(luò )（dynamically expanding networks）和元學(xué)習。

3 檢測效果分析

僅在任務(wù) 1 上訓練的ORE在上圖(a)中成功地將風(fēng)箏定位為未知對象，而在任務(wù)3中了解風(fēng)箏后，它逐漸學(xué)習檢測上圖(b)中的風(fēng)箏和飛機。

在任務(wù)1上訓練后來(lái)自ORE的預測?！按笙蟆?、“蘋(píng)果”、“香蕉”、“斑馬”和“長(cháng)頸鹿”尚未引入模型，因此成功歸類(lèi)為“未知”。該方法將其中一只“長(cháng)頸鹿”錯誤分類(lèi)為“馬”，顯示了ORE的局限性。

有關(guān)對比聚類(lèi)的更多詳細信息

使用對比聚類(lèi)來(lái)確保潛在空間分離的動(dòng)機有兩個(gè)：1）它使模型能夠將未知實(shí)例與已知實(shí)例分開(kāi)，從而促進(jìn)未知識別；2）它確保每個(gè)類(lèi)的實(shí)例與其他類(lèi)很好地分離，緩解遺忘問(wèn)題。

對比損失被添加到Faster R-CNN 損失中，整個(gè)網(wǎng)絡(luò )被端到端的訓練。因此，在 Faster R-CNN管道中RoI Head中的殘差塊之前和包括網(wǎng)絡(luò )的所有部分都將使用來(lái)自對比聚類(lèi)損失的梯度進(jìn)行更新。

在學(xué)習任務(wù)1后，桌子頂部筆記本電腦旁邊的幾個(gè)項目被識別為未知。筆記本電腦、書(shū)和鼠標作為任務(wù)4的一部分被引入。external-storage和walkman（兩者都沒(méi)有介紹過(guò)）最初被識別為未知，但學(xué)習任務(wù)4后沒(méi)有被檢測到，是ORE的失敗案例之一。

最終在任務(wù)2中學(xué)習到被識別為未知的手提箱，以及對椅子的誤報檢測。

上圖(a)是ORE學(xué)習Task 2后產(chǎn)生的結果。由于沒(méi)有引入Task 3類(lèi)，如apple和Orange，ORE識別出來(lái)并正確標注為unknown。在學(xué)習Task 3之后，這些實(shí)例在上圖(b)中被正確標記。一個(gè)未識別的類(lèi)實(shí)例仍然存在，ORE成功地將其檢測為未知。

下期我們來(lái)好好說(shuō)說(shuō)何凱明他們團隊又做出來(lái)重大貢獻的思路，有興趣的你請持續關(guān)注，謝謝！