開(kāi)集識別: A Good Closed-Set Classifier is All You Need

來(lái)源丨 GiantPandaCV
1. 論文信息

標題：Open-Set Recognition: a Good Closed-Set Classifier is All You Need?

作者：Sagar Vaze, Kai Han, Andrea Vedaldi, Andrew Zisserman

原文鏈接：https://arxiv.org/abs/2110.06207v2

代碼鏈接：https://www.robots.ox.ac.uk/~vgg/research/osr/

2. 介紹

參考一篇綜述，首先介紹兩個(gè)概念：

• Close Set Recognition，閉集識別：指 訓練集中的類(lèi)別和測試集中的類(lèi)別是一致的，例如最常用最經(jīng)典的ImageNet-1k。所有在測試集中的圖像的類(lèi)別都在訓練集中出現過(guò)，沒(méi)有未知種類(lèi)的圖像。從AlexNet到VGG，再到ResNet，以及最近大火的Visual Transformer，都能夠比較好的處理這一類(lèi)別的任務(wù)。
• Open Set Recognition，開(kāi)集識別：指對一個(gè)在訓練集上訓練好的模型，當利用一個(gè)測試集（該測試集的中包含訓練集中沒(méi)有的類(lèi)別）進(jìn)行測試時(shí)，如果輸入已知類(lèi)別數據，輸出具體的類(lèi)別，如果輸入的是未知類(lèi)別的數據，則進(jìn)行合適的處理（識別為unknown或者out-of-distribution）。例如在利用一個(gè)數據集訓練好了一個(gè)模型可以對狗和人進(jìn)行分類(lèi)，而輸入一張狗的圖像，由于softmax這種方式的設定，模型可能會(huì )告訴你80%的概率為人，但顯然這是不合理的，限制了模型泛化性能提升。而我們想要的結果，是當輸入不為貓和人的圖像（比如狗）時(shí)，模型輸出為未知類(lèi)別，輸入人或貓圖像，模型輸出對應具體的類(lèi)別。

由于現實(shí)場(chǎng)景中更多的是開(kāi)放和非靜態(tài)的環(huán)境，所以在模型部署中，經(jīng)常會(huì )出現一些沒(méi)有見(jiàn)過(guò)的情況，所以這種考慮開(kāi)集檢測的因素，對模型的部署十分有必要。那么模型在Close set和在Open set的表現是否存在一定的相關(guān)性呢？下面我們來(lái)了解一份ICLR 2021的工作來(lái)嘗試理解和探索兩者之間的關(guān)系。

在本文中，作者重新評估一些open set識別的方法，通過(guò)探索是否訓練良好的閉集的分類(lèi)器通過(guò)分析baseline的數據集，可以像最近的算法一樣執行。要做到這一點(diǎn),我們首先研究了分類(lèi)器的閉集和開(kāi)集性能之間的關(guān)系。

雖然人們可能期望更強的close set分類(lèi)器過(guò)度擬合到train set出現的類(lèi)別，因此在OSR中表現較差。其實(shí)最簡(jiǎn)單的方法也非常直觀(guān)，就是‘maximum softmax probability (MSP) baseline，即經(jīng)過(guò)softmax輸出的最大的概率值。而該論文展示了在close set和open set上開(kāi)放集的表現是高度相關(guān)的，這一點(diǎn)是非常關(guān)鍵的。而且展這種趨勢在不同的數據集、目標以及模型架構中都是成立的。并在ImageNet-1k這個(gè)量級上的數據集進(jìn)行評估，更能說(shuō)明該方法的有效性。

但僅僅觀(guān)察到這種現象，這種contribution雖然有意義，但可能也不足以支撐一篇頂會(huì )oral，所以自然要基于這一現象展開(kāi)一些方法上的設計，來(lái)提升開(kāi)集檢測的表現。根據這一觀(guān)察，論文提出一種通過(guò)改善close set性能的方式來(lái)進(jìn)一步提升open set上的表現。

具體來(lái)說(shuō)，我們引入了更多的增強、更好的學(xué)習率調度和標簽平滑等策略，這些策略顯著(zhù)提高了MSP基線(xiàn)的close set和open set性能。我們還建議使用maximum logit score(MLS)，而不是MSP來(lái)作為開(kāi)放集指標。通過(guò)這些調整，可以在不改變模型結構的情況下，非常有效的提升模型open set狀態(tài)下的識別性能。

3. 方法

首先就是一張非常直觀(guān)的圖，在不用的數據集上，對OSR和CSR兩個(gè)任務(wù)的表現進(jìn)行比較。論文首先利用標準基準數據集上，選取三種有代表性的開(kāi)放集識別方法，包括MSP，ARPL以及ARPL+CS。然后利用一個(gè)類(lèi)似于VGG形態(tài)的的輕量級模型，在不同的分類(lèi)數據集上進(jìn)行檢測?？梢钥吹絆SR和CSR兩個(gè)任務(wù)的表現是呈現出高度的正相關(guān)的。

對于理論上的證明，論文選取了模型校準的角度來(lái)解讀。直觀(guān)地說(shuō)，模型校準的目的是量化模型是否具有感知對象類(lèi)別的能力，即是否可以把低置信度的預測與高錯誤率相關(guān)聯(lián)。也就是說(shuō)如果給了很低的置信度，而錯誤率又是很高的，那么就可以定義為模型沒(méi)有被很好地校準。反之，則說(shuō)明模型被很好地校準了。

到目前為止，論文已經(jīng)證明了在單一、輕量級架構和小規模數據集上封閉集和開(kāi)放集性能之間的相關(guān)性——盡管我們強調它們是OSR文獻中現有的標準基準。如上圖，論文又在在大規模數據集(ImageNet-1k)上試驗了一系列架構。和在CIFAR-10等小數據集一致，該數據集也存在上述的現象。

至于，獲得更好的open set recognition上的表現，也就非常直接了。就是通過(guò)各種優(yōu)化方式、訓練策略的設計，讓模型可以能夠在close set上具有更好的性能。完整的細節和用于提高封閉集性能的方法的表格明細可以在論文，以及附錄中更好地了解。

論文還提出一種新的評估close set性能的方式。以前的工作指出，開(kāi)放集的例子往往比封閉集的例子具有更低的norm。因此，我們建議在開(kāi)放集評分規則中使用最大對數，而不是softmax概率。Logits是深度分類(lèi)器中最后一個(gè)線(xiàn)性層的原始輸出，而softmax操作涉及到一個(gè)歸一化，從而使輸出可以被解釋為一個(gè)概率向量的和為1。由于softmax操作將logits中存在的大部分特征幅度信息歸一化，作者發(fā)現logits能帶來(lái)更好的開(kāi)放集檢測結果。

這種新的方式，改善了在所有數據集上的性能，并大大縮小了與最先進(jìn)方法的差距，各數據集的AUROC平均絕對值增加了13.9%。如果以報告的baseline和當前最先進(jìn)的方法之間的差異比例來(lái)計算，這意味著(zhù)平均差異減少了87.2%。MLS方法還在TinyImageNet上取得了新的領(lǐng)先優(yōu)勢，比OpenHybrid高出3.3%。

另外，作者指出，目前的標準OSRbaseline評價(jià)方式有兩個(gè)缺點(diǎn)：

• 它們都只涉及小規模的數據集；

• 它們缺乏對構成 "語(yǔ)義類(lèi) "的明確定義。

后者對于將開(kāi)放集領(lǐng)域與其他研究問(wèn)題，如out-of-distribution以及outlier的檢測，進(jìn)行區分非常重要。OSR旨在識別測試圖像是否與訓練類(lèi)有語(yǔ)義上的不同，而不是諸如模型對其預測不確定或是否出現了低層次的distribution shift。所以作者基于這兩個(gè)缺點(diǎn)，提出來(lái)了新的baseline用于評估open set的性能。具體關(guān)于數據集的細節，可以參考原文

4. 結論

在這篇文章中，作者給出了模型的閉集準確率與開(kāi)集識別能力正相關(guān)的觀(guān)點(diǎn)，同時(shí)通過(guò)實(shí)驗驗證了加強模型的閉集性能能夠幫助我們獲得更強的開(kāi)集能力。對于 Open-Set Recognition 具有啟發(fā)意義。