SPARSE DETR：具有可學(xué)習稀疏性的高效端到端目標檢測（源代碼下載）

DETR是第一個(gè)使用transformer編碼器-****架構的端到端對象檢測器，在高分辨率特征圖上展示了具有競爭力的性能但計算效率低。

01 前言

DETR是第一個(gè)使用transformer編碼器-****架構的端到端對象檢測器，在高分辨率特征圖上展示了具有競爭力的性能但計算效率低。隨后的工作Deformable DETR通過(guò)將密集注意力替換為可變形注意力來(lái)提高DETR的效率，從而實(shí)現了10倍的收斂速度和性能提升。

DETR

Deformable DETR使用多尺度特征來(lái)改善性能，然而，與DETR相比，encoder token的數量增加了20倍，并且編碼器注意力的計算成本仍然是瓶頸。在我們的初步實(shí)驗中，我們觀(guān)察到即使只更新了一部分encoder token，檢測性能也幾乎不會(huì )惡化。受此觀(guān)察的啟發(fā)，研究者提出了稀疏DETR，它選擇性地僅更新預期被****引用的標記，從而幫助模型有效地檢測目標。

圖片

此外，研究者展示了在編碼器中對所選標記應用輔助檢測損失可以提高性能，同時(shí)最大限度地減少計算開(kāi)銷(xiāo)。我們驗證了即使在COCO數據集上只有10%的encoder token，Sparse DETR也比可變形DETR實(shí)現了更好的性能。盡管只有encoder token被稀疏化，但與可變形DETR相比，總計算成本降低了38%，每秒幀數 (FPS) 增加了42%。

02背景

近年來(lái)，我們見(jiàn)證了深度學(xué)習中目標檢測的巨大進(jìn)步和成功。已經(jīng)提出了多種目標檢測方法，但現有算法將與GT進(jìn)行正匹配作為一種啟發(fā)式方法，需要對近似重復預測進(jìn)行非極大值抑制 (NMS) 后處理。最近Carion等人通過(guò)基于集合的目標消除了對NMS后處理的需要，引入了完全端到端的檢測器DETR。訓練目標采用匈牙利算法設計，既考慮分類(lèi)成本，又考慮回歸成本，并獲得極具競爭力的性能。但是，DETR無(wú)法使用多尺度特征，例如特征金字塔網(wǎng)絡(luò )，這些特征常用于目標檢測，以提高對小目標的檢測。主要原因是通過(guò)添加Transformer 架構增加了內存使用和計算。因此，它對小物體的檢測能力比較差。

為了解決這個(gè)問(wèn)題，有人提出了一種受可變形卷積 (deformable convolution) 啟發(fā)的可變形注意力，并通過(guò)注意力模塊中的關(guān)鍵稀疏化將二次復雜度降低為線(xiàn)性復雜度。通過(guò)使用可變形注意力，可變形DETR解決了DETR收斂速度慢和復雜度高的問(wèn)題，使編碼器能夠使用多尺度特征作為輸入，顯著(zhù)提高了檢測小物體的性能。然而，使用多尺度特征作為編碼器輸入會(huì )使要處理的token量增加約20倍。最終，盡管對相同的token長(cháng)度進(jìn)行了有效的計算，但整體復雜性再次增加，使得模型推理甚至比普通的DETR更慢。

03 新框架分析

(a) DETR中的密集注意力需要二次復雜度。(b) Deformable DETR使用密鑰稀疏化，因此具有線(xiàn)性復雜度。(c) Sparse DETR進(jìn)一步使用查詢(xún)稀疏化。Sparse DETR中的Attention也采用線(xiàn)性復雜度，但比Deformable DETR輕得多。

上圖說(shuō)明了如何通過(guò)預測二值化****交叉注意力圖(DAM)來(lái)學(xué)習評分網(wǎng)絡(luò )，其中橙色虛線(xiàn)箭頭表示反向傳播路徑。左邊部分展示了編碼器中的前向/反向傳播，右邊部分展示了如何構建DAM來(lái)學(xué)習評分網(wǎng)絡(luò )。

稀疏DETR引入了三個(gè)附加組件：(a)評分網(wǎng)絡(luò )，(b)編碼器中的輔助頭，以及(c)為****選擇前k個(gè)token的輔助頭。稀疏DETR使用評分網(wǎng)絡(luò )測量編碼器token的顯著(zhù)性，并選擇top-ρ%的token，在上圖中稱(chēng)為(1)。在僅精煉編碼器塊中選定的token后，輔助頭從編碼器輸出中選擇前k個(gè)token，用作****對象查詢(xún)。這個(gè)過(guò)程在上圖中被稱(chēng)為(2)。此外，我們注意到每個(gè)編碼器塊中的附加輔助磁頭在提高性能方面發(fā)揮著(zhù)關(guān)鍵作用。僅將稀疏編碼器token傳遞給編碼器輔助頭以提高效率。編碼器和****中的所有輔助頭都經(jīng)過(guò)Hungarian損失訓練，如Deformable DETR中所述。

04實(shí)驗及可視化