?？笛芯吭撼銎罚壕哂袌?chǎng)景自適應概念學(xué)習的無(wú)監督目標檢測

發(fā)布人：CV研究院時(shí)間：2022-06-17 來(lái)源：工程師

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對面交流
  海量資料庫查詢(xún)

論文地址：http://www.jzus.zju.edu.cn/article.php?doi=10.1631/FITEE.2000567

計算機視覺(jué)研究院專(zhuān)欄

作者：Edison_G

今天看了一篇自己研究院出品的文章，雖然21年中的paper，但是技術(shù)還是挺有趣，今天我就拿出來(lái)分享說(shuō)一說(shuō)。

技術(shù)簡(jiǎn)要

目標檢測是計算機視覺(jué)領(lǐng)域最熱門(mén)的研究方向之一，已經(jīng)在學(xué)術(shù)界取得了令人矚目的進(jìn)展，并在業(yè)界有許多有價(jià)值的應用。但是，主流的檢測方法仍然存在兩個(gè)缺點(diǎn)：

即使使用大量數據訓練好的模型仍然不能普遍用于不同類(lèi)型的場(chǎng)景；
一旦部署模型，它就不能隨著(zhù)積累的未標記場(chǎng)景數據自主進(jìn)化。

為了解決這些問(wèn)題，在視覺(jué)知識理論的啟發(fā)下，研究者提出了一種新穎的場(chǎng)景自適應進(jìn)化無(wú)監督視頻目標檢測算法，可以通過(guò)目標組的概念減少場(chǎng)景變化的影響。

首先通過(guò)預訓練的檢測模型從未標記的數據中提取大量候選目標。其次，通過(guò)對候選進(jìn)行聚類(lèi)來(lái)構建目標概念的視覺(jué)知識字典，其中每個(gè)聚類(lèi)中心代表一個(gè)目標原型。第三，研究者們研究了不同簇之間的關(guān)系和不同組的目標信息，并提出了一種基于圖的組信息傳播策略來(lái)確定目標概念的類(lèi)別，可以有效區分正負樣本。使用這些偽標簽，就可以輕松地微調預訓練模型。

最終通過(guò)不同的實(shí)驗驗證了所提方法的有效性，取得了顯著(zhù)的改進(jìn)！

背景簡(jiǎn)述

最先進(jìn)的圖像目標檢測方法主要分為兩組：兩階段方法和一階段方法。典型的兩階段算法有R-CNN、fast R-CNN、faster RCNN、R-FCN、FPN和Libra R-CNN，它們由區域候選、區域識別和位置組成。一階段方法將檢測轉換為回歸問(wèn)題。SSD、YOLO、RetinaNet、CornerNet和FreeAnchor直接預測對象和對象類(lèi)的位置或角點(diǎn)。

在這項研究中，YOLO-v2作為基礎檢測器。視頻目標檢測類(lèi)似于圖像目標檢測。唯一的區別是目標檢測任務(wù)中使用了時(shí)間信息?，F有的方法可以根據它們對時(shí)間信息的應用分為兩類(lèi)：特征級學(xué)習和后處理策略。

大多數視頻檢測方法不能直接檢測新場(chǎng)景中的目標。這些檢測器應該使用新的數據集進(jìn)行重新訓練。在這種情況下，一些研究人員提出了無(wú)監督視頻檢測算法。這些方法的主要策略是無(wú)監督特征學(xué)習、目標挖掘、匹配、跟蹤和域適應。例如，Croitoru等人提出了一種基于視頻主成分分析（PCA）的無(wú)監督目標挖掘策略，以生成軟掩碼來(lái)訓練檢測器。提出了一種跟蹤策略以獲得偽標簽，用于在視頻流中訓練基于CNN的目標檢測器。還有研究者結合自定進(jìn)度的域適應和分數軌跡跟蹤策略來(lái)自動(dòng)挖掘目標域樣本以進(jìn)行無(wú)監督視頻目標檢測。今天說(shuō)的新方法是一種場(chǎng)景自適應進(jìn)化無(wú)監督視頻目標檢測算法。

新框架分析

所提出方法的框架如上圖所示。它由PDG、G-GIP和檢測組成。

首先，原始數據用于訓練初始檢測模型；其次，利用新的場(chǎng)景數據通過(guò)PDG策略建立目標的視覺(jué)知識表示。每一幀新的場(chǎng)景數據被發(fā)送到初始檢測模型，用于提取目標候選和相應的特征。所有提取的特征與框尺度信息相結合，通過(guò)k-means算法進(jìn)行聚類(lèi)，以構建目標原型字典。每個(gè)原型都是相應目標組的中心；第三，提出了基于圖的組信息傳播模型，創(chuàng )建正樣本類(lèi)別，然后從新的場(chǎng)景數據集中挖掘具有偽標簽的新訓練樣本；最后，挖掘的數據集用于微調檢測模型以進(jìn)行新場(chǎng)景檢測。