AI助力社會(huì )安全，最新視頻異常行為檢測方法框架

計算機視覺(jué)研究院專(zhuān)欄

作者：Edison_G

計算機視覺(jué)技術(shù)在越來(lái)越多的場(chǎng)景起到重要的作用，現在的視頻異常行為檢測就可以今早給予警察預警信息，大大減少暴力事件、游行游街行為、聚集性活動(dòng)等行為的發(fā)生。

01

前景

目前社會(huì )中始終會(huì )出現多多少少的異常行為，在目前人工智能發(fā)展的形式中，幾乎人均被幾個(gè)攝像頭拍攝到的情況下，本次熱點(diǎn)新聞事件中，經(jīng)過(guò)了較長(cháng)時(shí)間都沒(méi)有得到警力的幫助，無(wú)非就是周?chē)罕姏](méi)有及時(shí)報警制止該行為，另一種就是安裝的攝像頭沒(méi)有警報功能。如果在此終端的基礎上增加除了錄像功能外的警報功能，就更加完美。

好比在攝像頭實(shí)時(shí)監控下，如果發(fā)現了異常行為，就會(huì )及時(shí)將報警信息反饋給中心端（一般是警察中心或者安保監控室），當員工看到警報，再通過(guò)視頻確認，可以針對性作出一些措施，可能會(huì )大大減少犯罪的行為，也較大的提升社會(huì )安全度。

今天我們就來(lái)說(shuō)說(shuō)視頻實(shí)時(shí)行為異常檢測的一些事！

02

概要

今天分享的干貨中，研究者解決了異常檢測的問(wèn)題，即檢測視頻序列中的異常事件?；诰矸e神經(jīng)網(wǎng)絡(luò ) (CNN) 的異常檢測方法通常利用代理任務(wù)（例如重建輸入視頻幀）來(lái)學(xué)習描述正態(tài)性的模型，而不會(huì )在訓練時(shí)看到異常樣本，并在測試時(shí)使用重建誤差來(lái)量化異常的程度。這些方法的主要缺點(diǎn)是它們沒(méi)有明確考慮正常模式的多樣性，而CNN強大的表示能力允許重建異常視頻幀。

為了解決這個(gè)問(wèn)題，有研究者提出了一種異常檢測的無(wú)監督學(xué)習方法，它明確地考慮了正常模式的多樣性，同時(shí)降低了CNN的表示能力。為此，研究者建議使用具有新更新方案的內存模塊，其中內存中的項目記錄正常數據的原型模式。還提出了新的特征緊湊性和分離損失來(lái)訓練記憶，提高記憶項目和從正常數據中深度學(xué)習的特征的辨別力。標準基準的實(shí)驗結果證明了新提出方法的有效性和效率，其性能優(yōu)于現有技術(shù)。

03

新框架簡(jiǎn)述

新模型在CUHK Avenue上的特征和記憶項目分布。特征和項目分別以點(diǎn)和星顯示。具有相同顏色的點(diǎn)映射到同一個(gè)項目。內存中的項目捕獲正常數據的各種原型模式。這些特征具有高度的判別力，并且相似的圖像塊可以很好地聚類(lèi)。

在下圖中展示了新框架的概述。重建輸入幀或預測未來(lái)的無(wú)監督異常檢測。輸入四個(gè)連續的視頻幀來(lái)預測第五個(gè)用于預測任務(wù)。由于預測可以被認為是使用以前的幀重建未來(lái)幀，使用幾乎相同的網(wǎng)絡(luò )架構，兩個(gè)任務(wù)的損失相同。在下文中詳細描述了研究者用于重建任務(wù)的方法。

新模型主要由三個(gè)組件組成：編碼器、內存模塊和****。 

編碼器輸入一個(gè)正常的視頻幀并提取查詢(xún)特征。然后使用這些特征來(lái)檢索記憶項目中的原型正常模式并更新記憶。將聚合（即讀?。┑牟樵?xún)特征和記憶項提供給****，以重建輸入視頻幀。使用端到端的重構、特征緊湊性和特征分離損失來(lái)訓練新模型。 

在測試時(shí)，使用加權正則分數來(lái)防止內存被異常視頻幀更新。計算輸入幀與其重建之間的差異以及查詢(xún)特征與內存中最近項目之間的距離，以量化視頻幀中異常的程度。

讀取和更新內存圖解

04

實(shí)驗及總結

異常行為應用的領(lǐng)域較廣，比如校園車(chē)輛行人不規范的異常，交通路口闖紅燈行為，廣場(chǎng)大面積聚集活動(dòng)等應用。如下圖：

或者在學(xué)校，通過(guò)該技術(shù)監測學(xué)生上課聽(tīng)課程度，學(xué)生到課率等行為。

本次新框架的實(shí)驗結果，如下表：

輸入幀（左）；預測誤差（中）；異常區域（右）。我們可以看到新模型定位了異常事件的區域。