智能視頻分析在海量視頻檢索中的作用

隨著(zhù)視頻監控系統在公安、交通等敏感領(lǐng)域的大規模應用，電子眼幫助破案的報道時(shí)有所耳聞。一方面，這些事例從正面體現了視頻監控系統的社會(huì )價(jià)值;另一方面，也引發(fā)了更多的關(guān)于視頻檢索的深層次需求。在實(shí)際應用的過(guò)程中，用戶(hù)常常希望可以快速的從海量的數以萬(wàn)計的攝像頭視頻錄像中，方便的找到一些有明顯特征的人或物。傳統的基于預設告警和時(shí)間的視頻檢索方式，對于這類(lèi)深層次的需求往往無(wú)能為力，常有“隔靴搔癢”之憾，因而如何快速準確的進(jìn)行智能的檢索就成為大型視頻監控系統需要解決的重要課題。

傳統海量存儲技術(shù)的應用瓶頸

就平安城市這樣的大型視頻監控系統而言，每時(shí)每刻系統中都有海量的視頻在進(jìn)行存儲。這些視頻對于打擊犯罪，保衛人民生命財產(chǎn)安全是至關(guān)重要的。目前基于分布式的系統構架設計的大型視頻監控平臺，采用分治的方法，綜合使用前端存儲(NVR/DVR)，后端存儲(存儲服務(wù)器、磁陣等)等多種策略結合。從技術(shù)上看，已經(jīng)可以比較穩妥的解決海量視頻的存儲問(wèn)題。但是，主流的基于時(shí)間點(diǎn)和預設事件的檢索方式相對于當前復雜的治安形勢就過(guò)于簡(jiǎn)單了。下面以一個(gè)現實(shí)中的檢索需求為例，對傳統的檢索方式進(jìn)行分析。

檢索需求：檢索在10：00 到 12:00，出現在某銀行正門(mén)附近的，穿白色襯衫的男子。

為實(shí)現找到符合條件的視頻，在傳統視頻存儲系統中，將需要很多人力進(jìn)行人工分析。傳統監控系統可以通過(guò)GIS比較準確的找到XX銀行正門(mén)附近的攝像機，通過(guò)時(shí)間檢索找到相關(guān)的視頻，之后就需要靠人力進(jìn)行人為調看，即使在16倍速的高速瀏覽下，進(jìn)一步找到相關(guān)視頻也是一件十分浪費人力和時(shí)間的事情，而且由于人的參與，長(cháng)時(shí)間觀(guān)看導致漏檢的風(fēng)險很大。

我們可以看到，在實(shí)現這一檢索需求時(shí)，傳統的檢索方式顯得比較笨拙。檢索檢索方式不夠“聰明”，這已經(jīng)成為傳統大型監控系統應用中的一個(gè)瓶頸。

考慮到具體案件的復雜性，今天關(guān)于“白襯衣”的要求，明天可能變?yōu)椤盎ㄒr衫”，所以用戶(hù)不僅要求檢索更加“聰明”，而且也要足夠“靈活”。當然，用戶(hù)還希望系統能夠盡快完成查詢(xún)。那么，我們可以將用戶(hù)對海量視頻存儲系統的檢索要求歸納為“更聰明”、“更靈活”、“更快捷”。

使用智能分析技術(shù)提升檢索算法有效性

引入智能視頻分析技術(shù)實(shí)現“聰明”和“靈活”

既然，用戶(hù)迫切需要檢索更加“聰明”，那么使用智能分析技術(shù)提高系統的“智商”就勢在必行了。

目前應用于視頻監控的的智能視頻分析技術(shù)可以歸納為：目標提取技術(shù)、目標分類(lèi)(識別)技術(shù)以及規則判斷技術(shù)等3個(gè)彼此依存的技術(shù)譜系。這3類(lèi)技術(shù)構成了智能視頻分析系統的3大基本模塊：目標提取模塊、分類(lèi)識別模塊、規則判斷模塊，如圖1所示。

圖1：智能分析系統結構簡(jiǎn)圖

首先，數字視頻流經(jīng)過(guò)視頻解碼，解碼為智能視頻分析系統可以識別的視頻或圖像序列，作為智能視頻分析系統的輸入。分析系統首先使用目標提取輸入圖像序列進(jìn)行前背景分離，完成目標提取工作;比較復雜的智能視頻分析系統一般帶有分類(lèi)功能，可以對識別出來(lái)的目標進(jìn)行模式識別，分辨出目標的更多屬性，如比較常見(jiàn)的分類(lèi)器包括：人車(chē)分類(lèi)，顏色分類(lèi)、行為分類(lèi)等;此后系統將被提取的目標和與之分類(lèi)信息，交給規則判斷模塊，進(jìn)行規則推理，如果違反了某些設定的規則，系統將輸出告警。

將上文提到的檢索需求套入到上述流程中，可以發(fā)現現有的智能視頻分析技術(shù)在“理論”上能夠幫助完成這個(gè)需求?！鞍咨r衣、男子”這些是對分類(lèi)識別模塊的識別要求，同時(shí)也是判斷推理模塊中的規則。也就是說(shuō)所謂的更“聰明”對應于智能視頻分析技術(shù)就是要求分類(lèi)識別模塊更強大;檢索的需求一定是會(huì )不斷變化的，比如“白襯衣”變成“花裙子”，“男子”變?yōu)椤芭印?，“靈活”的要求需要規則判斷模塊來(lái)完成。

于是，我們可以得到一個(gè)新的系統模型(模型1)，如圖2所示。這個(gè)系統模型在傳統海量存儲系統上增加了智能視頻分析功能，從而完成了使系統變得“聰明”了。

圖2：引入智能分析服務(wù)器的海量存儲系統(模型1)

當用戶(hù)發(fā)起查詢(xún)時(shí)，首先通過(guò)規則生成器，將查詢(xún)要求翻譯成規則，輸入規則推理模塊，之后系統對相關(guān)視頻進(jìn)行智能分析，也就是進(jìn)行目標提取和目標分類(lèi)識別，同時(shí)規則推理判斷，找出符合要求的視頻，如圖3所示。

圖3：基于模型1的查詢(xún)時(shí)序圖

這個(gè)模型借助智能視頻分析技術(shù)，可以提升查詢(xún)系統的“智商”，實(shí)現用戶(hù)關(guān)于“聰明”和“靈活”的訴求，但是這個(gè)系統的效率如何呢?還有一個(gè)問(wèn)題需要考慮，就現在的智能視頻分析技術(shù)而言是否能夠有足夠精確的目標提取、模型匹配的精準算法從而來(lái)判斷“男女”，區分“白色襯衫”和“白色風(fēng)衣”的不同。這些問(wèn)題在現有的分析技術(shù)和算法模型中都是很難解決的，綜上，這個(gè)模型存在的問(wèn)題表現在：

一是效率較低，查詢(xún)速度取決于分析速度。

二是對于實(shí)際應用中的現實(shí)要求，智能技術(shù)又無(wú)法達到的情況沒(méi)有進(jìn)行處理。

使用視頻分析技術(shù)構建“線(xiàn)索”數據庫

模型1之所以效率較低，主要是因為需要將可能存在的目標進(jìn)行智能分析，智能分析算法需要時(shí)間來(lái)完成。這一過(guò)程限制了這一模型的效率。

實(shí)際上，對于這一問(wèn)題我們可以通過(guò)增加實(shí)時(shí)視頻智能分析服務(wù)器的辦法，對實(shí)時(shí)視頻在存儲的同時(shí)進(jìn)行智能分析，同時(shí)將目標提取模塊、分類(lèi)識別模塊輸出的結果保存到數據庫中，以提升檢索的效率。這個(gè)思路與google所采用的視頻檢索技術(shù)比較類(lèi)似，只是提取目標和分類(lèi)分析的視頻源不同，進(jìn)行預處理的時(shí)機不同。至此，得到了一個(gè)新的模型——模型2，如圖4所示。

圖4：帶有線(xiàn)索數據庫的海量存儲模型2

模型2在模型1的基礎上，將智能分析的運算分攤到視頻傳輸和存儲的過(guò)程中，并引入了數據庫將視頻分析的結果和源視頻的存儲位置關(guān)聯(lián)關(guān)系一并保存到數據庫中，提升了整個(gè)檢索的反應速度，如圖5所示。

圖5：基于模型2的視頻存儲過(guò)程

當然這個(gè)基于智能視頻的預處理過(guò)程也可以由終端設備完成，至于終端設備如何目標提取模塊、分類(lèi)識別模塊分析的結果發(fā)送給視頻監控平臺，可以參考OnVif協(xié)議中的相關(guān)部分。

查詢(xún)時(shí)，首先模型2針對查詢(xún)條件，進(jìn)行轉換，將查詢(xún)條件轉換為系統可支持的規則，根據規則生成對數據庫的查詢(xún)語(yǔ)句進(jìn)行查詢(xún)，之后根據查詢(xún)結果，找到相關(guān)的視頻，如圖6所示。

圖6：基于模型2的視頻檢索過(guò)程

關(guān)于“誤中”與“漏檢”

鑒于當前智能視頻分析技術(shù)的現狀，在上述檢索需求：“檢索在10：00 到 12:00，出現在某銀行正門(mén)附近的，穿白色襯衫的男子”中，至少襯衣和男子是比較難以分辨的，考慮到光照等因素，白色的分辨也存在一定困難。也就是說(shuō)，即使使用了智能分析技術(shù)，由于其分類(lèi)識別模塊的限制，對于一些查詢(xún)需求，也是存在誤中和漏檢可能性的。對于實(shí)際應用而言，漏檢的危害要大于誤中，基于此，有必要引入一些基于概率論的方法，如貝葉斯方法，來(lái)緩解“漏檢”的壓力。

結束語(yǔ)

綜上所述，智能視頻分析技術(shù)的引入可以極大的提升原有海量監控視頻存儲系統的檢索效率和命中率。但是，限于目前智能視頻分析技術(shù)的現狀，這一方案中還存在一些技術(shù)風(fēng)險。雖然可以借助一些概率方法，引入類(lèi)似“相似度”的概念來(lái)緩解“漏檢”的風(fēng)險，這一方案的離最終的用戶(hù)要求還有一段距離。然而，從另一個(gè)角度看“距離產(chǎn)生美”，技術(shù)之所以引人入勝，很大程度上就是因為“距離”的存在。有理由相信，隨著(zhù)行業(yè)的快速發(fā)展，在海量監控視頻存儲系統上，引入智能分析技術(shù)將成為一種趨勢。