基于上下文感知的智能視覺(jué)分析系統

前言

　　智能視頻監控屬于第四代視頻安防監控技術(shù)，它是新技術(shù)發(fā)展推動(dòng)下的必然結果。在這一歷史性的技術(shù)演進(jìn)中，計算機視覺(jué)技術(shù)扮演著(zhù)核心的角色。從內涵上看，現代計算機視覺(jué)技術(shù)已經(jīng)不再僅僅停留在光學(xué)幾何(如2D和3D建模)和基于數字圖像處理學(xué)的特征提取方面，它更建立在連同傳統人工智能在內的建模、學(xué)習和推理等機器學(xué)習理論之上。從外延上看，傳統的計算機視覺(jué)技術(shù)被稱(chēng)為機器視覺(jué)，主要應用在需要精密光學(xué)測量定位的自動(dòng)化生產(chǎn)線(xiàn)等工業(yè)領(lǐng)域，而現代計算機視覺(jué)技術(shù)則已拓展到了更加廣闊的應用領(lǐng)域，智能視頻監控就是一個(gè)典型的實(shí)例。

　　視頻監控智能化的核心問(wèn)題

　　2013年3月中國國內報道了吉林省長(cháng)春市嬰兒被偷車(chē)賊殘害的案例，有媒體質(zhì)疑：“平安城市”這樣的大范圍安防監控項目為什么沒(méi)有發(fā)揮應有的聯(lián)動(dòng)預警作用?類(lèi)似的反思也針對同年4月在美國馬薩諸塞州波士頓馬拉松比賽中發(fā)生的爆炸案，犯罪嫌疑人不是被通過(guò)視頻監控系統主動(dòng)發(fā)現其異常行為鎖定的，而是警方基于犯罪現場(chǎng)物證的反向推演在監控錄像中圈定的。這些例證都說(shuō)明了一個(gè)核心問(wèn)題，即在提升智能視頻監控的有效性方面，如何讓系統在廣域范圍內產(chǎn)生針對同一個(gè)視頻場(chǎng)景事件或特定行為的主動(dòng)感知，并建立起一條高度關(guān)聯(lián)的邏輯推理鏈條。

　　基于計算機網(wǎng)絡(luò )技術(shù)和人工智能技術(shù)的最新成果，我們認為完全可以從技術(shù)上考慮實(shí)現一種有效的信息處理系統，用以滿(mǎn)足上述來(lái)自實(shí)際應用領(lǐng)域對智能視頻監控系統的需求。系統總體的架構是：分區域設立分布式的視頻監控中心，采用智能前端設備和監控中心聯(lián)合對本地化的視頻數據進(jìn)行存儲及智能分析，這一層的功能主要是面向實(shí)時(shí)過(guò)程，發(fā)現局部和區域分布范圍內整體的視頻場(chǎng)景事件;在更廣域的范圍內(如市縣級“智慧城市”工程的監控范圍)，由更高層的數據管理中心對來(lái)自分布式監控的視頻數據進(jìn)行存儲、分析和集中管理，這一層主要是面向信息服務(wù)，同時(shí)非實(shí)時(shí)地兼顧個(gè)別沒(méi)有智能視覺(jué)分析功能部署的區域過(guò)程，統籌全局的視頻場(chǎng)景事件。

　　從單點(diǎn)到區域范圍的智能化

　　智能視覺(jué)監控系統的“單點(diǎn)智能化”指的是使監控點(diǎn)的前端設備(也可能包括高清一體化攝像機)具備智能視覺(jué)分析和識別的能力。各個(gè)前端設備(包括前端的智能終端，如DVR、NVR、IPC等)的智能化功能根據監控業(yè)務(wù)的不同可能會(huì )有差別，但總的歸納起來(lái)應該包括：移動(dòng)目標的檢測和跟蹤、目標的分類(lèi)、人臉檢測、跟蹤和識別、車(chē)牌檢測和牌號識別、場(chǎng)景事件檢測、目標的特定行為識別。智能前端設備分析輸出的結果是以元數據的形式存儲和傳遞的。

　　當監控場(chǎng)景內的目標從一個(gè)視場(chǎng)中移出并進(jìn)入另外一個(gè)部分重疊的視場(chǎng)時(shí)，為了實(shí)現連續的目標跟蹤，通常需要在攝像機之間進(jìn)行接力。對于一個(gè)完整意義上的智能視覺(jué)監控系統來(lái)說(shuō)，能夠通過(guò)前端設備的單點(diǎn)智能化分析單一場(chǎng)景內發(fā)生的事件和目標的行為是基本的要求，此外還必須在監控中心依靠攝像機傳感網(wǎng)絡(luò )內鄰近的其他攝像機，從多通道、多區域中獲取連續的視頻序列，并對其進(jìn)行視覺(jué)綜合分析，這就是“區域范圍的智能化”的含義。這是一種把單點(diǎn)智能通過(guò)元數據連接在一起構成的系統智能的能力。

　　分布式智能視覺(jué)監控系統基于大規模攝像機傳感網(wǎng)絡(luò )，為了提高系統在整體性能上對事件檢測和行為識別的準確率，有必要把部署在監控中心的智能分析系統與各個(gè)監控現場(chǎng)獨立通道上的智能分析結果進(jìn)行集成，以構成一個(gè)自底向上和頂向下結構的反饋系統。系統在收集和記錄海量視頻數據的同時(shí)，也在時(shí)刻傳遞著(zhù)、計算著(zhù)描述場(chǎng)景內容特征的元數據。這種以元數據為中心的網(wǎng)絡(luò )計算環(huán)境被稱(chēng)為“上下文環(huán)境”，簡(jiǎn)稱(chēng)上下文。

　　智能視覺(jué)監控系統中的元數據

　　元數據是一種特殊的二次信息，用來(lái)描述原始信息本身的內容、質(zhì)量、狀況和其它特性，通常用對于數據的自動(dòng)檢索和數據挖掘。分布式智能視覺(jué)監控系統中的元數據由兩個(gè)層次組成，即基本屬性信息，以及描述場(chǎng)景內容的信息。分布式智能視覺(jué)監控系統追求的目標就是構造一個(gè)完整的W6(發(fā)生了什么事?發(fā)生在哪里?發(fā)生在什么時(shí)間?發(fā)生時(shí)場(chǎng)景內都有誰(shuí)?為什么會(huì )發(fā)生?怎么發(fā)生的?)系統，其中“時(shí)間和地點(diǎn)”是在非智能化系統中就固有的功能。對這些問(wèn)題的回答就蘊藏在描述場(chǎng)景內容特征的元數據當中。元數據在系統中傳遞和進(jìn)一步深層利用的過(guò)程就是所謂“上下文感知”的過(guò)程。其目的是：通過(guò)對元數據進(jìn)行分層融合的處理，實(shí)現一個(gè)有效的分布式智能視覺(jué)分析系統。

　　元數據——基本的屬性信息?；緦哟蔚脑獢祿o(wú)需經(jīng)過(guò)智能視覺(jué)分析算法的輸出即可得到。為了對場(chǎng)景事件和目標的行為有一個(gè)完備的屬性記錄，主要包括基本的屬性信息，如：錄像時(shí)間、地點(diǎn)信息、攝像機的參數、設備制造商、安裝者、用戶(hù)信息。

　　元數據——描述場(chǎng)景內容的信息。這部分元數據來(lái)自于對場(chǎng)景視頻進(jìn)行實(shí)時(shí)分析的結果，按照其描述的范圍分類(lèi)，主要有局部場(chǎng)景內的元數據(來(lái)自于智能前端設備的分析輸出)和全局場(chǎng)景內的元數據(由分布式視頻監控中心的上下文感知算法產(chǎn)生)。

上下文感知環(huán)境的建立

　　為了實(shí)現分布式智能視覺(jué)分析系統的“上下文感知”功能，首先需要構建一個(gè)強大的視覺(jué)信息傳感網(wǎng)絡(luò )，此外還需要一個(gè)支持元數據分層融合的邏輯路由。

　　視覺(jué)信息傳感網(wǎng)絡(luò )

　　在基于視覺(jué)信息傳感網(wǎng)絡(luò )的分布式視頻監控系統中，監控攝像機獲取足夠清晰的視頻輸入可以提高監控系統對智能事件檢測和行為識別的可靠性。視頻數據(圖像)的質(zhì)量體現在如下三個(gè)方面的技術(shù)指標：圖像的品質(zhì)和高清效果;對視場(chǎng)環(huán)境中干擾因素的抑制;對攝像機視覺(jué)功能異常的檢測和緊急處理。

　　攝像機成像的品質(zhì)和高清效果一般通過(guò)攝像機前端鏡頭和傳感器部分保證。對視場(chǎng)內干擾因素的抑制也是衡量攝像機性能高低的重要條件，這些因素主要包括：低照度條件、寬動(dòng)態(tài)響應、景物色彩溫度的改變和大氣中的霧霾等。在這些因素條件下都需要攝像機對場(chǎng)景的視頻質(zhì)量進(jìn)行增強。

　　在視覺(jué)監控系統中，攝像機的視覺(jué)功能異常通常意味著(zhù)整個(gè)系統的原始視頻輸入受到嚴重干擾。無(wú)論是人為蓄意還是由設備或環(huán)境因素所致，視覺(jué)功能異常對系統的效能都有很大的影響，甚至隱含著(zhù)對攝像機設備的安全威脅。產(chǎn)生所謂“攝像機視覺(jué)功能異?！钡目赡茉蛴校喝擞檬种劣跀z像機前、在攝像機上噴漆或移動(dòng)攝像機使其指向其他方向。這些行為一定會(huì )超過(guò)數秒，因此如何判斷真正的攝影機異常而不是因為人群移動(dòng)或是車(chē)輛震動(dòng)或其他正常的原因是真正技術(shù)所在。圖1所示是為一種因人為惡意遮擋導致的攝像機視覺(jué)功能異常。

　　對攝像機視覺(jué)功能異常的檢測一旦實(shí)現，便可立即在視覺(jué)信息傳感網(wǎng)絡(luò )內部觸發(fā)“傳感器安全威脅”緊急事件管理，在監控中心端重新優(yōu)化分布式系統的視覺(jué)跟蹤進(jìn)程圖。

　　元數據的邏輯路由

　　在圖2所示的分布式智能視頻監控系統拓撲圖中，黑色箭頭表示元數據在系統網(wǎng)絡(luò )上的流動(dòng)情況。流動(dòng)方向可以是雙向的，即智能前端設備的元數據為監控中心提供全局場(chǎng)景分析所用的局部描述特征，而監控中心根據自己的計算結果補充前端智能結點(diǎn)在觀(guān)測信息上的局限性。

　　描述本地場(chǎng)景特征的元數據在分布式智能視頻監控系統的前端設備上計算生成后，需要先在視覺(jué)信息傳感網(wǎng)絡(luò )內部傳遞，然后在監控中心端被深度利用以生成描述廣域監控范圍場(chǎng)景的元數據。元數據的邏輯路由通常采用與海量視頻數據相對獨立的信息層，按照 “數據的分層傳輸方法”，在TCP/IP協(xié)議集中實(shí)現。

　　作為傳輸和利用元數據的另一種方案，在新一代面向智能視頻監控的視頻編碼標準中，描述場(chǎng)景特征的元數據被封裝在兩個(gè)新型的信息層(對象層和分析層)中，不僅進(jìn)一步在編碼標準的基本層實(shí)現基于感興趣區域的空域分辨率可調整編碼，也為智能視覺(jué)分析算法提供了一個(gè)完整的元數據邏輯路由。

　　上下文感知算法

　　分布式智能視頻監控系統的有效性是以具備上下文感知能力的視覺(jué)分析系統為前提的。上下文感知算法在分布式智能視頻監控系統中扮演著(zhù)重要角色，它關(guān)注的是對智能前端設備內產(chǎn)生的元數據的深度利用，而不關(guān)心局部場(chǎng)景的元數據在前端設備上如何產(chǎn)生。

　　傳感網(wǎng)絡(luò )環(huán)境下的攝像機定標

　　攝像機所處理的原始視頻(圖像)數據都可看作是3D世界坐標系下的真實(shí)數據在以該攝像機焦點(diǎn)為中心的2D圖像坐標系中的投影。由于每臺攝像機都有各自的2D圖像坐標系，因此要正確地關(guān)聯(lián)和融合來(lái)自傳感網(wǎng)絡(luò )中不同攝像機的元數據，必須先對各個(gè)攝像機進(jìn)行定標。由于不同的攝像機之間可能存在色彩敏感度和空間分辨率上的差異，或者工作在不同的光照條件下，因此定標工作應不僅僅針對空域進(jìn)行，還應當包括時(shí)域和顏色空間。嚴格地說(shuō)，攝像機的定標不屬于上下文感知算法的一部分，但是它是非常必要的，可為上下文感知算法提供前置的預處理。

　　對攝像機進(jìn)行空域定標后，將會(huì )導出兩個(gè)變換矩陣和，分別用于把不同視場(chǎng)內的元數據變換到統一的世界坐標系中以及把世界坐標系下的數據投影到2D圖像坐標系中，這實(shí)際上為元數據在更廣監控范圍內的深度利用提供了可能。對攝像機進(jìn)行時(shí)域定標時(shí)，需要針對不同攝像機觀(guān)測到的同一個(gè)運動(dòng)目標進(jìn)行軌跡的匹配，以求出針對不同攝像機時(shí)鐘的時(shí)間彎折曲線(xiàn)，在實(shí)際應用中比較復雜。對攝像機進(jìn)行顏色空間上的定標還要考慮不同光照條件下的實(shí)驗數據收集，應用操作起來(lái)更加繁瑣。

　　在實(shí)際工程項目中，如果定標不準確或是略去對攝像機在時(shí)域和顏色空間的定標，必然會(huì )降低不同的視覺(jué)信息通道向監控中心提供元數據的可靠性，比如對場(chǎng)景內同一個(gè)目標的特征描述出現不一致甚至沖突的問(wèn)題。這時(shí)為了得到可靠的元數據以描述全局監控場(chǎng)景的實(shí)時(shí)狀態(tài)，可對元數據進(jìn)行融合。有兩種方法可以采用：其一，通過(guò)網(wǎng)絡(luò )，在監控中心對元數據進(jìn)行狀態(tài)估計;其二，選擇合適的場(chǎng)景事件模型，在監控中心對由元數據組成的事件進(jìn)行推理。
　全局場(chǎng)景的視覺(jué)跟蹤

　　在基于攝像機傳感網(wǎng)絡(luò )的分布式視頻監控系統中，監控中心收到來(lái)自各個(gè)前端設備的視頻流及相關(guān)的元數據通常描述的是有限時(shí)空范圍的視覺(jué)信息，由于攝像機定標不準確(詳見(jiàn)前述內容)、場(chǎng)景的噪聲和目標被遮擋等原因，分析得出的元數據存在不確定性的特點(diǎn)。為了實(shí)現在監控中心對全局區域內感興趣目標可靠的視覺(jué)跟蹤，可以采用一種分層式點(diǎn)對點(diǎn)的多攝像機元數據融合算法。

　　該數據融合算法基于一種策略，以監控中心的世界坐標系為參考，把來(lái)自不同智能攝像機或是智能視頻分析通道的元數據合并為一個(gè)大的向量，使用分層Kalman預測器對場(chǎng)景內被智能前端設備鎖定的多個(gè)視覺(jué)目標進(jìn)行可靠跟蹤，并從這個(gè)大向量的分量重發(fā)現場(chǎng)景中的異常事件。算法的底層指的是各個(gè)智能前端設備的監控層，上層指的是監控中心層。

　　全局場(chǎng)景的事件融合

　　在不同領(lǐng)域知識的背景下，元數據的組合可以構成事件;另一方面，事件具備多種由元數據表征的屬性。元數據本身只是屬性或特征的度量，而事件才能表達場(chǎng)景內的語(yǔ)義，事件具備原子性，由它可進(jìn)一步構造對場(chǎng)景語(yǔ)義的句法描述。

　　多種原因，如：攝像機定標不準確(詳見(jiàn)前述內容)、視頻場(chǎng)景的噪聲和目標被遮擋等，常會(huì )降低各個(gè)智能前端通道分析得出的元數據可靠性，這時(shí)為了依然保證監控中心對全局場(chǎng)景事件檢測的準確性，可以在事件模型中對其屬性(元數據)進(jìn)行融合，然后得出優(yōu)化的推理結果。圖3 所示為在基于多攝像機傳感網(wǎng)絡(luò )的環(huán)境下，全局場(chǎng)景事件的檢測和識別可以通過(guò)對多臺攝像機傳遞的本地元數據進(jìn)行融合而得到。

　　結語(yǔ)

　　本文提出了一種具備上下文感知功能的分布式智能視覺(jué)分析系統。對上下文和上下文感知給出了具體的物理意義和實(shí)現手段。

　　以元數據為中心設計的分布式系統，能夠保證場(chǎng)景異常事件或特定行為發(fā)生時(shí)，在多臺攝像機構成的多通道傳感器網(wǎng)絡(luò )內實(shí)現元數據的傳遞和數據融合，從而提高在監控中心全局意義上對場(chǎng)景事件識別的準確率。元數據的融合在監控中心進(jìn)行，因而可在全局意義上得到所監控區域的場(chǎng)景視圖。

　　一個(gè)典型的上下文感知智能視覺(jué)分析系統能夠在場(chǎng)景內事件觸發(fā)時(shí)，把元數據送入監控中心的事件隊列，然后依據上下文感知算法對元數據進(jìn)行融合，使事件隊列優(yōu)化，最終得出高可靠性的對全局事件的識別。