淺析智能視頻監控技術(shù)

視頻監控是視頻工程中重要的技術(shù)和應用領(lǐng)域，支撐其發(fā)展的視頻技術(shù)在不到一個(gè)世紀的發(fā)展過(guò)程中，大致經(jīng)歷了3個(gè)跨越式的發(fā)展階段。20世紀30年代，以電視廣播為代表的視頻技術(shù)走出了實(shí)驗室，進(jìn)入廣播電視臺和千萬(wàn)家庭，實(shí)現了從靜止圖像傳輸到活動(dòng)圖像傳輸的跨越;20世紀80年代末，以會(huì )議電視、視頻監控等為代表的視頻技術(shù)走出了實(shí)驗室，進(jìn)入眾多的電視會(huì )議室、安防系統，實(shí)現了從模擬視頻通信到數字視頻通信的跨越;如今，以智能視頻監控(IVS)為代表的視頻技術(shù)，正處在走出實(shí)驗室、進(jìn)入到各行各業(yè)的應用階段，將要實(shí)現從“機械”的視頻信息處理向智能化視頻信息處理的跨越。當前中國正處在這一跨越的關(guān)鍵時(shí)段。智能視頻監控只是智能視頻技術(shù)的一個(gè)部分，一個(gè)將視頻技術(shù)引入智能時(shí)代的部分。

智能視頻監控技術(shù)兩種構架方式

視頻監控的智能化表現為計算機視覺(jué)算法在視頻分析中的應用。智能視頻監控區別于傳統意義上的監控系統在于變被動(dòng)監控為主動(dòng)監控(自動(dòng)檢測、識別潛在入侵者、可疑目標和突發(fā)事件)，即它的智能性。簡(jiǎn)單而言，不僅用攝像機代替人眼，而且用計算機代替人、協(xié)助人，來(lái)完成監視或控制的任務(wù)，從而減輕人的負擔。智能視頻監控系統的結構通常有如下兩種：

主動(dòng)智能監視系統，這類(lèi)系統的特點(diǎn)是主動(dòng)攝像機不僅可以理解視場(chǎng)內的場(chǎng)景，還可以有選擇性專(zhuān)注于特定的活動(dòng)或感興趣的事件。主動(dòng)智能監視系統需要額外完成兩個(gè)任務(wù)：管理主動(dòng)攝像機資源，即確定哪些攝像機用于監視全景，哪些攝像機用于監視特定行為或事件;利用視頻分析算法提供的信息控制攝像機的運動(dòng)和變焦。

分布式智能視頻監視系統，通過(guò)無(wú)線(xiàn)視頻通信網(wǎng)絡(luò )將各點(diǎn)智能攝像機與中心站連接起來(lái)，智能監視服務(wù)器不僅可以生成圖像還可以分析視頻，根據視頻分析的信息控制攝像機以及確定使用恰當的存儲資源和帶寬傳送高質(zhì)量視頻給終端用戶(hù)。智能攝像機最大程度減小了系統結構的成本。

智能視頻監控技術(shù)特性

智能視頻監控技術(shù)一直在發(fā)展，然而，環(huán)境的復雜性以及目標行為的多樣性等原因使得智能監控算法變得復雜，且算法通常是針對具體的應用而設計的。盡管已經(jīng)提出許多被證明是有效的智能分析算法，但是受計算機數據處理能力的限制，難以適合實(shí)時(shí)計算，自適應性也較差，應用場(chǎng)合受限。目前，對于以目標整體的運動(dòng)軌跡作為研究目標，提取運動(dòng)目標的運動(dòng)特征或者其本身所具有的特性這種類(lèi)型的視頻智能分析已經(jīng)取得了一定的成果。這一類(lèi)研究目標不一定是人，也可以是車(chē)輛、動(dòng)物或飛機、坦克等軍事目標。以目標的局部部分運動(dòng)為研究目標，提取其局部的“肢體語(yǔ)言”特征分析判斷目標的行為，比如視頻的手語(yǔ)識別、步態(tài)識別、表情識別或者動(dòng)作識別等。此類(lèi)監視問(wèn)題的困難在于運動(dòng)模式的提取以及高效可靠的識別算法。智能視頻監控系統可以解決兩個(gè)主要問(wèn)題：一個(gè)是將安防操作人員從繁雜而枯燥的“盯屏幕”任務(wù)中解脫出來(lái)。由機器來(lái)完成這部分工作，對異常情況能夠及時(shí)處理等，比如報警等;另外一個(gè)是為在海量的視頻數據中快速搜索到想要找的圖像。對于上述兩個(gè)問(wèn)題，視頻分析廠(chǎng)家經(jīng)常提到的案例是：操作人員盯著(zhù)屏幕超過(guò)1O分鐘后將漏掉90%的視頻信息而使這項工作失去意義;倫敦地鐵案中，安保人員花了70個(gè)工時(shí)才在大量磁帶中找到需要的信息。智能視頻監控的核心內容是對特定目標的自動(dòng)檢測、跟蹤與行為識別，包括運動(dòng)檢測、目標分類(lèi)、目標跟蹤、行為識別等4個(gè)方面內容。例如對人體的跟蹤：首先從實(shí)時(shí)圖像序列中檢測出運動(dòng)物體，再判定運動(dòng)物體中的人體，然后跟蹤人體的運動(dòng)軌跡，并分析和選定有異常行為的人，如在車(chē)站，機場(chǎng)等遺留包裹的人。最后對行為異常的人進(jìn)行持續跟蹤。

移動(dòng)目標提取

運動(dòng)檢測是從圖像序列中將變化區域從背景圖像中提取出來(lái)。運動(dòng)區域的有效分割將大大減少后續過(guò)程的運算量。然而，背景圖像的不穩定性，如陰影、光照、慢移動(dòng)、靜移動(dòng)(樹(shù)葉的擺動(dòng))等等，也使得運動(dòng)檢測非常困難。目前較為實(shí)用的視頻分析方法主要有兩類(lèi)：一類(lèi)是背景減除方法，另一類(lèi)是時(shí)間差分方法。背景減除方法是利用當前圖像和背景圖象的差分來(lái)檢測出運動(dòng)區域的一種方法，可以提供比較完整的運動(dòng)目標特征數據，精確度和靈敏度比較高，具有良好的性能表現。時(shí)間差分法利用視頻圖像特征，從連續得到的視頻流中提取所需要的動(dòng)態(tài)目標信息。時(shí)間差分實(shí)質(zhì)是利用相鄰幀圖像相減來(lái)提取前景目標移動(dòng)的信息，此方法不能完全提取所有相關(guān)特征像素點(diǎn)，在運動(dòng)實(shí)體內部可能產(chǎn)生空洞，能檢測出目標的邊緣。

移動(dòng)目標跟蹤

移動(dòng)目標跟蹤等價(jià)于在連續的圖像幀間，創(chuàng )建基于位置、速度、形狀、紋理、色彩等有關(guān)特征的對應匹配問(wèn)題。常用的數學(xué)工具有卡爾曼濾波、Condensation算法及動(dòng)態(tài)貝葉斯網(wǎng)絡(luò )等。其中Kalman濾波是基于高斯分布的狀態(tài)預測方法。不能有效地處理多峰模式的分布情況;Condensation算法是以因子抽樣為基礎的條件密度傳播方法，結合可學(xué)習的動(dòng)態(tài)模型，可完成魯棒的運動(dòng)跟蹤。就跟蹤對象而言，跟蹤如手、臉、頭、腿等身體部分與跟蹤整個(gè)目標;就跟蹤視角而言，有對應于單攝像機的單一視角、對應于多攝像機的多視角和全方位視角;當然還可以通過(guò)跟蹤空間(二維或三維)、跟蹤環(huán)境(室內或戶(hù)外)、跟蹤人數(單人、多人、人群)、攝像機狀態(tài)(運動(dòng)或固定)等方面進(jìn)行分類(lèi)。從跟蹤方法的不同討論跟蹤算法。

1、基于模型的跟蹤

傳統的人體表達方法有如下三種：①線(xiàn)圖法：人運動(dòng)的實(shí)質(zhì)是骨骼的運動(dòng)，因此該表達方法將身體的各個(gè)部分以直線(xiàn)來(lái)近似。②二維輪廓(2D Contour)：該人體表達方法的使用直接與人體在圖像中的投影有關(guān)，如Ju等提出的紙板人模型，它將人的肢體用一組連接的平面區域塊所表達，該區域塊的參數化運動(dòng)受關(guān)節運動(dòng)(Articulated Movement)的約束，該模型被用于關(guān)節運動(dòng)圖像的分析。③立體模型(Volumetric Model)：它是利用廣義錐臺、橢圓柱、球等三維模型來(lái)描述人體的結構細節，因此要求更多的計算參數和匹配過(guò)程中更大的計算量。例如Rohr使用14個(gè)橢圓柱體模型來(lái)表達人體結構，坐標系統的原點(diǎn)被定位在軀干的中心，目的是想利用該模型來(lái)產(chǎn)生人的行走的三維描述;Wachter與Nagel利用橢圓錐臺建立三維人體模型，通過(guò)在連續的圖像幀問(wèn)匹配三維人體模型的投影來(lái)獲得人運動(dòng)的定量描述，其中，它利用了迭代的擴展卡爾曼濾波方法，結合邊緣、區域信息及身體解析約束確定的身體關(guān)節運動(dòng)的自由度，實(shí)現單目圖像序列中人的跟蹤。

2、基于區域的跟蹤

基于區域的跟蹤方法目前已有較多的應用，例如Wren等利用小區域特征進(jìn)行室內單人的跟蹤，文中將人體看作由頭、軀干、四肢等身體部分所對應的小區域塊所組成，利用高斯分布建立人體和場(chǎng)景的模型，屬于人體的像素被規劃于不同的身體部分。通過(guò)跟蹤各個(gè)小區域塊來(lái)完成整個(gè)人的跟蹤?；趨^域跟蹤的難點(diǎn)是處理運動(dòng)目標的影子和遮擋，這或許可利用彩色信息以及陰影區域缺乏紋理的性質(zhì)來(lái)加以解決，如McKenna等首先利用色彩和梯度信息建立自適應的背景模型，并且利用背景減除方法提取運動(dòng)區域，有效地消除了影子的影響;然后，跟蹤過(guò)程在區域、目標、目標群三個(gè)抽象級別上執行，區域可以合并和分離，而人是由許多身體部分區域在滿(mǎn)足幾何約束的條件下組成的，同時(shí)人群又是由單個(gè)的人組成的，因此利用區域跟蹤器并結合人的表面顏色模型，在遮擋情況下也能夠較好地完成多人的跟蹤。

3、基于活動(dòng)輪廓的跟蹤

基于活動(dòng)輪廓的跟蹤思想是利用封閉的曲線(xiàn)輪廓來(lái)表達運動(dòng)目標，并且該輪廓能夠自動(dòng)連續地更新。例如Paragios與Deriche利用短程線(xiàn)的活動(dòng)輪廓、結合Level Set理論在圖像序列中檢測和跟蹤多個(gè)運動(dòng)目標;采用基于卡爾曼濾波的活動(dòng)輪廓來(lái)跟蹤非剛性的運動(dòng)物體;利用隨機微分方程去描述復雜的運動(dòng)模型，并與可變形模板相結合應用于人的跟蹤。相對于基于區域的跟蹤方法，輪廓表達有減少計算復雜度的優(yōu)點(diǎn)。如果開(kāi)始能夠合理地分開(kāi)每個(gè)運動(dòng)目標并實(shí)現輪廓初始化的話(huà)，既使在有部分遮擋存在的情況下也能連續地進(jìn)行跟蹤，然而初始化通常是很困難的。

4、基于特征的跟蹤

基于特征的跟蹤包括特征的提取和特征的匹配兩個(gè)過(guò)程。一個(gè)很好的例子是點(diǎn)特征跟蹤，將每個(gè)目標用一個(gè)矩形框封閉起來(lái)，封閉框的質(zhì)心被選擇作為跟蹤的特征;在跟蹤過(guò)程中若兩人出現相互遮擋時(shí)。只要質(zhì)心的速度能被區分開(kāi)來(lái)，跟蹤仍能被成功地執行;該方法的優(yōu)點(diǎn)是實(shí)現簡(jiǎn)單，并能利用人體運動(dòng)來(lái)解決遮擋問(wèn)題，但是它僅僅考慮了平移運動(dòng)。如果結合紋理、彩色及形狀等特征可能會(huì )進(jìn)一步提高跟蹤的魯棒性。另外，Segen與Pingali的跟蹤系統使用了運動(dòng)輪廓的角點(diǎn)作為對應特征，這些特征點(diǎn)采用基于位置和點(diǎn)的曲率值的距離度量在連續幀間進(jìn)行匹配。

目標分類(lèi)

目標分類(lèi)的目的是從檢測到的運動(dòng)區域中將特定類(lèi)型物體的運動(dòng)區域提取出來(lái)，例如分類(lèi)場(chǎng)景中的人、車(chē)輛、人群等不同的目標。根據可利用信息的不同，目標分類(lèi)可以分為基于運動(dòng)特性的分類(lèi)和基于形狀信息的分類(lèi)兩種方法?；谶\動(dòng)特性的識別利用目標運動(dòng)的周期性進(jìn)行識別。受顏色、光照的影響較小?；谛螤钚畔⒌淖R別利用檢測出的運動(dòng)區域的形狀特征與模板或者統計量進(jìn)行匹配。

1、基于形狀信息的分類(lèi)

基于形狀信息的分類(lèi)是利用檢測出的運動(dòng)區域的形狀特征進(jìn)行目標分類(lèi)的方法。例如VSAM采用區域的分散度、面積、寬高比等作為特征。利用三層神經(jīng)網(wǎng)絡(luò )方法將運動(dòng)目標劃分為人、人群、車(chē)和背景干擾;Lipton等利用分散度和面積信息對二維運動(dòng)區域進(jìn)行分類(lèi)，主要是區分人、車(chē)及混亂擾動(dòng)，時(shí)間一致性約束使其分類(lèi)更加準確;Kuno與Watanabe使用簡(jiǎn)單的人體輪廓模式的形狀參數從圖像中檢測運動(dòng)的人。

2、基于運動(dòng)特性的分類(lèi)

基于運動(dòng)特性的分類(lèi)是利用人體運動(dòng)的周期性進(jìn)行目標分類(lèi)的方法。例如Cutler與Davis通過(guò)跟蹤感興趣的運動(dòng)目標，計算出目標隨著(zhù)時(shí)間變化的自相關(guān)特性，而人的周期性運動(dòng)使得其自相關(guān)也是周期性的，因此通過(guò)時(shí)頻化方法分析目標是否存在周期性的運動(dòng)特性而將人識別出來(lái);Lipton通過(guò)計算運動(dòng)區域的殘余光流來(lái)分析運動(dòng)實(shí)體的剛性和周期性，非剛性的人的運動(dòng)相比于剛性的車(chē)輛運動(dòng)而言具有較高的平均殘余光流，同時(shí)它也呈現了周期性的運動(dòng)特征，據此可以將人區分出來(lái)。目標識別是系統對之前提取并跟蹤的目標進(jìn)行識別和辨識。要想讓系統具有目標識別和辨識能力，需要對系統進(jìn)行模型訓練。就是利用已知的目標特征(如車(chē)輛、人員、動(dòng)物等)，對系統進(jìn)行訓練，系統將會(huì )在大量已知的樣本信息上了解、學(xué)習不同目標的特征(大小、顏色、速度、行為方式等)，這樣當系統發(fā)現一個(gè)目標時(shí)，系統將自動(dòng)與已經(jīng)建立好的模型進(jìn)行比對或匹配特征，從而對目標進(jìn)行識別和分類(lèi)。

行為識別

目標的行為識別是近年來(lái)被廣泛關(guān)注的研究熱點(diǎn)，它是指對目標的運動(dòng)模式進(jìn)行分析和識別。行為識別可以簡(jiǎn)單地被認為是時(shí)變數據的分類(lèi)問(wèn)題，即將測試序列與預先標定的代表典型行為的參考序列進(jìn)行匹配。通過(guò)在跟蹤過(guò)程中檢測目標的行為以及行為變化，根據用戶(hù)的自定義行為規則，判斷被跟蹤目標的行為是否存在威脅。

1、模板匹配方法

采用模板匹配技術(shù)的行為識別方法首先將圖像序列轉換為一組靜態(tài)形狀模式，然后在識別過(guò)程中和預先存儲的行為標本相比較。模板匹配技術(shù)的優(yōu)點(diǎn)是計算復雜度低、實(shí)現簡(jiǎn)單，然而它對于噪聲和運動(dòng)時(shí)間間隔的變化是敏感的。

2、狀態(tài)空間方法

基于狀態(tài)空間模型的方法定義每個(gè)靜態(tài)姿勢作為一個(gè)狀態(tài)，這些狀態(tài)之間通過(guò)某種概率聯(lián)系起來(lái)。任何運動(dòng)序列可以看作為這些靜態(tài)姿勢的不同狀態(tài)之間的一次遍歷過(guò)程，在這些遍歷期間計算聯(lián)合概率。其最大值被選擇作為分類(lèi)行為的標準。目前，狀態(tài)空間模型已經(jīng)被廣泛地應用于時(shí)間序列的預測、估計和檢測，最有代表性的是HMMS。每個(gè)狀態(tài)中可用于識別的特征包括點(diǎn)、線(xiàn)或二維小區域。狀態(tài)空間方法雖然能克服模板匹配的缺點(diǎn)，但通常涉及到復雜的迭代運算。

結束語(yǔ)

視頻監控系統的核心價(jià)值在于智能視頻分析技術(shù)，由運動(dòng)目標檢測、分類(lèi)、跟蹤和行為識別等幾個(gè)基本節組成，還包括智能視頻檢索技術(shù)，其中行為識別又包括異常行為檢測、異常事件檢測以及視頻內容理解描述等。近年來(lái)，智能視頻監控技術(shù)取得長(cháng)足發(fā)展，應用領(lǐng)域不斷擴大，從自動(dòng)目標檢測到現在的事件檢測、自動(dòng)目標識別，其監控產(chǎn)品也逐漸由模擬化向數字化、網(wǎng)絡(luò )化與智能化方向發(fā)展。