解析視頻監控系統圖像處理關(guān)鍵技術(shù)

　　視頻監控就是通過(guò)攝像機觀(guān)測被監視場(chǎng)景中的運動(dòng)目標，查看、分析、描述、記錄其行為，以滿(mǎn)足安全防范、遠程管理和實(shí)時(shí)交流的需要。視頻監控系統是多媒體、計算機網(wǎng)絡(luò )和人工智能等技術(shù)的綜合運用，在視頻監控系統中進(jìn)行圖像處理，目的是提高圖像視感質(zhì)量，適應傳輸網(wǎng)絡(luò )狀況，提取圖像的特征或信息，其核心問(wèn)題是實(shí)現以更小的傳輸帶寬承載更高質(zhì)量的視頻，減少運算資源消耗，實(shí)現對視頻內容的主動(dòng)感知，對海量視頻數據的快速查找、精確定位和靈活呈現，涉及的主要技術(shù)包括：視頻編解碼、視頻傳輸與存儲、移動(dòng)視頻技術(shù)、視頻分析、視頻檢索等，以下將進(jìn)行簡(jiǎn)要介紹。

視頻編解碼

　　目前提高視頻編碼效率的方法可分為兩大類(lèi)：一是在傳統的編碼框架內繼續提高各模塊的編碼效率，這一類(lèi)的編碼技術(shù)有變塊大小預測、自適應塊變換、自適應插值濾波等技術(shù);二是結合人類(lèi)視覺(jué)特性的新型編碼框架研究，這一類(lèi)的編碼技術(shù)包括基于HVS評價(jià)標準的混合視頻編碼、基于紋理分析/合成的編碼、基于圖像修復的圖像/視頻編碼等。

視頻編碼關(guān)鍵技術(shù)

變塊大小預測

　　宏塊是視頻編碼的基本單位。H.264編碼算法中定義了七種大小可變的塊尺寸模式，同時(shí)利用率失真策略對這七種模式進(jìn)行遍歷，這就使編碼器可以根據圖像中運動(dòng)情況靈活地選擇塊的大小，提高運動(dòng)預測精度。

自適應塊變換

　　H.264標準制定的初期曾有自適應塊變換的提案，目前的應用中自適應塊變換與信號特征的結合更為緊密，如變換塊大小與運動(dòng)劃分大小的結合，更多的變換大小選擇，以及結合圖像紋理特征的方向變換等技術(shù)。

自適應插值濾波

　　部分像素預測是提高預測編碼效率的重要工具，其中插值濾波系數起著(zhù)關(guān)鍵作用。根據圖像信號的特征，自適應選擇插值濾波系數使得預測誤差能量最小化，能夠大大提高編碼效率，這種方法在高分辨率編碼中優(yōu)勢明顯。

新型編碼技術(shù)的方法

基于HVS評價(jià)標準的混合視頻編碼

　　由于人眼對圖像每個(gè)區域的敏感度是不同的，可以通過(guò)探索HVS的掩蔽特性來(lái)建立感知誤差的閾值，以區分人們能夠感知到的和不能感知到的信號，進(jìn)而去除視覺(jué)心理冗余。

基于紋理分析/合成的編碼

　　基于紋理分析與合成的編碼主要是將視頻場(chǎng)景分為紋理區域和非紋理區域兩部分，并通過(guò)一個(gè)紋理分析與合成器把主觀(guān)不重要的紋理區域分割并重構出來(lái)，在編碼端，將原始序列某些區域的紋理，僅編碼其余區域以及用于合成去除紋理區域的參數;在解碼端，去除的紋理區域通過(guò)碼流中參數進(jìn)行重構。

基于圖像修復的圖像/視頻編碼

　　對于失真不易覺(jué)察到的塊或區域不采用圖像修復的方法進(jìn)行修復，要方法是根據偏微分方程計算出等照度線(xiàn)傳播方向，使信息從待修復圖像塊的邊緣向內部擴散，完成整個(gè)缺失塊的填充。

分布式編碼

　　在分布式視頻編碼技術(shù)中，視頻幀分為Wyner-Ziv幀和Key幀。Wyner-Ziv幀獨立進(jìn)行Wyner-Ziv編碼，生成的碼流傳輸到解碼端，解碼器利用生成的邊信息來(lái)進(jìn)行解碼，信號之間的相關(guān)性由解碼器來(lái)消除，Key幀采樣傳統視頻編碼中的幀內編碼(如H.264的幀內編碼)，解碼端通過(guò)Key幀和邊信息重建視頻序列。相對于傳統編碼技術(shù)，分布式視頻編碼主要有以下特點(diǎn)：低復雜度的編碼、高復雜度的解碼，對于容易產(chǎn)生誤碼的通信網(wǎng)絡(luò )具有較好的魯棒性，具有較高的壓縮效率，易形成分級編碼的碼流，適合傳感器網(wǎng)絡(luò )、分布式監控等應用場(chǎng)景。

視頻編解碼標準化

　　在標準化方面，MPEG工作組和VCEG工作組自聯(lián)合制定H.264標準后，又陸續完成了面向可伸縮網(wǎng)絡(luò )傳輸應用的H.264 SVC標準擴展，以及面向多視應用的H.264 MVC標準擴展，預計在明后年將推出H.265(即H.264 HVC)的編碼標準，該標準主要依賴(lài)小波的聚能性能和分解級數進(jìn)行視頻壓縮，在壓縮效率、魯棒性和錯誤恢復能力、實(shí)時(shí)時(shí)延和復雜度等方面將會(huì )有較大改進(jìn)。在國內，AVS工作組自2002年成立至今，已經(jīng)成功完成第一代AVS視音頻編碼標準制定工作，而面向高清、超高清、三維視頻的AVS2標準制定工作已經(jīng)展開(kāi)。

視頻流傳輸與存儲

　　由于目前的因特網(wǎng)在帶寬、延遲抖動(dòng)和丟包率等方面的不可預知性，在大規模網(wǎng)絡(luò )視頻監控系統中，需要采用相關(guān)技術(shù)，提高流媒體服務(wù)質(zhì)量，目前采用的技術(shù)主要包括：音視頻流播出質(zhì)量服務(wù)、視頻流的轉發(fā)與存儲、漸進(jìn)式音視頻流傳輸等。

音視頻流播出質(zhì)量服務(wù)

　　包括各個(gè)層次上的網(wǎng)絡(luò )服務(wù)控制(QOS)，如錯誤隱藏、跳幀處理和容錯編碼等。其中客戶(hù)端的差錯隱藏是比較常用的技術(shù)手段，該技術(shù)利用圖像序列的連續性恢復出受損塊的運動(dòng)矢量，在沒(méi)有運動(dòng)信息時(shí)利用受損塊周?chē)南嗤畔?lái)推測受損塊的內容。

視頻流的轉發(fā)與存儲

　　與數值、字符等數據不同，視音頻數據是非格式數據，并且數據量相對龐大，對存儲服務(wù)器和轉發(fā)服務(wù)器的性能有較高要求，因此服務(wù)器不僅需要有海量的多模態(tài)數據存儲能力，還需要有快速的數據吞吐量、實(shí)時(shí)的響應時(shí)間;對于存儲設備，主要技術(shù)包括有磁盤(pán)調度策略、數據條塊化、分級存儲和磁盤(pán)容錯等。

漸進(jìn)式音視頻流傳輸

　　這種傳輸方式首先接收并顯示低分辨率的音視頻數據，然后再進(jìn)一步接收更精細的數據，來(lái)提高音視頻的現實(shí)質(zhì)量，這樣可以用來(lái)平衡等待時(shí)間與觀(guān)看質(zhì)量之間的矛盾，該技術(shù)的關(guān)鍵問(wèn)題是對音視頻對象的漸進(jìn)式表達。

移動(dòng)視頻技術(shù)

　　隨著(zhù)移動(dòng)互聯(lián)網(wǎng)的發(fā)展，移動(dòng)終端已經(jīng)成為信息獲取和交互主要工具，成為視頻監控系統中的重要終端。目前移動(dòng)視頻監控系統應用中的核心問(wèn)題是如何在較低的帶寬和較小的顯示屏幕限制下，更方便地獲取視頻監控信息，其技術(shù)主要包括以下幾個(gè)方面：

面向小屏幕應用的媒體內容適配顯示

　　由于移動(dòng)終端的屏幕有限，而音視頻內容在移動(dòng)環(huán)境下往往不能被充分顯示，需要采用自適應瀏覽技術(shù)，對于靜態(tài)內容的顯示可根據前期關(guān)注分析的結果，按重要程度依次顯示或進(jìn)行放大縮小處理;對于動(dòng)態(tài)音視頻內容的播放，可以采用最優(yōu)化損失、曲線(xiàn)擬合等方法減少視頻畫(huà)面抖動(dòng)。

面向移動(dòng)音視頻訪(fǎng)問(wèn)的人機交互界面

　　由于移動(dòng)終端顯示屏幕大小的限制，往往不能像正常的屏幕那樣顯示檢索或推薦得到的多個(gè)媒體內容，這樣就需要研究移動(dòng)環(huán)境下的媒體可視化技術(shù)，在有限空間范圍內盡可能多的表示媒體內容，同時(shí)還能增強用戶(hù)的瀏覽觀(guān)感。

面向移動(dòng)應用的視頻轉碼

　　由于移動(dòng)終端的顯示能力和計算能力各不相同，支持的視頻質(zhì)量也各不相同，需要采用面向移動(dòng)應用的視頻轉碼和視頻傳輸技術(shù)，能根據不同的信道狀況和終端顯示能力，對視頻進(jìn)行自適應的轉碼處理。視頻轉碼技術(shù)分為碼率縮減的轉碼、分辨率縮減的轉碼、幀率縮減的轉碼、針對無(wú)線(xiàn)網(wǎng)絡(luò )的容錯轉碼、不同格式之間的轉碼等，其主要研究?jì)热莅ńY合快速模式選擇，高效、低復雜度的率失真優(yōu)化轉碼框架，以及根據輸入視頻碼流中的各種信息參數進(jìn)行不同預測模式之間的快速預測和變換。在多模式的視頻轉碼中，還需要根據用戶(hù)所需要的視頻內容和網(wǎng)絡(luò )資源占用情況，綜合考慮動(dòng)態(tài)調整視頻流的幀率、空間分辨率以及量化步長(cháng)，使得用戶(hù)體驗最優(yōu)化。

視頻分析

　　雖然音視頻內容的分析研究已經(jīng)進(jìn)行了多年，但許多問(wèn)題依然只能在較小的范圍內應用，目前監控系統中應用的視頻分析和理解技術(shù)主要包括特征提取、分類(lèi)方法、多模態(tài)融合等。

特征提取

　　現有的音視頻特征可分為兩類(lèi)：整體特征和局部特征，整體特征往往從整個(gè)媒體單元中抽取得到，可以較好地描述音視頻數據的整體特性，但不能有效描述其細節特點(diǎn)，局部特征從音視頻數據的局部中抽取得到，并用于描述其細節特點(diǎn)，局部特征可以對遮擋、光照、視角變換具有更好的魯棒性。受文本信息檢索技術(shù)的啟發(fā)，通過(guò)將音視頻數據的局部特征量化為視覺(jué)單詞，從而將媒體數據轉化為類(lèi)文本數據結構，進(jìn)而采用較為成熟的文本信息處理技術(shù)處理音視頻數據，這種基于局部特征和視覺(jué)單詞模型，已經(jīng)被應用于物體識別、物體檢測、視頻檢索、事件檢測等應用中。

分類(lèi)方法

　　目前采用的分類(lèi)方法可分大致為有監督學(xué)習、半監督學(xué)習和無(wú)監督學(xué)習三大類(lèi)，其中，有監督學(xué)習方法需要大量的標注數據用于訓練分類(lèi)器以對待處理的數據進(jìn)行的分類(lèi)識別，無(wú)監督學(xué)習方法通過(guò)聚類(lèi)分析等提取出一些可能有用的信息來(lái)輔助滿(mǎn)足用戶(hù)的需求，這兩種分析方法已經(jīng)在音視頻分析中得到了大量的應用;半監督學(xué)習方法，該方法利用數據的內在分布特點(diǎn)，只需要用戶(hù)標定少量數據以得到更準確的分類(lèi)模型，在已標注的訓練數據不足而未標注的數據卻大量存在的情況下效果較好，目前半監督學(xué)習算法主要有如自訓練法、產(chǎn)生式模型方法、直推式支持向量機及其改進(jìn)、多視角方法的和基于圖的學(xué)習方法等。

多模態(tài)融合

　　融合多種模態(tài)信息的音視頻分析可以根據不同模態(tài)特征在分類(lèi)能力和可靠性的差異采用不同的處理模式，通過(guò)合理利用圖像/關(guān)鍵幀、聲音、文字等多種媒體源特征的互補性，獲得更優(yōu)的分類(lèi)或檢測結果;多模態(tài)融合主要可以分為前融合和后融合，多模態(tài)特征的前融合即將不同的特征向量合并在一起作為分類(lèi)器輸入，具有應用簡(jiǎn)單、魯棒性較強的特點(diǎn)但常不能反映各模態(tài)特征受關(guān)注程度的全部信息，后融合方法在解決數據的不對稱(chēng)性問(wèn)題和不同時(shí)序層次的判別融合問(wèn)題方面具有較大優(yōu)勢。
視頻處理

　　視頻監控中的視頻處理技術(shù)主要包括視頻格式轉換和圖像增強兩大類(lèi)，視頻格式轉換包括視頻縮放和去隔行技術(shù)。

視頻格式轉換

視頻縮放技術(shù)

　　圖像縮放的方法主要有幾何變換法和離散圖像連續表示法兩大類(lèi)。幾何變換法的主要原理是將目標圖像上的點(diǎn)映射成源圖像上的點(diǎn)，然后將目標圖像的顏色值取作源圖像的顏色值，而當源圖像上的點(diǎn)不是格點(diǎn)時(shí)，則采用鄰近若干格點(diǎn)處的顏色值表示;離散圖像連續表示法對原始的數字圖像用連續函數進(jìn)行刻畫(huà)，再根據圖像放縮的倍數要求對該連續表示的圖像進(jìn)行重新采樣，最后得到新的離散表示的數字圖像。視頻縮放算法中，關(guān)鍵是插值參數曲面的構造.常用的插值方法有：鄰近點(diǎn)插值，雙線(xiàn)性插值，雙三次插值方法和三次B樣條插值等。在以上方法中，鄰近點(diǎn)插值不能保證插值曲面零階連續，插值后圖像會(huì )出現塊狀化現象，圖像視覺(jué)效果不佳，因而在實(shí)際的應用中極少采用;雙線(xiàn)性插值只能達到零階連續，在插值處只能保證灰度值連續，不能保證導數值連續。因此，在某些要求較高的場(chǎng)合仍不能滿(mǎn)足要求;B樣條插值方法可以達到二階連續，在插值處可以保證灰度值和直到二階導數值連續，因而對一些細節豐富的圖像應用雙三次樣條插值可以得到更好的視覺(jué)效果，但B樣條插值需要求解線(xiàn)性方程組，其計算時(shí)間較長(cháng)，尤其是在放大倍數很大時(shí)，尤為明顯。

去隔行技術(shù)

　　目前業(yè)界采用的去交錯方法主要可以分為四類(lèi)：直接合并去交錯、圖場(chǎng)內差去交錯、動(dòng)態(tài)適應去交錯和動(dòng)態(tài)補償去交錯;直接合并去交錯法將連續的奇或偶圖場(chǎng)直接合并為一幀，此方法計算量小，但會(huì )產(chǎn)生梳狀流線(xiàn)、邊緣閃動(dòng)等現象，一般用于靜態(tài)畫(huà)面的處理;圖場(chǎng)內差去交錯法在圖場(chǎng)內通過(guò)算法確定邊緣方向，通過(guò)在邊緣方向上進(jìn)行插值確定目標圖場(chǎng)數值，通常這類(lèi)方法計算量小可以讓物體邊緣更銳利，但會(huì )產(chǎn)生邊緣閃動(dòng)的現象;動(dòng)態(tài)適應去交錯法結合直接合并法和圖場(chǎng)內插法，在算法中增加了動(dòng)態(tài)偵測器，通過(guò)圖場(chǎng)差判斷畫(huà)面某部分是否動(dòng)態(tài)，將動(dòng)態(tài)部分做圖場(chǎng)內插，對靜態(tài)部分做直接合并，此類(lèi)方法計算量比較大，對于超大范圍的運動(dòng)、移動(dòng)、轉動(dòng)和縮放會(huì )產(chǎn)生放射性條紋;動(dòng)態(tài)補償去交錯法不僅要檢測視頻圖像序列中是否存在運動(dòng)，還要計算運動(dòng)的方向和大小，通過(guò)計算得到的運動(dòng)矢量從鄰近場(chǎng)的像素點(diǎn)來(lái)還原本場(chǎng)內的像素點(diǎn)，此方法能解決運動(dòng)物體的還原問(wèn)題，但是計算量較大且運動(dòng)矢量計算誤差將被傳輸到臨近的視頻場(chǎng)。

圖像增強處理

　　圖像增強方法主要分成兩大類(lèi)：頻率域法和空間域法，前者把圖像看成一種二維信號，對其進(jìn)行基于二維傅里葉變換的信號增強，采用低通濾波法，可去掉圖像中的噪聲，采用高通濾波法，則可增強邊緣等圖像高頻信號;基于空域的算法分為點(diǎn)運算算法和鄰域去噪算法，點(diǎn)運算算法即灰度級校正、灰度變換和直方圖修正等，目的是使圖像成像均勻，或擴大圖像動(dòng)態(tài)范圍，擴展對比度，鄰域增強算法分為圖像平滑和銳化兩種，平滑一般用于消除圖像噪聲，常用鄰域增強算法有均值濾波、中值濾波，銳化的用于突出物體的邊緣輪廓，常用銳化算法有梯度法、算子、高通濾波、掩模匹配法、統計差值法等。

視頻檢索

　　目前視頻監控中的視頻檢索技術(shù)主要是通過(guò)在視頻碼流中加入特定標簽的對視頻進(jìn)行標識，在關(guān)系數據庫中對標簽進(jìn)行索引實(shí)現視頻檢索;未來(lái)的視頻檢索將采用面向對象的數據庫技術(shù)，實(shí)現基于內容的視頻檢索?；趦热莸囊曨l信息檢索通過(guò)對非結構化的視頻數據進(jìn)行結構化分析和處理，采用視頻分割技術(shù)，將連續的視頻流劃分為具有特定語(yǔ)義的視頻片段即鏡頭，作為檢索的基本單元，在此基礎上進(jìn)行代表幀的提取和動(dòng)態(tài)特征的提取，形成描述鏡頭的特征索引。依據鏡頭組織和特征索引，采用視頻聚類(lèi)等方法研究鏡頭之間的關(guān)系，把內容相近的鏡頭組合起來(lái)，逐步縮小檢索范圍，直至查詢(xún)到所需的視頻數據，所以視頻分割、代表幀和動(dòng)態(tài)特征提取是基于內容的視頻檢索的關(guān)鍵技術(shù)。

　　視頻分割有自動(dòng)和半自動(dòng)兩種方式，其中自動(dòng)分割的難度大，分割效果隨視頻的內容復雜度變化很大，半自動(dòng)分割方式適用于復雜場(chǎng)景下對象的分割，分割的質(zhì)量較好，但沒(méi)有實(shí)時(shí)性，采用的方法主要有幀間差分法、運動(dòng)矢量場(chǎng)估計法、基于貝葉斯和馬爾科夫隨機場(chǎng)的分割方法等;代表幀是用于描述鏡頭的關(guān)鍵圖像，常用的選取方法是幀平均法和直方圖平均法，抽取代表幀后，視頻檢索就轉變?yōu)閿祿熘蓄?lèi)似代表幀的檢索，目前常用的查詢(xún)方式是示例查詢(xún)，在視頻特征庫的支持下檢索到相似代表幀，用戶(hù)通過(guò)播放觀(guān)看相關(guān)視頻片段，選擇相似圖像進(jìn)行查詢(xún);動(dòng)態(tài)特征是檢索時(shí)用戶(hù)所能給出的主要內容，如鏡頭的運動(dòng)變化、運動(dòng)目標的大小變化、視頻目標的運動(dòng)軌跡等，這些動(dòng)態(tài)特征的提取需要通過(guò)對視頻序列的分析提取分析，視頻運動(dòng)信息的提取需要計算光流圖，它是對物體在三維場(chǎng)景中運動(dòng)在二維圖像平面上投影變化的估計，主要采用基于窗口的塊匹配算法。

總 結

　　隨著(zhù)物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，傳統的IT架構逐漸云端化，計算資源和承載業(yè)務(wù)將進(jìn)一步深度整合，在物聯(lián)網(wǎng)和云計算匯聚的潮流中，視頻監控技術(shù)將發(fā)生徹底的變革：視頻監控平臺將成為多信息互聯(lián)、集成、交互的核心系統，視頻監控前端設備逐漸進(jìn)化為具有自主智能的節點(diǎn)，整個(gè)監控前端網(wǎng)絡(luò )將從星型管控向網(wǎng)狀感知系統轉變，通過(guò)RFID、無(wú)線(xiàn)傳感網(wǎng)、視頻監控網(wǎng)絡(luò )的協(xié)作互補，監控系統的感知能力和智能程度將得到極大提升，采集的數據也將從非結構化數據轉變?yōu)榛ハ嚓P(guān)聯(lián)的結構化數據。在這場(chǎng)變革中，圖像處理技術(shù)特別是視頻編解碼技術(shù)，視頻分析、理解、檢索技術(shù)是將是未來(lái)產(chǎn)業(yè)競爭的制高點(diǎn)，值得業(yè)內人士持續關(guān)注。（