監控視頻中的圖像預處理技術(shù)

1.引言

在視頻監控領(lǐng)域，提高監控圖像質(zhì)量和編碼傳輸效率一直是我們最為重要的追求目標。提高視頻質(zhì)量意味著(zhù)提高最終用戶(hù)的觀(guān)看滿(mǎn)意度，提高編碼效率則意味著(zhù)在同樣的碼率限制下可以傳輸更高質(zhì)量的視頻。這涉及到監控系統中的多個(gè)環(huán)節，從上游的實(shí)際場(chǎng)景，到中間的傳輸網(wǎng)絡(luò )，再到下游的用戶(hù)終端，主要包括圖像的采集、壓縮處理、傳輸或存儲、解壓縮和顯示等部分，其中任何一個(gè)上游環(huán)節出了問(wèn)題，對圖像質(zhì)量的影響都不是下游環(huán)節能夠糾正或補救的。視頻信號的預處理處在系統最上游，是針對主處理而言的，如圖1所示。在視頻監控中，主處理一般是指視頻的壓縮編碼和傳輸，此前的處理一般稱(chēng)之為預處理，常將它歸并在視頻采集部分。無(wú)疑，視頻采集中的預處理是一個(gè)重要環(huán)節，處理的好壞將直接影響采集圖像質(zhì)量以及后續編碼傳輸處理的效率。

有一個(gè)現象可以有力地說(shuō)明預處理在改進(jìn)圖像質(zhì)量方面的作用：對同樣場(chǎng)景、采用相同的碼率，不同廠(chǎng)家的網(wǎng)絡(luò )攝像機解碼輸出視頻的質(zhì)量往往存在較大的差別。尤其是在比較惡劣的環(huán)境下，其差別更為顯著(zhù)。產(chǎn)生這種差別的一個(gè)重要原因在于：在監控系統中，雖然大家都采用標準化的視頻壓縮方法，但最后解碼輸出圖像的質(zhì)量高低很大程度上取決于有無(wú)預處理、預處理的好壞，有時(shí)還包括適當的后處理。

　　近來(lái)，隨著(zhù)人們對預處理重要性認識的不斷提高，隨著(zhù)集成芯片和信號處理器能力的不斷增強，業(yè)界對視頻信號的預處理越來(lái)越重視，市場(chǎng)上高質(zhì)量的監控產(chǎn)品一定離不開(kāi)高質(zhì)量的視頻預處理方法。

　　2.預處理的作用

　　視頻預處理的第一個(gè)作用是提高編碼視頻的質(zhì)量。在實(shí)際的視頻監控的應用中，不像娛樂(lè )視頻，往往有高質(zhì)量的攝像機、良好的演播室拍攝環(huán)境和專(zhuān)業(yè)技術(shù)人員的時(shí)時(shí)人為干預，因此可以保證得到的高質(zhì)量的采集視頻。而視頻監控系統由于成本、環(huán)境等因素影響，所獲取的原始視頻質(zhì)量并不高，甚至很低。例如，由于環(huán)境、噪聲、光照、運動(dòng)等影響，往往所采集的圖像常常出現模糊、扭曲、噪點(diǎn)、太亮或太暗、彩色不鮮明、……。對于這樣比較差的視頻，再進(jìn)行壓縮、傳輸、解碼顯示，用戶(hù)所看到的監控視頻常常不能令人滿(mǎn)意的。如何在現有的條件下提高采集視頻質(zhì)量的問(wèn)題就實(shí)在地放在我們面前。對此，一個(gè)重要的應對措施就是在視頻采集環(huán)節進(jìn)行預處理(preprocessing)，以利于提高采集視頻質(zhì)量，有利于后續的視頻處理，以利于用戶(hù)提取視頻中感興趣的信息。

　　視頻預處理的第二個(gè)作用是提高編碼效率和有利于碼率控制。我們知道，無(wú)論是有線(xiàn)還是無(wú)線(xiàn)視頻傳輸，都是基于IP的包傳輸方式，信號的傳輸速率不穩定，速率會(huì )隨用戶(hù)的擁擠程度、信道的物理介質(zhì)而不斷變化。要在這樣速率變化的信道上穩定、高效地傳輸壓縮視頻圖像，除了依賴(lài)編碼器的碼率控制之外，還可以利用預處理的方法來(lái)輔助實(shí)現。在編碼前對圖像進(jìn)行預處理，控制輸入到編碼器的視頻數據量，從而來(lái)間接控制編碼器輸出的碼率，其過(guò)程仍可參見(jiàn)圖1。

　　由圖1可見(jiàn)，不僅通過(guò)緩沖區的滿(mǎn)溢程度來(lái)控制量化步長(cháng)，同時(shí)也加上了預處理對輸入的視頻數據進(jìn)行控制。例如，當信道變窄時(shí)，我們可以根據信道帶寬信息對輸入視頻進(jìn)行一定程度的平滑濾波，減少細節，甚至進(jìn)行下采樣處理、跳幀處理，使編碼視頻的碼率能與信道帶寬相匹配。當然，由于信道狀況信息的獲得比較麻煩，可以經(jīng)統計學(xué)習建立信道帶寬變化的近似模型，再依據這個(gè)模型來(lái)決定預處理的方法和程度。

　　最早的視頻預處理是在模擬域進(jìn)行的，包括對模擬視頻信號的限帶濾波、噪聲抑制、自動(dòng)增益控制、白平衡以及r校正等。隨著(zhù)視頻采集技術(shù)的數字化進(jìn)程，這些簡(jiǎn)單的預處理方法大多已經(jīng)集成到芯片中去了?，F在，視頻預處理都是在數字域進(jìn)行的，即在視頻數字化采集以后進(jìn)行，充分發(fā)揮了數字信號處的方便、高效、靈活和一致的優(yōu)越性。目前，在視頻監控中常見(jiàn)的預處理方法除了基本的圖像濾波、圖像去噪和多種圖像增強處理外，還出現了多種針對特殊應用環(huán)境的預處理方法，如背光或暗光處理、雨霧煙處理、感興趣區間的處理等。

　　3.常見(jiàn)的預處理方法

　　現在常見(jiàn)的效果明顯的視頻預處理主要包括下面的幾個(gè)方面。

　　3.1 限帶濾波和降采樣

　　根據奈奎斯特定理，只有對圖像進(jìn)行高于兩倍信號最高頻率的采樣才能保證從采樣值完全恢復原圖像。但是如果該條件不滿(mǎn)足，即欠采樣時(shí)，高次諧波的頻譜就會(huì )疊加到基波，出現頻譜混疊效應。隨著(zhù)圖像高清晰度的增加，由于采樣率的限制，絕大多數成像系統都存在不同的混疊現象。怎樣消除混疊效應成為了預處理中的一個(gè)令人關(guān)注的問(wèn)題。

　　抑制或消除混疊效應常采用兩項措施，一是限帶濾波，二是下采樣。限帶濾波就是對高速采樣的數字視頻進(jìn)行一次低通濾波，抑制奈奎斯特定理定義的通帶以外的高頻分量。因為這些帶外分量在后續的處理中會(huì )引起混疊效應，產(chǎn)生無(wú)意義的高頻分量，而編碼器還得對它們進(jìn)行編碼，浪費不少寶貴的編碼比特。僅采用限帶濾波只能濾除信號中少量的高頻分量，如果信號帶寬遠高于奈奎斯特帶寬，那么在限帶濾波后還需進(jìn)行一次下采樣，進(jìn)一步減少碼字。

　　3.2 噪聲去除

　　噪聲對于任何實(shí)際的視頻采集來(lái)說(shuō)均是不可避免的，如果在編碼前未將不必要的噪聲去除，不僅會(huì )影響解碼視頻質(zhì)量，而且后面的編碼部分還將為噪聲編碼，降低了效率。視頻中常見(jiàn)的噪聲主要有加性噪聲、乘性噪聲和量化噪聲等。圖像中的噪聲往往和信號交織在一起，尤其是乘性噪聲，如果濾波不當，就會(huì )使圖像本身的細節，如邊界輪廓、線(xiàn)條等，變得模糊不清。如何既平滑掉噪聲又盡量保持圖像細節，是圖像去噪的難點(diǎn)所在。

　　圖像去噪方法很多，它們大體上可以分為兩類(lèi)：空間域的去噪方法和變換域的去噪方法。這兩類(lèi)方法的最主要區別是前者直接對觀(guān)察圖像數據進(jìn)行處理，而后者則是先對圖像進(jìn)行某種變換，然后再對變換后的系數進(jìn)行處理。

　　變換域的去噪方法認為，在變換域圖像往往是稀疏表示的，即高頻分量很少，大部份噪聲處于高頻部分，通過(guò)在變換域設置閾值或者截斷高端頻譜來(lái)去除噪聲。這類(lèi)方法的優(yōu)點(diǎn)是在變換域進(jìn)行處理比較簡(jiǎn)單。它的不足之處在于對閾值的設置比較困難;在去除噪聲的同時(shí)不可避免地會(huì )平滑圖像本身的紋理細節;圖像在變換域丟失了部分結構特征，特別是邊界信息等。這些都會(huì )影響去噪圖像的質(zhì)量?！　】臻g域的去噪方法關(guān)注圖像數據本身，如近年來(lái)流行的基于塊的去噪方式，其基本思想是為去噪圖像的每一個(gè)塊尋找與它相似的塊，相似塊可以在同一幀內部尋找，或者其它幀中尋找，還可在其它圖像中尋找，最后通過(guò)加權平均等操作恢復圖像塊?？臻g域的方法利用了更多的圖像數據信息，保留圖像的結構，有利于保持圖像細節，但也容易出現過(guò)平滑現象。近年來(lái)針對圖像的混合高斯噪聲，出現了一種將變換域和空間域方法相結合的自適應噪聲去除方法。這種方法首先采用基于塊和濾波的噪聲參數估計，自適應的估計混合高斯噪聲參數，然后利用估計得到的噪聲參數進(jìn)行圖像去噪，將多幅去噪圖像進(jìn)行簡(jiǎn)單的數據融合，最終獲得性能良好的去噪圖像，其過(guò)程如下圖2所示。

3.3 圖像增強

　　圖像增強處理的任務(wù)是有目地突出圖像中的感興趣部分，或目標的特征，抑制圖像中某些不需要的特征，提高圖像的清晰度，改進(jìn)圖像的觀(guān)賞質(zhì)量。在圖像增強過(guò)程中，一般不考慮圖像降質(zhì)的原因，增強后的圖像也不一定要逼近原圖像。圖像增強中常見(jiàn)的幾種具體處理方法為：

　　(1)直方圖均衡

　　在圖像處理中，圖像直方圖表示了圖像中像素灰度值的分布情況。為使圖像變得清晰，增大反差，凸顯圖像細節，通常希望圖像灰度的分布從暗到亮大致均勻。直方圖均衡就是把那些直方圖分布不均勻的圖像(如大部分像素灰度集中分布在某一段)經(jīng)過(guò)一種函數變換，使之成一幅具有均勻灰度分布的新圖像，其灰度直方圖的動(dòng)態(tài)范圍擴大。用于直方均衡化的變換函數不是統一的，它是輸入圖像直方圖的積分，即累積分布函數。

　　(2)灰度變換

　　灰度變換可使圖像動(dòng)態(tài)范圍增大，對比度得到擴展，使圖像清晰、特征明顯，是圖像增強的重要手段之一。它主要利用圖像的點(diǎn)運算來(lái)修正像素灰度，由輸入像素點(diǎn)的灰度值確定相應輸出像素點(diǎn)的灰度值，可以看作是“從像素到像素”的變換操作，不改變圖像內的空間關(guān)系。像素灰度級的改變是根據輸入圖像f(x, y)灰度值和輸出圖像g(x, y)灰度值之間的轉換函數g(x，y)=T[f(x，y)]進(jìn)行的。

　　灰度變換包含的方法很多，如逆反處理、閾值變換、灰度拉伸、灰度切分、灰度級修正、動(dòng)態(tài)范圍調整等。

　　(3)白平衡

　　白色是人眼對比例相同且具有一定亮度的藍、綠、紅三種色光所形成的視覺(jué)反應。在正常的情況下，視頻采集系統對白光的輸出為白色，簡(jiǎn)單地說(shuō)這個(gè)系統處于白平衡狀態(tài)。如果系統對白光不能夠保持白色輸出，出現偏色，如發(fā)紅或發(fā)藍等，就說(shuō)明采集系統對現場(chǎng)彩色的處理出現了偏差，即未達到白平衡。由于場(chǎng)景的彩色情況非常復雜，難以斷定白平衡情況，所以在實(shí)際應用中，常常用白光來(lái)判定系統的白平衡狀況。這是一種衡量系統的色彩比例是否恰當的一種方便、直觀(guān)的方法。如果達到了白平衡，那么輸出的色彩也是白色，沒(méi)有其它的偏色;如果有偏色，說(shuō)明沒(méi)有達到白平衡，需要在預處理時(shí)加以調整，使之成像后仍然為白色。

　　(4)伽瑪校正

　　在視頻采集系統中，CCD、CMOS等光電轉換的器件的特性都是非線(xiàn)性的。場(chǎng)景的亮度L和是傳感器輸出的電壓E，之間的關(guān)系可用一個(gè)冪函數E(x, y)=kLr(x, y)來(lái)表示，其中k是比例常數，r是冪函數的指數，用它來(lái)衡量非線(xiàn)性器件的轉換特性，稱(chēng)之為伽瑪特性。在視頻中由于伽瑪特性的存在，會(huì )導致圖像信號的亮度失真，影響圖像質(zhì)量。因此要對這個(gè)失真進(jìn)行補償，即伽瑪校正。簡(jiǎn)單地說(shuō)，就是對輸出電壓用一個(gè)負指數函數對其進(jìn)行校正，使得校正后的光、電兩個(gè)量之間保持線(xiàn)性關(guān)系。

　　(5)圖像平滑

　　在空間域中進(jìn)行平滑濾波技術(shù)主要用于消除圖像中的噪聲，主要有鄰域平均法、中值濾波法等等。這種局部平均的方法在削弱噪聲的同時(shí)，常常會(huì )帶來(lái)圖像細節信息的損失。

　　鄰域平均，也稱(chēng)均值濾波，對于給定的圖像f(x,y)中的每個(gè)像素點(diǎn)(x,y)，它所在鄰域S中所有M個(gè)像素灰度值平均值為其濾波輸出，即用一像素鄰域內所有像素的灰度平均值來(lái)代替該像素原來(lái)的灰度。

　　中值濾波，對于給定像素點(diǎn)(x,y)所在領(lǐng)域S中的n個(gè)像素值數值{f1, f2,…,fn}，將它們按大小進(jìn)行有序排列，位于中間位置的那個(gè)像素數值稱(chēng)為這n個(gè)數值的中值。某像素點(diǎn)中值濾波后的輸出等于該像素點(diǎn)鄰域中所有像素灰度的中值。中值濾波是一種非線(xiàn)性濾波，運算簡(jiǎn)單，實(shí)現方便，而且能較好的保護邊界。

　　(6)圖像銳化

　　采集圖像變得模糊的原因往往是圖像受到了平均或者積分運算，因此，如果對其進(jìn)行微分運算，就可以使邊緣等細節信息變得清晰。這就是在空間域中的圖像銳化處理，其的基本方法是對圖像進(jìn)行微分處理，并且將運算結果與原圖像疊加。從頻域中來(lái)看，銳化或微分運算意味著(zhù)對高頻分量的提升。常見(jiàn)的連續變量的微分運算有一階的梯度運算、二階的拉普拉斯算子運算，它們分別對應離散變量的一階差分和二階差分運算。

　　(7)小波變換增強

　　對圖像進(jìn)行小波變換，可得到圖像的不同頻率分量的小波變換系數，如果對適當的高頻系數進(jìn)行增強處理后，再進(jìn)行小波逆變換之后，就可以達到圖像的細節或邊緣增強的目的。當然，小波變換還可以用來(lái)去除圖像中的噪聲。由于噪聲大多屬于高頻信息，因此，當進(jìn)行小波變換之后，噪聲信息大多集中在高頻子塊之中，對這一部分系數進(jìn)行抑制，則可以達到一定的噪聲去除效果。

　4. 特殊場(chǎng)合的預處理

　　視頻監控的應用范圍廣闊，在圖像采集時(shí)人為干預的極少。因此，各種環(huán)境的影響，監控目標的影響以及人為因素的影響都不可避免。面對種種不利的特殊場(chǎng)合，按照標準執行的壓縮處理是無(wú)能為力的。為了提高種類(lèi)期刊下監控視頻的質(zhì)量，采用視頻預處理就顯得格外重要。近年來(lái)在如下的幾個(gè)方面的研究和開(kāi)發(fā)都取得了可喜的進(jìn)展。

　　4.1 雨霧圖像處理

　　在霧天、雨天或者煙霾不散的情況下，由于場(chǎng)景的能見(jiàn)度降低，圖像中目標對比度和顏色等特征被衰減，致使室外視頻系統的圖像模糊不清，影響正常工作，因此需要在視頻編碼前消除雨水、霧霾對場(chǎng)景圖像的影響。

　　以霧氣消除為例，目前的圖像處理方法主要分為兩類(lèi)：霧天圖像增強和霧天圖像復原。霧天圖像增強方法不考慮圖像降質(zhì)原因，方法簡(jiǎn)單，能有效地提高霧天圖像的對比度，突出圖像的細節，改善圖像的視覺(jué)效果，但可能會(huì )造成一定的信息損失?！　§F天圖像復原針對霧天圖像質(zhì)量退化的機理，建立霧氣圖像退化模型，然后用圖像復原的方法，對霧天退化圖像進(jìn)行復原，補償退化過(guò)程造成的失真，獲得對無(wú)霧圖像的最優(yōu)估計，從而改善霧天圖像質(zhì)量。這種方法針對性強，得到的去霧效果自然，信息損失小，處理的關(guān)鍵是模型中參數的估計。

4.2 暗光圖像處理

　　在夜晚或光線(xiàn)不足的情況下，監控攝像很難捕獲到清晰亮麗的圖像，給道視頻監控帶來(lái)很大困難。因此，暗光圖像增強的技術(shù)具有很強的現實(shí)意義。普通的圖像增強算法對暗光圖像處理只是作全局或局部的對比度拉伸，作用有限，不易實(shí)現圖像的動(dòng)態(tài)增強與色度保持。近年來(lái)的Retinex 算法對暗光圖像的處理取得了良好的效果，增強了暗光圖像的對比度，較好地保持了圖像的色度。

　　Retinex算法在研究人的顏色視覺(jué)理論和視網(wǎng)膜皮層理論的基礎上，提出一種關(guān)于人類(lèi)視覺(jué)系統如何調節感知到物體顏色和亮度的模型。在這一模型中，圖像由兩部分組成，一部分是場(chǎng)景中物體的光照亮度，對應于圖像的低頻部分，另一部分是場(chǎng)景中物體的反射亮度，對應于圖像的高頻部分，通常它們也被稱(chēng)為亮度圖像和反射圖像。因此Retinex算法從給定的圖像中分離出亮度圖像和反射圖像，在彩色恒定的條件下，通過(guò)改變亮度圖像和反射圖像在原圖像中的比例來(lái)達到增強暗光圖像的目的。

　　4.3 自動(dòng)曝光和聚焦

　　(1)自動(dòng)曝光

　　CMOS之類(lèi)的傳感器只有獲得正確的曝光量，才能得到高質(zhì)量的圖像。曝光過(guò)度，圖像看起來(lái)太亮;曝光不足，則圖像看起來(lái)太暗。到達傳感器的光通量的大小主要由兩方面因素決定：曝光時(shí)間的長(cháng)短以及光圈的大小。利用光圈進(jìn)行自動(dòng)曝光，主要根據所拍攝的場(chǎng)景來(lái)控制光圈大小，使得進(jìn)光量維持在一定范圍內，成本比較高?，F在市場(chǎng)所見(jiàn)的中低端攝像頭采用的主流技術(shù)通過(guò)調整曝光時(shí)間來(lái)實(shí)現自動(dòng)曝光。在研究了大量不同光照條件的圖像實(shí)例基礎上，獲得不同光照條件下的亮度與曝光值之間的關(guān)系，自動(dòng)曝光的預處理正是根據這一關(guān)系來(lái)進(jìn)行曝光控制的。

　　(2)自動(dòng)聚焦

　　聚焦的好壞直接影響攝像機捕獲的視頻圖像的清晰度，因此監控系統要求攝像機具有自動(dòng)聚焦的功能，調整鏡頭的焦距使其焦點(diǎn)位于感光面上，從而獲得清晰的圖像。自動(dòng)聚焦的方法可以分為三大類(lèi)：一類(lèi)是基于鏡頭與被攝目標之間距離測量的測距方法，另一類(lèi)是基于聚焦屏上成像清晰的聚焦檢測方法，第三類(lèi)是基于數字圖像處理的自動(dòng)聚焦方法，這是最適宜于監控系統的一種方法。

　　基于數字圖像處理的自動(dòng)聚焦方法對采集的每一幀圖像進(jìn)行實(shí)時(shí)處理，通過(guò)判斷聚焦是否準確、成像是否清晰給出反饋信號控制鏡頭的運行，直到采集的圖像符合使用要求，即完成自動(dòng)聚焦。這種方法的特點(diǎn)是聚焦更加智能化、聚焦判據更加靈活，方便聚焦控制的執行，從而避開(kāi)復雜的對焦電路和機構。

　　4.4 背光補償

　　在視頻采集過(guò)程中，如果場(chǎng)景中的目標遮擋住了光源，那么感興趣目標表面不能夠接收到足夠光強，導致的感興趣區域的亮度比較暗，看不清細節，這就是所謂的背光現象。很明顯，背光補償處理的目的在于提高感興趣區域的亮度，適當的對比度，同時(shí)保證整幅圖像的自然性和平滑性。背光補償的一實(shí)例如圖4所示。對于視頻序列，在保證單幀圖像補償效果的同時(shí)，還要保證補償后視頻序列亮度的連續性，避免閃爍現象的發(fā)生。

除了上面介紹的幾種特殊的預處理方法外，還有多種其它的預處理方法。例如感興趣區域的處理，這種方法首先找出圖像中感興趣區域，對此處進(jìn)行增強處理，以專(zhuān)注于提高感興趣目標的圖像質(zhì)量。再如自動(dòng)鎖定動(dòng)態(tài)目標的處理，和感興趣區域處理類(lèi)似，首先檢測出動(dòng)態(tài)目標，對該目標進(jìn)行跟蹤和增析處理。

　　5. 小結

　　視頻監控系統增加了預處理環(huán)節，一則可以提高解碼圖像質(zhì)量，尤其是某些不利條件下的視頻質(zhì)量;二則可以提高視頻編碼的效率，減少傳輸視頻的質(zhì)量波動(dòng)。其實(shí)，提高編碼效率和改進(jìn)碼率控制，其結果仍然是提高了解碼視頻的質(zhì)量。近年來(lái)，業(yè)界對視頻預處理愈加重視，各種預處理的方法層出不窮，取得了顯著(zhù)的進(jìn)展。但是，由于種種因素的限制，預處理的效果還不能夠令人滿(mǎn)意，還有諸多的問(wèn)題需要在今后的研究和開(kāi)發(fā)中逐步解決。未來(lái)，如何提高視頻監控的圖像效果，是否能找到除了預處理之外的有效圖像處理方法，將是促使視頻圖像效果改善的一大重點(diǎn)，讓我們拭目以待。