基于關(guān)鍵幀提取技術(shù)的網(wǎng)絡(luò )視頻監控系統

顏色直方圖是最常用的表達顏色特征的方法，其優(yōu)點(diǎn)是不受圖像旋轉和平移變化的影響，進(jìn)一步借助歸一化還可不受圖像尺度變化的影響，基缺點(diǎn)是沒(méi)有表達出顏色空間分布的信息。顏色直方圖簡(jiǎn)單描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所占的比例，特別適用于描述那些難以自動(dòng)分割的圖像和不需要考慮物體空間位置的圖像。

紋理特征也是一種全局特征，它也描述了圖像或圖像區域所對應景物的表面性質(zhì)。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質(zhì)屬性，所以?xún)H僅利用紋理特征是無(wú)法獲得高層次圖像內容的。與顏色特征不同，紋理特征不是基于像素點(diǎn)的特征，它需要在包含多個(gè)像素點(diǎn)的區域中進(jìn)行統計計算。在模式匹配中，這種區域性的特征具有較大的優(yōu)越性，不會(huì )由于局部的偏差而無(wú)法匹配成功。作為一種統計特征，紋理特征常具有旋轉不變性，并且對于噪聲有較強的抵抗能力。但是，紋理特征也有其缺點(diǎn)，一個(gè)很明顯的缺點(diǎn)是當圖像的分辨率變化的時(shí)候，所計算出來(lái)的紋理可能會(huì )有較大偏差。

通常情況下，形狀特征有兩類(lèi)表示方法，一類(lèi)是輪廓特征，另一類(lèi)是區域特征。圖像的輪廓特征主要針對物體的外邊界，而圖像的區域特征則關(guān)系到整個(gè)形狀區域。形狀的表達和匹配采用更為簡(jiǎn)單的區域特征描述方法，例如采用有關(guān)形狀定量測度(如矩、面積、周長(cháng)等)的形狀參數法。

空間關(guān)系，是指圖像中分割出來(lái)的多個(gè)目標之間的相互的空間位置或相對方向關(guān)系，這些關(guān)系也可分為連接或鄰接關(guān)系、交疊或重疊關(guān)系和包含包容關(guān)系等。通?？臻g位置信息可以分為兩類(lèi)：相對空間位置信息和絕對空間位置信息。前一種關(guān)系強調的是目標之間的相對情況，如上下左右關(guān)系等，后一種關(guān)系強調的是目標之間的距離大小以及方位。顯而易見(jiàn)，由絕對空間位置可推出相對空間位置，但表達相對空間位置信息常比較簡(jiǎn)單?？臻g關(guān)系特征的使用可加強對圖像內容的描述區分能力，但空間關(guān)系特征常對圖像或目標的旋轉、反轉、尺度變化等比較敏感。另外，實(shí)際應用中，僅僅利用空間信息往往是不夠的，不能有效準確地表達場(chǎng)景信息。

優(yōu)秀的匹配算法是系統工作效率和辨識能力的保證，而高效的匹配算法需要準確地描述出關(guān)鍵幀的特征。在本系統中，我們考慮到系統計算能力和穩定性的要求，采用顏色直方圖和形狀特征相結合的描述算法。當提取出當前網(wǎng)絡(luò )視頻流的關(guān)鍵幀序列后，將關(guān)鍵幀以流水線(xiàn)作業(yè)的方式后匹配規則庫中的匹配圖像做比較，若相似率大于預定的閥值時(shí)，我們就有理由相信當前視頻流是垃圾視頻。如果相似率低于預定的閥值，但落在了一個(gè)預定的有嫌疑的區間中，我們可以提取當前關(guān)鍵幀的顏色直方圖和輪廓特征，與匹配圖像的顏色直方圖和輪廓特征相比較，如果其匹配概率大于預警閥值，系統可向管理員提出告警，再通過(guò)人工識別的方式來(lái)判斷當前視頻流是否非法。

4. 告警響應和處理

隨著(zhù)網(wǎng)絡(luò )風(fēng)險系數不斷提高，網(wǎng)絡(luò )攻擊技術(shù)和病毒木馬技術(shù)日益更新，單純的網(wǎng)絡(luò )安全設備已經(jīng)不能滿(mǎn)足企業(yè)、學(xué)校和家庭的安全保障。因此，本系統對視頻信息的監測也將和其它網(wǎng)絡(luò )安全設備結合在一起，構成全方位的網(wǎng)絡(luò )安全保障體系結構來(lái)保證一個(gè)安全和諧的網(wǎng)絡(luò )環(huán)境。

基于系統特有的預警機制，可以降低誤報率和提高監測效率。當系統檢測到垃圾視頻信息時(shí)，將提取出該視頻數據包的源IP地址和端口等信息，并將信息顯示在系統報警頁(yè)面通知系統管理員的同時(shí)，也會(huì )將信息傳輸到網(wǎng)絡(luò )安全保障體系結構中的其他相關(guān)安全設備，如防火墻等。防火墻將第一時(shí)間將此非法IP地址和端口列入黑名單中，禁止該IP地址的視頻數據包通過(guò)防火墻。

圖4 安全保障體系結構

系統也可和入侵檢測及安全審計等安全設備結合，來(lái)防止病毒和木馬等捆綁在視頻信息中對用戶(hù)進(jìn)行攻擊。系統首先將關(guān)鍵幀進(jìn)行匹配校驗，如果相似率低于預警閥值，我們也不能掉以輕心，不排除其圖像中隱藏有病毒和木馬等信息，導致圖像像素發(fā)生了肉眼無(wú)法區別的改變，由于圖像像素結構的改變，可能會(huì )欺騙視頻監測系統，從而通過(guò)了檢驗。因此，此時(shí)系統會(huì )將關(guān)鍵幀傳輸到病毒掃描系統進(jìn)行進(jìn)一步的檢查。

由于系統本身的匹配校驗和預警機制，同時(shí)結合網(wǎng)絡(luò )安全保障體系中其他安全設備的資源來(lái)對視頻流進(jìn)行監測，可以保障視頻信息的干凈和安全，同時(shí)不影響用戶(hù)對視頻服務(wù)的享受。

系統實(shí)現

I.硬件實(shí)現

系統分別由視頻數據包識別捕獲單元、視頻解碼關(guān)鍵幀提取處理單元、關(guān)鍵幀查詢(xún)單元、視頻關(guān)鍵幀匹配單元、關(guān)鍵幀匹配規則庫和告警響應處理單元六個(gè)模塊組成。

視頻數據包識別捕獲單元

視頻數據包識別捕獲單元由FPGA Spartan 3E板卡來(lái)實(shí)現。FPGA具有高速并行處理的邏輯編程結構，可以實(shí)現流水線(xiàn)識別源IP地址、源端口和目的IP地址、目的端口，以及協(xié)議類(lèi)型、視頻標志字段等信息的處理。

根據用戶(hù)特定需要監測的視頻類(lèi)型和流媒體協(xié)議，用戶(hù)可以自定義視頻特定位置的標志字段。識別捕獲數據包單元過(guò)濾到相應的視頻數據包時(shí)，將按照特定的流媒體協(xié)議對數據包進(jìn)行卸載，提取出視頻信息后傳輸到后繼視頻解碼單元，提取出視頻的關(guān)鍵幀。

視頻解碼關(guān)鍵幀提取處理單元

視頻解碼關(guān)鍵幀提取單元在eBox-4300上的Wince操作系統上實(shí)現。Wince是微軟公司開(kāi)發(fā)的嵌入式操作系統，具有很好的移植性和視頻處理庫，開(kāi)發(fā)容易上手等優(yōu)點(diǎn)。同時(shí)考慮到當前視頻格式標準多樣，為了提高系統的功能，以后一定會(huì )不斷向系統添加新的解碼器。而Wince上軟件的兼容性相對其他的操作系統較強，當用戶(hù)添加其他解碼器時(shí)更簡(jiǎn)單。

關(guān)鍵幀查詢(xún)單元

關(guān)鍵幀的查詢(xún)是為了方便系統管理員對系統的工作效能進(jìn)行控制。在系統管理過(guò)程中，管理員可以通過(guò)身份驗證登錄到系統管理頁(yè)面，查看當前時(shí)間段的告警信息和相應的關(guān)鍵幀，并可根據人為識別的方法，決定是否向關(guān)鍵幀匹配庫中添加新的匹配圖像。

視頻關(guān)鍵幀匹配單元

視頻關(guān)鍵幀的匹配是系統的主要部分，系統監測的準確性主要取決于關(guān)鍵幀的匹配算法和模式。FPGA中，與RAM存儲單元相關(guān)的資源有三類(lèi)：Block RAM、LUT、寄存器。這三類(lèi)資源可以通過(guò)配置和粘合邏輯實(shí)現為不同類(lèi)型和位寬大小的單端口/雙端口RAM、ROM、CAM、FIFO等。FPGA中CAM的實(shí)現和配置非常靈活，CAM是實(shí)現模式匹配的核心資源。