基于關(guān)鍵幀提取技術(shù)的網(wǎng)絡(luò )視頻監控系統

應用背景

由于寬帶網(wǎng)絡(luò )近年來(lái)在世界各地的高速發(fā)展，高品質(zhì)的音視頻壓縮技術(shù)不斷推陳出新，更高的壓縮比率加上更寬的帶寬，使得互聯(lián)網(wǎng)用戶(hù)在互聯(lián)網(wǎng)上觀(guān)看高品質(zhì)電視節目的愿望不再是幻想。美國、意大利、法國、加拿大等國網(wǎng)絡(luò )視頻市場(chǎng)的日漸成熟，國內哈爾濱、泉州、上海等地的小試牛刀，都證明了以更強的互動(dòng)性作為賣(mài)點(diǎn)、基于互聯(lián)網(wǎng)技術(shù)和P2P傳輸技術(shù)的網(wǎng)絡(luò )視頻服務(wù)已經(jīng)漸成氣候。

網(wǎng)絡(luò )視頻是對基于互聯(lián)網(wǎng)技術(shù)傳播的所謂寬帶視頻的統稱(chēng)，可以是用戶(hù)自己制作、在線(xiàn)上傳或點(diǎn)播視頻節目，自主性和自助性強。各種視頻網(wǎng)站和流媒體服務(wù)器隨著(zhù)人們對網(wǎng)絡(luò )視頻服務(wù)的需求快速增長(cháng)，民營(yíng)網(wǎng)絡(luò )視頻企業(yè)更是如雨后春筍。

2007年是網(wǎng)絡(luò )視頻用戶(hù)基數迅速成長(cháng)的一年。據CNNIC今年1月份發(fā)布中國互聯(lián)網(wǎng)調查報告，76.9%的網(wǎng)絡(luò )用戶(hù)使用網(wǎng)絡(luò )視頻，成為繼音樂(lè )、即時(shí)通信之后的第三大互聯(lián)網(wǎng)應用。這也是網(wǎng)絡(luò )家庭娛樂(lè )應用第一次全面超過(guò)了網(wǎng)絡(luò )商務(wù)應用，即郵件、搜索引擎和新聞等傳統資訊應用。

但隨著(zhù)網(wǎng)絡(luò )視頻的高速成長(cháng)，各種黃色、暴力和反動(dòng)等垃圾信息也摻雜在網(wǎng)絡(luò )視頻中在寬帶網(wǎng)絡(luò )上肆意泛濫，嚴重影響了人們的正常工作和生活，也對社會(huì )精神文明建設和未成年人教育帶來(lái)了巨大的隱患。

由于寬帶視頻網(wǎng)絡(luò )的高速數據包傳送，傳統的信息安全監控設備在這方面顯得力不從心，因此，我們提出應用關(guān)鍵幀提取技術(shù)來(lái)抽取網(wǎng)絡(luò )視頻中的關(guān)鍵幀，從而減小處理的負載和存儲空間，降低設備成本并提高處理效率。建立相應的垃圾視頻關(guān)鍵幀匹配庫，通過(guò)視頻關(guān)鍵幀匹配算法和模式，從高速的視頻流中監測出垃圾信息。應用此視頻監控系統和其他網(wǎng)絡(luò )安全設備，可以為企業(yè)、學(xué)校和家庭打造一個(gè)高速干凈的網(wǎng)絡(luò )視頻環(huán)境，讓人們輕松盡情享受寬帶視頻服務(wù)。

系統方案

1.視頻解碼方案論證

方案一：利用Xilinx公司的FPGA產(chǎn)品Spartan 3E實(shí)現系統的視頻解碼。在Spartan 3E支持的MicroBlaze微處理器軟核上移植開(kāi)源視頻解碼器，由于MicroBlaze最高處理頻率為50MHz，遠不能滿(mǎn)足現在的高速視頻數據包的解碼;

方案二：通過(guò)在最新嵌入式微處理機eBox-4300上移植嵌入式操作系統WinCE來(lái)實(shí)現開(kāi)源視頻解碼器。eBox處理器主頻為500MHz，可以滿(mǎn)足10/100MHz網(wǎng)絡(luò )的視頻解碼，且在eBox上的WinCE操作系統可移植性較好，便于以后在系統中加入更多的視頻格式解碼器。

2.數據包前端處理方案論證

方案一：利用Xilinx公司FPGA產(chǎn)品系列Spartan 3E來(lái)捕獲網(wǎng)絡(luò )中的視頻數據包。高速的邏輯結構和并行特性是FPGA的特性，通過(guò)FPGA來(lái)識別并捕獲視頻數據包能降低系統的丟包率和漏報率;

方案二：利用eBox-4300自帶的以太網(wǎng)接口直接連接到網(wǎng)絡(luò )上。由于WinCE操作系統下的以太網(wǎng)操作已封裝好，為了兼顧可移植性，因此其效率沒(méi)有直接在FPGA上實(shí)現的IP核好。

3.關(guān)鍵幀匹配方案論證

方案一：利用Xilinx公司的FPGA產(chǎn)品系列Spartan 3E來(lái)實(shí)現視頻關(guān)鍵幀標準庫的查找和匹配。由于FPGA特有的存儲單元結構，便于快速查找。

方案二：利用ADI公司的Blackfin 535數字信號處理器來(lái)實(shí)現視頻幀的匹配算法。DSP特有的快速音視頻處理能力能很好滿(mǎn)足系統的性能要求。但Blackfin的片上存儲空間有限，如果增加外部存儲器將降低關(guān)鍵幀查找速率，從而成為整個(gè)系統的瓶頸。

綜合上述：系統采用Xilinx公司的FPGA產(chǎn)品系列Spartan 3E來(lái)作為數據包前端處理，識別并捕獲相應格式的網(wǎng)絡(luò )視頻數據包，按序列將視頻數據包傳送到eBox-4300處理器上的視頻解碼單元。在eBox-4300處理器上抽取出視頻的關(guān)鍵幀后，將視頻關(guān)鍵幀傳送到在Spartan 3E上實(shí)現的關(guān)鍵幀匹配單元中進(jìn)行匹配模式檢驗。

圖 1 系統示意圖

實(shí)現原理

1. 視頻數據包識別捕獲

實(shí)時(shí)流協(xié)議RTSP是一個(gè)應用層協(xié)議，用于控制具有實(shí)時(shí)特性的數據如多媒體流的傳送。為多媒體數據流提供遠程控制功能，如播放、 停止、快進(jìn)等。該協(xié)議支持以下操作：

1. 從媒體服務(wù)器上獲取媒體;

2. 邀請媒體服務(wù)器加入會(huì )議;

3. 在一個(gè)已存在的演示中加入新的媒體流。

RTSP協(xié)議一般與RTP/RTCP和RSVP等底層協(xié)議一起協(xié)同工作，提供基于Internet的整套的流服務(wù)。它可以選擇發(fā)送通道如UDP、組播UDP和TCP和基于RTP的發(fā)送機制。它可以應用于組播和點(diǎn)播。

RTSP協(xié)議負責在服務(wù)器和客戶(hù)端之間建立并控制一個(gè)或多個(gè)時(shí)間上同步的連續流媒體，其目標是像HTTP協(xié)議為用戶(hù)提供文字和圖形服務(wù)那樣為用戶(hù)提供連續媒體服務(wù)。因此，RTSP協(xié)議的設計在語(yǔ)法和操作上與HTTP協(xié)議很相似，這樣，對于HTTP的大部分擴展也適用于RTSP。但是RTSP協(xié)議和HTTP協(xié)議在很多方面有著(zhù)區別：

1. HTTP是一個(gè)無(wú)狀態(tài)協(xié)議，而RTSP協(xié)議是有狀態(tài)的。

2. HTTP本質(zhì)上是一個(gè)非對稱(chēng)協(xié)議，客戶(hù)端提出請求而服務(wù)器響應;而RTSP是對稱(chēng)的，服務(wù)器和客戶(hù)端都可發(fā)送和響應請求。

在RTSP中，每個(gè)演示及其所對應的媒體流都由一個(gè)RTSP URL標識。整個(gè)演示及媒體特性都在一個(gè)演示描述文件中定義，該文件可能包括媒體編碼方式、語(yǔ)言、RTSP URLs、目標地址、端口及其它參數。用戶(hù)在向服務(wù)器請求某個(gè)連續媒體流的服務(wù)之前，必須首先從服務(wù)器獲得該媒體流的演示描述文件以得到必需的參數，演示描述文件的獲取可采用HTTP、Email或其他方法。

RTSP中的所有的操作都是通過(guò)服務(wù)器和客戶(hù)方的消息應答來(lái)完成的，其消息包括請求和響應兩種，RTSP正是通過(guò)服務(wù)器和客戶(hù)端的消息 應答來(lái)完成媒體流的創(chuàng )建、初始化、VCR控制以及拆線(xiàn)等操作的。在基于客服端/服務(wù)器結構的分布式視頻點(diǎn)播系統中，RTSP協(xié)議的操作過(guò)程如下所示：

圖 2 基于RTSP的流媒體服務(wù)器

客戶(hù)機在向視頻服務(wù)器請求視頻服務(wù)之前，首先通過(guò)HTTP協(xié)議從Web服務(wù)器獲取所請求視頻服務(wù)的演示描述文件，利用該文件提供的信息定位視頻服務(wù)地址包括視頻服務(wù)器地址和端口號，及視頻服務(wù)的編碼方式等信息。然后客戶(hù)機根據上述信息向視頻服務(wù)器請求視頻服務(wù)。視頻服務(wù)初始化完畢，視頻服務(wù)器為該客戶(hù)建立一個(gè)新的視頻服務(wù)流，客戶(hù)端與服務(wù)器運行實(shí)時(shí)流控制協(xié)議RTCP，以對該流進(jìn)行各種VCR控制信號的交 換，如播放、暫停、快進(jìn)、快退等。當服務(wù)完畢，客戶(hù)端提出拆線(xiàn)請求，需要說(shuō)明的是，服務(wù)器使用RTP/UDP協(xié)議將媒體數據傳輸給客戶(hù)端，一旦數據抵達客戶(hù)端，客戶(hù)端應用程序即可播放輸出。在流式傳輸中，使用RTP/RTCP/UDP和RTSP/TCP兩種不同的通信協(xié)議在客戶(hù)端和服務(wù)器間建立聯(lián)系。