基于關(guān)鍵幀提取技術(shù)的網(wǎng)絡(luò )視頻監控系統

Microsoft公司的Windows Media的核心是ASF(Advanced Stream Format)。微軟將ASF 定義為同步媒體的統一容器文件格式。ASF是一種數據格式，音頻、視頻、圖像以及控制命令腳本等多媒體信息通過(guò)這種格式，以網(wǎng)絡(luò )數據包的形式傳輸，實(shí)現流 式多媒體內容發(fā)布。

ASF最大優(yōu)點(diǎn)就是體積小，因此適合網(wǎng)絡(luò )傳輸，使用微軟公司的最新媒體播放器可以直接播放該格式的文件。用戶(hù)可以將圖形、聲音和動(dòng)畫(huà)數據組合成一個(gè)ASF格式的文件，當然也可以將其他格式的視頻和音頻轉換為ASF格 式，而且用戶(hù)還可以通過(guò)聲卡和視頻捕獲卡將諸如麥克風(fēng)、錄像機等等外設的數據保存為ASF格式

ASF具有可擴展的媒體類(lèi)型，ASF文件允許制作者很容易地定義新的媒體類(lèi)型。ASF格式提供了非常有效的靈活地定義符合ASF文件格式定義的新的媒體流類(lèi)型。任一存儲的媒體流邏輯上都是獨立于其他媒體流的，除非在文件頭部分明顯地定義了其與另一媒體流的關(guān)系。

ASF是設計用來(lái)表示可伸縮的媒體類(lèi)型的帶寬之間的依賴(lài)關(guān)系。ASF存儲各個(gè)帶寬就像一個(gè)單獨的媒體流。媒體流之間的依賴(lài)關(guān)系存儲在文件頭部分，為客戶(hù)機以一個(gè)獨立于壓縮的方式解釋可伸縮的選項提供了豐富的信息流的優(yōu)先級，現代的多媒體傳輸系統能夠動(dòng)態(tài)地調整以適應網(wǎng)絡(luò )資源緊張的情況如帶寬不足。多媒體內容的制作者要能夠根據流的優(yōu)先級表達他們的參考信息，如最低保證音頻流的傳輸。隨著(zhù)可伸縮媒體類(lèi)型的出現，流的優(yōu)先級的安排變得復雜起來(lái)，因為在制作的時(shí)候很難決定各媒體流的順序。

ASF設計為支持多語(yǔ)言。媒體流能夠可選地指示所含媒體的語(yǔ)言。這個(gè)功能常用于音頻和文本流。一個(gè)多語(yǔ)言ASF文件指的是包含不同語(yǔ)言版本的同一內容的一系列媒體流，其允許客戶(hù)機在播放的過(guò)程中選擇最合適的版本。

ASF提供可繼續擴展的目錄信息的功能，該功能的擴展性和靈活性都非常好。所有的目錄信息都以無(wú)格式編碼的形式存儲在文件頭部分，并且支持多語(yǔ)言，如果需要，目錄信息既可預先定義如作者和標題，也可以是制作者自定義。目錄信息功能既可以用于整個(gè)文件也可以用于單個(gè)媒體流。

ASF文件主要有三種數據對象組成Header Object，Data Object，Index Object。Header Object包括ASF文件的主要信息，必須位于文件首部。Data Object包含數據信息，緊跟在Header Object之后，Index Object是非必須，提供跳躍索引，位于文件結尾。RTSP協(xié)議中，ASF的Header Object用Base64編碼加密以后放在SDP(Session Description Protocol)數據包中。

在系統中，我們采用了移植在eBox-4300上的WinCE作為系統的嵌入式操作系統，為了解碼器的工作效率和移植方便，我們采用ASF流媒體文件格式。根據搭建的基于RTSP協(xié)議的流媒體服務(wù)器，可以校驗在網(wǎng)絡(luò )中截取到數據包的特定協(xié)議字段，如果應用層協(xié)議有RTSP的協(xié)議字段，就將數據包取出，按協(xié)議進(jìn)行對包的卸載，提取出ASF文件，再將ASF文件按序列傳輸到下一處理單元進(jìn)行視頻解碼，并提取出關(guān)鍵幀。

2.網(wǎng)絡(luò )視頻關(guān)鍵幀提取

視頻數據是分層結構，結構粒度從上到下逐漸減小。最頂層是粒度最大的視頻，即一段視頻流。最底層是粒度最小的幀，即單個(gè)的視頻幀圖像，對幀圖像的處理可以采用圖像特征提取技術(shù)，提取諸如顏色、紋理、形狀等靜態(tài)特征或空間運動(dòng)的動(dòng)態(tài)特征。鏡頭是一組時(shí)間上連續的幀序列，它代表一個(gè)場(chǎng)景中在時(shí)間上和空間上連續的動(dòng)作，對應著(zhù)攝像機的一次記錄起停操作，也稱(chēng)為剪裁或拍攝。鏡頭是視頻數據的最小單元，視頻檢索的結果就是獲得符合條件的若干鏡頭。場(chǎng)景是一組語(yǔ)義上相關(guān)聯(lián)及在時(shí)間上相鄰的鏡頭的集合。

圖3 視頻層次結構示意圖

關(guān)鍵幀是反映一組鏡頭中主要信息內容的一幀或若干幀圖像，可以簡(jiǎn)潔地表達鏡頭內容。因為每個(gè)鏡頭都是在同一場(chǎng)景下拍攝的，同一個(gè)鏡頭中的各幀圖像有相當大的重復信息?？紤]到存儲容量和處理效率的因素，僅需要存儲鏡頭關(guān)鍵幀，可達到降低系統存儲容量和減少處理器冗余工作的效果。其次，從關(guān)鍵幀的匹配效率考慮，用關(guān)鍵幀來(lái)代表鏡頭，作用類(lèi)似于入侵檢測系統中的匹配規則，這樣對網(wǎng)絡(luò )視頻流可用圖像匹配技術(shù)進(jìn)行處理。

針對關(guān)鍵幀的特點(diǎn)，選取時(shí)有兩個(gè)基本要求:第一，所選幀必須能夠反映鏡頭中的主要事件，描述應盡可能準確完全，所以一般采用保守原則，寧可錯選，也不能少提取;第二，為了減少系統存儲設備，提高處理數據包的效率，數據處理量應盡量小，計算不宜過(guò)于復雜，因此關(guān)鍵幀的抽取應盡量少而精確。

早期的提取關(guān)鍵幀的嘗試主要是采用顏色特征。一個(gè)簡(jiǎn)單的提取關(guān)鍵幀的想法是選擇鏡頭片段的第一幀作為關(guān)鍵幀。當然這樣提取的關(guān)鍵幀是很不準確的。在基于鏡頭的方法中，比較經(jīng)典的有幀平均法和直方圖平均法。幀平均法是從鏡頭中取所有幀在某個(gè)位置上像素值的平均值，然后將鏡頭中該點(diǎn)位置的像素值最接近平均值的幀作為關(guān)鍵幀。直方圖平均法則是將鏡頭中所有幀的統計直方圖取平均，然后選擇與該平均直方圖最接近的幀作為關(guān)鍵幀。這些方法的優(yōu)點(diǎn)是計算比較簡(jiǎn)單，所選取的幀具有平均代表意義。缺點(diǎn)是只從一個(gè)鏡頭中選取一個(gè)關(guān)鍵幀，無(wú)法處理運動(dòng)強度較高的鏡頭。一般說(shuō)來(lái)，從鏡頭中選取一幀或固定數目的關(guān)鍵幀的方法并不是很好，因為當處理變化很少的鏡頭時(shí)，這樣選取的關(guān)鍵幀過(guò)多，而對于運動(dòng)較多的鏡頭，用一兩個(gè)關(guān)鍵幀又無(wú)法充分描述其內容。所以有人提出了基于內容分析的方法。

綜合前人的研究成果，我們在本系統采用漸變控制的方法。首先選取每個(gè)鏡頭的第一幀作為關(guān)鍵幀，同時(shí)作為其他候選關(guān)鍵幀的參考幀，將后續每幀和參考幀比較，當其差別大于預定的閥值時(shí)，即將當前幀作為新的關(guān)鍵幀，同時(shí)將此幀作為新的參考幀。

3. 視頻關(guān)鍵幀匹配

常用的圖像特征有顏色特征、紋理特征、形狀特征、空間關(guān)系特征等。

顏色特征是一種全局特征,描述了圖像或圖像區域所對應的景物的表面性質(zhì)。一般顏色特征是基于像素點(diǎn)的特征，此時(shí)所有屬于圖像或圖像區域的像素都有各自的貢獻。由于顏色對圖像或圖像區域的方向、大小等變化不敏感，所以顏色特征不能很好地捕捉圖像中對象的局部特征。