校園無(wú)線(xiàn)視頻監控系統的設計與應用
摘要:為解決校園內及用邊視頻監控點(diǎn)布置分散等原因造成的無(wú)法實(shí)現遠程視頻監控問(wèn)題,針對3G無(wú)線(xiàn)網(wǎng)絡(luò )的特點(diǎn),描述了基于3G標準的無(wú)線(xiàn)視頻監控系統關(guān)鍵技術(shù)的研究與實(shí)現方法。在數據傳輸中利用RTP協(xié)議中時(shí)間戳,解決音視頻同步的問(wèn)題,對監控系統的客戶(hù)端與服務(wù)器端進(jìn)行了設計。實(shí)際應用表明,該系統設計合理,可靠性好,能對校園內外目標實(shí)現有效監控。
關(guān)鍵詞:校園安全;無(wú)線(xiàn)視頻監控;3G網(wǎng)絡(luò );H.264編解碼;流媒體
近年來(lái),學(xué)校安全事故頻發(fā),識別、阻止外來(lái)人員的闖入和校內人員的非法外出成為學(xué)校安全防范的重點(diǎn)。根據需要,我院進(jìn)行了新一期數字化視頻監控系統的建設??紤]到校園整體安防系統的設計,監控系統的可擴展性,與其他子系統的聯(lián)動(dòng),校方選擇采用了全數字模式的建設方案。這種采用嵌入式專(zhuān)用服務(wù)器的系統具備網(wǎng)絡(luò )通信、視頻處理、自動(dòng)控制等多項功能,采用瀏覽/月艮務(wù)器結構,使用十分的便捷。
在該系統中,雖然有一百多個(gè)前端的固定監控點(diǎn),但對于面積較大的校園來(lái)講還是無(wú)法完全滿(mǎn)足用戶(hù)的需求。例如,在某些區域由于視線(xiàn)遮擋或距離過(guò)遠等原因不能進(jìn)行詳細紀錄,此外,校園內及周邊還有很多的地方是視頻監控死角,或者不方便使用固定的視頻監控。因此,院方?jīng)Q定在系統中加入無(wú)線(xiàn)視頻監控,以完善視頻監控系統的功能性。
1 系統結構分析與設計
傳統的無(wú)線(xiàn)接入網(wǎng)絡(luò )主要依托GSM、CDMA以及Wi-Fi等傳輸技術(shù),但難以滿(mǎn)足大數據量實(shí)時(shí)遠程視頻監控的要求,而現行的無(wú)線(xiàn)3 G網(wǎng)絡(luò )能夠解決以上問(wèn)題。與傳統網(wǎng)絡(luò )相比,3 G的反向鏈路峰值速率明顯高很多,響應時(shí)間短,在高速運動(dòng)狀態(tài)下的傳輸速度也快,并能夠支持音視頻等多媒體數據。而且,3 G網(wǎng)絡(luò )即使在雨、霧等環(huán)境下也不會(huì )造成信號的衰減,非常適合在大學(xué)校園面積較大的這種條件下進(jìn)行高質(zhì)量的實(shí)時(shí)監控,系統結構如圖1所示。
該方案中3 G無(wú)線(xiàn)視頻監控系統采用C/S架構,由3部分組成,包括前端信號采集單元、無(wú)線(xiàn)網(wǎng)絡(luò )傳輸單元和遠程監控單元。前端單元負責對圖像進(jìn)行采集,并將拍攝到的模擬視頻信號轉換為數字信號,通過(guò)編碼器進(jìn)行數據壓縮處理,最后利用3G網(wǎng)絡(luò )將壓縮后的數據傳送至監控中心,通過(guò)用戶(hù)端完成實(shí)時(shí)顯示。
2 無(wú)線(xiàn)監控系統前端設計與應用
2.1 設備的選擇與功能實(shí)現
前端設備有很多選擇,如無(wú)線(xiàn)攝像機、手機、PDA等?,F在很多手機已具有高清晰的攝像功能,而且手機既可作為前端攝像機使用,也可作為客戶(hù)端進(jìn)行視頻瀏覽。因此,在該系統中,利用3 G智能手機作為系統的前端,可以實(shí)現視頻監控系統的以下功能:
1)利用手機內置高清攝像頭獲取現場(chǎng)視頻數據并進(jìn)行壓縮,通過(guò)3 G通信網(wǎng)絡(luò )把視頻數據實(shí)時(shí)發(fā)送到遠程控制中心,整個(gè)過(guò)程確保視頻畫(huà)面流暢、清晰,實(shí)時(shí)性高。
2)系統通過(guò)3 G網(wǎng)絡(luò )可以實(shí)現音視頻同步傳輸,雙向對講功能。監控中心不僅可以實(shí)時(shí)觀(guān)察前端現場(chǎng)視頻畫(huà)面,同時(shí)還可收聽(tīng)前端現場(chǎng)聲音以及與前端直接進(jìn)行通話(huà)。
3)利用手機進(jìn)行拍照,可立即將圖片發(fā)送到監控指揮中心,并且支持圖片大小設置、對焦調節等功能,為獲取現場(chǎng)高清圖片提供了技術(shù)支持。
4)利用手機GPS定位功能,可以隨時(shí)對手機位置進(jìn)行追蹤,形成手機運行軌跡線(xiàn)路,再與系統中電子地圖相配合可以全方位了解前端情況,為中心指揮帶來(lái)方便。
2.2 手機在視頻監控系統中的特點(diǎn)
數字視頻監控系統由攝像機、視頻接入轉發(fā)服務(wù)器、調度服務(wù)器和客戶(hù)端構成。其中,轉發(fā)服務(wù)器主要是實(shí)現攝像機視頻流的接入和攝像機狀態(tài)的獲取,調度服務(wù)器主要進(jìn)行攝像機狀態(tài)的統一管理。固定安裝的攝像機由于其IP地址是穩態(tài)的,轉發(fā)服務(wù)可直接將攝像機接入系統,客戶(hù)端也可直接向轉發(fā)服務(wù)器獲取視頻流并進(jìn)行播放。步驟如圖2所示。
1)接入轉發(fā)服務(wù)器向系統中某路攝像機申請視頻流;
2)符合申請IP地址的攝像機向接入轉發(fā)服務(wù)器發(fā)送視頻流;
3)接入轉發(fā)服務(wù)器向調度服務(wù)器發(fā)送被選中的攝像機狀態(tài);
4)調度服務(wù)器向客戶(hù)端發(fā)送該路攝像機狀態(tài)。
但手機作為攝像機使用具有不連續性及IP地址不固定的特點(diǎn),視頻接入轉發(fā)服務(wù)器就不知道當前有哪些手機需要接入視頻監控系統,因此手機需主動(dòng)連接服務(wù)器以實(shí)現攝像機的接入,具體步驟如圖3所示。
1)手機先向調度服務(wù)器申請接入系統;
2)調度服務(wù)器再向接入轉發(fā)服務(wù)器發(fā)送手機的IP地址;
3)接入轉發(fā)服務(wù)器向手機申請視頻流;
4)手機向接入轉發(fā)服務(wù)器發(fā)送視頻流;
5)接入轉發(fā)服務(wù)器向調度服務(wù)器發(fā)送手機狀態(tài);
6)調度服務(wù)器向客戶(hù)端發(fā)送手機狀態(tài)。
2.3 手機操作系統與硬件要求
手機作為視頻監控系統前端主要工作包括視頻拍攝、視頻編碼及發(fā)送碼流,作為客戶(hù)端使用時(shí)主要完成碼流接收與視頻解碼。這些都和手機的操作系統、硬件設備等有著(zhù)密切關(guān)系。
目前大部分手機使用的操作系統為Android、iOS及WindowsPho-ne。手機攝像機主要實(shí)現視頻編解碼與碼流傳輸,在開(kāi)發(fā)時(shí)一般采用開(kāi)源庫,如用于視頻編解碼的ffmpeg和視頻碼流傳輸的irtblib,這些開(kāi)源庫基本都支持Windows和Linux操作系統。Android是基于Linux平臺的開(kāi)源操作系統,所有支持Linux的開(kāi)源庫都可以移植到Android中使用。因此,從使用開(kāi)源庫的角度考慮,此方案中選擇應用廣泛的Android手機操作系統作為設計對象。
手機既作為攝像機又作為客戶(hù)端使用時(shí),至少要處理各一路視頻編解碼。以清晰度為D1、幀率為20,編碼方式為H.264的攝像機為例,來(lái)分析下手機對CPU及內存等硬件的要求。
以視頻播放器VLC為例,在CPU頻率為3.2 GHz的PC機上播放一路D1格式視頻時(shí),需占用1%~4%的CPU和60MB的內存資源,解碼是編碼的逆過(guò)程,占用的資源相差不大。因此,CPU頻率為1 GHz的手機處理一路視頻編碼和解碼顯示需要占用5%~30%的CPU和120 MB左右的內存。由于手機在使用時(shí)還有其它功能業(yè)務(wù),因此手機在視頻監控系統中應用時(shí),其硬件最低配置為頻率1 GHz的CPU和300 MB的內存。而當前主流手機都達到或超過(guò)該設計要求,完全能夠作為系統前端使用。
3 網(wǎng)絡(luò )傳輸的實(shí)現
手機通過(guò)3 G網(wǎng)絡(luò )接入視頻監控系統,其無(wú)線(xiàn)傳輸模塊集成了3 G的網(wǎng)絡(luò )連接端口協(xié)議,并以嵌入式方式實(shí)現TCP/UDP/IP、POP3/SMTP等傳輸協(xié)議,同時(shí)支持3 G基站與動(dòng)態(tài)IP的無(wú)線(xiàn)連接與數據交換。TCP/UDP/IP協(xié)議具有擁塞控制和啟動(dòng)慢的特性,會(huì )影響到數據傳輸的速率,TCP協(xié)議通過(guò)3 G網(wǎng)絡(luò )進(jìn)行數據傳輸時(shí),也會(huì )產(chǎn)生較多的網(wǎng)絡(luò )流量,并占用帶寬。另外,系統中前端手機使用的數量、視頻的分辨率和幀率也會(huì )影響所需要的無(wú)線(xiàn)網(wǎng)絡(luò )帶寬。
為充分利用3 G網(wǎng)絡(luò )最大允許帶寬,該設計中引用混合編碼框架下基于FPGA平臺的H.264壓縮編碼標準對視頻信號流量與網(wǎng)絡(luò )帶寬進(jìn)行優(yōu)化協(xié)調。該編碼方式面向3 G網(wǎng)絡(luò ),不僅可用量化步長(cháng)的變化來(lái)適應信道碼率,而且可利用數據分割的方式來(lái)處理信道碼率的變化,在相同輸出碼率情況下,與其他標準相比,其信噪比要高出許多。在較寬的位速率和像素范圍內使編碼效率提高了約45%,壓縮比可超過(guò)250:1,從而提高了系統傳輸的穩定性。
在實(shí)際應用中,根據視頻流量計算公式
N=分辨率*幀速(fps)*色深(bit) (1)
式中:N為每秒單位數據采集量,bps。D1視頻格式可以滿(mǎn)足校園視頻監控的需要。視頻流經(jīng)H.264編碼壓縮后,僅有1.236 Mbps,音頻采用G.711壓縮標準,每秒傳輸數據在8 kb~16 kb(與視頻相比可忽略不計)。音視頻流量完全小于3G制式網(wǎng)絡(luò )中上行速率下限1.8 Mbps的要求,系統傳輸質(zhì)量達到最佳優(yōu)化比,因此使用3G網(wǎng)絡(luò )傳輸視頻監控數據是完全可行的。本設計中根據網(wǎng)絡(luò )質(zhì)量和實(shí)際需要,采用支持1:90—1:250多檔壓縮轉換。以10路手機攝像機、壓縮比150:1、2TB存儲硬盤(pán)為例,校園視頻監控無(wú)線(xiàn)傳輸的流量計算結果如表1所示。
4 監控軟件的設計
4.1 流媒體系統結構
系統中,流媒體的傳輸與播放是關(guān)鍵技術(shù)。流媒體技術(shù)是把連續得到的媒體信息經(jīng)過(guò)壓縮后傳至網(wǎng)絡(luò )服務(wù)器,客戶(hù)可實(shí)現邊下載邊觀(guān)看,而無(wú)需將整部文件全部下載完,所以流媒體技術(shù)非常適合現場(chǎng)事件的播報,可以進(jìn)行隨機訪(fǎng)問(wèn)和快進(jìn)或倒退觀(guān)看。流媒體實(shí)時(shí)傳輸主要采用RTP/RICP及RTSP等網(wǎng)絡(luò )協(xié)議,分實(shí)時(shí)流式傳輸和順尋流式傳輸兩種方式。實(shí)時(shí)流式傳輸可以保證媒體信號與網(wǎng)絡(luò )連接相匹配,媒體信息可被實(shí)時(shí)觀(guān)看,并且允許對媒體進(jìn)行多項的控制,使用比HTTP服務(wù)器方便。順尋流式傳輸用的是順序下載,客戶(hù)只能觀(guān)看已下載的部分,可使用HTTP服務(wù)器,比實(shí)時(shí)流式傳輸要簡(jiǎn)單。
該設計采用了處理器與嵌入式操作系統并加上所需應用程序軟件的實(shí)時(shí)傳輸方式。嵌入式操作系統采用Linux,流媒體系統由服務(wù)器和客戶(hù)端組成,其中服務(wù)器是最關(guān)鍵設備。為此,該系統配置了專(zhuān)門(mén)的流媒體服務(wù)器與手機視頻服務(wù)器,均采用了Dell PowerEdge R810。服務(wù)器由四個(gè)模塊組成,分別負責數據采集、數據壓縮、數據打包和RTP包發(fā)送。數據采集模塊是將音視頻模擬信號轉換成數字信號。從采集模塊得到的數據經(jīng)壓縮模塊進(jìn)行處理,可以減少網(wǎng)絡(luò )傳輸數據量及提高傳輸效率。數據打包模塊是向數據添加一些必要的包頭信息(如數據類(lèi)型、序列號、時(shí)間信息等),在客戶(hù)端通過(guò)包頭信息來(lái)實(shí)現音視頻信號同步。包發(fā)送模塊的作用就是將已打好包的數據通過(guò)3 G網(wǎng)絡(luò )發(fā)送至客戶(hù)端。
系統中客戶(hù)端工作原理是服務(wù)器端的逆過(guò)程,在網(wǎng)絡(luò )傳輸過(guò)程中由于網(wǎng)絡(luò )延遲等因素會(huì )導致接收到的數據包順序發(fā)生紊亂,必須通過(guò)數據緩存模塊來(lái)恢復數據包的正常順序,從緩存模塊輸出的數據傳入到同步調整模塊,然后將同步調整后的數據包傳入到數據解壓模塊和播放模塊進(jìn)行實(shí)時(shí)播放。整個(gè)嵌入式流媒體系統結構如圖4所示。
4.2 監控數據同步的原理
對于系統來(lái)說(shuō),如果音視頻數據不同步,就無(wú)法準確反映監控現場(chǎng)的真實(shí)情景。為解決該問(wèn)題,在設計中,先在手機用戶(hù)上利用RTP包中的時(shí)間戳來(lái)標記每幀音視頻信號的時(shí)間信息,然后再將標記了時(shí)間戳的信號流通過(guò)3 G網(wǎng)絡(luò )發(fā)送至客戶(hù)端。在客戶(hù)端使用緩存來(lái)消除數據流中的延時(shí)以及恢復數據包的正確順序,最后再將數據流送到同步調整模塊中進(jìn)行同步播放。同步調整模塊里,在客戶(hù)端設計一個(gè)參考時(shí)鐘,根據參考時(shí)鐘和接收到的音視頻信息時(shí)間戳之間的關(guān)系,來(lái)判斷當前的信號是立刻播放還是延時(shí)播放,或者是丟棄。參考時(shí)鐘主要以視頻為主,對關(guān)鍵幀進(jìn)行判斷,算法如下:將接收到的音視頻信息分別存放到各自的緩存中,當緩存到一定數量時(shí),開(kāi)始播放,同時(shí)進(jìn)行同步調整。當視頻時(shí)間戳小于音頻時(shí)間戳一定值時(shí),說(shuō)明視頻超前音頻,需要等待;當視頻時(shí)間戳大于音頻時(shí)間戳一定值時(shí),說(shuō)明視頻滯后于音頻,則需要加快播放,設計中采取的是丟棄音頻包,從而加快播放的速度。
系統在信號播放時(shí)接收視頻數據,如果進(jìn)入解碼器的首幀不是關(guān)鍵幀,會(huì )導致解碼器無(wú)法讀取,所以將視頻數據寫(xiě)入緩存前先要進(jìn)行一個(gè)首幀是否關(guān)鍵幀的判斷。當緩存區內數據寫(xiě)入達到一定數量時(shí),才開(kāi)始讀取,再獲取各自的時(shí)間戳信息,在音視頻信號播放前進(jìn)行同步調整,以達到同步播放的目的,設計如圖5所示
4.3 播放軟件應用程序設計
該系統采用嵌入式設計,Linux內核為圖形處理界面提供最基本的底層驅動(dòng)接口。應用程序不需要了解底層硬件的具體情況,只需通過(guò)節點(diǎn)對設備進(jìn)行操作,就可完成圖像的顯示。系統中采用SDL開(kāi)源共享庫,底層使用API,在平臺間統一了接口。使用雙線(xiàn)程設計,即用戶(hù)界面線(xiàn)程與工作者線(xiàn)程。用戶(hù)界面線(xiàn)程包括音視頻數據同步播放及接收響應用戶(hù)的操作,然后再將工作者線(xiàn)程解碼出的音視頻數據傳遞給使
用者,如圖6所示。
程序設計中,視頻壓縮編碼是十分關(guān)鍵的步驟。該系統用的是H.264壓縮算法,它是由網(wǎng)絡(luò )提取層NAL和視頻編碼層VLC兩部分組成。 H.264標準對圖像質(zhì)量和編碼效率進(jìn)行了多項優(yōu)化,且抗誤碼和抗丟包性能良好,能適應各種網(wǎng)絡(luò )環(huán)境,用在對壓縮率要求高,網(wǎng)絡(luò )環(huán)境復雜的移動(dòng)視頻監控最為合適。
客戶(hù)端接收的經(jīng)過(guò)H.264壓縮編碼后的數據,還需要經(jīng)過(guò)H.264解碼才能夠顯示還原視頻圖像,因此,在客戶(hù)端還要設計H.264解碼器。該系統在A(yíng)ndroid應用程序中使用移植了開(kāi)源的音視頻解碼庫FFmpeg來(lái)進(jìn)行H.264解碼。
5 測試結果
院方在校園內及周邊多點(diǎn)對無(wú)線(xiàn)視頻監控系統進(jìn)行了測試,將客戶(hù)端安裝在手機上,接入3G信號網(wǎng)絡(luò )與服務(wù)器建立連接,向服務(wù)器端發(fā)送數據。視頻畫(huà)面質(zhì)量主要是受幀率(每秒鐘顯示圖片數)和碼率(數據傳輸時(shí)單位時(shí)間傳輸的數據量)的影響,幀率越大畫(huà)面越流暢,碼率越大畫(huà)面越清楚。在測試實(shí)際幀率為16fps,碼率在550kbps時(shí)的視頻非常流暢,而且在音視頻同步方面表現也非常好,畫(huà)面如圖7所示。
6 結束語(yǔ)
江陰職業(yè)技術(shù)學(xué)院采用基于3G標準的無(wú)線(xiàn)視頻監控,再結合全數字網(wǎng)絡(luò )視頻監控系統,實(shí)現了資源的統一管理和調度,有效整合利用。該系統主要涉及視頻編解碼、流媒體協(xié)議、無(wú)線(xiàn)網(wǎng)絡(luò )通信等技術(shù),隨著(zhù)網(wǎng)絡(luò )速度的不斷提高和壓縮技術(shù)的新發(fā)展,可以進(jìn)一步降低無(wú)線(xiàn)信號的延遲,實(shí)現更快捷的實(shí)時(shí)傳輸,不斷完善校園安防系統的智能化操作和現代化管理。
評論