基于云存儲視頻監控系統的研究

摘要：視頻監控系統對海量視頻數據存儲和智能視頻分析的需求日益突出。針對系統硬件計算能力有限，用戶(hù)需求的多樣性，系統擴展性復雜等問(wèn)題，云存儲技術(shù)有很大突破。通過(guò)虛擬化技術(shù)構建資源池，使用Hadoop分布式文件系統存儲海量視頻數據，使用Map/Reduce編程模型實(shí)現大數據并行計算，為用戶(hù)提供實(shí)時(shí)視頻監控和智能視頻分析服務(wù)。

關(guān)鍵詞：云計算;云存儲;視頻監控;Hadoop分布式文件系統

互聯(lián)網(wǎng)的迅猛發(fā)展，不僅改變了我們的生活方式，也顛覆了各個(gè)領(lǐng)域的經(jīng)營(yíng)與管理。隨著(zhù)網(wǎng)絡(luò )信息化技術(shù)的日益完善，使得視頻資源的聯(lián)網(wǎng)共享成為視頻監控、 IPTV等大數據領(lǐng)域的迫切需求，現有分散的視頻資源正在朝集中化的方向發(fā)展。隨著(zhù)海量視頻數據的快速增長(cháng)，傳統的視頻監控難以滿(mǎn)足在大數據計算分析、存儲及數據共享等上的需要，或者說(shuō)很難以更低的成本，更靈活的擴展性，更健壯、更可靠、更安全的系統架構來(lái)滿(mǎn)足行業(yè)需求。因此，云計算開(kāi)始運用到大規模視頻監控領(lǐng)域。

1 相關(guān)知識

“云計算”并非是一種新的計算技術(shù)，而是結合多種計算技術(shù)，以最優(yōu)性?xún)r(jià)比為目的的綜合型計算模式。通過(guò)云計算技術(shù)，將海量的資源通過(guò)網(wǎng)絡(luò )連接起來(lái)，用戶(hù)能夠共享數據、協(xié)同計算，網(wǎng)絡(luò )中的計算機、服務(wù)器共同對外提供服務(wù)，并使之透明化。

1.1 云計算

云計算是分布式計算、并行計算和網(wǎng)格汁算的發(fā)展，它將計算任務(wù)分布在大量計算機構成的資源池上，使各種應用系統能夠根據需要獲取計算能力、存儲空間和各種軟件服務(wù)。

云計算通過(guò)虛擬化技術(shù)，將大量異構的網(wǎng)絡(luò )服務(wù)器和不同廠(chǎng)家的網(wǎng)絡(luò )存儲設備構建成統一的資源池，通過(guò)互聯(lián)網(wǎng)連接起來(lái)，用戶(hù)不需要了解云存儲系統的細節，也不必掌握

專(zhuān)業(yè)的云技術(shù)知識，只需要關(guān)注自己需要什么樣的資源，以及如何通過(guò)互聯(lián)網(wǎng)來(lái)獲得相應的服務(wù)。云計算為大規視頻監控系統提供超強計算的能力，靈活地為用戶(hù)提供各種服務(wù)，同時(shí)減少系統建設、升級及運維管理的成本，提高系統資源的利用率和系統運行的可靠性。

1. 2 云存儲

云存儲是在云計算的基礎上衍生和發(fā)展出來(lái)的一種技術(shù)。它通過(guò)網(wǎng)絡(luò )將各類(lèi)存儲設備匯集起來(lái)，通過(guò)網(wǎng)絡(luò )集中管理，共享數據，其靈活的擴展性，可以對外提供數據存儲和業(yè)務(wù)服務(wù)以及與存儲相關(guān)的增值應用。

云存儲系統以網(wǎng)絡(luò )服務(wù)器和網(wǎng)絡(luò )存儲設備為基礎，構建成一個(gè)大規模的存儲集群，采用大規模分布式文件系統對存儲資源集中管理，可以提供上海量的存儲空間同時(shí)也可以為大量用戶(hù)提供服務(wù)，推動(dòng)了大數據時(shí)代的發(fā)展。云存儲系統的成本遠遠低于傳統的存儲系統，并且具有良好的可擴充性和可靠性，推動(dòng)著(zhù)大規模視頻監控系統的變革。

2 基于云存儲的監控系統

目前，云存儲的實(shí)現并不存在技術(shù)上的障礙，它需要云設備、云軟件、云服務(wù)等有機地集合在一起，為用戶(hù)提供無(wú)障礙的云服務(wù)。將存儲設備和應用軟件相結合，通過(guò)分布式文件系統架構實(shí)現由存儲設備向存儲服務(wù)的轉變。

2.1 云存儲系統的結構模型

與傳統的存儲設備相比，云存儲不再是單純的存儲設備，通過(guò)虛擬化技術(shù)，將無(wú)數分散的服務(wù)器和存儲設備通過(guò)網(wǎng)絡(luò )組織起來(lái)，統一管理，協(xié)同工作，通過(guò)應用軟件對外提供存儲服務(wù)。云存儲系統結構模型由物理存儲層、基礎管理層、應用接口層和用戶(hù)訪(fǎng)問(wèn)層組成，如圖1所示。

2.2 基于云存儲監控系統的設計

基于云存儲的視頻監控系統在邏輯上可分為前端視頻采集、云端數據管理中心、視頻業(yè)務(wù)服務(wù)和客戶(hù)端管理系統。如圖2所示。

前端視頻采集通過(guò)網(wǎng)絡(luò )連接到云存儲系統，云存儲系統為每一路高清IP攝像頭分配足夠的帶寬。高清IP攝像頭將采集的高清視頻流進(jìn)行壓縮編碼，然后再將壓縮編碼后的視頻流封裝成能在網(wǎng)絡(luò )上傳輸的IP數據包，通過(guò)Internet上傳到云資源池中。

云端數據管理中心對云資源進(jìn)行自動(dòng)監控、自動(dòng)調度和集中管理等一體化運維操作，通過(guò)虛擬化存儲技術(shù)、Hadoop分布式文件系統、云計算等技術(shù)結合應用程序實(shí)現存儲設備內容的分發(fā)、數據刪冗、數據壓縮、數據加密、數據備份與數據恢復等功能。

視頻業(yè)務(wù)服務(wù)運行在云端數據管理中心之上，是云資源的應用集合，根據用戶(hù)的不同需求，提供相關(guān)的業(yè)務(wù)服務(wù)。

客戶(hù)端管理系統通過(guò)公用API接口訪(fǎng)問(wèn)視頻相應的業(yè)務(wù)服務(wù)?？蛻?hù)端管理系統的每個(gè)操作對應著(zhù)一個(gè)業(yè)務(wù)請求，通過(guò)網(wǎng)絡(luò )接入、用戶(hù)認證、權限管理等安全策略驗證后，方可訪(fǎng)問(wèn)相應的業(yè)務(wù)。

3 關(guān)鍵技術(shù)及實(shí)現

隨著(zhù)網(wǎng)絡(luò )技術(shù)的發(fā)展，人們對智能安防提出了新的要求，傳統視頻監控系統的局限性越來(lái)越突出，視頻監控系統的網(wǎng)絡(luò )化、智能化以及安全越來(lái)越受到人們的關(guān)注和重視?；谠拼鎯Φ囊曨l監控系統在數據存儲與安全，實(shí)時(shí)轉碼，視頻智能分析等方面具有自身獨特的技術(shù)優(yōu)勢。

3.1 數據存儲與安全

Hadoop分布式文件系統是現在主流的分布式文件系統之一，具有高容錯性，可以運行在低成本的計算機硬件基礎上。Hadoop分布式文件系統為讀寫(xiě)數據提供了大吞吐量，可運行需要大量數據計算的應用程序，非常適合大規模視頻監控系統的應用。

Hadoop分布式文件系統也采用了主從架構，它的集群是由一個(gè)Namenode和多個(gè)Datanode組成。Namenode是一個(gè)中心服務(wù)器，其主要負責管理文件系統的命名空間以及客戶(hù)端對文件的訪(fǎng)問(wèn)操作。Datanode負責管理文件塊的創(chuàng )建、存儲和刪除，并且在Namenode的統一調度下進(jìn)行文件塊的復制操作。

Hadoop分布式文件系統將每個(gè)文件分成一系列固定大小的數據塊，除了最后一個(gè)，所有的數據塊大小都為64MB。為了容錯，提高系統的可用性，存儲在 Datanode中文件的數據塊都會(huì )有副本。一般情況下，用戶(hù)的文件有3個(gè)副本，系統會(huì )將第一個(gè)副本放在本地節點(diǎn)上，將第二個(gè)副本放到同一機架的另外一個(gè)本地節點(diǎn)上，而將第三個(gè)副本放到云存儲系統不同機架的一個(gè)節點(diǎn)上。當某一節點(diǎn)的數據被破壞后，可以讀取其它節點(diǎn)的副本，提高數據的安全性，同時(shí)保證了系統的可靠性。