關(guān)于高清視頻監控存儲技術(shù)方案的分析

在視頻監控向數字化、網(wǎng)絡(luò )化、集成化監控體系發(fā)展過(guò)程中，“高清”技術(shù)日漸成為眾多監控系統的重點(diǎn)應用趨勢。高清帶來(lái)更為清晰、直觀(guān)的視覺(jué)體驗，08年奧運會(huì )、09年國慶閱兵和上海世博會(huì )中高清監控均得到非常成功的應用，切實(shí)加強了對重點(diǎn)區域的安全防范。

高清視頻監控應用背景

高清監控系統碼率大(4Mbps-20Mbps)、綜合性強、數據量巨大，對存儲系統的要求很高，主要體現在以下幾方面：

·性能較高的并發(fā)讀寫(xiě)能力;

·高效合理的空間管理能力;

·海量數據的快速檢索能力;

·穩定可靠的數據保存能力;

·靈活快速的空間擴展能力。

本文將重點(diǎn)介紹?？低曖槍Ω咔灞O控的兩種典型存儲方案--監控CVR存儲和監控云存儲，此兩種方案均采用了針對監控的優(yōu)化措施和針對海量數據的存儲管理技術(shù)，在高清應用中表現突出。

高清監控存儲方案介紹

CVR存儲方案

CVR存儲方案以存儲系統作為數據的管理和存儲核心環(huán)節，減少了存儲服務(wù)器環(huán)節，前端監控數據流直接寫(xiě)入存儲系統中，平臺和客戶(hù)端直接從存儲系統中讀取和調用視頻數據，所有的傳輸協(xié)議均采用針對視頻的流媒體傳輸協(xié)議。系統架構參見(jiàn)圖1。

該方案在架構上可以省略存儲服務(wù)器，消除其固有的性能瓶頸和單點(diǎn)故障隱患?；诹髅襟w的數據傳輸和數據管理結構，幾乎可以完全消除傳統文件系統下覆蓋讀寫(xiě)帶來(lái)了的文件碎片問(wèn)題，大幅提高存儲系統的寫(xiě)入和檢索速度;同時(shí)也將徹底消除傳統文件系統由于供電和網(wǎng)絡(luò )的不穩定引起的文件系統損壞、數據只讀等問(wèn)題。

監控云存儲方案

該監控云存儲解決方案，分為應用層、云存儲接口層和云存儲層，前端所有應用只要通過(guò)統一的云存儲接口接入云存儲系統即可接受存儲服務(wù)。方案具有如下特點(diǎn)：

·采用先進(jìn)架構，統一的云存儲服務(wù)接口，存儲對用戶(hù)透明，應用步驟簡(jiǎn)化;

·云存儲管理服務(wù)器支持集群化，無(wú)核心節點(diǎn);

·云存儲根據各節點(diǎn)壓力和空間情況自動(dòng)調節負載，實(shí)現智能負載均衡;

·部分存儲節點(diǎn)發(fā)生故障時(shí)，該節點(diǎn)的負載可透明轉移到其它節點(diǎn)，保證服務(wù)持續，實(shí)現故障對應用層透明;

·通過(guò)增加相應節點(diǎn)即可實(shí)現云存儲的容量和性能擴展，且對上層應用透明;

·采用了眾多針對視頻應用的流媒體文件系統、緩存優(yōu)化、數據保護機制等技術(shù)，提供近乎100%的服務(wù)保證。

高清視頻存儲技術(shù)

高性能流存儲技術(shù)

該存儲系統從系統架構、文件結構、高速緩存等方面入手，針對監控應用進(jìn)行了優(yōu)化設計，推出高性能流存儲系統。數據傳輸均采用數據流方式，底層采用突破傳統文件系統限制的流媒體數據結構，大幅提高了系統性能。

緩存算法順序化技術(shù)

監控應用是一種大碼流多并發(fā)寫(xiě)為主的存儲應用，對性能、并發(fā)性和穩定性等方面有很高的要求。該存儲系統采用獨特的大緩存順序化算法，把多路隨機并發(fā)訪(fǎng)問(wèn)變?yōu)轫樞蛟L(fǎng)問(wèn)，解決了硬盤(pán)磁頭因頻繁尋道而導致的性能迅速下降和硬盤(pán)壽命縮短的問(wèn)題。

高效合理的空間管理技術(shù)

集群管理技術(shù)

高清監控中會(huì )產(chǎn)生PB級海量監控數據，存儲設備的數量達數十臺上百臺，因此管理方式的科學(xué)高效顯得十分重要。其提供基于集群管理技術(shù)的多設備集中管理工具，具有設備集中監控、集群管理、系統軟硬件運行狀態(tài)的監控、主動(dòng)報警，圖像化系統檢測等功能。

針對大規模監控系統提供多設備集群存儲服務(wù)，流媒體應用下可以提供EB級海量卷尋址。64位命令尋址，8TB為單位的數據卷，可以多數據卷為同一組錄像提供空間，總的空間大小為264X8TB。

快速的檢索回放技術(shù)

海量數據快速數據定位技術(shù)

在高清監控應用中，數據高效檢索尤為重要。傳統文件系統中，文件檢索采用的是“目錄->子目錄->文件->定位”的檢索步驟，在海量數據的高清視頻監控，目錄和文件數量十分可觀(guān)，這種檢索模式的效率就會(huì )大打折扣。?？盗鞔鎯ο到y采用獨特的“設備號->對應數據卷->偏移“檢索方式，最大限度精簡(jiǎn)檢索深度，提高檢索效率。

精確定位、高效回放

基于底層流存儲數據結構和快速數據定位技術(shù)，可以實(shí)現任意時(shí)間段(時(shí)間段可以無(wú)限小或無(wú)限接近當前時(shí)間)的即時(shí)回放和任意時(shí)間點(diǎn)/時(shí)間段的快速精確檢索定位。檢索到的單路視頻錄像可以切割為多段并行回放，大大提高回放效率。

穩定可靠的數據保存技術(shù)

數據塊空間預分配技術(shù)

監控應用中幾乎全部是循環(huán)覆蓋讀寫(xiě)應用，必定產(chǎn)生文件碎片，將對存儲系統產(chǎn)生很大影響。

該方案存儲基于流媒體數據結構，通過(guò)數據空間預分配空間策略，在循環(huán)覆蓋應用環(huán)境中幾乎完全消除文件碎片，使系統具備良好的性能和穩定性。

原理：把數據塊劃分為大的虛擬數據塊vblock(至少是16MB)，并且按錄像周期再把虛擬數據塊劃分為不同區域，保證每個(gè)數據區域的覆蓋周期是一致的，盡大可能的避免出現碎片，同時(shí)提高性能和穩定性。

N+n+m冗余

提供N+n+m的備機工作模式：N臺在線(xiàn)存儲設備，n臺熱備(休眠)存儲設備，m臺冷備(關(guān)機狀態(tài))存儲設備。當在線(xiàn)存儲系統出現故障后，熱備機立即接替服務(wù)，故障恢復時(shí)，服務(wù)和數據回遷;如果故障機數據需要調用，可以把故障機的磁盤(pán)插入到冷備機中，實(shí)現所有數據的立即可用。

靈活快速的空間擴展技術(shù)

對于高清監控系統，隨著(zhù)監控前端的增加和存儲時(shí)間的延長(cháng)，擴展能力十分重要。某些廠(chǎng)商已提供單純針對容量的擴展柜擴展模式和性能容量同步線(xiàn)性擴展的堆疊擴展模式。