安防行業(yè)云存儲技術(shù)的發(fā)展與應用

　　隨著(zhù)視頻監控系統規模不斷擴大，以及高清視頻的大規模應用，對視頻監控系統中需要存儲的數據和應用的復雜程度在不斷提高，且視頻數據需要長(cháng)時(shí)間持續地保存到存儲系統中，并要求隨時(shí)可以調用，對存儲系統的可靠性和性能等方面都提出了新的要求。在未來(lái)的復雜系統中，數據將呈現爆炸性的海量增長(cháng)，提供對海量數據的快速存儲及檢索技術(shù)，顯得尤為重要，存儲系統正在成為視頻監控技術(shù)未來(lái)發(fā)展的決定性因素。

　　面對百PB級的海量存儲需求，傳統的SAN或NAS在容量和性能的擴展上會(huì )存在瓶頸。而云存儲可以突破這些性能瓶頸，實(shí)現性能與容量的線(xiàn)性擴展，這對于追求高性能、高可用性的企業(yè)用戶(hù)來(lái)說(shuō)是一個(gè)新選擇。

　　云存儲是近年來(lái)在存儲領(lǐng)域興起的一種新技術(shù)，云存儲顧名思義是將復雜的存儲功能實(shí)現封閉在云端，通過(guò)一種簡(jiǎn)單的方式為用戶(hù)提供優(yōu)質(zhì)的存儲服務(wù)。具體過(guò)程是云存儲通過(guò)軟件將系統內大量不同類(lèi)型的存儲設備管理起來(lái)，運用虛擬化技術(shù)、集群化技術(shù)、離散存儲技術(shù)、分布式數據庫等對系統內的設備資源、存儲容量資源進(jìn)行專(zhuān)業(yè)化整合為用戶(hù)提供大容量、高性能的透明存儲服務(wù)。

　　二、云存儲系統的設計原則

　　云存儲系統的設計原則應該采用業(yè)務(wù)控制和業(yè)務(wù)數據分離的設計思路。在存儲模式上新增加元數據管理節點(diǎn)專(zhuān)伺于系統的資源管理、任務(wù)調度和運行維護，元數據管理節點(diǎn)不具體執行寫(xiě)入、讀取等業(yè)務(wù)操作，而將這部分功能交給存儲服務(wù)節點(diǎn)負責。云存儲的整體設計形成一種松耦合非對稱(chēng)系統架構，在實(shí)際的運行過(guò)程當中該架構能夠使系統提供靈活多變的業(yè)務(wù)擴展屬性和持續穩定的性能增長(cháng)。在硬件設備規模和存儲容量不斷擴大的情況下系統性能能夠與存儲容量保持線(xiàn)性增長(cháng)，這種屬性也為云存儲基礎上的云服務(wù)擴展奠定了基礎。

　　采用松耦合非對稱(chēng)系統架構的云存儲系統在具體軟件設計的層次上可以如圖劃分為以下五個(gè)層次：

　　 設備層

　　設備層是云存儲最基礎、最底層的部分。在系統組成中，存儲設備可以是標準SAN架構下的FC光纖通道存儲設備或iSCSI協(xié)議下的IP存儲設備，這些存儲設備構成云存儲的存儲資源基礎。

　　 存儲層

　　存儲層含有云存儲流式文件系統和虛擬化資源系統。通過(guò)云存儲流式文件系統和虛擬化資源系統，實(shí)現存儲傳輸協(xié)議和標準存儲設備之間的數據邏輯結構或磁盤(pán)陣列的映射。存儲層另一類(lèi)重要功能就是具體實(shí)現數據(視頻、圖片、附屬流)和設備層存儲設備之間的通信連接，完成數據的高效寫(xiě)入、讀取和調用等服務(wù)。

　　 管理層

　　在管理層融合了多種核心的管理功能。負責實(shí)現存儲設備的邏輯虛擬化管理、多鏈路冗余管理、錄像計劃的主動(dòng)下發(fā)，以及硬件設備的狀態(tài)監控和故障維護等;存儲業(yè)務(wù)響應，以及存儲資源調配也由管理層負責。

　　 接口層

　　應用接口層是云存儲最靈活多變的部分，接口層面向用戶(hù)應用提供完善以及統一的訪(fǎng)問(wèn)接口，接口類(lèi)型可以是Web Service接口、API接口、Mibs接口，可以根據實(shí)際業(yè)務(wù)類(lèi)型，開(kāi)發(fā)不同的應用服務(wù)接口，提供不同的應用服務(wù)。實(shí)現與外部系統之間的對接。

　　 應用層

　　從邏輯上劃分，除了應用層外，剩下的四層都屬于通常云存儲的范疇，但是在視頻云存儲系統中，為了與視頻監控系統的建設和應用更加緊密的結合，更加符合用戶(hù)的業(yè)務(wù)需求，將應用層納入了整個(gè)系統架構中，從根本上提高視頻云存儲系統的針對性。

　　三、云存儲系統的核心技術(shù)

　　安防產(chǎn)業(yè)的蓬勃發(fā)展離不開(kāi)對海量視頻和圖片數據的深入挖掘和分析。早期的存儲僅僅是將數據進(jìn)行存儲，經(jīng)過(guò)這些年的發(fā)展，已經(jīng)注重從數據中獲取真實(shí)需要的關(guān)鍵信息，并已成為具體的業(yè)務(wù)提供支撐。云存儲不但在滿(mǎn)足海量數據存儲需求上契合了安防行業(yè)的發(fā)展趨勢，同時(shí)在應用性和專(zhuān)業(yè)化程度上也逐漸發(fā)展和深化。那么，帶有行業(yè)屬性的云存儲系統的出現就是一個(gè)必然的過(guò)程。

　　安防行業(yè)與互聯(lián)網(wǎng)行業(yè)應用有著(zhù)明顯的差別。在互聯(lián)網(wǎng)應用中有著(zhù)數以?xún)|計的用戶(hù)，這些用戶(hù)分布在世界各地而且應用需求也千差萬(wàn)別?；ヂ?lián)網(wǎng)用戶(hù)產(chǎn)生的數據總量雖然非常龐大，但是數據信息類(lèi)型卻也非常復雜，單個(gè)數據文件大小相對較小。

　　安防監控領(lǐng)域的視頻數據則具有非常明顯的特征，其數據流依照時(shí)間順序持續產(chǎn)生，并且數據量非常龐大。隨著(zhù)高清和超高清攝像機的不斷加入，數據量的爆炸性增長(cháng)可想而知。這類(lèi)長(cháng)時(shí)間、大流量的數據在進(jìn)行存儲時(shí)對傳統的文件系統產(chǎn)生了非常大的壓力，傳統的文件系統在數據的存儲上很少考慮到數據連續性問(wèn)題，在磁盤(pán)空間的利用率上也盡可能地將數據的存儲粒度降低以滿(mǎn)足P2P式的文件下載訪(fǎng)問(wèn)需求。而這這種方式對視頻流數據則極為不利，系統在從存儲中提取數據后需要耗費大量資源對數據按照時(shí)間順序進(jìn)行重組，而且為了提取某段長(cháng)時(shí)間的視頻數據磁盤(pán)尋址延時(shí)和等待延時(shí)會(huì )幾何級數地增長(cháng)，照成視頻數據提取和分析時(shí)間過(guò)長(cháng)，阻礙了安防監控應用的發(fā)展。

　　作為安防監控領(lǐng)域的云存儲系統，如果不改變這種結構化數據的存儲思路，那么將是無(wú)法支撐云計算以及大數據智能分析發(fā)展需要的。作為安防監控領(lǐng)域的云存儲首先面臨的就是對文件系統的改造，針對視頻數據的特點(diǎn)，在數據持續寫(xiě)入時(shí)需要強關(guān)聯(lián)其時(shí)間屬性，同時(shí)優(yōu)化磁盤(pán)的存儲空間，合理安排數據的存儲資源分配。在對文件系統進(jìn)行全面優(yōu)化后形成一套適合視頻數據存儲和讀取的具有流式數據特點(diǎn)的云存儲文件系統，也稱(chēng)為流式文件系統。

　　此外虛擬化技術(shù)的應用也是衡量一套存儲系統是否成為真正意義上的云存儲的一個(gè)重要標志。虛擬化技術(shù)分為兩個(gè)方面來(lái)探討，最基礎的技術(shù)要求是對云存儲系統內所有存儲資源的整合。傳統的NVR或者CVR堆疊模式雖然在發(fā)展的過(guò)程中有許多廠(chǎng)家也注意到了對資源的統一管理工作，但是其管理的粒度仍然是以單個(gè)存儲設備作為基礎的，這種程度的整合會(huì )導致系統的控制粒度過(guò)大、存儲資源利用率偏低。而真正意義上的虛擬化整合則需要更加的細化，云存儲在管理存儲資源時(shí)需要能控制到存儲設備上的最基礎存儲單元，因此通過(guò)對最基礎存儲單元的整合作為虛擬化的一個(gè)重要指標。對元數據管理服務(wù)器來(lái)說(shuō)只有看得清楚、管得細致，了才能做到對存儲資源的合理利用和優(yōu)化整合。

　　虛擬化的另一個(gè)重要特征就是具體實(shí)現完全透明。在虛擬化技術(shù)對存儲資源進(jìn)行整合之后對于上層系統而言應該呈現出一個(gè)完整的、唯一的存儲資源池。存儲資源池具有統一化、靈活性、可再分割、再調整的功能屬性，而且這部分功能屬性的具體實(shí)現是完全屏蔽在虛擬化系統內部的，不需要再有其他系統或者操作者進(jìn)行干預。使用者所見(jiàn)到的僅僅是一個(gè)超大的存儲資源池，他可以根據具體業(yè)務(wù)存儲的需要從存儲資源池中取出一部分空間用于某些視頻數據的存儲。使用者無(wú)需關(guān)心視頻數據究竟是存放在云存儲系統中的哪臺存儲主機的哪個(gè)磁盤(pán)上，具體的存儲空間分配由虛擬化系統執行完成。同時(shí)使用者也不必擔心數據的安全性問(wèn)題，因為當用戶(hù)改變存儲策略、調整空間大小時(shí)虛擬化技術(shù)會(huì )自行對數據進(jìn)行備份、遷移、覆蓋。所有這些具體的執行對使用者都是透明的，使用者的精力可以完全集中在對自身業(yè)務(wù)的管理上來(lái)。

　　集群化技術(shù)是除了虛擬化技術(shù)以外衡量云存儲系統成熟度的另一個(gè)重要標志。在討論云存儲系統架構的時(shí)候我們探討了系統采用松耦合非對稱(chēng)架構的必要性，在系統中衍生出元數據管理節點(diǎn)的同時(shí)，我們對其可靠性、穩定性、以及性能的要求隨著(zhù)云存儲系統的不斷膨脹也越來(lái)越高。單一節點(diǎn)或者雙機HA模式在中小型的安防監控項目中還可以勉強勝任，一旦系統規模擴大其元數據管理節點(diǎn)的壓力就會(huì )不斷加強，其性能瓶頸直接會(huì )導致云存儲系統可用度降低，甚至影響云存儲系統的正常運行。集群化技術(shù)在云存儲系統中的應用將能夠很好的解決這些問(wèn)題。元數據管理集群改變過(guò)去單兵作戰的方式，采用成建制的集團軍協(xié)同作戰將各個(gè)元數據管理節點(diǎn)的系統性能形成合力共同為云存儲服務(wù)。創(chuàng )建元數據管理集群需要專(zhuān)門(mén)開(kāi)發(fā)用于集群組件的軟件，集群軟件的作用就是維持各個(gè)節點(diǎn)間的通信順暢，并按照負責均衡的原則將大量待處理業(yè)務(wù)信息分派給具體的元數據管理節點(diǎn)來(lái)執行。多臺元數據管理節點(diǎn)通過(guò)集群軟件保持高度的統一性和可協(xié)調性，管理信息和監控信息數據在各個(gè)節點(diǎn)間的分布式數據庫間同步，所有節點(diǎn)都具有獨立完成業(yè)務(wù)處理工作的能力并保持集群的ALL ACTIVE的狀態(tài)。這樣云存儲系統的處理性能將不再受單一節點(diǎn)限制，當云存儲需要擴容和提升系統性能時(shí)可以繼續增加集群的元數據管理節點(diǎn)數目，以保持業(yè)務(wù)性能的線(xiàn)性增長(cháng)。

　　集群化技術(shù)的另一個(gè)優(yōu)勢就是提供了更高的可靠性。傳統HA熱備的雙機模式為了提高可靠性實(shí)際是以一臺服務(wù)器的資源浪費作為代價(jià)的，備機不參與任何業(yè)務(wù)處理，僅是等待主機故障后替換而已。而集群模式的優(yōu)勢在于集群中所有節點(diǎn)都是可以參與業(yè)務(wù)處理工作的，其中的一臺或者幾臺服務(wù)器節點(diǎn)出現故障，集群軟件可以很快發(fā)現問(wèn)題并協(xié)調集群中的其它仍然運行良好的服務(wù)器節點(diǎn)接替故障機的工作，集群軟件而言這只不過(guò)是簡(jiǎn)單地進(jìn)行一次業(yè)務(wù)負載均衡調整和業(yè)務(wù)分配而已。

　　集群化的這些優(yōu)點(diǎn)除了在元數據管理節點(diǎn)群化外，對于數量龐大的存儲節點(diǎn)依然適用。因為在云存儲系統中資源的調度，業(yè)務(wù)的分派都是由元數據管理集群完成，存儲節點(diǎn)僅需要保證存儲業(yè)務(wù)的具體執行。通過(guò)對數據存儲業(yè)務(wù)執行的合理分配，完全可以做到將過(guò)去各自為政的存儲節點(diǎn)資源統一進(jìn)行調配，發(fā)揮其最大的效率。同時(shí)倘若部分存儲節點(diǎn)出現故障，元數據管理集群也能自動(dòng)將數據存儲業(yè)務(wù)調整到其他運行正常的存儲節點(diǎn)上以滿(mǎn)足高要求的N(元數據管理節點(diǎn))+M(存儲節點(diǎn))集群可靠性。

　　云存儲的發(fā)展不僅僅需要考慮自身存儲業(yè)務(wù)的需要，更重要的是需要考慮云計算、智能分析對大數據提取的性能需求。因此云存儲系統的數據吞吐量就顯得尤為重要，傳統存儲方案中某路視頻流存儲時(shí)基本是以存儲設備為單位，那么在數據從單一的存儲設備上提取時(shí)就是一個(gè)串行的過(guò)程，當提取量增大整個(gè)過(guò)程耗時(shí)就會(huì )非常嚴重。云存儲系統就必須改變這一模式，現在較為先進(jìn)的做法是存儲時(shí)盡可能將某路視頻數據到分散不同的存儲設備上，而當需要提取數據時(shí)多臺存儲設備并發(fā)推送數據以形成系統級的高并發(fā)吞吐量。數據的分散粒度越大，提取時(shí)的速度就可能越快，然而如果分散過(guò)于凌亂則對數據的管理又增加了額外的系統開(kāi)銷(xiāo)。因而對分散的控制就顯得格外重要，?？低曉拼鎯ο到y的做法是在元數據管理集群中內嵌高效的數據存儲任務(wù)分派離散算法，通過(guò)算法對當前云存儲系統資源進(jìn)行實(shí)時(shí)調度，做到最合理的分散存儲，既兼顧管理的高效性同時(shí)又保證了系統級的并發(fā)讀取速率，因此離散存儲無(wú)疑是一種最為合理的方式。

　　四、云存儲在安防行業(yè)創(chuàng )新和發(fā)展

　　近年來(lái)，安防行業(yè)不斷向著(zhù)IT化、應用化、智能化的模式深入發(fā)展，全國大力興建城市級的安防監控和深化應用平臺。擁有自主知識產(chǎn)權的領(lǐng)軍企業(yè)，如?？低曇呀?jīng)取得了一定的成績(jì)，并積累了豐富的經(jīng)驗。安防領(lǐng)域已經(jīng)不僅僅停留在簡(jiǎn)單的監控、存儲階段，云安防的理念迎合了目前對于安防信息內容的重視，而云計算、云存儲則是實(shí)現內容為王，智能分析的基礎。

　　技術(shù)的發(fā)展離不開(kāi)行業(yè)的應用需求，云存儲在安防行業(yè)的創(chuàng )新也要緊貼著(zhù)安防行業(yè)的特點(diǎn)來(lái)完成。云存儲技術(shù)的發(fā)展如果不緊貼安防行業(yè)的特點(diǎn)，不顧及視頻數據與文件數據的本質(zhì)區別，簡(jiǎn)單將用于文件存儲的云存儲系統移植到安防監控領(lǐng)域中將會(huì )嚴重影響到云安防的整體性能。安防行業(yè)最重要的數據形式就是視頻流數據，流式數據與文件數據有著(zhù)很大的差別，那么對流式數據的存儲上就迫切需要一種適合視頻流高速存儲、查詢(xún)、讀取的技術(shù)。提高云存儲性能的方法很多，包括前文提高的虛擬化、集群化、離散存儲與并發(fā)提取外，流式文件系統的出現就是一種對云存儲行業(yè)化的典型創(chuàng )新和探索。

　　云計算是云安防的靈魂，而云存儲則是云計算最大的支撐。云存儲的發(fā)展也必須貼與云計算在安防監控領(lǐng)域的應用緊密配合。在云計算中除了談?wù)撛朴嬎愕募軜?、典型技術(shù)等等，其滿(mǎn)足應用需求時(shí)采用的不同策略也是非常值得關(guān)注的，例如云計算的前分析、實(shí)時(shí)分析、后分析等等。對于這些分析模式，云存儲提供的基礎數據起著(zhù)非常重要的作用，最優(yōu)化的一種方式就是云存儲對數據存儲的基礎數據單元與云計算處理時(shí)調用的基礎數據單元在格式、大小、標準上保持一致。這樣做優(yōu)勢不言而喻，就是減少云計算的復雜度和對系統資源的消耗。

　　作為云存儲在安防監控行業(yè)應用的本身而言，針對例如視頻、圖片、附屬信息的一些基本功能將常用的應用內嵌在云存儲系統內部，這也是提高安防云應用效率的一個(gè)非常有效的方式。以?？低暈槔?，在云存儲系統內開(kāi)發(fā)類(lèi)如：視頻錄像、查詢(xún)、回放、鎖定、刪除、覆蓋等功能，將這些功能封裝在軟件模塊中以API接口的方式提供給上層調用平臺，如云計算系統或者行業(yè)應用平臺等。將帶有行業(yè)屬性的應用與簡(jiǎn)單的存儲、查詢(xún)、讀取等基本功能結合，同時(shí)也可以深化視頻應用的開(kāi)發(fā)，例如提供I幀回放等功能。這些深入的開(kāi)發(fā)將云存儲系統在安防行業(yè)的優(yōu)勢得到最大的體現，也是目前云存儲在安防行業(yè)創(chuàng )新和發(fā)展的必然趨勢。

　　在安防市場(chǎng)中對云存儲需求最為迫切，也最可能率先采用云存儲技術(shù)運用于自身系統的就是公安行業(yè)。隨著(zhù)經(jīng)濟建設和各項社會(huì )事業(yè)等快速發(fā)展，城市的公共安全面臨著(zhù)更大的挑戰。全國跨地區、跨部門(mén)、跨警種的信息共享，建立城市報警與監控系統的協(xié)同使用機制、強化視頻監控技術(shù)在公安偵查破案中的支柱性作用，不斷提高系統的管、控、用整體水平，因此“大公安”的概念以被人們所接受。?？低曄嚓P(guān)資料顯示，在“大公安”系統中，多以高清視頻采集為手段，集智能分析技術(shù)，綜合城市治安、治安卡口(高清)、社會(huì )監控資源，實(shí)現各類(lèi)監控資源的共享，提高資源利用率。在這種建設目標下，云存儲的優(yōu)點(diǎn)能夠非常有利地支撐起海量高清視頻存儲、以及大數據智能分析對數據處理需求和高并發(fā)、大吞吐的需要，云存儲作為整體行業(yè)解決方案的一部分將是其中不可或缺的一環(huán)。

　　隨著(zhù)云存儲技術(shù)的不斷發(fā)展和完善，在云存儲為安防行業(yè)定制開(kāi)發(fā)的思想指導下，云安防這一看似朦朧、飄渺的構想將逐漸豐滿(mǎn)、現實(shí)。想必在科技日新月異的今天，我們很快就能感受到云存儲給整個(gè)安防行業(yè)帶來(lái)的蓬勃生機。