大數據時(shí)代下的三種存儲架構

　　大數據時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò )、數據分析、云服務(wù)等應用的迅速普及，對數據中心提出革命性的需求，存儲基礎架構已經(jīng)成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業(yè)連鎖、醫療、金融、新媒體、廣電等各個(gè)領(lǐng)域新興應用層出不窮。數據的價(jià)值日益凸顯，數據已經(jīng)成為不可或缺的資產(chǎn)。作為數據載體和驅動(dòng)力量，存儲系統成為大數據基礎架構中最為關(guān)鍵的核心。

　　傳統的數據中心無(wú)論是在性能、效率，還是在投資收益、安全，已經(jīng)遠遠不能滿(mǎn)足新興應用的需求，數據中心業(yè)務(wù)急需新型大數據處理中心來(lái)支撐。除了傳統的高可靠、高冗余、綠色節能之外，新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自動(dòng)化等一系列特征，才能滿(mǎn)足具備大數據特征的應用需求。這些史無(wú)前例的需求，讓存儲系統的架構和功能都發(fā)生了前所未有的變化。

　　基于大數據應用需求，“應用定義存儲”概念被提出。存儲系統作為數據中心最核心的數據基礎，不再僅是傳統分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特征之外，還要有虛擬化、并行分布、自動(dòng)分層、彈性擴展、異構資源整合、全局緩存加速等多方面的特點(diǎn)，才能滿(mǎn)足具備大數據特征的業(yè)務(wù)應用需求。

　　尤其在云安防概念被熱炒的時(shí)代，隨著(zhù)高清技術(shù)的普及，720P、1080P隨處可見(jiàn)，智能和高清的雙向需求、動(dòng)輒500W、800W甚至上千萬(wàn)更高分辨率的攝像機面市，大數據對存儲設備的容量、讀寫(xiě)性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

　　目前市場(chǎng)上的存儲架構如下：

　　（1）基于嵌入式架構的存儲系統

　　節點(diǎn)NVR架構主要面向小型高清監控系統，高清前端數量一般在幾十路以?xún)?。系統建設中沒(méi)有大型的存儲監控中心機房，存儲容量相對較小，用戶(hù)體驗度、系統功能集成度要求較高。在市場(chǎng)應用層面，超市、店鋪、小型企業(yè)、政法行業(yè)中基本管理單元等應用較為廣泛。

　　（2）基于X86架構的存儲系統

　　平臺SAN架構主要面向中大型高清監控系統，前端路數成百上千甚至上萬(wàn)。一般多采用IPSAN或FCSAN搭建高清視頻存儲系統。作為監控平臺的重要組成部分，前端監控數據通過(guò)錄像存儲管理模塊存儲到SAN中。

　　此種架構接入高清前端路數相對節點(diǎn)NVR有了較高提升，具備快捷便利的可擴展性，技術(shù)成熟。對于IPSAN而言，雖然在ISCSI環(huán)節數據并發(fā)讀寫(xiě)傳輸速率有所消耗，但其憑借擴展性良好、硬件平臺通用、海量數據可充分共享等優(yōu)點(diǎn)，仍然得到很多客戶(hù)的青睞。FCSAN在行業(yè)用戶(hù)、封閉存儲系統中應用較多，比如縣級或地級市高清監控項目，大數據量的并發(fā)讀寫(xiě)對千兆網(wǎng)絡(luò )交換提出了較大的挑戰，但應用FCSAN構建相對獨立的存儲子系統，可以有效解決上述問(wèn)題。

　　面對視頻監控系統大文件、隨機讀寫(xiě)的特點(diǎn)，平臺SAN架構系統不同存儲單元之間的數據共享冗余方面還有待提高;從高性能服務(wù)器轉發(fā)視頻數據到存儲空間的策略，從系統架構而言也增加了隱患故障點(diǎn)、ISCSI帶寬瓶頸導致無(wú)法充分利用硬件數據并發(fā)性能、接入前端數據較少。上述問(wèn)題催生了平臺NVR架構解決方案。

　　該方案在系統架構上省去了存儲服務(wù)器，消除了上文提到的性能瓶頸和單點(diǎn)故障隱患。大幅度提高存儲系統的寫(xiě)入和檢索速度;同時(shí)也徹底消除了傳統文件系統由于供電和網(wǎng)絡(luò )的不穩定帶來(lái)的文件系統損壞等問(wèn)題。

　　平臺NVR中存儲的數據可同時(shí)供多個(gè)客戶(hù)端隨時(shí)查詢(xún)，點(diǎn)播，當用戶(hù)需要查看多個(gè)已保存的視頻監控數據時(shí)，可通過(guò)授權的視頻監控客戶(hù)端直接查詢(xún)并點(diǎn)播相應位置的視頻監控數據進(jìn)行歷史圖像的查看。由于數據管理服務(wù)器具有監控系統所有監控點(diǎn)的錄像文件的索引，因此通過(guò)平臺CMS授權，視頻監控客戶(hù)端可以查詢(xún)并點(diǎn)播整個(gè)監控系統上所有監控點(diǎn)的數據，這個(gè)過(guò)程對用戶(hù)而言也是透明的。

　　（3）基于云技術(shù)的存儲方案

　　當前，安防行業(yè)可謂“云”山“物”罩。隨著(zhù)視頻監控的高清化和網(wǎng)絡(luò )化，存儲和管理的視頻數據量已有海量之勢，云存儲技術(shù)是突破IP高清監控存儲瓶頸的重要手段。云存儲作為一種服務(wù)，在未來(lái)安防監控行業(yè)有著(zhù)客觀(guān)的應用前景。

　　與傳統存儲設備不同，云存儲不僅是一個(gè)硬件，而是一個(gè)由網(wǎng)絡(luò )設備、存儲設備、服務(wù)器、軟件、接入網(wǎng)絡(luò )、用戶(hù)訪(fǎng)問(wèn)接口以及客戶(hù)端程序等多個(gè)部分構成的復雜系統。該系統以存儲設備為核心，通過(guò)應用層軟件對外提供數據存儲和業(yè)務(wù)服務(wù)。

　　一般分為存儲層、基礎管理層、應用接口層以及訪(fǎng)問(wèn)層。存儲層是云存儲系統的基礎，由存儲設備（滿(mǎn)足FC協(xié)議、iSCSI協(xié)議、NAS協(xié)議等）構成?；A管理層是云存儲系統的核心，其擔負著(zhù)存儲設備間協(xié)同工作，數據加密，分發(fā)以及容災備份等工作。應用接口層是系統中根據用戶(hù)需求來(lái)開(kāi)發(fā)的部分，根據不同的業(yè)務(wù)類(lèi)型，可以開(kāi)發(fā)出不同的應用服務(wù)接口。訪(fǎng)問(wèn)層指授權用戶(hù)通過(guò)應用接口來(lái)登錄、享受云服務(wù)。其主要優(yōu)勢在于：硬件冗余、節能環(huán)保、系統升級不會(huì )影響存儲服務(wù)、海量并行擴容、強大的負載均衡功能、統一管理、統一向外提供服務(wù)，管理效率高，云存儲系統從系統架構、文件結構、高速緩存等方面入手，針對監控應用進(jìn)行了優(yōu)化設計。數據傳輸可采用流方式，底層采用突破傳統文件系統限制的流媒體數據結構，大幅提高了系統性能。

　　高清監控存儲是一種大碼流多并發(fā)寫(xiě)為主的存儲應用，對性能、并發(fā)性和穩定性等方面有很高的要求。該存儲解決方案采用獨特的大緩存順序化算法，把多路隨機并發(fā)訪(fǎng)問(wèn)變?yōu)轫樞蛟L(fǎng)問(wèn)，解決了硬盤(pán)磁頭因頻繁尋道而導致的性能迅速下降和硬盤(pán)壽命縮短的問(wèn)題。

　　針對系統中會(huì )產(chǎn)生PB級海量監控數據，存儲設備的數量達數十臺上百臺，因此管理方式的科學(xué)高效顯得十分重要。云存儲可提供基于集群管理技術(shù)的多設備集中管理工具，具有設備集中監控、集群管理、系統軟硬件運行狀態(tài)的監控、主動(dòng)報警，圖像化系統檢測等功能。在海量視頻存儲檢索應用中，檢索性能尤為重要。傳統文件系統中，文件檢索采用的是“目錄-》子目錄-》文件-》定位”的檢索步驟，在海量數據的高清視頻監控，目錄和文件數量十分可觀(guān)，這種檢索模式的效率就會(huì )大打折扣。采用序號文件定位可以有效解決該問(wèn)題。

　　云存儲可以提供非常高的的系統冗余和安全性。當在線(xiàn)存儲系統出現故障后，熱備機可以立即接替服務(wù)，當故障恢復時(shí)，服務(wù)和數據回遷;若故障機數據需要調用，可以將故障機的磁盤(pán)插入到冷備機中，實(shí)現所有數據的立即可用。

　　對于高清監控系統，隨著(zhù)監控前端的增加和存儲時(shí)間的延長(cháng)，擴展能力十分重要。市場(chǎng)中已有友商可提供單純針對容量的擴展柜擴展模式和性能容量同步線(xiàn)性擴展的堆疊擴展模式。

　　云存儲系統除上述優(yōu)點(diǎn)之外，在平臺對接整合、業(yè)務(wù)流程梳理、視頻數據智能分析深度挖掘及成本方面都將面臨挑戰。承建大型系統、構建云存儲的商業(yè)模式也亟待創(chuàng )新。受限于寬帶網(wǎng)絡(luò )、web2.0技術(shù)、應用存儲技術(shù)、文件系統、P2P、數據壓縮、CDN技術(shù)、虛擬化技術(shù)等的發(fā)展，未來(lái)云存儲還有很長(cháng)的路要走。