詳解安防存儲中漸漸成長(cháng)的新RAID技術(shù)

近年來(lái)，隨著(zhù)信息技術(shù)的不斷發(fā)展以及安防產(chǎn)品與系統的普及應用，安防行業(yè)的數據安全問(wèn)題不斷受到人們的重視。隨著(zhù)高清監控的快速發(fā)展，平安城市、智慧城市等大型項目的大量鋪開(kāi)，數據量不斷增大，隨之而帶來(lái)的大數據下的存儲問(wèn)題及數據安全問(wèn)題，逐漸成為視頻網(wǎng)路監控領(lǐng)域里新的課題。

　　安防數據的存儲伴隨著(zhù)安防技術(shù)和存儲技術(shù)共同發(fā)展。先后經(jīng)歷里模擬前端+DVR存儲、模擬前端+DVS/DVR+網(wǎng)絡(luò )存儲、網(wǎng)絡(luò )前端+NVR、網(wǎng)絡(luò )前端+網(wǎng)絡(luò )存儲等階段?，F在隨著(zhù)網(wǎng)絡(luò )帶寬的提高，使得高清應用越來(lái)越普遍，進(jìn)而對安防存儲系統提出了更高的要求。

　　一、安防數據存儲新需求

　　當今安防發(fā)展特點(diǎn)可以概括為以下三點(diǎn)：

　　1)高清化

　　高線(xiàn)模擬：600/650/700線(xiàn)模擬攝像機+高分辨率DVR

　　數字高清：SDI/HDSDI，HDCCTV

　　高清網(wǎng)絡(luò )：130萬(wàn)/200萬(wàn)/500萬(wàn)IPC+HDVR+NVR，4K應用

　　2)智能化

　　從事后追責，被動(dòng)應用過(guò)渡到事先防控、主動(dòng)防御，進(jìn)一步解放人力、提高效率

　　從技術(shù)層面的智能分析進(jìn)入實(shí)戰應用用階段，如周界防范、人員追蹤等，已經(jīng)在公安、交通、金融、司法等行業(yè)開(kāi)始使用

　　3)融合應用

　　從單系統獨立使用進(jìn)入多系統平臺融合使用階段，主要表現為

　　大容量視頻信息匯集、共享

　　安防系統內部整合，對接上層業(yè)務(wù)管理系統

　　多系統融合，比如應急聯(lián)動(dòng)、緊急布控、公安消防等

　　安防與IT技術(shù)高度融合

二、安防存儲新技術(shù)：從底層保護數據安全

　　從以上分析可知，安防系統已經(jīng)步入實(shí)戰階段，而智能分析、主動(dòng)防御、融合應用的實(shí)戰操作必須建立在可靠的監控數據存儲系統上。這里介紹兩種RAID技術(shù)，該技術(shù)可以從底層保證數據的安全存儲。

　　1、VRAID(VedioRAID)技術(shù)

　　RAID技術(shù)已經(jīng)很熟悉，屬于磁盤(pán)陣列的基礎技術(shù)，經(jīng)過(guò)不斷發(fā)展，現在已經(jīng)有了從RAID0到RAID7八種基本的RAID級別和類(lèi)似RAID10、RAID50的二維RAID。不同的RAID級別可以為用戶(hù)提供相應的RAID性能和數據安全性。但任何一種RAID技術(shù)都有故障盤(pán)容忍限度，即壞盤(pán)數量達到一定數量后整個(gè)RAID組失效，其中的數據全部丟失。例如，傳統RAID5中，一塊硬盤(pán)損壞時(shí)，RAID通過(guò)冗余機制可以保證數據不丟失，但當硬盤(pán)損壞2塊以上，很不幸RAID5已經(jīng)不能幫你恢復硬盤(pán)數據，一般來(lái)說(shuō)只好和你的所有數據說(shuō)byebye了!

　　這里介紹的VRAID技術(shù)是一種面向安防應用的新RAID技術(shù)(?？低曖槍σ曨l應用推出的全新技術(shù))。VRAID技術(shù)可以有效的解決傳統RAID中多(2或以上)塊硬盤(pán)損壞后，整個(gè)RAID組中數據完全丟失的問(wèn)題。即VRAID中壞2塊盤(pán)以上(理想情況下只要有1塊可用盤(pán)即可)，剩余好盤(pán)中的數據仍然可讀，同時(shí)新數據可持續寫(xiě)入。技術(shù)原理：VRAID的實(shí)現是立足于存儲設備底層不同于傳統文件系統的流媒體數據管理結構和RAID優(yōu)化技術(shù)來(lái)。當VRAID中多塊盤(pán)損壞時(shí)，在流媒體數據管理結構下，好盤(pán)上各個(gè)條帶中的視頻數據仍可獨立播放;播放到壞盤(pán)條帶時(shí)，直接自動(dòng)跳過(guò)并且自然播放下一個(gè)可用條帶上的數據，保證錄像畫(huà)面播放流暢。同時(shí)新數據傳輸過(guò)來(lái)時(shí)，仍然可寫(xiě)。（點(diǎn)擊下頁(yè)）

2、網(wǎng)絡(luò )RAID技術(shù)

　　傳統RAID受限于硬盤(pán)數量，在數據容量劇增的年代無(wú)法滿(mǎn)足企業(yè)對資源統一靈活調配的需求。存儲智能高效的發(fā)展趨勢要求底層的數據分布架構必須具有高度靈活性和擴展性，隨著(zhù)硬盤(pán)容量的增大，以硬盤(pán)為單位對數據進(jìn)行管理也顯得越來(lái)越力不從心。一般的磁盤(pán)陣列只能在同一個(gè)物理節點(diǎn)內部做RAID，且一個(gè)硬盤(pán)只能位于一個(gè)RAID組內，當發(fā)生控制器宕機或者磁盤(pán)損壞，這時(shí)所有數據就都都丟失了，這是傳統的磁盤(pán)陣列RAID可用性方面比較大的劣勢。

　　網(wǎng)絡(luò )RAID是一種Scaleout技術(shù)，通過(guò)網(wǎng)絡(luò )通訊可以在不同的物理節點(diǎn)之間建立RAID。并且組成RAID的基本單元不再是整個(gè)硬盤(pán)，而是每個(gè)硬盤(pán)Chunk塊，一個(gè)硬盤(pán)可以處于多個(gè)RAID組中。當某個(gè)物理節點(diǎn)宕機后，整個(gè)系統的數據可以通過(guò)其他物理節點(diǎn)恢復出來(lái);單個(gè)硬盤(pán)故障時(shí)，可以由多個(gè)磁盤(pán)共同參與重構，重構過(guò)程可在分鐘級內完成。技術(shù)原理：

　　1)把各個(gè)物理節點(diǎn)的所有硬盤(pán)劃分為Chunk塊

　　2)基于不同物理節點(diǎn)的硬盤(pán)Chunk塊創(chuàng )建RAID

　　整個(gè)RAID是基于Chunk來(lái)建立，Chunk來(lái)自不同的物理節點(diǎn)的磁盤(pán)。整個(gè)RAID組可以由所有物理節點(diǎn)(一塊或多塊硬盤(pán))共同構建。

　　第一組RAID：3+1——3個(gè)有效數據，1個(gè)校驗數據

　　第二組RAID：3+2——3個(gè)有效數據，2個(gè)校驗數據

　　3)單塊硬盤(pán)故障及處理

　　一塊硬盤(pán)可以位于多組RAID中，因此當單塊硬盤(pán)損壞時(shí)，會(huì )有多組RAID共同進(jìn)行重構計算，極限情況下所有硬盤(pán)同時(shí)參與重構計算，速度比普通RAID時(shí)大幅提高，可達分鐘甚至秒級。4)整個(gè)物理節點(diǎn)故障及處理

　　假設第三臺設備故障。普通RAID時(shí)，整臺設備的數據丟失。

　　在網(wǎng)絡(luò )RAID中，對各RAID的影響如下圖。每組RAID中只有部分Chunk數據丟失，通過(guò)該RAID中的剩余數據塊，是可以完全恢復的。

　　3+1RAID3+2RAID

　　網(wǎng)絡(luò )RAID雖然稱(chēng)為RAID，實(shí)際是分布式存儲技術(shù)。

　　可以解決普通RAID下重構時(shí)間長(cháng)，多個(gè)存儲節點(diǎn)堆砌應用時(shí)的管理負擔大，無(wú)法滿(mǎn)足熱點(diǎn)需求，節點(diǎn)故障時(shí)數據丟失等問(wèn)題，消除更大的系統可用性風(fēng)險。

　　在網(wǎng)絡(luò )RAID中，不再以整盤(pán)作為管理單位和校驗單位，磁盤(pán)分段(Chunk)管理，化整為零，提供精細化管理、高級別容錯和高性能數據恢復，為數據存儲提供高可靠性。

　　在網(wǎng)絡(luò )RAID中，一般磁盤(pán)錯誤，可以在秒級重構完成;磁盤(pán)失效時(shí)，大量磁盤(pán)參與重構，加速重構過(guò)程數十倍;存儲資源跨節點(diǎn)分配，管理更簡(jiǎn)單，更重要的是整個(gè)節點(diǎn)故障時(shí)，可保證數據不丟失。高度容錯設計，無(wú)論是壞盤(pán)還是節點(diǎn)更換和擴容，均能簡(jiǎn)單應對和實(shí)施，從而提升整體存儲方案的持續可用性。

三、安防數據存儲未來(lái)

　　安防存儲的發(fā)展必定是底層技術(shù)、物理設備、系統架構的協(xié)同發(fā)展，單獨依賴(lài)任何一點(diǎn)都無(wú)法滿(mǎn)足需求。

　　對于通常的大中小型監控系統，無(wú)需存儲服務(wù)器的視頻流直寫(xiě)存儲架構+面向安防的VRAID技術(shù)可以既可以簡(jiǎn)化系統部署，有充分保護用戶(hù)的數據安全。同時(shí)隨著(zhù)GB/T28181標準的推行，采用標準流媒體協(xié)議的視頻流直寫(xiě)存儲方案也將越來(lái)越受市場(chǎng)青睞。對于特大型監控系統(上萬(wàn)路視頻前端)，要求達到PB級的存儲容量，靠單設備堆疊和普通文件系統是無(wú)法提供安全、高效的應用保證的，必須有虛擬化、集群化和離散存儲的解決方案。針對安防應用的視頻云存儲技術(shù)采用云計算理念，底層配合網(wǎng)絡(luò )RAID技術(shù)可以為用戶(hù)提供虛擬化、集群化、一體化的便捷云存儲服務(wù)。

　　安防云存儲系統特征：1)虛擬化技術(shù)全面整合存儲容量，按需分配且能夠靈活調整大小。

　　2)前端通過(guò)視頻流協(xié)議直寫(xiě)云存儲，節省用戶(hù)投資。

　　3)視頻流通過(guò)離散算法均衡切片，以集群響應方式提供數據并發(fā)服務(wù)。

　　4)底層采用網(wǎng)絡(luò )RAID技術(shù)，多層次保護用戶(hù)數據安全。

　　5)全系統集群工作模式，保證各設備間業(yè)務(wù)實(shí)時(shí)負載均衡，提高設備利用率。

　　6)全域一體化索引技術(shù)，全面提升查詢(xún)速率，達到秒級響應。

　　安防云存儲解決了當前安防行業(yè)已經(jīng)開(kāi)始面臨海量數據存儲的管理和應用問(wèn)題，2012年到2013年，?？低曇呀?jīng)有多個(gè)平安城市項目實(shí)際應用成功，并且通過(guò)用戶(hù)實(shí)際使用取得了非常成功的視頻業(yè)務(wù)應用體驗。未來(lái)幾年，大中型安防項目建設中，安防云存儲會(huì )占據視頻監控存儲方案的主力位置，相信，安防云存儲必然很快發(fā)展成為視頻監控存儲市場(chǎng)的主流解決方案，也會(huì )是首選的最佳方案。