存儲技術(shù)在IP監控中的應用

標簽：IP SAN DVR

隨著(zhù)視頻監控圖像越來(lái)越清晰，存儲時(shí)間越來(lái)越長(cháng)，存儲的可靠性要求越來(lái)越高，視頻數據的存儲也從數字硬盤(pán)錄像機(DVR)，逐步轉向專(zhuān)業(yè)的IPSAN專(zhuān)業(yè)存儲設備，尤其在園區監控中表現更加明顯。

但是，園區監控中不但要做到園區安防監控，還要對生產(chǎn)業(yè)務(wù)進(jìn)行監控。傳統監控中，媒體服務(wù)器文件存儲模式已經(jīng)不能很好的解決新的存儲業(yè)務(wù)的需求，比如媒體服務(wù)器的“啞鈴”效應問(wèn)題，生產(chǎn)監控應急的快速檢索和歷史錄像回放問(wèn)題等。

上述問(wèn)題的解決需要重新思考監控中的存儲模式的選擇，打破傳統監控中媒體流的文件存儲模式。

媒體流的文件存儲

傳統的監控采用將流數據組成一個(gè)個(gè)文件進(jìn)行存儲，所有歷史圖像回放都是通過(guò)播放存儲下來(lái)的視頻文件完成，文件形成期間，管理人員無(wú)法讀取該文件，比如很多“DVR/DVS+流媒體服務(wù)器”方式的監控應用中，采用每半小時(shí)形成一個(gè)視頻文件的方式對監控圖像進(jìn)行存儲，這就意味著(zhù)在當前時(shí)刻以前半小時(shí)以?xún)鹊臍v史圖像是無(wú)法調用。

在緊急事件發(fā)生時(shí)，人們希望能夠盡快看到歷史圖像，甚至要求可以隨時(shí)回放。這就要求數據流形成文件的時(shí)間間隔盡可能短，但這樣又會(huì )給系統造成巨大的性能壓力。如以5分鐘形成一個(gè)視頻文件，每個(gè)監控點(diǎn)一天就將產(chǎn)生近300個(gè)文件，如果每個(gè)監控點(diǎn)的歷史圖像要存儲30天，就意味著(zhù)每個(gè)監控點(diǎn)需要產(chǎn)生近9000個(gè)文件，對于一個(gè)1000路的大規模監控系統，將需要處理900萬(wàn)個(gè)文件，系統必然不堪重任。

對此，業(yè)界早在幾年前就開(kāi)始嘗試新的數據管理方式，希望能夠提高監控存儲的數據管理效率，滿(mǎn)足監控大規模應用的需求。其中，“塊存儲”就是比較有特點(diǎn)的一種，這種方式采用“時(shí)間索引+塊數據”的專(zhuān)用數據結構，拋棄了傳統的文件系統，提高了監控數據的管理效率。

媒體服務(wù)器的性能瓶頸及可靠性

傳統模式中，當需要實(shí)現集中存儲或支持多人同時(shí)看一個(gè)監控點(diǎn)時(shí)，中間通過(guò)媒體服務(wù)器進(jìn)行轉存或復制。這種方式下，媒體服務(wù)器需將媒體流轉換為文件進(jìn)行存儲，前端的大量的媒體流數據都經(jīng)過(guò)媒體服務(wù)器轉存到后端的存儲設備中。服務(wù)器的處理性能，帶寬等都容易成為性能瓶頸，整個(gè)系統的性能分布成啞鈴狀，也增加了故障點(diǎn)，媒體服務(wù)器的故障會(huì )影響到整個(gè)系統的監控存儲業(yè)務(wù)。

媒體服務(wù)器文件存儲模式

實(shí)際上，在很多大規模監控方案中，為了解決媒體服務(wù)器性能瓶頸的問(wèn)題，一般會(huì )采用服務(wù)器群的方式完成。但又帶來(lái)新的問(wèn)題，如多個(gè)服務(wù)器之間如何進(jìn)行負載分擔?某個(gè)服務(wù)器故障之后，系統如何將數據流量切換至其他服務(wù)器?這些服務(wù)器如何管理?如何共享一個(gè)存儲空間?等等，解決這些問(wèn)題需要一個(gè)非常優(yōu)秀的集群管理系統，增加系統復雜性的同時(shí)，還需要一筆不菲的預算，更遺憾的是，目前業(yè)界還沒(méi)有一個(gè)集群管理系統可以很好的解決該問(wèn)題。

因此，前端設備到IP SAN的端到端直存就是一種很好的解決辦法。在存儲方式上，“數據塊直存”的數據管理方式拋棄了媒體服務(wù)器，在IP網(wǎng)絡(luò )的基礎上，在編碼設備中集成了iSCSI模塊，使得編碼設備可以基于iSCSI的協(xié)議端到端的把錄像數據寫(xiě)入IP SAN存儲設備中。

監控錄像的檢索效率

傳統監控中，對于媒體流的文件存儲模式，在錄像檢索時(shí)首先要根據攝像頭、檢索的時(shí)間查找到對應的文件，然后再進(jìn)一步定位具體的時(shí)間點(diǎn)，從該時(shí)間點(diǎn)回放錄像。歷史數據檢索的最小單位是文件，顆粒度太大，精確度低。

文件系統本來(lái)是為隨機讀寫(xiě)的數據管理應用設計的，檢索效率較低，一個(gè)含幾百萬(wàn)個(gè)文件的系統的檢索效率很難想象。所以，當系統規模擴大后，傳統數字監控方案的效率下降很快。

在“塊直存”的系統中，“塊”存儲可以理解成自定義的一種文件系統，在裸盤(pán)上進(jìn)行數據讀寫(xiě);時(shí)間作為每個(gè)數據單元的索引，并且把索引和數據單元保存在一個(gè)完全獨立的邏輯存儲空間上。錄像的索引和數據形成獨立的、完整的數據結構，這種數據結構完全由自己管理，不再由操作系統和文件管理。通過(guò)時(shí)間索引+塊數據存儲這種組合，在錄像檢索上，可以基于時(shí)間進(jìn)行檢索，可以快速定位到任意時(shí)間的錄像，檢索效率大幅度提高。在檢索的顆粒度上，也不再受文件大小的限制，可以實(shí)現秒級的連續檢索。

H3C創(chuàng )新存儲模式—“iSCSI塊直存”

作為IP領(lǐng)域的領(lǐng)導廠(chǎng)商之一，H3C同時(shí)在IP網(wǎng)絡(luò )、IP視頻、IP存儲等領(lǐng)域有著(zhù)長(cháng)期的技術(shù)和產(chǎn)品積累。進(jìn)入IP監控領(lǐng)域后，H3C將這些技術(shù)進(jìn)行融合，首家將iSCSI塊存儲的存儲方式引入監控中，從而有效的解決了媒體服務(wù)器引入的存儲的性能、可靠性以及檢索效率的問(wèn)題。

在“塊數據”和“直存”兩者的技術(shù)基礎上，通過(guò)全局性的資源統一劃分和調度，實(shí)現數據的全局性管理。在大型監控系統里面，可能有成千上萬(wàn)個(gè)攝像機和海量的存儲空間。如何管理這些攝像頭和存儲設備之間的對應關(guān)系是一個(gè)非常復雜的難題。在“塊直存”視頻監控系統中，H3C引入了數據管理服務(wù)器單元(DM)，以此來(lái)實(shí)現存儲資源的統一管理。

DM是一個(gè)專(zhuān)用的數據管理設備，所有的攝像頭和存儲資源都由其管理。攝像頭需要存儲資源時(shí)，會(huì )統一向DM申請，DM會(huì )從存儲空間中選擇合適的存儲資源分配給攝像頭，使攝像頭與這一塊的存儲資源建立讀寫(xiě)關(guān)系。

IP SAN設備完成某個(gè)攝像頭媒體數據塊的存儲工作后，根據監控點(diǎn)的IP地址、寫(xiě)入媒體數據的起始和終止時(shí)間，自動(dòng)生成一個(gè)塊索引值。DM和IP SAN之間進(jìn)行通信，獲取最新的視頻存儲信息，對所有監控圖像的檢索等通過(guò)DM完成。

當然，這種存儲方式必然對監控廠(chǎng)商的技術(shù)積累和實(shí)力提出了更高的要求，如要求編碼器支持雙碼流，實(shí)時(shí)監控視頻流和存儲視頻流可以獨立編碼，同時(shí)編碼器支持iSCSI協(xié)議。雙碼流是現在所有高端編碼器的基本要求，實(shí)現的廠(chǎng)商較多，編碼器支持iSCSI則要求監控廠(chǎng)商同時(shí)具備專(zhuān)業(yè)的存儲技術(shù)積累，對于目前的多數監控廠(chǎng)商而言，存在一定的技術(shù)門(mén)檻?？上驳氖?，我們看到，越來(lái)越多的監控廠(chǎng)商認識到存儲對于一個(gè)監控方案的重要性，開(kāi)始進(jìn)行這方面的技術(shù)積累。