存儲架構比拼:誰(shuí)會(huì )成為高清監控的選擇
應該說(shuō),網(wǎng)絡(luò )監控的誕生解決了傳統監控效果的難題,改變了傳統的連接方式,更簡(jiǎn)單更便捷,但同時(shí)衍生了更龐大的存儲需求和更高的帶寬滿(mǎn)足。對于視頻監控的數據來(lái)說(shuō),由于網(wǎng)絡(luò )視頻監控是基于網(wǎng)絡(luò )的音視頻流傳輸,在大量音視頻流傳輸的情況下會(huì )對視頻監控管理服務(wù)器的性能產(chǎn)生很大影響,數據越多,視頻監控管理服務(wù)器對I/O操作的調度和緩存的管理就變得越復雜,往往會(huì )出現多臺攝像頭對單臺服務(wù)器,多臺服務(wù)器對一臺后端存儲設備的情況,對存儲設備的頻繁訪(fǎng)問(wèn)以及多個(gè)攝像頭多個(gè)服務(wù)器的存儲需求,需要占用大量的資源,影響了其處理能力。
據安防業(yè)界一項調查顯示,曾占據安防主流市場(chǎng)的DVR硬盤(pán)存儲目前的市場(chǎng)份額已退減至45%,傳統的IT存儲方式(包括DAS存儲、NAS存儲、SAN存儲)與其平分天下,也占據了市場(chǎng)份額的45%。
高清監控對數據存儲的要求
然而,隨著(zhù)高清監控的發(fā)展,前端圖像質(zhì)量的大幅度提升也導致了后端存儲的監控數據有了突飛猛進(jìn)的增長(cháng)。以720P高清攝像機為例,其每小時(shí)視頻錄像數據可壓縮到3GB左右容量,一般的監控系統路上都是幾十路甚至上百路,按照有關(guān)規定,監控錄像需保存一個(gè)月(30天),假設某監控系統為100路,則可計算得知:
3GB/小時(shí)*24小時(shí)*30天*100路= 216,000GB
也就是說(shuō),一個(gè)上百路的高清視頻監控系統所需的最少容量為216TB,考慮到全局數據冗余度、未來(lái)數據膨脹,以及數據自動(dòng)恢復等,系統設計至少需要220TB的存儲空間。
除了大容量之外,視頻監控存儲系統還有著(zhù)以下的要求:
視頻采集過(guò)程中,視頻文件格式一般都不會(huì )發(fā)生變化,且碼率保持恒定,視頻圖像的幀率一般為25幀/S,也就是說(shuō)在存儲的讀寫(xiě)操作中,必須保證存儲的高帶寬,否則圖像采集或回放就會(huì )出現丟幀現象,因此視頻監控系統對存儲系統在高并發(fā)IO的情況下不僅要求在高并發(fā)IO的情況下帶寬大,還要求帶寬穩定。
數據讀寫(xiě)操作的持續時(shí)間長(cháng)。由于攝像頭一般都是7*24小時(shí)工作的,所以數據寫(xiě)入操作的持續時(shí)間也是7*24小時(shí)不間斷的,后期回放時(shí)也需要在7*24小時(shí)內都能夠及時(shí)獲取數據。因此要求存儲系統在硬盤(pán)損壞,甚至存儲某些節點(diǎn)宕機的情況下,能夠保持7*24小時(shí)不間斷穩定運行。
視頻監控系統一般具有攝像頭路數多,視頻圖像存儲時(shí)間長(cháng),因此存儲容量需求巨大,且隨著(zhù)圖像存儲時(shí)間的增加,存儲容量需求呈線(xiàn)性的、爆炸性的增長(cháng)。因此視頻監控系統存儲必須支持大容量,且容量具有高擴展性,滿(mǎn)足長(cháng)時(shí)間大容量視頻圖像存儲的需求。
傳統IT存儲架構的不足和缺陷
高清視頻監控存儲系統需要具有海量數據高效管理、高效檢索、高可靠性等一系列的要求,不過(guò)傳統的IT存儲方式(包括DAS存儲、NAS存儲、SAN存儲)在這些方面似乎有著(zhù)各項不能勝任的理由:
DAS:該方案利用HBA卡直接連接應用服務(wù)器和光纖盤(pán)陣,不提供數據共享能力。如果多個(gè)應用需要共用同一份數據,往往要花費大量的時(shí)間進(jìn)行數據遷移,結果導致環(huán)境中存在多份相同的數據,并且多份數據之間的同步困難,浪費了大量的人力物力。
SAN:該方案利用存儲光纖網(wǎng)絡(luò )連接應用服務(wù)器和光纖盤(pán)陣,相比DAS 更具靈活性和可擴展性。但是SAN仍然不具備數據共享能力,而且由于SAN系統高昂的價(jià)格,以及不同廠(chǎng)商之間的設備兼容性問(wèn)題,限制了在HPC領(lǐng)域的使用。
NAS:提供NFS或者CIFS 協(xié)議訪(fǎng)問(wèn)的NAS 系統能夠給應用服務(wù)器提供統一的文件系統映象,滿(mǎn)足多臺應用服務(wù)器之間共享數據的需求。但是由于傳統NAS 往往通過(guò)單臺服務(wù)器的形式提供文件級的存儲空間,其有限的IO帶寬和可擴展性都難以滿(mǎn)足HPC 系統大量的并發(fā)讀寫(xiě)需求。而且NAS對文件系統鎖的支持較差,多臺客戶(hù)端不能同時(shí)讀寫(xiě)同一文件,導致客戶(hù)端之間不能夠很好的協(xié)同工作。
SAN+NAS:該方案一定程度上具備了SAN 的可擴展能力和NAS的數據共享能力,但仍然存在明顯的缺陷。應用所有的數據I/O都必須通過(guò)單個(gè)NAS服務(wù)器進(jìn)行,使得整套系統的I/O 帶寬受限于NAS服務(wù)器的帶寬,仍舊難以滿(mǎn)足HPC環(huán)境的需求。
集群存儲——高清監控存儲的曙光?
面對如此情況,盡管眾人把希望寄托在云存儲身上,然而,云計算落地時(shí)間尚早,云存儲的應用到戶(hù)時(shí)間還有待商榷,視頻監控用戶(hù)該如何實(shí)現大數據量的高清監控數據的存儲呢?集群存儲似乎成為存儲廠(chǎng)商解決視頻監控系統大容量、高穩定性的答案。
先來(lái)解釋一下集群存儲的概念。所謂集群存儲是指將多臺存儲設備中的存儲空間聚合成一個(gè)能夠給應用服務(wù)器提供統一訪(fǎng)問(wèn)接口和管理界面的存儲池,應用可以通過(guò)該訪(fǎng)問(wèn)接口透明地訪(fǎng)問(wèn)和利用所有存儲設備上的磁盤(pán),可以充分發(fā)揮存儲設備的性能和磁盤(pán)利用率。數據將會(huì )按照一定的規則從多臺存儲設備上存儲和讀取,以獲得更高的并發(fā)訪(fǎng)問(wèn)性能。
集群存儲的優(yōu)勢主要體現在提高并行或分區I/O的整體性能,特別是工作流、讀密集型以及大型文件的訪(fǎng)問(wèn),通過(guò)采用更低成本的服務(wù)器來(lái)降低整體成本。
2008年10月,某企業(yè)在中影集團機房?jì)壤孟嗤挠布h(huán)境對集群存儲架構與傳統存儲架構分別做了性能測試,用iozone工具測試存儲架構的并發(fā)IO性能。
結果顯示,集群存儲架構與傳統存儲架構相比較,并發(fā)寫(xiě)性能高約30%,并發(fā)讀性能高約10%。
傳統類(lèi)型的存儲架構,每1TB硬盤(pán)的I/O平均讀寫(xiě)速度最高能達到15-20MB/s,以60TB為例,整個(gè)存儲架構的I/0并發(fā)讀寫(xiě)速度僅能達到0.9-1.5GB/s,無(wú)法滿(mǎn)足高并發(fā)性的要求;而CZSS存儲系統打破了傳統意義上的以硬盤(pán)為單位的I/O讀寫(xiě)速度的瓶頸,采用了高效的文件管理機制,以節點(diǎn)為整個(gè)系統I/O讀寫(xiě)的計算單位,同樣60TB,CZSS系統大約需要10個(gè)節點(diǎn)(10臺存儲單元),每個(gè)節點(diǎn)的讀寫(xiě)速度為300MB/s以上,故并發(fā)讀寫(xiě)速度可達到3GB/s以上,極大地滿(mǎn)足了用戶(hù)對于系統高并發(fā)性的要求。
而且在傳統存儲測試過(guò)程中在做并發(fā)讀寫(xiě)的時(shí)候,在客戶(hù)端無(wú)法對傳統存儲系統掛載目錄進(jìn)行ls(查看目錄中的文件)操作,即傳統存儲系統在有負載的情況下無(wú)法查看其中的數據,這樣使得在系統在有任務(wù)時(shí),就無(wú)法取出存儲在傳統存儲架構中的結果數據。這種現象說(shuō)明傳統存儲架構的元數據處理能力很低,在有大量文件的情況下會(huì )導致系統無(wú)法提供服務(wù)。
傳統存儲架構的軟件在客戶(hù)端請求數較多時(shí),元數據類(lèi)操作將失去響應。此時(shí)所有的客戶(hù)端將無(wú)法執行打開(kāi)文件夾、查詢(xún)文件類(lèi)的操作,這樣,所有的桌面客戶(hù)端都將失去響應,制作工作將完全無(wú)法進(jìn)行。而CZSS的存儲軟件沒(méi)有這個(gè)問(wèn)題。在同等硬件條件下,集群系統軟件的IO帶寬比傳統存儲架構軟件要高出30%。投資成本降低了40%以上。
結語(yǔ)
目前來(lái)說(shuō),國內安防市場(chǎng)的發(fā)展主要是由一些政府主導的項目在推動(dòng),比如平安城市建設,交通監控系統建設等,這些安防系統都有著(zhù)多路數、高圖像質(zhì)量的要求,同時(shí)要求系統具有實(shí)時(shí)處理信息的能力,由此帶來(lái)的大數據量存儲的問(wèn)題不可避免。
安防行業(yè)從模擬時(shí)代過(guò)渡到數字時(shí)代,監控存儲架構從DVR到NAS和SAN的過(guò)渡,應該說(shuō)這是一個(gè)時(shí)代的進(jìn)步。隨著(zhù)高清監控的到來(lái),當傳統IT存儲架構也無(wú)法滿(mǎn)足高清監控存儲的要求時(shí),集群存儲——對安防行業(yè)來(lái)說(shuō),這一新的存儲方式能否被我們接受呢?真金不怕火煉,我們只能說(shuō),對于任何新事物,用戶(hù)接受都需要一定的時(shí)間和過(guò)渡期。
評論