安防云計算核心技術(shù)探討

云計算技術(shù)以大系統、大數據為最顯著(zhù)的特征，而安防行業(yè)是一個(gè)非常典型的大數據應用場(chǎng)景，安防行業(yè)中的卡口監控系統、視頻監控系統由大量的設備組成（包括大量的前端采集設備、后端平臺和云計算服務(wù)器集群等），每天產(chǎn)生呈幾何級增長(cháng)的數據，隨著(zhù)智慧城市大型項目的不斷成功落地，整個(gè)安防平臺呈現出數據量超大、數據類(lèi)型多樣、數據處理邏輯復雜、數據清洗、數據共享、數據挖掘難度高等處理難題，對安防廠(chǎng)商提出了巨大的挑戰。其中主要表現在智能交通行業(yè)領(lǐng)域中海量的交通流信息和卡口過(guò)車(chē)抓拍圖片、智慧城市行業(yè)領(lǐng)域中的海量視頻錄像文件等非結構化數據，安防行業(yè)的主要用戶(hù)公安、交警都有著(zhù)需要對海量圖片和視頻文件進(jìn)行安全有效的數據存儲、高性能并行計算、智能化的數據分析挖掘后進(jìn)行實(shí)戰方面的強烈需求，這些都與云計算特性非常吻合。提供海量存儲的同時(shí)，如何快速有效的定位多維度數據，挖掘出各類(lèi)孤島數據在多維度的潛在關(guān)聯(lián)關(guān)系，一直是我們致力于解決的問(wèn)題。云計算、大數據等技術(shù)正在慢慢滲入安防行業(yè)，隨著(zhù)這些技術(shù)的發(fā)展成熟，將對安防行業(yè)帶來(lái)革命性的影響。

　　大規?；旌嫌嬎慵夹g(shù)

監控系統產(chǎn)生的大量視頻圖像數據如果只靠人工來(lái)進(jìn)行處理，效率會(huì )非常低，借助于視頻智能化處理算法，已經(jīng)可以從視頻圖像數據中獲取一些簡(jiǎn)單的特征進(jìn)行比對，或者進(jìn)行模式匹配產(chǎn)生報警事件，提高了處理的效率。這種方式能夠處理的數據量，數據組合的程度，數據的類(lèi)型等等都還處于較低的水平，無(wú)法應對海量數據和日益增長(cháng)的需求。大規模計算技術(shù)的目的就是為了提供一種統一的數據處理平臺，上面可以集成各種智能化算法和計算模型，綜合處理海量監控數據，以更快的速度得到更有價(jià)值的數據。

統一資源管理技術(shù)

監控系統產(chǎn)生的主要數據就是視頻和圖像數據，原始數據經(jīng)過(guò)處理后，會(huì )產(chǎn)生更豐富的數據，處理的方式也會(huì )有很大不同。比如對于歷史視頻數據可以在后臺處理的視頻數據檢索，對于卡口的車(chē)牌和人臉特征數據需要實(shí)時(shí)布控，對歷史卡口信息需要做到實(shí)時(shí)檢索。這些數據都需要不同的計算框架進(jìn)行處理，通過(guò)引入統一的資源管理平臺，可以在同一個(gè)資源池里運行不同的計算框架，大幅提高資源的利用率，同時(shí)在資源被某種業(yè)務(wù)獨占時(shí)，又能最大限度的發(fā)揮系統的性能。

實(shí)時(shí)檢索技術(shù)

傳統的結構化數據都采用關(guān)系型數據庫進(jìn)行保存，通過(guò)RAC等技術(shù)形成數據庫集群，通過(guò)索引方式進(jìn)行加速，但是核心還是基于行存儲和關(guān)系運算，面對海量記錄時(shí)在各個(gè)方面都已經(jīng)遇到了瓶頸。實(shí)時(shí)檢索技術(shù)通過(guò)引入分布式數據庫，列式存儲，內存計算，索引引擎等技術(shù)，能應對100億級別的結構化數據，在存儲容量，可擴展性，檢索速度等多個(gè)方面都可以得到大幅提升。該系統在智能交通、刑事偵查等視頻監控領(lǐng)域具備重要的研究?jì)r(jià)值和廣闊的應用前景。

復雜事件處理技術(shù)

隨著(zhù)安防行業(yè)的發(fā)展，業(yè)務(wù)變的也來(lái)越復雜，比如智能交通領(lǐng)域，出現了車(chē)輛積分研判、套牌車(chē)分析、同行車(chē)分析等需求。這些需求存在產(chǎn)生結果所依賴(lài)的條件多、處理過(guò)程實(shí)時(shí)性的要求高、需要處理的數據量巨大等特點(diǎn)。

傳統的方式是采用關(guān)系數據庫，通過(guò)復雜的SQL語(yǔ)句組合，不斷查詢(xún)比對的方式，很難滿(mǎn)足實(shí)時(shí)性的要求。復雜事件處理通過(guò)引入流式計算等技術(shù)，動(dòng)態(tài)地對輸入數據進(jìn)行實(shí)時(shí)的分析，處理速度可以大幅提供。不符合條件的數據都被丟棄掉，系統中只存在處理的結果或者可能有用的中間數據，這樣對存儲的要求也變小了，完全在內存中進(jìn)行全過(guò)程的分析，實(shí)時(shí)性得到了保證。

人臉檢索技術(shù)

人臉檢索的技術(shù)在單臺服務(wù)器上的應用已經(jīng)比較成熟，可以應用在身份鑒別、在逃人員抓捕、可疑人員排查、身份證查重等領(lǐng)域。人臉檢測過(guò)程可以分為以下幾個(gè)階段：視頻或圖像解碼、人臉檢測、特征提取、特征比對，前三個(gè)步驟都是每次請求對應一次計算，計算量相對可控，而最后一個(gè)步驟特征比每次請求則需要和達億級的人臉特征進(jìn)行比對，是運算量最大的一個(gè)階段。

一些實(shí)時(shí)應用的請求數每秒鐘可達請求數達到數百次，每次人臉比對次數可達百萬(wàn)級別時(shí)，則整個(gè)系統需要支持每秒億級的人臉特征比對計算。如此大規模的計算，單機上是無(wú)法完成的，必須采用集群完成。特征庫本身規模不大，但是比對次數很大，屬于典型的計算密集型集群，特征庫可以全部倒入到內存，在內存中完成計算。

海量視頻檢索技術(shù)

圖像傳感器采集到的視頻數據保存到后端存儲后，用戶(hù)可以隨時(shí)選擇目標區域的多個(gè)攝像頭，提交給視頻檢索集群，檢索集群按照目標物體的特征快速檢索的所有對應攝像頭產(chǎn)生視頻數據，找到目標物體特征所出現的視頻，并定位到準確的時(shí)間點(diǎn)。其中主要使用了智能化技術(shù)實(shí)現視頻數據到物體特征結構化數據的轉換，支持車(chē)輛顏色，車(chē)牌，衣著(zhù)顏色，人臉等特征?；诮y一的計算資源池，實(shí)現智能化算法的并行運算，線(xiàn)性提高檢索效率。

結構化之后的數據可以保存到數據庫，下次檢索可以直接通過(guò)結構化數據進(jìn)行二次檢索，大幅提高檢索效率。

　　分布式對象存儲技術(shù)

安防云在系統架構和設計上，充分考慮大規模集群環(huán)境下軟硬件發(fā)生故障的現實(shí)，采用先進(jìn)的管理思想和軟件系統，實(shí)現對大量普通存儲服務(wù)器存儲空間資源進(jìn)行虛擬化整合，實(shí)現軟硬件故障高度容錯，搭建高度穩定可靠的存儲集群。

系統將控制流與數據流分離，以及充分優(yōu)化元數據節點(diǎn)控制系統，使得系統具備極高的性能和良好的線(xiàn)性擴展能力。系統整體為應用提供統一命名空間，使得系統具備極好的數據共享能力。系統將負載均衡到集群內的各節點(diǎn)上，充分利用集群各節點(diǎn)性能，以獲得很好的性能聚合能力以保證系統的穩定。集群采用高度靈活自組網(wǎng)技術(shù)，提供簡(jiǎn)易部署和維護功能。系統在數據可靠方面，采用智能冗余重建技術(shù)，保證較高磁盤(pán)利用率的前提下，提供最佳冗余策略。另外，系統在節點(diǎn)軟硬件故障容錯方面，也進(jìn)行充分考慮，具備屏蔽所有可屏蔽錯誤能力。

快速文件索引技術(shù)

云存儲系統可以支持上億級的文件，同時(shí)還需要支持上千個(gè)用戶(hù)同時(shí)訪(fǎng)問(wèn)。這么大規模的元數據和并發(fā)訪(fǎng)問(wèn)量，采用傳統的內存加磁盤(pán)多級存儲，以及多級索引方式，尋址的開(kāi)銷(xiāo)將非常大，直接影響到系統的可用性。

為了提高系統的響應速度，云存儲采用粗粒度的管理方式，以64M作為典型的塊大小進(jìn)行索引，大幅減小元數據的數量，即使如此，系統的元數據規模還是會(huì )達到GB級別?；谶@種情況，系統采用全內存態(tài)的元數據訪(fǎng)問(wèn)模式，可以將文件尋址時(shí)間降到毫秒級別。

為了保證元數據的可靠性，需要對元數據的訪(fǎng)問(wèn)做日志記錄，并定期將元數據持久化到硬盤(pán)。

負載自動(dòng)均衡技術(shù)

采用中心服務(wù)器模式來(lái)管理整個(gè)云存儲文件系統，所有元數據均保存在元數據服務(wù)器上，文件則被按塊劃分存儲在不同的數據節點(diǎn)上。

元數據維護了統一的命名空間，同時(shí)掌握整個(gè)系統內數據節點(diǎn)的使用情況，當客戶(hù)端向元數據服務(wù)器發(fā)送數據讀寫(xiě)的請求時(shí)，元數據服務(wù)器根據數據節點(diǎn)的磁盤(pán)使用情況、網(wǎng)絡(luò )負擔等情況，選擇負擔最輕的節點(diǎn)服務(wù)器對外提供服務(wù)，自動(dòng)調節集群的負載狀態(tài)。

數據節點(diǎn)內同時(shí)有提供磁盤(pán)級的負載均衡，根據磁盤(pán)的IO負載，空間容量等情況，自動(dòng)選擇負載最輕的磁盤(pán)存儲新的數據文件。

當有一個(gè)數據節點(diǎn)因為機器故障或者其他原因造成離線(xiàn)時(shí)，元數據服務(wù)器會(huì )將此機器自動(dòng)屏蔽掉，不再將此數據節點(diǎn)提供給客戶(hù)端使用，同時(shí)存儲在此數據節點(diǎn)上的數據也會(huì )自動(dòng)恢復到其他可用的節點(diǎn)服務(wù)器上，自動(dòng)屏蔽數據單節點(diǎn)故障對系統的影響。

另外對故障的數據節點(diǎn)上的數據快速恢復，只需將數據節點(diǎn)上的硬盤(pán)拔出，插入到其他數據節點(diǎn)，這樣即減少集群對數據恢復的壓力，又不對客戶(hù)端讀寫(xiě)產(chǎn)生影響。

高速并發(fā)訪(fǎng)問(wèn)技術(shù)

客戶(hù)端在訪(fǎng)問(wèn)云存儲時(shí)，首先訪(fǎng)問(wèn)元數據服務(wù)器，獲取將要與之進(jìn)行交互的數據節點(diǎn)信息，然后直接訪(fǎng)問(wèn)這些數據節點(diǎn)完成數據存取。

客戶(hù)端與元數據服務(wù)器之間只有控制流，而無(wú)數據流，這樣就極大地降低了元數據服務(wù)器的負載，使之不成為系統性能的一個(gè)瓶頸?？蛻?hù)端與數據節點(diǎn)之間直接傳輸數據流，同時(shí)由于文件被分成多個(gè)節點(diǎn)進(jìn)行分布式存儲，客戶(hù)端可以同時(shí)訪(fǎng)問(wèn)多個(gè)節點(diǎn)服務(wù)器，從而使得整個(gè)系統的I/O高度并行，系統整體性能得到提高。

通常情況下，系統的整體吞吐率與節點(diǎn)服務(wù)器的數量呈正比。

高可靠性保證技術(shù)

對于元數據，通過(guò)操作日志來(lái)提供容錯功能。主服務(wù)器本地SSD盤(pán)組建高可靠RAID1，提供高可靠容錯能力。當元數據服務(wù)器發(fā)生故障時(shí)，在磁盤(pán)數據保存完好的情況下，可以迅速恢復以上元數據。且操作日志在主備元數據服務(wù)器之間實(shí)時(shí)同步，實(shí)現更高程度的可靠性。

對于節點(diǎn)服務(wù)器，采用Erasure Code冗余方式實(shí)現容錯，數據冗余分布存儲在不同的數據節點(diǎn)上。任一數據節點(diǎn)的損壞，不會(huì )導致任何數據丟失，不會(huì )影響任何的數據訪(fǎng)問(wèn)和寫(xiě)入過(guò)程。之后，通過(guò)靈活數據恢復機制，進(jìn)行數據重建過(guò)程。集群規模越大，恢復速度越快。

高可用技術(shù)

系統中的所有服務(wù)節點(diǎn)均是通過(guò)網(wǎng)絡(luò )連接在一起，由于采用了高可靠的容錯機制，系統增減節點(diǎn)不必停止服務(wù)，可在線(xiàn)增減存儲節點(diǎn)。

元數據服務(wù)器采用主備雙機熱備技術(shù)，主機故障，備機自動(dòng)接替其工作，對外服務(wù)不停止;存儲節點(diǎn)可采用Erasure code冗余備份機制，如采用4+1節點(diǎn)間冗余容錯，任意損失一個(gè)節點(diǎn)，數據不丟失，服務(wù)不停止，客戶(hù)端無(wú)感知。