大數據在視頻監控存儲的應用與挑戰

文/天地偉業(yè)產(chǎn)品總監 程岳寅

　　面對大數據，視頻監控行業(yè)面臨哪些難題?我們如何應用云計算、大數據相關(guān)技術(shù)來(lái)獲取數據背后隱含的信息?未來(lái)的挑戰和前景如何?我將從以上幾方面發(fā)表個(gè)人觀(guān)點(diǎn)，意在拋磚引玉、引發(fā)業(yè)界同仁在產(chǎn)業(yè)發(fā)展的進(jìn)一步思考和討論。

　　1.視頻監控存儲及智能分析系統中的難題

　　根據IDC預測，全球在2010年已正式進(jìn)入ZB時(shí)代，全球數據量大約每?jì)赡攴环?，意味?zhù)人類(lèi)在最近兩年產(chǎn)生的數據量相當于之前產(chǎn)生的全部數據量。爆炸式增長(cháng)的數據，正推動(dòng)人類(lèi)進(jìn)入大數據的時(shí)代。

　　大數據包括社交媒體、移動(dòng)設備、科學(xué)計算和城市中部署的各類(lèi)傳感器信息，其中視頻是構成數據體量最大的組成部分。據IMS Research統計，2011年全球攝像頭的出貨量達到2646萬(wàn)臺，預計到2015年攝像頭出貨量達5454萬(wàn)臺。一天產(chǎn)生的視頻監控數據超過(guò)1500PB,而累計歷史數據將更為龐大，在視頻監控大聯(lián)網(wǎng)、高清化推動(dòng)下，視頻監控業(yè)務(wù)將面臨海量非結構化數據存儲、數據共享、數據安全及數據利用四大難題。

　　(1)海量非結構化數據存儲

　　安防行業(yè)的大數據目前主要來(lái)源于智慧城市和智能交通等大型安防項目。例如，2011年全球兩天的數據就高達1.8ZB，相當于文明起始到21世紀初全部的數據總和;2013年中國某一線(xiàn)城市一個(gè)季度產(chǎn)生的數據總量也在200PB。當前，智慧城市建設已成為地方政府推進(jìn)城鎮化發(fā)展的重要途徑，而隨著(zhù)智慧城市的發(fā)展，對高清攝像機和智能化監控設備的需求會(huì )持續增長(cháng)，智能交通行業(yè)將成為十二五政府投資的重點(diǎn)領(lǐng)域，這將使未來(lái)幾年視頻監控行業(yè)仍保持高景氣度。此外隨著(zhù)智能家居、民用安防的普及，更多的用戶(hù)會(huì )通過(guò)移動(dòng)設備監看視頻，于此同時(shí)會(huì )有更多的移動(dòng)互聯(lián)數據產(chǎn)生。2012年全國就擁有3.88億移動(dòng)互聯(lián)網(wǎng)用戶(hù)，預計2015年互聯(lián)設備將達到150億，2020年互聯(lián)設備將達到2000億。數據10倍速的增長(cháng)，在帶來(lái)巨大機遇的同時(shí)，也帶來(lái)了很大的挑戰。

　　按照IT產(chǎn)業(yè)的法則：在滿(mǎn)足客戶(hù)需求的前提之下，往往技術(shù)成本越低，其生命力往往越強。由于數據量的急速擴大，以及隨之而來(lái)的大規模計算的需求越來(lái)越多，一味采用高配硬件，使得硬件投資成為客戶(hù)不可承受之重。如何在滿(mǎn)足需求的前提下，刪除重復數據、降低硬件成本投資將成為海量非結構化數據存儲的一個(gè)難題。

　　(2)數據共享

　　大數據需要通過(guò)快速的采集、發(fā)現和分析，從大量化、多類(lèi)別的數據中提取價(jià)值。安防大數據時(shí)代最顯著(zhù)的特征就是海量和非結構化數據共享，用以提高數據處理能力。比如天網(wǎng)工程和智能交通就是最具代表性的案例，天網(wǎng)工程一般分為省市縣鄉鎮等多級架構，智能交通圖像也分布在前端卡口、區節點(diǎn)、市省國家級中心中，海量數據存儲在不同節點(diǎn)、不同設備中，這給傳統的數據管理和使用機制帶來(lái)了極大的挑戰。

　　與科學(xué)計算、互聯(lián)網(wǎng)相比，視頻監控的大數據處理難度尤大，首先，視頻錄像是更原始的非文本非結構化的數據，必須經(jīng)過(guò)復雜繁重的分析處理才能提取出文本結構化的數據進(jìn)行下一步處理;其次視頻錄像相對其它形式數據的容量要大幾個(gè)數量級，對傳輸、存儲和計算的帶寬要求大。因此我們說(shuō)數據高效共享是第二大難題。

　　(3)數據安全

　　平安城市、智慧城市的建設促使安防云存儲技術(shù)的應用，智慧城市一大要求就是將視頻存儲數據相互之間進(jìn)行聯(lián)動(dòng)、共享，例如在犯罪追蹤時(shí)，公安、交通、民用行業(yè)等多范圍的存儲數據能夠共享，而這種共享具備了云存儲的特性;傳統的存儲技術(shù)無(wú)法滿(mǎn)足社會(huì )發(fā)展需求，云存儲的在安防領(lǐng)域的應用成為必然。

　　安防視頻監控數據具有私密性高、保密性強的特點(diǎn)，不僅是事后追查的依據、而且更是后續數據分析挖掘的基礎。因此我們說(shuō)數據安全一方面是指不受到外界數據的入侵和非法獲取、另一方面是指龐大系統的魯棒性、體系容錯機制，確保硬件軟件發(fā)生故障時(shí)，數據仍然可以恢復、得以保存。面對海量數據的存儲、共享，硬件和軟件設備承載了極大的風(fēng)險，因此我們如何構建大型、海量視頻監控存儲系統、數據分析系統以及容錯冗余機制是第三大難題。

　　(4)數據利用

　　攝像頭7X24小時(shí)工作，如實(shí)記錄鏡頭覆蓋范圍的發(fā)生的一切，僅僅記錄信息是不夠的，因為對于客戶(hù)來(lái)講可能大部分信息是無(wú)效。數據的有效性分為兩個(gè)方面，一方面有效信息可能只分布在一個(gè)較短的時(shí)間段內，按照數學(xué)統計的說(shuō)法，信息是呈現冪律分布的，也稱(chēng)為信息的密度，往往越高密度的信息對客戶(hù)價(jià)值越大;另一方面是指深層次挖掘龐大的海量數據，關(guān)聯(lián)得出有效信息。

　　視頻監控業(yè)務(wù)網(wǎng)絡(luò )化、大聯(lián)網(wǎng)后，網(wǎng)絡(luò )內的設備越來(lái)越多，利用閑置的計算資源，實(shí)現資源的最大化利用，關(guān)乎運算的效率。在視頻監控領(lǐng)域，往往視頻分析的效率決定價(jià)值，更低的延遲、更準確的分析往往是平安城市這類(lèi)客戶(hù)的普遍需求。隨著(zhù)數據量的增加，哪怕對TB級別的數據進(jìn)行對視頻內容的數據分析和檢索，采用串行計算的模式都可能需要花費數小時(shí)的計算，已遠遠不能勝任時(shí)效性的需求。視頻的分析和檢索，不能依賴(lài)于傳統的手段，巨量數據的效率優(yōu)化，并行計算也許是解決問(wèn)題的辦法。

　　二.云計算及大數據對視頻監控帶來(lái)的變化

　　大數據概念最早出現在20世紀60年代初，隨著(zhù)互聯(lián)網(wǎng)的快速建設和信息技術(shù)的迅猛發(fā)展，到20世紀90年代中后期，數據中心的建設規模和服務(wù)器數量每年都以驚人的速度增長(cháng)。隨著(zhù)信息中心、服務(wù)中心、數據中心等各類(lèi)業(yè)務(wù)應用及數據量的不斷增長(cháng)，數據倉庫、數據挖掘、聯(lián)機分析等技術(shù)發(fā)展，數據存儲容量的需求也成正比的增長(cháng)。

　　天地偉業(yè)認為云計算、云存儲和大數據將對視頻監控行業(yè)帶來(lái)存儲架構、虛擬化、安全和高效處理四個(gè)方面的變化。

　　首先，大數據呈現出的典型特征是4個(gè)V：規模(volume)、速度(velocity)、類(lèi)型多(variety)、價(jià)值密度低(veracity)。大數據的特征對存儲容量的總體擁有量需求激增，海量存儲模式也從傳統的集中存儲式架構發(fā)展到分布式存儲架構，這種分布式架構，在多副本、網(wǎng)絡(luò )RAID技術(shù)、快照技術(shù)驅動(dòng)下，實(shí)現海量存儲的高可靠、大并發(fā)能力，推進(jìn)了存儲從設備供應模式到服務(wù)模式的升級和轉變。

　　其次，虛擬化技術(shù)在存儲服務(wù)能力建設上將繼續不斷發(fā)展，升級模式從SCALE-UP向SCALE-OUT模式發(fā)展，為無(wú)處不在的存儲資源的調度與管理、存儲資源的在線(xiàn)擴容升級、數據持續保護、存儲服務(wù)不間斷等實(shí)現有力的支撐。虛擬化，一方面大大簡(jiǎn)化應用環(huán)節，節省客戶(hù)建設成本，同時(shí)提供更強的存儲和共享功能;另一方面解決了存儲空間的浪費，可以自動(dòng)重新分配數據，提高了存儲空間的利用率，同時(shí)具備負載均衡、故障冗余功能。

　　再次，安全方面實(shí)時(shí)計算和存儲，對存儲設備性能、存儲網(wǎng)絡(luò )性能、存儲資源配置簡(jiǎn)化性要求越來(lái)越高。在復雜的存儲服務(wù)中，基于虛擬化所構建的混合存儲系統，系統的自動(dòng)分層存儲能力尤為重要。伴隨閃存的成本不斷降低的市場(chǎng)，市場(chǎng)上也有基于全閃存陣列產(chǎn)品的出現，基于虛擬化下的存儲資源自動(dòng)化分層，實(shí)現數據分層存儲，并遷移的策略，對大數據實(shí)時(shí)性、安全性更加不可或缺。

　　最后，面對結構化數據、非結構化數據、半結構化等元數據的處理機制，云存儲管理可以實(shí)現自動(dòng)化和智能化，所有的存儲資源被整合到一起，客戶(hù)看到的是單一存儲空間，提高了存儲效率;云存儲能夠實(shí)現規模效應和彈性擴展，降低運營(yíng)成本，避免資源浪費。受限于安防視頻監控自身業(yè)務(wù)的特點(diǎn)，監控云存儲和現有互聯(lián)網(wǎng)云計算模型會(huì )有區別，如安防用戶(hù)傾向于視頻信息存儲在本地、政府視頻監控應用比較敏感、視頻信息的隱私問(wèn)題、視頻監控對網(wǎng)絡(luò )帶寬消耗較大等問(wèn)題。海量數據存儲的檢索、目錄服務(wù)、去重化都將在以大數據牽動(dòng)的存儲應用中，給存儲產(chǎn)業(yè)帶來(lái)新的發(fā)展機遇。

　　三.應用及推廣過(guò)程中的挑戰

　　云計算和大數據在應用和推廣過(guò)程中仍然會(huì )面臨一系列技術(shù)難關(guān)的攻克和體系的建立。比如視頻監控行業(yè)中最為關(guān)注的：

　　視頻濃縮檢索技術(shù)，主要是利用圖像處理(包括視頻濃縮、摘要、復原等)、模式識別、海量數據分類(lèi)存儲以及搜索等技術(shù)，對海量的存儲錄像等原始信息進(jìn)行分析和挖掘，對于目標特征、目標行為、目標間關(guān)聯(lián)關(guān)系這三大類(lèi)信息內容，形成各種分類(lèi)的特征信息庫、元數據和索引等，并提供統一接口供外部應用進(jìn)行搜索，以期通過(guò)有限的線(xiàn)索，達到案件快速關(guān)聯(lián)和定位。

　　視頻圖像信息庫建設，目前應用比較廣泛的是卡口和電警的應用。由于車(chē)牌識別技術(shù)的日趨成熟，通過(guò)車(chē)牌、車(chē)牌顏色、車(chē)身、車(chē)身顏色、車(chē)輛類(lèi)型等特征識別，把車(chē)輛圖片、車(chē)輛信息、車(chē)主信息、盜搶車(chē)輛庫等結合起來(lái)，可以有效的進(jìn)行車(chē)輛的查找、布控和案件線(xiàn)索搜索。

　　海量數據的處理、分析、檢索和視頻智能分析技術(shù)，把海量的視頻數據進(jìn)行濃縮、提取特征摘要、減少了存儲空間。如1小時(shí)的視頻錄像，通過(guò)特征值方式的視頻濃縮，可以把錄像壓縮到10分鐘左右。同時(shí)，視頻圖像信息庫有別于傳統的關(guān)系數據庫模型，針對結構化，半結構化和非結構化數據，通過(guò)數據的多個(gè)副本分布式保存方式，可以有效節約存儲空間，關(guān)鍵數據的二次備份，使系統架構更加穩定和可擴展，并且提供安全的負載均衡和容錯機制。

　　四.前景展望

　　云計算和大數據應用未來(lái)勢必對安防行業(yè)有深刻的改變和影響。尤其在智慧城市行業(yè)和交通行業(yè)。交通方面海量數據處理需求，智能交通管理系統可以在海量數據、惡劣網(wǎng)絡(luò )環(huán)境和復雜業(yè)務(wù)處理情況下，實(shí)現大量圖片、車(chē)輛數據、視頻數據的時(shí)時(shí)網(wǎng)絡(luò )傳輸和快速持久化存儲，同時(shí)對任意站點(diǎn)的圖像進(jìn)行顯示，對任意站點(diǎn)的視頻進(jìn)行流暢播放、實(shí)時(shí)進(jìn)行比對報警，快速進(jìn)行多條件檢索，并且將各類(lèi)多媒體數據和車(chē)輛數據合二為一。系統實(shí)現對目前的城市道路交通中異常行為的智能識別和自動(dòng)報警等，從而減輕了交管監控人員的工作負擔，提高了監測的準確度，使得交通管理工作更高效。實(shí)時(shí)交通狀況分析可通過(guò)視頻實(shí)時(shí)分析道路交通流量，然后綜合分析統計出全城市的交通狀況;套**可通過(guò)視頻進(jìn)行車(chē)牌識別，按照一定的規則(如最近時(shí)間內一定距離以外)在全城市中檢索相同車(chē)牌的汽車(chē)。

　　智慧城市方面公安部門(mén)可以利用相關(guān)技術(shù)進(jìn)行犯罪嫌疑人追查，可通過(guò)輸入嫌疑人照片進(jìn)行人臉特征識別并在所有視頻中尋找該人臉;犯罪嫌疑車(chē)輛追查可輸入嫌疑車(chē)的照片或顏色車(chē)型等相關(guān)特征在所有視頻中尋找;人車(chē)物的軌跡分析即在所有視頻中按照特征查找指定的人車(chē)物并繪制其時(shí)空軌跡;車(chē)輛的首次入城分析等等。

　　結語(yǔ)

　　高清化、網(wǎng)絡(luò )化和智能化的安防行業(yè)在新的紀元中，雖然會(huì )面臨這樣那樣的問(wèn)題，但是我相信隨著(zhù)云計算和大數據應用技術(shù)的成熟和完善，行業(yè)勢必會(huì )更快速的發(fā)展。云時(shí)代的到來(lái)已為我們指明了方向，云計算和大數據技術(shù)就像是打開(kāi)未知世界之門(mén)的鑰匙，讓我們可以更加經(jīng)濟的進(jìn)行系統建設，更加高效的進(jìn)行數據分析，更加有力的推動(dòng)社會(huì )的進(jìn)步和發(fā)展。