安防與大數據：如何才能真正“心連心”？

　　如今，伴隨著(zhù)大數據在安防領(lǐng)域越來(lái)越深入的應用，也突現出一些技術(shù)難點(diǎn)。在IT領(lǐng)域，大數據技術(shù)發(fā)展較為成熟，針對不同的應用場(chǎng)景有較為豐富的技術(shù)選型以及技術(shù)路線(xiàn)，其中很多技術(shù)可以移植應用到安防領(lǐng)域中。但IT與安防畢竟是兩個(gè)不同的領(lǐng)域，兩者之間存在很多不一樣的地方。最大的不同，就是數據本身的不同，主要體現在一下方面：

?

　　數據類(lèi)型不同。在IT領(lǐng)域，大數據處理的對象往往是網(wǎng)頁(yè)索引、用戶(hù)行為、日志記錄等字符型數據，這些是結構化、方便計算識別處理的數據。而在安防領(lǐng)域，數據往往以圖片、音頻、視頻等非結構化的數據，往往計算機不能直接識別，這些數據只有在人面前才顯得有意義。

　　數據量在數量級上的不同。在互聯(lián)網(wǎng)領(lǐng)域，單條日志記錄一般在一百字節之內，到了1PB的日志記錄，已經(jīng)是一個(gè)足夠大的量。但在安防領(lǐng)域，一張普通的縮略圖就幾百KB，如果考慮高清攝像，高清視頻，這個(gè)數量要更大。一個(gè)普通的中等城市，在主要交通卡口拍攝的圖片，一年下來(lái)就能積壓幾個(gè)PB的數據，如果考慮視頻，這個(gè)數據量更大。

　　對數據的實(shí)時(shí)性要求不同。在互聯(lián)網(wǎng)行業(yè)，以日志型數據分析為主的典型應用中，對實(shí)時(shí)性要求沒(méi)那么高，比如淘寶的推薦系統，是否分析最近一個(gè)小時(shí)用戶(hù)的瀏覽記錄對于推薦效果關(guān)系不大。而在安防領(lǐng)域，前端攝像頭錄制的都是實(shí)時(shí)流，這是一個(gè)不間斷的數據流，最近錄制的數據超過(guò)一定時(shí)間沒(méi)有得到有效保存，將會(huì )永遠被丟失。

　　針對安防領(lǐng)域與IT領(lǐng)域在數據本身上的異同，把適合IT領(lǐng)域常規的大數據技術(shù)搬到安防領(lǐng)域就會(huì )碰到一些技術(shù)難點(diǎn)，表現如下：

　　存儲成本問(wèn)題。在IT領(lǐng)域，海量的數據往往保存在分布式存儲系統中，為了提高數據的可靠性，一份數據往往復制成幾份相同的副本，分別保存在不同的節點(diǎn)中，當其中一些副本丟失時(shí)，可以從其他節點(diǎn)讀出數據。比如在Hadoop中，一份數據往往在集群中保存了相同的3份。如果有1PB的原始數據，則至少要占用3PB的磁盤(pán)空間。而在安防領(lǐng)域，幾個(gè)交通卡口的視頻，在一個(gè)較短的時(shí)間內，如果不覆蓋之前的數據，就能輕易積壓幾個(gè)PB。由于圖像、音頻、視頻數據本身的量太大，生搬傳統的多副本策略成本過(guò)高，我們需要設計出一些更高效同時(shí)不損失可用性的方案。

　　小文件存儲問(wèn)題。這個(gè)問(wèn)題是大數據技術(shù)面臨的一個(gè)共性問(wèn)題，但在安防領(lǐng)域可能又突現得較為嚴重。在互聯(lián)網(wǎng)，小文本、圖片、音樂(lè )都是小文件，當層積較多時(shí)，都面臨如何存取這些海量小文件的問(wèn)題。而在安防行業(yè)，小文件主要以圖片為主，比如一個(gè)城市的主要交通卡口在一年內，就能產(chǎn)生百億張圖片。對于這些海量的小文件的存儲，涉及到大量元數據的管理，保證存取的性能是問(wèn)題的關(guān)鍵。

　　當然，問(wèn)題并不可怕，通過(guò)分析研究安防應用場(chǎng)景，我們摸索出一些貼合安防大數據的解決方案。