海量圖像視頻分析解決方案

　　城市公共場(chǎng)所往往有成千上萬(wàn)路監控攝像頭遍布街頭，晝夜不停地監視和錄像，在改善社會(huì )治安的同時(shí)，也產(chǎn)生出海量的視頻需要監控管理平臺處理。要對這些海量視頻通過(guò)人工進(jìn)行重點(diǎn)圖像的抓拍，困難很大。

　　首先，需要對所有的視頻錄像進(jìn)行諸秒瀏覽，才能發(fā)現重點(diǎn)圖像，這無(wú)疑工作量巨大，甚至猶如大海撈針。

　　其次，即使找到了重點(diǎn)圖像，人工抓拍，并且要記錄下對應的原始視頻圖像的時(shí)間點(diǎn)等，也是工作量很大，效率很低。由于人的生理特征所限，長(cháng)時(shí)間觀(guān)看視頻錄像，容易產(chǎn)生視覺(jué)疲勞，還有可能漏掉重要圖像和線(xiàn)索。

　　理想情況是一旦有重要事件發(fā)生，系統就可在事后能快速查找到線(xiàn)索。針對上述海量監控視頻錄像的事后分析，傳統以人海戰術(shù)為主的視頻線(xiàn)索查找，顯然不能滿(mǎn)足高效查找，正面臨巨大挑戰，急需一種更為高效的、自動(dòng)的、智能的系統實(shí)現上述需求。目前，視頻濃縮摘要技術(shù)和視頻分類(lèi)檢索技術(shù)可以解決這一問(wèn)題。通過(guò)視頻濃縮摘要，縮短視頻事件的播放時(shí)間，通過(guò)目標分類(lèi)篩查等實(shí)現快速查找事件線(xiàn)索，縮小查看范圍的功能，這些都極大地減輕專(zhuān)業(yè)巡控隊伍和系統維護人員的工作負荷，這些視頻分析功能的實(shí)現和應用將大大提高監控效率。

　　這一技術(shù)將傳統的事后被動(dòng)調用圖像信息變?yōu)橹鲃?dòng)發(fā)現視頻監控圖像的可疑點(diǎn)，并透過(guò)核查錄入系統，負責將專(zhuān)業(yè)巡控隊伍在發(fā)現可疑事件時(shí)抓取的圖像、圖片資源集中存儲，并生成事件的描述信息，包括基于時(shí)間、地點(diǎn)（通道）、事件類(lèi)型（技防告警、移動(dòng)偵測等）、標記等，實(shí)現基于事件描述的精確查詢(xún)功能及視頻錄像的秒級精確定位。

　　本解決方案所描述的“智能海量視頻監控錄像分析及核查錄入解決方案”是深圳久凌軟件技術(shù)有限公司核心產(chǎn)品解決方案。其核心技術(shù)主要包括三部分：視頻濃縮摘要與圖像快照錄入；視頻目標分類(lèi)篩查檢索；視頻增強和夜間視頻處理。這三部分塊既可以單獨使用也可以有機配合形成整體解決方案，該系統填補了我國海量視頻監控事后分析取證及視頻目標篩查檢索的空白，技術(shù)在國際上處于領(lǐng)先地位。

一、 視頻濃縮摘要與圖像快照錄入子系統

　　由于視頻瀏覽和檢索很耗時(shí)，大多數取得的視頻并不會(huì )從頭到尾觀(guān)看和檢查。視頻濃縮摘要就成了一種瀏覽檢索視頻的有效工具。

　　1、技術(shù)原理

　　“視頻摘要”是指從原始視頻中提取感興趣的目標的活動(dòng)管道三維信息，和背景視頻合成剪輯而成的較短視頻片斷，它通過(guò)同時(shí)播放多個(gè)事件，將一天的視頻被壓縮成一個(gè)簡(jiǎn)短到幾十分鐘的事件摘要視頻；其中包含了原視頻中所有重要的目標活動(dòng)詳情和快照。視頻濃縮摘要可以采用原始視頻分辨率，也可以根據存儲要求降低分辨率。管理人員通過(guò)點(diǎn)擊濃縮視頻中的目標或者視頻左側快照，播放目標出現前后的原始視頻。

　　更加快捷的方式是通過(guò)分割前景和背景，提取活動(dòng)目標，用快照列表這種更加直觀(guān)便捷的方式展示。在視頻摘要和快照列表中，對于人或車(chē)輛目標，可以自動(dòng)高亮顯示目標的邊框，顯示目標出現的時(shí)間，移動(dòng)軌跡，并且支持用戶(hù)通過(guò)點(diǎn)擊目標快照，播放目標出現前后的原始視頻，或者該目標活動(dòng)與背景合成的視頻。

　　　　　　　　　　　　　　　　　24小時(shí)原始監控視頻

濃縮為數分鐘視頻摘要

　　2、 應用

　　為了提高濃縮比，提高效果，可以在視頻濃縮時(shí)指定“敏感區”，這樣只會(huì )對進(jìn)入這個(gè)區域的活動(dòng)目標進(jìn)行摘要。

　　本系統支持禁區設置，對于進(jìn)入禁區和離開(kāi)禁區的目標進(jìn)行提取，同時(shí)對于邊界絆線(xiàn)事件、人物尾隨、異常移動(dòng)、車(chē)輛違規以及人車(chē)交互事件進(jìn)行檢測與自動(dòng)標注。

　　在本系統中，專(zhuān)業(yè)巡查人員（管理人員）瀏覽濃縮視頻或者快照列表，發(fā)現感興趣的目標以后，點(diǎn)擊目標，播放目標出現時(shí)的原始視頻，在系統自動(dòng)生成目標的時(shí)間、地點(diǎn)（通道）、目標高度、運動(dòng)方向、目標主要顏色次要顏色和事件類(lèi)型的基礎上，管理人員可以手工完善事件類(lèi)型，輸入事件標記及其它用于索引的信息。支持按照目標出現的時(shí)間、地點(diǎn)（通道）、目標高度、運動(dòng)方向、主導顏色和事件類(lèi)型查詢(xún)事件。本系統相比于傳統視頻播放查找事件線(xiàn)索標注，能提供效率數十倍，有效減輕巡查隊伍的工作負荷。

圖　通過(guò)3×3視頻快照找到原始視頻

圖　 通過(guò)點(diǎn)擊濃縮視頻摘要 自動(dòng)找到原始視頻

　　3、特點(diǎn)

　　● 數分鐘看完一天的視頻，無(wú)需快進(jìn)，活動(dòng)細節仍以真實(shí)速度播放

　　● 濃縮密度，感興趣區域或事件檢測區域可自由設置

　　● 從濃縮視頻中選擇、點(diǎn)擊回放某一目標物體

　　● 支持自動(dòng)記錄目標出現的時(shí)間、地點(diǎn)（通道）、目標高度、運動(dòng)方向、主要顏色、次要顏色和事件類(lèi)型

　　● 支持手工修改事件屬性和輸入事件標記

　　● 自由添加針對軌跡，人車(chē)類(lèi)別等分類(lèi)條件，實(shí)現基于分類(lèi)的視頻濃縮

　　● 按人車(chē)和顏色，大小速度方向等條件展示目標快照

　　● 簡(jiǎn)單易用，無(wú)縫連接DVR/DVS和第三方監控管理平臺

　　● 支持按照目標出現的時(shí)間、地點(diǎn)（通道）、目標高度、運動(dòng)方向、顏色和事件類(lèi)型查詢(xún)事件

二、視頻目標分類(lèi)篩查檢索系統

　　該系統是在視頻濃縮摘要與圖像快照錄入子系統的基礎上開(kāi)發(fā)出來(lái)的，以其為基礎，同時(shí)又增加了新的功能。

　　1、 原理與應用

　　配合目擊證人提供的線(xiàn)索，在對事故現場(chǎng)的視頻摘要進(jìn)行快速瀏覽以后，巡控人員（管理員）就可以找到一些有用的線(xiàn)索，如果在某一視頻摘要中發(fā)現了一些感興趣的目標，通常需要在更多位置的攝像機攝錄的視頻文件中搜索和檢查該目標（嫌疑人或車(chē)輛）是否在其它地方出現過(guò)。

　　管理員通過(guò)提供目標特征（人車(chē)類(lèi)別，顏色、高度、方向、速度等）、一幅快照樣本或素描圖來(lái)請求搜索。視頻目標分類(lèi)篩查檢索系統，首先使用一種有效的運動(dòng)分割方法提取出運動(dòng)的目標細節，而后這些運動(dòng)目標的基本特征作為元數據被提取出來(lái)，存放到數據庫。在整個(gè)的檢索過(guò)程中，系統將提取檢索輸入的特征， 請求比對數據庫中已經(jīng)索引好的目標特征，而不用重新處理視頻。最后，擁有足夠高相關(guān)度的視頻目標快照將被作為檢索篩查結果顯示出來(lái)。

　　本系統可以多攝像機視頻同步檢索，無(wú)縫接駁核查錄入存儲中心系統。系統支持多種檢索條件，包括時(shí)間、地點(diǎn)（通道）、事件（技防告警、移動(dòng)偵測等）、標記等的精確查詢(xún)功能，并實(shí)現視頻錄像的秒級精確定位。提供基于監控探頭屬性（包括地理位置/GIS坐標、探頭規格、監控范圍、特殊應用功能等）、事件、目標快照、目標素描等的模糊查詢(xún)功能，對應的模糊識別方法實(shí)現市局與分局、派出所、街道之間圖像資源查詢(xún)同一個(gè)平臺框架下通過(guò)數據庫共享使用。

　　2、 特點(diǎn)

　　● 支持多種檢索條件，包括時(shí)間、地點(diǎn)（通道）、事件（技防告警、移動(dòng)偵測等）、標記等的精確查詢(xún)功能

　　● 支持基于事件、目標分類(lèi)或者樣本檢索等模糊查詢(xún)檢索功能

　　● 可以多攝像機視頻同步檢索，無(wú)縫接駁核查錄入存儲中心系統

　　● 通過(guò)核查錄入存儲中心系統，實(shí)現跨分局的同步檢索

　　● 更加能夠發(fā)揮云計算并行處理的優(yōu)勢

　　● 直接生成快照列表供管理員查找，快速找到目標可能的所在位置

　　● 點(diǎn)擊目標快照，播放原始視頻

　　● 支持自動(dòng)記錄目標出現的時(shí)間、地點(diǎn)（通道）、目標高度、運動(dòng)方向、主要顏色、次要顏色和事件類(lèi)型

　　● 支持手工修改事件屬性和輸入事件標記

三、視頻增強和夜間視頻處理子系統

　　這個(gè)子系統是對前面兩個(gè)系統的補充。視頻增強和夜間視頻處理子系統，可以作為本系統的前置處理模塊，用于提升視頻質(zhì)量。

　　針對夜間低照度和高噪聲問(wèn)題，視頻壓縮產(chǎn)生的方塊效應以及畫(huà)面閃爍，運動(dòng)產(chǎn)生的模糊，系統首創(chuàng )了通過(guò)光流估計及邊沿銳化技術(shù)，解決夜間弱光條件下視頻去模糊和低質(zhì)量圖像提升問(wèn)題，針對運動(dòng)模糊的模糊核的估計去模糊技術(shù)，可以將人眼無(wú)法分辨的模糊圖像圖片還原。

運動(dòng)過(guò)程中不清晰的卡車(chē)圖像

運動(dòng)模糊去除　還原后的圖像

　　綜上所述，智能海量視頻監控錄像分析系統能夠解決用戶(hù)實(shí)際需求：系統視頻的實(shí)時(shí)調看和錄像回放功能，并能夠實(shí)現對重點(diǎn)圖像的抓拍功能，并對抓拍照片的抓拍時(shí)間、地點(diǎn)、點(diǎn)位編號、抓拍原因、案事件簡(jiǎn)要內容、抓拍目標特征等信息進(jìn)行記錄和查詢(xún)等需求方面，完全能夠滿(mǎn)足功能要求，而且與傳統方法相比，具有明顯優(yōu)勢?！　　?/P>

　　我們可以將其概括為“五放心”的視頻增強、濃縮摘要與檢索產(chǎn)品，即：

　　領(lǐng)導稱(chēng)心（領(lǐng)導手機查看高質(zhì)量）

　　使用舒心（分類(lèi)檢索不用大海撈針）

　　維護省心（每天只需幾分鐘瀏覽）

　　環(huán)保放心（節省硬盤(pán)）

　　贏(yíng)得民心（改善治安）

　　海量視頻監控錄像分析和核查錄入系統解決方案的應用可以描述為：

　　1.管理人員根據案件事件線(xiàn)索，比如一個(gè)“穿紅色上衣的成年嫌疑人”出現在現場(chǎng)，案發(fā)時(shí)間、地點(diǎn)（攝像機通道號）作為案情錄入；

　　2.核查錄入軟件調度相關(guān)地點(diǎn)及附近地點(diǎn)視頻錄像到存儲中心；

　　3.如果視頻不清晰，先用視頻增強軟件預處理；

　　4.先進(jìn)行單個(gè)攝像頭視頻的處理，使用視頻濃縮摘要與圖像快照錄入子系統生成快照列表和濃縮視頻文件，通過(guò)快照找出嫌疑目標，錄入事件信息到核查錄入系統

　　5. 通過(guò)視頻目標分類(lèi)篩查檢索子系統搜索周邊攝像機案發(fā)前后的錄像文件，找出從目標進(jìn)入到離開(kāi)現場(chǎng)的全程軌跡，錄入跨攝像頭事件全程信息到核查錄入系統

　　6.上述自動(dòng)搜索系統可以與人工核查錄入系統并存。