看 Intel OpenVINO DL Stream 如何加速視頻推理

　　隨著(zhù)人工智能興起，利用“深度學(xué)習”技術(shù)進(jìn)行計算機視覺(jué)工作已是很普遍的應用，如圖像分類(lèi)、對象檢測等。通常只需將單張圖像送入訓練好的模型中進(jìn)行推理即可得到輸出結果，但當遇到視頻文件或串流視頻時(shí)，逐格(by Frame)圖像分析就變得很沒(méi)效率，因為幀間時(shí)間差距過(guò)短（通常為1/30~1/60秒），場(chǎng)景中的對象位移量（變形量）可能過(guò)小，導致幀間得到幾乎相同的計算結果（對象位置、尺寸及分類(lèi)），浪費計算資源，也讓系統看起來(lái)反應過(guò)慢。

　　為了使視頻文件及串流視頻在分析上能加快反應，Intel OpenVINO Toolkit（以下簡(jiǎn)稱(chēng)OpenVINO）整合了GStreamer、OpenCV并提供DL Streamer-GStreamer Video Analytics(GVA)Plugin，讓用戶(hù)可以更靈活地進(jìn)行設置，使其在視頻（連續圖像）分析上更具效率。接下來(lái)就幫大家介紹“什么是串流視頻？”、“什么是GStreamer？”、“如何安裝OpenVINO DL Streamer環(huán)境”、“串流視頻分析及優(yōu)化流程”，最后再以一個(gè)實(shí)時(shí)追蹤車(chē)輛、行人的范例來(lái)介紹如何使用命令行操作，希望能幫大家對DL Streamer有更多認識。

＊什么是串流視頻？什么是GStreamer？

　　相信大家都用過(guò)數字相機或攝像頭，隨便拍一張照片都是幾百萬(wàn)甚至上千萬(wàn)像素，如果在不壓縮的情況下，一張超高畫(huà)質(zhì)(Full HD)圖像分辨率為1920 x 1080像素（俗稱(chēng)200萬(wàn)或2M），每個(gè)彩色像素紅綠藍各使用1 Byte(8 bit)來(lái)表示，則要儲存這張圖像就要6.22 MByte。若以這個(gè)分辨率拍攝每秒30幀(frame)的視頻時(shí)，則1秒鐘就要186.6 Mbyte，1分鐘11.2 GByte，一臺1 TByte(1,000 GByte)的硬盤(pán)也不過(guò)只能存不到90分鐘視頻，所以就有了利用人眼對紋理頻率（平滑、雜亂紋理）、色彩濃度感知能力不同，發(fā)明了各種破壞性壓縮方式來(lái)縮小圖像及視頻的文件大小，如jpg，mp4等格式，讓圖像、視頻大小縮小數十到百倍，而人眼也很難分辨其差異。

　　雖然圖像壓縮已解決儲存大小的問(wèn)題，但如果想從網(wǎng)絡(luò )上看一部視頻卻要等所有視頻都下載完才能觀(guān)看，這也太不方便了。于是就有人提出可以把取得圖像、壓縮、傳送、解壓縮、顯示變成一個(gè)像水管(pipeline)依序分段工作的作法，視頻（連續圖像）內容就像水一樣在水管中流動(dòng)，使用者收到一小段資料就可以開(kāi)始播放，不必等到視頻全部下載完才能觀(guān)看。而且視頻內容只需暫存在緩沖區，不一定要存在硬盤(pán)中，可節省儲存空間，因此透過(guò)此種方式傳送的視頻就稱(chēng)為串流視頻(Stream Video)。目前像大家?？吹腨outube、各種直播或者是網(wǎng)絡(luò )監控攝像頭(IP Camera)都是采用這樣的作法，當然我們也可以把存在硬盤(pán)中的文件當作串流視頻讀取，這樣也可大幅增進(jìn)播放效率。

　　目前市面上有很多串流視頻的處理軟件及開(kāi)發(fā)工具，其中GStreamer[1]就是最廣為人知的開(kāi)源工具。它主要在Liunx上運行，有很多硬件(CPU,GPU,DSP,CODEC,ASIC等)廠(chǎng)商都對其進(jìn)行了優(yōu)化，使得影音內容在壓縮（編碼Encode）/解壓縮（解碼Decode）效率大幅提升。如Fig.1所示，GStreamer采取功能方塊作法，每個(gè)方塊根據不同工作項目會(huì )有不同輸入(sink)和輸出信號源(src)，再按照需求將前后串聯(lián)起來(lái)。以一個(gè)影音播放器(player)為例，首先開(kāi)啟影音文件，再將其分解(demuxer)成聲音(src_01)和視頻(src_02)兩組信號源，再按照聲音和視頻格式給予對應的解碼器(decoder)，最后再由對應的揚聲器和顯示器將聲音和視頻播出來(lái)，完成串流影音文件播放工作。當然這里是采取一邊讀取文件一邊播放的串流型式存在。

Fig.1 GStreamer串流影音播放工作流程。[2]

＊如何安裝OpenVINO DL Streamer環(huán)境

　　OpenVINO為了方便大家使用DL Streamer，同樣地在Docker Hub上提供了現成的映像文件(Image)給大家下載，不熟悉如何使用Docker安裝的人，可以參考「【Intel OpenVINO?教學(xué)】如何利用Docker快速構建OpenVINO開(kāi)發(fā)環(huán)境」[3]。不過(guò)上次文中使用的ubuntu18_dev這個(gè)映像文件并不支持DL Streamer,GStreamer,Speech Libraries及Intel Media SDK，所以要重新到Docker Hub下載ubuntu18_data_dev映像文件，執行下方指令即可獲得映像文件（約8.28 GByte）。不過(guò)這些文件有點(diǎn)大，下載時(shí)間從數分鐘到數十分鐘不等，具體視網(wǎng)絡(luò )速度而定。

　　#到Docker Hub下載映像文件

　　docker pull openvino/ubuntu18_data_dev

　　#檢查是否下載成功

　　docker images

Fig.2 Intel OpenVINO DL Streamer映像文件下載成功畫(huà)面。

　　另外補充一下，若非使用Docker安裝，則要注意軟件工作環(huán)境需滿(mǎn)足下列條件。

OpenVINO 2021.1（Inference Engine 2.1.0）或以上版本

　　Linux Kernel 4.15或以上版本

　　GStreamer 1.16或以上版本

　　更多DL Streamer完整說(shuō)明可參考Intel官方Github openvinotoolkit/dlstreamer_gst。[4]

＊串流視頻分析及優(yōu)化流程

　　OpenVINO目前整合了GStreamer的串流視頻工具（VAAPI,labav等）、原有的推理引擎(Inference Engine,IE)、OpenCV等函數庫，搭建DL Streamer串流視頻分析插件(GStreamer Video Analytics Pulgin,GVA)，方便讓開(kāi)發(fā)者創(chuàng )建的應用程序能輕松地發(fā)揮硬件加速計算組件的效能，如Fig.3所示。

Fig.3 OpenVINO DL Streamer Software Stack。（圖片來(lái)源：Intel IOTG）

　　接下來(lái)就以一個(gè)常見(jiàn)的應用來(lái)舉例什么是串流視頻分析(Stream Video Analytics)。假設一個(gè)商店在門(mén)口處裝了一組網(wǎng)絡(luò )監控攝像頭(IP Camera)，想要利用拍到的圖像來(lái)得知進(jìn)門(mén)的顧客是否為重要客人(VIP)或者是黑名單(Blocklist)客戶(hù)，此時(shí)就要對拍到的連續圖像進(jìn)行人臉識別，這就是串流視頻分析。

　　一個(gè)完整的串流視頻分析工作包括接收已壓縮的視頻、解碼（解壓縮）、前處理（如圖像格式轉換、亮度/色彩/對比調整等）、分析/推理（圖像分類(lèi)、對象檢測等）、后處理（將結果以文字、繪圖等方式迭回原圖像上），最后視輸出方式可選擇直接輸出到屏幕顯示或著(zhù)再重新編碼（壓縮）成文件儲存回硬盤(pán)中，如Fig.4中間列所示。

　　其中在推理部份可以是多種工作串接而成的，也可同時(shí)處理二種以上工作，在OpenVINO GVA Plugin中提供了多種函數（元素Element）可供使用、包括檢測(gvadetect)、分類(lèi)(gvaclassify)、追蹤(gvatrack)、水印(gvawatermark)、發(fā)布(gvapublish)等，而更多完整的介紹及用法可參考官網(wǎng)Github說(shuō)明[5][6]。如Fig.4上方列即表示使用了檢測、識別、追蹤及水印等元素來(lái)完成推理及顯示工作。

Fig.4 DL Streamer串流視頻分析工作流程圖。(OmniXRI Feb.2021整理制作)

　　在這一連串工作中，并不是所有工作都交給CPU來(lái)處理，而是將其分配給最適合、效率最高的硬件來(lái)執行才是最理想的。比方說(shuō)文件的存?。ㄓ脖P(pán)和內存間數據搬移）、格式轉換、繪圖等非矩陣運算工作交給CPU，解碼/編碼等大量數學(xué)運算交給GPU，而神經(jīng)網(wǎng)絡(luò )推理所需的巨量矩陣運算工作則由AI芯片（也可以是GPU,VPU,FPGA,NPU,ASIC等）完成，如此就能得到最佳的工作效率。一般串流視頻播放速度大約是1/30秒一個(gè)幀(Frame)，所以當傳輸及計算速度夠快時(shí)，就能同時(shí)計算多個(gè)串流視頻，如Fig.4下方列所示。

　　接下來(lái)說(shuō)明如何提升推理效率，如同本文一開(kāi)始提到的，如果對串流視頻的每一幀都進(jìn)行推理，則系統執行效率會(huì )變得很差，很難達成每秒30幀的計算，如Fig.5左上圖所示（這里僅以檢測為例，另可加入分類(lèi)識別及其它工作項目）。為改善執行效率，可令對象檢測及分類(lèi)次數減少，因為幀間對象的位置、尺寸、外形可能變動(dòng)不大，不需一直執行推理工作。如Fig.5左下圖所示，對象檢測和圖像分類(lèi)的間隔數量可以設成不同（也可相同），而幀間隔數量則視視頻中對象移動(dòng)速度而定。但是采用這種方式有個(gè)缺點(diǎn)，有些幀可能不進(jìn)行推理，所以會(huì )造成沒(méi)有結果內容可以迭合回原圖像中，畫(huà)面會(huì )有閃爍情況發(fā)生。

　　如果想更精準表示對象的微小位移，則使用傳統的對象追蹤方式會(huì )比直接使用神經(jīng)網(wǎng)絡(luò )進(jìn)行對象檢測更快。只要在兩個(gè)檢測幀中間加入追蹤動(dòng)作，就可自動(dòng)為中間幀找出對象的位置，改善對象檢測位置偏差及畫(huà)面閃爍問(wèn)題，如Fig.5右圖所示。目前提供了兩種追蹤模式，zero-term會(huì )給每個(gè)對象一個(gè)獨立編號(unique ID)方便在任一幀中查找，而short-term則會(huì )找出幀間最接近的內容位置。

Fig.5串流視頻分析優(yōu)化方式比較圖。左上圖：每一幀全都進(jìn)行對象檢測，無(wú)優(yōu)化。左下圖：每6個(gè)幀檢測一次，4個(gè)幀分類(lèi)一次。右圖：間隔檢測及分類(lèi)并加入追蹤補足。(OmniXRI Feb.2021整理制作)

　　更多OpenVINO中GStreamer及DL Streamer的原理及使用方式可參考官方提供的Youtube視頻說(shuō)明[7][8][9][10]。

＊DL Streamer范例說(shuō)明

　　目前DL Streamer提供多種執行范例，包括直接命令行指令(gst-launch)、C/C++/Python程序等，接下來(lái)就以直接命令行指令方式來(lái)進(jìn)行介紹。啟動(dòng)Docker后這些范列預設會(huì )安裝在

　　/opt/intel/openvino_2021.2.185/data_processing/dl_streamer/samples路徑下

　?。╫penvino后方數字代表對應版本）。執行范例前要先下載相關(guān)預訓練模型及參數文件，其工作命令如下所示。

　　#開(kāi)放權限，允許本地連接，方便后面Docker中啟用X Window GUI功能xhost+local:root

　　#以Docker方式運行DL Streamer范例之命令，其中另增加--user root 用戶(hù)權力，方便在Docker中安裝文本編輯器(nano,vim等)

　　docker run-it--device/dev/dri:/dev/dri--d evi ce-cgroup-rule='c 189:*rmw'- v~/.Xauthority:/root/.Xauthority-v/tmp/.X11-unix/:/tmp/.X11-unix/-e DISPLAY=$DISPLAY-v/dev/bus/usb:/dev/bus/usb--rm--u ser root openvino/ubuntu18_data_dev:latest

　　#啟動(dòng)Docker完成會(huì )出現下列提示字符，最后數字為OpenVINO安裝版本

　　openvino e3a20b255ff3:/opt/intel/openvino_2021.2.185$

　　#接著(zhù)更新Docker中系統套件及安裝文本編輯器nano方便后續修改范例程序

　　apt update

　　apt install nano

　　#下載范例程序所需模型及參數，相關(guān)范例程序也在此路徑下

　　cd data_processing/dl_streamer/samples

　　./download_models.sh

　　#完成下載后默認會(huì )將模型及參數存放在

　　/home/openvino/intel/dl_streamer/model路徑下

　　由于啟動(dòng)Docker的命令中有--rm，所以每次離開(kāi)后會(huì )清空所有新增內容，再重新啟動(dòng)時(shí)要重新執行上述安裝及下載動(dòng)作，以免造成范例無(wú)法運行問(wèn)題。更多關(guān)于該映像文件不同啟動(dòng)方式及參數，可參考Intel官方Docker Hub/openvino/ubuntu18_data_dev說(shuō)明[11]。

　　在/data_processing/dl_streamer/samples/gst_launch/下主要是提供以gst-launch命令行方式執行串流視頻分析的范例，有人臉檢測及識別、語(yǔ)音事件檢測、車(chē)輛行人追蹤、中介數據發(fā)布等應用，這里會(huì )以車(chē)輛行人追蹤分析為例進(jìn)行說(shuō)明。

　　首先進(jìn)到/vehicle_pedestrian_tracking路徑下，執行vehicle_pedestrian_tracking.sh即可看到執行結果。

　　#切換工作路徑至范例程序所在路徑

　　cd

　　/data_processing/dl_streamer/samples/gst_launch/vehicle_pedestrian_tracking

　　#執行車(chē)輛行人追蹤分析范例，可選配輸入三項參數，也可不輸入使用默認值

　　./vehicle_pedestrian_tracking.sh[輸入影片][偵測間隔幀數][推理精度]

　　為更清楚說(shuō)明執行參數目的及運作指令方式，以下就將vehicle_pedestrian_tracking.sh內容完整顯示于Fig.6并補充說(shuō)明如下：

　　輸入視頻(FILE)：可支持本地端（硬盤(pán)中）影音文件（*.mp4等）、網(wǎng)絡(luò )攝像頭(Webcam)、串流攝像頭(IP Camera)網(wǎng)址(rtps://)或者一般網(wǎng)絡(luò )串流文件(http://)。本范例默認值為https://github.com/intel-iot-devkit/sample-videos/blob/master/personbicycle-car-detection.mp4，也就是說(shuō)，不輸入此項參數時(shí)會(huì )自動(dòng)上網(wǎng)讀取這個(gè)串流視頻，注意計算機必須連網(wǎng)才能正確執行。

　　檢測間隔幀數(DETECTION_INTERVAL)：為加速串流視頻分析，可設定間隔幀數

　　(Frame)減少計算，其概念如Fig.5左下圖所示?？闪硗獯钆湎路阶粉欗椖渴褂?，補齊中間幀的檢測工作。默認為10，以一般視頻幀速度(FPS)為每秒30幀來(lái)算，相當于1/3秒檢測一次。對于對象移動(dòng)緩慢的場(chǎng)景已足夠使用，可視需求調整長(cháng)短。

　　推理精度(INFERENCE_PRICISION)：可根據需求選擇不同推理精度，預設為FP32，

　　即推理模型的權重值是以32位浮點(diǎn)數表示。若想加快計算可選擇FP16（16位浮點(diǎn)數）或INT8（8位整數），當然這樣可能會(huì )犧牲一點(diǎn)推理的正確性。

　　以上三組為可自由設定的參數，若只想使用默認值可不輸入，若只想修改檢測間隔幀數，此時(shí)第一項參數必須設成""（空字符串）令其使用默認值，否則將無(wú)法正確運作。

　　除了這些自由設定參數外，范例中還有許多參數可以調整，但需自行以文字編輯器（如nano,vim等）載入再修改。以下分別說(shuō)明幾個(gè)重要參數。

　　推理設備(INFERENCE_DEVICE)：預設為CPU，可自行修改成GPU,MYRIAD,HDDL等不同設備。但使用GPU前要確定是INTEL 6到10代繪圖處理器Iris或HD系列，或者11代X e，OpenVINO不支持NVIDIA或AMD的GPU。另外模型大小不一，所以不保證所有模型一定可以在CPU以外設備上使用。另外提醒，如果在Linux上手動(dòng)安裝OpenVINO，需另外安裝Intel OpenCL驅動(dòng)程序，否則將無(wú)法正確使用GPU。

　　追蹤型式(TRACKING_TYPE)：預設為short-term，另可選擇zero-term。主要用于協(xié)助補齊檢測及分類(lèi)未工作之幀的計算。

　　重新分類(lèi)幀數間隔(RECLASSIFY_INTERVAL)：默認為10，這個(gè)數字可檢測間隔幀數相同亦可不同，視需求而定。同樣地也可搭配追蹤型式補齊未分類(lèi)中間幀數的分類(lèi)結果。

　　在這個(gè)范例中主要使用四個(gè)GVA Plugin并搭配指定模型來(lái)完成工作，包括：

　　gvadetect：負責車(chē)輛、腳踏車(chē)、行人檢測，對應person-vehicle-bike-detectioncrossroad-0078。

　　gvainference：負責人員及車(chē)輛屬性推理，分別對應person-attributes-recognitioncrossroad-0230及vehicle-attributes-recognition-barrier-0039。

　　gvatrack：負責補齊未進(jìn)行對象檢測及分類(lèi)推理中間幀的分析結果。

　　gvawatermark：負責將分析結果產(chǎn)生的圖框和文字迭合回原圖像中，方便用戶(hù)了解運行速度及是否有正確檢測及分類(lèi)推理。

　　videoconvert：視頻格式（色彩空間）轉換。

　　fpsdisplaysink：渲染(Rendering)輸出結果到屏幕速度。

　　更完整的參數說(shuō)明可參考官網(wǎng)[12]。

Fig.6以命令行方式進(jìn)行串流視頻車(chē)輛行人分析范例(vehicle_pedestrian_tracking.sh)說(shuō)明。

　　再來(lái)簡(jiǎn)單比較一下在不同參數下的執行結果。測試條件為：Intel Core i5-4400 3.1GHz 4核4線(xiàn)程，8GByte內存，OpenVINO Docker Image:ubuntu18_data_dev(OpenVINO 2021.2.185 for DL Streamer)。分別以下列三種方式進(jìn)行比較。其中不啟動(dòng)追蹤方式即是將Fig.6中對象追蹤（藍色虛線(xiàn)框）那兩行指令刪除。實(shí)驗結果如Fig.7所示。?

　　檢測、分類(lèi)間隔皆為1且不啟動(dòng)追蹤：執行時(shí)CPU四核平均使用率53.8%，推理負擔極重，平均速度12.02 FPS。每一個(gè)幀都會(huì )顯示檢測到的對象及分類(lèi)結果。

　　檢測、分類(lèi)間隔皆為10且不啟動(dòng)追蹤：執行時(shí)CPU四核平均使用率7.5%，推理負擔極輕，平均速度11.67 FPS。每十個(gè)幀會(huì )顯示檢測到的對象及分類(lèi)結果，故畫(huà)面會(huì )有點(diǎn)閃爍。

　　檢測、分類(lèi)間隔皆為10且啟動(dòng)追蹤：執行時(shí)CPU四核平均使用率21.65%，推理負擔中等，平均速度11.60 FPS。由于有啟動(dòng)追蹤功能，所以每一個(gè)幀都會(huì )顯示檢測到的對象及分類(lèi)結果。

　　整體來(lái)說(shuō)只測試一個(gè)串流視頻還沒(méi)讓CPU耗盡所有資源，所以應該還可以同時(shí)接受多個(gè)視頻（串流攝像頭、網(wǎng)絡(luò )攝像頭）或更多分析項目。另外加長(cháng)檢測及分類(lèi)幀數間隔明顯會(huì )令系統計算量大幅減少。如果再加上追蹤功能，除可滿(mǎn)足逐格分析外又不會(huì )耗損太多計算資源，這樣就可容納更多串流視頻一起工作。

　　Fig.7不同測試條件實(shí)驗結果，左行為輸出圖像，右行為CPU及內存使用情況。(OmniXRI Feb.2021整理制作)

＊小結

　　在當前網(wǎng)絡(luò )發(fā)達的年代，不論是智能零售、智能安防、智慧城市等各種應用都離不開(kāi)串流攝像頭或網(wǎng)絡(luò )視頻的傳送方式。有了像Intel OpenVINO DL Streamer這類(lèi)智能分析工具后，就能更容易滿(mǎn)足大量輸入，快速推理的需求。本文篇幅有限，無(wú)法一一展現這項工具的所有細節，剩下部份請大家多多去探索。

＊參考文獻

[1]GStreamer open source multimedia framework

https://gstreamer.freedesktop.org/

[2]GStreamer pipeline https://gstreamer.freedesktop.org/documentation/applicationdevelopment/introduction/basics.html

[3]許哲豪，”【Intel OpenVINO?教學(xué)】如何利用Docker快速建置OpenVINO開(kāi)發(fā)環(huán)境”http://omnixri.blogspot.com/2021/01/intel-openvinodockeropenvino.html[4]Github–openvinotoolkit/dlstreamer_gst https://github.com/openvinotoolkit/dlstreamer_gst

[5]Github-openvinotoolkit/dlstreamer_gst/Elements https://github.com/openvinotoolkit/dlstreamer_gst/wiki/Elements

[6]GStreamer Video Analytics(GVA)Plugin https://openvinotoolkit.github.io/dlstreamer_gst/index.html

[7]Intel Software,"Full Pipeline Simulation Using GStreamer|OpenVINO?toolkit|Ep.47|Intel Software"https://youtu.be/fWhPV_IqDy0

[8]Intel Software,"Full Pipeline Simulation Using GStreamer Samples|OpenVINO?toolkit|Ep.48|Intel Software"https://youtu.be/EqHznsUR1sE

[9]Intel Software,"DL Streamer Tracking Element|OpenVINO?toolkit|Ep.64|Intel Software"https://youtu.be/z4Heorhg3tM

[10]Intel Software,"DL-Streamer Python Custom Element|OpenVINO?toolkit|Ep.66|Intel Software"https://youtu.be/SDGE9Vyd-bY

[11]Docker Hub openvino/ubuntu18_data_dev,“Intel?Distribution of OpenVINO?toolkit Docker image for Ubuntu*18.04 LTS”https://hub.docker.com/r/openvino/ubuntu18_data_dev

[12]Intel OpenVINO Toolktit,“Vehicle and Pedestrian Tracking Sample(gst-launch command line)”

https://docs.openvinotoolkit.org/latest/gst_samples_gst_launch_vehicle_pedestrian_tracking_README.html