Xilinx Zynq使用HLS實(shí)現OpenCV的開(kāi)發(fā)流程

　　摘要：首先介紹OpenCV中圖像類(lèi)型和函數處理方法，之后通過(guò)設計實(shí)例描述在VivadoHLS中調用OpenCV庫函數實(shí)現圖像處理的幾個(gè)基本步驟，闡述從OpenCV設計到RTL轉換綜合的開(kāi)發(fā)流程。

　　關(guān)鍵詞：可編程;處理器;VivadoHLS;OpenCV;Zynq AP SOC

　　開(kāi)源計算機視覺(jué) (OpenCV) 被廣泛用于開(kāi)發(fā)計算機視覺(jué)應用，它包含2500多個(gè)優(yōu)化的視頻函數的函數庫并且專(zhuān)門(mén)針對臺式機處理器和GPU進(jìn)行優(yōu)化。Xilinx VivadoHLS高層次綜合工具能夠使用C/C++ 編寫(xiě)的代碼直接創(chuàng )建RTL硬件，顯著(zhù)提高設計生產(chǎn)力，同時(shí)，Xilinx Zynq全可編程SOC系列器件嵌入雙核ARM Cortex-A9處理器將軟件可編程能力與FPGA的硬件可編程能力實(shí)現完美結合，以低功耗和低成本等系統優(yōu)勢實(shí)現單芯片無(wú)以倫比的系統性能、靈活性、可擴展性，加速圖形處理產(chǎn)品設計上市時(shí)間。OpenCV擁有成千上萬(wàn)的用戶(hù)，而且OpenCV的設計無(wú)需修改即可在 Zynq器件的ARM處理器上運行，但是利用OpenCV實(shí)現的高清處理經(jīng)常受外部存儲器的限制，尤其是存儲帶寬會(huì )成為性能瓶頸，存儲訪(fǎng)問(wèn)也限制了功耗效率。使用Xilinx公司的VivadoHLS高級語(yǔ)言綜合工具，可以輕松實(shí)現OpenCV C++視頻處理設計到RTL代碼的轉換，輸出Zynq的硬件加速器或者直接在FPGA上實(shí)現實(shí)時(shí)硬件視頻處理功能。同時(shí)，Xiinx公司的Zynq All-programmable SoC是實(shí)現嵌入式計算機視覺(jué)應用的好方法，解決了在單一處理器上實(shí)現視頻處理性能低功耗高的限制，Zynq高性能可編程邏輯和嵌入式ARM內核，是一款性能功耗最優(yōu)化的圖像處理集成式解決方案。

　　1 OpenCV中圖像IplImage, CvMat, Mat 類(lèi)型的關(guān)系和VivadoHLS中圖像hls::Mat類(lèi)型

　　OpenCV中常見(jiàn)的與圖像操作有關(guān)的數據容器有Mat，cvMat和IplImage，這三種類(lèi)型都可以代表和顯示圖像，但是，Mat類(lèi)型側重于計算，數學(xué)性較高。而CvMat和IplImage類(lèi)型更側重于“圖像”，OpenCV對其中的圖像操作(縮放、單通道提取、圖像閾值操作等)進(jìn)行了優(yōu)化。

　　1.1 OpenCV中的Mat矩陣類(lèi)型

　　在OpenCV中，Mat是一個(gè)多維的密集數據數組?？梢杂脕?lái)處理向量和矩陣、圖像、直方圖等等常見(jiàn)的多維數據。

　　Mat類(lèi)型較CvMat與IplImage類(lèi)型來(lái)說(shuō)，有更強的矩陣運算能力，支持常見(jiàn)的矩陣運算。在計算密集型的應用當中，將CvMat與IplImage類(lèi)型轉化為Mat類(lèi)型將大大減少計算時(shí)間花費。

　　1.2 OpenCV中的CvMat與IplImage類(lèi)型

　　在openCV中，CvMat和IplImage類(lèi)型更側重于“圖像”，尤其是對其中的圖像操作進(jìn)行一定程度的優(yōu)化。OpenCV沒(méi)有向量(vector)的數據結構，但當我們要表示向量時(shí)，需要用矩陣數據表示。但是，CvMat更抽象,它的元素數據類(lèi)型并不僅限于基礎數據類(lèi)型，而且可以是任意的預定義數據類(lèi)型，比如RGB或者別的多通道數據。、

　　在OpenCV類(lèi)型關(guān)系上，我們可以說(shuō)IplImage類(lèi)型繼承自CvMat類(lèi)型，當然還包括其他的變量將之解析成圖像數據。IplImage類(lèi)型較之CvMat多了很多參數，比如depth和nChannels。IplImage對圖像的另一種優(yōu)化是變量origin原點(diǎn)，為了彌補這一點(diǎn)，OpenCV允許用戶(hù)定義自己的原點(diǎn)設置。

　　1.3 VivadoHLS中圖像數據類(lèi)型hls::Mat<>

　　VivadoHLS視頻處理函數庫使用hls::Mat<>數據類(lèi)型，這種類(lèi)型用于模型化視頻像素流處理，實(shí)質(zhì)等同于hls::steam<>流的類(lèi)型，而不是OpenCV中在外部memory中存儲的matrix矩陣類(lèi)型。因此，在用vivadoHLS實(shí)現OpenCV的設計中，需要將輸入和輸出HLS可綜合的視頻設計接口，修改為Video stream接口，也就是采用HLS提供的video接口可綜合函數，實(shí)現AXI4 video stream到VivadoHLS中hls::Mat<>類(lèi)型的轉換。

　　2 使用VivadoHLS實(shí)現OpenCV到RTL代碼轉換的流程

　　2.1 OpenCV設計中的權衡

　　OpenCV圖像處理是基于存儲器幀緩存而構建的，它總是假設視頻frame數據存放在外部DDR 存儲器中，因此，OpenCV對于訪(fǎng)問(wèn)局部圖像性能較差，因為處理器的小容量高速緩存性能不足以完成這個(gè)任務(wù)。而且出于性能考慮，基于OpenCV設計的架構比較復雜，功耗更高。在對分辨率或幀速率要求低，或者在更大的圖像中對需要的特征或區域進(jìn)行處理是，OpenCV似乎足以滿(mǎn)足很多應用的要求，但對于高分辨率高幀率實(shí)時(shí)處理的場(chǎng)景下，OpenCV很難滿(mǎn)足高性能和低功耗的需求。

　　基于視頻流的架構能提供高性能和低功耗，鏈條化的圖像處理函數減少了外部存儲器訪(fǎng)問(wèn)，針對視頻優(yōu)化的行緩存和窗口緩存比處理器高速緩存更簡(jiǎn)單高效，更易于使用VivadoHLS 在FPGA部件中采用數據流優(yōu)化來(lái)實(shí)現。

　　VivadoHLS對OpenCV的支持，不是指可以將OpenCV的函數庫直接綜合成RTL代碼，而是需要將代碼轉換為可綜合的代碼，這些可綜合的視頻庫稱(chēng)為HLS視頻庫，由VivadoHLS提供。

　　OpenCV函數不能直接通過(guò)HLS進(jìn)行綜合，因為OpenCV函數一般都包含動(dòng)態(tài)的內存分配、浮點(diǎn)以及假設圖像在外部存儲器中存放或者修改。

　　VivadoHLS視頻庫用于替換很多基本的 OpenCV函數，它與OpenCV具有相似的接口和算法，主要針對在FPGA架構中實(shí)現的圖像處理函數，包含了專(zhuān)門(mén)面向FPGA的優(yōu)化，比如定點(diǎn)運算而非浮點(diǎn)運算(不必精確到比特位)，片上的行緩存(line buffer)和窗口緩存(window buffer)。圖2.1展示了在Xilinx Zynq AP SOC器件上實(shí)現視頻處理的系統結構。

　　圖2.1 Zynq視頻處理系統結構

　　2.2 在FPGA/Zynq開(kāi)發(fā)中使用VivadoHLS實(shí)現OpenCV的設計流程

　　設計開(kāi)發(fā)流程主要有如圖2.2三個(gè)步驟。

　　1. 在計算機上開(kāi)發(fā)OpenCV應用，由于是開(kāi)源的設計，采用C++的編譯器對其進(jìn)行編譯，仿真和debug，最后產(chǎn)生可執行文件。這些設計無(wú)需修改即可在 ARM內核上運行OpenCV應用。

　　2. 使用I/O函數抽取FPGA實(shí)現的部分，并且使用可綜合的VivadoHLS Video庫函數代碼代替OpenCV函數的調用。

　　3. 運行HLS生成RTL代碼，在VivadoHLS工程中啟動(dòng)co-sim，HLS工具自動(dòng)重用OpenCV的測試激勵驗證產(chǎn)生的RTL代碼。在Xilinx的ISE或者Vivado開(kāi)發(fā)環(huán)境中做RTL的集成和SoC/FPGA實(shí)現。

　　圖2.2 在FPGA/Zynq設計中使用OpenCV的開(kāi)發(fā)流程

　　2.2.1 VivadoHLS視頻庫函數

　　HLS視頻庫是包含在hls命名空間內的C++代碼。#include “hls_video.h”

　　HLS視頻庫與OpenCV等具有相似的接口和等效的行為，例如：

　　OpenCV庫：cvScale(src, dst, scale, shift);

　　HLS視頻庫：hls::Scale<...>(src, dst, scale, shift);

　　HLS視頻庫的一些構造函數具有類(lèi)似的或替代性的模板參數，例如：

　　OpenCV庫：cv::Mat mat(rows, cols, CV_8UC3);

　　HLS視頻庫：hls::Mat mat(rows, cols);

　　ROWS和COLS指定處理的最大圖像尺寸。

　　表1 VivadoHLS視頻處理函數庫

　　2.2.2 VivadHLS實(shí)現OpenCV設計的局限性

　　首先，必須用HLS視頻庫函數代替OpenCV調用。

　　其次，不支持OpenCV通過(guò)指針訪(fǎng)問(wèn)幀緩存,可以在HLS中使用VDMA和 AXI Stream adpater函數代替。

　　再者，不支持OpenCV的隨機訪(fǎng)問(wèn)。HLS對于讀取超過(guò)一次的數據必須進(jìn)行復制，更多的例子可以參見(jiàn)見(jiàn)hls::Duplicate()函數。

　　最后，不支持OpenCVS的In-place更新，比如 cvRectangle (img, point1, point2)。

　　下表2列舉了OpenCV中隨機訪(fǎng)問(wèn)一幀圖像處理對應HLS視頻庫的實(shí)現方法。

　　表2 OpenCV和HLS中對一幀圖像像素訪(fǎng)問(wèn)對應方法

　　2.3 用HLS實(shí)現OpenCV應用的實(shí)例(快速角點(diǎn)濾波器image_filter)

　　我們通過(guò)快速角點(diǎn)的例子，說(shuō)明通常用VivadoHLS實(shí)現OpenCV的流程。首先，開(kāi)發(fā)基于OpenCV的快速角點(diǎn)算法設計，并使用基于OpenCV的測試激勵仿真驗證這個(gè)算法。接著(zhù)，建立基于視頻數據流鏈的OpenCV處理算法，改寫(xiě)前面OpenCV的通常設計，這樣的改寫(xiě)是為了與HLS視頻庫處理機制相同，方便后面步驟的函數替換。最后，將改寫(xiě)的OpenCV設計中的函數，替換為HLS提供的相應功能的視頻函數，并使用VivadoHLS綜合，在Xilinx開(kāi)發(fā)環(huán)境下在FPGA可編程邏輯或作為Zynq SOC硬件加速器實(shí)現。當然，這些可綜合代碼也可在處理器或ARM上運行。

　　2.3.1 設計基于OpenCV的視頻濾波器設計和測試激勵

　　在這個(gè)例子中，首先設計開(kāi)發(fā)完全調用OpenCV庫函數的快速角點(diǎn)濾波器設計opencv_image_filter.cpp和這個(gè)濾波器的測試激勵(不在本例中展示)，測試激勵用于仿真驗證opencv_image_filter算法功能。OpenCV算法實(shí)現的設計代碼如下：

　　void opencv_image_filter(IplImage* src, IplImage* dst)

　　{

　　IplImage* gray = cvCreateImage( cvGetSize(src), 8, 1 );

　　std::vectorkeypoints;

　　cv::Mat gray_mat(gray,0);

　　cvCvtColor(src, gray, CV_BGR2GRAY );

　　cv::FAST( gray_mat, keypoints, 20, true);

　　cvCopy( src,dst);

　　for (inti=0;i

　　{

　　cvRectangle(dst, cvPoint(keypoints[i].pt.x-1,keypoints[i].pt.y-1),

　　cvPoint(keypoints[i].pt.x+1,keypoints[i].pt.y+1), cvScalar(255,0,0),CV_FILLED);

　　}

　　cvReleaseImage( &gray );

　　}

　　例子2.3.1 通常的OpenCV視頻處理代碼opencv_image_filter.cpp

　　上面的例子是直接調用OpenCV在處理器上軟件應用實(shí)現的例子，可以看到在算法設計中直接調用opencV庫函數，測試激勵讀入圖像，經(jīng)過(guò)濾波器處理輸出的圖像保存分析?？梢钥吹?，算法的處理基于IPIimage類(lèi)型，輸入和輸出圖像都使用此類(lèi)型。

　　2.3.2 使用IO函數和Vivado HLS視頻庫替換OpenCV函數庫

　　需要特別說(shuō)明的是，Xilinx公司通常使用的視頻處理模塊是基于A(yíng)XI4 streaming協(xié)議進(jìn)行不同模式見(jiàn)像素數據的交互，也就是我們所說(shuō)的AXI4 video接口協(xié)議格式。為了和Xilinx視頻庫接口協(xié)議統一，VivadoHLS提供了視頻接口函數庫，用于從OpenCV程序中抽取需要進(jìn)行RTL綜合轉換的頂層函數，并把這些可綜合的代碼和OpenCV不可綜合轉換的代碼進(jìn)行隔離。然后，對需要綜合轉換為RTL代碼的OpenCV函數，用Xilinx VivadoHLS提供相應功能的可綜合video函數進(jìn)行替換。最后在C/C++編譯環(huán)境下仿真驗證OpenCV代碼和替換video函數后功能的一致性，并在VivadoHLS開(kāi)發(fā)環(huán)境中做代碼綜合和產(chǎn)生RTL代碼的co-sim混合仿真驗證。

　　VivadoHLS可綜合的視頻接口函數：

　　Hls:：AXIvideo2Mat 轉換AXI4 video stream到hls::Mat表示格式

　　Hls:：Mat2AXIvideo 轉換hls::Mat數據格式到AXI4 video stream

　　首先，我們對2.3.1中OpenCV的設計進(jìn)行改寫(xiě)，改寫(xiě)的代碼還是完全基于OpenCV的函數，目的是為了對視頻的處理機制基于視頻流的方式，與VivadoHLS視頻庫提供函數的處理機制一致。

　　其次，使用Vivado HLS視頻庫替代標準OpenCV函數，并使用可綜合的視頻接口函數，采用video stream的方式交互視頻數據。用于FPGA的硬件可綜合模塊由VivadoHLS視頻庫函數與接口組成，我們用hls命名空間中的相似函數代替OpenCV函數，增加接口函數構建AXI4 stream類(lèi)型的接口。

　　void image_filter(AXI_STREAM& input, AXI_STREAM& output, int rows, int cols)

　　{

　　hls::Mat _src(rows,cols);

　　hls::Mat _dst(rows,cols);

　　hls::AXIvideo2Mat(input, _src);

　　hls::Mat src0(rows,cols);

　　hls::Mat src1(rows,cols);

　　hls::Mat mask(rows,cols);

　　hls::Matdmask(rows,cols);

　　hls::Scalar<3,unsigned char> color(255,0,0);

　　hls::Duplicate(_src,src0,src1);

　　hls::Mat gray(rows,cols);

　　hls::CvtColor(src0,gray);

　　hls::FASTX(gray,mask,20,true);

　　hls::Dilate(mask,dmask);

　　hls::PaintMask(src1,dmask,_dst,color);

　　hls::Mat2AXIvideo(_dst, output);

　　}

　　例子2.3.2 采用VivadoHLS視頻庫替換后可綜合的設計opencv_image_filter.cpp

　　最后，在vivadoHLS開(kāi)發(fā)環(huán)境下綜合例子2.3.2.2的設計，產(chǎn)生RTL代碼并重用OpenCV的測試激勵驗證RTL代碼功能。

　　3 VHLS實(shí)現OpenCV設計流程總結

　　OpenCV函數可實(shí)現計算機視覺(jué)算法的快速原型設計，并使用VivadoHLS工具轉換為RTL代碼，在FPGA可編程邏輯上或者Zynq SoC邏輯上作為硬件加速器，實(shí)現高分辨率高幀率的實(shí)時(shí)視頻處理。計算機視覺(jué)應用與生俱來(lái)的異構特性，使其需要軟硬件相結合的實(shí)現方案，采用Vivado HLS視頻庫能加快OpenCV函數向FPGA或Zynq SOC全可編程架構的映射。

　　參考文獻：

　　[1]Vivado Design Suite User Guide: High-LevelSynthesis(UG902).

　　[2]Accelerating OpenCV applications with Zynq using VivadoHLS video libraries(XAPP1167)

　　[3]Bradski G,Kaebler “A.Learning OpenCV”.ISBN 978-7-302-20993-5

　　[4]Implementing Memory structure for video processing in the vivadoHLStool(XAPP793)

　　[5] Rafael C.Gonzalez,Richard E.Wood “Digital Image Processing, Third Edition”ISBN 978-7-121-11008-5