基于數據流計算圖的卷積神經(jīng)網(wǎng)絡(luò )的理論和設計

謝仁杰 （英特爾戰略合作和創(chuàng )新業(yè)務(wù)部?技術(shù)經(jīng)理，人工智能開(kāi)放創(chuàng )新平臺聯(lián)合學(xué)者，上海?200241）

摘? 要：近年來(lái)在許多信號處理應用領(lǐng)域中，深度卷積神經(jīng)網(wǎng)絡(luò )引起了學(xué)術(shù)界和工業(yè)界很大的關(guān)注，其中 基于數據流圖的深度學(xué)習網(wǎng)絡(luò )Tensorflow框架得到了很多人的青睞。但在一些商業(yè)落地的研究和調查中發(fā) 現，部分機構涉及一些自開(kāi)發(fā)的計算單元，而它不被大型網(wǎng)絡(luò )框架所支持，又出于技術(shù)的保密性往往需要 自行修改工業(yè)界的深度學(xué)習框架，這就造成了以下情況， ①工業(yè)級大型代碼框架極其復雜，各大庫之間的 調用很深且一般沒(méi)有注釋?zhuān)蝗菀鬃x懂和修改，②對某一個(gè)單一應用來(lái)說(shuō)，工業(yè)界絕大多數的代碼都是有 冗余的，這就使得代碼整體比較臃腫（厚），性能會(huì )受點(diǎn)影響?；谶@種受限的情況下，本文提出了一種 基于信號處理數據流計算圖模型的方法，在多個(gè)平臺多核下實(shí)現車(chē)輛分類(lèi)。該方法在整個(gè)使用過(guò)程中，展 現了靈活地設計實(shí)現優(yōu)化轉換能力，多平臺的兼容可實(shí)施性，可在有限的資源內根據自己的算法需求，分 立式地量身定制。在硬件電路加速或芯片的設計中，數據流所得到的高輸出率、低延時(shí)特點(diǎn)是各廠(chǎng)家在寫(xiě) RTL硬件設計語(yǔ)言時(shí)著(zhù)重提出的特點(diǎn)，其次基于數據流的軟硬件設計易于算法代碼之間的轉換、實(shí)現、移 植、調試、分析、綜合、集成、優(yōu)化和驗證。 

關(guān)鍵詞：深度學(xué)習；數據流；計算圖；多核運算；車(chē)輛分類(lèi)

0  引言 

隨著(zhù)國家進(jìn)入人工智能時(shí)代，深度學(xué)習在嵌入式 和計算機應用領(lǐng)域無(wú)處不在，例如汽車(chē)嵌入式系統和 物聯(lián)網(wǎng)，從而激發(fā)了在資源受限的邊緣端做深度卷積 神經(jīng)網(wǎng)絡(luò )的設計方法和研究。本文中以車(chē)輛分類(lèi)作為 具體研究案例，設計一種基于信號處理的數據流計算 圖的模型框架和實(shí)現優(yōu)化方法，迭代式的實(shí)現，實(shí)驗 及優(yōu)化，并在不同的平臺及有限的計算資源下實(shí)現針 對四種相近車(chē)輛的分類(lèi)。本文以數據流計算圖原理出 發(fā)，介紹不同數據流技術(shù)建模的原理和形式，后舉一 個(gè)從零開(kāi)始基于車(chē)輛分類(lèi)的例子，從訓練某個(gè)應用的網(wǎng)絡(luò )，選取網(wǎng)絡(luò )參數和神經(jīng)元權重開(kāi)始，進(jìn)行Matlab 的仿真代碼實(shí)現，并以此為參考代碼進(jìn)行基于數據 流計算圖C代碼實(shí)現，隨后對整個(gè)計算圖進(jìn)行深度優(yōu) 化，最后單核和多核在不同平臺下的性能進(jìn)行了一一 對比。數據流計算圖的簡(jiǎn)潔，跨平臺，可擴展的完全 自主的特性，可用于任何特定領(lǐng)域，特別適合量身定 制的的嵌入圖像和視頻信號的操作。

1  數據流模型 (Dataflow Modeling) 

1.1 數據流模型原理 

在數據流建模模型中，數據流圖可表示為有向圖，由一系列Actors（頂點(diǎn)）和edges（前進(jìn)先出， FIFO）組成，其中actor表示任意復雜程度的計算單元 （可以是高節點(diǎn)的actor封裝了一些計算圖），edge表 示連接各actors的連線(xiàn)，從而構成一組計算圖，代表 一個(gè)函數功能系統，數據類(lèi)型則封裝在token，在一 個(gè)actor通過(guò) edge輸出至另一個(gè)actor輸入端。數據流邊 緣可以表示e =（v1; v2），表示數據從v1到v2。這里 src（e）表示的v1稱(chēng)為源actor，sink（e）表示的v2稱(chēng) 為接收器。在一個(gè)數據流計算圖中，一個(gè)actor在其接 受的數據足以計算該單元actor的算法時(shí)可以啟動(dòng)和調 用該actor通過(guò)其enable和invoke函數, 每個(gè)actor需要明 確定義其輸入口消耗和輸出口產(chǎn)生的 token的數量。 整個(gè)數據流計算圖運行是一個(gè)離散的操作。在圖1 中，Actor: FS1，FS2是2個(gè)源的參與者；Actor: Adder 是加法操作; Actor: FK是接收器。整個(gè)圖表產(chǎn)生每個(gè) actor觸發(fā)（消耗）一個(gè)token到每個(gè)actor輸出（輸入） 端口上。

1.2 數據流模型概述 

Core Functional Dataflow（CFDF）是一種可編程 的模型，常用于設計、分析及實(shí)現信號處理系統，尤 其是一種確定消耗產(chǎn)出比和有著(zhù)動(dòng)態(tài)數據流比例的 的信號處理單元的系統開(kāi)發(fā)；Synchronous Dataflow （SDF）是最簡(jiǎn)單最流行的數據流模型，它有個(gè)限 制，即一個(gè)actor在每個(gè)傳出邊緣上產(chǎn)生的數據值是個(gè) 數字常量，同時(shí)actor從進(jìn)入邊緣消耗的數據值的數量 也需要是常量；Cyclo - Static Dataflow (CSDF) 是一 種類(lèi)型的SDF，在一個(gè) actor產(chǎn)生和消耗的token比是可變的，只要這個(gè)變值是一個(gè)固定的周期性的模式； Parameterized Dataflow (PDF) 是一種結合動(dòng)態(tài)參數與 運行參數化的數據流計算圖，尤其是那些有很明確的 圖迭代概念的圖形；Boolean Dataflow (BDF) 是SDF的 擴展，其中一個(gè)actor產(chǎn)生和消耗的吞吐率取決于控制 的二值函數token，它源自于動(dòng)態(tài)數據流actor中的一個(gè) 指定控制端口；Enable - Invoke Dataflow (EIDF)是另 一種動(dòng)態(tài)數據流建模技術(shù)。它將actors分成一系列模 式，每個(gè)模式都有一個(gè)固定的消耗和生成的token 的 數量，代表一個(gè)分支可以在運行時(shí)切換多種模式。 

1.3  數據流模型環(huán)境： Lightweight Dataflow Environment – C (LIDE-C) 

LIDE-C（輕量級數據流環(huán)境C）是一個(gè)靈活設 計的C語(yǔ)言的編程環(huán)境，允許設計人員挖掘基于數據 流的技術(shù)信號處理系統的設計實(shí)現和優(yōu)化，專(zhuān)注于 基本的應用程序編程接口（API）功能。在整個(gè)框架 提供廣泛的實(shí)現信號處理系統功能的組件，以及跨 平臺操作，包括可編程門(mén)陣列（FPGA），圖形處理 單元（GPU），可編程數字信號處理器（DSP）和服 務(wù)器工作站。LIDE-C軟件包擁有許多數據流圖元素 （actor和edge）實(shí)現庫，基于這些基本要素可以自由 設計自己的數據流圖并定義元素，開(kāi)發(fā)特定的應用程 序（例如，控制，參數化和儀器相關(guān)的模塊），和觸 發(fā)整個(gè)數據流圖的調度程序，詳解可參考文章^[1]。在 LIDE-C數據流計算圖種actor和edge是關(guān)鍵2元素，其 中Actor設計包括四個(gè)接口函數：構造，啟動(dòng)，調用和 種植函數（圖2）。

1）構造函數：創(chuàng )建actor的實(shí)例并連接端口，通過(guò)函數參數列表進(jìn)行算法處理后傳遞給相連的一 組邊。 

2）啟用功能：在運行時(shí)檢查該actor是否有足夠 的輸入數據和空的緩沖區空間來(lái)支持下一次調用。 

3）調用函數：為actor執行單次調用。 

4）終止功能：關(guān)閉此actor在計算圖的作用，包 括釋放相關(guān)的存儲對象及其所占用的資源。 

LIDE-C中的FIFO設計構成的數據流圖與其actors 本身相互獨立實(shí)現和優(yōu)化，開(kāi)發(fā)者可專(zhuān)注于A(yíng)ctor的設 計（如算法的實(shí)現和優(yōu)化），然后通過(guò)明確定義的接 口和fifos集成這些actors， 從而進(jìn)行數據流圖的調度 優(yōu)化（并行，優(yōu)先級）， 這些可通過(guò)相互溝通實(shí)現整 個(gè)性能的表現。FIFO操作由C中的 接口函數封裝。函數指針是指向這 些接口功能，以不同形式實(shí)現不同 的接口。LIDE-C中的標準FIFO有 以下執行操作： 

創(chuàng )建具有特定容量的新FIFO。 

從/向一個(gè)fifo讀取和寫(xiě)入 token。 

檢查FIFO的容量。 

檢查FIFO中當前的token數。 

使用FIFO完成后，用FIFO解除 存儲。 

在一個(gè)數據流計算圖應用程序 中創(chuàng )建所有actors和fifos之后，逐步 連接并逐步觸發(fā)檢查圖形下一個(gè)關(guān) 鍵actor，從而驗證檢查調試整個(gè)系 統的當前使用情況。

2   基于圖像的車(chē)輛識別的網(wǎng)絡(luò )架構 

本文以基于圖像的車(chē)輛識別網(wǎng) 絡(luò )系統，從零開(kāi)始一步一步得到相 應的網(wǎng)絡(luò )，實(shí)現參考的Matlab推理網(wǎng)絡(luò )代碼，從而進(jìn) 一步實(shí)現優(yōu)化基于數據流計算圖的C代碼實(shí)現，此方 法具有一定的普適性和擴展性，且根據不同的需求可量身定制其它的應用需求。案例中的CNN實(shí)現四種 車(chē)輛之間的分類(lèi)——公共汽車(chē)，卡車(chē)，面包車(chē)和汽 車(chē)，此源數據和工作基于之前的車(chē)輛分類(lèi)工作^[3]，提 取了相關(guān)的有用信息，使用Caffe + Python 隨機搜索 來(lái)最優(yōu)的超參數。在使用50組隨機生成的超參數（圖 3）進(jìn)行一系列搜索迭代之后，針對精確率和參數大 小及性能的特征平衡，推導出一套可實(shí)施的優(yōu)化過(guò)的 超參數車(chē)輛分類(lèi)系統, 等到訓練模型穩定后，提取相 關(guān)的模型權重圖4（注：本文目的是演示實(shí)現優(yōu)化數 據流計算圖的方法，所選取的類(lèi)型為double型，讀者 可根據深度學(xué)習相關(guān)知識，可相應地調整網(wǎng)絡(luò )，例 如用全卷積網(wǎng)絡(luò )或半精度數據類(lèi)型或者8比特的整數類(lèi)型）。 

訓練好后得到的超參數所形成的CNN架構（見(jiàn)圖 4）由五層組成——兩個(gè)卷積層，兩個(gè)全連接層，最后是分類(lèi)器層。第一層包括三個(gè)通道 （紅綠藍RGB通 道），每個(gè)輸入圖像96 x 96的三通道經(jīng)過(guò)過(guò)濾后分解 成32個(gè)特征圖，然后最大值池化為48×48。在第二層 中，有32組特征圖再次卷積，然后下采樣最大值池化 到24×24。第三層和第四層是兩層全連接層，每個(gè)節 點(diǎn)有100個(gè)節點(diǎn)。分類(lèi)器層執行從100個(gè)元素到4個(gè)元 素并通過(guò)softmax運算符得到4個(gè)等級可能概率值。在 層于層相鄰之間，應用整流線(xiàn)性單元非線(xiàn)性激活函數 （ReLU）。

3  基于數據流的網(wǎng)絡(luò )架構計算圖設計 

在得到整個(gè)網(wǎng)絡(luò )拓撲圖（圖5）并提取出網(wǎng)絡(luò )各 個(gè)神經(jīng)元的權重（圖4）后，先在Matlab環(huán)境中實(shí)現其 CNN 推理的圖像分類(lèi)代碼，其主要目的其一是確保此 參數模型的最后效果，性能和準確性，其二是有一個(gè) 參考代碼并可收集每一層運算后的數值，便于后續數 據流計算圖C代碼的實(shí)現、比較、調試和優(yōu)化，這種 逐層式至最后龐大系統的檢測有益于整體代碼實(shí)現的 魯棒性，并將可能的測試失敗的原因顯示化在具體的 某一層某個(gè)actor或fifo，進(jìn)行更好更快速的實(shí)現代碼設 計優(yōu)化和迭代。 

在開(kāi)發(fā)了基于Matlab的CNN車(chē)輛分類(lèi)系統的仿真 參考模型后（圖6和圖7），我們繼續開(kāi)發(fā)基于數據流計算圖LIDE-C的設計以及實(shí)現，并在多平臺多核上 進(jìn)行性能測試，通過(guò)迭代式優(yōu)化數據流計算圖及actor 算法來(lái)提高整體性能。

作為數據流模型的第一步，把CNN網(wǎng)絡(luò )拓圖轉 換了網(wǎng)絡(luò )框圖（圖8），每個(gè)框圖都可以看成帶參數 的高階actor, 高階actor可以封裝一個(gè)或多個(gè)帶參數 subgraph系統子圖，而其中可能存在成千上萬(wàn)的actor 互連，其形式類(lèi)似于硬件模塊的實(shí)現，所以可以進(jìn)行 很好的軟硬件結合，此網(wǎng)絡(luò )包含了共10種不同類(lèi)型 的actor：讀通道actor，寫(xiě)通道actor，卷積actor，池化actor, 非線(xiàn)性激活函數actor，分類(lèi)器actor， 聚合actor, 廣播actor，乘加 actor，矩陣乘 法actor。針對這些actors，按照不同的圖結 構進(jìn)行封裝設計，形成三種不同的數據流 計算圖（圖9，圖10，圖11）。 

設計一的優(yōu)點(diǎn)是整個(gè)架構與框圖最接 近，且非常的清晰，易于理解和實(shí)現，驗 證和檢查整個(gè)數據流計算圖很直接方便。 缺點(diǎn)是當子圖已經(jīng)確定且封裝為一個(gè)大的 actor后，難以進(jìn)一步深層次地優(yōu)化，若子 圖來(lái)自于第三方機構，當整個(gè)程序有錯誤 時(shí)，很難進(jìn)行調試；設計二相對簡(jiǎn)潔，在 卷積層用到了循環(huán)展開(kāi)(loop unrolling)和 流水線(xiàn)(pipeline)技術(shù)進(jìn)行優(yōu)化，增加延遲 但提高輸出量。此方法很適合用于網(wǎng)絡(luò )訓 練圖結構，但需要一些技巧，總體來(lái)說(shuō)， 整個(gè)計算圖仍舊可以理解；設計三的優(yōu)點(diǎn) 是整個(gè)數據流計算圖可以任意地在某一 步、某一個(gè)actor或fifo或緩沖區里跟蹤，控 制，管理，驗證，檢測數據，除此之外， 設計三的顆粒度更細，可以更深層次進(jìn)行 優(yōu)化，自行控制的選擇余地比較多，相 反的，缺點(diǎn)是不易于理解，構成，實(shí)現， 優(yōu)化這顆粒度細且龐大復雜的數據流計 算圖。

參考文獻： 

[1] SHEN C,PLISHKER W,WU H,et al.A lightweight dataflow approach for design and implementation of SDR systems[C]. Proceedings of the Wireless Innovation Conference and Product Exposition,Washington DC, USA, November, 2010:640–645. 

[2] BHATTACHARYYA S S,PLISHKER W,SHEN C,et al.The DSPCAD integrative command line environment: Introduction to DICE version 1.1.Institute for Advanced Computer Studies, University of Maryland at College Park, Tech. Rep. UMIACSTR-2011-10, 2011. 

[3] HUTTUNEN H,YANCHESHMEH F, CHENK.Car type recognition with deep neural networks[C].ArXiv e-prints, February 2016, submitted to IEEE Intelligent Vehicles Symposium 2016. 

[4] BOUTELLIER J,LUNNIKIVI H.Design Flow for Portable Dataflow Programming of Heterogeneous Platforms[C].2018 Conference on Design and Architectures for Signal and Image Processing (DASIP):106-111. 

[5] Representative Projects of the Maryland DSPCAD Research Group[EB/OL]. https://ece.umd.edu/DSPCAD/ projects/toplevel/projects.htm.

本文來(lái)源于科技期刊《電子產(chǎn)品世界》2020年第03期第22頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處。