Xilinx 發(fā)布reVISIONTM堆棧的背景資料

　　reVISION: 將全可編程技術(shù)擴展至廣泛的視覺(jué)導向機器學(xué)習應用

　　機器學(xué)習的應用正迅速地擴展至越來(lái)越多的終端市場(chǎng)，在用戶(hù)端、在云端或者在那些基于端處理與基于云的數據分析相結合的混合解決方案中。面向云應用，賽靈思最近推出了可重配置加速堆棧(2016年11月推出)，目標直指包括機器學(xué)習推斷在內的各種計算加速應用。 面向端應用，賽靈思現在宣布憑借Xilinx? reVISION? 堆棧大幅擴展至廣泛的視覺(jué)導向機器學(xué)習應用。 全新的reVISION堆棧能夠支持更廣泛的很少或沒(méi)有硬件設計專(zhuān)業(yè)知識的嵌入式軟件和系統工程師，使其也能利用賽靈思的技術(shù)更輕松、更快速地開(kāi)發(fā)視覺(jué)導向的機器學(xué)習應用。

　　圖1 賽靈思擴大機器學(xué)習應用從端到云的部署

　　(來(lái)源：Machine Learning Landscape - Moor Insights & Strategy Research Paper)

　　廣泛的賽靈思視覺(jué)和機器學(xué)習應用

　　如圖2 所示， 放眼全球，賽靈思已經(jīng)成為眾多企業(yè)構建先進(jìn)嵌入式視覺(jué)系統的最佳選擇。 截至今天，全球已經(jīng)有23 家汽車(chē)制造商在 85 款不同車(chē)型的 ADAS 系統中部署了賽靈思先進(jìn)的嵌入式視覺(jué)系統，另外還有數百家嵌入式視覺(jué)客戶(hù)在其他數千種應用中也部署了賽靈思的先進(jìn)嵌入式視覺(jué)系統。其中至少有40家已經(jīng)在開(kāi)發(fā)或部署機器學(xué)習技術(shù)以大幅提高系統的智能?，F在，大多數的賽靈思視覺(jué)客戶(hù)包括具有很強硬件專(zhuān)長(cháng)的工程師們，都看準了 Zynq? All Programmable SoC 和 MPSoC 的應用。

　　圖 2 賽靈思嵌入式視覺(jué)行業(yè)成就

　　reVISION 的目標應用和使命

　　賽靈思正在為一些熱門(mén)市場(chǎng)的應用提供支持。在這些市場(chǎng)中，差異化至關(guān)重要，系統必須響應迅速，最新算法和傳感器必須能夠被快速部署。這些應用包括“專(zhuān)業(yè)消費類(lèi)”應用、汽車(chē)、工業(yè)、醫療、航空航天、軍用以及高端前沿消費者應用。這些應用通常不包括部署在差異化較低的“夠用就好”或者發(fā)展成熟的技術(shù)之上的非常大批量的消費類(lèi)應用或者主流商品化應用在。

　　如圖 3 所示，眾多的傳統嵌入式視覺(jué)應用通過(guò)采用機器視覺(jué)和傳感器融合技術(shù)后都在發(fā)生巨變。

　　圖3 從嵌入式視覺(jué)到視覺(jué)導向的自主系統

　　下一代應用包括協(xié)作機器人、具有感應和躲避功能的無(wú)人機、增強現實(shí)、自動(dòng)駕駛汽車(chē)、自動(dòng)化監視和醫療診斷等。這些系統通常具有三大使命：

　　1. 系統不僅要會(huì )思考，而且還能對情境立即做出“響應”。這就要求一個(gè)從感應到處理、分析、決策、通信和控制整個(gè)流程中更一致的視圖。同時(shí)還要高效實(shí)施、部署最新機器學(xué)習技術(shù)，滿(mǎn)足8位及更深層面的精確性要求。注意，針對機器學(xué)習訓練優(yōu)化的技術(shù)繼續偏離對機器學(xué)習推斷優(yōu)化的技術(shù)。 賽靈思已經(jīng)專(zhuān)門(mén)為推斷技術(shù)優(yōu)化了其全可編程器件系列。

　　2. 圖4 下一代視覺(jué)導向系統的應用使命

　　鑒于神經(jīng)網(wǎng)絡(luò )和相關(guān)算法的快速變化以及傳感器的快速發(fā)展，必須實(shí)現靈活性，能通過(guò)軟硬件的可重配置性升級系統。

　　3. 由于許多新系統都連接到了一起(物聯(lián)網(wǎng))，因此需要既能與傳統的已有設備通信，也能與未來(lái)推出的新設備通信，同時(shí)還要能夠進(jìn)行云端通信。賽靈思將此定義為任意互聯(lián)。

　　賽靈思器件可以獨特地支持以上所有三大使命， 且比其它替代方案擁有顯著(zhù)的和可測量的優(yōu)勢。 通過(guò)高效的推斷和控制，賽靈思實(shí)現了傳感器的最快響應時(shí)間，支持最新的神經(jīng)網(wǎng)絡(luò )，算法和傳感器的可重構性，并支持與傳統或新機器、網(wǎng)絡(luò )和云的任意連接。

　　圖5 賽靈思獨特的應用優(yōu)勢

　　圖6 廣泛應用的障礙

　　然而，賽靈思器件的這些優(yōu)勢原來(lái)只有那些擁有硬件或者RTL 設計專(zhuān)長(cháng)的專(zhuān)業(yè)用戶(hù)才能受益，對于更廣泛的應用和支持使用行業(yè)標準庫和框架進(jìn)行軟件定義編程，還存在巨大的障礙。 reVISION堆棧的誕生， 解決了這個(gè)通往廣泛應用的障礙。

　　reVISION STACK

　　圖7 賽靈思reVISION 堆棧

　　賽靈思 reVISION 堆棧包括用于平臺、算法和應用開(kāi)發(fā)的豐富的開(kāi)發(fā)資源，支持最流行的神經(jīng)網(wǎng)絡(luò )(諸如 AlexNet、GoogLeNet、SqueezeNet、SSD 和 FCN)以及庫元素(如 CNN 網(wǎng)絡(luò )層的預定義優(yōu)化型實(shí)現方案，這也是構建定制神經(jīng)網(wǎng)絡(luò ) DNN/CNN 所需的)。配合豐富的滿(mǎn)足加速要求的 OpenCV 功能，支持機器視覺(jué)處理。對應用層面的開(kāi)發(fā)來(lái)說(shuō)，賽靈思支持流行的框架，包括用于機器學(xué)習的 Caffe 和用于計算機視覺(jué)的 OpenVX(將于 2017 年下半年推出)。reVISION 堆棧還包括賽靈思和第三方提供的基于 Zynq SoC 和 MPSoC 的開(kāi)發(fā)平臺。

　　移除了通往廣泛應用的障礙

　　reVISION 堆棧支持一大批廣泛的設計團隊無(wú)需深層的硬件專(zhuān)業(yè)技術(shù)，使用軟件定義開(kāi)發(fā)流程就能將機器學(xué)習和計算機算法的高效實(shí)現方案整合到響應迅速的系統中。

　　如圖 8 所示，reVISION 開(kāi)發(fā)流程從 熟悉的C、C++ 和/或 OpenCL 語(yǔ)言及相關(guān)編譯器技術(shù)的基于 eclipse 的開(kāi)發(fā)環(huán)境(即 SDSoC 開(kāi)發(fā)環(huán)境)啟動(dòng)。在 SDSoC 環(huán)境中，軟件工程師和系統工程師能以 reVISION 硬件平臺為目標，并采用大量的加速就緒型計算機視覺(jué)庫，很快還能采用OpenVX框架，從而快速構建應用。

　　圖8 reVISION 的軟件定義設計流程

　　對于機器學(xué)習，我們可用 Caffe 等流行的框架來(lái)培訓神經(jīng)網(wǎng)絡(luò )，用 Caffe 生成的 .prototxt 文件對基于 ARM 的軟件調度器進(jìn)行配置，從而驅動(dòng)專(zhuān)門(mén)為可編程邏輯預先優(yōu)化的CNN 推斷加速器。

　　對計算機視覺(jué)和其他專(zhuān)有算法來(lái)說(shuō)，用戶(hù)可對軟件代碼進(jìn)行特征分析，發(fā)現瓶頸，并在代碼中標出希望加速并進(jìn)行“硬件優(yōu)化”的特定功能?！跋到y優(yōu)化編譯器”則用來(lái)創(chuàng )建加速的實(shí)現方案，包括處理器/加速器接口(數據移動(dòng)器)和軟件驅動(dòng)器。結合計算機視覺(jué)和機器學(xué)習功能，該編譯器能創(chuàng )建優(yōu)化的融合實(shí)現方案。

　　如圖 9 左側所示，專(zhuān)家級賽靈思用戶(hù)采用傳統 RTL 設計流程，與 ARM 軟件開(kāi)發(fā)人員合作，要花大量設計時(shí)間才能開(kāi)發(fā)出高度差異化的機器學(xué)習和計算機視覺(jué)應用。

　　圖9 reVISION 堆棧 —— 移除通往廣泛應用的障礙

　　為進(jìn)一步加快設計進(jìn)程，減少對硬件專(zhuān)家的依賴(lài)，賽靈思大約在兩年前推出了基于 C、C++ 和 OpenCL 語(yǔ)言的 SDSoC 開(kāi)發(fā)環(huán)境。雖然這幫助其它上千名能夠開(kāi)發(fā)自己的基礎平臺、庫和應用的用戶(hù)大幅縮短了開(kāi)發(fā)周期，但仍無(wú)法滿(mǎn)足廣泛機器學(xué)習應用推廣與部署的要求，而且機器學(xué)習也帶來(lái)了復雜問(wèn)題。