Xilinx用reVISION向視覺(jué)學(xué)習亮劍

   在人工智能、機器學(xué)習興起的今天，All Programmable技術(shù)和器件廠(chǎng)商Xilinx也帶來(lái)了爆品，發(fā)布了全新的reVISION堆棧，劍指視覺(jué)導向的機器學(xué)習應用。該解決方案無(wú)需額外花費，搭載Xilinx的Zynq和處理器平臺即可加速設計。可以看到，通過(guò)“芯片+軟件堆?！?/span>的策略，Xilinx把競爭矛頭直指圖形芯片廠(chǎng)商——英偉達的Tegra GPU和ADAS廠(chǎng)商Mobileye等。

三問(wèn)reVISION

   筆者十分感興趣，reVISION堆棧功能強大，所定位的視覺(jué)導向機器學(xué)習市場(chǎng)也看上去很有潛力，但是客戶(hù)是否會(huì )先用Xilinx芯片，如果大批量采用時(shí)，客戶(hù)會(huì )不會(huì )在此基礎上自己設計ASIC芯片？Xilinx戰略與營(yíng)銷(xiāo)高級副總裁Steve Glaser稱(chēng)，不必有此顧慮。不錯，現在確實(shí)是有幾家初創(chuàng )企業(yè)在開(kāi)發(fā)專(zhuān)門(mén)的只是用于機器學(xué)習的芯片，但是挑戰是客戶(hù)不僅僅要集成機器學(xué)習，還有計算機視覺(jué)、傳感器融合等。所以，Xilinx并不認為會(huì )有其他人要或者可以自己開(kāi)發(fā)這么一整套獨特的性能組合，因為這個(gè)可能要花費幾億美元才能推出第一片芯片，而且從各種規格的確定/落實(shí)到第一個(gè)樣片誕生可能需要長(cháng)達三年以上的時(shí)間。此外在這三年過(guò)程中還會(huì )有一個(gè)挑戰：那就是神經(jīng)網(wǎng)絡(luò )、算法和傳感器都在不斷演化，客戶(hù)辛辛苦苦投入這么多打造出來(lái)一個(gè)硬件的時(shí)候，可能已經(jīng)無(wú)法滿(mǎn)足新技術(shù)的應用要求了。Steve 表示，唯一看到一個(gè)最終用戶(hù)的設計，就是ASIC解決方案在云方面的應用，那就是谷歌的TPU，是非常專(zhuān)門(mén)的機器學(xué)習推斷的應用。但是即使是谷歌，也很難趕上變化的速度，因為它是一個(gè)固定的硬件。

   ADAS是自動(dòng)駕駛的階段之一。在A(yíng)DAS方面，Xilinx最大的競爭對手是Mobileye，“最近我們已經(jīng)在這方面戰勝它了。”Steve分析道，Mobileye提供一種“交鑰匙”的解決方案，采用的方法是類(lèi)似的軟件算法再加上芯片。“我們從客戶(hù)那里也了解到，如果客戶(hù)使用的是Mobileye，就無(wú)法實(shí)現差異化。但是如果是用賽靈思技術(shù)，他們就能夠實(shí)現巨大的差異化的解決方案。所以，現在市場(chǎng)上排名前25%的企業(yè)，都是以差異化占據鰲頭的企業(yè)，而他們使用的都是Xilinx的產(chǎn)品。雖然Mobileye的市場(chǎng)份額有50%~ 60%，但是這些企業(yè)都不屬于追求差異化設計的企業(yè)。”

Xilinx的SoC里含有FPGA，通常FPGA較貴，是嗎？

   實(shí)際上，ZynqSoC是一個(gè)高度集成的解決方案。現在已經(jīng)實(shí)現了更低的定價(jià)，而且推出了更低端的單核產(chǎn)品；同時(shí)也推出了高端的4核、7核異構芯片，所以價(jià)格有從10美元直到幾十美元的組合?？梢?jiàn)，在量方面，Xilinx已經(jīng)建立了一個(gè)非常強大的成本優(yōu)化的產(chǎn)品組合，能夠提供非常好的量化的性?xún)r(jià)比。當然，也不會(huì )達到消費級（例如上千萬(wàn)、億級）的這么高的量。

reVIOSN如何滿(mǎn)足機器學(xué)習？

   具體地，分析一下機器學(xué)習，如圖1?？v軸是行業(yè)應用，是電子領(lǐng)域高度成長(cháng)性的應用；橫軸是應用的端，看是否靠近云。有些應用是三者兼顧，既在終端又在云。

圖1 機器學(xué)習領(lǐng)域

   4個(gè)月前（2016年11月），Xilinx曾推出了可重配置加速堆棧，面向最右側的云應用。此次是reVISION堆棧，主要針對左側應用。

當前客戶(hù)有從左向右轉型的需求：不僅是左邊的簡(jiǎn)單的傳感器，還有右側的機器學(xué)習的需求。例如，左邊的應用都是非常簡(jiǎn)單的傳感器的配置，通常是各種各樣的攝像頭，然后加上核心的技術(shù)——計算機視覺(jué)處理技術(shù)來(lái)識別整個(gè)框架環(huán)境中的物體。但是現在慢慢轉向右邊的應用轉變，右邊的應用會(huì )越來(lái)越使用各種不同類(lèi)型的傳感器技術(shù)，然后再加上圖像傳感器，還要和機器學(xué)習實(shí)現智能的融合。比如說(shuō)，我們過(guò)去是在工廠(chǎng)里有機器，右側使用各種傳感器，還要進(jìn)行計算和融合。我們過(guò)去工廠(chǎng)里的機器人是在籠子里來(lái)完成它們的工作，但是現在已經(jīng)有了新一代的協(xié)作機器人，它們與人肩并肩工作，而且它們是可以移動(dòng)的。同樣，在ADAS里包含有前視汽車(chē)攝像頭，但是現在為了要支持自動(dòng)駕駛汽車(chē)的發(fā)展，攝像頭也是多種多樣，會(huì )有不同的傳感器，比如長(cháng)程和短程的雷達、激光雷達、超聲波技術(shù)等各式各樣不同類(lèi)型的傳感器。而且還有機器學(xué)習的融合，使得這些車(chē)輛在行駛時(shí)能夠做出自己的決策。

   從嵌入式視覺(jué)到自主系統，主要有三個(gè)應用的使命／要求。1.希望智能性及系統及時(shí)響應，例如行人在車(chē)前快速通過(guò)。2.希望升級到最新的算法和傳感器的靈活性，因為神經(jīng)網(wǎng)絡(luò )和深度學(xué)習的算法都在改變，而且傳感器的類(lèi)型和組合也在變化，客戶(hù)希望能立即升級。3.萬(wàn)物互聯(lián)，需要隨時(shí)與其他機器和云保持連接。

   Xilinx的SoC處理器和reVISION堆棧等能夠滿(mǎn)足以上三個(gè)方面的需求。

   目前，已有幾百家客戶(hù)正在用Xilinx的芯片在開(kāi)發(fā)自主系統，他們擁有很強的硬件知識，也投入了很多精力和時(shí)間，但reVISION最重要的優(yōu)勢是可取消采用芯片的障礙，使沒(méi)有硬件專(zhuān)業(yè)知識的用戶(hù)也可以來(lái)應用，因此可支持圖1左邊及一些混合芯片。

因此，reVISION堆棧(圖1左側和中部)和可重配置加速堆棧（圖1右側和中部），再加上此前使用Xilinx器件做安全控制系統等部分（圖1左側）?，F在Xilinx已經(jīng)能夠支持機器學(xué)習中從端到云絕大多數的應用。

reVISION可完成80%的設計工作

   reVISION堆棧與傳統開(kāi)發(fā)方法的比較如圖2?？v軸是開(kāi)發(fā)時(shí)間，橫軸是開(kāi)發(fā)方法。過(guò)去RTL使設計大大加速。大約在六年以前，Xilinx推出了新的提高效率的工具——基于RTL的硬件設計的工作流程，使得整個(gè)過(guò)程能夠大大加速?，F在已經(jīng)有幾百家客戶(hù)在使用這樣的工作流程來(lái)處理計算機視覺(jué)。據Xilinx所知，其中有40多家企業(yè)已經(jīng)在用Xilinx的器件進(jìn)行機器學(xué)習方面的開(kāi)發(fā)。

圖2 Xilinx機器學(xué)習相關(guān)的開(kāi)發(fā)工具演進(jìn)

   不過(guò)采用這樣的方法，開(kāi)發(fā)所投入和精力還是相對比較大的，但是這種付出還是使他們獲得了很大的優(yōu)勢。為了提升效率，大約在一年半之前，Xilinx推出了首個(gè)軟件定義的編程環(huán)境——SDSoC，基于Xilinx的Zynq SoC芯片，主要是嵌入式的應用?，F在Xilinx已經(jīng)有1100多名付費的用戶(hù)，他們支付相關(guān)的許可費，其中有半數都是專(zhuān)注于視覺(jué)方面的應用。

   但是，這雖然提高了效率，還沒(méi)有達到Xilinx或者客戶(hù)所希望的目標，客戶(hù)希望能夠有符合行業(yè)標準的庫和框架，幫助客戶(hù)繼續壓縮開(kāi)發(fā)時(shí)間。所以，此次推出的reVISION堆棧，可以使開(kāi)發(fā)時(shí)間可以大大縮短。

   所以過(guò)去Xilinx提供芯片及20%的開(kāi)發(fā)工作，但現在可以完成80%工作。

低時(shí)延優(yōu)勢

   根據英偉達 TX1的公開(kāi)資料，Xilinx測算其reVISION方案在計算機視覺(jué)領(lǐng)域的優(yōu)勢達40倍以上，時(shí)延只有1/5。為什么低時(shí)延能夠實(shí)現快速響應的系統非常的重要？假設一輛小轎車(chē)跟在一輛小貨車(chē)后面，這個(gè)小貨車(chē)突然進(jìn)行緊急停車(chē)。后面的小轎車(chē)的時(shí)速是65英里，英偉達TX1方案的響應時(shí)間是49~320ms，而reVISION只有2.7ms！

   為何Xilinx能實(shí)現響應速度很快？典型的嵌入式GPU和典型的SoC比較中可見(jiàn)（圖3），在這樣的情景之下，傳感器的數據需要外部存儲，之后在處理的步驟中，也需要不斷地去訪(fǎng)問(wèn)外部存儲。如果是Xilinx的Zynq器件，客戶(hù)能夠簡(jiǎn)化獲得直接的數據流（圖4右），直接經(jīng)過(guò)傳感器、傳感器的處理，還有機器學(xué)習，一直到控制。這就會(huì )對響應的時(shí)間造成很大的影響，除此以外，還會(huì )影響到可預見(jiàn)性，也就是客戶(hù)所說(shuō)的決定性，他們希望整個(gè)過(guò)程是可以預見(jiàn)的，可以確定的，并且響應速度要很快。所以Xilinx能夠提供非?？焖俚臎Q定性的響應，而Xilinx的同類(lèi)競爭產(chǎn)品的相應速度要慢很多，而且是不可預見(jiàn)的。

圖3 Xilinx的Zynq在時(shí)延方面與GPU等的比較

可配置性

   reVISION的另一項非常獨特的功能，就是硬件和軟件的可重配置性和可編程性：既支持硬件，也支持軟件的可重配置和可以編程。對于下一代的機器學(xué)習來(lái)說(shuō)，這種可重配置性至關(guān)重要。

   機器學(xué)習盡管在1958年就出現了，但過(guò)去兩年里機器學(xué)習所取得的進(jìn)步等于之前45年取得的所有成果之和——不僅出現了新的神經(jīng)網(wǎng)絡(luò )和算法，而且對于這些嵌入系統更加有效的實(shí)施也有了新的方案。

   例如，在一些實(shí)施方案當中，之前最先進(jìn)的是浮點(diǎn)方案，這個(gè)方案對訓練來(lái)說(shuō)是非常合適的，但是在推斷方面，因為推斷要受到成本和功耗極大的限制，浮點(diǎn)就不那么合適。所以這種實(shí)施方案也在不斷的演進(jìn)，從8位下降到4位，甚至最后到1位，所有的一切都是在一個(gè)神經(jīng)網(wǎng)絡(luò )里進(jìn)行，只不過(guò)這個(gè)神經(jīng)網(wǎng)絡(luò )分成不同的層次，每個(gè)層次對應不同的精度。所以，可重配置性是非常關(guān)鍵的，只有具有可重配置性，才能夠持續的升級到最新最好的機器學(xué)習的技術(shù)。但是可重配置性對于升級到新的傳感器技術(shù)，并且支持不同的傳感器配置也很重要。

滿(mǎn)足傳感器融合需要

   另外，傳感器類(lèi)型和配置出現了爆炸，業(yè)界稱(chēng)之為傳感器融合。此外，人工智能和機器學(xué)習的不斷擴展驅動(dòng)了這種傳感器融合的趨勢，所以也需要可重配置性來(lái)跟上這些變化的步伐。

   總之，reVISION消除了向廣泛視覺(jué)導向機器學(xué)習應用擴展的障礙，擴大了機器學(xué)習應用從端到云的開(kāi)發(fā)和部署。

小結及感想

   筆者猜想，reVISION是reality vision（真實(shí)視覺(jué)）的合成詞。人工智能包含多個(gè)部分，Xilinx選擇了視覺(jué)導向的機器學(xué)習這一分支。然而，僅僅SoC芯片是不夠的，Xilinx在軟實(shí)力方面下了很大功夫——包括此次推出的reVISION堆棧，以及此前的可重配置加速堆棧等，使其方案覆蓋了整個(gè)物聯(lián)網(wǎng)的視覺(jué)學(xué)習領(lǐng)域（圖1）。

   可見(jiàn)，Xilinx不僅在芯片設計和先進(jìn)制程工藝方面走在前列，也十分重視軟件的作用（注：筆者猜想這與現任CEO及部分核心領(lǐng)導團隊成員來(lái)自EDA軟件公司Cadence有關(guān)）。幾年前，該公司的一位資深VP曾透露其軟件人員數量已經(jīng)超過(guò)了硬件人員，應該說(shuō)，那時(shí)Xilinx已經(jīng)是名副其實(shí)的軟件公司了。但是Xilinx也意識到軟件需要在硬件的基石上實(shí)現，因此今天看，Xilinx強大的軟件商業(yè)策略是其芯片向視覺(jué)學(xué)習領(lǐng)域發(fā)展的強大推進(jìn)器。

   不是嗎？ARM SoC引擎有一大波，可謂宿將與新生代云集，各有各的背景和高招。作為從FPGA跨界進(jìn)入ARM SoC市場(chǎng)的后來(lái)者，如何避免同質(zhì)化，超越競爭對手，確實(shí)需要智慧。依托強大的定向軟件助力，Xilinx這一招走得很妙！