Flex Logix推出高性能、高效率AI 邊緣推理芯片

Flex Logix 公司今天宣布其InferX X1 芯片可開(kāi)始出貨。該芯片是AI邊緣系統領(lǐng)域迄今為止性能最高的芯片之一。InferX X1可對目標檢測與識別等各類(lèi)神經(jīng)網(wǎng)絡(luò )模型進(jìn)行加速，其應用范圍包括機器人、工業(yè)自動(dòng)化、醫學(xué)成像、基因測序、銀行安全、零售分析、自動(dòng)駕駛、航天工程等等。與目前業(yè)內領(lǐng)先的AI邊緣推理解決方案相比，InferX X1 在處理 YOLOv3 目標檢測識別模型時(shí)的性能提高了 30% ，在處理其他多個(gè)用戶(hù)模型時(shí)的性能提高了10倍。

相比于其他各類(lèi)目標檢測與識別的神經(jīng)網(wǎng)絡(luò )模型，YOLOv3的準確率是比較高的。因此，許多機器人、銀行安全及零售分析領(lǐng)域的客戶(hù)都計劃在產(chǎn)品中使用 YOLOv3。還有一些客戶(hù)根據自己的應用需求，開(kāi)發(fā)了一系列AI模型，希望可以在較低成本下獲得更高的吞吐量。Flex Logix 對這些客戶(hù)模型進(jìn)行了基準測試?；鶞蕼y試的結果顯示，InferX X1 不僅可以完全滿(mǎn)足用戶(hù)在吞吐量方面的要求，并且價(jià)格更低。Flex Logix 將于近期開(kāi)始向早期客戶(hù)出貨樣品芯片，并計劃于明年一季度向更廣大客戶(hù)群體提供樣品芯片。批量生產(chǎn)的芯片將于2021年下半年開(kāi)始全面出貨。

InferX X1芯片面積為54mm²， 僅為1美分硬幣的1/5大小，更是遠遠小于其它同類(lèi)產(chǎn)品。InferX X1 芯片的批量?jì)r(jià)格僅有目前行業(yè)領(lǐng)軍產(chǎn)品的1/10左右。這是高質(zhì)量、高性能的AI推理產(chǎn)品第一次真正走向普羅大眾。原本昂貴的AI推理將不再遙不可及。

InferX X1 配套的軟件使其非常易于用戶(hù)使用。其中的InferX Compiler可以將TensorFlow Lite 或者 ONNX 的模型直接轉換為可以在InferX X1上運行的程序。

“對于已有邊緣推理系統的用戶(hù)來(lái)說(shuō)，他們需要更高性?xún)r(jià)比的AI推理解決方案。只有這樣，他們才能真正將神經(jīng)網(wǎng)絡(luò )模型全面應用在其批量化產(chǎn)品中。InferX X1 恰好滿(mǎn)足了這類(lèi)用戶(hù)的需求。相比于目前行業(yè)的領(lǐng)軍產(chǎn)品，InferX X1 可以為用戶(hù)帶來(lái)數十倍甚至上百倍的性?xún)r(jià)比提升?！?Flex Logix 的創(chuàng )始人CEO Geoff Tate 在受訪(fǎng)時(shí)這樣表示。

Gforce Marketing公司的首席營(yíng)銷(xiāo)主任及SemiWiki雜志的撰稿人Mike Gianfagna先生認為：“Flex Logix此次推出的技術(shù)將為整個(gè)AI市場(chǎng)帶來(lái)革命性的變化。InferX X1將顯著(zhù)拓寬現有的AI應用市場(chǎng)，將AI推理帶入更為廣闊的市場(chǎng)領(lǐng)域。其它推理解決方案在性?xún)r(jià)比方面目前很難與Flex Logix相匹敵。因此，這次發(fā)布的InferX X1將顛覆當前的AI市場(chǎng)格局。我們相信Flex Logix在未來(lái)會(huì )呈現指數級別的飛速成長(cháng)?！?/p>

TIRIAS Research的首席分析官 Kevin Krewell表示：“TIRIAS Research相信，在數據中心內部和以外的各類(lèi)應用場(chǎng)景中，針對機器學(xué)習模型的大規模部署才剛剛開(kāi)始。我們是否可以在廣闊的工業(yè)領(lǐng)域中大規模布局AI推理應用的關(guān)鍵性因素就在于芯片解決方案的功耗和成本效率。我們相信，Flex Logix推出的 InferX X1加速器和PCIe板將帶給我們更高的能效比和性?xún)r(jià)比?！?/p>

基于多項Flex Logix 的專(zhuān)有技術(shù)，InferX X1 采用了一種全新的架構，可以在較小面積內實(shí)現較高的吞吐量。其中，Flex Logix 專(zhuān)利的 XFLX可編程互聯(lián)網(wǎng)絡(luò )架構，也被應用于嵌入式FPGA技術(shù)，并在過(guò)去數年中被國內外多家知名公司所使用。其中包括 Dialog半導體、波音、桑迪亞國家實(shí)驗室、以及大唐電信旗下的辰芯科技。除了 XFLX以外，InferX X1還用到了可重配置張量處理器。它由64個(gè)一維的張量處理器構成，可通過(guò)重新配置來(lái)高效地支持各種神經(jīng)網(wǎng)絡(luò )模型的運算。由于重配置的時(shí)間只有幾個(gè)微秒，所以神經(jīng)網(wǎng)絡(luò )模型的每一層都可以擁有經(jīng)過(guò)優(yōu)化的數據路徑。

InferX X1的批量生產(chǎn)芯片和配套軟件將于2021年第二季度開(kāi)始全面出貨。用戶(hù)樣品及早期軟件工具則計劃于2021年第一季度開(kāi)始對用戶(hù)進(jìn)行供貨。目前，Flex Logix 可以向符合以下條件的先期用戶(hù)提供樣品芯片和軟件，并進(jìn)行基準測試支持。這些條件包括：需要有現成的基于 TensorFlow Lite 或者 ONNX 的神經(jīng)網(wǎng)絡(luò )模型，并有可在2021年進(jìn)行批量生產(chǎn)的產(chǎn)品項目。相關(guān)的具體技術(shù)指標及價(jià)格指引也都將對這些用戶(hù)提前提供。

具體技術(shù)指標

• 高達70% MAC 利用率，可使較小面積和較低成本處理高清圖像和較大模型。

• 一維張量處理器（1D TPU）即一維脈動(dòng)陣列

o  64B 輸入張量
o  64 INT8 MACs
o  32 BF16 MACs
o  64Bx256B權重矩陣
o  一維脈動(dòng)陣列每64個(gè)時(shí)鐘周期可完成4096次乘加運算。

• 每顆X1芯片中的可重配置張量處理器由64個(gè)一維張量處理器（1D TPU）組成

o  可以將多個(gè)TPU配置成串聯(lián)或者并聯(lián)結構，以實(shí)現多種不同的張量運算。這種靈活性可以很有效地支持不斷衍生的諸如3D卷積等新型運算，并保持較高性能。
o  可編程互聯(lián)網(wǎng)絡(luò )架構可以很好地解決SRAM與TPU間的數據通路的競爭問(wèn)題，達到非常高的數據交互速度。

• eFPGA可編程邏輯可用于實(shí)現包括控制TPU運行的高性能狀態(tài)機，以及各種運算符的控制邏輯

• 神經(jīng)網(wǎng)絡(luò )模型中的每一層都可被專(zhuān)門(mén)進(jìn)行重配置；每一次重配置只需要幾微秒的時(shí)間。

• 在處理當前層級的同時(shí)，下一層神經(jīng)網(wǎng)絡(luò )模型的配置及權重可在后臺從DRAM中被加載；這可以極大減少由DRAM帶寬限制所帶來(lái)的計算的停頓。

• Layer fusion功能可通過(guò)將一個(gè)以上的配置文件進(jìn)行合并來(lái)降低DRAM延時(shí)。

• 僅使用較少的內存資源以降低成本：LPDDR4x DRAM, 總共14MB SRAM

• x4 PCIe Gen 3 or Gen 4 可提供芯片與主機間的高速通信。

• 在16nm制程下芯片面積為54 mm²

• 倒裝BGA封裝尺寸為21 x 21 mm