讓AI無(wú)處不在，Arm中國“周易”人工智能平臺有何絕招？

　　隨著(zhù)新技術(shù)的成熟，新型的先進(jìn)應用將來(lái)自5G、人工智能(AI)和物聯(lián)網(wǎng)(IoT)的融合，這種融合將創(chuàng )造出一個(gè)智能互聯(lián)的全新未來(lái)，對所有個(gè)人、行業(yè)、社會(huì )和經(jīng)濟產(chǎn)生積極影響。Arm預計到2035年將有1萬(wàn)億的物聯(lián)網(wǎng)設備，在這些設備上實(shí)現本地人工智能，是人工智能應用的必然趨勢。而要做到這一點(diǎn)，必須進(jìn)一步降低人工智能的算力成本。

　　為此，Arm中國自主研發(fā)了“周易”平臺這樣一個(gè)適配性強、開(kāi)放通用的人工智能平臺，其主要包括軟件框架Tengine和全新的硬件處理器——人工智能處理單元(AIPU)，其中Tengine軟件框架針對邊緣設備的推理做了深度優(yōu)化和實(shí)現。周易平臺也支持Arm CPU、Mali GPU以及第三方硬件，專(zhuān)注于邊緣推理，能夠提高人工智能應用開(kāi)發(fā)的生產(chǎn)效率。

　　圖1 :人工智能平臺“周易”概述

　　全新處理器單元(AIPU)提供硬件核“芯”

　　人工智能通常用于不同的場(chǎng)景，而深度學(xué)習模型會(huì )使用到各種類(lèi)型的操作(layer)。目前常見(jiàn)的加速器解決方案具有較高性能，但僅支持有限的操作，這使得只能運行有限的人工智能應用，限制了邊緣和AIoT產(chǎn)品的多樣性，AIPU憑借良好的可編程性可以支持現在的全部深度學(xué)習操作。

　　周易人工智能處理單元(AIPU)是一個(gè)專(zhuān)門(mén)用于深度學(xué)習處理的全新硬件IP。這種新的架構設計了人工智能特定域張量指令集(Tensor Instructions)、針對AI特定操作的指令集擴展以及定制的硬件加速單元、以及用于NN計算所必需的通用標量指令集。憑借最先進(jìn)的設計，AIPU可以實(shí)現人工智能應用的完全可編程性和很好的能效。除了AIPU，還有完整的AI軟件開(kāi)發(fā)工具包，支持AI算法可以在A(yíng)IPU上輕松部署。

　　圖2 ：周易AIPU框圖

　　AIPU采用了可配置的設計，張量執行單元(TEC)的數量和AI硬件加速單元能都是靈活可配置的，這使得周易平臺能夠涵蓋從微控制器(幾十GOPS)到高端邊緣計算(幾個(gè)TOPS)的不同算力需求。

　　對于新開(kāi)發(fā)的芯片，周易平臺可以讓芯片合作伙伴使用周易AIPU IP設計新的SoC，并提供了驗證測試向量、參考用例和后端實(shí)現參考流程等全面支持，以加速新的SoC設計;同時(shí)，周易AIPU 仿真軟件用于軟件應用程序前期開(kāi)發(fā)。這將大大加快新人工智能產(chǎn)品的上市時(shí)間。

　　開(kāi)放式人工智能軟件框架——Tengine

　　周易平臺采用Tengine作為開(kāi)放式人工智能軟件框架，它的目標是建立一個(gè)統一的推理框架，通過(guò)定義標準的Tengine API，人工智能應用程序可以使用標準API在不同的硬件上部署，大大節省了移植或者在特定的硬件上進(jìn)行優(yōu)化的工作量。Tengine支持主流的人工智能框架，如TensorFlow / Caffe / ONNX / MXNet等模型。

　　Tengine定義了標準硬件抽象級別(HAL)，以支持物聯(lián)網(wǎng)設備中可能存在的不同類(lèi)型的計算模塊。它已經(jīng)支持像Cortex-A7 / A17 / A53 / A55 / A72 / A76這些的流行Arm CPU，也支持像Mali-T860、G51和G72這些廣受歡迎的Arm Mali GPU。由于周易平臺是一個(gè)開(kāi)放平臺，它也可以支持第三方CPU、DSP或加速器，通過(guò)選用設備驅動(dòng)程序來(lái)支持這些設備。在庫方面，可以選用Arm計算庫(Arm Compute Library，ACL)、異構計算庫(HCL)、開(kāi)放源代碼庫(例如OpenBLAS)或是用戶(hù)自己實(shí)現的庫來(lái)驅動(dòng)。

　　三大創(chuàng )新特性，強勢賦能AIoT市場(chǎng)

　　實(shí)際上，周易平臺作為人工智能應用的整體解決方案，十分簡(jiǎn)單易用，并且實(shí)現了三大創(chuàng )新。兼容性上，它不僅提供了一個(gè)完整的易于使用的工具鏈，支持從深度學(xué)習模型到周易可執行文件的一鍵構建，還支持常見(jiàn)的人工智能框架，如Google TensorFlow和其他框架。同時(shí)，周易平臺支持Linux和Android操作系統，甚至裸機軟件(bare-metal software)，從非常小的嵌入式微控制器到高端邊緣網(wǎng)關(guān)的各種設備都能適用。

　　周易平臺還將更強的安全性引入市場(chǎng)，安全擴展硬件和相關(guān)的信任軟件可以保護人工智能資產(chǎn)，例如算法、代碼和數據，幫助合作伙伴保護運行在已部署產(chǎn)品上的資產(chǎn)，并保護人工智能算法安全的在線(xiàn)更新。周易平臺的安全擴展為人工智能應用中需要保護的資產(chǎn)建立了一個(gè)可信執行環(huán)境(TEE)，通過(guò)靜態(tài)加密存儲、運行時(shí) TrustZone技術(shù)保護，以及SoC中用于安全隔離一系列小的硬件組件， 為人工智能芯片提供360度的安全保護。

　　適用性上，周易平臺也支持在現存設備的上進(jìn)行部署。通過(guò)統一的軟件界面，許多人工智能應用可以直接部署在SoC上，合作伙伴只需重新編譯基于目標設備CPU的周易軟件，生成可在現有SoC架構上運行的目標代碼，然后鏈接CPU庫和GPU庫。通過(guò)部署周易平臺，人工智能性能可以提高2.5 - 5倍。

　　綜上所述，Arm中國人工智能平臺周易可以幫助產(chǎn)業(yè)合作伙伴大幅降低人工智能算力、芯片和應用的成本、讓其設計和制造具有強大人工智能能力的芯片，并讓人工智能應用程序開(kāi)發(fā)人員大大提高工作效率，在更多的物聯(lián)網(wǎng)設備上實(shí)現人工智能，極大地賦能整個(gè)AIoT市場(chǎng)。