更簡(jiǎn)單、更聰明的X-CUBE-AI v7.1.0 輕松布署AI模型

X-CUBE-AI是意法半導體（簡(jiǎn)稱(chēng)ST）STM32生態(tài)系統中的AI擴充套件，可自動(dòng)轉換預先訓練好的AI模型，并在用戶(hù)的項目中產(chǎn)生STM32優(yōu)化函式庫。

最新版本的X-CUBE-AI v7.1.0主要有三項更新：
? 支持入門(mén)級STM32 MCU；
? 支持最新AI架構；
? 改善使用者體驗和效能調校。

ST持續提升STM32 AI生態(tài)系統的效能，且提供更多簡(jiǎn)單、易用的接口，并強化更多類(lèi)神經(jīng)網(wǎng)絡(luò )中的運算，而且最重要的一點(diǎn)是：免費。在介紹X-CUBE-AI v7.1.0的三大更新之前，先了解一下X-CUBE-AI的主要用途。

X-CUBE-AI擴充套件是什么？
X-CUBE-AI擴充套件又稱(chēng)為「STM32Cube.AI」，其具備優(yōu)化區塊，并可為STM32 裝置產(chǎn)生在準確度、內存占用空間和電源效率都最合適的模型。


 
圖一

模型拓撲優(yōu)化器－Graph optimizer

自動(dòng)透過(guò)簡(jiǎn)化 AI graph 以及量化運算等方式，使AI模型能在目標STM32硬件上獲得最佳的運行效能。其中包含多種如graph rewrite、operator fusion、constant folding等的量化運算技術(shù)。

量化器

X-CUBE-AI擴充套件也支持FP32和Int8預先訓練好的模型。開(kāi)發(fā)人員可匯入經(jīng)量化的類(lèi)神經(jīng)網(wǎng)絡(luò )，使其兼容于STM32嵌入式架構，同時(shí)采用如文件詳述的post-training quantization流程來(lái)維持準確度。在下一版本中，Int1、Int2和Int3也將納入支援。一旦成功匯入模型，即可在PC和目標STM32硬件上驗證AI模型。

內存優(yōu)化器

內存優(yōu)化器是一項先進(jìn)的內存管理工具，遵循嵌入式設計限制優(yōu)化的內存配置，能達到最佳效能，而其智慧方式能在內部及外部資源間均衡配置內存，使其保有建立模型專(zhuān)屬內存的可能性，讓開(kāi)發(fā)者能輕松更新模型。

最新版X-CUBE-AI v7.1.0將提供三項主要更新功能。

1.支持入門(mén)級STM32 MCU

為使邊緣裝置發(fā)揮全方位AI效能，X-CUBE-AI v7.1.0全面支持STM32 Arm Cortex-M0和 Arm Cortex-M0+的功能。今后，使用者將可在最小型的STM32微控制器中實(shí)作類(lèi)神經(jīng)網(wǎng)絡(luò )。

開(kāi)發(fā)人員不僅能在下列產(chǎn)品組合中找到各式用途的芯片， 甚至還能擁有具備AI功能的芯片。STM32適用范圍甚廣，從極低功耗、高效能系列MCU，一路涵蓋至MPU。此外，如無(wú)線(xiàn)MCU等不同用途的芯片亦適用于A(yíng)I應用。


圖二

2.支持最新AI架構

最新版本的X-CUBE-AI v7.1.0為廣泛運用的深度學(xué)習架構帶來(lái)諸多功能，如Keras與 TensorFlow? Lite，并將TFLite運行時(shí)間升級至2.7.0，而ONNX 升級至1.9。

 
圖三

Keras是透過(guò)Tensorflow backend獲得支持，而受支持的運算符可處理多種經(jīng)典拓撲，能適用于行動(dòng)裝置或IoT資源受限的環(huán)境。例如：SqueezeNet、MobileNet V1、Inception和 SSD-MobileNet v1等。而X-CUBE-AI v7.1.0最高能支持到TF Keras 2.7.0。

Tensorflow Lite格式適用在行動(dòng)平臺上部署類(lèi)神經(jīng)網(wǎng)絡(luò )模型。X-CUBE-AI可匯入并轉換成采用flatbuffer技術(shù)的tflite檔案。其也可處理多項運算符，包含量化模型和經(jīng)由quantization aware training或post-training quantization產(chǎn)生的運算符。

X-CUBE-AI也支持其他可匯出為ONNX標準格式的架構，如PyTorch、Microsoft Cognitive Toolkit、MATLAB等。

對于各種不同的AI框架，ST僅支持部分神經(jīng)層及神經(jīng)層參數，其取決于網(wǎng)絡(luò )C API的expressive power及專(zhuān)用toolbox的parser。

ST所提供之STM32Cube.AI runtime可達到最佳AI 應用程序執行效能，開(kāi)發(fā)人員仍可選取 TensorFlow? Lite runtime作為替代方案，以在多個(gè)項目間發(fā)揮優(yōu)勢，但TensorFlow Lite runtime對STM32優(yōu)化程度較低，可能會(huì )降低效能。

除深度學(xué)習架構以外，X-CUBE-AI亦可轉換到知名開(kāi)放原始碼函式庫，以及完備之Python機器學(xué)習架構「Scikit-learn」 中的機器學(xué)習算法，如隨機森林、支持向量機（Support Vector Machine，SVM）、k-means分群以及k-nearest neighbors（k-NN）算法。開(kāi)發(fā)人員可以建立多種監督式或非監督式機器學(xué)習算法，并利用簡(jiǎn)單有效的工具進(jìn)行數據分析。

X-CUBE-AI v7.1.0不直接支持Scikit-learn的機器學(xué)習算法或XGBoost套件。在訓練步驟完成后，這些算法應轉換成ONNX格式以供部署及匯入，通常會(huì )使用skl2onnx公用程序，但亦可使用其他具有ONNX匯出工具的機器學(xué)習架構。不過(guò)，ONNX-ML模型匯入X-CUBE-AI的作業(yè)大致已采scikit-learn v0.23.1、skl2onnx v1.10.3和XGBoost v1.5.1進(jìn)行測試。

3.改善使用者體驗和效能調校

X-CUBE-AI v7.1.0推出多重堆積支持功能，開(kāi)發(fā)人員只需點(diǎn)擊幾下按鍵，即可將不同的額外負載調配到分布式內存的區段上。


 
圖四

在使用外部?jì)却娴闹С窒?，開(kāi)發(fā)人員可以輕易將weights劃分至不同的內存區域。一旦模型儲存于多重數組，即可映像內部閃存中的部分weights，并將剩余之內存分配于外部。此工具可讓開(kāi)發(fā)人員依模型要求和應用程序占用空間來(lái)使用non-contiguous的閃存區塊。

 
圖五

圖形用戶(hù)接口亦可提供全方位的視圖，完整顯示所產(chǎn)生編碼中使用的緩沖區。選取模型后，開(kāi)發(fā)人員即可查看可視化的統計數據，以了解整個(gè)系統的復雜度和占用空間。其可展示模型中的每個(gè)神經(jīng)層，使開(kāi)發(fā)人員輕易辨別出關(guān)鍵層。

 
圖六

此工具有助于開(kāi)發(fā)人員加快速度，并能更快在PC上驗證模型以完成基準評測，以及在目標 STM32裝置上量測最終效能。驗證流程的最后將會(huì )產(chǎn)生比較表格，匯總原型及STM32模型之間的準確度和誤差。X-CUBE-AI也會(huì )提供一份報告顯示各層復雜度，以及在執行期間所測得的推算時(shí)間。

X-CUBE-AI僅是ST廣泛生態(tài)系的其中一環(huán)，其旨在讓STM32用戶(hù)充分發(fā)揮人工智能的效益。X-CUBE-AI則是確保長(cháng)期支持及高質(zhì)量開(kāi)發(fā)的可靠度。每次推出重大新版本，最新 AI 架構兼容性均會(huì )定期更新。