MCU巨頭 奔向同一個(gè)目標

現在，被稱(chēng)為是單片機的微控制器（MCU）已經(jīng)越來(lái)越“不簡(jiǎn)單”。隨著(zhù)物聯(lián)網(wǎng)設備的普及和應用場(chǎng)景的擴大，對于更智能化和自主決策能力的需求也在增加，作為物聯(lián)網(wǎng)設備中必不可少的大腦——MCU，正朝著(zhù)更智能化、更強大的方向發(fā)展。越來(lái)越多的傳統微控制器單元（MCU）巨頭們開(kāi)始意識到將AI功能與MCU相結合的潛力，并積極投入到AI領(lǐng)域的研發(fā)中。傳統認知中，人工智能（AI）相關(guān)的深度學(xué)習應用，只有算力充沛的MPU或者是PC才能玩得轉。那么，MCU廠(chǎng)商們將如何應對這一新趨勢呢？

為什么要在MCU集成AI？

首先，讓我們來(lái)了解下，為何MCU大廠(chǎng)要在MCU產(chǎn)品中布局AI，在MCU上跑AI或者將MCU與NPU等集成在一起的好處有哪些？大致可歸納為如下幾個(gè)方面：

低功耗和高效性能：MCU通常具有較低的功耗和較高的能效特性，適合應用于低功耗場(chǎng)景。將AI算法和處理能力與MCU集成在一起，可以在低功耗的情況下實(shí)現高效的AI計算。這對于一些需要長(cháng)時(shí)間運行、依賴(lài)于電池供電或功耗敏感的應用非常重要。

實(shí)時(shí)性和即時(shí)響應：將AI能力集成到MCU上，使得AI算法可以實(shí)時(shí)地在設備本地進(jìn)行處理和響應，而無(wú)需依賴(lài)于云端或其他遠程服務(wù)器。這提高了系統的實(shí)時(shí)性和即時(shí)響應能力，使得設備能夠更快速地做出決策和反應，適用于許多實(shí)時(shí)應用場(chǎng)景，如嵌入式控制、邊緣計算等。

隱私和數據安全：將AI算法和數據處理能力放在設備本地，可以減少對云端的依賴(lài)，從而增強隱私和數據安全性。敏感數據可以在本地設備上進(jìn)行處理，減少了數據傳輸的風(fēng)險和隱私泄露的可能性。這對于一些對隱私和數據安全要求較高的應用，如智能家居、醫療設備等非常重要。

靈活性和定制化：將MCU與NPU等AI處理單元集成在一起，可以為設備提供更大的靈活性和定制化能力。根據特定的應用需求，可以選擇不同的MCU和AI處理單元的組合，以實(shí)現最佳的性能和能效平衡。這種靈活性和定制化能力可以適應各種應用場(chǎng)景和需求的變化。

減少系統復雜性和成本：相對于將AI處理能力集中在獨立的處理器或芯片中，將其集成在MCU中可以減少組件數量和系統復雜性，從而降低了系統設計和制造的成本。

總之，有AI功能的MCU可以為物聯(lián)網(wǎng)設備提供更高級的控制和計算能力，使其能夠進(jìn)行復雜的推理和決策。因此，現在為邊緣設備創(chuàng )建機器學(xué)習模型正成為一種大的趨勢，這些模型稱(chēng)為微型機器學(xué)習或TinyML，它主要適用于內存和處理能力有限的設備，以及互聯(lián)網(wǎng)連接不存在或有限的設備。TinyML使在MCU上運行深度學(xué)習模型成為可能。TinyML在MCU上的應用越來(lái)越普遍。

但是，想讓深度學(xué)習模型在MCU上跑起來(lái)，不是易事。MCU上跑AI，最關(guān)鍵的是如何將訓練好的深度學(xué)習的模型，轉換并部署到MCU上，這需要一整套工具和方法，這對于傳統的MCU廠(chǎng)商而言還是有一定門(mén)檻的。因此，要在MCU上部署AI，必須在軟件和硬件兩方面同時(shí)著(zhù)力。那么MCU巨頭們都是如何做的呢？

MCU廠(chǎng)商自行設計機器學(xué)習軟件

AI應用通常需要硬件和軟件的緊密配合。但從MCU本身的屬性來(lái)看，它的資源非常有限，因此需要特定的軟件庫和工具來(lái)支持AI任務(wù)。然而，與傳統的計算機平臺相比，MCU上的AI軟件庫和工具的選擇和可用性相對較少。開(kāi)發(fā)人員可能需要自行優(yōu)化和適配現有的庫，或者開(kāi)發(fā)專(zhuān)門(mén)針對MCU的AI軟件。在幾大MCU巨頭廠(chǎng)商里，恩智浦和ST均已經(jīng)自行設計了機器學(xué)習相關(guān)的軟件。

恩智浦在2018年推出了機器學(xué)習軟件eIQ軟件，該軟件能夠在恩智浦EdgeVerse微控制器和微處理器（包括i.MX RT跨界MCU和i.MX系列應用處理器）上使用。

后來(lái)，為了降低MCU運行AI算法的門(mén)檻，恩智浦還打造了一個(gè)適用于MCU的AI工具鏈——NANO.AI。它主要包含兩部分，一部分是將原始算法模型轉換成MCU上能夠快速運行的數據和庫，另一部分包含一個(gè)輕量級推理引擎，能做出一個(gè)能跑在MCU上、只需幾兆Flash甚至幾兆SDRAM的方案。

目前，恩智浦已經(jīng)推出了帶有AI功能的MCU產(chǎn)品，MCX N系列是恩智浦集成NPU的第一個(gè)產(chǎn)品家族，MCX N94x和MCX N54x MCU系列中集成了恩智浦設計的用于實(shí)時(shí)推理的專(zhuān)用片上神經(jīng)處理單元 (NPU)。據悉，與單獨使用 CPU內核相比，片上NPU的ML吞吐量最高可提高 30 倍。

2019年ST也發(fā)布了一款STM32Cube.AI工具，這使開(kāi)發(fā)者在MCU上優(yōu)化AI模型成為可能。STM32Cube.AI是一款用來(lái)評估、轉換、優(yōu)化和部署已訓練好的神經(jīng)網(wǎng)絡(luò )模型的工具，適合主流的人工智能框架，可為開(kāi)發(fā)者提供評估和調整算法的能力。

而其實(shí)ST很早就在A(yíng)I上進(jìn)行起布局，這大約可以追溯到2017年，在2017年ISSCC（國際固態(tài)電路會(huì )議）上ST 揭曉了一種能夠加速深度卷積神經(jīng)網(wǎng)絡(luò )算法的超低功耗片上系統 (SoC)—Orlando。Orlando使用Cortex-M4微控制器 (MCU) 和 128 KB 內存、八個(gè)可編程集群，每個(gè)集群包含兩個(gè) 32 位 DSP 和四個(gè) SRAM 組，每個(gè)組提供四個(gè)模塊，每個(gè)模塊為 2 x 64 KB。與這個(gè)高效核心相結合的是圖像和 CNN 協(xié)處理器（稱(chēng)為神經(jīng)處理單元或 NPU），它集成了八個(gè)卷積加速器 (CA) 等。

與第三方軟件工具商合作

與第三方軟件工具商合作，對于MCU廠(chǎng)商而言，也不失為是一個(gè)好的策略，第三方機器學(xué)習軟件工具商通常擁有豐富的機器學(xué)習算法和工具庫，MCU廠(chǎng)商可以基于這些軟件工具構建自己的解決方案，并根據客戶(hù)需求提供定制化的選擇。在這方面，Microchip、瑞薩、ST都有相關(guān)的布局。

2020年9月，Microchip宣布與Cartesiam（現已被ST收購）、Edge Impulse和Motion Gestures合作，將這些合作伙伴的軟件和解決方案的接口引入其設計環(huán)境，使Microchip的32位MCU和MPLAB X集成開(kāi)發(fā)環(huán)境，能夠在其 AI/ML 項目的所有階段為客戶(hù)提供獨特的支持，包括數據收集、模型訓練和推理實(shí)施。

據悉，Microchip機器學(xué)習 (ML) 技術(shù)的核心是用于MPLAB X IDE的ML插件。ML插件在 MPLAB Data Visualizer 中工作，簡(jiǎn)化了數據收集過(guò)程并支持快速開(kāi)發(fā)嵌入式ML解決方案。ML插件檢索的數據由他們的設計合作伙伴得工具進(jìn)行分析，并有助于事件識別和數據模式異常檢測。

在近日的STM32峰會(huì )上，ST宣布與英偉達合作，將NIVIDIA TAO和STM32Cube.AI工具相整合，讓開(kāi)發(fā)者STM32微控制器上無(wú)縫訓練和實(shí)現神經(jīng)網(wǎng)絡(luò )模型，以達到適配的性能和精度。NVIDIA TAO是一個(gè)加速AI算法開(kāi)發(fā)和優(yōu)化的開(kāi)發(fā)環(huán)境，TAO工具包提供了一個(gè)低代碼的人工智能框架，以加速視覺(jué)模型的開(kāi)發(fā)。

但是與第三方軟件工具商合作也有弊端，如Microchip合作的Cartesiam軟件工具商就被ST收購（下文中講述），還可能存在技術(shù)整合和兼容性問(wèn)題、依賴(lài)性等問(wèn)題。

通過(guò)收購補齊軟件上的短板

毫無(wú)疑問(wèn)，MCU廠(chǎng)商已經(jīng)意識到AI技術(shù)對于MCU的重要性，而且AI領(lǐng)域的技術(shù)變化快速，收購是實(shí)現技術(shù)升級的一個(gè)快速途徑。這也有助于簡(jiǎn)化客戶(hù)的采購和集成過(guò)程，提高產(chǎn)品的易用性和競爭力。

我們已經(jīng)看到，近兩年來(lái)，越來(lái)越多的MCU巨頭開(kāi)始通過(guò)收購一些專(zhuān)注于MCU的AI解決方案和軟件工具的廠(chǎng)商，來(lái)增強自身在A(yíng)I領(lǐng)域的競爭力。

首先是意法半導體（ST），2021年6月3日，意法半導體宣布收購邊緣AI軟件專(zhuān)業(yè)開(kāi)發(fā)公司Cartesiam。Cartesiam成立于2016年，總部位于法國土倫，專(zhuān)門(mén)從事人工智能開(kāi)發(fā)工具研發(fā)，讓基于A(yíng)rm的MCU具有機器學(xué)習和推理能力。該公司開(kāi)發(fā)了具有專(zhuān)利的NanoEdge AI Studio旗艦解決方案，它能讓沒(méi)有AI知識背景的嵌入式系統設計人員也可以快速開(kāi)發(fā)專(zhuān)用的軟件庫，NanoEdge? AI Studio可以讓開(kāi)發(fā)人員基于少量數據，通過(guò)創(chuàng )建、清理、優(yōu)化數據集等步驟創(chuàng )建適配的ML庫。NanoEdge具有異常檢測與設備學(xué)習的能力，也提供分類(lèi)和回歸庫。收購Cartesiam公司之后，該公司的NanoEdge AI Studio方案將對ST的STM32Cube.AI實(shí)現進(jìn)一步完善和補充。

據悉，ST即將推出第一個(gè)帶有神經(jīng)網(wǎng)絡(luò )硬件處理單元（Neural-Art Accelerator）的通用微控制器——STM32N6，這款MCU與其STM32MP1微處理器（運行頻率為 800MHz 的雙 Cortex-A7）相比，STM32N6 的推斷速度提高了25倍。

再一個(gè)是瑞薩，2022年7月20日，瑞薩宣布，完成對美國從事機器學(xué)習模型開(kāi)發(fā)的初創(chuàng )企業(yè)Reality AI。Reality AI主要為汽車(chē)、工業(yè)和商業(yè)產(chǎn)品中的高級非視覺(jué)傳感提供范圍廣泛的嵌入式人工智能和微型機器學(xué)習 (TinyML) 解決方案。

此次收購將使瑞薩電子能夠擴展其用于人工智能應用的工具套件和軟件產(chǎn)品，將Reality AI的人工智能推理技術(shù)與瑞薩電子的MCU和MPU產(chǎn)品組合相結合，將實(shí)現機器學(xué)習和信號處理的無(wú)縫實(shí)施。據了解，與使用量化、壓縮、修剪或其他機器學(xué)習技術(shù)使模型變小但精度降低的方法不同，Reality AI將先進(jìn)的信號處理方法與機器學(xué)習相結合，在不影響體積的情況下提供完全的精度。

據瑞薩物聯(lián)網(wǎng)及基礎設施事業(yè)本部MCU事業(yè)發(fā)展部副總裁Mohammed Dogar的介紹，瑞薩將全面擁抱AI。目前嵌入式AI分析主要有三個(gè)場(chǎng)景：視頻、語(yǔ)音以及實(shí)時(shí)分析。在這三個(gè)場(chǎng)景中，瑞薩均在布局，其中前兩種主要是跟第三方合作伙伴來(lái)實(shí)現，而對于實(shí)時(shí)分析，主要就是通過(guò)收購Reality AI來(lái)實(shí)現。

英飛凌在近日也剛剛發(fā)布了收購的信息，2023年5月16日，英飛凌宣布，已收購總部位于瑞典斯德哥爾摩的初創(chuàng )公司Imagimob AB。Imagimob是快速增長(cháng)的微型機器學(xué)習和自動(dòng)機器學(xué)習（TinyML 和 AutoML）市場(chǎng)的領(lǐng)先者。據了解，Imagimob開(kāi)發(fā)了一個(gè)端到端的機器學(xué)習工具鏈，該工具鏈高度靈活且易于使用，重點(diǎn)放在交付生產(chǎn)級ML模型上。英飛凌將收購該公司 100% 的股份。以提升其微控制器和傳感器上的 TinyML邊緣 AI 功能。

這筆交易將進(jìn)一步擴展英飛凌的硬件/軟件生態(tài)系統，使使用從賽普拉斯和英飛凌傳感器系列獲得的 PSoC 微控制器的開(kāi)發(fā)人員可以更方便地使用 TinyML。但也有可能在內部用于無(wú)線(xiàn) AIROC 芯片的固件，以通過(guò)使用 TinyML 優(yōu)化信號鏈來(lái)提高性能并降低功耗。

總體而言，通過(guò)收購掌握AI軟件技術(shù)，這些廠(chǎng)商可以在其MCU產(chǎn)品中實(shí)現更深層次的集成，提供更加完整和高性能的解決方案。

結語(yǔ)

我們正在邁入AIoT時(shí)代，AI深入到邊緣和終端裝置，已經(jīng)是一個(gè)長(cháng)期必然的大方向。MCU這個(gè)芯片界的老前輩，也在因應市場(chǎng)需求，衍生出更多的功能。目前幾乎幾大MCU巨頭均已經(jīng)在A(yíng)I軟件方面備足了彈藥，接下來(lái)就是比拼產(chǎn)品的過(guò)程。而在這個(gè)逐漸由AI驅動(dòng)的MCU的未來(lái)，國內MCU廠(chǎng)商將面臨著(zhù)更大的挑戰。