嵌入式開(kāi)發(fā)的轉變將如何影響未來(lái)計算

當前，開(kāi)發(fā)者正在利用安全且性能增強的技術(shù)實(shí)現小型低功耗嵌入式系統的開(kāi)發(fā)，賦能過(guò)往無(wú)法想象的語(yǔ)音、視覺(jué)和振動(dòng)等 AI 應用，而這些應用正在改變著(zhù)世界。

嵌入式領(lǐng)域正經(jīng)歷一場(chǎng)深刻的變革。連接設備正逐漸演變?yōu)榭筛鶕占臄祿孕凶龀鰶Q策的系統。相較于在物聯(lián)網(wǎng)網(wǎng)關(guān)或云端進(jìn)行數據處理而言，在更接近采集源之處完成數據處理的方式，將有望加快決策速度、減少延遲、解決數據隱私問(wèn)題、降低成本并提高能效。

很多應用領(lǐng)域都在推升邊緣計算在性能和功能方面的需求，諸如工業(yè)自動(dòng)化、機器人、智慧城市和家居自動(dòng)化等。在過(guò)去，這類(lèi)系統中的傳感器要簡(jiǎn)單得多且互不相連，然而，現在人工智能 (AI) 和機器學(xué)習 (ML) 提升了本地智能化水平，在端側即可完成決策的制定，這在過(guò)去使用的簡(jiǎn)單控制算法是無(wú)法實(shí)現的。

AI 時(shí)代通用處理器的演進(jìn)

多年以前，開(kāi)發(fā)者專(zhuān)注于把邏輯和控制算法作為軟件開(kāi)發(fā)的核心，然而，隨著(zhù)數字信號處理 (DSP) 算法的出現，為諸多功能增強的語(yǔ)音、視覺(jué)和音頻應用提供了支持。

這種應用開(kāi)發(fā)的轉變進(jìn)入到了全新時(shí)代，且正在影響計算架構的設計。我們現已發(fā)展到以推理作為算法開(kāi)發(fā)的主要核心，這一階段帶來(lái)了對計算性能、能效、延遲、實(shí)時(shí)處理和可擴展性等方面新的或更高的要求。

行業(yè)的需求不僅在新處理器加速器方面，也包括通用處理能力的提升，以便能為開(kāi)發(fā)者提供必要的平衡，并支持直播視頻中的特征檢查或人物檢測等應用。

幾年前，開(kāi)發(fā)者在創(chuàng )建噪聲消除應用時(shí)還只能依賴(lài)基于頻率的濾波器。而如今，開(kāi)發(fā)者可以通過(guò)將濾波與 ML/AI 模型和推理相結合來(lái)提高應用的性能和功能。為了使這些開(kāi)發(fā)任務(wù)更加高效，并盡可能無(wú)縫地為用戶(hù)服務(wù)，對處理器和工具的需求也與日俱增。

促進(jìn)邊緣側和端側設備的智能化

這項演進(jìn)與革新是由 ML 所驅動(dòng)，但同時(shí)也面臨著(zhù)諸多技術(shù)的挑戰。經(jīng)過(guò)多年的嘗試，試圖打造一套普適于物聯(lián)網(wǎng)及嵌入式設備的開(kāi)發(fā)方法，已促使著(zhù)行業(yè)轉變物聯(lián)網(wǎng)開(kāi)發(fā)的方式，以釋放規?；瘮U展的無(wú)限可能性。

當前，開(kāi)發(fā)者正在利用安全且性能增強的技術(shù)實(shí)現小型低功耗嵌入式系統的開(kāi)發(fā)，賦能過(guò)往無(wú)法想象的語(yǔ)音、視覺(jué)和振動(dòng)等應用，而這些應用正在改變著(zhù)世界。各種版本的編程語(yǔ)言和 Transformer 模型將很快在具有全新計算功能的物聯(lián)網(wǎng)邊緣設備中占據一席之地。這無(wú)疑為開(kāi)發(fā)者帶來(lái)夢(mèng)寐以求的更多可能性。

在開(kāi)發(fā)演進(jìn)與革新的過(guò)程中，為了滿(mǎn)足開(kāi)發(fā)者對硬件的需求，幾年前 Arm 在 Armv8.1-M 架構中引入了Arm? Helium?  矢量處理技術(shù)。Helium 為小型低功耗嵌入式設備的 ML 和 DSP 應用帶來(lái)了顯著(zhù)的性能提升。此外，它還提供單指令多數據 (SIMD) 功能，由此將 Arm Cortex?-M 設備的性能提升到全新水平，并支持預測性維護和環(huán)境監控等應用。

Helium 提高了 DSP 和 ML 性能，加快了信號調節（例如濾波、噪聲消除和回聲消除）和特征提?。ㄒ纛l或像素數據）的速度，繼而能將之傳輸到采用神經(jīng)網(wǎng)絡(luò )處理器的分類(lèi)中。

實(shí)現智能邊緣側的功能

我們可以看到，很多 Arm 的合作伙伴都在他們最新的產(chǎn)品中引入了 Helium 技術(shù)，由此助力開(kāi)發(fā)者在網(wǎng)絡(luò )最遠端的受限設備上發(fā)揮 ML 功能的優(yōu)勢。2020 年二月，Arm 推出了采用 Helium 技術(shù)的 Cortex-M55 處理器，Alif Semiconductor 于 2021 年九月推出了首款基于 Cortex-M55 的芯片，并在其 Ensemble 和 Crescendo 產(chǎn)品系列中部署了搭載 Helium 的 Cortex-M55 處理器。此外，奇景光電 (Himax) 也采用了配備 Helium 的 Cortex-M55 于其下一代 WE2 AI 處理器，并以由電池供電的物聯(lián)網(wǎng)設備中的計算機視覺(jué)系統為目標應用領(lǐng)域。

2022 年四月， Arm 推出了第二款支持 Helium 的 CPU——Arm Cortex-M85。瑞薩電子在 embedded world 2022 和 embedded world 2023 上曾就 Cortex-M85 進(jìn)行過(guò)技術(shù)演示。演示中，Plumerai 通過(guò)瑞薩電子 RA MCU 技術(shù)大大加快了其推理引擎速度。作為一家開(kāi)發(fā)基于攝像頭實(shí)現人物檢測的完整軟件解決方案的公司，Plumerai 相信，性能的提升將確保該公司的客戶(hù)可充分利用更龐大、更準確的 Plumerai 人物檢測 AI 版本，同時(shí)提供更多的產(chǎn)品功能并延長(cháng)電池續航時(shí)間。2023 年十一月，Arm 推出了第三款采用 Helium 技術(shù)的 CPU——Cortex-M52，這是一款專(zhuān)為人工智能物聯(lián)網(wǎng) (AIoT) 應用而設計的處理器，可為小型低功耗嵌入式設備的 DSP 和 ML 應用帶來(lái)顯著(zhù)的性能提升，無(wú)需專(zhuān)用 NPU 即可在端點(diǎn)中部署更多計算密集型ML 推理算法。

隨著(zhù)硬件的發(fā)展，開(kāi)發(fā)者所面臨的軟件復雜性也日益增加，因而需要新的開(kāi)發(fā)流程來(lái)創(chuàng )建結合高效設備驅動(dòng)程序的優(yōu)化ML 模型。為生態(tài)系統提供的軟件開(kāi)發(fā)平臺和工具也必須緊跟硬件而演進(jìn)，這一點(diǎn)至關(guān)重要。

如今由 Arm 和第三方提供的多種工具可用于支持終端用戶(hù)創(chuàng )建 AI 算法。數據科學(xué)家在離線(xiàn)環(huán)境中創(chuàng )建好模型后，即可使用相應的工具來(lái)優(yōu)化模型，以便在基于Arm Ethos?-U 的 NPU 上運行模型，或在基于 Cortex-M 的處理器上使用 Helium 指令。

Qeexo 是第一家為邊緣設備實(shí)現端到端 ML 自動(dòng)化的公司，其 AutoML 平臺提供了直觀(guān)的用戶(hù)界面 (UI)，允許用戶(hù)對傳感器數據進(jìn)行收集、清理和可視化呈現，并使用不同的算法來(lái)自動(dòng)構建 ML 模型。Keil 微控制器開(kāi)發(fā)套件 (Keil MDK) 等傳統嵌入式工具是對 MLOps 工具的有益補充，并有助于建立用于驗證復雜軟件工作負載的 DevOps 流程。由此，嵌入式、物聯(lián)網(wǎng)和 AI 應用程序最終匯聚于軟件開(kāi)發(fā)者都熟知的單一開(kāi)發(fā)流程中。

邊緣的潛能正在逐步被發(fā)掘。當前對提升微控制器性能的需求還在不斷增長(cháng)，特別是諸如聲控門(mén)鎖、人物檢測識別、帶有預測性維護的聯(lián)網(wǎng)電機控制，以及數不勝數的其他高端 AI 和 ML 應用等任務(wù)。

我們相信，在正確技術(shù)的加持下，開(kāi)發(fā)者可以重新構想邊緣和端側設備，并在性能、成本、能效與隱私等這些受限設備中的關(guān)鍵要素之間取得適當平衡，讓未來(lái)的嵌入式開(kāi)發(fā)實(shí)現 AI 計算的應用。