多處理引擎的異構系統引領(lǐng)邊緣AI高效部署

在過(guò)去的兩年里，邊緣人工智能（Edge AI）實(shí)現了加速發(fā)展，這主要得益于小型化神經(jīng)網(wǎng)絡(luò )架構的進(jìn)步，從而可以在微控制器級（MCU）的器件上實(shí)現高精度。這增加了邊緣AI 應用和設備的數量，這些應用和設備可以通過(guò)這項技術(shù)以較低的成本實(shí)現。這方面的一個(gè)示例就是關(guān)鍵字識別，它已經(jīng)成為智能家居設備交互的標準方式。

邊緣AI 可以體現為多種形態(tài)，從非常小型的、低功耗的推理引擎，到高功耗的、具有特定功能的、與基站或智慧城市視頻監控等數據源同處一方的大型方案。在這些更大型的裝置中，異構架構（即針對特定任務(wù)的專(zhuān)業(yè)加速器）正在提高效率，通過(guò)減少設計復雜性來(lái)降低功耗。Imagination Technologies 公司的圖形處理器（GPU）、AI 加速器和即將推出的RISC-V 中央處理器（CPU）的IP 產(chǎn)品組合，將為這些邊緣AI 應用提供全新的功能。

許多用于邊緣AI 應用的系統級芯片（SoC）將包含許多不同的處理引擎，這些引擎能夠高效地劃分和卸載工作負載。分離工作負載還有一個(gè)好處，就是可以使用不同的加速器并行執行多項任務(wù)，從而實(shí)現高效的多任務(wù)處理性能。這種多處理引擎的異構系統旨在提供不同的計算架構來(lái)有效地執行整個(gè)系統所需的特定任務(wù)。用于現代個(gè)人電腦（PC）中的GPU 就是一個(gè)很好的示例，它們使用一種高度并行的計算架構，從而可以更高效地進(jìn)行圖形處理，并支持主機CPU 將該任務(wù)“卸載”到更高效的引擎上。在開(kāi)發(fā)邊緣AI 系統時(shí)，這一原則也同樣適用。

邊緣AI 要求在保持或提高計算性能的同時(shí)降低功耗，這一壓力始終存在。伴隨著(zhù)異構架構的使用和處理器技術(shù)的優(yōu)化，機器學(xué)習算法的進(jìn)步也為提高能效提供了途徑，同時(shí)也提高了計算性能。二進(jìn)制神經(jīng)網(wǎng)絡(luò )（BNN）的引入就是一個(gè)示例。BNN 試圖通過(guò)將網(wǎng)絡(luò )權重和激活量化到單個(gè)比特來(lái)實(shí)現更高的效率，從而減少內存需求和計算單元的大小。

實(shí)現最低功耗推理系統的一種策略是在各種低功耗模式下運行，這些模式可以逐級推理出周?chē)沫h(huán)境情況。例如，一只帶有語(yǔ)音控制功能的智能手表可能具有三個(gè)功耗級別：0、1 和2。在0 級功耗模式（即最低功耗模式）下，手表無(wú)法執行明顯的推理功能，因此只能監聽(tīng)可能預示即將發(fā)生活動(dòng)的高環(huán)境噪聲。

當監聽(tīng)到出現明顯的活動(dòng)時(shí)，手表將切換到模式1。模式1 會(huì )消耗更多的電量，但仍不能完全滿(mǎn)負荷運行。這種模式支持手表監聽(tīng)一個(gè)關(guān)鍵字，然后觸發(fā)最終模式，即模式2，該模式將使用捕獲到的音頻來(lái)推理和執行命令。使用這種逐級增加電能消耗的方法，每次都會(huì )增加對周?chē)h(huán)境的推理，支持系統管理電能，以便只有在高度確信是必要的情況下才增加電能消耗。

機器學(xué)習和人工智能的發(fā)展正在推動(dòng)全球的創(chuàng )新和發(fā)展。中國作為人工智能發(fā)展和應用超前的重要市場(chǎng)，為經(jīng)驗豐富的機器學(xué)習工程師提供了與來(lái)自世界各地的產(chǎn)品開(kāi)發(fā)和工程團隊合作的機會(huì )，從而獲得開(kāi)展全球性業(yè)務(wù)的經(jīng)驗。

（本文來(lái)源于《電子產(chǎn)品世界》雜志2022年4月期）