混合用于低功耗傳感器的模擬和數字脈沖神經(jīng)網(wǎng)絡(luò )

Innatera 開(kāi)發(fā)的 Pulsar 片上系統 （SoC） 集成了多個(gè)低功耗人工智能/機器學(xué)習 （AI/ML） 脈沖神經(jīng)網(wǎng)絡(luò ) （SNN） 加速器，這些加速器針對基于傳感器的解決方案（圖 1）。我與 Innatera 的首席執行官 Sumeet Kumar 討論了這款 SoC 如何在基于電池供電或能量收集的應用中提供始終在線(xiàn) （AON） 的神經(jīng)網(wǎng)絡(luò )作。

1. Innatera 的 Pulsar 片上系統集成了模擬和數字尖峰神經(jīng)網(wǎng)絡(luò ) （SNN） 以及 FFT 和 CNN 加速。

與基于云的 AI/ML 支持和更耗電、非 SNN、基于邊緣的解決方案相比，AON作和在本地處理所有數據的能力在延遲、隱私和性能方面具有顯著(zhù)優(yōu)勢。

模擬和數字尖峰神經(jīng)網(wǎng)絡(luò )有什么區別？

脈沖神經(jīng)網(wǎng)絡(luò )，也稱(chēng)為神經(jīng)形態(tài)計算，比卷積神經(jīng)網(wǎng)絡(luò ) （CNN） 等傳統的數字深度神經(jīng)網(wǎng)絡(luò ) （DNN） 與生物神經(jīng)元的關(guān)系更密切。SNN 使用基于時(shí)間的 “尖峰” 作為輸入，導致 “神經(jīng)元” 根據與輸入相關(guān)的權重產(chǎn)生額外的尖峰（圖 2）。這模擬了真實(shí)神經(jīng)元的運作方式，而 CNN 則并行處理所有輸入。

2. 脈沖神經(jīng)網(wǎng)絡(luò )是面向時(shí)間的，帶有 “spikes”。

SNN 可以作為模擬或數字電路實(shí)現。主要區別在于它們的實(shí)現方式，而不是它們的邏輯作。兩者都利用權重并通過(guò)多級數組觸發(fā)神經(jīng)元。模擬方法具有連續運行和集成以及非常低功耗運行的優(yōu)勢。數字方法更靈活，更適合某些模型。

Innatera 的 Pulsar 包括模擬和數字 SNN 加速，使開(kāi)發(fā)人員能夠選擇用于特定 AI/ML SNN 模型的選項。

為什么在一個(gè)芯片上混合使用模擬和數字 SNN？

該公司在 Pulsar 上混合了多個(gè)加速器。這包括模擬和數字 SNN 加速器以及 CNN 和快速傅里葉變換 （FFT）。每個(gè)都有自己的優(yōu)勢，允許開(kāi)發(fā)人員根據應用程序利用每個(gè)。加速器針對應用程序的特定方面進(jìn)行了優(yōu)化;他們可能在特定時(shí)間活躍，也可能不活躍。例如，超低功耗模擬 SNN 可用于跟蹤傳感器作，并在檢測到某些情況時(shí)啟動(dòng)其余硬件。

如何混合使用模型的一個(gè)示例是智能門(mén)鈴，它確定何時(shí)在視野中。傳感器可以是視頻、紅外或雷達。SSN 精通這種類(lèi)型的身份證明。

為什么 SNN 是始終在線(xiàn)的機器學(xué)習作的關(guān)鍵

Pulsar 的 SNN 效率比在傳統的數字 DNN 中實(shí)現類(lèi)似模型高出大約兩個(gè)數量級。這種電力要求的降低從根本上改變了

AI/ML 加速器由支持浮點(diǎn)的 32 位 RISC-V 處理器控制，類(lèi)似于 Arm Cortex-M4F。它可以處理 AI/ML 雜務(wù)，但通常它管理數據、通信和系統作。處理器可以在 SNN 運行時(shí)休眠。

Pulsar 采用 2.8 × 2.6 mm 晶圓級芯片級封裝 （WLCSP）。軟件支持通過(guò) Innatera 的 Talamo 套件提供，該套件與 PyTorch 集成。開(kāi)發(fā)人員可以在 PyTorch 中創(chuàng )建和測試模型，以便在 Pulsar 上實(shí)現。仿真器提供芯片的全功能仿真，使開(kāi)發(fā)人員能夠在模擬和數字 SSN 以及 CNN 加速器上測試模型。