五家大廠(chǎng)邊緣AI芯片解決方案

隨著(zhù)圍繞生成式人工智能的炒作對數據中心強大芯片產(chǎn)生了新的需求，隨著(zhù)組織計劃在需要邊緣人工智能處理能力的物聯(lián)網(wǎng)部署上花費更多資金，對更小、更高效芯片的需求仍然強勁。

研究公司 Gartner 表示，邊緣基礎設施和端點(diǎn)設備中基于人工智能的應用程序的使用增加是其估計今年人工智能芯片收入將增長(cháng) 20.9% 至 534 億美元的重要推動(dòng)因素。預計 2024 年銷(xiāo)售額將進(jìn)一步增長(cháng) 25.6%，達到 671 億美元。

對于大量聯(lián)網(wǎng)的物聯(lián)網(wǎng)設備，在邊緣處理人工智能工作負載比云端更好，除了可以大幅削減數據傳輸和處理成本并確保數據隱私和安全之外，還可以提供近乎實(shí)時(shí)的推理和響應時(shí)間，高級員工全球咨詢(xún)公司德勤最近在《華爾街日報》發(fā)表的一篇文章中寫(xiě)道?！竿ㄟ^(guò)將云的可擴展和彈性計算能力分布在更靠近設備和用戶(hù)在物理世界中生成和使用數據的地方，5G、邊緣計算和計算機視覺(jué)等領(lǐng)先技術(shù)可以使企業(yè)跨運營(yíng)站點(diǎn)實(shí)現應用程序現代化并有助于提高客戶(hù)體驗、運營(yíng)效率和生產(chǎn)力?！?/span>

以下是來(lái)自半導體領(lǐng)域領(lǐng)先和新興供應商的五種用于邊緣 AI 應用的炫酷芯片解決方案：AMD、Axelera AI、英特爾、Nvidia 和 SiMa.ai。

AMD

AMD 正在通過(guò) Versal AI Edge 片上系統抓住邊緣 AI 機遇，該系統旨在為自動(dòng)駕駛汽車(chē)、醫療保健系統、工廠(chǎng)和飛機的實(shí)時(shí)系統提供與 GPU 相比具有競爭力的每瓦性能。

該芯片由三個(gè)主要部分組成：標量引擎，包括兩個(gè)雙核 Arm 處理器，用于運行 Linux 級應用程序和安全關(guān)鍵代碼；具有確定性和并行性的適應性引擎，用于處理來(lái)自傳感器的數據；以及可以運行通用程序的智能引擎。邊緣工作負載，例如人工智能推理、圖像處理和運動(dòng)控制。

開(kāi)發(fā)人員可以使用 AMD 的 Vitis 統一軟件平臺來(lái)利用 Versal AI Edge 芯片，該平臺附帶開(kāi)源庫、模型庫、用于在所有 AMD 芯片架構上開(kāi)發(fā)應用程序的單一編程模型以及視頻分析軟件開(kāi)發(fā)套件。

Axelera AI

Axelera AI 通過(guò)新穎的芯片架構實(shí)現邊緣人工智能應用，該架構利用了初創(chuàng )公司專(zhuān)有的內存計算和 RISC-V 控制數據流技術(shù)。

通過(guò)使用內存計算，Axelera 可以將 Metis AIPU 上 SRAM 內存的每個(gè)存儲單元視為一個(gè)計算元素，從而減少在不同位置之間移動(dòng)數據的需要，并從根本上增加每個(gè)計算周期的操作數量。AIPU 有兩種外形尺寸：具有單個(gè) MIPU 的 M.2 加速器模塊和具有一個(gè)或四個(gè) MIPU 的 PCIe 加速器卡。

AIPU 可以提供每核每秒超過(guò) 50 兆兆次運算、每瓦 15 TOP 以及相當于單精度浮點(diǎn)格式（也稱(chēng)為 FP32）的推理模型精度。

開(kāi)發(fā)人員可以使用初創(chuàng )公司 Voyager 軟件開(kāi)發(fā)套件來(lái)利用 Axcelera 的 Metis AIPU，該套件附帶運行邊緣 AI 應用程序所需的多個(gè)組件，例如運行時(shí)、推理服務(wù)器、編譯器和優(yōu)化軟件。

英特爾

英特爾通過(guò)各種芯片支持邊緣人工智能應用，這要歸功于其 OpenVINO 軟件工具包，該工具包優(yōu)化了深度學(xué)習模型以在 CPU 和 GPU 上運行。

OpenVINO 支持的處理器包括 Intel Celeron 6305E CPU，它具有兩個(gè)內核、1.8 GHz 的基本頻率和 15 瓦功率范圍內的集成顯卡。

僅使用 Celeron 的集成顯卡，該芯片在 yolo_v8n 模型中就可以達到每秒 111.95 幀的速度，用于使用 8 位數字格式進(jìn)行物體檢測和圖像分類(lèi)。

開(kāi)發(fā)人員可以利用 OpenVINO 將賽揚 6305E 和其他英特爾處理器用于邊緣 AI 應用，OpenVINO 可以自動(dòng)為給定任務(wù)選擇最佳處理器，并在多個(gè)處理器之間分配推理工作負載。

英偉達

Nvidia 為邊緣 AI 用例提供了多種芯片解決方案，其中包括 Jetson Orin Nano 系列，該系列在信用卡大小的片上系統中每秒執行高達 40 兆次運算 (TOPS)。

Jetson Orin Nano 的尺寸為 69.6 毫米寬、45 毫米高，采用 Ampere 架構 GPU，具有 1,024 個(gè) CUDA 核心和 32 個(gè) Tensor 核心，加上 6 核 Arm Cortex-A78E CPU 和 8GB LPDDR5 內存。這僅需要 7 瓦至 15 瓦的功率范圍。

除了提供 40 TOPS 的 AI 推理性能外，該芯片還可以支持每 1 到 2 個(gè) CPU 核心最多兩個(gè)以 30 幀/秒、4K 分辨率運行的視頻編碼流。在視頻解碼方面，該芯片可支持每秒 1 路 60 幀的 4K 視頻流、2 路 30 幀的 4K 視頻流、5 路 60 幀的 1080p 流以及 11 路 30 幀的 1080p 流。

開(kāi)發(fā)人員可以使用 Nvidia 的 Jetson 軟件堆棧來(lái)利用 Jetson Orin Nano 芯片，其中包括用于 AI 推理的 TensorRT 和 cuDNN 等軟件庫、容器運行時(shí)、Linux 內核以及用于構建 GPU 加速應用程序的 CUDA 工具包。

SiMa.a

SiMa.ai 專(zhuān)注于通過(guò)其以軟件為中心的專(zhuān)用 MLSoC 芯片為邊緣提供高效節能的機器學(xué)習芯片解決方案。

MLSoC 配備了用于機器學(xué)習加速器的專(zhuān)用處理器和高性能應用處理器以及用于圖像預處理和后處理的計算機視覺(jué)處理器。

這些元件使 MLSoC 能夠為機器學(xué)習提供高達 50 兆兆次操作 (TOPS) 和每瓦 10 TOPS，在 4K 分辨率下視頻編碼高達每秒 30 幀，在 4K 分辨率下高達每秒 60 幀。視頻解碼分辨率和計算機視覺(jué)每秒高達 600 次 16 位千兆位運算。

開(kāi)發(fā)人員可以使用 SiMa.ai 的 Palette 低代碼集成開(kāi)發(fā)環(huán)境來(lái)利用 MLSoC，該環(huán)境能夠編譯和評估任何機器學(xué)習模型以及在芯片上部署和管理應用程序。