CEVA推出增強型NeuPro-M NPU IP系列，大力推動(dòng)生成式AI

全球領(lǐng)先的無(wú)線(xiàn)連接、智能感知技術(shù)及定制SoC解決方案的授權許可廠(chǎng)商CEVA, Inc. (納斯達克股票代碼： CEVA)宣布推出增強型NeuPro-M NPU系列，以業(yè)界領(lǐng)先的性能和能效滿(mǎn)足下一代生成式人工智能(Generative AI)的處理需求，適用于從云端到邊緣的各類(lèi)別的人工智能推理工作負載。NeuPro-M NPU架構和工具經(jīng)過(guò)重新設計，除支持CNN和其他神經(jīng)網(wǎng)絡(luò )外，還支持transformer網(wǎng)絡(luò )，并支持未來(lái)的機器學(xué)習推理模型，因而能夠在通信網(wǎng)關(guān)、光連接網(wǎng)絡(luò )、汽車(chē)、筆記本電腦和平板電腦、AR/VR頭戴式設備、智能手機以及任何其他云端或邊緣使用案例中，基于NeuPro-M NPU進(jìn)行無(wú)縫開(kāi)發(fā)和運行高度優(yōu)化的應用，充分利用生成式人工智能和傳統人工智能的功能。

CEVA副總裁兼視覺(jué)業(yè)務(wù)部門(mén)總經(jīng)理Ran Snir 評論道：“基于transformer的網(wǎng)絡(luò )需要大量增加計算和內存資源以推動(dòng)生成式人工智能，從而要求新的方法和優(yōu)化的處理架構來(lái)滿(mǎn)足這股計算和內存需求的增長(cháng)。我們的 NeuPro-M NPU IP經(jīng)過(guò)專(zhuān)門(mén)設計，高效、低成本地處理當前和未來(lái)的傳統人工智能和生成式人工智能工作負載。這款IP具有可擴展性，可處理從邊緣到云端的用例，并可以在未來(lái)支持新的推理模型。我們利用這款架構實(shí)現了性能飛躍，為各種使用案例帶來(lái)了美好的生成式人工智能前景，涵蓋從成本敏感的邊緣設備到高效的云計算，以及兩者之間的所有應用。”

市場(chǎng)研究機構ABI Research預測，邊緣人工智能出貨量將從2023年的24億臺增長(cháng)到2028年的65億臺，年均復合增長(cháng)率(CAGR)為22.4%*。生成式人工智能將是支撐增長(cháng)的重要力量，而日益復雜的智能邊緣應用正在推動(dòng)對更強大、更高效的人工智能推理技術(shù)的需求。特別地，雖然生成式人工智能中使用的大型語(yǔ)言模型(LLM)以及視覺(jué)和音頻transformer能夠改變產(chǎn)品和行業(yè)，但在邊緣設備上運行時(shí)，將會(huì )對性能、功耗、成本、延遲和內存帶來(lái)新的挑戰。

       ABI Research高級分析師Reece Hayden表示：“如今，生成式人工智能的硬件市場(chǎng)高度集中，少數幾家廠(chǎng)商占據主導地位。為了兌現技術(shù)承諾，在云端和邊緣領(lǐng)域都需要明確的路徑去實(shí)現更低功耗、更低成本推理處理，這將通過(guò)更小的模型尺寸和更高效的硬件來(lái)實(shí)現。CEVA的NeuPro-M NPU IP是別具吸引力的方案，能夠在設備上部署具有出色功耗預算的生成式人工智能，同時(shí)具有可擴展性，使得NeuPro-M能夠滿(mǎn)足網(wǎng)絡(luò )設備及其他設備中更多的性能密集型用例。

       受益于推理和建模技術(shù)的不斷發(fā)展，人們在設備層面可以利用更小的特定領(lǐng)域LLM、視覺(jué)transformer和其他生成式人工智能模型的新功能，相應地，這將改變基礎設施、工業(yè)、汽車(chē)、PC、消費產(chǎn)品和移動(dòng)市場(chǎng)的應用。最重要的是，由于集成了矢量處理單元(VPU)，增強型NeuPro-M 架構具有高度通用性和面向未來(lái)的可擴展性，可支持未來(lái)的任何網(wǎng)絡(luò )層。此外，這款架構還支持任何激活函數和任何數據流，具有數據和權重的真正稀疏性，最高可將處理性能提升 4 倍，使得客戶(hù)能夠使用單一 NPU 系列滿(mǎn)足多種應用和多個(gè)市場(chǎng)的需求。為了實(shí)現多樣化人工智能市場(chǎng)所需的更大可擴展性，NeuPro-M增加了全新的 NPM12 和 NPM14 NPU 內核，分別具有兩個(gè)和四個(gè)NeuPro-M引擎，可輕松提供更高性能人工智能工作負載。增強型 NeuPro-M 系列目前包括四款NPU，分別是NPM11、NPM12、NPM14和NPM18。NeuPro-M具有多功能性以及卓越的性能和能效，成為當今業(yè)界領(lǐng)先的 NPU IP產(chǎn)品，在 3nm 工藝節點(diǎn)上可實(shí)現 350 TOPS/Watt 峰值性能，在基于transformer的LLM 推理中，每瓦每秒可處理超過(guò) 150 萬(wàn)個(gè)token。

       CEVA為增強型NeuPro-M架構提供經(jīng)過(guò)改進(jìn)的綜合開(kāi)發(fā)工具鏈，它基于CEVA屢獲殊榮的神經(jīng)網(wǎng)絡(luò )AI 編譯器CDNN，具有架構感知功能，可充分利用NeuPro-M并行處理引擎，最大限度地提高客戶(hù)的AI應用性能。CDNN軟件包括一個(gè)內存管理器，用于降低內存帶寬和優(yōu)化負載平衡算法，并兼容包括TVM和ONNX的常見(jiàn)開(kāi)源框架。

供貨

NPM11 NPU IP現已全面上市，可供客戶(hù)部署使用。CEVA向主要客戶(hù)提供NPM12、NPM14 和 NPM18。

*資料來(lái)源：ABI Research, AN-5774, QTR 1 2023