Arm 與微軟合作，為基于 Arm 架構的 PC 和移動(dòng)設備應用提供超強 AI 體驗

隨著(zhù)人工智能 (AI) 成為當今個(gè)人電腦 (PC) 和移動(dòng)設備使用體驗(從聊天機器人到生產(chǎn)力提升)中不可或缺的一部分,這些設備對 CPU 高效、可擴展的推理需求也在持續增長(cháng)。Arm 與微軟正攜手合作以滿(mǎn)足這一需求,在從高端臺式電腦和筆記本電腦到旗艦級和入門(mén)級智能手機等各類(lèi)廣泛的消費類(lèi)電子設備上,為用戶(hù)帶來(lái)加速的 AI 體驗。

Arm和微軟共同將Arm KleidiAI進(jìn)一步擴展到ONNX Runtime(業(yè)界廣泛使用的開(kāi)源AI 運行時(shí)之一)中。KleidiAI是一款面向 AI框架開(kāi)發(fā)者的輕量級內核庫,它能夠在無(wú)可比擬的規模下,為廣泛的技術(shù)市場(chǎng)以及各類(lèi)基于A(yíng)rm 架構的設備,提供AI模型和工作負載的無(wú)縫性能優(yōu)化。鑒于 KleidiAI 已成功集成到其他領(lǐng)先的 AI框架上,這次的合作是在此成功基礎上的又一重要進(jìn)展。

加速邊緣設備上的 AI 體驗

Windows on Arm生態(tài)系統在過(guò)去幾年實(shí)現了顯著(zhù)的增長(cháng)。包括 Adobe Photoshop、Google Chrome、Spotify和Zoom 等廣受歡迎的應用程序,都紛紛推出了Arm原生版本,以充分發(fā)揮其性能和能效優(yōu)勢。通過(guò)將KleidiAI集成到ONNX Runtime中,廣大的應用程序開(kāi)發(fā)者無(wú)需額外投入工程時(shí)間,就能獲得PC和移動(dòng)設備的AI性能提升。ONNX Runtime 為微軟諸多產(chǎn)品的AI工作負載提供支持,包括 Microsoft 365 套件以及 Microsoft Copilot 等,并為 Copilot+ PC 打造卓越的 AI 體驗。

KleidiAI 與 ONNX Runtime的集成優(yōu)化了包含 Phi-3 Mini 等一系列模型在內的 AI工作負載。Phi-3 Mini是一個(gè)擁有38億參數的小型語(yǔ)言模型,專(zhuān)為邊緣設備的先進(jìn) AI 體驗量身定制。這些 AI 體驗包括實(shí)時(shí)聊天機器人、虛擬助手、智能文本補全以及生產(chǎn)力工具的功能增強等,所有這些功能均可在設備本地實(shí)現。通過(guò)將Phi-3 Mini緊湊的結構與KleidiAI高效的CPU執行提供程序(Execution Provider)集成配對,開(kāi)發(fā)者無(wú)需依賴(lài)云端連接,即可在設備上快速實(shí)現智能功能。

提升PC和移動(dòng)設備上的實(shí)際AI性能

在PC和移動(dòng)平臺上,該集成已為終端用戶(hù)帶來(lái)了切實(shí)的益處。它顯著(zhù)加快了AI的響應速度,使設備能夠直接實(shí)現更智能、更快速的交互,且無(wú)需開(kāi)發(fā)者進(jìn)行架構改動(dòng)或后端重寫(xiě)。

根據 Arm 的基準測試顯示,在 KleidiAI 集成到 ONNX Runtime 后,系統性能得到了顯著(zhù)的提升,包括在基于A(yíng)rmv9平臺的Windows設備上運行Phi-3模型時(shí),提示處理吞吐量提升了2.4倍,詞元 (token) 生成速度加快了12%。這些性能改進(jìn)使聊天機器人等AI 應用能夠給出更加自然流暢的回應。同樣地,在搭載最新 Armv9 CPU 的vivo X200 Pro 旗艦智能手機上運行相同Phi-3 模型的參考安卓應用中,提示處理速度加快了2.6 倍。

由于 KleidiAI 的集成運行在全球應用廣泛的Arm CPU 架構上,這使得AI 應用與工作負載能夠在不同的生態(tài)系統及芯片組之間無(wú)縫移植。KleidiAI 的設計旨在與當前的Arm 架構特性,如Neon、可伸縮矢量擴展 (SVE2) 及可伸縮矩陣擴展 (SME) ,展開(kāi)協(xié)同工作。這些面向未來(lái)的功能確保開(kāi)發(fā)者能夠構建當下的AI 增強體驗,并使其隨著(zhù)未來(lái)的硬件創(chuàng )新而擴展。KleidiAI 與ONNX Runtime 的集成已在 ONNX RT V1.22 中發(fā)布。

推動(dòng) AI 規?；涞?/p>

Arm 與微軟的合作為開(kāi)發(fā)者普及優(yōu)化 AI 邁出了變革性的一步。該合作簡(jiǎn)化了在各類(lèi) PC 和移動(dòng)設備上部署智能功能的流程,無(wú)需增加成本或開(kāi)發(fā)工作量,同時(shí)為終端用戶(hù)帶來(lái)加速的AI 體驗。隨著(zhù)AI 的持續演進(jìn),這些優(yōu)化工作將確保開(kāi)發(fā)者、OEM 廠(chǎng)商和操作系統提供商擁有出色的性能、靈活性和廣泛的覆蓋范圍,為更多用戶(hù)帶來(lái)更優(yōu)質(zhì)、更智能的體驗。

訪(fǎng)問(wèn)以下學(xué)習路徑,了解 KleidiAI 與 ONNX Runtime 集成的更多信息:

· 在基于 Arm 的 Windows 設備上,通過(guò) ONNX Runtime 運行 Phi-3 模型

· 使用 ONNX Runtime API 構建安卓聊天應用