Arm與阿里巴巴合作，KleidiAI與通義千問(wèn)模型集成

Arm 控股有限公司（以下簡(jiǎn)稱(chēng) “Arm”）近日發(fā)布與阿里巴巴淘天集團輕量級深度學(xué)習框架 MNN 的又一新合作。雙方經(jīng)由 Arm KleidiAI 的集成，成功讓多模態(tài)人工智能 (AI) 工作負載通過(guò)阿里巴巴經(jīng)指令調整的通義千問(wèn) Qwen2-VL-2B-Instruct 模型運行在搭載 Arm CPU 的移動(dòng)設備上。該版本的通義千問(wèn)模型專(zhuān)為端側設備的圖像理解、文本到圖像的推理，以及跨多種語(yǔ)言的多模態(tài)生成而設計。此次的合作顯著(zhù)提升了端側多模態(tài) AI 工作負載的性能，帶來(lái)全新的用戶(hù)體驗。

Arm 終端事業(yè)部產(chǎn)品管理高級總監 Stefan Rosinger 表示：“我們正身處 AI 革命的浪潮之中，親眼見(jiàn)證了多模態(tài) AI 模型的興起。這些模型能夠處理并理解多種數據類(lèi)型，涵蓋文本、圖像、音頻、視頻及傳感器數據。然而，由于硬件本身的電力限制和內存約束，加之同時(shí)處理多種數據類(lèi)型帶來(lái)的復雜性，在端側設備上部署這些先進(jìn)的多模態(tài)模型正面臨著(zhù)不小的挑戰?！?/p>

Arm Kleidi 成為解決這些挑戰的理想方案，它能夠為運行在 Arm CPU 上的所有 AI 推理工作負載提供無(wú)縫的性能優(yōu)化。KleidiAI 是一套輕量級且高性能開(kāi)源的 Arm 例程，專(zhuān)為 AI 加速而設計，目前已被集成到最新版本的主流端側 AI 框架中，包括 ExecuTorch、Llama.cpp、LiteRT （通過(guò)XNNPACK）和 MediaPipe，能讓數百萬(wàn)名開(kāi)發(fā)者無(wú)需進(jìn)行額外操作，即可自動(dòng)獲取 AI 性能的顯著(zhù)提升。

加速端側多模態(tài) AI 用例的響應時(shí)間

通過(guò) KleidiAI 與 MNN 的集成，Arm 和 MNN 團隊測量了 Qwen2-VL-2B-Instruct 模型的加速性能，結果顯示在端側的關(guān)鍵 AI 多模態(tài)應用場(chǎng)景中，其運行和響應速度均有所提升。這一提升可為阿里巴巴旗下眾多以客戶(hù)為中心的應用程序帶來(lái)更加出色的用戶(hù)體驗。

這些用例響應速度的提升，得益于模型預填充（指 AI 模型在生成響應之前先對提示詞輸入進(jìn)行處理）性能提升了 57% ，以及解碼（指處理提示詞后從 AI 模型生成文本的過(guò)程）性能提升了 28%。此外，KleidiAI 集成還可以通過(guò)降低多模態(tài)工作負載的總體計算成本，進(jìn)一步促進(jìn)端側設備上 AI 工作負載的高效處理。數百萬(wàn)使用包括 MNN 框架在內的熱門(mén) AI 框架運行應用程序與工作負載的開(kāi)發(fā)者，可以在針對邊緣側設備的應用和工作負載中享受到這些性能和效率的提升。

阿里云通義大模型業(yè)務(wù)總經(jīng)理徐棟表示：“我們非常高興看到通義千問(wèn)大模型與Arm KleidiAI 及 MNN 團隊展開(kāi)深度技術(shù)合作，通過(guò) MNN 端側推理框架和 Arm KleidiAI 的集成加速優(yōu)化，成功實(shí)現了大模型推理延遲的顯著(zhù)降低與能效比的大幅提升。此次開(kāi)創(chuàng )性的合作不僅充分驗證了大模型在移動(dòng)終端的實(shí)用潛力，更使用戶(hù)能夠在指尖體驗到下一代 AI 的普惠價(jià)值。我們期待三方能夠持續攜手，以技術(shù)創(chuàng )新突破算力邊界，共同開(kāi)啟端側智能新篇章?！?/p>

阿里巴巴淘天集團業(yè)務(wù)技術(shù) MNN 負責人姜霄棠表示：“此次 MNN 推理框架與 Arm KleidiAI 做深度技術(shù)融合，在端側大模型加速方面取得了全新突破。通過(guò)我們對底層架構的聯(lián)合優(yōu)化，通義大模型的端側推理效率實(shí)現大幅提升，成功跨越了受限算力與復雜 AI 能力的技術(shù)鴻溝。這一成果既是 MNN 團隊技術(shù)攻堅的結晶，更是跨界協(xié)作力量的生動(dòng)詮釋。我們期待未來(lái)能持續攜手深耕端側計算生態(tài)，讓每個(gè)移動(dòng)終端都能承載更流暢、更高效、更自然的 AI 體驗?！?/p>

在 MWC 上進(jìn)行 KleidiAI 集成演示

在今年的世界移動(dòng)通信大會(huì ) (MWC) 上，Arm 在活動(dòng)展位（2 號展廳 I60 展臺）展示了此次合作的成果，該演示突出了模型如何理解視覺(jué)和文本輸入的多種組合，并對圖像中的內容進(jìn)行提煉說(shuō)明。這項演示在搭載 MediaTek 天璣 9400 移動(dòng)系統芯片 (SoC) 的智能手機上完成，包括 vivo X200系列。

實(shí)現多模態(tài) AI 體驗的飛躍

KleidiAI 和為阿里巴巴通義千問(wèn)模型支持的 MNN 框架進(jìn)行集成，成功地為運行在搭載 Arm CPU 端側的多模態(tài) AI 工作負載帶來(lái)顯著(zhù)的用戶(hù)體驗提升。這些卓越的體驗現已應用于移動(dòng)設備，許多的面向客戶(hù)的應用程序也已受惠于 KleidiAI 帶來(lái)的種種優(yōu)勢。展望未來(lái)，KleidiAI 針對 AI 工作負載的無(wú)縫優(yōu)化將繼續賦能開(kāi)發(fā)者，助力其在端側設備上提供更加復雜的多模態(tài)體驗。這將為下一波智能計算浪潮奠定基礎，并在 AI 的持續演進(jìn)中邁出令人振奮的一大步。