通義千問(wèn)首次落地天璣9300移動(dòng)平臺

3月28日，阿里云與知名半導體公司MediaTek聯(lián)合宣布，通義千問(wèn)18億、40億參數大模型已成功部署進(jìn)天璣9300移動(dòng)平臺，可離線(xiàn)流暢運行即時(shí)且精準的多輪AI對話(huà)應用，連續推理功耗增量不到3W，實(shí)現手機AI體驗的大幅提升。這是通義大模型首次完成芯片級的軟硬適配，僅依靠終端算力便能擁有極佳的推理性能及功耗表現，標志著(zhù)Model-on-Chip的探索正式從驗證走向商業(yè)化落地新階段。

端側AI是大模型落地的極具潛力的場(chǎng)景之一。利用終端算力進(jìn)行AI推理，可大幅降低推理成本、保證數據安全并提升AI響應速度，讓大模型可以更好地為用戶(hù)提供個(gè)性化體驗。然而，要將大模型部署并運行在終端，需完成從底層芯片到上層操作系統及應用開(kāi)發(fā)的軟硬一體深度適配，存在技術(shù)未打通、算子不支持、開(kāi)發(fā)待完善等諸多挑戰。

據了解，通義千問(wèn)18億參數開(kāi)源大模型，在多個(gè)權威測試集上性能表現遠超此前SOTA模型，且推理2048 token最低僅用1.8G內存，是一款低成本、易于部署、商業(yè)化友好的小尺寸模型。天璣9300集成MediaTek第七代AI處理器APU790，生成式AI處理速度是上一代AI處理器的8倍。

阿里巴巴通義實(shí)驗室業(yè)務(wù)負責人徐棟介紹稱(chēng)，阿里云與MediaTek在模型瘦身、工具鏈優(yōu)化、推理優(yōu)化、內存優(yōu)化、算子優(yōu)化等多個(gè)維度展開(kāi)合作，實(shí)現了基于A(yíng)I處理器的高效異構加速，真正把大模型“裝進(jìn)”并運行在手機芯片中，給業(yè)界成功打樣端側AI的Model-on-Chip部署新模式。

圖：在天璣9300設備上，可離線(xiàn)完成基于通義千問(wèn)大模型的AI多輪會(huì )話(huà)

基于天璣9300芯片，通義千問(wèn)18億參數大模型在推理方面表現出了極佳的性能與功耗表現，推理時(shí)CPU占有率僅為30%左右，RAM占用少于2GB，推理速度超過(guò)20tokens/秒，系列指標均達到業(yè)界領(lǐng)先水平，可在離線(xiàn)環(huán)境下流暢實(shí)現多輪AI對話(huà)。據了解，相關(guān)成果將以SDK的形式提供給手機廠(chǎng)商和開(kāi)發(fā)者。

此外，雙方團隊也已完成了通義千問(wèn)40億參數大模型與天璣9300的適配，未來(lái)還將基于天璣適配70億等更多尺寸大模型，“打樣”并支持開(kāi)發(fā)更多AI智能體及應用。

MediaTek無(wú)線(xiàn)通信事業(yè)部副總經(jīng)理李彥輯博士表示：“阿里云的通義系列大模型是AI領(lǐng)域的佼佼者，我們期待通過(guò)雙方的合作可以為應用開(kāi)發(fā)者和終端客戶(hù)提供更強大的硬件和軟件解決方案，同時(shí)促進(jìn)生成式AI的端側部署以及AI應用、AI智能體生態(tài)的快速發(fā)展，為用戶(hù)帶來(lái)更多令人興奮的AI產(chǎn)品體驗?！?

當天，阿里云與MediaTek宣布啟動(dòng)聯(lián)合探索AI智能體解決方案計劃，整合MediaTek天璣移動(dòng)平臺的AI算力及阿里云通義千問(wèn)的大模型能力，為開(kāi)發(fā)者和企業(yè)提供更完善的軟硬聯(lián)合開(kāi)發(fā)平臺，以更好支持智能終端在端側高能效地實(shí)現自然語(yǔ)言理解、復雜決策制定以及個(gè)性化服務(wù)生成，探索打造真正具備情境感知、自主學(xué)習和實(shí)時(shí)交互功能的下一代智能終端應用生態(tài)。

通義大模型已在各行業(yè)廣泛落地，包括釘釘、淘寶、一汽紅旗、央視網(wǎng)、浙江大學(xué)等眾多應用、企業(yè)及機構?！疤詫殕?wèn)問(wèn)”基于通義千問(wèn)實(shí)現了全新的交互體驗以及更精準的推薦；阿里云與中國一汽聯(lián)合打造的大模型應用GPT-BI已率先落地，可結合企業(yè)數據自動(dòng)生成分析圖表。