Arm技術(shù)日：為AI終端準備了哪些新基石？

過(guò)去一年，移動(dòng)終端設備的長(cháng)足進(jìn)步令人贊嘆，例如人工智能 (AI) 從手機到筆記本電腦的巨大創(chuàng )新，并誕生了“新一代 AI 手機”和 AIPC。據IDC預測，2024年全球新一代AI手機的出貨量將達到1.7億部，占智能手機市場(chǎng)總量的近15%。在中國市場(chǎng)，新一代 AI 手機在2027年將達到 1.5 億臺，占有超過(guò)一半的份額。在AIPC方面，今年是AIPC的發(fā)展元年，2028年中國下一代 AIPC 年出貨量將是2024年的60倍。

一切皆有可能，且盡在掌控之中，其基石就是新一代的高級計算。為此，Arm不久前在京舉辦了“技術(shù)媒體分享日”，介紹了Arm 終端 CSS、CPU、GPU及Kledi軟件與軟件社區參與計劃等，并回答了媒體問(wèn)題。

1 概覽：使用AI優(yōu)化的Arm CSS 賦能終端

Arm 終端事業(yè)部智能手機市場(chǎng)高級總監 Steve Raphael稱(chēng)，Arm 是實(shí)現下一波計算性能需求的基石，不僅賦能設備端實(shí)現更高的AI性能，同時(shí)聚焦于降低能效，為當今的計算平臺帶來(lái)了高效的性能。

最新的 Arm 計算平臺是 Arm 終端計算子系統 (Arm CSS for Client)。Arm首次在終端領(lǐng)域為Arm CPU 和 GPU 交付物理實(shí)現。這讓構建基于 Arm 架構的解決方案變得更加簡(jiǎn)單和可靠，同時(shí)實(shí)現新的性能點(diǎn)和計算能力，并助力加速產(chǎn)品上市進(jìn)程。

Arm 力求提供更多價(jià)值，例如針對新的3納米工藝節點(diǎn)對整個(gè)堆棧進(jìn)行優(yōu)化。Arm 終端 CSS 將物理實(shí)現與 Armv9 的 AI 優(yōu)勢結合在一起。Armv9 架構是2021 年推出的，專(zhuān)為高性能和 AI 而設計的，并在過(guò)去幾年中提高了在矢量加速、機器學(xué)習 (ML) 等領(lǐng)域的計算能力；增強系統的安全性和穩健性；更重要的是，增加了面向 AI 的功能。在去年 Armv9.2 取得成功的基礎上，現在正通過(guò)全新的 Arm Cortex-X CPU 和Arm Immortalis GPU 來(lái)提供高性能，并以效率為核心，終端 CSS 能夠為合作伙伴生態(tài)系統帶來(lái)所需的性能，并且加速其產(chǎn)品上市進(jìn)程。所有這些與持續的軟件投資相結合，為開(kāi)發(fā)者構建起一個(gè)平臺，幫助他們能夠在 Arm 平臺上打造更卓越、快速的 AI 體驗。

圖 Arm終端CCS參考平臺

2 終端CSS：面向高端終端設備

Arm 終端事業(yè)部產(chǎn)品管理總監 Steve Hopper 首先回顧了 Arm 在終端設備市場(chǎng)的創(chuàng )新之路。自 2021 年以來(lái)，Arm 通過(guò)全面計算解決方案 (TCS) 不斷突破移動(dòng)端計算的極限。第一代解決方案引入了全新的 Armv9 CPU 集群、性能強大的 Arm Mali GPU 以及一整套系統 IP 產(chǎn)品。2022 年，Arm 發(fā)布了第二代全面計算解決方案，帶來(lái)了 Armv9 CPU 集群，并推出了新的旗艦級 GPU 系列 Arm Immortalis。在去年的全面計算解決方案中，Arm 推出了新一代 Armv9.2 CPU 集群和基于第五代 GPU 架構的新 GPU 系列，持續推進(jìn)這一勢頭。Arm的終端解決方案已連續三代實(shí)現兩位數的性能和效率提升。

在 Specint 和 Geekbench 等基準測試中，計算性能每年提高超過(guò) 15%。在各種 GPU 基準測試和實(shí)際游戲內容中，圖形性能提升超過(guò) 20%。更重要的是，Arm持續實(shí)現了超過(guò) 15% 的同比效率提升。

今年，Arm 將其終端解決方案升級為Arm 終端計算子系統 (CSS)，該計算子系統專(zhuān)為高端終端設備細分市場(chǎng)設計，將在性能、效率和可擴展性方面帶來(lái)突破性變化。

Arm 終端 CSS 囊括最新的 Armv9.2 Cortex CPU 集群和 Arm Immortalis 與 Arm Mali GPU、CoreLink 互連系統 IP，以及知名代工廠(chǎng)采用3納米工藝生產(chǎn)就緒的 CPU 和 GPU 物理實(shí)現。該平臺為Arm的合作伙伴提供了生產(chǎn)芯片的最快途徑。通過(guò)物理實(shí)現，Arm 的合作伙伴能夠利用前沿3納米工藝的各種優(yōu)勢，同時(shí)實(shí)現高度靈活、可定制的芯片設計。

具體來(lái)看，Arm 終端 CSS 采用最新 Armv9.2 CPU 集群，其中集成了 Arm 目前最高性能的 Arm Cortex-X925 CPU、最高效的 Cortex-A725 CPU 和更新后的 Cortex-A520 CPU。這為 AI 和其他實(shí)際用例計算工作負載提供出色的性能和效率。

圖 Arm終端CSS 的要素

最新發(fā)布的Armv9.2 CPU集群在性能上實(shí)現了大幅提升，這是得益于A(yíng)rm從多維度著(zhù)手進(jìn)行優(yōu)化。除了IPC（每時(shí)鐘周期指令數）的提升，Arm也關(guān)注于減少內存延遲，以及最大化內存帶寬和緩存大小，從多個(gè)關(guān)鍵因素入手，進(jìn)而實(shí)現CPU性能的提高。

而針對能效優(yōu)化方面，Steve Hopper強調了能效提升是一個(gè)多因素的結果，它涉及到工藝節點(diǎn)、核心設計、軟件優(yōu)化以及系統級緩存等多個(gè)方面。例如在系統級緩存方面，Arm終端CSS的參考實(shí)現中，系統級緩存已經(jīng)擴展到了16MB，這有助于減少內存流量，進(jìn)而可降低能耗。

2.1 CPU、GPU和NPU的關(guān)系

拍照和拍視頻可能是大眾最常使用的手機功能之一，而要想拍攝出具有逼真焦外成像 (Bokeh) 效果的照片和視頻，并不是一項簡(jiǎn)單的工作負載。AI 攝像頭的焦外成像管線(xiàn)由深度估計、分割、摳圖和混合等多個(gè)階段組成，以確保生成高質(zhì)量的影像。在Steve Hopper的技術(shù)分享中列舉了一個(gè)案例，該案例的管線(xiàn)中的AI可在NPU上運行，但Arm已經(jīng)證明它同樣可以在CPU上運行，并且它的運行速度正越來(lái)越快。Arm 終端 CSS 的亮點(diǎn)之一正是計算攝影和 AI 攝像頭用例。與去年TCS23中的CPU相比，今年終端CSS中的Cortex-X925運行焦外成像工作負載算法實(shí)現了24%的性能提升。當下智能手機市場(chǎng)中的成像解決方案非常復雜，在CPU、GPU和NPU上運行的都有。市場(chǎng)不斷創(chuàng )新，涌現出新的算法、數據類(lèi)型或運算符。CPU 所具備的優(yōu)勢在于它的靈活性，以及可以滿(mǎn)足未來(lái)技術(shù)需求。例如，研發(fā)中的新技術(shù)可以首先在CPU上實(shí)現，而NPU則需要特定的編碼，這增加了研發(fā)工作的難度。因此，新的算法通常首先出現在CPU或GPU上，最后當硬件分離時(shí)才會(huì )遷移到 NPU 上。通過(guò)CPU與NPU緊密協(xié)作，將能共同推動(dòng)技術(shù)前沿的發(fā)展。而針對端側AI推理的處理器協(xié)同工作，Steve Hopper表示，CPU因其易于訪(fǎng)問(wèn)并極為靈活，是一個(gè)較為理想的進(jìn)行AI推理的地方。對于卸載到NPU上進(jìn)行成本比較高的工作負載而言，CPU也是比較合適的運行推理的地方。未來(lái)，我們期待看到在高端設備中CPU、GPU和NPU三者相輔相成。但對于一些稍微低級別設備來(lái)說(shuō)，廠(chǎng)商可能很難承擔NPU的費用，CPU往往就是一個(gè)很好的運行此類(lèi)工作負載的目標。

3 適用于A(yíng)I及未來(lái)的高性能、高效率CPU集群

在過(guò)去的一年里，圍繞 2023 Arm 全面計算解決方案 (TCS23) 中的 CPU 集群，人們見(jiàn)到了許多令人矚目的產(chǎn)品和發(fā)布。這些產(chǎn)品共同引領(lǐng)了 AI 等新的高級用例的激增。如今，AI 運行于 Arm 平臺和 Arm的 CPU 集群之上。這些工作負載的計算密集度越來(lái)越高。因此Arm需要不斷發(fā)展技術(shù)，以應對這一挑戰。正是在這一新技術(shù)和新用例的交匯之際，Arm推出了新的 Armv9.2 CPU 集群。

Arm 終端事業(yè)部高級產(chǎn)品經(jīng)理 Manish Pandey介紹了兩個(gè)全新的 IP（旗艦 CPU Arm Cortex-X 系列和高效 CPU Arm Cortex-A700 系列的新產(chǎn)品），以及另外兩個(gè)經(jīng)過(guò)更新的 IP——可用于3納米工藝的更新的 Arm Cortex-A500 系列 CPU，以及具有新功能的更新的 DSU。這些產(chǎn)品被集成至 Arm 迄今為止針對安卓系統速度最快的計算平臺 —— 新的 Arm 終端CSS。

圖 Armv9 CPU集群的代際更新及最新產(chǎn)品

Arm Cortex-X925是Arm迄今為止速度最快、性能最強的CPU，其單線(xiàn)程性能提升了36%，AI性能提高了46%，是Arm Cortex-X 系列有史以來(lái)最大幅度的 IPC 同比提升。要實(shí)現如此優(yōu)異的性能，并非只涉及單個(gè)因素，而是來(lái)自每時(shí)鐘周期指令數 (IPC)、頻率、編譯器、操作系統 (OS)、封裝等多個(gè)方面的投入。除了性能的提升以外，Arm也始終與其合作伙伴需求以及行業(yè)發(fā)展保持同頻，并致力于為其合作伙伴提供相關(guān)工具，幫助他們的產(chǎn)品實(shí)現逐年的性能提升，并且可以確保最終成品保持在他們的片上面積以及功耗預算之內。

在終端設備市場(chǎng)，隨著(zhù)智能手機性能提升的同時(shí)，散熱問(wèn)題也是眾所關(guān)注的焦點(diǎn)。在這一方面，Arm持續投入，以確保其基礎IP在典型的功耗預算內實(shí)現最大的性能表現。在A(yíng)rm終端CSS中，Arm也以特定工藝節點(diǎn)的物理IP為目標，確保在這些工藝節點(diǎn)上獲得最佳性能，同時(shí)達到最低的能耗和最小的發(fā)熱量。

3.1 Cortex-X925 的命名含義

與過(guò)往Cortex-X系列以個(gè)位數命名的方式不同，此次Arm針對Cortex-X925改成了以三位數的命名方式。據了解，今年改名的原因主要在于，Arm革新了新一代 CPU 的設計理念，得益于新設計所實(shí)現的微架構改進(jìn)和頻率提升，Cortex-X925是Cortex-X推出以來(lái)取得最高IPC同比增幅的CPU，通過(guò)命名的調整，Arm用來(lái)彰顯其與前代產(chǎn)品的突出表現。此外，新推出的Immortalis-G925 GPU在性能方面也實(shí)現了驚人的提升，通過(guò)將 GPU 和 CPU 的命名統一起來(lái)，也能清楚表明這兩款產(chǎn)品作為旗艦高端 IP的定位。Steve Raphael進(jìn)一步說(shuō)明，Arm Cortex-X 系列將持續定位為Arm和合作伙伴定制合作的專(zhuān)用高端 CPU。而對于Cortex-A700 系列，Arm同樣看重，也將持續保持這一高效產(chǎn)品線(xiàn)。

3 新GPU定位：從手游到AI

作為人們日常數字生活中不可或缺的一部分，Arm GPU 賦能了從當今智能手機上的沉浸式游戲，到各類(lèi)邊緣側人工智能 (AI) 體驗的方方面面。目前，Arm 合作伙伴的 GPU 出貨量已超過(guò) 100 億顆，而這一卓越成就歸功于A(yíng)rm在業(yè)界領(lǐng)先的生態(tài)系統。這些 GPU 廣泛應用于包括智能手機、平板電腦、智能電視、機頂盒、智能手表和 XR 可穿戴設備在內的各類(lèi)消費電子設備。

去年此時(shí)，Arm推出了新的第五代 GPU 架構及一系列新的 GPU，包括 Arm Immortalis-G720 GPU。 MediaTek的天璣 9300 系統級芯片 (SoC) 平臺便采用此 GPU。之后，知名手機廠(chǎng)商 vivo 和 OPPO 的旗艦智能手機都先后采用了該芯片。

今年，Arm推出了第二代基于 Arm 第五代 GPU 架構構建的GPU 產(chǎn)品，成為 Arm 終端計算子系統 (CSS) 的重要組件。其中包括新的 Arm Immortalis-G925 GPU、Arm Mali-G725 GPU 和 Arm Mali-G625 GPU，它們適用于從旗艦智能手機、高端手機，到智能手表、入門(mén)級移動(dòng)設備等各類(lèi)消費電子設備，這些 GPU 產(chǎn)品的兩大設計重心：

●   作為手機游戲持續演進(jìn)的一部分，實(shí)現沉浸式視覺(jué)體驗

●   在主流應用中加速實(shí)現AI體驗

安謀科技 (Arm China)市場(chǎng)總監王剛提供了一組數據：Immortalis-G925 GPU與 Immortalis-G720 相比，性能提升了 37%。這款產(chǎn)品的多項技術(shù)改進(jìn)，如片段預處理、光線(xiàn)追蹤和可擴展性的提升等。Arm還針對一些關(guān)鍵 AI/ML 用例改進(jìn)了 AI 性能，并與生態(tài)系統緊密合作，更大限度地提高了 Arm GPU 的性能。此外，Mali-G725 和 Mali-G625 這兩款產(chǎn)品可為各類(lèi)不同級別的設備帶來(lái)出色的游戲體驗。

圖 Immortalis-G925整體性能提升

具體來(lái)看下Arm GPU在A(yíng)I 性能方面的表現，與前幾代產(chǎn)品一樣，Arm持續提升GPU對AI/ML性能和效率的支持，并關(guān)注于A(yíng)I等主要領(lǐng)域。在圖像處理（如分割或分類(lèi)）方面，與其去年參考平臺中的Immortalis-G720相比，Arm終端CSS參考平臺中的Immortalis-G925性能顯著(zhù)提升了41%。在超級采樣任務(wù)中，使用神經(jīng)網(wǎng)絡(luò )放大圖像時(shí)，性能提升了將近30%；在自然語(yǔ)言處理和語(yǔ)音轉文本方面，更是取得了50%性能提升。

王剛強調到，在衡量整個(gè)GPU的能效和性能時(shí)，Arm不局限于某一兩種基準測試，而是更注重實(shí)際用例的表現，如游戲體驗和普通用戶(hù)的UI使用體驗，這些實(shí)際應用場(chǎng)景被視為基準測試的重要補充。

4 通過(guò)軟件加速邊緣AI開(kāi)發(fā)

在飛速發(fā)展的AI 時(shí)代，Arm正支持全球數百萬(wàn)開(kāi)發(fā)者，確保他們能夠獲得所需的性能、工具和軟件庫，從而順利地打造下一波令人驚嘆的 AI 體驗。

為此，Arm推出了 Arm Kleidi，這是一項廣泛的軟件和軟件社區參與計劃，旨在加速 AI 發(fā)展。其中的第一個(gè)舉措是推出面向熱門(mén) AI 框架的 Arm Kleidi 軟件庫。這使開(kāi)發(fā)者可以直接取得 Arm CPU 的出色 AI 功能，而如今全球從云端到邊緣側的大多數 AI 推理工作負載都在這些 Arm CPU 上運行。開(kāi)發(fā)者可以借助 Arm 超過(guò) 20 年的架構創(chuàng )新，從 Armv7 架構首次引入高級單指令多數據 (SIMD) 擴展以支持機器學(xué)習 (ML) 工作負載，到如今的 Armv9 架構在 Arm CPU 上囊括了加速和保護高級生成式 AI 工作負載的功能，這些創(chuàng )新持續推動(dòng) AI 能力和性能的提升。

Arm Kleidi提供了一個(gè)輕量級的軟件庫，由于設計時(shí)已盡可能減少了對外部軟件環(huán)境的依賴(lài)性，使其能夠輕松整合到多種庫中。作為一個(gè)開(kāi)源項目，Kleidi面向全行業(yè)開(kāi)放，也將會(huì )不斷加入新特性、提升性能，并覆蓋更多運算內核。

Kleidi軟件庫包含面向AI工作負載的KleidiAI和面向運行于A(yíng)rm CPU上出色的計算機視覺(jué)工作負載的KleidiCV。該軟件庫可以被直接嵌入到熱門(mén)的 AI 框架中，開(kāi)發(fā)者無(wú)需進(jìn)行任何操作。如此一來(lái)，開(kāi)發(fā)者可以輕松地啟用Arm CPU的AI功能，從而快速構建AI應用，并在盡可能廣泛的設備上實(shí)現最出色性能。

總結來(lái)說(shuō)，安謀科技 (Arm China) 開(kāi)發(fā)者生態(tài)高級經(jīng)理李陳魯在講演中分享了的內容涵蓋了， Kleidi 將能在使用 Arm CPU 的任何地方加速 ML；通過(guò)Arm的協(xié)作、內容創(chuàng )作和工具方面的突破，進(jìn)一步推動(dòng)移動(dòng)圖形渲染不斷挑戰未來(lái)極限；通過(guò)Arm對 Chromium、ADPF 的貢獻以及 MTE 在消費電子設備中的落地來(lái)進(jìn)一步增強安卓系統；以及在打造 Windows on Arm 的原生生態(tài)系統方面取得了巨大進(jìn)展。