Warning: file_get_contents(): SSL: connection timeout in /var/www/html/www.edw.com.cn/www/rootapp/controllersspace/ArticlesmanageController.php on line 237
Warning: file_get_contents(): Failed to enable crypto in /var/www/html/www.edw.com.cn/www/rootapp/controllersspace/ArticlesmanageController.php on line 237
Warning: file_get_contents(https://mmbiz.qpic.cn/sz_mmbiz_png/vudjndXIRDrYD1r3712ztwlTzNhH1B1GichmzfBXwXe5MNrVpR0NLHVgVApI4IBDaJJ4iaQfJ0Xu15oMYIa3exJg/640): failed to open stream: operation failed in /var/www/html/www.edw.com.cn/www/rootapp/controllersspace/ArticlesmanageController.php on line 237
AMD全面披露AI戰略及布局。作者 | ZeR0
編輯 | 漠影
芯東西12月6日圣何塞報道，北京時(shí)間12月7日凌晨，芯片巨頭AMD的年終AI盛會(huì )Advancing AI活動(dòng)正式舉行。在A(yíng)I芯片賽道愈戰愈勇的AMD今天會(huì )放出怎樣的大招，著(zhù)實(shí)令人期待，為此芯東西早早來(lái)到會(huì )場(chǎng)，翹首等待被粉絲們親切稱(chēng)作“蘇媽”的AMD CEO蘇姿豐發(fā)表主題演講。
今天加州的陽(yáng)光依然燦爛，當地時(shí)間10點(diǎn)一到，大會(huì )正式開(kāi)場(chǎng)，蘇媽健步如飛地走上臺，笑容滿(mǎn)面地分享對人工智能（AI）計算的觀(guān)察思考，將AI評價(jià)為“過(guò)去50年來(lái)最具變革性的技術(shù)”，稱(chēng)生成式AI是“最剛需的數據中心工作負載”。
會(huì )上，AMD宣布推出旗艦數據中心AI芯片AMD Instinct MI300X GPU，并在多項硬件規格及大模型訓推測試上與英偉達正面交鋒。AI峰值性能、內存密度、內存帶寬，這些關(guān)鍵硬件規格通通秒掉英偉達旗艦AI芯片H100 GPU！也就是說(shuō)，相比英偉達H100，MI300X能跑更大參數規模的大模型。
這是一場(chǎng)AMD全面展示其AI戰略雄心的盛會(huì )，除了MI300X外，AMD還宣布推出結合最新AMD CDNA 3架構和“Zen 4”CPU的MI300A加速處理單元（APU），以及讓筆記本電腦能夠更輕松添加AI功能的Ryzen 8040系列移動(dòng)處理器。此外，AMD劇透了Ryzen AI路線(xiàn)圖，代號為“Strix Point”的下一代Ryzen AI CPU將在2024年出貨，采用XDNA 2架構。XDNA 2架構的生成式AI NPU性能將提高到上一代的3倍以上。
軟件方面，AMD發(fā)布了最新版本的ROCm 6開(kāi)放軟件堆棧，該堆棧針對生成式AI（尤其是大語(yǔ)言模型）進(jìn)行了優(yōu)化。相較MI250搭ROCm 5，MI300X與ROCm 6雙強組合在Llama 2上生成文本的總體延遲性能提高了約8倍。與Ryzen 8040系列處理器同時(shí)登場(chǎng)的Ryzen AI 1.0軟件棧，使開(kāi)發(fā)者能夠輕松部署使用預訓練模型為Windows應用程序添加AI功能。
01.MI300X：內存容量帶寬超H100，更快暢跑千億參數大模型
蘇姿豐說(shuō)，一年前，AMD預估全球數據中心AI芯片/GPU的TAM將從2023年的300億美元增長(cháng)到2027年的1500億美元，未來(lái)4年CAGR增速將超過(guò)50%。但顯然需求增長(cháng)得更快，現在A(yíng)MD將其預估修正為數據中心加速器未來(lái)四年每年增長(cháng)70%以上，到2027年將超過(guò)4000億美元。
她分享道，AMD的AI戰略圍繞三大重點(diǎn)：1）提供高性能、高能效的GPU、CPU和用于A(yíng)I訓練及推理的自適應計算解決方案的廣泛組合；2）擴展開(kāi)放的、經(jīng)驗證的、對開(kāi)發(fā)人員友好的軟件平臺；3）擴大深度協(xié)同創(chuàng )新的AI生態(tài)系統。
為了解決GPU硬件可用性問(wèn)題，AMD推出Instinct MI300X加速器。蘇姿豐稱(chēng)MI300X加速器是AMD迄今制造過(guò)的最先進(jìn)的產(chǎn)品、“業(yè)界最先進(jìn)的AI加速器”，擁有1530億顆晶體管、192GB HBM3內存容量、5.3TB/s峰值內存帶寬、896GB/s Infinity Fabric互連帶寬，能支撐大模型訓練和推理。大模型拼算力，關(guān)鍵就是看內存容量和帶寬，所以相比英偉達H100的96GB內存、3.2TB/s帶寬，MI300X在硬件配置上很有吸引力。MI300X把4個(gè)SoC Die都用來(lái)放GPU，8個(gè)HBM3升級到24GB，形成了一個(gè)由8顆CDNA 3架構Accelerator Complex Die（XCD）、4個(gè)I/O Die（IOD）、8個(gè)HBM內存堆棧組成的共有12顆5nm Chiplet的集成系統。Chiplet的好處是提高良率和降低成本，因此MI300X可能會(huì )在定價(jià)上比H100/H200更具性?xún)r(jià)比。
通過(guò)這種“拼芯片樂(lè )高”的方式，MI300X實(shí)現了計算核數、帶寬及內容容量的顯著(zhù)增加。其采用的CDNA 3架構對性能和能效進(jìn)行了優(yōu)化，結合了一個(gè)新的計算引擎，支持稀疏性和TF32、FP8等新數據格式，為關(guān)鍵數據類(lèi)型（如FP16/BF16）提供的性能達到上一代的3.4倍。
相比上一代MI250X，MI300X增加了近40%的計算單元、1.5倍的內存容量、1.7倍的峰值理論內存帶寬，并支持FP8和稀疏性等新數值格式。微軟CTO凱文·斯科特來(lái)到現場(chǎng)介紹微軟與AMD的合作進(jìn)展。MI300X芯片將為針對AI工作負載進(jìn)行優(yōu)化的全新Azure ND MI300x v5虛擬機系列提供動(dòng)力。
多個(gè)GPU互連性能需要線(xiàn)性提高，因此可擴展性至關(guān)重要。蘇姿豐說(shuō)，MI300X平臺是世界上最強大的生成式AI系統。
AMD Instinct MI300X平臺是一個(gè)內置8個(gè)MI300X的OCP標準整機形態(tài)，BF16/FP16峰值算力可達到10.4PFLOPS，總共可提供1.5TB的HBM3內存容量，這兩個(gè)規格都高于英偉達H100 HGX。
在跑不同Kernel的Flash Attention 2、Llama 2 70B大模型時(shí)，MI300X均表示出優(yōu)于H100的性能。
8卡AMD Instinct MI300X平臺在BLOOM 176B大語(yǔ)言模型上跑推理的吞吐量達到英偉達H100 HGX的1.6倍。
在訓練擁有300億參數的MPT模型時(shí)，MI300X平臺與H100 HGX的吞吐量持平。
同等性能的單個(gè)系統跑大語(yǔ)言模型時(shí)，無(wú)論是訓練還是推理，MI300X平臺的性能都超過(guò)H100 HGX。
Oracle云基礎設施計劃將基于MI300X的裸機實(shí)例添加到該公司為AI的高性能加速計算實(shí)例中，基于MI300X的實(shí)例計劃通過(guò)超高速RDMA網(wǎng)絡(luò )支持OCI超級集群。其即將到來(lái)的生成式AI服務(wù)中也將包含MI300X。惠普、戴爾、聯(lián)想、超微、技嘉、鴻佰、英業(yè)達、云達、緯創(chuàng )、緯穎等都是MI300X芯片的OEM和解決方案合作伙伴。
02.MI300A：APU四大優(yōu)勢加持，高性能計算能效比超GH200
AMD Instinct MI300A APU是世界上第一個(gè)用于HPC和AI的數據中心APU，采用3D封裝和第4代AMD Infinity架構。
該加速器結合了6個(gè)CDNA 3架構Accelerator Complex Die（XCD）、3個(gè)CPU Complex Die（CCD，共24個(gè)x86“Zen 4”核心）、4個(gè)I/O Die（IOD）、8個(gè)HBM內存堆棧、128GB新一代HBM3內存。
MI300A同樣遵循Chiplet設計思路，并實(shí)現了CPU與GPU共享統一內存。
與MI250X相比，MI300A在FP32 HPC和AI工作負載上提供了約1.9倍的每瓦性能；和英偉達H100 SXM相比，MI300A的內存容量、峰值內存帶寬、FP64精度HPC矩陣及向量峰值性能均更高。
AMD正在設定能效創(chuàng )新的步伐，其30x25目標旨在從2020~2025為AI訓練及HPC服務(wù)器處理器和加速器提高30倍的能效。總體來(lái)看，APU有四大優(yōu)勢：1）統一內存；2）共享AMD Infinity Cache技術(shù)；3）動(dòng)態(tài)功率共享；4）易于編程。這使得APU能為客戶(hù)提供高性能計算、快速的AI訓練和高能效。通過(guò)將統一內存、內存帶寬、GPU性能多重優(yōu)勢組合，MI300A在OpenFOAM高性能計算MotorBike測試中，得分是H100的4倍。
在PeakHPC每瓦性能測試中，MI300A的成績(jì)是英偉達GH200的2倍。
在跑多種高性能計算任務(wù)時(shí)，相比H100，AMD MI300A均略勝一籌。美國勞倫斯利弗莫爾國家實(shí)驗室打造的超級計算機EI Capitan便采用了MI300A，預計將成為世界上第一臺2ExaFLOPS超級計算機。惠普、Eviden、技嘉、超微等是MI300A加速器的OEM和解決方案合作伙伴。
03.ROCm 6軟件：針對生成式AI優(yōu)化，讓Llama 2推理延遲暴降
軟件是顯著(zhù)提高現有硬件可用性能的關(guān)鍵。近年來(lái)，AMD持續降低用戶(hù)的遷移成本和開(kāi)發(fā)門(mén)檻，來(lái)不斷補強其從云到端的軟件護城河。
其中與AMD Instinct、Radeon GPU搭配使用的ROCm 6開(kāi)放軟件平臺對新數據類(lèi)型、先進(jìn)圖形和核心進(jìn)行了優(yōu)化。
ROCm 6增加了對生成式AI的幾個(gè)新增關(guān)鍵功能的支持，包括Flash Attention、HIP Graph、vLLM等。
與上一代軟硬件組合相比，使用MI300X和ROCm 6跑Llama 2 70B文本生成，AI推理延遲速度提高了約8倍。
單張GPU跑Llama 2 13B推理任務(wù)時(shí)，MI300X的性能是H100的1.2倍。
Meta宣布與AMD擴大合作伙伴關(guān)系，將MI300X與ROCm 6結合使用，為AI推理工作負載提供動(dòng)力，并認可AMD對Llama 2系列語(yǔ)言模型做的ROCm 6優(yōu)化。
AMD正通過(guò)收購AI軟件創(chuàng )企Nod.ai和Mipsology，利用廣泛的開(kāi)源AI軟件模型、算法、框架、編譯器，擴展開(kāi)源戰略，推進(jìn)基于編譯器的優(yōu)化，加快客戶(hù)互動(dòng)等組合策略，來(lái)加強軟件能力、簡(jiǎn)化開(kāi)發(fā)，持續改善開(kāi)發(fā)者體驗。
AMD還繼續通過(guò)戰略生態(tài)系統伙伴關(guān)系投資軟件能力，數據湖供應商databricks、AI創(chuàng )企Essential AI、為企業(yè)客戶(hù)提供大語(yǔ)言模型的Lamini的聯(lián)合創(chuàng )始人均來(lái)到現場(chǎng)進(jìn)行分享，談?wù)撍麄內绾卫肕I300X芯片和ROCm 6軟件堆棧為企業(yè)客戶(hù)提供差異化的AI解決方案。從3.0版本開(kāi)始，OpenAI標準Triton 3.0將添加對AMD GPU芯片開(kāi)箱即用的支持。
04.Ryzen 8040：為AI PC提供動(dòng)力，跑生成式AI性能大漲60%
AMD的AI布局已覆蓋云邊端，除了Instinct加速器外，還有面向數據中心和邊緣推理的Alveo加速器、數據中心x86處理器EPYC、用于A(yíng)I+傳感器嵌入式推理的Versal AI Edge、為消費級PC市場(chǎng)打造的Ryzen移動(dòng)處理器。
面向個(gè)人AI處理任務(wù)，AMD在NPU中為移動(dòng)AI處理能效設計了專(zhuān)用AI引擎，在CPU添加了AVX-512 VNNI指令集來(lái)加速AI工作負載，Radeon顯卡也內置有為并行處理AI工作負載優(yōu)化的引擎。
AMD Ryzen 8040系列移動(dòng)處理器為尋求具有可信性能和運行先進(jìn)AI體驗能力的筆記本電腦創(chuàng )意專(zhuān)業(yè)人士、游戲玩家和主流用戶(hù)而設計，采用“Zen 4”CPU和RDNA 3架構GPU。
這款最新處理器支持LPDDR5內存，跑Llama 2大語(yǔ)言模型、視覺(jué)模型等生成式AI任務(wù)的性能是上一代7040處理器的1.4倍。
與英特爾酷睿i9 13900H相比，Ryzen 8040系列在多線(xiàn)程處理、游戲、內容創(chuàng )作等任務(wù)的性能均更加出色。
Ryzen 9 8945HS處理器基于“Zen 4”設計，擁有多達8個(gè)核心，可提供16個(gè)線(xiàn)程的處理能力。宏碁、華碩、戴爾、惠普、聯(lián)想、雷蛇等OEM廠(chǎng)商預計將從2024年第一季度開(kāi)始供應Ryzen 8040系列。Ryzen 8040系列移動(dòng)處理器已經(jīng)準備好利用Windows 11生態(tài)系統的全方位優(yōu)化性能，包括全面支持Windows 11安全功能。
AMD還廣泛提供Ryzen AI軟件，供用戶(hù)在其AI PC上輕松構建和部署機器學(xué)習模型。今天AMD Ryzen AI提供有超過(guò)100種AI驅動(dòng)的體驗。1.0版本的Ryzen AI軟件支持開(kāi)源ONNX運行時(shí)推理引擎，并在Hugging Face上提供一個(gè)預優(yōu)化的模型市場(chǎng)，使用戶(hù)幾分鐘內就能啟動(dòng)和運行AI模型。
帶有Ryzen AI的筆記本電腦可將AI模型卸載到NPU，從而釋放CPU以降低功耗，同時(shí)延長(cháng)電池壽命。Ryzen AI軟件現已廣泛可用。開(kāi)發(fā)者可以利用它來(lái)構建和部署受過(guò)PyTorch、TensorFlow等框架訓練的AI模型，并在由Ryzen AI提供支持的特定筆記本電腦上運行它們。開(kāi)發(fā)者可在A(yíng)MD Ryzen AI計算資源上快速部署生成式AI。該軟件獲得了對Whisper等自動(dòng)語(yǔ)音識別模型和OPT、Llama 2等大模型的早期訪(fǎng)問(wèn)支持，以便解鎖語(yǔ)音轉寫(xiě)、文檔摘要等功能。AMD最近還宣布了Pervasive AI開(kāi)發(fā)者挑戰賽，有生成式AI、機器人AI、PC AI三個(gè)賽道可選擇。其中PC AI是讓開(kāi)發(fā)者借助Ryzen AI，使用視覺(jué)、語(yǔ)音或領(lǐng)域優(yōu)化的大語(yǔ)言模型為PC構建應用程序。每個(gè)賽道的最高獎金為10000美元，二等獎和三等獎也會(huì )獲得相應獎勵。免費硬件申請將于2024年1月31日截止。
05.結語(yǔ)：挺進(jìn)AI芯片市場(chǎng)，AMD蓄勢待發(fā)
長(cháng)久以來(lái)，英偉達一直是AI芯片游戲規則的制定者。AMD Instinct MI300系列加速器的推出，意味著(zhù)AMD成為高性能數據中心AI芯片的核心玩家之一，并且是英偉達有力的競爭對手。AMD初步證明了其在A(yíng)I硬件研發(fā)上的實(shí)力，而其勁敵英偉達能橫掃AI計算市場(chǎng)的真正王牌是形成強大集群的先進(jìn)互連技術(shù)和持續優(yōu)化的軟件。在今日的發(fā)布中，AMD亦展現出其通過(guò)軟件來(lái)升級AI能力的投資布局。被英偉達主導已久的AI芯片戰場(chǎng)，終于出現了令人期待的火藥味。在11月舉行的第三財季電話(huà)會(huì )議上，AMD CEO蘇姿豐告訴投資者，公司預計明年MI300系列的收入將達到20億美元。許多業(yè)內人士也非常期待看到以一己之力打破英特爾與英偉達壟斷的“屠龍勇士”AMD，能夠改變AI芯片市場(chǎng)局勢，書(shū)寫(xiě)新的“AMD yes”故事。畢竟對于迫切需要更多AI算力的下游客戶(hù)來(lái)說(shuō)，更多的AI芯片選擇，總歸不是壞事。
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
加入技術(shù)交流群
