獨家專(zhuān)訪(fǎng)AMD高級副總裁王啟尚：打造開(kāi)放生態(tài)鏈 擁抱AI大時(shí)代

王啟尚先生有著(zhù)30多年的顯卡和芯片工程研發(fā)經(jīng)驗，目前在AMD負責架構、IP和軟件等GPU技術(shù)開(kāi)發(fā)，同時(shí)領(lǐng)導著(zhù)AMD顯卡、數據中心GPU、客戶(hù)端和半定制業(yè)務(wù)SoC的工程研發(fā)。

訪(fǎng)談從AI LLM大語(yǔ)言模型開(kāi)始。

王啟尚在此前3月份北京舉辦的AMD AI PC創(chuàng )新峰會(huì )上就開(kāi)門(mén)見(jiàn)山地分析了LLM的發(fā)展趨勢，大型閉源模型越來(lái)越龐大，比如GPT-4的參數量已經(jīng)達到1.76萬(wàn)億；即便是相對小型的開(kāi)源模型也在膨脹，Llama 2參數量達700億，阿里通義千問(wèn)2達到720億。

如此龐大的LLM，對于算力的需求是十分“饑渴”的，同樣需要海量的電力去支撐，遠超一般數據中心的承受能力，越發(fā)引起行業(yè)的擔憂(yōu)。

對此，王啟尚分析指出，基礎大模型的參數規模成長(cháng)曲線(xiàn)比摩爾定律來(lái)得還要猛烈，幾乎每?jì)赡昃驮鲩L(cháng)多達5-10倍，所以誕生了新的“混合專(zhuān)家模型”(MOE)策略，將單一大模型變?yōu)楸姸鄬?zhuān)家模型的集合，每一個(gè)都有自己專(zhuān)門(mén)擅長(cháng)的領(lǐng)域，因此不需要超級龐大甚至無(wú)限制，相信未來(lái)會(huì )越來(lái)越流行。

在硬件方面，每一年都在更新?lián)Q代，匹配大模型的快速進(jìn)化趨勢，重點(diǎn)就是提升算力和算法、內存容量和帶寬。

其中，算力和精度密切相關(guān)，趨勢是越來(lái)越低，前幾年需要16位，現在逐漸轉向8位精度，AMD下一代CDNA4 MI350會(huì )進(jìn)一步降至6位或者4位，而最終可能會(huì )走向2位或者1位——人腦就是1位或者2位的。

當然，這個(gè)精度也要看模型的設計，有時(shí)可能需要量化和重新訓練。

目前來(lái)看，沒(méi)什么“魔法”大幅降低硬件的功耗，能做的就是努力提升能效。

比如AMD的下一代產(chǎn)品，性能可以提升35倍，但功耗不會(huì )增加這么多，客戶(hù)依然愿意購買(mǎi)越來(lái)越多的GPU，畢竟算力依然不夠。

王啟尚承認，電力的問(wèn)題會(huì )一直存在，未來(lái)數據中心可能真的需要自建發(fā)電廠(chǎng)。

回到距離我們更近的AI產(chǎn)品，比如說(shuō)Strix Point的下一代移動(dòng)處理器銳龍AI 300系列，NPU的算力達到了50TOPS，可以滿(mǎn)足更多對算力有需求的場(chǎng)景，更多地接手CPU、GPU的工作。

王啟尚表示，每一種AI引擎都有適合自己的工作，比如CPU主要做通用運算，GPU可以快速訓練大模型，NPU則可以達成最低的功耗和最高的能效，當然將負載遷移到NPU上都需要一定的優(yōu)化和時(shí)間。

特別是在GPU、NPU之間，存在著(zhù)折衷和妥協(xié)，取決于你看中高速度還是高能效。

另一方面，在未來(lái)，AMD希望通過(guò)多層的Graph Compile 編譯器，根據系統里的AI引擎類(lèi)別，可以將不同的負載分配給不同的AI引擎，讓CPU、GPU、NPU同時(shí)跑起來(lái)，達到最高效率。

不過(guò)這方面還需要一定的時(shí)間，目前仍是將全部的工作負載放在同一個(gè)編譯器里執行，我們能做的是讓整個(gè)模型變得更成熟，使其簡(jiǎn)單地進(jìn)行編譯最佳化，但這仍需要一定的人力成本。

當筆者問(wèn)到，說(shuō)起CPU、GPU、NPU的多引擎組合，Intel也已經(jīng)具備全線(xiàn)實(shí)力，NVIDIA也在嘗試做自己的CPU，AMD又該怎么辦呢？

王啟尚認為，每一家廠(chǎng)商都有自己的獨特優(yōu)勢，AMD的三種引擎在業(yè)內都是非常好的，也非常均衡。

未來(lái)，AMD將繼續發(fā)揮三種引擎都可以提供最佳狀態(tài)的優(yōu)勢，每一樣都要做好，同時(shí)延續AMD一貫的企業(yè)文化，在軟件方面堅持開(kāi)源，和行業(yè)伙伴共同創(chuàng )新，打造開(kāi)放的生態(tài)鏈，擁抱AI大時(shí)代。

比如AMD聯(lián)合博通、思科、谷歌、慧與、Intel、Meta、微軟共同宣布了開(kāi)放的行業(yè)標準UALink(Ultra Accelerator Link)，共同推進(jìn)AI基礎設施建設。

在這八大創(chuàng )始成員中，谷歌、慧與、Meta、微軟都是數據中心客戶(hù)，都非常高興能有這樣的開(kāi)放標準，可以更標準化、更容易地擴建大規模數據中心，不會(huì )被限制在專(zhuān)有方案中。

最后聊到了王啟尚的專(zhuān)長(cháng)，也就是GPU發(fā)展，包括銳龍AI 300系列核顯使用的RDNA 3.5(或者叫RDNA 3+)，以及下一代顯卡將會(huì )使用的RDNA 4。

具體細節目前肯定無(wú)法公開(kāi)，不過(guò)王啟尚透露，RDNA 3.5重點(diǎn)針對APU環(huán)境做了優(yōu)化，比如集成圖形核心規模從12個(gè)CU單元增加到最多提供16個(gè)CU單元（筆者換算為增幅33%），對于A(yíng)PU來(lái)說(shuō)是非常強悍的，可以更好地用于游戲。

RDNA 4在游戲方面的重點(diǎn)就是通過(guò)AI增強游戲體驗，包括更強的光線(xiàn)追蹤，更多的AI加速畫(huà)質(zhì)和幀率。

事實(shí)上，這也是RDNA GPU家族發(fā)展的大方向。

根據王啟尚先生的精彩分享，我們拭目以待AMD在未來(lái)的AI進(jìn)擊！