英偉達最新GPU和互聯(lián)路線(xiàn)圖

在計算、網(wǎng)絡(luò )和圖形發(fā)展史上，Nvidia 有許多獨特之處。但其中之一就是它目前手頭有如此多的資金，而且由于其架構、工程和供應鏈，它在生成式人工智能市場(chǎng)處于領(lǐng)先地位，因此它可以隨心所欲地實(shí)施它認為可能取得進(jìn)展的任何路線(xiàn)圖。

到 21 世紀，Nvidia 已經(jīng)是一個(gè)非常成功的創(chuàng )新者，它實(shí)際上沒(méi)有必要擴展到數據中心計算領(lǐng)域。但 HPC 研究人員將 Nvidia 帶入了加速計算領(lǐng)域，然后 AI 研究人員利用 GPU 計算創(chuàng )造了一個(gè)全新的市場(chǎng)，這個(gè)市場(chǎng)已經(jīng)等待了四十年，希望以合理的價(jià)格實(shí)現大量計算，并與大量數據碰撞，真正讓越來(lái)越像思考機器的東西成為現實(shí)。

向 Danny Hillis、Marvin Minksy 和 Sheryl Handler 致敬，他們在 20 世紀 80 年代嘗試制造這樣的機器，當時(shí)他們創(chuàng )立了 Thinking Machines 來(lái)推動(dòng) AI 處理，而不是傳統的 HPC 模擬和建模應用程序，以及 Yann LeCun，他當時(shí)在 AT&T 貝爾實(shí)驗室創(chuàng )建了卷積神經(jīng)網(wǎng)絡(luò )。他們既沒(méi)有數據，也沒(méi)有計算能力來(lái)制造我們現在所知道的 AI。當時(shí)，Jensen Huang 是 LSI Logic 的董事，該公司生產(chǎn)存儲芯片，后來(lái)成為 AMD 的 CPU 設計師。就在 Thinking Machines 在 20 世紀 90 年代初陷入困境（并最終破產(chǎn)）時(shí)，黃仁勛在圣何塞東側的 Denny's 與 Chris Malachowsky 和Curtis Priem 會(huì )面，他們創(chuàng )立了 Nvidia。正是 Nvidia 看到了來(lái)自研究和超大規模社區的新興人工智能機遇，并開(kāi)始構建系統軟件和底層大規模并行硬件，以實(shí)現自第一天起就一直是計算一部分的人工智能革命夢(mèng)想。

這一直是計算的最終狀態(tài)，也是我們一直在走向的奇點(diǎn)——或者可能是兩極。如果其他星球上有生命，那么生命總會(huì )進(jìn)化到這樣一個(gè)地步：那個(gè)世界擁有大規模毀滅性武器，并且總會(huì )創(chuàng )造出人工智能。而且很可能是在同一時(shí)間。在那一刻之后，那個(gè)世界對這兩種技術(shù)的處理方式?jīng)Q定了它能否在大規模滅絕事件中幸存下來(lái)。

這聽(tīng)起來(lái)可能不像是討論芯片制造商發(fā)展路線(xiàn)圖的正常開(kāi)場(chǎng)白。事實(shí)并非如此，因為我們生活在一個(gè)有趣的時(shí)代。

在臺北舉行的年度 Computex 貿易展上，Nvidia 的聯(lián)合創(chuàng )始人兼首席執行官在主題演講中再次試圖將生成式人工智能革命（他稱(chēng)之為第二次工業(yè)革命）置于其背景中，并一窺人工智能的未來(lái)，尤其是 Nvidia 硬件的未來(lái)。我們獲得了 GPU 和互連路線(xiàn)圖的預覽，據我們所知，這是直到最后一刻才列入計劃的一部分，黃仁勛和他的主題演講通常都是這樣。

革命不可避免

生成式人工智能的關(guān)鍵在于規模，黃仁勛提醒我們這一點(diǎn)，并指出 2022 年底的 ChatGPT 時(shí)刻之所以會(huì )發(fā)生，只有出于技術(shù)和經(jīng)濟原因。

要實(shí)現 ChatGPT 的突破，需要大幅提高 GPU 的性能，然后在此基礎上增加大量 GPU。Nvidia 確實(shí)實(shí)現了性能，這對于 AI 訓練和推理都很重要，而且重要的是，它大大減少了生成大型語(yǔ)言模型響應中的 token 所需的能量。請看一看：

從“Pascal” P100 GPU 一代到“Blackwell” B100 GPU 一代，八年間 GPU 的性能提升了 1053 倍，后者將于今年晚些時(shí)候開(kāi)始出貨，并將持續到 2025 年。（我們知道圖表上說(shuō)的是 1000 倍，但這并不準確。）

部分性能是通過(guò)降低浮點(diǎn)精度來(lái)實(shí)現的——降低了 4 倍，從 Pascal P100、Volta V100 和 Ampere A100 GPU 中的 FP16 格式轉變?yōu)?Blackwell B100s 中使用的 FP4 格式。如果沒(méi)有這種精度的降低，性能提升將只有 263 倍，而這不會(huì )對 LLM 性能造成太大影響——這要歸功于數據格式、軟件處理和硬件中的大量數學(xué)魔法。請注意，對于 CPU 市場(chǎng)的八年來(lái)說(shuō)，這已經(jīng)相當不錯了，每個(gè)時(shí)鐘的核心性能提高 10% 到 15%，核心數量增加 25% 到 30% 都是正常的。如果升級周期為兩年，那么在同樣的八年里，CPU 吞吐量將增加 4 到 5 倍。

如上所示，每單位工作量的功耗降低是一個(gè)關(guān)鍵指標，因為如果你無(wú)法為系統供電，你就無(wú)法使用它。令牌的能源成本必須降低，這意味著(zhù) LLM 產(chǎn)生的每令牌能源的降低速度必須快于性能的提高。

在他的主題演講中，為了給你提供更深入的背景知識，在 Pascal P100 GPU 上生成一個(gè) token 需要 17000 焦耳的能量，這大致相當于點(diǎn)亮兩個(gè)燈泡兩天，平均每個(gè)單詞需要大約三個(gè) token。所以如果你要生成很多單詞，那就需要很多燈泡！現在你開(kāi)始明白為什么八年前甚至不可能以能夠使其在任務(wù)上表現良好的規模運行 LLM?？纯丛?1.8 萬(wàn)億個(gè)參數 8 萬(wàn)億個(gè) token 數據驅動(dòng)模型的情況下訓練 GPT-4 專(zhuān)家混合模型 LLM 所需的能力：

P100 集群的耗電量超過(guò) 1000 千兆瓦時(shí)，這真是太驚人了。

黃仁勛解釋說(shuō)，借助 Blackwell GPU，公司將能夠在約 10,000 個(gè) GPU 上用大約 10 天的時(shí)間來(lái)訓練這個(gè) GPT-4 1.8T MoE 模型。

如果人工智能研究人員和 Nvidia 沒(méi)有轉向降低精度，那么在這八年的時(shí)間里性能提升只會(huì )是 250 倍。

降低能源成本是一回事，降低系統成本又是另一回事。在傳統摩爾定律的末期，兩者都是非常困難的技巧，因為每 18 到 24 個(gè)月晶體管就會(huì )縮小一次，芯片變得越來(lái)越便宜、越來(lái)越小?，F在，計算復合體已經(jīng)達到光罩極限，每個(gè)晶體管都變得越來(lái)越昂貴——因此，由晶體管制成的設備本身也越來(lái)越昂貴。HBM 內存是成本的很大一部分，先進(jìn)封裝也是如此。

在 SXM 系列 GPU 插槽中（非 PCI-Express 版本的 GPU），P100 的發(fā)布價(jià)約為 5,000 美元；V100 的發(fā)布價(jià)約為 10,000 美元；A100 的發(fā)布價(jià)約為 15,000 美元；H100 的發(fā)布價(jià)約為 25,000 至 30,000 美元。B100 的預計售價(jià)在 35,000 至 40,000 美元之間——黃仁勛本人在今年早些時(shí)候接受CNBC采訪(fǎng)時(shí)曾表示，Blackwell 的價(jià)格是這個(gè)數字。

黃仁勛沒(méi)有展示的是，每一代需要多少 GPU 來(lái)運行 GPT-4 1.8T MoE 基準測試，以及這些 GPU 或電力在運行時(shí)的成本是多少。因此，我們根據黃所說(shuō)的需要大約 10,000 個(gè) B100 來(lái)訓練 GPT-4 1.8T MoE 大約十天，制作了一個(gè)電子表格：

在這八年中，GPU 價(jià)格上漲了 7.5 倍，但性能卻提高了 1,000 多倍。因此，現在可以想象使用 Blackwell 系統在十天左右的時(shí)間內訓練出具有 1.8 萬(wàn)億個(gè)參數的大型模型，比如 GPT-4，而兩年前 Hopper 一代剛開(kāi)始時(shí)，也很難在數月內訓練出具有數千億個(gè)參數的模型?，F在，系統成本將與該系統兩年的電費相當。（GPU 約占 AI 訓練系統成本的一半，因此購買(mǎi) 10,000 個(gè) GPU 的 Blackwell 系統大約需要 8 億美元，運行十天的電費約為 540,000 美元。如果購買(mǎi)更少的 GPU，您可以減少每天、每周或每月的電費，但您也會(huì )相應增加訓練時(shí)間，這會(huì )使成本再次上漲。）

你不可能贏(yíng)，但你也不能放棄。

猜猜怎么著(zhù)？Nvidia 也做不到。所以就是這樣。即使 Hopper H100 GPU 平臺是“歷史上最成功的數據中心處理器”，正如黃仁勛在 Computex 主題演講中所說(shuō)，Nvidia 也必須繼續努力。

附注：我們很樂(lè )意將 Hopper/Blackwell 的這次投資周期與六十年前 IBM System/360 的發(fā)布進(jìn)行比較，正如我們去年所解釋的那樣，當時(shí) IBM 做出了至今仍是企業(yè)歷史上最大的賭注。1961 年，當 IBM 啟動(dòng)其“下一個(gè)產(chǎn)品線(xiàn)”研發(fā)項目時(shí)，它是一家年收入 22 億美元的公司，在整個(gè) 60 年代花費超過(guò) 50 億美元。藍色巨人是華爾街第一家藍籌公司，正是因為它花費了兩年的收入和二十年的利潤來(lái)創(chuàng )建 System/360。是的，它的一些部分有些晚了，表現也不佳，但它徹底改變了企業(yè)數據處理的性質(zhì)。IBM 認為它可能會(huì )在 60 年代后期帶來(lái) 600 億美元的銷(xiāo)售額（以我們調整后的 2019 年美元計算），但他們的銷(xiāo)售額只有 1,390 億美元，利潤約為 520 億美元。

Nvidia 無(wú)疑為數據中心計算的第二階段掀起了更大的浪潮。那么現在真正的贏(yíng)家可能被稱(chēng)為綠色芯片公司（green chip company）嗎？

抵抗是徒勞的

無(wú)論是 Nvidia 還是其競爭對手或客戶(hù)都無(wú)法抵擋未來(lái)的引力以及生成性人工智能帶來(lái)的利潤和生產(chǎn)力承諾，而這種承諾不僅僅是在我們耳邊低語(yǔ)，更是在屋頂上大聲呼喊。

因此，Nvidia 將加快步伐，突破極限。憑借 250 億美元的銀行存款和今年預計超過(guò) 1000 億美元的收入，以及可能再有 500 億美元的銀行存款，它有能力突破極限，帶領(lǐng)我們走向未來(lái)。

“在這一驚人增長(cháng)時(shí)期，我們希望確保繼續提高性能，繼續降低成本——訓練成本、推理成本——并繼續擴展 AI 功能以供每家公司使用。我們越提高性能，成本下降得就越厲害?！?/p>

正如我們上面所列的表格清楚表明的那樣，這是事實(shí)。

這給我們帶來(lái)了更新的 Nvidia 平臺路線(xiàn)圖：

這有點(diǎn)難讀，所以讓我們仔細研究一下。

在 Hopper 一代中，最初的 H100 于 2022 年推出，具有六層 HBM3 內存，并配有一個(gè)具有 900 GB/秒端口的 NVSwitch 將它們連接在一起，并配有 Quantum X400（以前稱(chēng)為 Quantum-2）InfiniBand 交換機，具有 400 Gb/秒端口和 ConnectX-7 網(wǎng)絡(luò )接口卡。2023 年，H200 升級為六層 HBM3E 內存，具有更高的容量和帶寬，這提高了 H200 封裝中底層 H100 GPU 的有效性能。BlueField 3 NIC 也問(wèn)世了，它為 NIC 添加了 Arm 內核，以便它們可以執行附加工作。

2024 年，Blackwell GPU 當然會(huì )推出八層 HBM3e 內存，并與具有 1.8 TB/秒端口的 NVSwitch 5、800 Gb/秒 ConnectX-8 NIC 以及具有 800 GB/秒端口的 Spectrum-X800 和 Quantum-X800 交換機配對。

我們現在可以看到，到 2025 年，B200（上圖稱(chēng)為 Blackwell Ultra）將擁有 8 堆疊 HBM3e 內存，每疊有 12 個(gè)die高。B100 中的疊層大概是 8 堆疊，因此這應該代表 Blackwell Ultra 上的 HBM 內存容量至少增加 50%，甚至可能更多，具體取決于所使用的 DRAM 容量。HBM3E 內存的時(shí)鐘速度也可能更高。Nvidia 對 Blackwell 系列的內存容量一直含糊其辭，但我們在 3 月份 Blackwell 發(fā)布會(huì )上估計，B100 將擁有 192 GB 內存和 8 TB/秒帶寬。隨著(zhù)未來(lái)的 Blackwell Ultra 的推出，我們預計會(huì )有更快的內存，如果看到 288 GB 內存和 9.6 TB/秒帶寬，我們也不會(huì )感到驚訝。

Nvidia 還將在 2025 年推出更高基數的 Spectrum-X800 以太網(wǎng)交換機，可能配備六個(gè) ASIC，以創(chuàng )建無(wú)阻塞架構，就像其他交換機通常做的那樣，將總帶寬翻倍，從而使每個(gè)端口的帶寬或交換機的端口數量翻倍。

2026 年，我們將看到“Rubin” R100 GPU，它在去年發(fā)布的 Nvidia 路線(xiàn)圖中曾被稱(chēng)為 X100，正如我們當時(shí)所說(shuō)，我們認為 X 是一個(gè)變量，而不是任何東西的縮寫(xiě)。事實(shí)證明確實(shí)如此。Rubin GPU 將使用 HBM4 內存，并將有 8 個(gè)堆棧，大概每個(gè)堆棧都有 12 個(gè) DRAM，而 2027 年的 Rubin Ultra GPU 將有 12 個(gè) HBM4 內存堆棧，并且可能還有更高的堆棧（盡管路線(xiàn)圖沒(méi)有提到這一點(diǎn)）。

我們要等到 2026 年，也就是當前“Grace”CPU 的后續產(chǎn)品“Vera”CPU 問(wèn)世時(shí)，Nvidia 才會(huì )推出一款更強大的 Arm 服務(wù)器 CPU。NVSwitch 6 芯片與這些芯片配對，端口速度為 3.6 TB/秒，ConnectX-9 的端口速度為 1.6 Tb/秒。有趣的是，還有一種名為 X1600 IB/以太網(wǎng)交換機的產(chǎn)品，這可能意味著(zhù) Nvidia 正在融合其 InfiniBand 和以太網(wǎng) ASIC，就像 Mellanox 十年前所做的那樣。

或者，這可能意味著(zhù) Nvidia 試圖讓我們所有人都感到好奇，只是為了好玩。2027 年還有其他跡象表明，這可能意味著(zhù)超級以太網(wǎng)聯(lián)盟將完全支持 NIC 和交換機，甚至可能使用 UALink 交換機將節點(diǎn)內和跨機架將 GPU 連接在一起。

屆時(shí)我們可能將會(huì )看到。