英偉達 Q3 狂賣(mài) 50 萬(wàn) GPU，AI 爆火背后是顯卡的爭奪

據統計，英偉達在第三季度大約賣(mài)出了 50 萬(wàn)臺 H100 和 A100 GPU，大語(yǔ)言模型爆火的背后，是眾組織機構對 GPU 的爭奪，是英偉達近千噸的顯卡出貨量。

據市場(chǎng)跟蹤公司 Omdia 的統計分析，英偉達在第三季度大約賣(mài)出了 50 萬(wàn)臺 H100 和 A100 GPU！

此前，Omdia 通過(guò)英偉達第二季度的銷(xiāo)售額，估計其大概賣(mài)出了 900 噸 GPU！

大語(yǔ)言模型火爆的背后，英偉達建立起了強大的顯卡帝國。

在人工智能的大潮之下，GPU 成為了各機構、公司，甚至是國家在全球范圍內爭奪的對象。

在本財年第三季度，Nvidia 在數據中心硬件上獲得了 145 億美元的收入，比去年同期幾乎翻了兩番。

—— 這顯然得益于隨著(zhù)人工智能和高性能計算（HPC）的發(fā)展而變得炙手可熱的 H100 GPU。

市場(chǎng)跟蹤公司 Omdia 表示，Nvidia 售出了近 50 萬(wàn)個(gè) A100 和 H100 GPU，龐大的需求量也導致了，基于 H100 的服務(wù)器需要 36~52 周的時(shí)間才能交付。

從上圖可以看出，Meta 和微軟是最大買(mǎi)家。它們各自采購了多達 15 萬(wàn)個(gè) H100 GPU，大大超過(guò)了谷歌、亞馬遜、甲骨文和騰訊采購的數量（各 5 萬(wàn)個(gè)）。

值得注意的是，大多數服務(wù)器 GPU 都供應給了超大規模云服務(wù)提供商。而服務(wù)器原始設備制造商（如戴爾、聯(lián)想、HPE）目前還無(wú)法獲得足夠的 AI 和 HPC GPU。

Omdia 預計，到 2023 年第四季度，Nvidia 的 H100 和 A100 GPU 的銷(xiāo)量將超過(guò) 50 萬(wàn)臺。

不過(guò)，幾乎所有大量采購 Nvidia H100 GPU 的公司都在為人工智能、HPC 和視頻工作負載開(kāi)發(fā)定制自己的芯片。

因此，隨著(zhù)他們轉向使用自己的芯片，對 Nvidia 硬件的采購量可能會(huì )逐漸減少。

上圖統計了服務(wù)器的情況，2023 年服務(wù)器出貨量同比下跌了 17% 到 20%，而服務(wù)器收入則同比上漲了 6% 到 8%。

Omdia 云和數據中心研究實(shí)踐總監 Vlad Galabov 和數據中心計算和網(wǎng)絡(luò )首席分析師 Manoj Sukumaran 預計，到 2027 年，服務(wù)器市場(chǎng)價(jià)值將達到 1956 億美元，比十年前翻一番多。

隨著(zhù)大公司紛紛轉向超異構計算，或使用多協(xié)處理器來(lái)優(yōu)化服務(wù)器配置，服務(wù)器處理器和協(xié)處理器的需求將持續增長(cháng)。

目前，就運行人工智能訓練和推理的服務(wù)器而言，用于大型語(yǔ)言模型訓練的最流行服務(wù)器是配置了 8 個(gè) H100 / A100 GPU 的 Nvidia DGX 服務(wù)器，以及亞馬遜的配置了 16 個(gè)定制協(xié)處理器（Inferentia 2）的 AI 推理服務(wù)器。

而對于配備了許多定制協(xié)處理器的視頻轉碼服務(wù)器，最流行的是擁有 20 個(gè) VCU（視頻編碼單元）的谷歌視頻轉碼服務(wù)器，以及使用了 12 個(gè)可擴展視頻處理器的 Meta 視頻處理服務(wù)器。

隨著(zhù)一些應用的需求逐漸成熟，構建優(yōu)化定制處理器的成本效益會(huì )越來(lái)越高。

媒體和人工智能會(huì )是超異構計算的早期受益者，之后數據庫和網(wǎng)絡(luò )服務(wù)等其他工作負載也會(huì )出現類(lèi)似的優(yōu)化。

Omdia 的報告指出，高度配置的人工智能服務(wù)器的增加正在推動(dòng)數據中心物理基礎設施的發(fā)展。

例如，今年上半年的機架配電收入比去年增長(cháng)了 17%，在需要液體冷卻解決方案的趨勢之下，數據機柜熱管理收入有望在 2023 年實(shí)現 17% 的增長(cháng)。

另外，隨著(zhù)生成式人工智能服務(wù)的普及，企業(yè)將廣泛采用 AI，而當前人工智能部署速度的瓶頸可能是電力供應。

熱情的買(mǎi)家們

除了上面提到的巨頭們，「民間」也有各種組織和公司紛紛采購 NVIDIA 的 H100，以發(fā)展自己的業(yè)務(wù)，或者投資未來(lái)。

Bit Digital 是一家提供數字資產(chǎn)和云計算服務(wù)的可持續數字基礎設施平臺，總部位于紐約。公司已與客戶(hù)簽訂條款，開(kāi)展 Bit Digital AI 業(yè)務(wù)，為客戶(hù)的 GPU 加速工作負載提供支持。

根據協(xié)議，Bit Digital 將為客戶(hù)提供最少 1024 個(gè)、最多 4096 個(gè) GPU 的租賃服務(wù)。

同時(shí)，Bit Digital 公司已同意購買(mǎi) 1056 塊 NVIDIA H100 GPU，并已支付了首筆定金。

由美國公司 Del Complex 創(chuàng )建的 BlueSea Frontier Compute Cluster（BSFCC）本質(zhì)上是一艘巨大的駁船，包含 10000 個(gè) Nvidia H100 GPU，總價(jià)值 5 億美元。

據路透社報道，一家名為 Voltage Park 的非營(yíng)利組織以 5 億美元的價(jià)格收購了 24000 個(gè) Nvidia H100 芯片。

Volatage Park 是一家人工智能云計算組織，由億萬(wàn)富翁 Jed McCaleb 資助，計劃為人工智能項目租賃計算能力。

Voltage Park 提供的 GPU 價(jià)格低至每 GPU 每小時(shí) 1.89 美元。按需租賃的客戶(hù)可以租用 1 到 8 個(gè) GPU，希望租用更多 GPU 的用戶(hù)則需要保證一定的租賃期限。

與之相比，亞馬遜通過(guò) 8 臺 H100 的 P5 節點(diǎn)為用戶(hù)提供按需服務(wù)，但價(jià)格要貴得多。

以 8 卡的節點(diǎn)來(lái)計算，AWS 的收費為每小時(shí) 98.32 美元，而 Voltage Park 的收費為每小時(shí) 15.12 美元。

在人工智能的熱潮之下，英偉達也是雄心勃勃。

據英國《金融時(shí)報》報道，這家硅谷芯片巨頭希望提高 H100 處理器的產(chǎn)量，目標是明年出貨 150 萬(wàn)至 200 萬(wàn)臺。

由于 ChatGPT 等大型語(yǔ)言模型的爆火，今年 5 月，Nvidia 市值飆升，成功躋身萬(wàn)億美元俱樂(lè )部。

作為開(kāi)發(fā)大型語(yǔ)言模型的基礎組件，GPU 成為了人工智能公司，甚至是國家在全球范圍內爭奪的對象。

《金融時(shí)報》稱(chēng)，沙特阿拉伯和阿聯(lián)酋已經(jīng)購買(mǎi)了數千臺英偉達的 H100 處理器。

與此同時(shí)，有富裕資金的風(fēng)險投資公司，也忙著(zhù)為投資組合中的初創(chuàng )公司購買(mǎi) GPU，以建立自己的人工智能模型。

GitHub 前首席執行官 Nat Friedman 和 Daniel Gross 曾支持過(guò) GitHub、Uber 和其他許多成功的初創(chuàng )公司，他們購買(mǎi)了數千個(gè) GPU，并建立了自己的人工智能云服務(wù)。

這個(gè)名為仙女座集群（Andromeda Cluster）的系統，擁有 2512 個(gè) H100 GPU，能夠在大約 10 天內訓練出一個(gè) 650 億參數的人工智能模型。雖然不是目前最大的模型，但也相當可觀(guān)。

盡管只有兩位投資人支持的初創(chuàng )企業(yè)，才能使用這些資源。此舉還是受到了好評。

Anthropic 的聯(lián)合創(chuàng )始人 Jack Clark 表示，個(gè)人投資者在支持計算密集型初創(chuàng )企業(yè)方面所做的工作超過(guò)了大多數政府。

相比于第三季度的 145 億，第二季度，Nvidia 售出了價(jià)值 103 億美元的數據中心硬件。

對于這個(gè)成績(jì)，Omdia 曾作出估計：一個(gè)帶有散熱器的 Nvidia H100 計算 GPU 的平均重量超過(guò) 3 公斤（6.6 磅），而 Nvidia 在第二季度出貨了超過(guò) 30 萬(wàn)臺 H100，算下來(lái)總重量超過(guò) 900 噸（180 萬(wàn)磅）。

讓我們把這 900 噸具象化一點(diǎn)，它相當于：

4.5 架波音 747

11 架航天飛機軌道飛行器

215827 加侖水

299 輛福特 F150

181818 臺 PlayStation 5s

32727 只金毛獵犬

有網(wǎng)友對此表示：

不過(guò)也有媒體覺(jué)得這個(gè)估計不太準確。因為 Nvidia H100 有三種不同的外形，重量也各不相同。

Nvidia H100 PCIe 顯卡重 1.2 千克，而帶散熱片的 OAM 模塊的最高重量為 2 千克。

假設 Nvidia H100 出貨量的 80% 是模塊，20% 是顯卡，那么單個(gè) H100 的平均重量約為 1.84 千克左右。

不管怎樣吧，這都是一個(gè)驚人的數字。而且英偉達在第三季度的銷(xiāo)量是顯著(zhù)增長(cháng)的，如果按照 50 萬(wàn)塊 GPU 每塊 2 千克，那么總重量就是 1000 噸。

—— 現在的顯卡都是按噸賣(mài)的了，不知道大家怎么看？