英偉達經(jīng)濟學(xué)：云服務(wù)商在GPU上每花1美元，就能賺7美元！

6月30日消息，英偉達（Nvidia） 超大規模和 HPC 業(yè)務(wù)副總裁兼總經(jīng)理 Ian Buck 近日在美國銀行證券 2024 年全球技術(shù)大會(huì )上表示，客戶(hù)正在投資數十億美元購買(mǎi)新的英偉達硬件，以跟上更新的 AI 大模型的需求，從而提高收入和生產(chǎn)力。

Buck表示，競相建設大型數據中心的公司將特別受益，并在數據中心四到五年的使用壽命內獲得豐厚的回報。即“云提供商在購買(mǎi) GPU 上花費的每一美元，四年內（通過(guò)提供算力服務(wù)，GAAS）都能收回 5 美元?！?/p>

“如果用于推理，則更有利可圖，每花費 1 美元，在同樣的時(shí)間段內就能產(chǎn)生 7 美元的營(yíng)業(yè)額，并且這個(gè)數字還在增長(cháng)?！盉uck說(shuō)道。

英偉達創(chuàng )始人、總裁兼首席執行官黃仁勛和執行副總裁兼首席財務(wù)官Colette Kress此前也曾表達過(guò)同樣的觀(guān)點(diǎn)。

他們此前曾表示，借助CUDA算法創(chuàng )新，英偉達將H100的LLM推斷速度提升至原來(lái)的3倍，這可以將Llama 3這類(lèi)的模型的成本降低到原來(lái)的三分之一。而H200在推理性能上較H100幾乎翻了一番，為生產(chǎn)部署帶來(lái)了巨大的價(jià)值。例如，使用7000億參數的LLama 3，單臺HGX H200服務(wù)器可以每秒輸出24000個(gè)Token，同時(shí)支持超過(guò)2400名用戶(hù)。這意味著(zhù)，按照現有的定價(jià)來(lái)看，托管Llama3的API供應商每花費1美元在英偉達HGX H200服務(wù)器上，未來(lái)四年內就可從Llama3 token計費中賺取7美元收入。

圍繞 Llama、Mistral 或 Gemma 的 AI 推理模型正在不斷發(fā)展，并由Token提供服務(wù)。英偉達正在將開(kāi)源 AI 模型打包到名為 Nvidia 推理微服務(wù) (NIM) 的容器中。

英偉達最新推出的Blackwell 針對推理進(jìn)行了優(yōu)化。該 GPU 支持 FP4 和 FP6 數據類(lèi)型，在運行低強度 AI 工作負載時(shí)可進(jìn)一步提高能效。根據官方的數據，與Hopper相比，Blackwell 訓練速度比H100快4倍，推斷速度快30倍，并且能夠實(shí)時(shí)運行萬(wàn)億參數大語(yǔ)言模型生成式AI?？蛇M(jìn)一步將成本和能耗降低到原來(lái)的25分之一。這似乎呼應了黃仁勛多次喊出的“買(mǎi)的越多，省的越多”的口號。但是不可忽視的是，英偉達GPU價(jià)格也在快速上漲。

為 Rubin GPU做準備

很多云提供商提前兩年就已經(jīng)開(kāi)始規劃新的數據中心，并希望了解未來(lái)的AI GPU 架構會(huì )是什么樣子。

英偉達在6月初的Computex 2024展會(huì )上宣布，Blackwell芯片現已開(kāi)始投產(chǎn)，即將替代Hopper芯片。2025年將會(huì )推出Blackwell Ultra GPU芯片。英偉達還公布了下一代集成HBM4的名為“Rubin”的AI平臺，該GPU將于2026年發(fā)布，以替代Blackwell和Blackwell Ultra GPU。

“對我們來(lái)說(shuō)，做到這一點(diǎn)真的很重要——數據中心不是憑空而來(lái)的，它們是大型建設項目。他們需要了解Blackwell 數據中心會(huì )是什么樣子，它與Hopper數據中心有何不同？”Buck說(shuō)。

Blackwell 提供了一個(gè)轉向更密集的計算形式和使用液體冷卻等技術(shù)的機會(huì )，因為空氣冷卻效率不高。

英偉達已經(jīng)宣布每年都會(huì )推出一款新的 GPU的節奏，這有助于公司跟上 AI 發(fā)展的步伐，進(jìn)而幫助客戶(hù)規劃產(chǎn)品和 AI 戰略。

Buck說(shuō)：“英偉達已經(jīng)與那些最大的客戶(hù)針對Rubin GPU探討了一段時(shí)間——他們知道我們的目標和時(shí)間表?！?/p>

AI 的速度和能力與硬件直接相關(guān)。在 GPU 上投入的資金越多，AI公司就能訓練出更大的模型，從而帶來(lái)更多收入。

微軟和谷歌將自己的未來(lái)寄托在人工智能上，并競相開(kāi)發(fā)更強大的大型語(yǔ)言模型。微軟嚴重依賴(lài)新的 GPU 來(lái)支撐其 GPT-4 后端，而谷歌則依賴(lài)其 TPU 來(lái)運行其人工智能基礎設施。

Blackwell供不應求

英偉達目前正在生產(chǎn) Blackwell GPU，樣品很快就會(huì )發(fā)布。但客戶(hù)可以預料，首批 GPU（將于年底發(fā)貨）將供不應求。

“每一項新技術(shù)的轉型都會(huì )帶來(lái)……供需方面的挑戰。我們在 Hopper 上就經(jīng)歷過(guò)這種情況，Blackwell 的產(chǎn)能提升也將面臨類(lèi)似的供需限制……今年年底到明年，”Buck 說(shuō)道。

Buck還表示，數據中心公司正在淘汰 CPU 基礎設施，為更多 GPU 騰出空間。Hopper GPU 可能會(huì )被保留，而基于舊 Ampere 和 Volta 架構的舊 GPU 則會(huì )被轉售。

英偉達將保留多個(gè)級別的 GPU，隨著(zhù) Blackwell 的不斷發(fā)展，Hopper 將成為其主流 AI GPU。英偉達已經(jīng)進(jìn)行了多項硬件和軟件改進(jìn)，以提高 Hopper 的性能。

未來(lái)所有云提供商都將提供 Blackwell GPU 和服務(wù)器。

專(zhuān)家模型

Buck 表示，GPT-4 模型大約有 1.8 萬(wàn)億個(gè)參數，由于 AI 擴展尚未達到極限，參數數量還將繼續增長(cháng)。

“人類(lèi)大腦的規模大概相當于 1000 億到 150 萬(wàn)億個(gè)參數，具體數量取決于個(gè)人，取決于大腦中的神經(jīng)元和連接。目前，人工智能的參數規模約為 2 萬(wàn)億……我們尚未進(jìn)行推理?！盉uck說(shuō)道。

未來(lái)將會(huì )有一個(gè)包含數萬(wàn)億個(gè)參數的大型模型，在此基礎上會(huì )構建更小、更專(zhuān)業(yè)的模型。參數數量越多對英偉達越有利，因為它有助于銷(xiāo)售更多 GPU。

英偉達正在調整其 GPU 架構，從原來(lái)的基礎模型方法轉向混合專(zhuān)家模型。專(zhuān)家混合涉及多個(gè)神經(jīng)網(wǎng)絡(luò )通過(guò)相互參考來(lái)驗證答案。

Buck說(shuō)：“1.8 萬(wàn)億參數的 GPT 模型有 16 個(gè)不同的神經(jīng)網(wǎng)絡(luò )，它們都試圖回答各自層的部分問(wèn)題，然后商討、會(huì )面并決定正確答案是什么?！?/p>

即將推出的 GB200 NVL72 機架式服務(wù)器配備 72 個(gè) Blackwell GPU 和 36 個(gè) Grace CPU，專(zhuān)為混合專(zhuān)家模型而設計。多個(gè) GPU 和 CPU 相互連接，從而支持混合專(zhuān)家模型。

“這些家伙都可以相互通信，而不會(huì )在 I/O 上受阻。這種演變在模型架構中不斷發(fā)生，”Buck 說(shuō)。

鎖定客戶(hù)的技巧

英偉達首席執行官黃仁勛本月在 HPE 的 Discover 大會(huì )上發(fā)表了一些激烈的言論，呼吁人們購買(mǎi)更多該公司的硬件和軟件。

英偉達和 HPE 宣布推出一系列新產(chǎn)品，其名稱(chēng)簡(jiǎn)單明了，為“Nvidia AI Computing by HPE”。

“我們設計了小號、中號、大號和特大號，你可以選擇。而且正如你所知，你買(mǎi)得越多，省得越多，”黃在 Discover 的舞臺上說(shuō)道。

黃仁勛今年早些時(shí)候還發(fā)表了另一條備受爭議的言論，當時(shí)他說(shuō)未來(lái)的程序員不需要學(xué)習如何編寫(xiě)代碼。但在 Nvidia GPU 上加載 AI 模型需要了解命令行和腳本，以創(chuàng )建和運行 AI 環(huán)境。

英偉達的專(zhuān)有言論和在人工智能市場(chǎng)的完全主導地位使其成為反壟斷調查的目標。

當 Buck 試圖淡化人們對 CUDA 的擔憂(yōu)時(shí)，他必須小心謹慎，他表示“護城河是一個(gè)復雜的詞”。

英偉達兩位高管都表示，CUDA 是其 GPU 的必備軟件——要最大限度地發(fā)揮 GPU 的性能，就需要 CUDA。開(kāi)源軟件可以與 Nvidia GPU 配合使用，但無(wú)法提供 CUDA 庫和運行時(shí)的強大功能。

向下兼容性和連續性是英偉達的獨特優(yōu)勢，英偉達對AI 模型和軟件的支持可以延續到下一代 GPU。但對于英特爾的 Gaudi 等 ASIC 則不然，它們必須針對每個(gè)新模型重新進(jìn)行調整。

編輯：芯智訊-浪客劍 編譯自：HPCwire