如何用GPU掙更多的錢(qián)？
加入技術(shù)交流群
顯然，Nvidia 非常希望在競爭對手開(kāi)始蠶食其在 LLM 加速計算方面的近乎壟斷地位之前，能夠在生成式人工智能浪潮中榨取每一分錢(qián)。2022 年夏天，OpenAI 的 ChatGPT 作為 API 推出，改變了數據中心計算的本質(zhì)。
但是，GenAI 彩虹盡頭的聚寶盆并沒(méi)有因為 Nvidia 而結束。隨著(zhù)這些 GPU 的容量被出租，數以萬(wàn)計的企業(yè)正試圖獲得 GPU 時(shí)鐘周期來(lái)訓練自己的模型，并希望以此來(lái)改變自己的業(yè)務(wù)，因此，錢(qián)袋子還在不斷增加。其中包括微軟Azure（15萬(wàn)）、Meta Platforms（15萬(wàn)）、亞馬遜網(wǎng)絡(luò )服務(wù)（5萬(wàn)）、谷歌云（5萬(wàn)）、甲骨文云基礎架構（5萬(wàn)）、騰訊（5萬(wàn)）、百度（3萬(wàn)）和阿里巴巴（2.5萬(wàn)）創(chuàng )建的大規模GPU綜合體，根據Omdia的數據，這些綜合體是根據它們的Nvidia H100分配來(lái)排名的，但其中也包括像CoreWeave（4萬(wàn)）和Lambda（2萬(wàn)）這樣的純GPU云玩家。此外，還有兩張外卡：ByteDance（2 萬(wàn)）和 Tesla（1.5 萬(wàn)），它們是自己的東西，正在做自己的 LLM。
就本分析而言，CoreWeave 和 Lambda（前身為 Lambda Labs）是最有趣的兩家公司，因為它們在 GPU 分配和如何籌集風(fēng)險資本方面大做文章。華爾街也希望它們能在今年或明年進(jìn)行兩次大規模的首次公開(kāi)募股。
我們理解所有的喧囂，但我們懷疑華爾街是否已經(jīng)計算清楚。至于這些首次公開(kāi)募股前公司的估值是否合理，我們留給你們自己去計算。我們認為，從基本面來(lái)看，全球股市整體估值過(guò)高，而且幾十年來(lái)估值越來(lái)越高。但我們不會(huì )因此而影響我們的分析，因為價(jià)值是一個(gè)相對而非絕對的指標。任何擁有 401(k) 賬戶(hù)的人都需要這些熱氣來(lái)證明自己的真實(shí)價(jià)值。(等等，也包括我們）。
我們來(lái)找點(diǎn)樂(lè )子。我們一直保存著(zhù)這張迷人的圖表，它被埋藏在 2023 年 10 月的同一份財務(wù)報告中，其中包括 Nvidia 的路線(xiàn)圖，我們對其進(jìn)行了編輯，使其更加準確，以備不時(shí)之需。至少從 Nvidia 高層的角度來(lái)看，它解釋了 GPU 騙局的經(jīng)濟學(xué)原理：
左邊的餅圖很容易理解。如果你想成為 GPU 云計算領(lǐng)域的佼佼者，那么就從 10 億美元開(kāi)始吧。有了這筆錢(qián)，你就可以花 4 億美元購買(mǎi)總共 16,000 臺 H100 的人工智能服務(wù)器，再花 1 億美元購買(mǎi) Nvidia 的 InfiniBand 網(wǎng)絡(luò )將它們連接起來(lái)。在這四年里，你還需要花費 5 億美元來(lái)建造一個(gè)數據中心，并對其進(jìn)行運營(yíng)、供電和制冷。Nvidia 沒(méi)有對數據中心的成本或其中的鐵件進(jìn)行折舊，但顯然你會(huì )這樣做。
我們不知道 Nvidia 是如何計算出 GPU 計算價(jià)格的，但按照 Nvidia 八路 DGX H100 的克隆版配置 GPU 服務(wù)器最低 40 萬(wàn)美元左右的價(jià)格計算，2000 臺服務(wù)器的成本就是 8 億美元，而不是 4 億美元。我們認為，考慮到對 H100 的巨大需求，超大規模用戶(hù)和云計算構建者不會(huì )得到 46.7% 的折扣。
現在，請看右邊。Nvidia 表示，以每 GPU 小時(shí) 4 美元計算，四年內的租金機會(huì )約為 25 億美元。我們必須施展一定的巫術(shù)才能得出這個(gè)數字，下面我們就來(lái)解釋一下。
首先，如果以 16,000 個(gè) GPU 為例，乘以四年內每小時(shí) 4 美元（按每年 365.25 天，每天 24 小時(shí)計算），那么租金收入流為 22.4 億美元。而不是 25 億美元。右邊的餅圖似乎暗示，通過(guò)使用更昂貴的 InfiniBand 網(wǎng)絡(luò )而不是以太網(wǎng)，可以將 GPU 的利用率提高 15%，四年內價(jià)值 3.5 億美元，并將 GPU 集群的吞吐量提高 25%，價(jià)值 6 億美元。如果假設總性能提高 43.8%，意味著(zhù)只需要 11,130 個(gè) H100 GPU，而不是 16,000 個(gè)，再乘以 11,130 個(gè) GPU 四年內每 GPU 小時(shí) 4 美元的成本，就可以得到 25.1 億美元的租金收入。
啊，但是等等，通過(guò)分析亞馬遜網(wǎng)絡(luò )服務(wù)的 p5 GPU 實(shí)例價(jià)格（我們在去年七月做了詳細分析），我們知道八路 H100 系統實(shí)例的按需實(shí)例價(jià)格為每小時(shí) 98.32 美元，即每 GPU 小時(shí) 12.29 美元。我們估計保留一年的實(shí)例價(jià)格為每小時(shí) 57.63 美元，即每 GPU 小時(shí) 7.20 美元，我們知道保留三年的實(shí)例公布價(jià)格為 43.16 美元，即每 GPU 小時(shí) 5.40 美元。
我們認為 GPU 租金不會(huì )因為使用 InfiniBand 帶來(lái)的性能提升或利用率提高而改變。(我們知道 AWS 在這些 p5 實(shí)例中使用的不是 InfiniBand，而是其自己的 400 Gb/sec 以太網(wǎng) EFAv2 實(shí)現）。因此，情況是這樣的：如果您有 16,000 個(gè) GPU，并且您有按需實(shí)例（50%）、一年實(shí)例（30%）和三年實(shí)例（20%）的混合平均值，那么四年的 GPU 租金收入為 52.7 億美元，H100 GPU 的平均成本為每小時(shí) 9.40 美元。使用 InfiniBand 提高了效率，這意味著(zhù)云計算可以更快地讓更多客戶(hù)使用這些 GPU，但這并不會(huì )改變每小時(shí)的租賃成本。這只是意味著(zhù)客戶(hù)可以更快地完成工作，更多客戶(hù)可以使用它，但一年只有 35,064 個(gè)小時(shí)，365.25 天。
因此，假設 H100 GPU 的價(jià)格更準確，InfiniBand 升級到 800 Gb/秒，AWS 上的 p5 實(shí)例條款組合定價(jià)更準確，我們將如何編輯 Nvidia 制作的圖表：
你需要知道：你為 Nvidia GPU 投入 8 億美元，為數據中心和網(wǎng)絡(luò )再投入 7 億美元，如果你擁有按需和預留實(shí)例客戶(hù)的合理組合，你將再次獲得 5270 美元的收入。
我們認為，AWS、微軟 Azure 和谷歌云基礎架構之間的數字不會(huì )有太大差別，而且我們懷疑，只要 GPU 仍然稀缺，CoreWeave 或 Lambda 等公司的 GPU 價(jià)格（以及收入）最終會(huì )不會(huì )低得多。
一些值得思考的問(wèn)題：長(cháng)期租用較少數量的 GPU 總比短期租用較多數量的 GPU 便宜，這必須與任何給定規模的 LLM 的 GPU 內存容量和 GPU 內存帶寬需求相比較?？蛻?hù)可能需要大量的 GPU 來(lái)存儲，而不是計算，但無(wú)論如何，他們都要為計算付費。
正是考慮到這一點(diǎn)，我們才考慮了最近對 CoreWeave 和 Lambda 的投資。
CoreWeave 是一家比特幣挖礦公司，成立于紐約市郊區的新澤西州羅斯蘭德（Roseland），目前已轉向人工智能處理領(lǐng)域，該公司今天宣布獲得了來(lái)自 Coatue 的 11 億美元 C 輪融資，Magnetar（領(lǐng)投 B 輪融資）以及 Altimeter Capital、Fidelity Management 和 Lykos Global Management 也參與了本輪融資。2023 年 12 月的 B 輪融資達到了 6.42 億美元，而在此之前，2023 年 4 月的 A 輪融資也達到了 4.2 億美元。去年 8 月，CoreWeave 還從 Magnetar 和黑石集團獲得了 23 億美元的債務(wù)融資。正是這筆資金讓 CoreWeave 在過(guò)去一年里從三個(gè)數據中心發(fā)展到十四個(gè)數據中心。這就是 21.6 億美元的風(fēng)險投資和 23 億美元的貸款，總計 44.6 億美元。這聽(tīng)起來(lái)似乎很多，直到你意識到這是數據中心和 GPU 系統的成本，而這些數據中心和 GPU 系統總共擁有約 47,600 個(gè) GPU。這聽(tīng)起來(lái)似乎很多。
但有趣的是。如果將這個(gè) GPU 數量與我們上面的對比進(jìn)行計算，四年的租金收入將達到 156.8 億美元。也就是說(shuō)，44.6 億美元的投入，換回了 156.8 億美元的收入。
假設 CoreWeave 能夠從其基礎設施中獲得 65% 至 70% 的營(yíng)業(yè)收入，就像我們認為 AWS 多年來(lái)能夠從其 GPU 實(shí)例中獲得的收入一樣，然后再支付銷(xiāo)售、營(yíng)銷(xiāo)和其他費用，那么這可能是一項相當不錯的投資業(yè)務(wù)。顯而易見(jiàn)的是，在 GPU 分配方面，組織的規模和速度對 Nvidia 來(lái)說(shuō)非常重要，因為 Nvidia 希望盡快將 GPU 周期交到人們手中，以便將 Jensen Way 傳播得更遠更廣。
CoreWeave 發(fā)現自己可以成為一個(gè)利基市場(chǎng)的參與者，但要與超大規模企業(yè)和最大的云計算建設者競爭，就必須做大。CoreWeave 的估值從上一輪融資到本輪融資的 190 億美元增加了兩倍，你必須自己判斷 CoreWeave 的估值是否合理。還有一個(gè)等式：44.6 億美元進(jìn)賬，190 億美元或更多 IPO 出賬。CoreWeave 創(chuàng )始人發(fā)財了，每個(gè)人都有不同的方式趕上 Nvidia 浪潮。
在這里，Lambda 不得不迎頭趕上。去年 12 月，Lambda 獲得了 3.2 億美元的注資，在 2017 年到 2023 年期間，Lambda 在種子前、種子輪、風(fēng)險輪和債務(wù)融資方面共獲得了 9.322 億美元的融資。Lambda 以服務(wù) AI 工作負載的云起家，轉型成為 AI 系統制造商，現在更專(zhuān)注于做 GPU 云。
再說(shuō)一遍：CoreWeave 和 Lambda 都在說(shuō)，它們能以比大型云更低的成本提供 GPU 訪(fǎng)問(wèn)，但仔細想想，這只會(huì )損害它們的事業(yè)。在 GPU 容量稀缺的情況下，他們應該嘗試收取和 AWS 一樣高的價(jià)格，直到無(wú)法收取為止，或者是 AWS 的價(jià)格減去 SageMaker 和 Bedrock 帶來(lái)的所有價(jià)值。畢竟，你不會(huì )看到 AMD 贈送其 MI300 GPU；它對每單位計算和每單位內存的收費與 Nvidia 對 H100 和 H200 的收費差不多。云計算公司沒(méi)有理由以低于 AWS 的價(jià)格出售 GPU 容量，至少現在還沒(méi)有。當 GPU 容量過(guò)剩時(shí)，情況就會(huì )不同了--屆時(shí)，世界上的高性能計算中心就能一擁而上，以低廉的價(jià)格完成大量科學(xué)工作。也許吧。
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
