英偉達的精明商業(yè)計劃。編譯 | 半導體行業(yè)觀(guān)察
眾所周知，隨著(zhù)生成式AI的大熱，英偉達正在數據中心領(lǐng)域大殺四方，這也幫助他們實(shí)現了更好的業(yè)績(jì)。根據公司公布的數據，截至 2023 年 7 月 30 日的第二季度，英偉達收入為 135.1 億美元，較上一季度增長(cháng) 88%，較去年同期增長(cháng) 101%。不過(guò)，英偉達目前的業(yè)績(jì)預期很多都是基于當前的芯片和硬件所做的。但有分析人士預計，如果包含企業(yè) AI 及其 DGX 云產(chǎn)品，該數據中心的市場(chǎng)規模將至少是游戲市場(chǎng)的 3 倍，甚至是 4.5 倍。瑞銀分析師 Timothy Arcuri 也談道，英偉達目前在 DGX 云計算方面的收入約為 10 億美元。但在與客戶(hù)交談后，他認為，該公司每年可能從該部門(mén)獲得高達 100 億美元的收入。理由是英偉達仍然可以在DGX云上添加額外的產(chǎn)品，包括預先訓練的模型，訪(fǎng)問(wèn) H100 GPU 等等。他說(shuō)，現在這些領(lǐng)先GPU仍然“非常難”獲得訪(fǎng)問(wèn)，能夠根據需要擴大和縮小規模，并與現有的云或內部部署基礎設施“基本上無(wú)縫集成”。因此，英偉達在最近公布了一個(gè)包括 H200、B100、X100、B40、X40、GB200、GX200、GB200NVL、GX200NVL 等新部件在內的產(chǎn)品路線(xiàn)圖，這對英偉達未來(lái)的發(fā)展非常重要。
01.數據中心路線(xiàn)圖
根據 ServeTheHome 披露的路線(xiàn)圖，英偉達的一項重大變化是他們現在將其基于 Arm 的產(chǎn)品和基于 x86 的產(chǎn)品分開(kāi)，其中 Arm 處于領(lǐng)先地位。作為參考，普通客戶(hù)現在甚至無(wú)法購買(mǎi)英偉達 Grace 或 Grace Hopper，因此在 2023-2025 年路線(xiàn)圖的堆棧中顯示它是一個(gè)重要的細節。以下是英偉達提出的路線(xiàn)圖：
在 Arm 方面，英偉達計劃將在 2024 年推出GH200NVL，在 2024 年推出 GB200NVL，然后在 2025 年推出 GX200NVL。我們已經(jīng)看到 x86 NVL 系列與英偉達H100 NVL一起推出，但這些都是基于 Arm 的解決方案。然后是 2024 年推出的 GH200NVL。還有快速跟隨的 GB200NVL，然后是 GX200NVL。還有非 NVL 版本。英偉達在宣布推出雙配置的新型Hopper 144GB HBM3e 型號（可能最終成為 GH200NVL）的時(shí)候，介紹了具有 142GB/144GB 內存的 GH200 （非 NVL）。與當前一代產(chǎn)品相比，雙配置的內存容量增加了 3.5 倍，帶寬增加了 3 倍，包括一臺具有 144 個(gè) Arm Neoverse 核心、8 petaflops 的 AI 性能和 282 GB 最新 HBM3e 內存技術(shù)的產(chǎn)品。GB200 將成為 2024 年的下一代加速器，GX200 將成為 2025 年的下一代加速器。面向 x86 市場(chǎng)，英偉達預計 2024 年將推出 H200，它會(huì )在 Hopper 架構上進(jìn)行更新，并具有更多內存。B100 和 B40是下一代架構部件，隨后是2025年的 X100 和 X40?？紤]到 B40 和 X40 位于“企業(yè)”賽道上，而當前的 L40S 是 PCIe 卡，因此這些可能是 PCIe 卡。在網(wǎng)絡(luò )方面，Infiniband 和以太網(wǎng)都將于 2024 年從 400Gbps 發(fā)展到 800Gbps，然后在 2025 年達到 1.6 Tbps。鑒于我們已經(jīng)在 2023 年初研究了博通 Tomahawk 4 和交換機，并看到了合作伙伴今年的800G 博通 Tomahawk 5 交換機，感覺(jué)有點(diǎn)像英偉達以太網(wǎng)產(chǎn)品組合在以太網(wǎng)方面明顯落后。博通的 2022-2023 年 800G 系列似乎與英偉達的 2024 年升級保持一致，英偉達在 2023 年中期宣布了 Spectrum 4，而Tomahawk 5 則在大約 21-22 個(gè)月前宣布。在業(yè)界，芯片發(fā)布與投入生產(chǎn)之間通常存在很大的差距。
由此可見(jiàn)，在 Infiniband 方面，英偉達是孤軍奮戰。從該路線(xiàn)圖中，我們沒(méi)有看到 NVSwitch/NVLink 路線(xiàn)圖。其他人工智能硬件公司應該會(huì )被英偉達的企業(yè)人工智能路線(xiàn)圖嚇到。在人工智能訓練和推理領(lǐng)域，這意味著(zhù) 2024 年將更新當前的 Hopper，然后在 2024 年晚些時(shí)候過(guò)渡到 Blackwell 一代，并在 2025 年采用另一種架構。在 CPU 方面，我們最近已經(jīng)看到了令人激動(dòng)的更新節奏，x86 方面的核心數量之戰出現了大幅增長(cháng)。例如，英特爾的頂級至強核心數量預計從 2021 年第二季度初到 2024 年第二季度將增加 10 倍以上。英偉達在數據中心領(lǐng)域似乎也在緊跟這一步伐。對于構建芯片的人工智能初創(chuàng )公司來(lái)說(shuō)，考慮到英偉達的新路線(xiàn)圖步伐，這現在是一場(chǎng)競賽。對于英特爾、AMD，或許還有 Cerebras 來(lái)說(shuō)，隨著(zhù)英偉達銷(xiāo)售大型高利潤芯片，他們的目標將會(huì )發(fā)生變化。它還將基于 Arm 的解決方案置于頂級賽道中，這樣它不僅可以在 GPU/加速器方面獲得高利潤，而且可以在 CPU 方面獲得高利潤。一個(gè)值得注意的落后者似乎是以太網(wǎng)方面，這感覺(jué)很奇怪。
02.精準的供應鏈控制
據 SemiAnalysis 說(shuō)法，英偉達之所以能夠在群雄畢至的AI芯片市場(chǎng)一枝獨秀，除了他們在硬件和軟件上的布局外，對供應鏈的控制，也是英偉達能坐穩今天位置的一個(gè)重要原因。英偉達過(guò)去多次表明，他們可以在短缺期間創(chuàng )造性地增加供應。英偉達愿意承諾不可取消的訂單，甚至預付款，從而獲得了巨大的供應。目前，英偉達有 111.5 億美元的采購承諾、產(chǎn)能義務(wù)和庫存義務(wù)。英偉達還額外簽訂了價(jià)值 38.1 億美元的預付費供應協(xié)議。單從這方面看，沒(méi)有其他供應商可以與之相媲美，因此他們也將無(wú)法參與正在發(fā)生的狂熱AI浪潮。自英偉達成立之初起，黃仁勛就一直積極布局其供應鏈，以推動(dòng)英偉達的巨大增長(cháng)雄心。黃仁勛曾在重述了他與臺積電創(chuàng )始人張忠謀的早期會(huì )面中說(shuō)：“1997 年，當張忠謀和我相遇時(shí)，英偉達那一年的營(yíng)收為 2700 萬(wàn)美元。我們有 100 個(gè)人，然后我們見(jiàn)面了。你們可能不相信這一點(diǎn)，但張忠謀曾經(jīng)打銷(xiāo)售電話(huà)。你以前經(jīng)常上門(mén)拜訪(fǎng)，對嗎？你會(huì )進(jìn)來(lái)拜訪(fǎng)客戶(hù)，我會(huì )向張忠謀解釋英偉達做了什么，你知道，我會(huì )解釋我們的芯片尺寸需要有多大，而且每年都會(huì )變得越來(lái)越大而且更大。你會(huì )定期回到英偉達，讓我再講一遍這個(gè)故事，以確保我需要那么多晶圓，明年，我們開(kāi)始與臺積電合作。英偉達做到了，我認為是 1.27 億，然后，從那時(shí)起，我們每年增長(cháng)近 100%，直到現在?！?/span>
張忠謀一開(kāi)始不太相信英偉達需要這么多晶圓，但黃仁勛堅持了下來(lái)，并利用了當時(shí)游戲行業(yè)的巨大增長(cháng)。英偉達通過(guò)大膽供應而取得了巨大成功，而且通常情況下他們都是成功的。當然，他們必須時(shí)不時(shí)地減記價(jià)值數十億美元的庫存，但他們仍然從超額訂購中獲得了積極的收益。如果某件事有效，為什么要改變它？最近這一次，英偉達又搶走了 SK 海力士、三星、美光 HBM 的大部分供應，這是 GPU 和 AI 芯片正在追逐的又一個(gè)核心。英偉達向所有 3 個(gè) HBM 供應商下了非常大的訂單，并且正在擠出除博通/谷歌之外的其他所有人的供應。此外，英偉達還已經(jīng)買(mǎi)下了臺積電 CoWoS 的大部分供應。但他們并沒(méi)有就此止步，他們還出去考察并買(mǎi)下了 Amkor 的產(chǎn)能。英偉達還利用了 HGX 板或服務(wù)器所需的許多下游組件，例如重定時(shí)器、DSP、光學(xué)器件等。拒絕英偉達要求的供應商通常會(huì )受到“胡蘿卜加大棒”的對待。一方面，他們可以從英偉達那里獲得看似難以想象的訂單，另一方面，他們也面臨著(zhù)被英偉達現有供應鏈所設計的問(wèn)題。他們僅在供應商至關(guān)重要并且無(wú)法設計出來(lái)或多源時(shí)才使用提交和不可取消。每個(gè)供應商似乎都認為自己是人工智能贏(yíng)家，部分原因是英偉達從他們那里訂購了大量訂單，而且他們都認為自己贏(yíng)得了大部分業(yè)務(wù)，但實(shí)際上，英偉達的發(fā)展速度是如此之快，甚至已經(jīng)超出了他們的想想。回到上面的市場(chǎng)動(dòng)態(tài)，雖然英偉達的目標是明年數據中心銷(xiāo)售額超過(guò) 700 億美元，但只有谷歌擁有足夠的上游產(chǎn)能，能夠擁有超過(guò) 100 萬(wàn)個(gè)規模的有意義的單元。即使AMD最新調整了產(chǎn)能，他們在A(yíng)I方面的總產(chǎn)能仍然非常溫和，最高只有幾十萬(wàn)臺。
03.精明的商業(yè)計劃
眾所周知，英偉達正在利用 GPU 的巨大需求，利用 GPU 向客戶(hù)進(jìn)行追加銷(xiāo)售和交叉銷(xiāo)售。供應鏈上的多位消息人士告訴SemiAnalysis，英偉達正在基于多種因素對企業(yè)進(jìn)行優(yōu)先分配，這些因素包括但不限于：多方采購計劃、計劃生產(chǎn)自己的人工智能芯片、購買(mǎi)英偉達的 DGX、網(wǎng)卡、交換機和光學(xué)器件等。SemiAnalysis 指出，CoreWeave、Equinix、Oracle、Applied Digital、Lambda Labs、Omniva、Foundry、Crusoe Cloud 和 Cirrascale 等基礎設施提供商所面臨的分配的產(chǎn)品數量遠比亞馬遜等大型科技公司更接近其潛在需求。事實(shí)上，英偉達的捆綁銷(xiāo)售非常成功，盡管之前是一家規模很小的光收發(fā)器供應商，但他們的業(yè)務(wù)在 1 季度內增長(cháng)了兩倍，并有望在明年實(shí)現價(jià)值超過(guò) 10 億美元的出貨量。這遠遠超過(guò)了 GPU 或網(wǎng)絡(luò )芯片業(yè)務(wù)的增長(cháng)率。而且，這些策略是經(jīng)過(guò)深思熟慮的，例如目前，在英偉達系統上通過(guò)可靠的 RDMA/RoCE 實(shí)現 3.2T 網(wǎng)絡(luò )的唯一方法是使用英偉達的 NIC。這主要是因為英特爾、AMD、博通缺乏競爭力，仍然停留在200G。在 SemiAnalysis 看來(lái)，英偉達正在趁機管理其供應鏈，使其 400G InfiniBand NIC 的交貨時(shí)間明顯低于 400G 以太網(wǎng) NIC。請記住，兩個(gè) NIC（ConnectX-7）的芯片和電路板設計是相同的。這主要取決于英偉達的 SKU 配置，而不是實(shí)際的供應鏈瓶頸。這迫使公司購買(mǎi)英偉達更昂貴的 InfiniBand 交換機，而不是使用標準以太網(wǎng)交換機。當您購買(mǎi)具有 NIC 模式 Bluefield-3 DPU 的 Spectrum-X 以太網(wǎng)網(wǎng)絡(luò )時(shí)，英偉達會(huì )破例。事情還不止于此，看看供應鏈對 L40 和 L40S GPU 的瘋狂程度就知道了。SemiAnalysis 透露，為了讓那些原始設備制造商贏(yíng)得更多的 H100 分配，英偉達正在推動(dòng) L40S的銷(xiāo)售，這些 OEM 也面臨著(zhù)購買(mǎi)更多 L40S 的壓力，進(jìn)而獲得更好的 H100 分配。這與英偉達在 PC 領(lǐng)域玩的游戲相同，筆記本電腦制造商和 AIB 合作伙伴必須購買(mǎi)大量的 G106/G107（中端和低端 GPU），才能為更稀缺、利潤率更高的 G102/G104 獲得良好的分配（高端和旗艦 GPU）。臺灣供應鏈中的許多人都被認為 L40S 比 A100 更好，因為它的 FLOPS 更高。需要明確的是，這些 GPU 不適合 LLM 推理，因為它們的內存帶寬不到 A100 的一半，而且沒(méi)有 NVLink。這意味著(zhù)除了非常小的模型之外，以良好的總體擁有成本在它們上運行 LLM 幾乎是不可能的。高批量大?。℉igh batch sizes）具有不可接受的令牌/秒/用戶(hù)（tokens/second/user），使得理論上的 FLOPS 在實(shí)踐中對于 LLM 毫無(wú)用處。SemiAnalysis 說(shuō)，OEM 廠(chǎng)商也面臨著(zhù)支持英偉達的 MGX 模塊化服務(wù)器設計平臺的壓力。這有效地消除了設計服務(wù)器的所有艱苦工作，但同時(shí)也使其商品化，創(chuàng )造了更多競爭并壓低了 OEM 的利潤。戴爾、HPE 和聯(lián)想等公司顯然對 MGX 持抵制態(tài)度，但臺灣的低成本公司，如超微、廣達、華碩、技嘉、和碩和華擎，正在急于填補這一空白，并將低成本“企業(yè)人工智能”商品化。當然，這些參與 L40S 和 MGX 游戲的 OEM/ODM 也獲得了英偉達主線(xiàn) GPU 產(chǎn)品更好的分配。雖然英偉達正在面臨著(zhù)芯片廠(chǎng)商和系統廠(chǎng)商自研芯片的夾擊。但這些布局，似乎短期內都能讓英偉達高枕無(wú)憂(yōu)。他們依然會(huì )是AI時(shí)代最成功的“賣(mài)鏟人”。參考鏈接：https://www.servethehome.com/nvidia-data-center-roadmap-with-gx200nvl-gx200-x100-and-x40-ai-chips-in-2025https://www.semianalysis.com/p/nvidias-plans-to-crush-competition
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
加入技術(shù)交流群
