馬斯克用20萬(wàn)張H100訓練出1400分大模型

馬斯克旗下人工智能公司xAI發(fā)布了其最新一代大模型 Grok 3，目前Grok已經(jīng)推出了專(zhuān)屬的 http://Grok.com 網(wǎng)頁(yè)，供用戶(hù)體驗Grok系列模型。馬斯克稱(chēng)，Grok 3能力較前代產(chǎn)品Grok 2提升了“一個(gè)數量級”，并且是一款“追求極致真實(shí)”的 AI。

20萬(wàn)張H100訓練出1400分大模型

Grok 3早期化名“巧克力”打榜LMSYS，一舉奪魁并成為唯一一個(gè)得分超1400的模型。競技場(chǎng)（lmarena.ai）官方評價(jià)Grok 3是首個(gè)突破1400分的模型，并且在所有類(lèi)別中排名第一。

去年馬斯克劇透，Grok 3在10萬(wàn)張H100上進(jìn)行訓練，是首個(gè)達到如此訓練集群規模的模型。這比Grok 2多了數倍不止，要知道Grok 2訓練大約使用了2萬(wàn)個(gè)H100。但是令人震驚的是，實(shí)際上Grok3訓練過(guò)程中集群規模再次擴展到了20萬(wàn)卡。

Grok 3比Grok 2快十倍，在Grok3中大規模安裝更多計算能力使其能夠在更短的時(shí)間內運行大數據集，同時(shí)提供更高的準確性。

此次推出的Grok 3有滿(mǎn)血和mini兩個(gè)版本。在數學(xué)推理、科學(xué)邏輯推理和代碼寫(xiě)作等能力表現方面，Grok-3在多項Benchmark測試中均取得了比DeepSeek-v3、GPT-4o、Gemini-2 pro更優(yōu)的效果。

在A(yíng)IME'24數學(xué)能力測試中，Grok-3取得了52分，明顯高于

在A(yíng)IME'24數學(xué)能力測試中，Grok-3取得了52分，明顯高于DeepSeek-V3的39分。在GPQA科學(xué)知識評估中，Grok-3以75分的優(yōu)異成績(jì)領(lǐng)先DeepSeek-V3的65分。此外，在LCB Oct-Feb編程能力測試中，Grok-3也以57分的成績(jì)超越了DeepSeek-V3的36分。

除此之外，在Grok 3和mini的基礎之上，xAI團隊還打造了兩款推理模型。

馬斯克團隊指出，大約一個(gè)月前，Grok 3的預訓練已經(jīng)完成，從那時(shí)起其一直在努力將推理能力融入Grok 3模型中。目前基于mini的推理模型（Grok 3 mini Reasoning）已經(jīng)比較成熟，而基于滿(mǎn)血版的推理模型（Grok 3 Reasoning Beta）還處在Beta階段。

值得注意的是，xAI團隊不僅在硬件上進(jìn)行了升級，還在軟件層面進(jìn)行了優(yōu)化。Grok 3 通過(guò)改進(jìn)訓練流程，引入合成數據集、自我糾錯以及強化學(xué)習等技術(shù)，進(jìn)一步提升了模型的性能。這些技術(shù)的綜合應用，使得 Grok 3 在處理復雜任務(wù)時(shí)表現得更為出色。

然而，原計劃在此次發(fā)布中推出的語(yǔ)音模式并未如期上線(xiàn)。馬斯克在 X 平臺上解釋稱(chēng)：“語(yǔ)音模式目前還存在一些問(wèn)題，預計將在大約一周后推出，但它非常出色?！辈⒂媱澰趲字芎髮rok 3模型和DeepSearch功能整合到 xAI 的企業(yè) API 中。

此外，xAI計劃在最新版本完全成熟后立即開(kāi)源其Grok 模型的先前版本，馬斯克預計Grok-3的過(guò)渡將在幾個(gè)月內完成。

目前，X 平臺的 Premium + 訂閱用戶(hù)將率先體驗到 Grok 3，而其他功能則被整合到 xAI 推出的名為 SuperGrok 的訂閱服務(wù)中。SuperGrok 的訂閱價(jià)格為每月 30 美元或每年 300 美元，用戶(hù)可獲得額外的推理和 DeepSearch 查詢(xún)權限，以及無(wú)限量的圖像生成功能。

三個(gè)月將數據中心容量翻倍

據報道，xAI計劃與戴爾達成50億美元協(xié)議，為Grok 3提供AI服務(wù)器支持。xAI即將與戴爾科技達成協(xié)議收購價(jià)值超過(guò)50億美元的配備英偉達GB200芯片的AI優(yōu)化服務(wù)器，此次收購旨在滿(mǎn)足Grok 3和其他AI應用程序日益增長(cháng)的計算需求。

在發(fā)布會(huì )上，馬斯克團隊透露xAI在短短三個(gè)月將數據中心容量翻倍，使用了20萬(wàn)個(gè)英偉達H100 GPU打造出Grok 3。

馬斯克團隊表示，去年4月馬斯克決定xAI要想取得成功并打造出最佳 AI，唯一的辦法就是創(chuàng )建自己的數據中心。我們花了122天的時(shí)間才讓第一批10萬(wàn)個(gè)GPU啟動(dòng)并運行。我們很快意識到要構建我們設想的 AI，需要將集群規模擴大一倍。因此，我們在短短92天內就將容量翻了一番。

值得注意的是，目前xAI正在田納西州孟菲斯建設的超級計算機Colossus項目中。Colossus用于支持xAI的AI大模型Grok，xAI計劃擴展到至少100萬(wàn)塊GPU，并已采用戴爾與超微電腦的服務(wù)器設備。去年12月戴爾曾披露，已在該項目部署數萬(wàn)個(gè)GPU，并致力于在剩余工程中獲取"大部分份額"。

戴爾去年11月末公布，在截至2024年11月1日的第三財季，交付AI服務(wù)器29億美元，推動(dòng)包括AI系統在內的服務(wù)器和網(wǎng)絡(luò )業(yè)務(wù)當季收入增長(cháng)58%至74億美元。分析師預計，在截至2025年1月的2025財年，戴爾的AI服務(wù)器出貨量?jì)r(jià)值將超過(guò)100億美元，并預計，AI服務(wù)器2026財年將為戴爾創(chuàng )收140億美元，一年收入增長(cháng)約40%。