【導讀】兩天前，馬斯克得意自曝：團隊僅用122天，就建成了10萬(wàn)張H100的Colossus集群，未來(lái)還會(huì )擴展到15萬(wàn)張H100和5萬(wàn)張H200。此消息一出，奧特曼都被嚇到了：xAI的算力已經(jīng)超過(guò)OpenAI了，還給員工承諾了價(jià)值2億期權，這是要上天？
馬斯克的xAI一路狂飆突進(jìn)，把Sam Altman都整怕了！
就在9月3日，馬斯克在推上得意自曝：
團隊僅僅用了122天時(shí)間，就建成了有10萬(wàn)張H100的Colossus集群，是世界上最強大的AI訓練系統。
而且，未來(lái)幾個(gè)月規模還要翻一倍，擴展到15萬(wàn)張H100+5萬(wàn)張H200。
最后，馬斯克感謝了英偉達和許多其他合作伙伴、供應商。據悉，是戴爾開(kāi)發(fā)、組裝了Colossus系統。
馬斯克的xAI，已經(jīng)讓幾大AI巨頭感受到了強烈的威脅。
根據內幕消息，Sam Altman就曾表示，自己是怕了馬斯克了！
如今的xAI，不光算力有超越OpenAI之勢，還對員工十分大方。有說(shuō)法指出，對于xAI的研究者，馬老板曾承諾過(guò)價(jià)值2億美元的期權。
馬斯克，全力進(jìn)軍超算
相信大家都已經(jīng)發(fā)現：馬斯克的超算野心，是愈發(fā)藏不住了！
隔三岔五的，就會(huì )有勁爆消息曝出。
7月底，xAI啟動(dòng)了位于孟菲斯的超級AI集群的訓練，該集群由十萬(wàn)個(gè)液冷H100 GPU組成。
十萬(wàn)個(gè)H100 GPU消耗的電力大約在70兆瓦，因此這個(gè)超算至少會(huì )消耗150兆瓦的電力。
8月底，特斯拉宣布了Cortex AI集群，包括5萬(wàn)個(gè)英偉達H100 GPU，和2萬(wàn)個(gè)特斯拉的Dojo AI晶圓級芯片。
如今看來(lái)，這些集群很可能都正式投入運行，甚至已經(jīng)在訓練AI模型了。不過(guò)，馬斯克真的有能力讓它們全部在線(xiàn)嗎？首要問(wèn)題是，要調試和優(yōu)化這些集群的設置，需要一定時(shí)間。其次，xAI還得確保它們獲得足夠的電力。我們知道，雖然馬斯克的公司一直在用14臺獨立發(fā)電機為其供電，但要為十萬(wàn)塊H100 GPU供電，這些電力顯然不夠。訓練xAI的Grok 2，需要兩萬(wàn)塊H100；而馬斯克預測，要訓練Grok 3，可能會(huì )需要十萬(wàn)塊H100。所以，xAI的數據中心，建得怎么龐大都不過(guò)分。建設速度太快，推測是「部分上線(xiàn)」
122天，也就是4個(gè)月的時(shí)間，建成10萬(wàn)張H100組成的超算集群，這是個(gè)什么速度？有業(yè)內人士表示，通常完成這樣一個(gè)集群可能需要一年時(shí)間。這個(gè)速度，這個(gè)規模，很馬斯克。
但也有人猜測，他可能有夸大其詞的傾向，高估了在單一集群中實(shí)際運行的GPU數量。囤足10萬(wàn)張芯片、放在一起共同運行，并不意味著(zhù)就是單一集群。論GPU數量，Meta在今年1月就已經(jīng)計劃采購35萬(wàn)張H100，但實(shí)際運行時(shí)是分成了不同集群。之所以還沒(méi)有其他公司能造出10萬(wàn)GPU規模的集群，很難說(shuō)是因為缺錢(qián)，更重要的因素是網(wǎng)絡(luò )解決方案。串聯(lián)起所有GPU的網(wǎng)絡(luò )，需要保證足夠的高帶寬、低延遲和可靠性，才能讓10萬(wàn)張芯片協(xié)同起來(lái)像一臺計算機一樣工作。
Colossus是二戰期間第一臺可編程計算機，也曾在科幻電影里登場(chǎng)除了網(wǎng)絡(luò )，還有電力問(wèn)題。馬斯克此前表示，Colossus在6月底已經(jīng)啟動(dòng)運行，當時(shí)，電力公司供應的最高功率只有幾兆瓦，僅能供應數千個(gè)GPU同時(shí)運行。電力公司表示，到8月，xAI將獲得大約50兆瓦的電力，但這只能供應大約5萬(wàn)個(gè)芯片。與此同時(shí)，現場(chǎng)即將建成的另一個(gè)發(fā)電站將提供另外150兆瓦，可以滿(mǎn)足10萬(wàn)個(gè)或更多芯片的電力需求，但要到明年才能實(shí)現。馬斯克似乎找到了一個(gè)短期解決方案：引入化石能源發(fā)電機。
Colossus所在地，田納西州孟菲斯的環(huán)保組織前幾天剛剛寫(xiě)信控訴馬斯克，指責他在沒(méi)有許可的情況下安裝了至少18臺渦輪機（可能更多），加劇了當地的空氣污染。
出于網(wǎng)絡(luò )和電力兩方面的限制因素，The Information指出，馬斯克的這個(gè)集群可能只是「部分完成」除了Colossus和微軟在鳳凰城為OpenAI建造的超算集群，多個(gè)類(lèi)似的集群也正處在研發(fā)和建設過(guò)程中。奧特曼：微軟爸爸，我們的算力不夠了
盡管如此，馬斯克這個(gè)超大集群的進(jìn)展，還是讓一些競爭對手極度擔心！
其中一位，就是OpenAI的CEO Sam Altman。根據內部消息，奧特曼已經(jīng)向一些微軟高管透露了自己的擔憂(yōu)——他十分擔心，xAI很快就擁有比OpenAI更多的算力！
雖然為OpenAI提供算力的微軟老大哥，資金實(shí)力非常雄厚，但作為上市公司，微軟在花費資金時(shí)，還需要對公眾股東負責。但馬斯克則完全沒(méi)有這樣的限制，盡管他的資金不如微軟。
甭管馬斯克有多少吹牛的成分，即使能部分完成Colossus集群的建成，也是一件令人印象深刻的事。外媒The Information猜測，馬斯克這種神奇的趕工速度，是否放棄了傳統的例行安全檢查？畢竟，如果按例檢查的話(huà)，可能會(huì )讓數據中心項目的竣工延遲數月。
而且，The Information還發(fā)現了一個(gè)「華點(diǎn)」：Colossus位于以前的制造工廠(chǎng)內，這可不是適合高性能計算的理想場(chǎng)所。微軟和英偉達的高管透露，這是他們最不愿意放置昂貴硬件的地點(diǎn)之一。因為這些地方很難改造，來(lái)適應服務(wù)器耗費的巨大電量，和數據中心設備需要的冷卻技術(shù)。咱們都知道，馬老板一向喜歡突破邊界，而在質(zhì)疑聲紛至沓來(lái)時(shí)，他又經(jīng)常被證明是正確的。最近在xAI的姊妹公司X，馬斯克又有了一個(gè)驚人之舉：關(guān)閉了一個(gè)數據中心。當時(shí)大家都擔心，X會(huì )因此而崩潰。結果誰(shuí)也沒(méi)想到，X運行得很好，馬斯克居然有如此先見(jiàn)之明。而這次，馬斯克在田納西州的超算，也同樣可能會(huì )對AI開(kāi)發(fā)者振聾發(fā)聵——或許他們會(huì )發(fā)現，傳統的做事方式如今已經(jīng)過(guò)時(shí)了。兩家神秘AI巨頭，正計劃打造1250億美元超算
如今，數據中心之戰，競爭還在火熱加??！至少有六大巨頭，已經(jīng)下場(chǎng)了。根據北達科他州官員的披露，除了微軟、OpenAI和xAI，還有兩家AI巨頭也正在醞釀建造「巨型AI數據中心」。
這兩家公司找到了商務(wù)專(zhuān)員Josh Teigen和州長(cháng)Doug Burgum，商討建立巨型AI數據中心。除了技術(shù)研發(fā)，這類(lèi)數據中心也對資源和基礎設施提出了很高的要求。不僅需要采購足夠的芯片和相關(guān)設備，還要留出數萬(wàn)英畝的土地、建設新的發(fā)電設施。馬斯克的Colossus要自建發(fā)電站才能弄出200兆瓦，而這兩家公司可能是因為直接找上了州長(cháng)，他們的初始電力就能達到500～1000兆瓦，并計劃在幾年內擴增至5k~1w兆瓦。這些項目的規模將比現有的任何數據中心，包括Colossus都擴大幾個(gè)數量級。100兆瓦可以為7萬(wàn)至10萬(wàn)個(gè)家庭供電；去年微軟Azure的全球數據中心總共使用了大約5吉瓦（5k兆瓦）的電力。這就意味著(zhù)，一個(gè)數據中心，可能和整個(gè)Azure云服務(wù)平臺的耗電量相當。根據會(huì )議的音頻記錄，這類(lèi)規模的項目耗資可能超過(guò)1250億美元。
在對外會(huì )議上，商務(wù)專(zhuān)員Teigen沒(méi)有透露這兩家神秘AI巨頭的名字，但他表示市值達到了「一萬(wàn)億美元」。這就將潛在名單縮小到了美國的大約6家公司，七巨頭之六——英偉達、亞馬遜、微軟、谷歌、Meta和蘋(píng)果。微軟此前就和OpenAI討論過(guò)建造價(jià)值1000億美元的「星際之門(mén)」（Stargate），而且北達科他州長(cháng)Doug Burgum曾是微軟的高管，在2001年以11億美元向微軟出售過(guò)自己的一家軟件公司。
但我們也知道，谷歌和亞馬遜等其他公司也在積極提升其AI計算能力。揭開(kāi)美國AI超算的神秘面紗
AI巨頭一向對尖端技術(shù)嚴格保密，但他們對開(kāi)發(fā)數據中心所需的技術(shù)，保密程度有過(guò)之而無(wú)不及。The Information列出了在美國7個(gè)州運營(yíng)或計劃中的17個(gè)超算數據中心，涉及微軟、OpenAI、Meta和xAI等公司。總的來(lái)說(shuō)，仍在開(kāi)發(fā)或計劃階段的設施建設成本可能超過(guò)500億美元，其中包括約350億美元的英偉達芯片，以及運營(yíng)所需的額外數十億美元。
這些超算估計在數年時(shí)間內落成，并需要大量的芯片、土地和電力。在ChatGPT問(wèn)世前，GPU集群通常只包含幾千個(gè)芯片。如今，一些最大的GPU集群擁有超過(guò)3萬(wàn)個(gè)芯片，上面提到的這些超算更是達到了前所未有的規模。要為所有計劃中的數據中心供電，美國能源部預計會(huì )出現電力不足的情況，因此最近提出了一些解決方案，例如資助研究使AI計算更高效。
爭奪「下一個(gè)高地」現在，數據中心競賽的焦點(diǎn)，集中到了英偉達CEO黃仁勛的身上。就在上周，老黃發(fā)表了以下言論，宛如在業(yè)內投入一顆炸彈。率先達到超算集群下一個(gè)高地的人，將實(shí)現革命性的AI水平。
此言一出，英偉達的GPU，誰(shuí)敢不買(mǎi)？即使已經(jīng)和博通共同設計出了TPU的谷歌，最近也為英偉達即將推出的Blackwell下了大單。
對GPU的爭奪，已經(jīng)引發(fā)了AI開(kāi)發(fā)者及其云供應商之間的緊張局勢，甚至，有時(shí)還會(huì )引發(fā)它們和英偉達的摩擦。比如，馬斯克就曾考慮和甲骨文達成一項大規模協(xié)議，根據他的計劃，xAI將在未來(lái)幾年內，花費超過(guò)100億美元租賃英偉達的GPU。而這項談判最終破裂了，部分原因在于，馬斯克認為甲骨文無(wú)法足夠快地建起超算，而甲骨文則擔心，他會(huì )把GPU集群放在一個(gè)供電不足的地方。芯片多多，問(wèn)題多多很多超大的GPU集群都位于土地遼闊、空間充裕且電力充足的地區。例如，馬斯克的Colossus特意選址在田納西州孟菲斯，亞馬遜、Meta和微軟都在亞利桑那州的鳳凰城地區運營(yíng)AI服務(wù)器。但隨著(zhù)更大的GPU集群需要更多的電力，AI巨頭們正計劃在非傳統數據中心樞紐的地區建造這些集群。例如，亞馬遜最近在賓夕法尼亞州中部的一座核電站旁邊購置了土地，計劃供應約一吉瓦（1000兆瓦）的電力。這足以為整個(gè)舊金山供電，或者構建多達100萬(wàn)張GPU的集群。另一個(gè)挑戰是如何進(jìn)行設備冷卻。傳統上，數據中心一般采用風(fēng)冷，但GPU服務(wù)器產(chǎn)生的熱量遠遠超過(guò)傳統服務(wù)器。為了更佳的冷卻效果，微軟在威斯康星州為OpenAI建設的數據中心預計將使用液冷而非風(fēng)冷。雖然如今越來(lái)越多人懷疑，AI泡沫要接近臨界點(diǎn)了，但興建超算之風(fēng)，一時(shí)半會(huì )還不會(huì )冷卻。畢竟，競家都All In了，你能不上嗎？六巨頭割據，群雄逐鹿，誰(shuí)將奪得下一個(gè)超算高地？
加入技術(shù)交流群
