Cerebras推出全球最強AI超算：5400萬(wàn)個(gè)AI內核，算力達4exaFLOPS

7月21日消息，人工智能（AI）芯片初創(chuàng )公司Cerebras Systems于當地時(shí)間7月20日宣布，其將攜手總部位于阿聯(lián)酋的技術(shù)控股集團G42打造一個(gè)由9臺互聯(lián)的超級計算機組成的網(wǎng)絡(luò )，為AI計算提供一種新的方案，有望大幅減少AI大模型訓練時(shí)間。目前，該網(wǎng)絡(luò )上的第一臺AI超級計算機——“Condor Galaxy 1（CG-1）”開(kāi)始部署，AI算力高達4 exaFLOPS（每秒4百億億次），這也是目前性能最強的AI超級計算機。

從全球最大的AI芯片，到全球最強AI超級計算機

提起Cerebras公司，相信有很多業(yè)內人士都聽(tīng)過(guò)。這是一家成立于2016年的美國AI芯片初創(chuàng )公司。早在2019年，Cerebras就推出了“全球最大”的AI芯片Wafer Scale Engine（以下簡(jiǎn)稱(chēng)“WSE”），引起了業(yè)界的極大關(guān)注。

WSE一個(gè)基于一整張12英寸晶圓制造的AI芯片，基于臺積電16nm工藝制造，核心面積超過(guò)46225mm2，集成了高達1.2萬(wàn)億個(gè)晶體管，40萬(wàn)個(gè)AI核心、18GB SRAM緩存、9PB/s內存帶寬、100Pb/s互連帶寬，功耗也高達15千瓦。Cerebras稱(chēng)，其AI內核是被稱(chēng)為稀疏線(xiàn)性代數核(Sparse Linear Algebra Cores, SLAC)，具有靈活性、可編程性，并針對支持所有神經(jīng)網(wǎng)絡(luò )計算的稀疏線(xiàn)性代數進(jìn)行了優(yōu)化。SLAC的可編程性保證了內核能夠在不斷變化的機器學(xué)習領(lǐng)域運行所有的神經(jīng)網(wǎng)絡(luò )算法。

隨后在2021年4月，Cerebras 推出了第二代的AI芯片WSE-2。根據官方公布的數據，WSE-2與第一代一樣，依然是基于一整張12吋晶圓制造，面積依然是462.25平方厘米，但是制程工藝由臺積電16nm工藝提升到了7nm工藝，這也使得WSE-2的晶體管數量提高到了2.6萬(wàn)億個(gè)，同時(shí)他的AI內核數量也達到了85萬(wàn)個(gè)，片上內存也由原來(lái)的18GB提升到了40GB，內存帶寬由9PB/s提高到了20PB/s，結構帶寬高達220PB/s。各項指標均打破首代WSE 處理器創(chuàng )造的世界紀錄。

而為了推動(dòng)WSE-2的商用，Cerebras還宣布推出了CS-2 AI超級計算機，其基于單個(gè)WSE-2芯片打造，不僅比任何其他AI超算系統使用空間更少、功耗更低、但運算性能更高。甚至可以支持192臺CS-2 AI計算機近乎線(xiàn)性的擴展，從而打造出包含高達1.63億個(gè)AI核心的計算集群，可支持超過(guò)120萬(wàn)億參數的大模型的訓練。

要知道目前常見(jiàn)的基于CPU或GPU的AI計算集群，主要是通過(guò)片外互聯(lián)的模式將大量的CPU或GPU集群進(jìn)行互聯(lián)，從而提升AI算力，這需要大量的機架和線(xiàn)纜，并且花費數月的時(shí)間進(jìn)行安裝和準備，能耗也將達到數百千瓦以上。但是，WSE-2在單個(gè)芯片上就已經(jīng)集成了更多的AI核心、擁有大的片上內存和更低延遲的高帶寬結構，這也使得其在A(yíng)I加速任務(wù)的處理上更具優(yōu)勢，功耗也更低，在安裝上也更方便和節省時(shí)間，并且CS-2的能耗僅需要15kW。

△CS-2 AI超級計算機

此次，Cerebras攜手G42打造的算力高達4 exaFLOPS的最強AI超級計算機CG-1，正是由64臺CS-2 AI計算機組合而成。

5400萬(wàn)個(gè)AI內核，AI算力超4 exaFLOPS

據介紹，CG-1與任何已知的GPU集群不同，其由64臺CS-2 AI計算機組成，每臺CS-2 AI計算機則是由一個(gè)WSE-2芯片所驅動(dòng)，這也使得整個(gè)CG-1系統當中的AI內核數量達到了5400萬(wàn)個(gè)，總的AI算力（FP16）達到了驚人的4 exaFLOPS（400萬(wàn)萬(wàn)億FLOPS），總體的片上內存容量達到了82TB，各個(gè)CS-2系統間的帶寬速率高達388Tbps。同時(shí)，CG-1還配備了高達72704個(gè)AMD EPYC CPU內核。

CG-1針對大型語(yǔ)言模型和生成人工智能進(jìn)行了優(yōu)化，標準支持多達6000億個(gè)參數模型。CG-1使用簡(jiǎn)單的數據并行性，就可實(shí)現從1到64個(gè)CS-2系統的近乎線(xiàn)性的性能擴展。擴展后的配置可支持多達100萬(wàn)億個(gè)參數模型。要知道今年以來(lái)非?；鸨腁I大模型GPT-4為1.8萬(wàn)億個(gè)參數。

CG-1還為長(cháng)序列長(cháng)度的訓練提供了原生支持，開(kāi)箱即用的令牌多達50000個(gè)，無(wú)需任何特殊的軟件庫。CG-1的編程完全沒(méi)有復雜的分布式編程語(yǔ)言，這意味著(zhù)即使是最大的模型也可以輕松運行，而無(wú)需花費數周或數月的時(shí)間在數千個(gè)GPU上分配工作。

據介紹，Cerebras和G42將會(huì )把CG-1作為云服務(wù)提供，讓客戶(hù)無(wú)需在物理系統上管理或分發(fā)模型即可享受AI超級計算機的性能。CG-1旨在使G42及其云客戶(hù)能夠快速輕松地訓練大型突破性模型，從而加速創(chuàng )新。Cerebras-G42戰略合作伙伴關(guān)系已經(jīng)在阿拉伯語(yǔ)雙語(yǔ)聊天、醫療保健和氣候研究方面推進(jìn)了最先進(jìn)的人工智能模型。

“CG-1在FP16上可以提供4 exaFLOP的人工智能計算，可大大縮短人工智能訓練時(shí)間，同時(shí)消除了分布式計算的痛苦?！?Cerebras Systems首席執行官Andrew Feldman表示：“許多云服務(wù)公司已經(jīng)宣布了耗資數十億美元構建的大規模GPU集群，但這些集群極難使用。將一個(gè)模型分布在數千個(gè)微小的GPU上需要數十名具有罕見(jiàn)專(zhuān)業(yè)知識的人花費數月時(shí)間。CG-1消除了這一挑戰，單個(gè)系統耗資1億多美元，只需要幾分鐘就能建立生成人工智能模型，而不是幾個(gè)月，而且可以由一個(gè)人完成?！?/p>

Andrew Feldman進(jìn)一步解釋稱(chēng)，訓練AI大型模型需要大量的計算、龐大的數據集和專(zhuān)門(mén)的人工智能專(zhuān)業(yè)知識。G42和Cerebras之間的合作提供了這三個(gè)要素。憑借Condor Galaxy超級計算網(wǎng)絡(luò )，兩家公司正在使人工智能民主化，使人們能夠簡(jiǎn)單方便地訪(fǎng)問(wèn)行業(yè)領(lǐng)先的人工智能計算。G42與醫療保健、能源和氣候研究領(lǐng)域的不同數據集的合作將使系統用戶(hù)能夠訓練新的尖端基礎模型。這些模型和衍生的應用程序是一股強大的向善力量。最后，Cerebras和G42匯集了一支由硬件工程師、數據工程師、人工智能科學(xué)家和行業(yè)專(zhuān)家組成的團隊，提供全方位的人工智能服務(wù)，以解決客戶(hù)的問(wèn)題。這一組合將產(chǎn)生突破性的成果，并推動(dòng)全球數百個(gè)人工智能項目。

G42的子公司G42 Cloud的首席執行官Talal Alkaissi也表示：“與Cerebras合作，快速交付世界上最快的人工智能訓練超級計算機，并為在世界各地互連這些超級計算機奠定基礎，這是非常令人興奮的。這一合作伙伴關(guān)系匯集了Cerebras非凡的計算能力，以及G42的多行業(yè)人工智能專(zhuān)業(yè)知識。G42和Cerebras的共同愿景是Condor Galaxy將用于應對醫療保健、能源、氣候行動(dòng)等領(lǐng)域的社會(huì )最緊迫挑戰?！?/p>

需要指出的是，位于美國加州圣塔克拉拉州的CG-1的上線(xiàn)，只是打造9臺互聯(lián)的超級計算機組成的計算網(wǎng)絡(luò )的第一部。預計在2024年上半年，位于美國德州奧斯汀、北卡州Asheville的AI超級電腦（CG-2和CG-3）將正式上線(xiàn)。美國以外地區的6臺AI超級電腦將于2024年下半年上線(xiàn)。屆時(shí)，9臺Condor Galaxy系統的總的AI算力將達到36 exaFLOPS。

Andrew Feldman稱(chēng)，這一前所未有的超級計算網(wǎng)絡(luò )將徹底改變全球人工智能的發(fā)展。

據了解，Cerebras目前估值為41億美元，過(guò)去數年曾獲得OpenAI CEO Sam Altman、Benchmark創(chuàng )投募得7.4億美元。目前，Cerebras、Graphcore、Groq和SambaNova等新創(chuàng )企業(yè)都希望能夠打入NVIDIA所主導的AI加速芯片市場(chǎng)。斯坦福大學(xué)AI電腦科學(xué)家Chris Manning表示，如果無(wú)法打造AI模型的研究員習慣使用與NVIDIA芯片相兼容的軟件，將使得上述新創(chuàng )企業(yè)處于劣勢。

編輯：芯智訊-浪客劍