跨多個(gè)數據中心和 GPU 架構訓練生成式 AI 模型

一位行業(yè)分析師最近透露，中國已經(jīng)開(kāi)發(fā)了跨多個(gè)數據中心的單一生成式 AI （GAI） 模型，考慮到在單個(gè)數據中心使用不同 GPU 的復雜性，更不用說(shuō)在多個(gè)地理位置使用服務(wù)器了，這是一項巨大的壯舉。Moor Insights & Strategy的首席分析師Patrick Moorhead在X（前Twitter）上表示，中國是第一個(gè)實(shí)現這一成就的國家，他是在一次可能無(wú)關(guān)的NDA會(huì )議的對話(huà)中發(fā)現的。

這種在不同地點(diǎn)/架構中訓練 GAI 的技術(shù)對于中國保持其 AI 夢(mèng)想向前發(fā)展至關(guān)重要，尤其是在美國制裁阻止其獲得最新、最強大的芯片來(lái)推動(dòng)其研發(fā)的情況下。由于英偉達不想失去中國市場(chǎng)，因此它制造了功能較弱的 H20 AI 芯片，這些芯片屬于華盛頓的限制性性能參數。然而，有傳言稱(chēng)，即使是這些降級的芯片也可能很快被禁止，這凸顯了中國科技公司在當前政治氣候下面臨的不確定性。

由于這種不確定性，中國研究人員一直在努力將不同品牌的 GPU 融合到一個(gè)訓練集群中。通過(guò)這樣做，這些機構可以將他們有限的受制裁高端、高性能芯片（如 Nvidia A100）庫存與功能較弱但現成的 GPU（如華為的 Ascend 910B 或上述 Nvidia H20）相結合。這項技術(shù)可以幫助他們解決中國高端 GPU 短缺的問(wèn)題，盡管歷史上效率會(huì )大幅下降。

然而，中國似乎已經(jīng)找到了解決這個(gè)問(wèn)題的方法，尤其是跨多個(gè)數據中心開(kāi)發(fā)單一 GAI 的消息。雖然我們還沒(méi)有關(guān)于這個(gè) GAI 的任何信息，但它顯示了中國研究人員將不遺余力，以確保他們能夠繼續推動(dòng)中國的 AI 雄心向前發(fā)展。正如華為所說(shuō)，盡管受到美國的制裁，中國將想方設法繼續推進(jìn)其人工智能發(fā)展。畢竟，需求是發(fā)明之母。