英偉達：CPU 已落伍，用 GPU 訓練大語(yǔ)言模型成本可降低 96%

IT之家 5 月 29 日消息，根據英偉達在 2023 年臺北電腦展會(huì )上的演講，該公司宣稱(chēng)其 GPU 可以大幅降低訓練大型語(yǔ)言模型（LLM）的成本和耗能。

英偉達首席執行官黃仁勛在演講中，向 CPU 行業(yè)發(fā)起了挑戰，他認為生成式人工智能和加速計算是未來(lái)計算的方向。他宣布傳統的摩爾定律已經(jīng)過(guò)時(shí)，未來(lái)的性能提升將主要來(lái)自生成式人工智能和基于加速計算的方法。

英偉達在展會(huì )上展示了一份 LLM 的總體擁有成本（Total Cost of Ownership，TCO）分析：首先，他們計算了訓練一個(gè) LLM 所需的 960 個(gè) CPU 組成的服務(wù)器集群的完整成本（包括網(wǎng)絡(luò )、機箱、互連等所有設備），發(fā)現這需要花費約 1000 萬(wàn)美元（IT之家備注：當前約 7070 萬(wàn)元人民幣），并消耗 11 千兆瓦時(shí)的電力。

相比之下，如果保持成本不變，購買(mǎi)一個(gè)價(jià)值 1000 萬(wàn)美元的 GPU 集群，可以在同樣的成本和更少的電力消耗（3.2 千兆瓦時(shí)）下訓練 44 個(gè) LLM。如果轉而保持電力消耗不變，那么可以通過(guò) GPU 集群實(shí)現 150 倍的加速，以 11 千兆瓦時(shí)的電力消耗訓練 150 個(gè) LLM，但這需要花費 3400 萬(wàn)美元，此外這個(gè)集群的占地面積比 CPU 集群小得多。最后，如果只想訓練一個(gè) LLM，那么只需要一個(gè)價(jià)值 40 萬(wàn)美元、消耗 0.13 千兆瓦時(shí)電力的 GPU 服務(wù)器就可以了。

英偉達所要表達的意思是，相比 CPU 服務(wù)器，客戶(hù)可以以 4% 的成本和 1.2% 的電力消耗來(lái)訓練一個(gè) LLM，這是一個(gè)巨大的成本節省。