3.9 分鐘訓完 GPT-3，英偉達 H100 再次刷新 MLPerf 六項紀錄

IT之家 11 月 9 日消息，英偉達今天發(fā)布新聞稿，表示旗下的 H100 GPU 在 MLPerf 基準測試中創(chuàng )造了 6 項新記錄。

IT之家今年 6 月報道，3584 個(gè) H100 GPU 群在短短 11 分鐘內完成了基于 GPT-3 的大規?；鶞蕼y試。

MLPerf LLM 基準測試是基于 OpenAI 的 GPT-3 模型進(jìn)行的，包含 1750 億個(gè)參數。

Lambda Labs 估計，訓練這樣一個(gè)大模型需要大約 3.14E23 FLOPS 的計算量。

英偉達最新的 Eos AI 超級計算機配備了 10752 個(gè) H100 Tensor Core GPU 和 NVIDIA 的 Quantum-2 InfiniBand 網(wǎng)絡(luò )，訓練完 GPT-3 僅僅只需要 3.9 分鐘，比 6 月的測試結果整整快了 7 分鐘。

英偉達在帖中，的另一項創(chuàng )紀錄的成就是在“系統擴展”方面取得的進(jìn)步，通過(guò)各種軟件優(yōu)化，效率提高到了 93%。

高效擴展在行業(yè)中非常重要，因為實(shí)現高計算能力需要使用更多的硬件資源，如果沒(méi)有足夠的軟件支持，系統的效率會(huì )受到大幅影響。