谷歌最強 TPU Trillium 芯片商用:性能提升 4.7 倍、內存帶寬翻番、節能 67%
12 月 12 日消息,谷歌今天(12 月 12 日)發(fā)布博文,宣布正式向 Google Cloud 客戶(hù)開(kāi)放第六代 TPU Trillium,希望憑借大的計算能力、高效的性能和可持續特性,更好推動(dòng) AI 模型發(fā)展。
本文引用地址:http://dyxdggzs.com/article/202412/465464.htmTrillium TPU 是 Google Cloud AI 超級計算機(AI Hypercomputer)的關(guān)鍵組件,是一種突破性的超級計算機架構,采用了一個(gè)由性能優(yōu)化的硬件、開(kāi)放軟件、領(lǐng)先的機器學(xué)習框架和靈活的消費模型組成的集成系統。
曾于今年 5 月有報道,在 I/O 開(kāi)發(fā)者大會(huì )上,谷歌正式宣布 Trillium TPU。官方稱(chēng)相比上一代,Trillium TPU 在訓練性能上提升 4 倍以上,推理吞吐量提升高達 3 倍,峰值計算性能提升 4.7 倍。
在效率方面,Trillium TPU 能源效率提高 67%,每美元訓練性能提升高達 2.5 倍,推理性能提升高達 1.4 倍。
在規模擴展方面,單個(gè) Jupiter 網(wǎng)絡(luò )結構可容納 10 萬(wàn)個(gè) Trillium 芯片,雙倍的 HBM 容量和 ICI 帶寬,支持大規模 AI 訓練。
官方稱(chēng) Trillium 近乎線(xiàn)性的擴展能力,配合高速芯片互連和 Jupiter 數據中心網(wǎng)絡(luò ),顯著(zhù)加快大型模型訓練速度,在訓練 gpt3-175b 模型時(shí),即使跨數據中心網(wǎng)絡(luò )運行,24 個(gè) Pod(6144 個(gè)芯片)也能達到 94% 的擴展效率。
評論