谷歌最強 TPU Trillium 芯片商用：性能提升 4.7 倍、內存帶寬翻番、節能 67%

12 月 12 日消息，谷歌今天（12 月 12 日）發(fā)布博文，宣布正式向 Google Cloud 客戶(hù)開(kāi)放第六代 TPU Trillium，希望憑借大的計算能力、高效的性能和可持續特性，更好推動(dòng) AI 模型發(fā)展。

Trillium TPU 是 Google Cloud AI 超級計算機（AI Hypercomputer）的關(guān)鍵組件，是一種突破性的超級計算機架構，采用了一個(gè)由性能優(yōu)化的硬件、開(kāi)放軟件、領(lǐng)先的機器學(xué)習框架和靈活的消費模型組成的集成系統。

曾于今年 5 月有報道，在 I/O 開(kāi)發(fā)者大會(huì )上，谷歌正式宣布 Trillium TPU。官方稱(chēng)相比上一代，Trillium TPU 在訓練性能上提升 4 倍以上，推理吞吐量提升高達 3 倍，峰值計算性能提升 4.7 倍。

在效率方面，Trillium TPU 能源效率提高 67%，每美元訓練性能提升高達 2.5 倍，推理性能提升高達 1.4 倍。

在規模擴展方面，單個(gè) Jupiter 網(wǎng)絡(luò )結構可容納 10 萬(wàn)個(gè) Trillium 芯片，雙倍的 HBM 容量和 ICI 帶寬，支持大規模 AI 訓練。

官方稱(chēng) Trillium 近乎線(xiàn)性的擴展能力，配合高速芯片互連和 Jupiter 數據中心網(wǎng)絡(luò )，顯著(zhù)加快大型模型訓練速度，在訓練 gpt3-175b 模型時(shí)，即使跨數據中心網(wǎng)絡(luò )運行，24 個(gè) Pod（6144 個(gè)芯片）也能達到 94% 的擴展效率。