谷歌下月上線(xiàn) A3 實(shí)例:搭載英偉達 H100,可提供 26 exaFlops AI 性能
IT之家 8 月 31 日消息,Google Cloud 在今天召開(kāi)的云 Next 大會(huì )上,宣布下月上線(xiàn) A3 虛擬機實(shí)例。谷歌云在今年 5 月召開(kāi)的 I / O 開(kāi)發(fā)者大會(huì )上宣布 A3 實(shí)例,最大的亮點(diǎn)在于配備英偉達 H100 Tensor Core GPU,滿(mǎn)足生成式 AI 和大語(yǔ)言模型的需求。
本文引用地址:http://dyxdggzs.com/article/202308/450105.htmIT之家此前報道,A3 實(shí)例采用了第 4 代英特爾至強可擴展處理器、2TB DDR5-4800 內存,以及 8 張英偉達 H100“Hopper”GPU,通過(guò) NVLink 4.0 和 NVSwitch 實(shí)現了 3.6 TBps 的對分帶寬。
新的 A3 超級計算機“專(zhuān)門(mén)用于訓練和服務(wù)要求最苛刻的人工智能模型,這些模型為當今的生成人工智能和大型語(yǔ)言模型創(chuàng )新提供動(dòng)力”。據介紹,這款超級計算機可以提供 26 exaFlops 的人工智能性能。
谷歌云在今天的發(fā)布會(huì )上還介紹了全新的 TPU v5e,是迄今為止最具成本效益和可訪(fǎng)問(wèn)的云 TPU。這些 TPU 或定制 ASIC 旨在加速 AI 和 ML 工作負載。
SDxCentral 報道稱(chēng),TPU v5e 相比較前代,每美元的訓練性能提高了一倍,每美元的推理性能提高了 2.5 倍。
評論