英偉達H100具有800億晶體管首次使用HBM3

Nvidia在其年度GTC會(huì )議上宣布了一系列以AI為重點(diǎn)的企業(yè)產(chǎn)品。其中包括其新的硅架構Hopper的細節；第一個(gè)使用該架構的數據中心GPU H100；一個(gè)新的Grace CPU "超級芯片"；以及該公司聲稱(chēng)將建立世界上最快的AI超級計算機的模糊計劃，名為Eos。

Nvidia從過(guò)去十年的人工智能熱潮中受益匪淺，其GPU被證明是流行的、數據密集型深度學(xué)習方法的完美匹配。Nvidia表示，隨著(zhù)AI領(lǐng)域對數據計算需求的增長(cháng)，它希望提供更多的火力。

特別是，該公司強調了一種被稱(chēng)為變形金剛的機器學(xué)習系統的普及。這種方法已經(jīng)取得了令人難以置信的成果，為從OpenAI的GPT-3等語(yǔ)言模型到DeepMind的AlphaFold等醫療系統提供動(dòng)力。在幾年的時(shí)間里，此類(lèi)模型的規模呈指數級增長(cháng)。例如，當OpenAI在2019年推出GPT-2時(shí)，它包含15億個(gè)參數（或連接）。當谷歌在兩年后訓練一個(gè)類(lèi)似的模型時(shí)，它使用了1.6萬(wàn)億個(gè)參數。

隨著(zhù)AI要求更多的計算機，Nvidia希望提供它

"訓練這些巨型模型仍然需要幾個(gè)月的時(shí)間，"Nvidia產(chǎn)品管理高級總監Paresh Kharya在一次新聞發(fā)布會(huì )上說(shuō)。"所以你解雇了一個(gè)工作，并等待一個(gè)半月，看看會(huì )發(fā)生什么?？s短這個(gè)訓練時(shí)間的一個(gè)關(guān)鍵挑戰是，隨著(zhù)你在數據中心增加GPU的數量，性能收益開(kāi)始下降。"

Nvidia表示，其新的Hopper架構將有助于改善這些困難。該架構以先驅計算機科學(xué)家和美國海軍少將Grace Hopper的名字命名，與上一代芯片相比，該架構專(zhuān)門(mén)用于在H100 GPU上加速變形金剛模型的訓練，而新的第四代Nivida NVlink可以連接多達256個(gè)H100 GPU，帶寬比上一代高9倍。

H100 GPU本身包含800億個(gè)晶體管，是第一個(gè)支持PCle Gen5和利用HBM3的GPU，使內存帶寬達到3TB/s。Nvidia表示，H100 GPU在FP16、FP32和FP64計算方面比其上一代A100快三倍，在8位浮點(diǎn)數學(xué)方面快六倍。

"對于巨型變形金剛模型的訓練，H100將提供高達9倍的性能，在幾天內完成過(guò)去需要幾周的訓練，"Kharya說(shuō)。

該公司還宣布了一個(gè)新的數據中心CPU--Grace CPU超級芯片，它由兩個(gè)CPU組成，通過(guò)一個(gè)新的低延遲NVLink-C2C直接連接。該芯片旨在與新的基于Hopper的GPU一起 "服務(wù)于巨型HPC和AI應用"，并可用于純CPU系統或GPU加速的服務(wù)器。它有144個(gè)Arm核心和1TB/s的內存帶寬。

新的格雷斯CPU "超級芯片 "由兩個(gè)CPU連接而成。

除了硬件和基礎設施新聞，Nvidia還宣布了其各種企業(yè)人工智能軟件服務(wù)的更新，包括Maxine（提供音頻和視頻增強功能的SDK，旨在為虛擬化身等提供動(dòng)力）和Riva（用于語(yǔ)音識別和文本轉語(yǔ)音的SDK）。

該公司還預告說(shuō)，它正在建造一臺新的人工智能超級計算機，它聲稱(chēng)在部署時(shí)將是世界上最快的。這臺名為Eos的超級計算機將采用Hopper架構，包含約4600個(gè)H100 GPU，提供18.4 exaflops的 "AI性能"。該系統將只用于Nvidia的內部研究，該公司表示它將在幾個(gè)月后上線(xiàn)。

在過(guò)去幾年中，一些對人工智能有濃厚興趣的公司已經(jīng)建立或宣布了他們自己的內部 "人工智能超級計算機"，用于內部研究，包括微軟、特斯拉和Meta。這些系統與普通的超級計算機沒(méi)有直接的可比性，因為它們的運行精度較低，這使得一些公司能夠通過(guò)宣布世界上最快的超級計算機而迅速地相互跨越。

然而，在他的主題演講中，Nvidia首席執行官黃仁勛確實(shí)表示，Eos在運行傳統的超級計算機任務(wù)時(shí)，將架設275 petaFLOPS的計算量--比 "美國最快的科學(xué)計算機"（Summit）快1.4倍。"我們期望Eos成為世界上最快的人工智能計算機，"黃說(shuō)。"Eos將成為我們的OEM和云合作伙伴最先進(jìn)的AI基礎設施的藍圖"。