英偉達發(fā)布新一代 AI 芯片 H200
加入技術(shù)交流群
當地時(shí)間 11 月 13 日，英偉達宣布推出 NVIDIA HGX? H200，為全球領(lǐng)先的 AI 計算平臺帶來(lái)強大動(dòng)力。該平臺基于 NVIDIA Hopper? 架構，配備 NVIDIA H200 Tensor Core GPU 和高級內存，可處理生成 AI 和高性能計算工作負載的海量數據。H200 將于 2024 年第二季度開(kāi)始向全球系統制造商和云服務(wù)提供商供貨。
本文引用地址：http://dyxdggzs.com/article/202311/452946.htmNVIDIA H200 是首款提供 HBM3e 的 GPU，HBM3e 是更快、更大的內存，可加速生成式 AI 和大型語(yǔ)言模型，同時(shí)推進(jìn) HPC 工作負載的科學(xué)計算。借助 HBM3e，NVIDIA H200 以每秒 4.8 TB 的速度提供 141GB 內存，與前身 NVIDIA A100 相比，容量幾乎翻倍，帶寬增加 2.4 倍。
H200、H100、A100 性能對比，來(lái)源：anandtech
英偉達超大規模和 HPC 副總裁 Ian Buck 表示：「要通過(guò)生成式 AI 和 HPC 應用程序創(chuàng )建智能，必須使用大型、快速的 GPU 內存高速有效地處理大量數據。借助 NVIDIA H200，業(yè)界領(lǐng)先的端到端 AI 超級計算平臺能夠更快地解決世界上一些最重要的挑戰?！?/span>
NVIDIA H200 將應用于具有四路和八路配置的 NVIDIA HGX H200 服務(wù)器主板，這些主板與 HGX H100 系統的硬件和軟件兼容。它還可用于 8 月份發(fā)布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper? 芯片。
英偉達表示，H200 可以部署在各種類(lèi)型的數據中心中，包括本地、云、混合云和邊緣。NVIDIA 的全球合作伙伴服務(wù)器制造商生態(tài)系統（包括華擎 Rack、華碩、戴爾科技、Eviden、技嘉、慧與、英格拉科技、聯(lián)想、QCT、Supermicro、緯創(chuàng )資通和緯穎科技）可以使用 H200 更新其現有系統。
除了 CoreWeave、Lambda 和 Vultr 之外，從 2024 年開(kāi)始，亞馬遜網(wǎng)絡(luò )服務(wù)、谷歌云、微軟 Azure 和甲骨文云基礎設施將成為首批部署基于 H200 實(shí)例的云服務(wù)提供商。
HGX H200 由 NVIDIA NVLink? 和 NVSwitch? 高速互連提供支持，可為各種應用工作負載提供最高性能，包括針對超過(guò) 1750 億個(gè)參數的最大模型的 LLM 訓練和推理。
八路 HGX H200 提供超過(guò) 32 petaflops 的 FP8 深度學(xué)習計算和 1.1TB 聚合高帶寬內存，可在生成式 AI 和 HPC 應用中實(shí)現最高性能。
當與具有超快 NVLink-C2C 互連的 NVIDIA Grace? CPU 配合使用時(shí)，H200 創(chuàng )建了帶有 HBM3e 的 GH200 Grace Hopper 超級芯片——一種旨在服務(wù)于大規模 HPC 和 AI 應用的集成模塊。
富國銀行 (Wells Fargo) 分析師 Aaron Rakers 說(shuō)，H200 是英偉達首款采用 HBM3e 內存的圖形處理器，這使其擁有更高的帶寬和容量，并凸顯出了內存在下一代人工智能工作負載中的重要性。
英偉達表示，H200 Tensor Core GPU 具有改變游戲規則的性能和內存功能，可增強生成式 AI 和高性能計算 (HPC) 工作負載。
H200 基于 NVIDIA Hopper 架構，是首款以每秒 4.8 TB/s 的速度提供 141 GB HBM3e 內存的 GPU，幾乎是 NVIDIA H100 Tensor Core GPU 容量的兩倍，內存帶寬提高了 1.4 倍。H200 更大、更快的內存可加速生成式 AI 和 LLM，同時(shí)以更高的能效和更低的總擁有成本推進(jìn) HPC 工作負載的科學(xué)計算。
在處理 Llama2 等 LLM 時(shí)，H200 的推理速度比 H100 GPU 提高了 2 倍。
對于模擬、科學(xué)研究和人工智能等內存密集型 HPC 應用，H200 更高的內存帶寬可確保高效地訪(fǎng)問(wèn)和操作數據，與 CPU 相比，獲得結果的時(shí)間最多可加快 110 倍。
英偉達表示，H200 的能源效率和 TCO 達到了新的水平。H200 在性能增長(cháng)的同時(shí)，功率配置與 H100 相同。人工智能工廠(chǎng)和超級計算系統不僅速度更快，而且更環(huán)保，提供了推動(dòng)人工智能和科學(xué)界向前發(fā)展的經(jīng)濟優(yōu)勢。
英偉達表示，NVIDIA Hopper 架構比其前身實(shí)現了前所未有的性能飛躍，并通過(guò) H100 的持續軟件增強（包括最近發(fā)布的 NVIDIA TensorRT-LLM?等強大的開(kāi)源庫）繼續提高標準。
評論