老黃深夜炸場(chǎng)！英偉達發(fā)布全球最強 AI 芯片 H200：性能飆升 90%，Llama 2 推理速度翻倍

IT之家 11 月 13 日消息，英偉達今日發(fā)布了下一代人工智能超級計算機芯片，這些芯片將在深度學(xué)習和大型語(yǔ)言模型（LLM）方面發(fā)揮重要作用，比如 OpenAI 的 GPT-4。新芯片相比上一代有了顯著(zhù)的飛躍，將被用于數據中心和超級計算機，處理諸如天氣和氣候預測、藥物發(fā)現、量子計算等任務(wù)。

此次發(fā)布的關(guān)鍵產(chǎn)品是基于英偉達的“Hopper”架構的 HGX H200 GPU，是 H100 GPU 的繼任者，也是該公司第一款使用 HBM3e 內存的芯片，這種內存速度更快，容量更大，因此更適合大型語(yǔ)言模型。英偉達稱(chēng)：“借助 HBM3e，英偉達 H200 以每秒 4.8 TB 的速度提供 141GB 的內存，與 A100 相比，容量幾乎是其兩倍，帶寬增加了 2.4 倍?！?/p>

在人工智能方面，英偉達表示，HGX H200 在 Llama 2（700 億參數 LLM）上的推理速度比 H100 快了一倍。HGX H200 將以 4 路和 8 路的配置提供，與 H100 系統中的軟件和硬件兼容。它將適用于每一種類(lèi)型的數據中心（本地、云、混合云和邊緣），并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等部署，將于 2024 年第二季度推出。

英偉達此次發(fā)布的另一個(gè)關(guān)鍵產(chǎn)品是 GH200 Grace Hopper“超級芯片（superchip）”，其將 HGX H200 GPU 和基于 Arm 的英偉達 Grace CPU 通過(guò)該公司的 NVLink-C2C 互連結合起來(lái)，官方稱(chēng)其專(zhuān)為超級計算機設計，讓“科學(xué)家和研究人員能夠通過(guò)加速運行 TB 級數據的復雜 AI 和 HPC 應用程序，來(lái)解決世界上最具挑戰性的問(wèn)題”。

GH200 將被用于“全球研究中心、系統制造商和云提供商的 40 多臺 AI 超級計算機”，其中包括戴爾、Eviden、惠普企業(yè)（HPE）、聯(lián)想、QCT 和 Supermicro。其中值得注意的是，HPE 的 Cray EX2500 超級計算機將使用四路 GH200，可擴展到數萬(wàn)個(gè) Grace Hopper 超級芯片節點(diǎn)。

也許最大的 Grace Hopper 超級計算機是位于德國 Jülich 工廠(chǎng)的 JUPITER，在 2024 年安裝后將成為“世界上最強大的 AI 系統”。其使用了液冷架構，其增強模塊由近 24000 個(gè)英偉達 GH200 超級芯片組成，這些芯片通過(guò)英偉達 Quantum-2 InfiniBand 網(wǎng)絡(luò )平臺互連。

英偉達表示，JUPITER 將有助于在多個(gè)領(lǐng)域取得科學(xué)突破，包括氣候和天氣預測，生成高分辨率的氣候和天氣模擬，并進(jìn)行交互式可視化。它還將被用于藥物發(fā)現、量子計算和工業(yè)工程，其中許多領(lǐng)域使用定制的英偉達軟件解決方案，這些解決方案簡(jiǎn)化了開(kāi)發(fā)，但也使超級計算團隊依賴(lài)于英偉達硬件。

IT之家注意到，上個(gè)季度，英偉達僅在 AI 和數據中心領(lǐng)域就實(shí)現了創(chuàng )紀錄的 103.2 億美元的收入（總收入為 135.1 億美元），比一年前增長(cháng)了 171%，英偉達無(wú)疑希望新的 GPU 和超級芯片能夠幫助其繼續這一趨勢。