NVIDIA推出Blackwell架構DGX SuperPOD，適用于萬(wàn)億參數級的生成式AI超級計算

NVIDIA于近日發(fā)布新一代AI超級計算機 —— 搭載NVIDIA GB200 Grace Blackwell超級芯片的NVIDIA DGX SuperPOD?。這臺AI超級計算機可以用于處理萬(wàn)億參數模型，能夠保證超大規模生成式 AI 訓練和推理工作負載的持續運行。

全新 DGX SuperPOD 采用新型高效液冷機架級擴展架構，基于NVIDIA DGX? GB200系統構建而成，在FP4精度下可提供 11.5 exaflops 的 AI 超級計算性能和 240 TB 的快速顯存，且可通過(guò)增加機架來(lái)擴展性能。

每個(gè)DGX GB200系統搭載36個(gè)NVIDIA GB200超級芯片，共包含36個(gè)NVIDIA Grace CPU和72個(gè)NVIDIA Blackwell GPU。這些超級芯片通過(guò)第五代NVIDIA NVLink^?連接成一臺超級計算機。與NVIDIA H100 Tensor Core GPU相比，GB200 超級芯片在大語(yǔ)言模型推理工作負載方面的性能提升了高達 30 倍。

NVIDIA創(chuàng )始人兼首席執行官黃仁勛表示： “NVIDIA DGX AI超級計算機是推進(jìn) AI 產(chǎn)業(yè)變革的工廠(chǎng)。新一代DGX SuperPO 集NVIDIA加速計算、網(wǎng)絡(luò )和軟件方面的最新進(jìn)展于一體，能夠幫助每一個(gè)企業(yè)、行業(yè)和國家完善并生成自己的AI?！?/p>

Grace Blackwell 架構的 DGX SuperPOD 由 8 個(gè)或以上的 DGX GB200 系統構建而成，這些系統通過(guò) NVIDIA Quantum InfiniBand 網(wǎng)絡(luò )連接，可擴展到數萬(wàn)個(gè) GB200 超級芯片。用戶(hù)可通過(guò) NVLink 連接 8 個(gè) DGX GB200 系統中的 576 塊 Blackwell GPU，從而獲得海量共享顯存空間，來(lái)賦能下一代 AI 模型。

面向生成式AI時(shí)代的全新機架級擴展的DGX SuperPOD架構

采用DGX GB200系統構建而成的全新DGX SuperPOD采用了統一的計算網(wǎng)絡(luò )。除第五代NVIDIA NVLink網(wǎng)絡(luò )外，還包括NVIDIA BlueField^?-3 DPU，并將支持同為近日發(fā)布的NVIDIA Quantum-X800 InfiniBand網(wǎng)絡(luò )。這個(gè)架構可為計算平臺中的每塊GPU提供高達每秒1800 GB的帶寬。

另外，第四代NVIDIA可擴展分層聚合和規約協(xié)議（SHARP）?技術(shù)可提供14.4 teraflops的網(wǎng)絡(luò )計算能力，與上一代產(chǎn)品相比，新一代DGX SuperPOD架構的網(wǎng)絡(luò )計算能力提高了 4 倍。

統包式架構搭配先進(jìn)的軟件，實(shí)現前所未有的正常運行時(shí)間

全新DGX SuperPOD是一臺完整的數據中心級AI超級計算機，在與NVIDIA認證合作伙伴提供的高性能存儲集成后，能夠滿(mǎn)足生成式AI工作負載的需求。每臺超級計算機都在出廠(chǎng)前完成了搭建、布線(xiàn)和測試，從而大大加快了在用戶(hù)數據中心的部署速度。

Grace Blackwell架構的DGX SuperPOD具有智能預測管理功能，能夠持續監控軟硬件中的數千個(gè)數據點(diǎn)，通過(guò)預測并攔截導致停機和低效的根源以節省時(shí)間、能耗和計算成本。

即使沒(méi)有系統管理員在場(chǎng)，該軟件也能識別需要重點(diǎn)關(guān)注的領(lǐng)域并制定維護計劃，靈活調整計算資源，通過(guò)自動(dòng)保存和恢復作業(yè)來(lái)防止停機。

如果軟件檢測到需要更換組件，該集群將激活備用容量以確保工作能夠及時(shí)完成。為任何必要的硬件更換做好安排，以免出現計劃之外的停機。

NVIDIA DGX B200系統推動(dòng)各行各業(yè)AI超級計算發(fā)展

NVIDIA還發(fā)布了一款統一用于A(yíng)I模型訓練、微調和推理的通用AI超級計算平臺NVIDIA DGX B200系統。

采用風(fēng)冷傳統機架式設計的DGX已被全球各行各業(yè)數千家企業(yè)廣泛采用，DGX B200 DGX系列的第六代產(chǎn)品。采用Blackwell架構的全新DGX B200系統包含8個(gè)NVIDIA B200 Tensor Core GPU和2個(gè)第五代英特爾^?至強^?處理器。用戶(hù)還可以使用 DGX B200 系統構建 DGX SuperPOD，打造能夠幫助大型開(kāi)發(fā)團隊運行多種不同作業(yè)的 AI 卓越中心。

DGX B200 系統憑借全新 Blackwell 架構中的 FP4 精度特性，可提供高達 144 petaflops 的 AI 性能、1.4TB 海量的 GPU 顯存和 64TB/s 的顯存帶寬，從而使得該系統的萬(wàn)億參數模型實(shí)時(shí)推理速度比上一代產(chǎn)品提升了 15 倍

DGX B200系統包含帶有8個(gè)NVIDIA ConnectX?-7網(wǎng)卡和2個(gè)BlueField-3 DPU的高性能網(wǎng)絡(luò )，每個(gè)連接的帶寬高達400 Gb/s，可通過(guò)NVIDIA Quantum-2 InfiniBand 和 NVIDIA Spectrum?-X以太網(wǎng)網(wǎng)絡(luò )平臺支持更高的AI性能。

軟件和專(zhuān)家為擴大生產(chǎn)級AI的規模提供支持

所有 NVIDIA DGX 平臺均包含用于企業(yè)級開(kāi)發(fā)和部署的NVIDIA AI Enterprise軟件。DGX用戶(hù)可以通過(guò)使用該軟件平臺中的預訓練的 NVIDIA 基礎模型、框架、工具套件和全新NVIDIA NIM微服務(wù)來(lái)加速他們的工作。

NVIDIA DGX專(zhuān)家與部分獲得NVIDIA DGX平臺支持認證的合作伙伴將在每個(gè)部署環(huán)節為用戶(hù)提供幫助，以便其迅速實(shí)現AI投產(chǎn)。在系統投入運行后，DGX專(zhuān)家還將繼續協(xié)助用戶(hù)優(yōu)化其AI管線(xiàn)和基礎設施。

供應情況

NVIDIA全球合作伙伴預計將在今年晚些時(shí)候提供基于DGX GB200和DGX B200系統構建而成的NVIDIA DGX SuperPOD。更多信息，請觀(guān)看GTC主題演講回放或在3月21日前參加由NVIDIA和行業(yè)領(lǐng)導者帶來(lái)的會(huì )議。