什么類(lèi)型連接器用于連接AI數據中心的加速卡？

許多數據中心都配備了高性能圖形處理單元 （GPU） 和張量處理單元 （TPU） 機架。這些加速器處理海量人工智能 （AI） 和機器學(xué)習 （ML） 數據集，并行執行復雜作并高速交換數據。本文探討了將 AI 加速器集群鏈接在一起的互連和連接器。

使用加速器和集群架構擴展 AI 計算

GPU、TPU 等 AI 加速器，以及在某些情況下的現場(chǎng)可編程門(mén)陣列 （FPGA），使用并行處理來(lái)運行大型語(yǔ)言模型 （LLM），以大規模處理復雜的計算。這些設備將復雜的工作負載劃分為更小的任務(wù)，并同時(shí)執行數十億次作。大多數 AI 模型都建立在神經(jīng)網(wǎng)絡(luò )之上，神經(jīng)網(wǎng)絡(luò )受益于這種大規模并行架構，可以加速訓練和推理。

如圖 1 所示，AI 加速器通常部署在緊密耦合的集群中，以有效地共享數據、同步計算并在數千個(gè)處理單元之間擴展訓練。

圖 1.Google 數據中心包含用于大規模機器學(xué)習工作負載的緊密耦合 AI 加速器機架。此處顯示的是 TPU v4 基礎架構的圖示。（圖片：谷歌）)

此配置有助于滿(mǎn)足 AI 工作負載的低延遲、高性能需求。它還可以提高吞吐量，最大限度地減少瓶頸，并支持對復雜的計算密集型任務(wù)進(jìn)行實(shí)時(shí)推理。

高級互連架構和協(xié)議

數據中心使用專(zhuān)門(mén)的互連技術(shù)來(lái)鏈接 AI 加速器集群，以實(shí)現大規模高效運行，從而在節點(diǎn)內部和節點(diǎn)之間實(shí)現高速通信。這些互連支持海量數據交換、同步處理和復雜工作負載的并行執行。常見(jiàn)的 AI 加速器互連包括：

NVLink — NVIDIA 專(zhuān)有的高帶寬互連有助于實(shí)現 GPU 到 GPU 的直接通信，具有低延遲和高能效。它支持使用專(zhuān)用連接器和 NVSwitch 技術(shù)在加速器之間快速同步和數據共享。NVLink 通過(guò)啟用內存池在多 GPU 環(huán)境中高效擴展，允許 GPU 共享統一的地址空間并作為單個(gè)高性能計算單元運行。如圖 2 所示， NVLink 4.0 在 H100 GPU 上提供高達 900 GB / s 的雙向帶寬。

圖 2.Nvidia 的 H100 GPU 使用 NVLink 4.0 實(shí)現高達 900 GB/s 的雙向帶寬，可在多加速器集群中實(shí)現高速 GPU 到 GPU 通信。（圖片：英偉達)

UALink — Ultra Accelerator Link 是一種開(kāi)放式互連標準，旨在在單個(gè)計算 Pod 中擴展多達 1024 個(gè) AI 加速器的集群。1.0 規范支持每通道 200G，并實(shí)現具有以太網(wǎng)級帶寬和 PCIe 級延遲的密集內存語(yǔ)義連接。UALink 支持跨節點(diǎn)的讀、寫(xiě)和原子事務(wù)，并為可擴展的多節點(diǎn)系統定義了一個(gè)通用協(xié)議棧。UALink 被定位為在加速器 Pod 內擴展的高性能替代方案，其目標是比典型的以太網(wǎng)更低的延遲來(lái)實(shí)現節點(diǎn)間通信。

Compute Express Link （CXL） 可在 CPU、GPU 和其他加速器之間實(shí)現連貫的低延遲通信。它通過(guò)支持緩存一致性、內存池化、資源共享和內存分解來(lái)提高異構系統中的資源利用率。CXL 1.1 和 2.0 在 PCIe 5.0 上運行，而 CXL 3.0 及更高版本利用 PCIe 6.0 或更高版本，實(shí)現高達 64 GT/s 的傳輸速度和 128 GB/s 的雙向帶寬。

高速以太網(wǎng)有助于在分布在服務(wù)器和節點(diǎn)上的加速器集群之間移動(dòng)數據。400 GbE 和 800 GbE 等技術(shù)支持使用 NIC 和光纜或銅纜進(jìn)行高吞吐量通信。雖然以太網(wǎng)比 NVLink 或 UALink 引入更高的延遲，但它在機架和數據中心級別提供了廣泛的互作性和靈活的部署。

光互連和外形尺寸;光纖鏈路可遠距離高速傳輸數據，跨機架和節點(diǎn)鏈接加速器集群。與銅纜連接相比，它們消耗的功率更少，并克服了信號完整性挑戰，如衰減和 EMI。這些互連通常依賴(lài)于標準化的外形尺寸，例如四通道小型可插拔 （QSFP）、四通道小型可插拔雙密度 （QSFP-DD） 和八通道小型可插拔 （OSFP），它們用作電氣和光纖以太網(wǎng)連接的物理接口。這些相同的外形尺寸也廣泛用于數據中心中的其他高速光互連，例如 InfiniBand 和專(zhuān)有光鏈路，進(jìn)一步擴展了它們在可擴展計算基礎設施中的作用。

AI 加速器的物理連接器和接口

高性能互連依賴(lài)于各種物理層組件，包括連接器、插槽和布線(xiàn)接口。這些組件有助于保持信號完整性、機械兼容性和可擴展的系統設計。它們跨電路板、設備和系統傳輸電信號和光信號，促進(jìn)集群 AI 基礎設施的可靠運行。

盡管互連定義了通信協(xié)議和信號標準，但它們依賴(lài)于這些物理接口才能大規模有效地運行。常見(jiàn)的連接器和接口技術(shù)如下所述。

PCIe 接口將加速器卡連接到主機系統和其他組件。盡管新一代（如 PCIe 5.0 和 6.0）提供可擴展的帶寬，但它們可能會(huì )在緊密耦合的多加速器環(huán)境中成為瓶頸。重定時(shí)器通常用于在較長(cháng)的電路板走線(xiàn)上保持信號完整性。

夾層連接器用于 Open Compute Project 的 Open Accelerator Infrastructure （OAI）。它們支持高密度模塊到模塊連接，減少信號損耗，管理阻抗，并簡(jiǎn)化模塊化加速器設計中的機械集成。

有源電纜 （AEC） 將數字信號處理器集成到銅纜中，以提高更遠距離的信號強度。這使得電氣鏈路能夠在無(wú)源電纜無(wú)法觸及的地方保持數據完整性。

高速板對板連接器使用 PAM4 調制，以高達 224 Gbps 的數據速率實(shí)現直接模塊通信。它們支持 AI 平臺和緊密集成的加速器集群內的密集、低延遲通信。

光纖連接器 — QSFP、QSFP-DD 和 OSFP 外形規格是光纖和短距離電氣以太網(wǎng)連接的物理接口。這些收發(fā)器格式廣泛部署在 NIC、交換機端口和光模塊上，并支持 PAM4 調制，以保持各種部署場(chǎng)景中的信號性能。

液冷連接器

如圖 3 所示，越來(lái)越多的高性能 AI 加速器機架依賴(lài)于液體冷卻。這些系統中使用的許多連接器必須滿(mǎn)足嚴格的機械和熱要求，以確保安全、可靠的運行。

圖 3.液冷 GPU 服務(wù)器，具有集成的快速斷開(kāi)接頭和歧管連接，適用于高密度 AI 訓練工作負載。這些連接器經(jīng)過(guò)精心設計，可在 NVIDIA HGX H100 平臺等系統中支持安全、高吞吐量的冷卻。（圖片：Supermicro)

這些連接器通?？沙惺芨哌_ 50°C （122°F） 的溫度，支持高達 13 升/分鐘 （LPM） 的冷卻劑流速，并保持約 0.25 磅/平方英寸 （psi） 的低壓降。它們使用水基和介電流體提供無(wú)泄漏作，防止腐蝕，并可輕松與機架內歧管集成。

大多數液冷連接器都包含快速斷開(kāi)功能，可實(shí)現無(wú)滴漏維護。大內徑（通常約為 5/8 英寸）支持跨 AI 機架的高流速。有些提供將高速數據傳輸與液體冷卻通道相結合的混合設計。其他產(chǎn)品支持與 3 英寸見(jiàn)方的不銹鋼管兼容，或采用堅固的結構，以承受溫度波動(dòng)、壓力變化和振動(dòng)。

總結

AI 數據中心依靠各種互連和物理連接器來(lái)鏈接加速卡，實(shí)現高速數據交換，并促進(jìn)大規模并行處理。這些組件對于在緊密耦合的集群中保持性能、信號完整性和機械可靠性至關(guān)重要。