算力網(wǎng)絡(luò )與傳統網(wǎng)絡(luò )有何不同

隨著(zhù)人工智能（AI）和機器學(xué)習（ML）的日益普及，對數據中心網(wǎng)絡(luò )的需求也在增長(cháng)。

本白皮書(shū)分析了AI網(wǎng)絡(luò )的新要求、獨特的AI流量模式，以及如何利用現有技術(shù)使以太網(wǎng)網(wǎng)絡(luò )適應運行高性能AI工作負載。此外，還討論了Keysight解決方案如何幫助優(yōu)化AI網(wǎng)絡(luò )。

新的網(wǎng)絡(luò )要求

支持AI和ML的網(wǎng)絡(luò )在要求和流量模式上與傳統數據中心網(wǎng)絡(luò )存在顯著(zhù)差異。在傳統數據中心和AI數據中心之間，數據的類(lèi)型、數量和流量模型都有很大的不同。大型AI集群的硬件投資高達數億美元，通過(guò)優(yōu)化可以顯著(zhù)減少模型訓練所需的時(shí)間。

傳統數據中心

在傳統數據中心網(wǎng)絡(luò )中，常見(jiàn)的工作負載包括單個(gè)查詢(xún)或定時(shí)作業(yè)，如夜間作業(yè)。這些工作負載變化很大，流量分布在不同的會(huì )話(huà)上。整個(gè)網(wǎng)絡(luò )負載在單個(gè)鏈路上均勻分布，隨著(zhù)用戶(hù)數量的增加而成比例增長(cháng)。通常，延遲或丟失的數據包不會(huì )造成重大問(wèn)題。例如，銀行后端系統處理單個(gè)賬戶(hù)余額的網(wǎng)頁(yè)請求或計算利息的夜間作業(yè)。

AI數據中心

相比之下，數據中心中的AI集群需要表現得像超級計算機，配備成千上萬(wàn)的圖形處理單元（GPU）和數百個(gè)CPU及交換機。在A(yíng)I集群中，所有GPU都致力于解決同一個(gè)問(wèn)題。構建大型語(yǔ)言模型（LLM）可能需要數天或數周時(shí)間。通過(guò)最快的網(wǎng)絡(luò )鏈路相互連接，這些GPU需要移動(dòng)大量數據，不能在任何鏈路上丟失數據包或遇到擁堵。因為所有GPU都在處理同一個(gè)問(wèn)題，所以當最后一個(gè)GPU完成處理時(shí)，任務(wù)就完成了。一旦構建完成，LLM可以遷移到較小的GPU或基于CPU的前端計算機系統。然后，用戶(hù)可以使用模型，看看它在訓練期間學(xué)到的信息應用得如何。這個(gè)過(guò)程被稱(chēng)為推理。本文僅討論后端LLM訓練。

擴展性

擴展傳統數據中心時(shí)，優(yōu)化主要取決于比較查詢(xún)響應的服務(wù)級別（SLA）與實(shí)際結果。例如，檢索支票賬戶(hù)余額的響應可能在毫秒級，而大型夜間作業(yè)可能需要數小時(shí)。若結果未達預期時(shí)效，運維人員可以調整服務(wù)器數量和網(wǎng)絡(luò )速度。

然而，擴展AI集群需要優(yōu)化構建模型的時(shí)間。新模型構建可能需數周或數月。即使縮短幾天，也能釋放AI數據中心價(jià)值數百萬(wàn)美元的GPU，用于下一工作。增加GPU成本高昂，且數量有限。因此，首要優(yōu)化目標是降低GPU的空閑時(shí)間，并在增加容量前消除網(wǎng)絡(luò )擁塞。

在A(yíng)I集群中，GPU共同學(xué)習以訓練模型。任何影響一個(gè)GPU的數據包延遲或丟失都可能顯著(zhù)延長(cháng)任務(wù)完成時(shí)間，因為其他GPU將處于空閑狀態(tài)。盡管需要高速網(wǎng)絡(luò )鏈路，但這還不夠。關(guān)鍵在于配置AI網(wǎng)絡(luò )，利用現代以太網(wǎng)網(wǎng)絡(luò )的多種技術(shù)避免擁塞。

新的流量模式

AI數據中心的網(wǎng)絡(luò )流量模式與傳統數據中心不同。工作負載分布在數百或數千個(gè)GPU之間，涉及大量數據的發(fā)送和接收。與大小不定的互聯(lián)網(wǎng)流量不同，AI數據大小具有有限的隨機性。AI集群在GPU計算和GPU間共享計算結果之間經(jīng)歷快速、高頻率的轉換。GPU在發(fā)送或等待信息時(shí)處于空閑狀態(tài)。流量可能突發(fā)，呈現特定模式，如多個(gè)GPU相互發(fā)送數據，導致內部擁堵。

長(cháng)尾效應

AI網(wǎng)絡(luò )性能衡量的是完成時(shí)間最長(cháng)的流量，而非平均帶寬。這些長(cháng)尾顯著(zhù)影響任務(wù)完成時(shí)間，進(jìn)而影響GPU利用率。例如，若平均流量完成時(shí)間為150毫秒，但一個(gè)GPU的最長(cháng)完成時(shí)間為190毫秒，則所有GPU的實(shí)際總體完成時(shí)間為190毫秒。詳情見(jiàn)圖1。

圖1. 關(guān)鍵評估指標示例

網(wǎng)絡(luò )優(yōu)化中的平衡至關(guān)重要

在此例中，某些GPU獲取數據速度遠快于其他GPU。優(yōu)化的目標并非將數據盡可能快地移動(dòng)至特定GPU，而是平衡網(wǎng)絡(luò )，確保所有GPU幾乎同時(shí)接收到數據，避免空閑。實(shí)際上，這涉及加快慢速流程，減慢快速流程。GPU一旦從彼此處接收到數據，即可啟動(dòng)下一計算周期。這種優(yōu)化網(wǎng)絡(luò )能最大化GPU利用率。

類(lèi)比來(lái)說(shuō)，就像100顆大理石懸掛在網(wǎng)上，網(wǎng)孔僅比大理石略大。若將所有大理石投入網(wǎng)中，部分會(huì )迅速落下，但許多會(huì )聚在一起，最后一個(gè)落下需時(shí)較長(cháng)。若通過(guò)某種通道引導大理石入孔，即使第一個(gè)大理石通過(guò)時(shí)間較長(cháng)，所有大理石整體通過(guò)速度將更快。這里的網(wǎng)孔代表網(wǎng)絡(luò )鏈路，大理石則代表GPU的流量。

相較之下，傳統數據中心流量包含許多不同時(shí)間發(fā)生的大小不一的流量，連接眾多客戶(hù)端。平衡此類(lèi)流量網(wǎng)絡(luò )鏈路相對簡(jiǎn)單，有時(shí)甚至能自我平衡。然而，AI流量涉及始終向所有節點(diǎn)發(fā)送大量流量，平衡難度更大。

何時(shí)升級AI網(wǎng)絡(luò )？

AI的運營(yíng)模式已發(fā)生改變

在傳統數據中心，當鏈路利用率接近50%時(shí)，便會(huì )考慮升級。而在A(yíng)I數據中心，鏈路利用率可高達90%。即使所有鏈路速度奇跡般地加倍，鏈路利用率依然會(huì )保持在較高水平。

新型以太網(wǎng)網(wǎng)絡(luò )配置

以太網(wǎng)網(wǎng)絡(luò )在現今數據中心中占據主導地位，公司可以對其進(jìn)行優(yōu)化和配置，以支持AI網(wǎng)絡(luò )。構建、部署、管理和排查這些網(wǎng)絡(luò )所需的技能，通?？赏ㄟ^(guò)內部資源或外部承包商和顧問(wèn)獲得。公司可以利用這些現有技能，為AI配置以太網(wǎng)網(wǎng)絡(luò )，避免擁塞影響GPU利用率。

現代以太網(wǎng)協(xié)議通過(guò)優(yōu)先級流量控制（PFC）、顯式擁塞通知（ECN）、數據中心量化擁塞通知（DCQCN）和分組噴濺等技術(shù)，管理數據中心網(wǎng)絡(luò )的流量和擁塞。讓我們簡(jiǎn)要了解這些技術(shù)。

從PFC和ECN開(kāi)始調優(yōu)

PFC允許交換機在其緩沖區達到特定閾值時(shí)，向上游設備發(fā)送暫停幀，停止該隊列的流量。這種方法雖可防止數據包丟失，但單獨使用并非最佳解決方案。網(wǎng)絡(luò )可能會(huì )運行緩慢，隊列頻繁啟停。

ECN則在設備間提供擁塞通知，使發(fā)送設備降低流量速率。DCQCN協(xié)調ECN和PFC的工作。

DCQCN是一種算法，通過(guò)在擁塞開(kāi)始時(shí)降低傳輸速率，使ECN能夠管理流量控制，從而減少PFC的持續時(shí)間。調整DCQCN較為復雜，還有其他改善AI網(wǎng)絡(luò )配置的途徑。

進(jìn)一步優(yōu)化AI網(wǎng)絡(luò )的選項

在傳統的數據中心中，等價(jià)多路徑（ECMP）是一種常用的路由策略，它通過(guò)平衡網(wǎng)絡(luò )流量來(lái)實(shí)現網(wǎng)絡(luò )優(yōu)化。然而，在A(yíng)I網(wǎng)絡(luò )中，由于單個(gè)AI流量可能會(huì )占滿(mǎn)整個(gè)鏈路，這種策略就會(huì )面臨挑戰。對于A(yíng)I網(wǎng)絡(luò )來(lái)說(shuō)，更有效的方法是在數據包級別進(jìn)行網(wǎng)絡(luò )平衡。例如，數據包噴濺以及其他形式的負載均衡技術(shù)，如動(dòng)態(tài)負載均衡、基于小單元的路由和確定性路由，可以將數據包分散到可用的網(wǎng)絡(luò )鏈路上。與AI集合通信中的流量相比，這些數據包體積小，可以顯著(zhù)提高鏈路利用率。

在硬件層面，遠程直接內存訪(fǎng)問(wèn)（RDMA）技術(shù)允許兩個(gè)服務(wù)器之間的應用程序直接交換數據，無(wú)需經(jīng)過(guò)處理器、操作系統、緩存或網(wǎng)絡(luò )內核。這意味著(zhù)應用程序可以直接在遠程服務(wù)器的內存上進(jìn)行讀寫(xiě)操作，無(wú)需使用任何服務(wù)器的處理器，從而實(shí)現更快的數據傳輸和更低的延遲?；谌诤弦蕴W(wǎng)的RDMA（RoCE）在以太網(wǎng)網(wǎng)絡(luò )中提供了這種機制。

無(wú)損以太網(wǎng)網(wǎng)絡(luò )的構建

通過(guò)結合上述技術(shù)和為每種技術(shù)設置適當的參數，構建一個(gè)無(wú)損以太網(wǎng)網(wǎng)絡(luò )是可行的。 無(wú)損以太網(wǎng)網(wǎng)絡(luò )的協(xié)議已經(jīng)存在，同時(shí)也有工具來(lái)提供基準測試，所需的管理應用程序，以及網(wǎng)絡(luò )工程師和架構師的知識體系都已完備。

行業(yè)專(zhuān)家們正在為AI開(kāi)發(fā)新的以太網(wǎng)能力和創(chuàng )新技術(shù)。比如，超以太網(wǎng)聯(lián)盟正在致力于標準化高性能以太網(wǎng)能力，并簡(jiǎn)化配置和管理，作為其AI網(wǎng)絡(luò )增長(cháng)路線(xiàn)圖的一部分。 挑戰在于如何在部署前驗證設計和目標。

優(yōu)化AI網(wǎng)絡(luò )的新方法

為了提供AI網(wǎng)絡(luò )的測試基準，需要模擬AI訓練的流量模式，并通過(guò)能夠模擬GPU和RDMA網(wǎng)絡(luò )接口卡（NIC）的網(wǎng)絡(luò )流量發(fā)生器發(fā)送這些數據。GPU支持RDMA NIC，這使得GPU之間的數據訪(fǎng)問(wèn)變得更快捷。

需要模擬的流量類(lèi)型

系統應能夠可重復地創(chuàng )建由AI集群中集合通信產(chǎn)生的不同數據模式和大小的場(chǎng)景。這些流量包括模擬隊列對（Q-pair）連接和流，生成擁塞通知，執行基于DCQCN的動(dòng)態(tài)速率控制，并提供測試吞吐量、緩存管理以及ECMP哈希的靈活性。

工程團隊可以使用支持RoCE v2 / RDMA的網(wǎng)絡(luò )流量發(fā)生器，在實(shí)驗室或灰度環(huán)境中根據性能測量結果對設計進(jìn)行改進(jìn)，而不依賴(lài)于GPU加速卡。一個(gè)有效的AI網(wǎng)絡(luò )優(yōu)化解決方案應具備定義AI系統配置以模擬工作負載的靈活性，包括GPU的數量、NIC的數量、擁塞控制設置（如PFC和DCQCN）、數據大小、Q-pair特性以及模擬NIC的配置，靈活的配置可以使基準測試更高效和可重復。進(jìn)行不同數據大小的基準測試，提供完成時(shí)間、算法和總線(xiàn)帶寬等關(guān)鍵性能指標的結果是優(yōu)化AI網(wǎng)絡(luò )的重要步驟，了解單個(gè)RoCEv2 Q-pair的統計指標細節對于排錯和定位也很關(guān)鍵。

結論

AI數據中心網(wǎng)絡(luò )的要求和流量模式與傳統數據中心網(wǎng)絡(luò )有顯著(zhù)差異。優(yōu)化AI網(wǎng)絡(luò )的范式不同，人們期望網(wǎng)絡(luò )能夠以接近滿(mǎn)載和無(wú)損的方式運行。一個(gè)關(guān)鍵策略是優(yōu)化網(wǎng)絡(luò )以提升GPU利用率。雖然有許多傳統以太網(wǎng)的調優(yōu)方法，但效果并不直觀(guān)、復雜程度高。

Keysight的工具用于提供基準測試和優(yōu)化AI網(wǎng)絡(luò )，工具充分利用了現有的數據中心工程技能、知識體系和測試方法學(xué)，可以避免手動(dòng)、耗時(shí)的操作。有了這些工具，網(wǎng)絡(luò )架構師可以使用Keysight AI（KAI）數據中心構建器來(lái)模擬網(wǎng)絡(luò )負載和GPU行為，結合硬件儀表方案，主動(dòng)識別瓶頸并調整網(wǎng)絡(luò )配置，調優(yōu)網(wǎng)絡(luò )性能。從而最終顯著(zhù)提升GPU利用率——最小化資源浪費并大幅降低網(wǎng)絡(luò )GPU的開(kāi)支。