使用PCIe交換網(wǎng)結構在多主機系統中優(yōu)化資源部署

越來(lái)越多的數據中心和其他高性能計算環(huán)境開(kāi)始使用GPU，因為GPU能夠快速處理深度學(xué)習和機器學(xué)習應用中生成的大量數據。不過(guò)，就像許多可提高應用性能的新型數據中心創(chuàng )新一樣，這項創(chuàng )新也暴露出新的系統瓶頸。在這些應用中，用于提高系統性能的新興架構涉及通過(guò)一個(gè)PCIe^?結構在多個(gè)主機之間共享系統資源。

PCIe標準（特別是其基于樹(shù)的傳統層級）會(huì )限制資源共享的實(shí)現方式（和實(shí)現程度）。不過(guò)，可以實(shí)現一種低延時(shí)的高速結構方法，這種方法允許在多個(gè)主機之間共享大量GPU和NVMe SSD，同時(shí)仍支持標準系統驅動(dòng)程序。

PCIe結構方法采用動(dòng)態(tài)分區和多主機單根I/O虛擬化（SR-IOV）共享。各PCIe結構之間可直接路由點(diǎn)對點(diǎn)傳輸。這樣便可為點(diǎn)對點(diǎn)傳輸提供最佳路由，減少根端口擁塞，并且更有效地平衡CPU資源的負載。

傳統上，GPU傳輸必須訪(fǎng)問(wèn)CPU的系統存儲器，這會(huì )導致端點(diǎn)之間發(fā)生存儲器共享爭用。  當GPU使用其共享的存儲器映射資源而不是CPU存儲器時(shí)，它可以在本地提取數據，無(wú)需先通過(guò)CPU傳遞數據。這消除了跳線(xiàn)和鏈路以及由此產(chǎn)生的延時(shí)，從而使GPU能夠更高效地處理數據。

圖1 — 多主機拓撲

PCIe的固有限制

PCIe主層級是一個(gè)樹(shù)形結構，其中的每個(gè)域都有一個(gè)根聯(lián)合體，從該點(diǎn)可擴展到“葉子”，這些“葉子”通過(guò)交換網(wǎng)和橋接器到達端點(diǎn)。鏈路的嚴格層級和方向性給多主機、多交換網(wǎng)系統帶來(lái)了成本高昂的設計要求。

以圖1所示的系統為例。要符合PCIe的層級，主機1必須在交換網(wǎng)1中有一個(gè)專(zhuān)用的下行端口，該端口連接到交換網(wǎng)2中的專(zhuān)用上行端口。它還需要在交換網(wǎng)2中有一個(gè)專(zhuān)用的下行端口，該端口連接到交換網(wǎng)3中的專(zhuān)用上行端口，依此類(lèi)推。主機2和主機3也有類(lèi)似的要求，如圖2所示。

即使是基于PCIe樹(shù)形結構的最基本系統，也需要各交換網(wǎng)之間有三個(gè)鏈路專(zhuān)用于每個(gè)主機的PCIe拓撲。而且，由于主機之間無(wú)法共享這些鏈路，因此系統會(huì )很快變得極為低效。

此外，符合PCIe的典型層級只有一個(gè)根端口，而且盡管“多根I/O虛擬化和共享”規范中支持多個(gè)根，但它會(huì )使設計更復雜，并且當前不受主流CPU支持。結果會(huì )造成未使用的PCIe設備（即端點(diǎn)）滯留在其分配到的主機中。不難想象，這在采用多個(gè)GPU、存儲設備及其控制器以及交換網(wǎng)的大型系統中會(huì )變得多么低效。

例如，如果第一個(gè)主機（主機1）已經(jīng)消耗了所有計算資源，而主機2和3未充分利用資源，則顯然希望主機1訪(fǎng)問(wèn)這些資源。但主機1無(wú)法這樣做，因為這些資源在它的層級域之外，因此會(huì )發(fā)生滯留。非透明橋接（NTB）是這種問(wèn)題的一個(gè)潛在解決方案，但由于每種類(lèi)型的共享PCIe設備都需要非標準驅動(dòng)程序和軟件，因此這同樣會(huì )使系統變得復雜。更好的方法是使用PCIe結構，這種結構允許標準PCIe拓撲容納多個(gè)可訪(fǎng)問(wèn)每個(gè)端點(diǎn)的主機。

圖2 — 每個(gè)主機的層級要求

實(shí)施方法

系統使用一個(gè)PCIe結構交換網(wǎng)（本例中為Microchip Switchtec^? PAX系列的成員）在兩個(gè)獨立但可透明互操作的域中實(shí)現：即包含所有端點(diǎn)和結構鏈路的結構域以及每個(gè)主機專(zhuān)用的主機域（圖3）。主機通過(guò)在嵌入式CPU上運行的PAX交換網(wǎng)固件保留在單獨的虛擬域中，因此，交換網(wǎng)將始終顯示為具有直連端點(diǎn)的標準單層PCIe設備，而與這些端點(diǎn)出現在結構中的位置無(wú)關(guān)。

來(lái)自主機域的事務(wù)會(huì )在結構域中轉換為ID和地址，反之，結構域中通信的非分層路由也是如此。這樣，系統中的所有主機便可共享連接交換網(wǎng)和端點(diǎn)的結構鏈路。交換網(wǎng)固件會(huì )攔截來(lái)自主機的所有配置平面通信（包括PCIe枚舉過(guò)程），并使用數量可配置的下行端口虛擬化一個(gè)符合PCIe規范的簡(jiǎn)單交換網(wǎng)。

當所有控制平面通信都路由到交換網(wǎng)固件進(jìn)行處理時(shí)，數據平面通信直接路由到端點(diǎn)。其他主機域中未使用的GPU不再滯留，因為它們可以根據每個(gè)主機的需求動(dòng)態(tài)分配。結構內支持點(diǎn)對點(diǎn)通信，這使其能夠適應機器學(xué)習應用。當以符合PCIe規范的方式向每個(gè)主機提供功能時(shí)，可以使用標準驅動(dòng)程序。

圖3 — 每個(gè)結構的獨立域

操作方法

為了解這種方法的工作原理，我們以圖4中的系統為例，該系統由兩個(gè)主機（主機1采用Windows^?系統，主機2采用Linux^?系統）、四個(gè)PAX PCIe結構交換網(wǎng)、四個(gè)Nvidia M40 GPGPU和一個(gè)支持SR-IOV的Samsung NVMe SSD組成。在本實(shí)驗中，主機運行代表實(shí)際機器學(xué)習工作負載的通信，包括Nvidia的CUDA點(diǎn)對點(diǎn)通信基準測試實(shí)用程序和訓練cifar10圖像分類(lèi)的TensorFlow模型。嵌入式交換網(wǎng)固件處理交換網(wǎng)的低級配置和管理，系統由Microchip的ChipLink調試和診斷實(shí)用程序管理。