AMD為Microsoft Azure打造具有 HBM3 內存的定制 EPYC CPU

Microsoft 宣布推出其最新的高性能計算 （HPC） Azure 虛擬機，該虛擬機由定制的 AMD CPU 提供支持，該 CPU 可能曾經(jīng)被稱(chēng)為 MI300C。具有 88 個(gè) Zen 4 內核和 450GB HBM3 的 CPU 可以重新用于 MI300C，四個(gè)芯片達到 7 TB/s,這款采用 HBM3 的 AMD 芯片是 Azure 獨有的。

HBv 系列 Azure VM 專(zhuān)注于提供大量?jì)却鎺?，這是 HPC 的重要規范;Microsoft 稱(chēng)其為“最大的 HPC 瓶頸”。以前，Microsoft 使用帶有 AMD 3D V-Cache 的 Milan-X 和 Genoa-X 服務(wù)器 CPU 來(lái)提供額外的帶寬，但對于最新的 HBv5 VM，Microsoft 顯然需要性能更高的產(chǎn)品。
用于 HBv5 虛擬機的自定義 AMD CPU 利用 HBM3，HBM3 通常是最新數據中心級 GPU（如 AMD 的 MI300X）的首選內存。憑借單個(gè) VM 中四個(gè)芯片的 6.9TB/s 帶寬，這些 VM 的速度幾乎是 Microsoft 在 HBv4 VM 中提供的 Genoa-X CPU 的 9 倍，是 HBv3 VM 中的 Milan-X 芯片的近 20 倍。
當與 CPU 配對時(shí)，HBM3 扮演著(zhù)與 3D V-Cache 類(lèi)似的角色。盡管如此，它并沒(méi)有擴大 L3 緩存池，而是有效地增加了一個(gè)巨大的 L4 緩存，具有更大的帶寬，并且可能更糟糕的延遲。但是，后者在某些類(lèi)型的工作負載中并不那么重要。
每個(gè) HBv5 VM 都配備四個(gè)這樣的自定義 AMD CPU，并且具有所有附加功能，單個(gè) HBv5 VM 提供 450GB 的 HBM3、352 個(gè)主頻高達 4GHz 的 Zen 4 內核，以及常規 Epyc CPU 上可用普通 Infinity Fabric 帶寬的兩倍。但是，SMT （超線(xiàn)程） 已被禁用。這些虛擬機還具有 800Gb/s 的 Nvidia Quantum-2 InfiniBand 用于網(wǎng)絡(luò )切換。
在 4 個(gè) CPU 上有 352 個(gè)內核時(shí)，每個(gè) CPU 有 88 個(gè)內核，盡管可能并非處理器上的每個(gè)內核都暴露在 VM 中。每個(gè) Zen 4 CCD 有 8 個(gè)或 16 個(gè)內核，具體取決于它是 Zen 4 還是 Zen 4c;自定義 CPU 使用 11 個(gè) Zen 4 CCD 或 6 個(gè) Zen 4c CCD，其中一個(gè) CCD 上的 8 個(gè)內核被禁用。CPU 更有可能的是具有 96 個(gè)功能齊全的內核，其中 8 個(gè)保留用于操作 VM，可能擔任編排或虛擬機管理程序角色。
這個(gè) “定制 ”的 AMD CPU 也可能不是那么定制，因為它聽(tīng)起來(lái)很像去年傳聞中的 MI300C 芯片。預計該 CPU 本質(zhì)上是 MI300A APU，但僅配備 Zen 4 CCD 而不是 CDNA 3 顯卡，允許使用 HBM3 的 96 核 CPU。MI300A 的 CPU 核心頻率高達 3.7GHz，與 HBv5 使用的 CPU 相差不遠，說(shuō)明定制的 Azure 處理器和 MI300C 可能是一體的。
然而，雖然 HBv5 CPU 在技術(shù)層面上可能不是定制的，但它仍然是 Microsoft 的獨家 CPU?！八鼉H在 Azure 上可用，”Microsoft 工程師 Glenn Lockwood 在 Bluesky 上回應了一位想知道 AMD CPU 是否會(huì )作為常規 Epyc CPU 可用的用戶(hù)。
如果 HBv5 處理器以前是 MI300C，AMD 最初可能想向公眾銷(xiāo)售它，但很難找到市場(chǎng)，AMD 內存工程師 Phil Park 表示。
“為什么我們沒(méi)有早點(diǎn)看到 EPYC+HBM？EPYC 一直專(zhuān)注于大批量市場(chǎng)，這就是為什么你看不到超過(guò) 2 個(gè)插槽的 EPYC，“Park 在 Bluesky 上發(fā)帖?！澳悴荒軗Q掉 DDR5 控制器并添加 HBM 控制器/堆棧，然后就收工了。HBM 強制進(jìn)行某些設計選擇（例如，每個(gè) HBM3 堆棧需要 16 個(gè) 64 位通道）。
“靈活性：使用 HBM，您無(wú)法升級容量或擁有填充較少通道的低成本版本，”他補充道。通常，CPU 不需要那么多帶寬。
這個(gè)解釋與迄今為止配備 HBM 的 CPU 的短暫歷史相吻合。Intel 已經(jīng)推出了基于 Sapphire Rapids 的 HBM 注入 CPU，稱(chēng)為 Xeon Max，用于 Aurora 超級計算機，并且已全面上市。
然而，英特爾去年證實(shí)不會(huì )有基于 Emerald Rapids 的 Xeon Max 版本，目前尚不清楚 Granite Rapids 是否也會(huì )獲得 Xeon Max 變體，這可能表明他們沒(méi)有取得巨大的商業(yè)成功。AMD 的務(wù)實(shí)決定可能是與 Microsoft 達成協(xié)議，并將 MI300C 的生產(chǎn)重點(diǎn)放在 Azure 上。