Nvidia 對組合封裝光學(xué)器件的認可意味著(zhù)時(shí)機成熟

期待已久的新興計算機網(wǎng)絡(luò )組件可能終于迎來(lái)了它的時(shí)刻。在 上周于圣何塞舉行的 Nvidia GTC 大會(huì )上，該公司宣布將生產(chǎn)一款光網(wǎng)絡(luò )交換機，旨在大幅降低 AI 數據中心的功耗。該系統稱(chēng)為組合封裝光學(xué)器件 （CPO） 交換機，每秒可以將數十 TB 從一個(gè)機架中的計算機路由到另一個(gè)機架中的計算機。與此同時(shí)，初創(chuàng )公司 Micas Networks 宣布，它正在使用基于 Broadcom 技術(shù)的 CPO 交換機進(jìn)行批量生產(chǎn)。

在當今的數據中心中，計算機機架中的網(wǎng)絡(luò )交換機由專(zhuān)用芯片組成，這些芯片與插入系統的光收發(fā)器電氣連接。（機架內的連接是電氣的，但一些初創(chuàng )公司希望改變這一點(diǎn)?？刹灏问瞻l(fā)器結合了激光器、光電路、數字信號處理器和其他電子設備。它們與交換機建立電氣鏈路，并在交換機側的電子位和沿光纖飛過(guò)數據中心的光子之間轉換數據。

共封裝光學(xué)器件通過(guò)將光/電數據轉換盡可能靠近開(kāi)關(guān)芯片來(lái)提高帶寬和降低功耗。這簡(jiǎn)化了設置，并通過(guò)減少所需的獨立組件數量和電子信號必須傳輸的距離來(lái)節省功耗。先進(jìn)的封裝技術(shù)允許芯片制造商用多個(gè)硅光收發(fā)器小芯片包圍網(wǎng)絡(luò )芯片。光纖直接連接到封裝上。因此，除激光器外，所有組件都集成到一個(gè)封裝中，激光器由于使用非硅材料和技術(shù)制造，因此保持外部。（即便如此，CPO 在 Nvidia 硬件中的每 8 個(gè)數據鏈路中只需要一個(gè)激光器。

“具有 400000 個(gè) GPU 的 AI 超級計算機實(shí)際上是一臺 24 兆瓦的激光器?！薄?nbsp;Ian Buck，Nvidia 公司

盡管這項技術(shù)看起來(lái)很有吸引力，但它的經(jīng)濟性使其無(wú)法部署?！拔覀円恢痹诘却?CPO，”加州大學(xué)圣巴巴拉分校 （University of California Santa Barbara） 的共封裝光學(xué)專(zhuān)家兼 IEEE 研究員 Clint Schow 說(shuō)，他已經(jīng)研究這項技術(shù) 20 年了。談到 Nvidia 對技術(shù)的認可，他說(shuō)該公司“不會(huì )這樣做，除非 [GPU 密集型數據中心] 無(wú)力花費電力。所涉及的工程是如此復雜，Schow 認為除非“用老辦法做事”是不值得的。

事實(shí)上，Nvidia 指出，即將到來(lái)的 AI 數據中心的功耗是一個(gè)動(dòng)機。Nvidia 超大規模和高性能計算副總裁 Ian Buck 表示，在 AI 數據中心，可插拔光學(xué)器件消耗的“占 GPU 總計算能力的 10%，令人震驚”。在一個(gè)擁有 400,000 GPU 的工廠(chǎng)中，這將轉化為 40 兆瓦，其中一半以上僅用于為可插拔光學(xué)收發(fā)器中的激光器供電?！耙慌_擁有 400000 個(gè) GPU 的 AI 超級計算機實(shí)際上是一臺 24 兆瓦的激光器，”他說(shuō)。

光調制器

Broadcom 的方案與 Nvidia 的方案之間的一個(gè)根本區別是光調制器技術(shù)，該技術(shù)將電子位編碼到光束上。在硅光子學(xué)中，有兩種主要類(lèi)型的調制器——Broadcom 使用的 Mach-Zender 調制器，它是可插拔光學(xué)器件的基礎，以及 Nvidia 選擇的微環(huán)諧振器。在前者中，通過(guò)波導傳播的光被分成兩個(gè)平行的臂。然后，每個(gè)臂都可以通過(guò)施加的電場(chǎng)進(jìn)行調制，從而改變通過(guò)的光的相位。然后，臂重新連接形成單個(gè)波導。根據這兩個(gè)信號現在是同相還是異相，它們將相互抵消或合并。因此，電子位可以編碼到光上。

微環(huán)調制器要緊湊得多。環(huán)形波導不是沿兩條平行路徑分割光線(xiàn)，而是懸掛在光線(xiàn)主路徑的一側。如果光的波長(cháng)可以在環(huán)中形成駐波，它將被虹吸掉，從主波導中過(guò)濾掉該波長(cháng)。與磁環(huán)共振的確切波長(cháng)取決于結構的折射率，該折射率可以通過(guò)電子方式控制。

然而，微環(huán)的緊湊性是有代價(jià)的。微環(huán)調制器對溫度敏感，因此每個(gè)調制器都需要一個(gè)內置的加熱電路，必須仔細控制并消耗功率。另一方面，馬赫-Zender 器件要大得多，導致更多的光線(xiàn)損失和一些設計問(wèn)題，Schow 說(shuō)。

期待已久的新興計算機網(wǎng)絡(luò )組件可能終于迎來(lái)了它的時(shí)刻。在 上周于圣何塞舉行的 Nvidia GTC 大會(huì )上，該公司宣布將生產(chǎn)一款光網(wǎng)絡(luò )交換機，旨在大幅降低 AI 數據中心的功耗。該系統稱(chēng)為共封裝光學(xué)器件 （CPO） 交換機，每秒可以將數十 TB 從一個(gè)機架中的計算機路由到另一個(gè)機架中的計算機。與此同時(shí)，初創(chuàng )公司 Micas Networks 宣布，它正在使用基于 Broadcom 技術(shù)的 CPO 交換機進(jìn)行批量生產(chǎn)。

在當今的數據中心中，計算機機架中的網(wǎng)絡(luò )交換機由專(zhuān)用芯片組成，這些芯片與插入系統的光收發(fā)器電氣連接。（機架內的連接是電氣的，但一些初創(chuàng )公司希望改變這一點(diǎn)?？刹灏问瞻l(fā)器結合了激光器、光電路、數字信號處理器和其他電子設備。它們與交換機建立電氣鏈路，并在交換機側的電子位和沿光纖飛過(guò)數據中心的光子之間轉換數據。

共封裝光學(xué)器件通過(guò)將光/電數據轉換盡可能靠近開(kāi)關(guān)芯片來(lái)提高帶寬和降低功耗。這簡(jiǎn)化了設置，并通過(guò)減少所需的獨立組件數量和電子信號必須傳輸的距離來(lái)節省功耗。先進(jìn)的封裝技術(shù)允許芯片制造商用多個(gè)硅光收發(fā)器小芯片包圍網(wǎng)絡(luò )芯片。光纖直接連接到封裝上。因此，除激光器外，所有組件都集成到一個(gè)封裝中，激光器由于使用非硅材料和技術(shù)制造，因此保持外部。（即便如此，CPO 在 Nvidia 硬件中的每 8 個(gè)數據鏈路中只需要一個(gè)激光器。

“具有 400000 個(gè) GPU 的 AI 超級計算機實(shí)際上是一臺 24 兆瓦的激光器?！薄?nbsp;Ian Buck，Nvidia 公司

盡管這項技術(shù)看起來(lái)很有吸引力，但它的經(jīng)濟性使其無(wú)法部署?！拔覀円恢痹诘却?CPO，”加州大學(xué)圣巴巴拉分校 （University of California Santa Barbara） 的共封裝光學(xué)專(zhuān)家兼 IEEE 研究員 Clint Schow 說(shuō)，他已經(jīng)研究這項技術(shù) 20 年了。談到 Nvidia 對技術(shù)的認可，他說(shuō)該公司“不會(huì )這樣做，除非 [GPU 密集型數據中心] 無(wú)力花費電力。所涉及的工程是如此復雜，Schow 認為除非“用老辦法做事”是不值得的。

事實(shí)上，Nvidia 指出，即將到來(lái)的 AI 數據中心的功耗是一個(gè)動(dòng)機。Nvidia 超大規模和高性能計算副總裁 Ian Buck 表示，在 AI 數據中心，可插拔光學(xué)器件消耗的“占 GPU 總計算能力的 10%，令人震驚”。在一個(gè)擁有 400,000 GPU 的工廠(chǎng)中，這將轉化為 40 兆瓦，其中一半以上僅用于為可插拔光學(xué)收發(fā)器中的激光器供電?！耙慌_擁有 400000 個(gè) GPU 的 AI 超級計算機實(shí)際上是一臺 24 兆瓦的激光器，”他說(shuō)。

光調制器

Broadcom 的方案與 Nvidia 的方案之間的一個(gè)根本區別是光調制器技術(shù)，該技術(shù)將電子位編碼到光束上。在硅光子學(xué)中，有兩種主要類(lèi)型的調制器——Broadcom 使用的 Mach-Zender 調制器，它是可插拔光學(xué)器件的基礎，以及 Nvidia 選擇的微環(huán)諧振器。在前者中，通過(guò)波導傳播的光被分成兩個(gè)平行的臂。然后，每個(gè)臂都可以通過(guò)施加的電場(chǎng)進(jìn)行調制，從而改變通過(guò)的光的相位。然后，臂重新連接形成單個(gè)波導。根據這兩個(gè)信號現在是同相還是異相，它們將相互抵消或合并。因此，電子位可以編碼到光上。

微環(huán)調制器要緊湊得多。環(huán)形波導不是沿兩條平行路徑分割光線(xiàn)，而是懸掛在光線(xiàn)主路徑的一側。如果光的波長(cháng)可以在環(huán)中形成駐波，它將被虹吸掉，從主波導中過(guò)濾掉該波長(cháng)。與磁環(huán)共振的確切波長(cháng)取決于結構的折射率，該折射率可以通過(guò)電子方式控制。

然而，微環(huán)的緊湊性是有代價(jià)的。微環(huán)調制器對溫度敏感，因此每個(gè)調制器都需要一個(gè)內置的加熱電路，必須仔細控制并消耗功率。另一方面，馬赫-Zender 器件要大得多，導致更多的光線(xiàn)損失和一些設計問(wèn)題，Schow 說(shuō)。

Schow 說(shuō)，Nvidia 成功地將基于微環(huán)的硅光子引擎商業(yè)化是“一項了不起的工程壯舉”。

Nvidia CPO 交換機

據 Nvidia 稱(chēng)，在新的 AI 數據中心采用 CPO 交換機將使激光器數量增加四分之一，將傳輸數據的功率效率提高 3.5 倍，將信號從一臺計算機準時(shí)傳輸到另一臺計算機的可靠性提高 63 倍，使網(wǎng)絡(luò )對中斷的彈性提高 10 倍，并允許客戶(hù)將部署新數據中心硬件的速度提高 30%。

Nvidia 首席執行官黃仁勛表示：“通過(guò)將硅光子學(xué)直接集成到交換機中，Nvidia 打破了超大規模和企業(yè)網(wǎng)絡(luò )的舊限制，并為擁有數百萬(wàn)個(gè) GPU 的 AI 工廠(chǎng)打開(kāi)了大門(mén)。

該公司計劃推出兩類(lèi)交換機，即 Spectrum-X 和 Quantum-X。該公司表示，Quantum-X 將于今年晚些時(shí)候推出，它基于 Infiniband 網(wǎng)絡(luò )技術(shù)，這是一種更面向高性能計算的網(wǎng)絡(luò )方案。它從 144 個(gè)端口中的每個(gè)端口提供 800 Gb/s，其兩個(gè) CPO 芯片是液冷而不是風(fēng)冷，越來(lái)越多的新 AI 數據中心也是如此。網(wǎng)絡(luò ) ASIC 包括 Nvidia 的 SHARP FP8 技術(shù)，該技術(shù)允許 CPU 和 GPU 將某些任務(wù)卸載到網(wǎng)絡(luò )芯片。

Spectrum-X 是一種基于以太網(wǎng)的交換機，可以從總共 128 或 512 個(gè)端口提供每秒約 100 TB 的總帶寬，從 512 或 2048 個(gè)端口提供 400 Tb/s 的總帶寬。硬件制造商預計將于 2026 年準備好 Spectrum-X 交換機。

Nvidia 多年來(lái)一直致力于基礎光子學(xué)技術(shù)。但是，需要與 11 個(gè)合作伙伴（包括 TSMC、Corning 和 Foxconn）合作，才能實(shí)現商業(yè)化狀態(tài)。

Nvidia 光互連產(chǎn)品總監 Ashkan Seyedi 強調，這些合作伙伴帶來(lái)的技術(shù)必須經(jīng)過(guò)協(xié)同優(yōu)化以滿(mǎn)足 AI 數據中心需求，而不是簡(jiǎn)單地從這些合作伙伴的現有技術(shù)組裝而成，這一點(diǎn)非常重要。

“CPO 實(shí)現的創(chuàng )新和節能與您的包裝方案、包裝合作伙伴和包裝流程密切相關(guān)，”Seyedi 說(shuō)?！靶路f性不僅在于直接的光學(xué)元件，還在于它們如何以高產(chǎn)量、可測試的方式進(jìn)行封裝，您可以以合理的成本進(jìn)行管理?！?/p>

測試尤為重要，因為該系統是許多昂貴組件的集成。例如，Quantum-X 系統中的兩個(gè) CPO 中每個(gè) CPO 都有 18 個(gè)硅光子學(xué)小芯片。每個(gè)激光器都必須連接到 2 個(gè)激光器和 16 根光纖。Seyedi 說(shuō)，該團隊必須開(kāi)發(fā)幾個(gè)新的測試程序才能正確無(wú)誤并追蹤錯誤悄然出現的位置。

Micas Networks 交換機

Micas Networks 已經(jīng)投入生產(chǎn)，其交換機基于 Broadcom 的 CPO 技術(shù)。云母網(wǎng)絡(luò )

Broadcom 光學(xué)系統部門(mén)產(chǎn)品營(yíng)銷(xiāo)高級經(jīng)理 Robert Hannah 解釋說(shuō)，Broadcom 為其 Bailly CPO 開(kāi)關(guān)選擇了更成熟的 Mach-Zender 調制器，部分原因是它是一種更加標準化的技術(shù)，可能使其更容易與現有的可插拔收發(fā)器基礎設施集成。

Mica 的系統使用單個(gè) CPO 組件，該組件由 Broadcom 的 Tomahawk 5 以太網(wǎng)交換芯片組成，周?chē)h(huán)繞著(zhù)八個(gè) 6.4 Tb/s 硅光子學(xué)光引擎。風(fēng)冷硬件現已全面投產(chǎn)，領(lǐng)先于 Nvidia 的 CPO 開(kāi)關(guān)。

Hannah 稱(chēng) Nvidia 的參與是對 Micas 和 Broadcom 時(shí)機的認可?！皫啄昵?，我們決定滑到冰球要去的地方，”Micas 的首席運營(yíng)官 Mitch Galbraith 說(shuō)。他說(shuō)，隨著(zhù)數據中心運營(yíng)商爭先恐后地為其基礎設施供電，CPO 的時(shí)代似乎已經(jīng)到來(lái)。

與配備標準可插拔收發(fā)器的系統相比，新交換機有望節省 40% 的功耗。然而，Mica 企業(yè)戰略副總裁 Charlie Hou 表示，CPO 更高的可靠性同樣重要。他說(shuō)，“鏈路抖動(dòng)”是可插拔光鏈路瞬態(tài)故障的術(shù)語(yǔ)，是導致本已非常長(cháng)的 AI 訓練運行延長(cháng)的罪魁禍首之一。CPO 預計鏈路抖動(dòng)會(huì )更少，因為信號路徑中的組件較少，以及其他原因。

未來(lái)的 CPO

Schow 建議，數據中心希望從 CPO 中獲得的大型節能產(chǎn)品大多是一次性的好處。在那之后，“我認為這將成為新常態(tài)。然而，對電子設備其他功能的改進(jìn)將使 CPO 制造商至少在一段時(shí)間內繼續提高帶寬。

Schow 懷疑單個(gè)硅調制器（在 Nvidia 的光子引擎中以 200 Gb/s 的速度運行）是否能夠超過(guò) 400 Gb/s。然而，其他材料，如鈮酸鋰和磷化銦，應該能夠超過(guò)這個(gè)數字。訣竅是以經(jīng)濟實(shí)惠的方式將它們與硅組件集成，總部位于圣巴巴拉的 OpenLight 和其他小組正在研究這一點(diǎn)。

與此同時(shí)，可插拔光學(xué)器件并沒(méi)有停滯不前。本周，Broadcom 推出了一種新的數字信號處理器，該處理器可能會(huì )導致 1.6 Tb/s 收發(fā)器的功耗降低 20% 以上，部分原因是采用了更先進(jìn)的硅工藝。

Avicena、Ayar Labs 和 Lightmatter 等初創(chuàng )公司正在努力將光學(xué)互連一直引入 GPU 本身。前兩者開(kāi)發(fā)了小芯片，旨在與 GPU 或其他處理器放在相同的封裝中。Lightmatter 更進(jìn)一步，使硅光子學(xué)引擎成為未來(lái)芯片 3D 堆疊的封裝基板。