下一代數據中心基礎設施更注重熱管理的重要性

作者 / Joe Dambach Molex公司

摘要：高密度的 QSFP-DD 光端機可以使制造商生產(chǎn)出更具競爭力的網(wǎng)絡(luò )服務(wù)器、交換機和存儲產(chǎn)品，為日益提高的數據流量以及更加復雜的數據中心與電信網(wǎng)絡(luò )提供支持，致力于為制造商帶來(lái)巨大的價(jià)值。

　　圍繞著(zhù)SFP、SFP+、QSFP、QSFP+ 和 zQSFP 等形形色色的小體積可插拔模塊而開(kāi)發(fā)的一系列高速度高密度解決方案，在數據中心的交換機和網(wǎng)絡(luò )設備領(lǐng)域取得了極大的吸引力。隨著(zhù)行業(yè)為下一代銅纜和光纜QSFP-DD收發(fā)機的發(fā)布而準備就緒，熱管理策略發(fā)揮著(zhù)關(guān)鍵性的作用。

　　“小”體積可插拔I/O這一名稱(chēng)具有一定的迷惑性。這類(lèi)體積小巧而又功能強大的連接器在高密度網(wǎng)絡(luò )上發(fā)揮著(zhù)主要作用，可以處理手機和移動(dòng)設備、流媒體內容、數字自動(dòng)化和工業(yè)傳感器、人工智能、預測分析以及一系列其他數據驅動(dòng)技術(shù)所產(chǎn)生的海量數據。

　　據分析師預測，截至2020年，物聯(lián)網(wǎng)可能會(huì )連接起多達2000億臺設備(來(lái)源：IDC、英特爾、聯(lián)合國)。數據中心的增長(cháng)速度異常迅猛，而不斷上升的需求以及數據量都在使密度與功率接近極限。芯片、交換機、連接器、線(xiàn)纜及光學(xué)模塊技術(shù)都屬于網(wǎng)絡(luò )的核心領(lǐng)域，對每一分支領(lǐng)域都產(chǎn)生著(zhù)深遠的影響，一直延伸到個(gè)人與企業(yè)，在這類(lèi)環(huán)境下，延遲或停機都會(huì )很快導致?tīng)I收和商業(yè)機會(huì )上遭受多達數百萬(wàn)美元的損失。

　　如果沒(méi)有所需的關(guān)鍵性基礎設施來(lái)為未來(lái)的數據速率提供支持，那么現存的瓶頸情況將愈發(fā)惡化。以后將需要在存儲、服務(wù)器和交換機上作出進(jìn)一步的投入，保存數據并使數據可即時(shí)訪(fǎng)問(wèn)。沒(méi)有對未來(lái)的高速及高密度數據準備就緒的數據中心將日益面對延遲問(wèn)題，最終遠遠落后于競爭對手。

　　為網(wǎng)絡(luò )、服務(wù)器和存儲設備提供無(wú)縫可靠的連接，對于確?？焖?、有效而又安全的數據流動(dòng)至關(guān)重要。數據中心必須能夠支持更快的處理速度、更寬的帶寬以及更高的密度。為了做到這一點(diǎn)，需要極好地配合并集成I/O連接功能，協(xié)調來(lái)自不同供應商的 IT設備之間的互操作性。工作量越大或者復雜性越高，使各個(gè)組成部分相互平衡、良好指定其用途的重要程度就越高，這樣才不會(huì )由于疏忽而造成瓶頸，進(jìn)而影響到性能。

　　可插拔I/O產(chǎn)品的產(chǎn)品組合經(jīng)過(guò)了不斷的演進(jìn)，全部都圍繞著(zhù)各種可插拔的I/O模塊形式而發(fā)展，每種產(chǎn)品變型都具有不同的帶寬、距離以及銅纜或光纜連接功能。每條特定的鏈路都采用光纜或銅纜接口，以經(jīng)濟節省的方式進(jìn)行定義?？刹灏蜪/O解決方案的設計在數據中心和電信行業(yè)常用的各種距離上都支持最快的數據速率，而延遲和插入損耗更低，具有出色的信號完整性、電磁干擾(EMI)保護功能及熱管理性能。

可擴展可互操作的I/O升級路徑

　　高速、高密度的可插拔I/O解決方案為高密度應用提供了一種高度可擴展的升級路徑。自從SFP的形狀系數引入了1Gbps的數據速率以來(lái)，行業(yè)已經(jīng)發(fā)展了很長(cháng)的一段時(shí)期。QSFP光端機新增了配置選項，將密度和速度推向100Gbps。QSFP+熱插拔光端機應用廣泛，專(zhuān)為高密度數據通信而設計，集成了四條發(fā)射信道及四條接收信道，提高了端口密度并進(jìn)一步降低了成本，無(wú)需再購買(mǎi)更多數量的傳統式SFP+產(chǎn)品。zQSFP+系統滿(mǎn)足對高密度的要求，在四條通道上的數據速率高達28Gbps，在數據中心的高性能計算、交換機、路由器和存儲方面已成為一種普遍的選擇，具有較高的價(jià)值。

　　滿(mǎn)足數量增長(cháng)迅猛的無(wú)線(xiàn)設備對帶寬的要求，已經(jīng)成為服務(wù)器農場(chǎng)設計中提高密度的一項催化劑。高度集成的QSFP系統將空間、功率和端口密度有效地結合到一起，通常將包含連接器、電磁干擾屏蔽籠、銅纜和光纜組件、有源光纜(AOC)、光學(xué)回路，以及主機連接器。zQSFP+互連解決方案支持下一代100Gbps以太網(wǎng)和100Gbps InfiniBand增強數據速率應用，以每條串行通道25Gbps，的數據速率傳輸數據，具有出色的信號完整性、電磁干擾防護性能以及熱冷卻功能。

下一代QSFP-DD形狀系數使速度提升四倍

　　網(wǎng)絡(luò )依靠交換技術(shù)來(lái)處理及管理數據流量。隨著(zhù)數據使用量的不斷上升，處于網(wǎng)絡(luò )上核心地位的交換機可以保持數據的順暢流動(dòng)。高密度解決方案可以在一定程度上緩解核心交換機的壓力。連接器不可以構成瓶頸。市場(chǎng)上的硅片已經(jīng)可以支持256條差分通道。缺失的鏈路作為一種連接器的形狀系數，可以提供充分的密度，在一個(gè)機架單元的安裝盒中即可支持這一數量的通道，同時(shí)對熱工及信號完整性進(jìn)行管理。

　　行業(yè)當前正處于下一代QSFP解決方案的開(kāi)發(fā)過(guò)程中，與交換技術(shù)最近的發(fā)展情況保持一致。在 2016年達成了QSFP-DD MSA，解決技術(shù)上的挑戰，實(shí)現雙密度的接口，并為不同制造商生產(chǎn)的模塊組件確保機械、電氣、熱工和信號完整性上的互操作性。

　　作為一家QSFP-DD MSA的發(fā)起者和推廣者，Molex與其他52家公司開(kāi)展了密切合作，滿(mǎn)足業(yè)界對高密度高速度網(wǎng)絡(luò )解決方案的需求。集團最近為這一新的形狀系數發(fā)布了規范，可以克服之前在指定 QSFP28兼容雙密度接口時(shí)遇到的技術(shù)挑戰。

　　四分之一小形狀系數可插拔雙密度(QSFP-DD)規范定義了一種模塊、一種堆疊式的集成箱體/連接器系統，以及一種表面貼裝的箱體/連接器系統。這一新的形狀系數對標準的QSFP四通道接口進(jìn)行了拓展，增加了一排觸點(diǎn)，從而提供八通道的電氣接口，其中每條通道都可在采用非歸零碼(NRZ)調制的情況下、在高達25Gbps的速率下運行，或者在采用脈沖調幅 (PAM4)的情況下、在高達50Gbps的速率下運行。

　　此次功能適應使得QSFP-DD可以在每個(gè)QSFP-DD端口上滿(mǎn)足解決方案對200 Gbps速率的要求，或者對400Gbps聚合速率的要求。一個(gè)單獨的交換機插槽即可支持多達36個(gè)QSFP-DD模塊。因此，總容量可達到14.4 Tbps。

有效的冷卻和熱管理為投資提供保護

　　從SFP+(1x10Gbps)到QSFP+(4x10Gbps)、zQSFP+(4x25Gbps)，一直到現在的QSFP-DD(8x25 Gbps NRZ/50 Gbps PAM4)，隨著(zhù)收發(fā)機速度的不斷增加，用于傳輸信號的能量也隨之增加，產(chǎn)生越來(lái)越多的熱量。冷卻和熱管理對于連接器模塊以及網(wǎng)絡(luò )的總功耗、能效、性能與壽命來(lái)說(shuō)，都具有至關(guān)重要的作用。

　　散熱器技術(shù)的發(fā)展可以實(shí)現高效、可靠而又具有彈性的熱管理策略，同時(shí)支持更高密度的銅纜與光纜連接。QSFP光學(xué)模塊設計可在最高70℃的溫度下運行。超過(guò)這一溫度后，光學(xué)元件的性能將會(huì )降低，而壽命則會(huì )縮短。由于價(jià)格點(diǎn)已經(jīng)下調，光纖組件仍然是一種成本相對高昂的投資對象，由于存在著(zhù)極端溫度而承受一定的風(fēng)險。

　　通道數量少于四條I/O模塊通道通?？梢酝ㄟ^(guò)用于冷卻其他組件的氣流來(lái)進(jìn)行冷卻。采用四條信號通道的 QSFP形狀系數需要結合氣流與散熱器使用。zQSFP形狀系數最初并不適用散熱器，僅依靠氣流來(lái)對模塊進(jìn)行冷卻。隨著(zhù)數據密度的不斷提高，各種散熱器被添加到了模塊的中心和頂部，以及箱體結構上，從而改善氣流及冷卻效果。

　　由于zQSFP+的速度超過(guò)了100Gbps，而電力負載超過(guò)了4W，系統管理及光學(xué)模塊溫度的管理上就面臨更多挑戰，從而不超過(guò)70℃的最高溫度?？傮w設計必須通過(guò)整個(gè)箱體來(lái)操控氣流，采用散熱器則可以將模塊上的能量轉移到存在氣流的區域。Molex已經(jīng)開(kāi)發(fā)并演示了創(chuàng )新性的通流和內部自調整式散熱器(IRHS)技術(shù)，為在高達5W或更高的功率下運行的堆疊式zQSFP+模塊提供熱管理。

　　Molex進(jìn)行的測試主要關(guān)注于最高環(huán)境溫度約為 45℃的企業(yè)應用，對通流式箱體進(jìn)行了比較，該箱體針對模塊內所產(chǎn)生能量的管理進(jìn)行了優(yōu)化。對5W的光學(xué)模塊進(jìn)行模擬，采用的風(fēng)洞包含了兩個(gè)2x1的箱體——一個(gè)是氣流增強型箱體，另一個(gè)是標準箱體，每一側都含有兩個(gè)zQSFP+模塊，并且包含了電源，以預定的速度在測試區域中驅動(dòng)風(fēng)扇。

　　通過(guò)對這四個(gè)模塊中每一個(gè)模塊內部的溫度進(jìn)行連續監控，對標準型zQSFP+箱體和氣流增強型箱體的相對性能進(jìn)行了比較。在采用了增強型的箱體設計、散熱器及能量傳遞策略后，與標準箱體相比，增強型箱體實(shí)現了顯著(zhù)的改進(jìn)，將冷卻系數降低了9℃。

　　QSFP-DD模塊在深度略微大于QSFP的空間內為八條通道提供支持。這意味著(zhù)模塊中有八束激光可以發(fā)熱，需要冷卻與散熱。通過(guò)有效的使熱能翻倍，3.5W的模塊可以成為7W的模塊，而5W的模塊則可成為10W的模塊，諸如此類(lèi)。

　　在這類(lèi)極端的高熱下對熱性能進(jìn)行管理，將成為前進(jìn)中至關(guān)重要的一步。模塊和箱體設計中采用的先進(jìn)熱管理技術(shù)使QSFP-DD能夠支持至少7W的功率水平，而目標范圍則拓展至10W。Molex與其他MSA合作伙伴以及贊助的成員企業(yè)正在開(kāi)發(fā)QSFP-DD產(chǎn)品，其箱體和模塊現可供貨，在客戶(hù)環(huán)境下進(jìn)行熱測試。附加工作也已在進(jìn)行中，為在高達12W或更高功率下運行的QSFP-DD模塊的冷卻開(kāi)發(fā)各種解決方案。

延長(cháng)現有平臺的壽命

　　對更高密度以及更好的功率管理和熱管理的需求，將繼續推動(dòng)改進(jìn)型I/O模塊的開(kāi)發(fā)工作。新型網(wǎng)絡(luò )技術(shù)的普及率在逐步提升。產(chǎn)業(yè)投資和多廠(chǎng)商的投資有助于確保每一代可插拔I/O之間的互操作性。

　　向下的兼容性可以延長(cháng)現有平臺的壽命，進(jìn)一步提高了面向未來(lái)的準備程度。例如QSFP和zQSFP+ 共享了相同的配對接口。盡管是一種全新的接口，QSFP-DD還是構建在這些原先的技術(shù)基礎之上。雙倍密度指與標準的QSFP28模塊相比，QSFP-DD模塊所支持的高速電氣接口的數量增加了一倍。為了承受額外的一排觸點(diǎn)，主機板上QSFP-DD的機械接口深度略微大于標準型的QSFP28接口。

　　QSFP-DD的每個(gè)端口都有76個(gè)電氣觸點(diǎn)，隨著(zhù)數據中心容量的擴展，可以為更高密度應用中的下一代交換芯片提供支持。QSFP-DD已經(jīng)為支持50Gbps 的新型PAM4電調制格式準備就緒，可以進(jìn)一步使速度翻倍，從而使速度達到QSFP28模塊的四倍。在初次使用QSFP-DD模塊時(shí)，大部分情況都將支持NRZ 調制的數據速率。PAM4允許在給定的帶寬上傳輸更多的信息，但是需要更高的處理能力來(lái)為數據編碼和解碼，這就容易造成延遲及相應的性能下降問(wèn)題。

　　采用QSFP-DD模塊設計的系統將向下兼容現有的QSFP形狀系數，為最終用戶(hù)、網(wǎng)絡(luò )平臺的設計方以及集成商提供最大的靈活性。除了QSFP-DD規范可以在給定的面板空間內多容納四條通道并使QSFP28 的聚合帶寬提升一倍外，端口的密度是完全一致的。QSFP28模塊可以插入到QSFP-DD中八條電氣通道的四條之中，以便逐步逐量地對線(xiàn)纜和模塊升級。

結論

　　高密度的QSFP-DD光端機可以使制造商生產(chǎn)出更具競爭力的網(wǎng)絡(luò )服務(wù)器、交換機和存儲產(chǎn)品，為日益提高的數據流量以及更加復雜的數據中心與電信網(wǎng)絡(luò )提供支持，致力于為制造商帶來(lái)巨大的價(jià)值。

　　本文來(lái)源于《電子產(chǎn)品世界》2017年第11期第28頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處。