利用FPGA和多通道光模塊組合長(cháng)距離傳送高速數據

目前基于銅電纜的高速串口能夠以數千兆位速率進(jìn)行數據傳送，并可通過(guò)使用多個(gè)并行通道達成超過(guò)100Gbps的數據傳輸率，不過(guò)傳送的距離卻受到限制，一個(gè)可以改善傳輸距離的作法是使用光互連來(lái)取代銅電纜，Altera和Avago公司共同發(fā)展出結合FPGA以及光發(fā)射和接收模塊的單一集成方案，可以取代銅電纜互連和多個(gè)卡邊緣光收發(fā)器。

介紹

數據中心以及互聯(lián)網(wǎng)上越來(lái)越大量的數據移動(dòng)對于嘗試趕上的基礎設施形成壓力，核心功能如存儲次系統、數據交換機和路由器，甚至是計算系統都受到輸入輸出的限制，外部數據的移動(dòng)則受限于數據可以在連接所有交換機、路由器和存儲陣列的電纜或其他互連機制上以多快的速度和多遠的距離移動(dòng)。

目前基于銅電纜的高速串口能夠以數千兆位速率進(jìn)行數據傳送，并可通過(guò)使用多個(gè)并行通道達成超過(guò)100Gbps的數據傳輸率，但要達到如此速度需付出一個(gè)代價(jià)，那就是受到限制的傳輸距離，基本上，數據率越高所能傳送的距離就越短，除非在信號完整性、功率以及通道材料成本上做出犧牲。

為了補償信號的劣化，通常使用復雜的信號處理功能在發(fā)射端和接收端進(jìn)行信號均衡，這樣的方式搭配上經(jīng)過(guò)仔細設計但價(jià)格昂貴的銅電纜可以提供數米長(cháng)度的距離延伸，足夠讓單一機架間的設備互連，不過(guò)如果要讓數據在數據中心或網(wǎng)絡(luò )中心的機架間傳送，就需要更長(cháng)的電纜，在許多情況下，面臨的成本和大量電纜問(wèn)題使這種作法變得不切實(shí)際。

光互連

一個(gè)可以改善傳輸距離的方法是使用光學(xué)方式來(lái)取代銅電纜，光纖連接目前雖然已經(jīng)進(jìn)入數據通信產(chǎn)業(yè)，但許多連線(xiàn)需要非常耗電的卡邊緣光接口模塊，并仍然面臨系統邏輯到光模塊的電氣互連問(wèn)題，請參考圖1。高速串口的邏輯部分通常會(huì )在FPGA中實(shí)施，原因是這類(lèi)器件可以提供設計工程師在電路板特性、功能以及輸入輸出選擇的高靈活度，不過(guò)這樣做FPGA的引腳必須連接光模塊，無(wú)可避免地帶來(lái)電路板上的高速走線(xiàn)。

圖1：網(wǎng)絡(luò )交換機或路由器的典型電路板布局顯示輸入輸出邏輯和光模塊間的距離

FPGA的好處

FPGA的靈活度和可重配置能力使它們成為需要各種高速輸入輸出系統的理想方案，達到1Gbps傳送能力的高速LVDS串口和串化/解串器(SERDES)首先被集成到了FPGA中，接著(zhù)是超過(guò)3Gbps的更高速度SERDES，目前FPGA已經(jīng)集成10Gbps甚至更高數據率的SERDES，舉例來(lái)說(shuō)，Altera公司的新28nm Stratix V FPGA 就可以達到28Gbps的速度。除了高速輸入輸出能力外，FPGA還提供有數百萬(wàn)個(gè)可配置邏輯門(mén)、大量的片上靜態(tài)存儲器以及其他專(zhuān)門(mén)的系統資源，包括處理器核心、鎖相環(huán)(PLL)、數字信號處理(DSP)方塊、PCI Express® (PCIe®)通道以及存儲控制器等。

所有FPGA上的資源允許設計工程師將許多系統功能配置到器件的邏輯電路上，縮減系統電路板上所需的電路數量，另外，FPGA的可配置特性使得設計工程師可以更改邏輯來(lái)增加或移除功能、修補邏輯臭蟲(chóng)或者改善性能。

圖2：對于10Gbps的數據傳送，數據可以移動(dòng)的最大距離有著(zhù)大幅度差異，主要依使用的為銅電纜(紅色部分)或光接口(橘色和橙色)而定

雖然在10Gbps數據率下FPGA到光模塊的距離僅數英吋，但就算電路板上數英吋的走線(xiàn)路徑都可能損害信號的品質(zhì)，圖2顯示了10Gbps數據流可以傳送的距離會(huì )因使用的接口而有所不同，因此為了確保光模塊可以得到最佳的信號，如何將FPGA連接到光連接端口發(fā)射器輸入和接收器輸出的距離極小化就成了必須面對的挑戰。

集成型光封裝

為了把FPGA和光模塊間的距離極小化并降低整個(gè)芯片到模塊連結的功率和使用材料，Altera和Avago公司共同開(kāi)發(fā)了結合FPGA以及光發(fā)射和接收器模塊到單一集成封裝，可以取代多個(gè)外部卡邊緣光收發(fā)器的產(chǎn)品，如圖3中展示電路板上的藍圈部分。光學(xué)FPGA技術(shù)展示使用了Altera公司的Stratix IV GT FPGA，提供32個(gè)高速SERDES連接端口，每個(gè)端口可以達到11Gbps的數據傳輸率，并有12個(gè)連接端口直接和Avago公司的MicroPOD™光模塊連接。

12個(gè)光通道的每一個(gè)都可以獨立運行或作為高容量通道的一部分，以方便通過(guò)高成本效益方式提供目標帶寬，并行光學(xué)相似于使用并行通道電氣接口，例如PCI Express的多重通道達到目標帶寬的電子信號作法。

圖3：評估電路板上包含有Altera公司的FPGA以及Avago公司的MicroPOD 12通道光發(fā)射器和接收器(紅圈部分)，電路板上還有傳統的卡邊緣光收發(fā)器模塊(藍圈部分)提供設計工程師進(jìn)行性能比較

通過(guò)集成高速光模塊到裝有FPGA的封裝中，Altera公司可以縮短FPGA芯片輸入輸出到光收發(fā)器輸入端的信號路徑到1英吋以下，更短的路徑可以減輕信號劣化和抖動(dòng)，因此改善了信號完整性并降低信號路徑中寄生元素所造成的數據錯誤，進(jìn)一步說(shuō)，由于芯片到模塊的互連距離被大幅度縮短，因而FPGA和模塊的總體功耗也會(huì )降低，因為再也不需浪費功率來(lái)進(jìn)行傳統非集成芯片到模塊間互連的大幅度損耗均衡，圖4中的混合FPGA封裝保留有兩個(gè)給Avago公司MicroPOD 12通道光收發(fā)器使用的角落，其中一個(gè)提供12個(gè)發(fā)射通道，另一個(gè)則提供12個(gè)接收通道。

除了兩個(gè)插座外，FPGA封裝的主要改變在于信號的路由，不將高速輸入輸出接點(diǎn)安排在封裝引腳，而是把信號接點(diǎn)導到插座的接觸區域，較短的路由距離可以保持高信號完整性，并且發(fā)出的電磁干擾也非常低。

圖5中的光模塊使用LGA接點(diǎn)安裝在FPGA封裝上，間隔為0.7424mm，每個(gè)插座僅需8.2mm x 7.8mm的區塊大小，通過(guò)安裝LGA插座在FPGA的角落，Altera公司可以把SERDES和光學(xué)模塊間的距離縮短到低于1厘米，使用邊緣安裝光模塊時(shí)則需要5到50厘米，插座集成接口也帶來(lái)了可置換性、可測試性和高產(chǎn)出率。

圖5：MicroPOD光學(xué)模塊使用LGA安裝在FPGA封裝上，僅需8.2mm x 7.8mm的占用空間。

圖6：12通道光纜和PRIZM® LT連接器直接安裝在光模塊上方，這樣的組合形成了可以處理120Gbps的緊湊高速接口。

圖6中組件的光學(xué)部分包含了連接到微型MicroPOD模塊的12條光纜，在發(fā)射端，模塊包含12個(gè)低功耗850nm VCSEL激光二極管，每個(gè)二極管功耗約130mW，接收端則包含有單石GaAs PIN二極管感應陣列，適合目標應用長(cháng)度的光纜預先連接到PRIZM® LightTurn®連接器上，將光彎折90度并把光纖對準VCSEL激光，如圖左下方的模塊，PRIZM® LT連接器目前可以由多個(gè)制造商取得。

12個(gè)光通道的每一個(gè)都可以處理10.3125Gbps的數據率，因此可以得到單一模塊120Gbps的總合數據帶寬，這個(gè)高度集成模塊提供有光接口最高的連接端口密度，而低功耗更使得模塊的熱管理變得非常簡(jiǎn)單。

診斷和狀態(tài)監測

光模塊面臨的一個(gè)設計挑戰是如何在發(fā)熱的FPGA裸芯片旁安裝容易受到熱影響的光部件，為了克服這個(gè)問(wèn)題，Altera公司設計了獨特的散熱方案，可以保持光纜在標準的0到70oC工作溫度范圍內，通過(guò)建立三個(gè)獨立的散熱設計使光學(xué)組件和裸芯片熱隔離，其中每個(gè)光學(xué)次裝置有一個(gè)，裸芯片中也有一個(gè)，我們已經(jīng)證實(shí)光模塊的溫度位于目標范圍內。

除此之外，通過(guò)I2C總線(xiàn)通信的數字診斷監測(DDM)電路允許設計工程師由光模塊取得診斷數據，提供的診斷信息包括光輸出功率、激光偏置電流以及接收輸入功率，這使得系統可以監測光模塊的狀態(tài)，并在發(fā)生問(wèn)題時(shí)及時(shí)得知，避免系統發(fā)生問(wèn)題或造成停機，這些對于許多應用，特別是經(jīng)營(yíng)連線(xiàn)中斷可能帶來(lái)數百萬(wàn)美元損失的數據中心是非常關(guān)鍵的數據。

使光學(xué)FPGA工作

對于需要大量計算以及存儲的應用，例如數據中心，集成光接口到器件封裝可以取代可插入光器件并節省功耗達70%到80%，并大幅度提高連接端口密度和帶寬，在軍事、通信基礎設施以及廣播領(lǐng)域等背板應用中，這些連接器可以取代昂貴的電路板材料和連接器，大幅度提升帶寬，消除使用基于銅電纜方案時(shí)的信號完整性問(wèn)題并節省功耗，如MicroPOD光發(fā)射器和接收器的光模塊在使用OM3級多模光纖時(shí)數據傳送距離可以達到100米，使用OM4級多模光纖時(shí)更可達到150米的連接距離。

嵌入式光學(xué)模塊有助于降低需要的電路板空間并改善EMI問(wèn)題，這樣的組合可以幫助降低成本并簡(jiǎn)化通過(guò)符合FCC的法規程序，使用由Molex或其他連接器公司提供的裸芯片MPO光纖多頭適配器可以通過(guò)將機箱開(kāi)口縮小到最小可能尺寸進(jìn)一步減輕EMI問(wèn)題，除此之外，相較于卡邊緣可插入模塊，非常明顯地到安裝在前面板MPO連接器的靜電放電要小上許多。

刀片服務(wù)器系統為提供多個(gè)服務(wù)器，如存儲、交換、輸入輸出、冷卻以及電源次系統的緊密集成密集模塊化服務(wù)器系統，逐漸升高的虛擬化、云計算需求，單一CPU和存儲器庫計算能力的持續提升，為刀片系統中的傳統輸入輸出技術(shù)帶來(lái)壓力，目前大部分系統在服務(wù)器刀片和輸入輸出模塊間通過(guò)復雜的電氣中介板作為高速電氣接口，請參考圖7，這種型態(tài)的結構為系統設計工程師帶來(lái)復雜的信號完整性和熱管理挑戰。

刀片服務(wù)器夾層卡的電氣輸入輸出通道可以由光輸入輸出通道取代，復雜的電氣中介板則可以由簡(jiǎn)單的同等光學(xué)系統取代，請參考圖8。光學(xué)中介板提供了服務(wù)器以及系統中其他模塊，包括存儲設備、存儲器以及輸入輸出間的所有高速連接能力，并且沒(méi)有電氣信號完整性、串音、EMI以及ESD承受力等復雜問(wèn)題，另外，簡(jiǎn)單的光透通模塊可以介接到中介電路板上使服務(wù)器刀片直接連接外部的交換機、存儲設備以及存儲器。

圖7：在典型的刀片服務(wù)器中，多個(gè)CPU卡連接到中介板，中介板并連接提供高速輸入輸出端口的以太網(wǎng)交換機刀片

圖8：服務(wù)器刀片和夾層卡典型框圖顯示通過(guò)中介板的布局和光互連

結論

嵌入式光學(xué)技術(shù)保存了高端系統所需的信號完整性、簡(jiǎn)化EMI問(wèn)題、降低ESD暴露并帶來(lái)系統冷卻的靈活度選擇，因為光連接器可以安排在接近主控ASIC甚至FPGA封裝上，進(jìn)一步說(shuō)，由于骨干通常為24到36通道寬，嵌入式光學(xué)技術(shù)可以帶來(lái)卡邊緣便利的帶寬總合，簡(jiǎn)化光纖管理以及機箱互連。
為了延伸單一FPGA或ASIC的容量，可以在多個(gè)FPGA或ASIC間配置多層級結構，典型的例子為三級Clos結構，雖然最新的可擴展系統可以通過(guò)使用ASIC間的電氣接口在單一機箱內達成，但大型系統需要多個(gè)機箱，因而需要光互連。
Altera公司的光FPGA采用嵌入式并行光學(xué)概念并轉化為更高集成度的組合，通過(guò)進(jìn)行光FPGA的工程設計，Altera和Avago公司為FPGA使用者帶來(lái)實(shí)現并行光接口的可能性，在使用光纜而非銅電纜進(jìn)行高速通信時(shí)，不需是光學(xué)設計的專(zhuān)家，使用者就可實(shí)現連接距離和帶寬的大幅度增長(cháng)并降低功耗。