SmartNIC與普通的NIC差別在哪？

　　普通NIC定位于高效遷移服務(wù)器的網(wǎng)絡(luò )數據包，通常包括不同程度的為優(yōu)化性能而設計的傳統卸載。SmartNIC整合了多方面的附加計算資源，但是這些架構就像雪花一樣各不相同，因此，我們將深入研究規模最大、最受歡迎的供應商所提供的幾種方法。

　　普通網(wǎng)絡(luò )接口卡（NIC）是圍繞單獨的專(zhuān)用集成電路（ASIC）構建的，該集成電路被設計成以太網(wǎng)控制器。例如，邁絡(luò )思的ConnectX系列、博通的NetXtreme系列或賽靈思的XtremeScale系列。通常，這些芯片會(huì )圍繞第二個(gè)設計目標進(jìn)行進(jìn)一步優(yōu)化；例如，ConnectX系列也支持Infiniband，而XtremeScale則專(zhuān)注于Linux內核旁路。這些控制器的功能非常出色，它們代表了業(yè)界最出色的控制器，但它們不能算是SmartNIC。

　　在本文中，我們將SmartNIC定義為一個(gè)允許附加軟件的NIC，而這些附加軟件可以在購買(mǎi)后的某個(gè)時(shí)刻被加載到NIC中，用于添加新功能或支持其他功能。就像您購買(mǎi)了一部智能手機，然后從該供應商的應用商店下載并安裝應用一樣。

　　若要將NIC變?yōu)镾martNIC，能夠加載并運行代碼，需要其配備額外的計算能力和板載存儲器，而這些功能是普通NIC所不具備的。SmartNIC的應用大多數都是從基本的以太網(wǎng)控制器開(kāi)始，要么在芯片上作為固件，要么在適配器上作為單獨的芯片。

　　以下三種方法均有助于提升計算能力，使得普通的NIC變得智能：

　　-Arm CPU核集成，有人稱(chēng)其為集群，有些人則稱(chēng)其為“網(wǎng)格”或“塊”

　　-定制網(wǎng)絡(luò )處理器采用的流處理核（FPC），通常是P4

　　-現場(chǎng)可編程門(mén)陣列（FPGA），可編程邏輯

　　許多SmartNIC通常使用一個(gè)或多個(gè)Arm CPU核來(lái)管理NIC中的控制平面。有些甚至允許將修改過(guò)的Linux內核加載到一個(gè)或多個(gè)核心中。這些Arm CPU核通常負責將代碼加載到其他處理元件中，收集統計信息和日志并監測SmartNIC的運行狀況和配置。它們不會(huì )接觸任何網(wǎng)絡(luò )數據包，且通常會(huì )在“帶外”運行，這就意味著(zhù)它們無(wú)法通過(guò)“常規”網(wǎng)絡(luò )接口或PCIe命令進(jìn)行訪(fǎng)問(wèn)。此外，他們只應通過(guò)先前受保護的接口接受經(jīng)過(guò)正式簽署的固件包。除了架構草圖以外，我們不會(huì )在下面調用這些控制平面的Arm CPU核，因為它們需要管道，而且它們本身通常不會(huì )為SmartNIC提供的特性集增加價(jià)值。

　　為了理解SmartNIC與普通NIC的不同之處，我們需要深入了解全球四大NIC公司以及兩家初創(chuàng )企業(yè)推出的SmartNIC產(chǎn)品，看看他們做出了哪些改進(jìn)。入選的六家公司分別是英特爾、博通、英偉達（前身為邁絡(luò )思）、賽靈思、Netronome和Pensando。此外，我們還將對目前被稱(chēng)為Fungible的隱形項目提出一些見(jiàn)解。

　　說(shuō)到芯片公司，大家都會(huì )想到英特爾，因為它是全球規模最大的芯片公司。十多年來(lái)，英特爾一直保持著(zhù)不間斷的高性能10GbE以太網(wǎng)控制器產(chǎn)品線(xiàn)。他們的XL710平臺已經(jīng)出貨數百萬(wàn)臺，是眾多數據中心服務(wù)器的必備產(chǎn)品。對于其新款N3000，英特爾SmartNIC的電路板采用五塊芯片。

　　這種方法成本很高，因為大多數廠(chǎng)商都在努力完成單芯片設計。英特爾還將一對XL710以太網(wǎng)控制器和一個(gè)使用48通道的第三代PEX8747 PCIe交換芯片的Arria 10 FPGA融合在一起。每個(gè)XL710有8個(gè)通道，Arria有16個(gè)通道，PCIe插槽有16個(gè)通道。第五塊芯片是用于管理FPGA的MAX 10 FPGA基板管理控制器（BMC），就像在其他SmartNIC上使用Arm核心來(lái)處理控制平面管理一樣。該電路板有兩個(gè)直接連接到FPGA的QSFP28端口。然后8條10G通道將FPGA留給每個(gè)XL710。這是一種典型的bump-in-the-wire架構，它使FPGA能夠在數據包被傳遞到XL710之前處理數據包。

　　使用現成的以太網(wǎng)控制器和FPGA構建NIC并不是什么新鮮事。早在2012年，Solarflare Communications就在NIC的兩個(gè)QSFP端口與其以太網(wǎng)控制器之間放置了一個(gè)FPGA，用于創(chuàng )建其應用加載引擎（AOE）平臺。這是上述英特爾N3000設計的先驅?zhuān)鼛椭鶶olarflare為金融客戶(hù)提供了令人印象深刻的即時(shí)交易結果，耗時(shí)僅為350納秒。8年后的今天，該記錄為24.2納秒。英特爾的方法支持FPGA在XL710之前進(jìn)行數據包處理。

　　英特爾的FPGA具有115萬(wàn)個(gè)可編程邏輯單元和兩個(gè)4GB的DDR4存儲器組，這為它處理以下SmartNIC任務(wù)提供了充足的空間：

　　-虛擬寬帶網(wǎng)絡(luò )網(wǎng)關(guān)（vBNG）

　　-層級服務(wù)質(zhì)量（HQoS）

　　-數據包分類(lèi)、監控、調度和成形

　　-虛擬化演進(jìn)分組核心（vEPC）

　　-5G新一代核心網(wǎng)絡(luò )（NGCN）

　　-互聯(lián)網(wǎng)協(xié)議安全（IPSec）

　　-IPv6分段路由（SRv6）

　　-矢量數據包處理（VPP）

　　-虛擬無(wú)線(xiàn)電接入網(wǎng)（vRAN）

　　盡管英特爾已將上述工作負載用于其N(xiāo)3000平臺，但目前還不清楚他們是否已交付所有必要的軟件來(lái)卸載該SmartNIC上的每個(gè)應用。SmartNIC的消費者會(huì )發(fā)現，軟件才是癥結所在，所有這些公司在硬件方面都很出色，但是軟件交付又完全是另一回事。

　　SmartNIC領(lǐng)域中另一家杰出的FPGA供應商是賽靈思，它是上世紀80年代中期首家實(shí)現FPGA商業(yè)化的公司?，F如今，賽靈思已經(jīng)是FPGA領(lǐng)域的霸主，英特爾則被遠遠地甩在后面。賽靈思于2019年秋季收購了Solarflare Communications，自2012年以來(lái)，Solarflare一直在為電子交易構建基于A(yíng)SIC和FPGA的NIC。來(lái)自英國劍橋的SolarFarre工程團隊是賽靈思Alveo U25 SmartNIC的研發(fā)主力，如圖所示。賽靈思的成功得益于Solarflare工程團隊在這個(gè)市場(chǎng)中將近十年的經(jīng)驗積累。

　　Alveo U25將雙SFP28端口直接連接到Zynq系列芯片。Zynq實(shí)際上是一種片上系統（SoC），因為它不僅包括FPGA，還包括用于數據包處理的四核Arm A53。然后，Zynq通過(guò)第三代PCIe提供的8個(gè)通道直接連接到主機服務(wù)器，或是通過(guò)SerDes連接到X2以太網(wǎng)控制器芯片，后者也可以通過(guò)第三代PCIe 8個(gè)通道連接到主機。這種方法使得Zynq能夠在數據包被傳遞到X2芯片之前對其進(jìn)行處理，或者完全繞過(guò)X2芯片。此外，U25還包括6GB的DDR4存儲器，可以通過(guò)運行在該芯片上的程序訪(fǎng)問(wèn)Zynq的FPGA和Arm核心。FPGA具有52萬(wàn)個(gè)邏輯單元，是英特爾提供的邏輯單元數的一半，但是提供的四核Arm足以彌補減少的可用門(mén)數。

　　賽靈思將U25推向市場(chǎng)，最初是為了滿(mǎn)足那些需要開(kāi)放虛擬交換機（OvS)卸載功能的客戶(hù)。賽靈思已經(jīng)宣布，在不久的將來(lái)將增加IPSec、機器學(xué)習（ML）、深度包檢測（DPI）、視頻轉碼和分析的卸載數量。賽靈思大概是SmartNIC領(lǐng)域中發(fā)展最為全面的企業(yè)。兩年前，在收購S(chǎng)olarflare的準備階段，賽靈思與Solarflare作為合作伙伴在OCP峰會(huì )上公開(kāi)展示了X2控制器邏輯作為軟NIC在更大型FPGA中的運行情況。

　　如同英特爾一樣，賽靈思也擁有數條可盈利的計算芯片產(chǎn)品線(xiàn)，如Kintex、Virtex、Zynq和Versal。Kintex和Virtex都是純FPGA，該系列中某些型號采用的邏輯單元數量巨大，大約有近300萬(wàn)個(gè)，幾乎是英特爾在其N(xiāo)3000中使用數量的三倍。此外，賽靈思還通過(guò)硅中介層創(chuàng )造了奇跡，并在Virtex芯片上分層放置了高達16GB的高帶寬存儲器（HBM）。所有四條芯片生產(chǎn)線(xiàn)的其他芯片也采用了這項技術(shù)。Zynq是他們的SoC芯片系列，包括FPGA可編程邏輯、四核Arm、實(shí)時(shí)Arm核心、DDR控制器以及用于以太網(wǎng)和PCI Express的連接邏輯。

　　Versal超越了SoC，成為一個(gè)基于七納米芯片技術(shù)的自適應計算加速平臺（ACAP）。ACAP通過(guò)添加數百個(gè)人工智能（AI）核心和數字信號處理（DSP）引擎來(lái)擴展Zynq架構。AI核心在某種程度上是新器件，但它們在本質(zhì)上屬于單精度計算引擎。最終，賽靈思將把其公開(kāi)展示的SoftNIC與Versal結合起來(lái)，使其成為SmartNIC平臺中的佼佼者。

　　博通是以太網(wǎng)NIC控制器商品市場(chǎng)上無(wú)可爭議的領(lǐng)導者。因此，當他們裝配Stingray SmartNIC并加入競爭時(shí)，博通采用了單芯片方法。與其他競爭對手的眾多芯片板相比，單芯片SmartNIC解決方案的板級生產(chǎn)成本始終保持在較低水平。博通以NetXtreme E系列控制器的邏輯為基礎，設計了位于Stingray核心的NetXtreme-S BCM58800芯片。然后，他們在集群配置中部署了主頻為3Ghz的8個(gè)Arm v8 A72核心。

　　接下來(lái)，他們加入了一些邏輯，以高達90千兆/秒的速度卸載加密，同時(shí)卸載擦除編碼和RAID等存儲處理。最后，博通還采用了具有神秘色彩的TruFlow技術(shù)。這是一個(gè)可配置的流加速器，用于將常見(jiàn)的網(wǎng)絡(luò )流過(guò)程轉移到硬件中；我們相信使用P4語(yǔ)言會(huì )取得很好的效果。這有助于釋放Arm核心，從而專(zhuān)注于流程和數據包級別上的更多可編程任務(wù)。

　　從發(fā)布的內容來(lái)看，TruFlow能夠在硬件中分擔像Open vSwitch（OvS）這樣的任務(wù)。此外，博通還聲稱(chēng)TruFlow在硬件中實(shí)現了眾多經(jīng)典的軟件定義網(wǎng)絡(luò )（SDN）概念，例如分類(lèi)、匹配和操作。因此，Stingray配備了兩個(gè)可編程組件，即TruFlow和一個(gè)由四個(gè)3Ghz雙核Arm v8 A72復合體組成的集群。了解到他們所提供產(chǎn)品的復雜性后，博通為SmartNIC應用開(kāi)發(fā)和存儲控制器開(kāi)發(fā)提供了Stingray開(kāi)發(fā)套件。這確實(shí)出乎大家的意料。

　　英偉達在圖形處理單元（GPU）領(lǐng)域是公認的領(lǐng)導者，GPU已經(jīng)成為高性能計算（HPC）領(lǐng)域的首選加速器。今年年初，英偉達最終以70億美元的價(jià)格完成了對邁絡(luò )思的收購。為了占領(lǐng)HPC市場(chǎng)，英偉達選擇了領(lǐng)先的無(wú)限帶寬技術(shù)互聯(lián)供應商，以便為HPC客戶(hù)提供完整的解決方案。這與克雷過(guò)去的做法非常相似。英偉達最近還收購了Cumulus Networks，后者是開(kāi)源以太網(wǎng)交換機操作系統的領(lǐng)導者。軟件一直是邁絡(luò )思的弱點(diǎn)，而英偉達顯然很早就意識到了這一點(diǎn)。關(guān)于SmartNIC，英偉達還通過(guò)收購邁絡(luò )思得到了一個(gè)意外驚喜。

　　邁絡(luò )思是最早進(jìn)入SmartNIC領(lǐng)域的公司之一，但這是通過(guò)收購實(shí)現的。他們當前的Bluefield 2解決方案是在2015年通過(guò)收購EZchip收購Tilera而完成構建的。Tilera擁有首個(gè)申請知識產(chǎn)權的高度并行SmartNIC實(shí)現方案，它是從更早的MIT研究項目逐步發(fā)展起來(lái)的。Tilera將處理核心作為芯片上的塊進(jìn)行排列，每個(gè)核心都有一條高速總線(xiàn)連接到周?chē)乃膫€(gè)核心。他們的旗艦產(chǎn)品早在2013年就可支持多達72個(gè)MIPS核心、內存控制器、加密模塊、PCIe塊和mPipe，這是通過(guò)SFP和連接器連接到多個(gè)MAC的一組通道。

　　邁絡(luò )思通過(guò)用Arm替換核心并將mPipe換成ConnectX邏輯來(lái)推進(jìn)這一進(jìn)程。當前的核心數量為8個(gè)Arm v8 A72核心，但它們被排列成由4個(gè)雙核心Arm構成的群集。這種方法與博通的Stingray十分類(lèi)似，它們不僅使用相同的核心，而且速度相同，但是它缺少Broadcom架構的核心組成部分，即并行P4處理器。P4是每家公司的目標，只不過(guò)并不是每家公司都對此公開(kāi)表明。下面提到的博通、賽靈思和Pensando都很關(guān)注P4。這也是Cumulus Networks的用武之地，他們在P4編程方面有著(zhù)豐富的經(jīng)驗。因此，為了向未來(lái)的Bluefield產(chǎn)品系列提供前端服務(wù)，英偉達設計了P4數據包處理引擎也就不足為奇了。

　　最新的SmartNIC初創(chuàng )企業(yè)是Pensando，由思科前首席執行官John Chambers創(chuàng )立。John帶領(lǐng)他的夢(mèng)之隊（六名前思科員工）創(chuàng )辦了這家公司。這些人的公司過(guò)去都曾被思科收購?？紤]到他們的聲譽(yù)和以往的經(jīng)驗，人們普遍認為Pensando正在向一些主要客戶(hù)證明他們的技術(shù)是可行的，然后他們會(huì )將其打包賣(mài)給思科。思科擁有一些通用的NIC技術(shù)，但它不是SmartNIC級別的，Pensando顯然是想填補這一空白。

　　Pensando最初提供兩種產(chǎn)品，但最近又降為單一產(chǎn)品，即分布式服務(wù)卡DSC-25，這聽(tīng)起來(lái)甚至像是思科產(chǎn)品的名稱(chēng)。它像是一款單一的P4處理器芯片，帶有用于一些輔助處理的Arm，數據表聲稱(chēng)這兩種處理器都可支持高達4GB的板載存儲器。該處理器稱(chēng)為Capri，它是帶有多個(gè)并行級的P4可編程單元；但確切的并行處理程度尚不清楚，因為數據包性能、時(shí)延和抖動(dòng)尚未公布。由于緩存未命中而導致的指令內存提取會(huì )影響所有指標的性能，所以Pensando妥善管控P4應用，將它們保留在Capri緩存中。其他被稱(chēng)為服務(wù)處理卸載（Service Processing Offloads）的計算單元則負責處理加密、存儲流程和其他任務(wù)。

　　Pensando聲稱(chēng)Capri能夠提供線(xiàn)速性能。Fungible是頗具潛力的后起之秀。在獲得了近3億美元的三輪融資（其中2億美元來(lái)自去年的C輪軟銀集團愿景基金）后，他們宣布即將推出一款新產(chǎn)品。目前，他們有180名員工，沒(méi)有產(chǎn)品，沒(méi)有收入，也沒(méi)有可見(jiàn)客戶(hù)。Fungible聲稱(chēng)將生產(chǎn)數據處理單元（DPU），但實(shí)際的架構和組成尚不明朗。他們提供了下面所示的圖片，但如同架構圖不具備重要意義一樣沒(méi)有突出重點(diǎn)。

　　很多文章都提到他們的產(chǎn)品將在今年夏天發(fā)布，因此我想提醒大家關(guān)注這家公司。他們的創(chuàng )始人之一兼首席架構師是曾在Chelsio Communications積累了10年經(jīng)驗的資深人士，專(zhuān)門(mén)從事以存儲為中心的以太網(wǎng)NIC方面的研究。此外，他們的軟件和固件工程副總裁也曾在Chelsio任職，而且他的工作經(jīng)驗有13年之久。因此，盡管Chelsio過(guò)去的核心產(chǎn)品是ASIC，但如今從頭開(kāi)始生產(chǎn)一款領(lǐng)先的SmartNIC以太網(wǎng)控制器ASIC很容易就會(huì )消耗掉他們超過(guò)5000萬(wàn)美元的寶貴資本。

　　有人推測，他們將采取阻力最小的方法來(lái)獲得收益，并利用FPGA平臺開(kāi)發(fā)他們的初始產(chǎn)品，同時(shí)將特有的ASIC設計加載到該平臺。隨后，他們可以在開(kāi)始追求客戶(hù)和收益的同時(shí)推出設計方案。將設計加載到FPGA中有助于Fungible輕松地修復設計缺陷，并可以根據客戶(hù)要求快速改善。如今，FPGA的應用越來(lái)越廣泛，我們已經(jīng)開(kāi)始看到像RISC-V這樣成熟的處理器架構被加載到這些平臺上。

　　那么，SmartNIC與普通的NIC有哪些顯著(zhù)性差異？計算能力、存儲器以及最重要的軟件設計都是為了減輕主機CPU的負擔，以完成更高級的網(wǎng)絡(luò )處理任務(wù)SmartNIC將推動(dòng)計算能力逐漸擴展到網(wǎng)絡(luò )邊緣，從而釋放服務(wù)器CPU的算力，重點(diǎn)關(guān)注復雜的業(yè)務(wù)關(guān)鍵型處理任務(wù)。研究表明，在高度虛擬化的環(huán)境中，網(wǎng)絡(luò )可以消耗主機CPU周期的多達30%來(lái)處理OvS事務(wù)等任務(wù)。試想一下，在SmartNIC中能夠完成存儲功能、加密、深度包檢測和復雜路由嗎？這可能會(huì )將通?；ㄙM在處理這些工作負載上的大部分CPU周期傳遞回主機CPU。

　　為了保持領(lǐng)先地位，Pensando和Fungible這樣的新興公司將繼續向SmartNIC市場(chǎng)注入創(chuàng )新特性和功能。與此同時(shí)，像賽靈思、英特爾、博通和英偉達這樣的技術(shù)領(lǐng)先者也開(kāi)始著(zhù)手改進(jìn)基礎計算核心和專(zhuān)用P4處理引擎。SmartNIC市場(chǎng)正在升溫，而這只是從GPU技術(shù)開(kāi)始興起的加速器浪潮的邊緣領(lǐng)域，但它將改變計算技術(shù)的發(fā)展方向。

作者介紹

　　姓名：Scott Schweitzer

　　職位：賽靈思技術(shù)布道者

　　個(gè)人簡(jiǎn)介：

　　自從當年通過(guò)TRS-80計算機入門(mén)編程的世界，Scott便成為了一名忠實(shí)的科技信徒。他曾為IBM、NEC、Solarflare以及現在的賽靈思編寫(xiě)過(guò)產(chǎn)品級的軟件產(chǎn)品，構建過(guò)硬件產(chǎn)品，并擔任過(guò)程序管理職務(wù)。在從事單插槽計算平臺工作20年后，Scott于2003年加入NEC，管理其新推出的英特爾安騰（Itanium）多核64位超級計算服務(wù)器。自此，他一直都在該領(lǐng)域繼續深耕。

　　2005年，Scott開(kāi)始重點(diǎn)研究超級計算與超高性能聯(lián)網(wǎng)聚類(lèi)這兩大領(lǐng)域。隨著(zhù)10GbE的普及，他推出了廣受歡迎的10GbE.net博客。在2017年市場(chǎng)風(fēng)云變幻之際，Scott將10GbE.net打造成了一個(gè)每月?lián)碛袛登Т雾?yè)面瀏覽量的技術(shù)傳播博客，同時(shí)還附帶一個(gè)播客。Scott在賽靈思的職責是與合作伙伴一起探尋新的加速機遇并定義創(chuàng )新解決方案。

　　原文標題：SmartNIC與普通的NIC有哪些顯著(zhù)性差異？

　　文章出處：【微信公眾號：FPGA開(kāi)發(fā)圈】歡迎添加關(guān)注！文章轉載請注明出處。