千兆以太網(wǎng)交換芯片BCM5690及其在交換整機中的應用
加入技術(shù)交流群
關(guān)鍵詞：千兆以太網(wǎng)；BCM5690；堆疊；數據流程
目前，萬(wàn)兆芯片技術(shù)不斷取得新的發(fā)展，尤其在“真”萬(wàn)兆的問(wèn)題上，只有擁有更先進(jìn)的芯片，設備廠(chǎng)商才能夠在芯片功能與特性的基礎上開(kāi)發(fā)自身的交換機體系架構。雖然Ｂｒｏａｄｃｏｍ、Ｉｎｔｅｌ、Ｍａｒｖｅｌｌ、美國國家半導體（ＮＳ）、英飛凌（Ｉｎｆｉｎｅｏｎ）和意法半導體（ＳＴＭｉｃｒｏ ｅｌｅｃｔｒｏｎｉｃｓ）都推出了最新的千兆以太網(wǎng)芯片產(chǎn)品。但萬(wàn)兆芯片的發(fā)展無(wú)疑會(huì )從硬件與架構層面來(lái)加快萬(wàn)兆產(chǎn)品的發(fā)展速度。
為此， ＢｒｏａｄＣＯＭ公司開(kāi)發(fā)了ＢＣＭ５６９０（１２＋１）單芯片交換方案。該集成電路芯片集成了１２個(gè)千兆端口和１個(gè)萬(wàn)兆端口，是一款功能比較強大和全面的三層千兆以太網(wǎng)交換芯片。文中將詳細介紹ＢＣＭ５６９０芯片的功能特性以及基于該芯片的交換機實(shí)現方法。
１ ＢＣＭ５６９０芯片簡(jiǎn)介
１．１ ＢＣＭ５６９０芯片結構
ＢＣＭ５６９０是芯片提供有１２個(gè)ＧＥ接口（千兆端口）和１個(gè)ＨｉＧｉｇ接口（內聯(lián)端口），并具有堆疊功能。器件的端口采用ＰＣＩ接口進(jìn)行管理。其結構框圖如圖１所示。
由圖１可以看出：ＢＣＭ５６９０芯片由以下一些主要功能模塊組成：
（１）ＧＩＧＡ接口控制器ＧＰＩＣ：用于提供ＧＥ口與交換邏輯之間的接口。
（２）內聯(lián)端口（ＨｉＧｉｇ）控制器ＩＰＩＣ：主要提供ＨｉＧｉｇ口與內部交換邏輯之間的接口，有時(shí)也被用于多片ＢＣＭ５６９０之間的堆疊操作。
（３） ＣＰＵ管理接口ＣＭＩＣ：主要提供ＣＰＵ與ＢＣＭ５６９０設備不同功能塊之間的接口，同時(shí)也用于諸如ＭＩＩＭ、Ｉ２Ｃ和燈的處理等功能。該模塊通過(guò)ＰＣＩ接口與ＣＰＵ相聯(lián)，可使ＣＰＵ訪(fǎng)問(wèn)和控制ＢＣＭ５６９０，而ＤＭＡ引擎則支持數據從ＣＰＵ傳向ＢＣＭ５６９０或從ＢＣＭ５６９０傳向ＣＰＵ。
（４） 地址解析邏輯ＡＲＬ：該邏輯功能模塊可在數據包的基礎上確定該數據包的轉發(fā)策略。它利用二層表（Ｌ２＿ＴＡＢＬＥ）、二層組播表?Ｌ２ＭＣ ＴＡＢＬＥ?、三層表（Ｌ３＿ＴＡＢＬＥ）、三層最長(cháng)前綴匹配表（ＤＥＦ＿ＩＰ＿ＨＩ和ＤＥＦ＿ＩＰ＿ＬＯ）、三層接口表?Ｌ３－ＩＮＴＦ?、ＩＰ組播表（Ｌ３＿ＩＰＭＣ）、ＶＬＡＮ表（ＶＬＡＮ）以及ｓｐａｎｎｉｎｇ ｔｒｅｅ Ｇｒｏｕｐ表（ＶＬＡＮ＿ＳＴＡＧ）來(lái)決定如何轉發(fā)數據包。
（５） 公共緩沖池ＣＢＰ?ＣＢＰ實(shí)際上是１ＭＢ共享的包緩沖區。ＣＢＰ由８１９２（８Ｋ）個(gè)單元組成，每個(gè)單元１２８字節。設備里的每個(gè)數據包消耗一至多個(gè)單元。
（６）內存管理單元ＭＭＵ：ＢＣＭ５６９０有一個(gè)單獨的內存管理單元。每個(gè)ＭＭＵ與設備的功能塊（ＧＰＩＣ、ＩＰＩＣ等）相關(guān)聯(lián)。ＭＭＵ負責數據包的緩沖和調度。它首先接收數據包，然后再將數據包緩沖，并在發(fā)送時(shí)加以調度，同時(shí)它還管理交換單元的流控特性。概括來(lái)說(shuō)，就是緩沖邏輯、調度邏輯、流控邏輯。緩沖邏輯從ＣＰ－ＢＵＳ接收包并存放在ＣＢＰ，同樣也從ＣＢＰ獲取包并將它們發(fā)送到ＣＰ－ＢＵＳ上去。包的發(fā)送順序由調度邏輯根據包的優(yōu)先級別確定。流控邏輯包括Ｈｅａｄ－ｏｆ－Ｌｉｎｅ?ＨＯＬ?阻塞預防和Ｂａｃｋｐｒｅｓｓｕｒｅ兩種方式。
１．２ ＢＣＭ５６９０芯片特性及功能介紹
Ｂｒｏａｄｃｏｍ公司ＸＧＳ系列芯片的重要特性是具有堆疊功能，該功能可以將多個(gè)交換芯片組合在一起，以形成一個(gè)更大規模的系統，或者將多個(gè)帶交換芯片的系統組合在一起形成一個(gè)完整的系統設備。這種功能最多可以實(shí)現３０個(gè)設備的堆疊。
ＢＣＭ５６９０能夠通過(guò)Ｈｉ－Ｇｉｇ和ＧＩＧＡ來(lái)擴展系統容量。它有四種模式，其中ｃａｓｃａｄｅ模式通過(guò)Ｈｉ－Ｇｉｇ口單向互聯(lián)來(lái)形成(環(huán)行組網(wǎng))；而全雙工堆疊模式則通過(guò)ＢＣＭ５６９０的Ｈｉ－Ｇｉｇ口雙向地與ＢＣＭ５６７Ｘ相連來(lái)擴展容量(環(huán)形組網(wǎng))；第三是ｃｈａｓｓｉｓ模式，該模式是將Ｈｉ－Ｇｉｇ通過(guò)背板互連形成（星形組網(wǎng)）?？蓪?shí)現冗余備份和逐級交換，不需中轉，且效率比環(huán)行組網(wǎng)高；最后是ＳＬ形式的堆疊，它通過(guò)ＧＩＧＡ口來(lái)互連ＢＣＭ５６９０。圖２所示為ＢＣＭ５６９０的邏輯框圖。
ＢＣＭ５６９０是一款千兆以太網(wǎng)交換芯片，它支持二層交換、三層路由以及第２～７層數據包的分類(lèi)和過(guò)濾等。
地址解析邏輯是ＢＣＭ５６９０集成電路芯片的中心部件?ＧＰＩＣ的入口邏輯用它來(lái)決定單個(gè)包的轉發(fā)方向。
ＢＣＭ５６９０集成電路芯片中的快速過(guò)濾處理器（ＦＦＰ）是一個(gè)通過(guò)第２～７層數據包進(jìn)行分類(lèi)和過(guò)濾的引擎。每個(gè)ＧＥ口各有一個(gè)ＦＦＰ來(lái)負責包的分類(lèi)和更新。ＦＦＰ可以通過(guò)配置寄存器ＧＩＭＡＳＫ和ＧＩＲ-ＵＬＥ來(lái)改變符合條件的數據包特性?其中ＧＩＭＡＳＫ用于配置匹配選項，ＧＩＲＵＬＥ用于產(chǎn)生操作命令。對于每個(gè)數據包來(lái)說(shuō)，最多可以改變１６個(gè)匹配特性。如果同時(shí)有多個(gè)特性符合匹配條件，則在ＧＩＭＡＳＫ里處于高位的優(yōu)先配置。
對于包的緩沖和流控，ＢＣＭ５６９０還集成了１ＭＢ的數據包緩沖區ＣＢＰ，這個(gè)緩沖區可為所有端口共用。
ＢＣＭ５６９０中的寄存器ＭＩＲＲＯＲ＿ＣＯＮＴＲＯＬ和ＩＭＩＲＲＯＲ＿ＣＯＮＴＲＯＬ用來(lái)設置被鏡像端口與鏡像端口，兩個(gè)寄存器的內容應保持一致。它支持本芯片內的鏡像。
ＢＣＭ５６９０集成電路芯片中的鏈路聚合（ｔｒｕｎｋ）最大可支持８端口的Ｔｒｕｎｋｉｎｇ，共３２組Ｔｒｕｎｋ，并可進(jìn)行跨芯片的端口Ｔｒｕｎｋ。另外，ＢＣＭ５６９０還支持速度高達 ６６ＭＨｚ的ＰＣＩ接口，并可對所有數據包的線(xiàn)速交換以及ＲＭＯＮ、ＳＮＭＰ、ＳＴＰ和Ｒａｐｉｄ ＳＴＰ提供支持。
２ 訪(fǎng)問(wèn)控制方式及數據流程
２．１ 訪(fǎng)問(wèn)控制方式
ＢＣＭ５６９０支持一系列符合ＰＣＩ標準的寄存器?這些寄存器允許對設備再分配?ＭＯＤＩＤ?、地址空間的自動(dòng)配置和再映射。ＣＰＵ對ＢＣＭ５６９０的控制都是通過(guò)訪(fǎng)問(wèn)ＰＣＩ寄存器來(lái)實(shí)現的。ＢＣＭ５６９０的寄存器分為直接訪(fǎng)問(wèn)和非直接訪(fǎng)問(wèn)兩種?？芍苯釉L(fǎng)問(wèn)的寄存器映射到ＰＣＩ的內存空間?這些寄存器相對于ＰＣＩ控制寄存器有一個(gè)固定的地址偏移。上電初始化期間，系統自動(dòng)配置每個(gè)ＰＣＩ設備的基地址及地址范圍，以便能夠唯一地訪(fǎng)問(wèn)每一個(gè)ＰＣＩ設備中的寄存器。ＢＣＭ５６９０的訪(fǎng)問(wèn)機制分為三個(gè)類(lèi)型：一是ＰＣＩ配置空間；二是ＰＣＩ ｍｅｍｏｒｙ 映射的Ｉ／Ｏ，比如通過(guò)ＰＣＩ設備對ＤＭＡ、ＭＩＩＭ和Ｉ２Ｃ的控制；第三是消息機制。
２．２ 數據流程
所有的數據流通過(guò)交換芯片都要經(jīng)過(guò)輸入部分(Ｉｎｇｒｅｓｓ)、內存管理單元(ＭＭＵ)和輸出部分（Ｅｇｒｅｓｓ）這三個(gè)流程。其數據流程如圖３所示。
Ｉｎｇｒｅｓｓ（輸入邏輯）是數據包在每端口上的邏輯流程。每端口都有自己的輸入邏輯，輸入邏輯負責所有包的轉發(fā)（交換）策略，決定將包送給哪個(gè)端口，根據轉發(fā)信息將數據包發(fā)送給ＭＭＵ，進(jìn)行緩沖和調度，并以線(xiàn)速對包進(jìn)行處理。輸入邏輯與大部分交換功能關(guān)聯(lián)。
ＭＭＵ（內存管理單元）主要負責數據包的緩沖與調度，它接收從輸入邏輯過(guò)來(lái)的數據包并緩沖這些包，同時(shí)對這些包進(jìn)行調度并將它們送給輸出邏輯。數據包進(jìn)入ＭＭＵ時(shí)將存儲在ＣＢＰ里。ＣＢＰ有１ＭＢ的大小供所有端口共用。ＭＭＵ主要有四部分功能：資源計數、背壓、ＨＯＬ預防機制、調度。其中資源計數主要是統計當前消耗的ＣＢＰ單元數或ＣＢＰ數據包個(gè)數，決定數據包什么時(shí)候進(jìn)入背壓或ＨＯＬ預防；調度則是根據優(yōu)先級和ＣＯＳ的四種調度準則來(lái)確定包發(fā)送的先后順序和權重。
Ｅｇｒｅｓｓ（輸出邏輯）主要從ＭＭＵ獲取數據包并將其送入各個(gè)端口，這是整個(gè)流程中最簡(jiǎn)單的一環(huán)。它先將包發(fā)給輸出端口，然后確定是否在發(fā)送的數據包上添加ｔａｇ。具體流程如下：首先從ＭＭＵ請求數據包，如果發(fā)送的包要求不帶ｔａｇ，則負責將ｔａｇ去掉；然后計算數據包的ＣＲＣ；最后將包交給ＭＡＣ發(fā)送（特殊情況下，ＣＭＩＣ將直接把數據包以ＤＭＡ方式發(fā)送給ＣＰＵ）。
３ 基于ＢＣＭ５６９０的交換整機設計
３．１ 硬件實(shí)現
筆者在設計中采用了兩片ＢＣＭ５６９０和四片ＢＣＭ５４６４，外加四個(gè)ＳＦＰ接口的千兆光接口來(lái)實(shí)現１６端口的１０／１００／１０００Ｍ的電口和４個(gè)千兆光口的交換整機。ＢＣＭ５４６４是ＢｒｏａｄＣｏｍ的四端口的千兆ＰＨＹ。
圖４是該交換整機的主控板硬件結構，其硬件電路由交換單元、物理接口單元、ＲＪ４５和燈接口單元、光接口單元、控制單元、ＣＰＵ連接器單元、時(shí)鐘單元、電源單元組成。其中交換單元選用了兩片ＢＣＭ５６９０，它們之間通過(guò)Ｈｉ－Ｇｉｇ口背靠背連接實(shí)現通信，帶有與其它大部分單元的接口。每片ＢＣＭ５６９０通過(guò)ＰＣＩ接口與ＣＰＵ連接器相連,主要用來(lái)與ＣＰＵ通信以實(shí)現對芯片的管理。
圖４所示電路中的ＣＰＵ采用Ｍｏｔｏｒｏｌａ公司的ＰＰＣ８２４０，主要負責整個(gè)系統的運轉調度。１２個(gè)電口通過(guò)背板總線(xiàn)與各個(gè)線(xiàn)卡相連，以實(shí)現各線(xiàn)卡的上聯(lián)功能。當主控板單獨作為一個(gè)獨立的三層交換機時(shí)，它將同時(shí)作為與其它三層設備互聯(lián)的接口。４個(gè)千兆光接口與本設備上聯(lián)可擴展以太網(wǎng)的傳輸距離。
本系統使用了兩個(gè)背靠背連接的ＢＣＭ５６９０來(lái)進(jìn)行設計，這樣可將該系統歸為ｃａｓｃａｄｅ模式。在堆疊完成之后，通過(guò)在堆疊口的以太網(wǎng)包首部加上頭信息，可使芯片與芯片之間、系統與系統之間通過(guò)Ｂｒｏａｄｃｏｍ專(zhuān)有的通信協(xié)議來(lái)實(shí)現相互之間的信息傳輸，從而實(shí)現數據包在不同芯片、不同系統之間的轉發(fā)。
另外，還可以通過(guò)設置ＩＰＩＣ ＣＯＮＦＩＧ 寄存器(ＩＰＩＣ＿ＣＡＳＣＡＤＥ, ＭＹ＿ＭＯＤＩＤ)、ＭＯＤＰＯＲＴ表和Ｇｉｇａ ｂｉｔ端口ＣＯＮＦＩＧ寄存器來(lái)對堆疊進(jìn)行配置。
３．２ 軟件實(shí)現
ａ．初始化流程
在設計軟件模塊的初始化流程時(shí)，首先是頭模式的設置，由于ＢＣＭ５６９０固定工作在小頭?ｌｉｔｔｌｅ＿ｅｎｄｉａｎ?模式，而ＰＰＣ８２４０工作在大頭模式，因此需要對頭模式進(jìn)行設置；接下來(lái)是查找ＰＣＩ設備，以獲取各個(gè)ＰＣＩ設備的設備號以及各自的基地址；之后應對堆疊模式進(jìn)行設置，以便兩片ＢＣＭ５６９０之間的二層表內容能夠互通；最后是基本交換功能和ＤＭＡ通道的配置。
ｂ．軟件結構
圖５是筆者設計的軟件結構簡(jiǎn)圖。其中涉及驅動(dòng)程序和驅動(dòng)程序封裝的是ＳＡＬ層、Ｄｒｉｖｅｒ層和ＢＣＭ層。ＳＡＬ層可對操作系統與驅動(dòng)層進(jìn)行隔離，可提供ＰＣＩ中斷以及ＰＣＩ設備的查找、線(xiàn)程、中斷、同步和內存管理。Ｄｒｉｖｅｒ層包括ＢＣＭ５６９０寄存器的訪(fǎng)問(wèn)方式實(shí)現、表的初始化、內存初始化、芯片堆疊模式的設置、Ｌ２和Ｌ３地址的操作與查找、數據包的發(fā)送／接收以及端口的管理等。
評論