PCI Express總線(xiàn)技術(shù)白皮書(shū)

PCIExpress總線(xiàn)技術(shù)白皮書(shū)

1.1PCIExpress總線(xiàn)的起源和現狀

PCIExpress總線(xiàn)技術(shù)的演進(jìn)過(guò)程，實(shí)際上是計算系統IO接口速率演進(jìn)的過(guò)程。PCI總線(xiàn)是一種33MHz@ 32bit或者66MHz@64bit的并行總線(xiàn)，總線(xiàn)帶寬為133MB/s到最大533MB/s，連接在PCI總線(xiàn)上的所設備共享133MB/s～533MB/s帶寬。這種總線(xiàn)用來(lái)應付聲卡、10/100M網(wǎng)卡以及USB1.1等網(wǎng)絡(luò )接口基本不成問(wèn)題。隨著(zhù)計算機和通信技術(shù)的進(jìn)一步發(fā)展，新一代的IO接口大量涌現，比如千兆（GE）、萬(wàn)兆（10GE）的以太網(wǎng)技術(shù)、4G/8G的FC技術(shù)，使得PCI總線(xiàn)的帶寬已經(jīng)無(wú)力應付計算系統內部大量高帶寬并行讀寫(xiě)的要求，PCI總線(xiàn)也成為系統性能提升的瓶頸，于是就出現了PCIExpress總線(xiàn)。PCIExpress總線(xiàn)技術(shù)在當今新一代的存儲系統已經(jīng)普遍的應用。PCIExpress總線(xiàn)能夠提供極高的帶寬，來(lái)滿(mǎn)足系統的需求。如下表所示：

表1PCIExpress對比

目前，PCI-E3.0規范也已經(jīng)確定，其編碼數據速率，比同等情況下的PCI-E2.0規范提高了一倍，X32端口的雙向速率高達320Gbps。

1.2PCIExpress總線(xiàn)的技術(shù)優(yōu)勢

PCI總線(xiàn)的最大優(yōu)點(diǎn)是總線(xiàn)結構簡(jiǎn)單、成本低、設計簡(jiǎn)單，但是缺點(diǎn)也比較明顯：

1)并行總線(xiàn)無(wú)法連接太多設備，總線(xiàn)擴展性比較差，線(xiàn)間干擾將導致系統無(wú)法正常工作；

2)當連接多個(gè)設備時(shí)，總線(xiàn)有效帶寬將大幅降低，傳輸速率變慢；

3)為了降低成本和盡可能減少相互間的干擾，需要減少總線(xiàn)帶寬，或者地址總線(xiàn)和數據總線(xiàn)采用復用方式設計，這樣降低了帶寬利用率。PCIExpress總線(xiàn)是為將來(lái)的計算機和通訊平臺定義的一種高性能，通用IO互連總線(xiàn)。

與PCI總線(xiàn)相比，PCIExpress總線(xiàn)主要有下面的技術(shù)優(yōu)勢：

1)是串行總線(xiàn)，進(jìn)行點(diǎn)對點(diǎn)傳輸，每個(gè)傳輸通道獨享帶寬。

2)PCIExpress總線(xiàn)支持雙向傳輸模式和數據分通道傳輸模式。其中數據分通道傳輸模式即PCIExpress總線(xiàn)的x1、x2、x4、x8、x12、x16和x32多通道連接，x1單向傳輸帶寬即可達到250MB/s，雙向傳輸帶寬更能夠達到500MB/s，這個(gè)已經(jīng)不是普通PCI總線(xiàn)所能夠相比的了。具體配置可以參照表1。

3)PCIExpress總線(xiàn)充分利用先進(jìn)的點(diǎn)到點(diǎn)互連、基于交換的技術(shù)、基于包的協(xié)議來(lái)實(shí)現新的總線(xiàn)性能和特征。電源管理、服務(wù)質(zhì)量（QoS）、熱插拔支持、數據完整性、錯誤處理機制等也是PCIExpress總線(xiàn)所支持的高級特征。

4)與PCI總線(xiàn)良好的繼承性，可以保持軟件的繼承和可靠性。PCIExpress總線(xiàn)關(guān)鍵的PCI特征，比如應用模型、存儲結構、軟件接口等與傳統PCI總線(xiàn)保持一致，但是并行的PCI總線(xiàn)被一種具有高度擴展性的、完全串行的總線(xiàn)所替代。

5)PCIExpress總線(xiàn)充分利用先進(jìn)的點(diǎn)到點(diǎn)互連，降低了系統硬件平臺設計的復雜

性和難度，從而大大降低了系統的開(kāi)發(fā)制造設計成本，極大地提高系統的性?xún)r(jià)比和健壯性。從下面表格可以看出，系統總線(xiàn)帶寬提高同時(shí)，減少了硬件PIN的數量，硬件的成本直接下降。

1.3PCIExpress總線(xiàn)在萬(wàn)兆存儲系統的應用

在H3C公司開(kāi)發(fā)的最新一代存儲產(chǎn)品IX3000中，采用Intel最新一代服務(wù)器硬件平臺技術(shù)，前端支持高達16個(gè)GE接口，或者8個(gè)GE+8個(gè)4GbFC接口，最高配置更可以支持多達4個(gè)10GE接口，后端接口可以提供6個(gè)SAS×4寬端口，達到72Gbps的后端訪(fǎng)問(wèn)速率，提供無(wú)與倫比的磁盤(pán)訪(fǎng)問(wèn)IOPS和吞吐量，只有PCIExpress總線(xiàn)架構的系統才能滿(mǎn)足系統性能的需求。

IX3000存儲系統控制器系統架構如下圖所示。系統采用4條×8的PCIE總線(xiàn)來(lái)擴展前端和后端接口，采用2條×8PCIE總線(xiàn)來(lái)實(shí)現2個(gè)控制器之間的緩存鏡像，采用2條×8PCIE總線(xiàn)作為系統內部的控制和管理通道。其前端接口能夠安裝10GE接口卡或者GE+FCCOMBO接口卡，以及GE接口卡，后端PCIE接口用來(lái)和高性能的IO處理擴展卡連接，提供高性能IO處理、RAID計算以及CACHE鏡像管理等功能，并提供SAS后端接口用于連接SAS磁盤(pán)陣列，為用戶(hù)帶來(lái)前所未有的存儲新體驗。