使用安捷倫4端口Tachyon光纖通道控制器和PCI Express系統總線(xiàn)實(shí)現RAID架構

本文將向您介紹一款采用光纖通道協(xié)議實(shí)現RAID控制器的系統設計方案。我們將重點(diǎn)討論如何使用安捷倫Tachyon 4 Gb/s 4端口光纖通道協(xié)議IC，把多個(gè)磁盤(pán)通道加入在一個(gè)提供RAID應用的計算系統中，并對使用RAID存儲技術(shù)的整個(gè)系統進(jìn)行簡(jiǎn)單介紹（包括光纖通道拓撲及選項、FC終端、磁盤(pán)通道和處理器功能）。

RAID系統架構概述

數據存儲的應用越來(lái)越廣泛。過(guò)去的單一設備現在容納或產(chǎn)生大量的數字信息。海量數據時(shí)代的到來(lái)加速了人們對信息安全存儲的需求。光陰荏苒，人們保存了大量的數據，但是重新獲得丟失的數據卻要耗資巨大。為此，人們部署了可靠的數據存取系統來(lái)保存或存儲數據。隨著(zhù)保護數據安全呼聲的高漲，對RAID解決方案的需求也日益增加。RAID解決方案提供有多種有助于提高數據檢索成功率的選擇方案。盡管RAID技術(shù)現在已可以應用于實(shí)現可靠檢索所需的任何數字存儲介質(zhì)上，當前人們還是普遍把數據存儲在物理介質(zhì)上。

在一個(gè)實(shí)施RAID技術(shù)的完備系統中，需要考慮下列事項：

● 帶一個(gè)或多個(gè)CPU的控制處理機。

● 需要將一些磁盤(pán)與控制處理機相連接。通常采用專(zhuān)門(mén)用于附加驅動(dòng)器的特殊協(xié)議實(shí)現磁盤(pán)連接。目前，有好幾種流行的磁盤(pán)協(xié)議。這里我們將重點(diǎn)介紹在大多數高端存儲陣列設計中使用的光纖通道協(xié)議。

● 驅動(dòng)器和處理器間無(wú)法直接實(shí)現高效連接。為此，人們使用了協(xié)議轉換器為一個(gè)接口上的處理器提供API，并實(shí)現與另一個(gè)接口上驅動(dòng)器的連接。

圖1為典型系統示例，其中包括四個(gè)CPU，一個(gè)由內存控制器和接口設備組成的處理器組（Processor Complex）、一個(gè)協(xié)議控制器和多個(gè)光纖通道鏈路組成的陣列。對磁盤(pán)控制器架構的多樣性和利弊，本文不作討論。圖1所示系統為最簡(jiǎn)單的通用架構，我們將用它來(lái)介紹RAID控制器的一般功能。

RAID概述

RAID 實(shí)施方案這一概念并不僅僅包括以后檢索所需的儲存數據，它還涉及到采用下文介紹的一級或多機RAID架構。

RAID-0：數據分割（Striping）。數據分割不能增加系統安全性，但可以提高系統性能。一個(gè)文件被存儲在多個(gè)驅動(dòng)器上。文件被分成若干塊，并被依次寫(xiě)入連續的磁盤(pán)中，這樣就可以分攤單個(gè)驅動(dòng)器的寫(xiě)反應時(shí)間并使多個(gè)寫(xiě)操作重迭進(jìn)行。

RAID-1：磁盤(pán)鏡像（Mirroring）。將一個(gè)磁盤(pán)上的所有數據完全復制到另一個(gè)磁盤(pán)中。這需要將數據寫(xiě)入不同的磁盤(pán)中，涉及到兩個(gè)單獨的寫(xiě)操作。這兩個(gè)磁盤(pán)無(wú)主次之分，一個(gè)磁盤(pán)是另一個(gè)磁盤(pán)100%的備份。已完成的寫(xiě)操作，必須是已同時(shí)在兩個(gè)磁盤(pán)上完成了同樣的寫(xiě)操作。如果一個(gè)磁盤(pán)故障，與之鏡像的磁盤(pán)保持正常操作，不會(huì )造成中斷。RAID-1提供了較好的管理能力，而且在正常操作或系統恢復時(shí)不需要占用太多的CPU。但這種方式成本很大：磁盤(pán)上需要保護的每千兆字節都會(huì )需要一個(gè)完全一模一樣的千兆字節。換句話(huà)說(shuō)，RAID－1所需要的磁盤(pán)空間是無(wú)保護磁盤(pán)空間的兩倍。

RAID-2：漢明碼糾錯（Hamming code error correction）。與ECC內存一樣，RAID-2也使用了漢明碼方法校驗磁盤(pán)數據的正確性。

RAID-3、RAID-4和RAID-5都使用了不同的奇偶校驗方法。與RAID-1完全復制數據不同，這些等級的RAID通過(guò)添加一個(gè)附加磁盤(pán)將數據分散在幾個(gè)磁盤(pán)上。附加磁盤(pán)上的數據是用其它磁盤(pán)的數據計算出來(lái)（使用Boolean XORs）。當磁盤(pán)組中任一個(gè)丟失時(shí)，可以用磁盤(pán)組中其它磁盤(pán)上的數據通過(guò)計算來(lái)恢復丟失的數據。由于這幾種方法不需要RAID-1 100%磁盤(pán)備份的費用，因此它們所需成本比RAID-1要低。然而，由于磁盤(pán)上的數據是計算出來(lái)的，磁盤(pán)丟失后會(huì )影響與寫(xiě)操作和數據恢復相關(guān)的性能。

RAID-3：虛擬磁盤(pán)塊（Virtual disk blocks）。RAID 3會(huì )把數據寫(xiě)入操作分散到RAID陣列中的所有磁盤(pán)上進(jìn)行（數據分割）。因為每次寫(xiě)操作要接觸每個(gè)磁盤(pán)，陣列同時(shí)只能寫(xiě)入一塊數據，因此導致整個(gè)RAID系統性能下降。RAID-3的性能因寫(xiě)操作性質(zhì)的不同而不同：寫(xiě)入少量數據時(shí)因需要所有的磁盤(pán)工作，性能較差，而在寫(xiě)入大量數據時(shí)性能較好。

RAID-4：專(zhuān)用奇偶盤(pán)（Dedicated parity disk）。在RAID-4陣列中，有一組數據盤(pán)，通常是4~5個(gè)數據盤(pán)（可以有更多數據盤(pán)，但會(huì )大大影響性能）和一個(gè)專(zhuān)門(mén)用來(lái)管理其它磁盤(pán)上數據奇偶性的特殊磁盤(pán)。因為每次寫(xiě)操作都需要訪(fǎng)問(wèn)奇偶盤(pán)，奇偶盤(pán)成了系統性能的瓶頸，降低了整個(gè)陣列中所有寫(xiě)操作的速度。

RAID-5：磁盤(pán)分割（Striped parity）。RAID-5實(shí)際上與RAID－4一樣，唯一不同的是：在RAID-4中，所有奇偶校驗信息位于一個(gè)單一磁盤(pán)上，而在RAID-5中，對奇偶校驗信息進(jìn)行了分割，將其存放在陣列中各個(gè)磁盤(pán)上。這種共享可以均衡并減少RAID－4方法的性能影響。在常用的RAID-5軟件實(shí)施方案中，由于寫(xiě)操作占用了15%以上的磁盤(pán)空間，系統速度會(huì )變得很慢，令人難以接受。

要實(shí)施任意RAID組合，需要考慮幾個(gè)功能。在實(shí)施0級以上的RAID方案時(shí)，通常要連接多個(gè)磁盤(pán)。為了實(shí)現數據分割、鏡像和奇偶校驗，采用了多種磁盤(pán)存取方式或操作。例如，為了實(shí)現RAID-1，需要連續向兩個(gè)驅動(dòng)器寫(xiě)入數據。磁盤(pán)的讀或寫(xiě)操作通常被稱(chēng)之為磁盤(pán)輸入/輸出（I/O）。這可以是可與一個(gè)或多個(gè)驅動(dòng)器實(shí)現通信的任意協(xié)議。這個(gè)功能可通過(guò)系統中一個(gè)或多個(gè)處理器上運行的軟件實(shí)現。方法是在通過(guò)協(xié)議控制器API實(shí)現RAID技術(shù)和進(jìn)行通信時(shí)，實(shí)現高級磁盤(pán)寫(xiě)入功能。

最好使用一個(gè)可以管理多個(gè)磁盤(pán)通道的協(xié)議控制器，使處理控制機可以在RAID應用中和系統管理功能上工作。對于部署連接狀態(tài)和多個(gè)驅動(dòng)器通道的光纖通道等復雜協(xié)議而言，通常使用類(lèi)似于Tachyon系列產(chǎn)品的高端控制器為系統提供最高等級的性能。

Tachyon架構

Tachyon光纖通道協(xié)議控制器系列產(chǎn)品采用了1 Gb、2 Gb和4 Gb 光纖通道鏈路，并根據不同設備通過(guò)PCI、PCI-X或PCI Express接口與系統相連。

盡管不論是光纖通道技術(shù)，還是系統總線(xiàn)互連技術(shù)都取得了重大進(jìn)展，Tachyon協(xié)議引擎系統架構卻是隨著(zhù)半導體工藝技術(shù)的發(fā)展而拓展。這一架構以FSM（Finite State Machine）設計為基礎。在FSM設計中，采用了眾多獨立狀態(tài)機，這些狀態(tài)機并行運行，因此可以獲得比固件或軟件解決方案更高的性能。隨著(zhù)頻率增加，Tachyon的性能也相應提高，而在基于固件的解決方案中，電路頻率并不會(huì )直接改善算法的性能。

Tachyon架構支持入局和出局數據通路獨立和同步運行，因此可以在光纖通道鏈路全速率下實(shí)現全雙工操作。此外，由于在數據移動(dòng)的同時(shí)可以同步處理I/O操作的控制請求，Tachyon架構還可以實(shí)現數據移動(dòng)設備的最佳利用。

FSM 的性能與時(shí)鐘頻率密切相關(guān)。FSM設計不但可以決定每個(gè)時(shí)鐘周期，而且和嵌入式微處理器一樣在發(fā)布指令和數據找取時(shí)對內存存取速度沒(méi)有依賴(lài)性。除了隨鏈路性能工藝技術(shù)的發(fā)展而升級，Tachyon還利用系統接口總線(xiàn)的技術(shù)改進(jìn)來(lái)增加每秒I/O性能。

PCI Express的適用性

過(guò)去，雙向系統總線(xiàn)接口（如PCI和PCI-X）共享資源限制了Tachyon架構中的全雙工功能。Tachyon產(chǎn)品中兩個(gè)獨立的數據移動(dòng)設備爭相占用PCI或PCI-X系統接口。

帶有獨立Ingress和Egress數據通路鏈接的PCI Express非常適用于Tachyon架構。由于Express Ingress數據通路與Tachyon 出局數據通路以及Express Egress數據通路與Tachyon入局數據通路的結合使用，數據可以同時(shí)雙向自由傳輸，這與Tachyon架構的初衷一致。

從一個(gè)雙向系統總線(xiàn)轉變?yōu)橐粚蜗蜴溌愤€消除了與關(guān)聯(lián)交易相關(guān)的丟失總線(xiàn)周期，此時(shí)，在總線(xiàn)中有一個(gè)等待返回數據的請求（即寄存器讀）。此外，由于PCI Express 是一個(gè)串行鏈路技術(shù)，請求可以用管線(xiàn)技術(shù)處理。大量經(jīng)過(guò)管線(xiàn)技術(shù)處理的請求可以較好地利用目標設備的性能。

因為PCI Express與Tachyon 光纖通道控制器一樣，可以提供成對的雙向串行鏈路，所以可以用每秒每個(gè)鏈路方向傳遞的字節數來(lái)表示帶寬連接性能。一路（lane）PCI Express 由兩個(gè)速率為2.5Gb/s的單向串行鏈路組成，編解碼后每個(gè)方向每秒可以處理250 Mbytes。應用PCI-E技術(shù)的 Tachyon系列產(chǎn)品（QX4和QX2）可以配置為1路、4路或8路PCI Express，所以可以提供高達4 Gbytes的互傳帶寬或單向2 Gbytes的帶寬。表1所示為T(mén)achyon系列產(chǎn)品的帶寬需求與PCI Express性能的匹配情況：

表1：Tachyon帶寬要求與PCI Express性能的匹配情況

從上表可以看出，PCI Express接口的利用率達到了80%時(shí)，8路PCI Express理論上講可以支持QX4 （4個(gè)4 Gb光纖通道鏈路）全鏈路速率下的所有4個(gè)功能。支持多個(gè)4路Express鏈路的PCI Express 根聯(lián)合體（root complex）可以與兩個(gè)QX2設備相連（每個(gè)設備4路PCI Express）并可以在所有8個(gè)端口上獲得2 Gb/s的全光纖通道鏈路速率，利用率達到了80%。

正是由于PCI Express的串行鏈路屬性與Express的靈活性，PCI Express成為適用于Tachyon 光纖通道協(xié)議控制器系列產(chǎn)品的最佳系統接口總線(xiàn)。PCI Express 協(xié)議的向后兼容性因為可以實(shí)現驅動(dòng)器兼容而簡(jiǎn)化了從PCI 或PCI-X系統接口總線(xiàn)轉成PCI Express的決策過(guò)程。

使用像Tachyon這樣高度集成的設備，用現成的組件標準就可以構建高性能的RAID系統。利用處理器的可變性和內存設計，只要利用普通的系統軟件投資，就可以調整目標系統應用解決方案的性能，使其從一個(gè)低端的SMB轉變?yōu)楦叨藬祿行年嚵小?/P>

當前PCI Express的性能

在上表中介紹了PCI Express總線(xiàn)的原始位率性能。其中，沒(méi)有考慮與PCI Express相關(guān)的開(kāi)銷(xiāo)。PCI Express通信主要由處理層數據包（TLP）組成。每個(gè)處理層數據包（TLP）包含相關(guān)數據以及文件頭和其它順序跟蹤/檢錯信息。除了處理層數據包（TLP）外，還有數據鏈路層數據包（DLLP）。數據鏈路層數據包（DLLP）主要用于A(yíng)CK/NAK協(xié)議以及流控制機制（Flow Control Mechanisms）。此外，還有物理層數據包（PLP），但物理層數據包（PLP）主要用于低級功能和不良路徑操作，如鏈路培訓（link training）和省電模式。

每個(gè)處理層數據包（TLP）系統開(kāi)銷(xiāo)較大。它由文件頭、CRC和其它幀信息組成。由于每個(gè)處理層數據包（TLP）有固定的系統開(kāi)銷(xiāo)，較大的處理層數據包（TLP）可以較好地利用系統總線(xiàn)。如果假設與處理層數據包（TLP）的數量相比，數據鏈路層數據包（DLLP）和物理層數據包（PLP）的數量可以忽略不計，我們可以用處理層數據包（TLP）的大小計算PCI-Express的最大理論帶寬。在表2中，我們對用PCI Express理論帶寬所測得的QX4性能與即將可用（2005年1月）的PCI Express 根聯(lián)合體（Root Complex）支持的各種處理層數據包（TLP）進(jìn)行了對比。

表2：測得的QX4性能與各種不同大小處理層數據包的PCI-Express理論帶寬之比較

在表2中，假設沒(méi)有與FCP通信、Tachyon數據結構或Tachyon寄存器存取相關(guān)的開(kāi)銷(xiāo)。這些理論數值還假設PCI-Express根聯(lián)合體的等待時(shí)間為零。所測得的QX4 1.1數值包括FCP 流量開(kāi)銷(xiāo)、Tachyon 數據結構和寄存器存取開(kāi)銷(xiāo)以及PCI Express的等待時(shí)間。

在半雙工通信配置下（頂部的只向一個(gè)方向傳輸），鏈路控制數據鏈路層數據包（DLLP）被發(fā)送到數據處理層數據包（TLP）的相反方向，因此不會(huì )降低系統性能。引入全雙工后，流程控制數據鏈路層數據包（DLLP）和數據處理層數據包可以共享相同的PCI Express 單工通道；任何一個(gè)流程控制數據鏈路層數據包（DLLP）都會(huì )引起數據處理層數據包（TLP）的傳輸延遲。再次重申，所有理論帶寬都假設數據鏈路層數據包（DLLP）和物理層數據包（PLP）的影響忽略不計。

上述有關(guān)帶寬的討論，闡述了如何根據4 Gb 光纖通道設備對PCI Express進(jìn)行升級。并用一個(gè)設備在一秒鐘內可以完成的512 字節 I/0這一數值對IOPS（每秒I/O）進(jìn)行了定義。IOPS測量值也可隨著(zhù)PCI Express的升級而升級。

我們使用當前可用的PCI Express芯片集和單個(gè)安捷倫QX4，發(fā)現IOPS的數值超過(guò)1.3 MIOPS（圖3）。隨著(zhù)處理器速度變快以及可以支持更大的處理層數據包（TLP），預計我們可以看到更好的性能。

圖1：RAID控制器功能最簡(jiǎn)單架構的典型系統示例

圖2：用PCI Express提供的獨立Ingress和Egress通路對PCI和PCI-X的雙向總線(xiàn)系統接口進(jìn)行對比。由于Express Ingress數據通路與Tachyon 出局數據通路以及Express Egress數據通路與Tachyon入局數據通路的結合使用，數據可以同時(shí)雙向自由傳輸。

圖3：使用一個(gè)安捷倫QX4 Tachyon 光纖通道控制器IC和目前可用的PCI Express芯片集所獲得的I/O大小與按順序讀取IOPS之對比