帶你認識存儲系統的心臟：存儲處理器
加入技術(shù)交流群
存儲系統的控制器，類(lèi)似于服務(wù)器內部的PCI RAID控制器，又有較大的差別，這里，我們來(lái)談一談存儲系統控制器，使讀者對存儲設備有較全面的了解。
嵌入式架構
存儲系統控制器和PCI RAID卡具有相同的邏輯構成，有I/O處理器、高速緩存、硬盤(pán)接口控制器、高速總線(xiàn)、儲存嵌入式軟件的閃存、內外連接接口等。
 |
圖1、 采用雙段PCI-X總線(xiàn)的光纖通道磁盤(pán)陣列控制器 本文引用地址：http://dyxdggzs.com/article/201706/353481.htm |
硬件構成上，和PCI RAID卡不同，存儲控制器還有用于連接主機的磁盤(pán)控制器，以及更多的協(xié)同處理和管理的功能芯片。物理上，為了能夠實(shí)現各類(lèi)芯片的布局，存儲控制器通常分為控制器板卡、I/O接口卡、管理模塊卡等幾大部分。
任何硬件功能的發(fā)揮，離不開(kāi)軟件。存儲控制器軟件實(shí)現如下三個(gè)功能：管理和控制磁盤(pán)集合（陣列）、傳送I/O操作進(jìn)/出磁盤(pán)、為數據冗余計算校驗值或使用校驗值恢復丟失的數據。在軟件構成上包括3個(gè)部分：陣列控制軟件，板支持包及接口驅動(dòng)軟件，操作系統及設備接口。
 |
圖2、控制器軟件示意圖 |
存儲控制器軟件的各模塊功能如下：
? 系統初始化模塊：負責系統初始階段的系統自舉、設備自檢、參數設定、資源分配等。
? 命令分解模塊：負責服務(wù)器命令的分解、應答等。
? 數據分塊重組模塊：負責服務(wù)器數據的分塊和底層數據的重組。
? 緩存管理：負責命令及數據緩存的分配、聚散、釋放等。
? I/O調度模塊：負責上層與底層I/O命令的并行、流水調度等。
? 校驗信息計算模塊：負責校驗信息的計算。
? 數據重構模塊：負責降級模式下的數據提供。
? 數據恢復模塊：負責磁盤(pán)出錯時(shí)的數據自動(dòng)恢復。
? RCR模塊：實(shí)現RAID Cache RAID功能，提供陣列性能。
僅僅控制器是遠遠不夠的，還要輔以下列系統設計方法，方可構建一個(gè)高可用的存儲系統：
采用模塊化技術(shù)，研究開(kāi)發(fā)磁盤(pán)陣列的磁盤(pán)子系統、控制器、電源、結構件、連接件等模塊，并在存儲設備內部采用無(wú)電纜連接技術(shù)，提高系統的集成度和可靠度。
采用全冗余熱拔插技術(shù)，實(shí)現存儲設備模塊內主要工作子系統，例如散熱子系統、電源子系統、控制器子系統的容錯能力，提高可用性。
采用結構一體化設計技術(shù)，為存儲設備和整個(gè)海量存儲系統提供足夠的散熱能力，提高系統的穩定性和可靠性；合理的結構設計，將保證電源、風(fēng)扇、硬盤(pán)、控制器模塊的無(wú)電纜連接，并保證冗余熱拔插功能的實(shí)現。
存儲處理器特性要求
高性能
與一般的PCI RAID卡相比，存儲系統的控制器控制軟件除了實(shí)現基本的RAID功能，支持RAID 0、1、0+1、3、5、30、50等級別外，還通過(guò)以下技術(shù)提高存儲設備的傳輸性能：
（1）實(shí)現存儲設備與系統的均衡。在分析磁盤(pán)陣列的隨機Petri網(wǎng)模型和計算硬件組成環(huán)節運行時(shí)間的基礎上，利用Petri網(wǎng)模型計算主要環(huán)節的利用率，選擇合適的通信機制，利用運行時(shí)間的計算結果合理地確定硬件配置，來(lái)解決主從通道與磁盤(pán)通道的速度匹配、各級緩沖存儲器的容量匹配和通信方式的選擇等影響性能的關(guān)鍵問(wèn)題，使系統結構趨于合理，達到負載均衡的目的。
（2）實(shí)現串內多線(xiàn)程操作。通過(guò)選擇恰當的磁盤(pán)控制器，實(shí)現同一物理鏈路多個(gè)磁盤(pán)驅動(dòng)器的并發(fā)操作，實(shí)現串內磁盤(pán)驅動(dòng)器的并發(fā)操作，在時(shí)間上重迭地處理數據的存取，從而達到提高傳輸性能的目的。
（3）實(shí)現底層設備的I/O合并操作。利用底層硬件未曾利用的數據聚散（Scatter/Gather）功能，將所有分解到某個(gè)磁盤(pán)驅動(dòng)器上的子命令，按其操作屬性進(jìn)行合并，并將邏輯地址離散的數據調整為支持一次I/O操作的格式，然后用一次I/O代替多次I/O，達到降低服務(wù)時(shí)間的目的。
（4）利用縱橫LRU替換算法實(shí)現縱橫LRU替換。對于主機的大塊數據訪(fǎng)問(wèn)，當第i塊數據在第j個(gè)磁盤(pán)驅動(dòng)器上時(shí)，第i+1塊數據肯定在第（j+1）mod N個(gè)磁盤(pán)驅動(dòng)器上，如果第i塊數據在第j組緩存失效，那么第i+1塊數據有可能在第（j+1）mod N組緩存也發(fā)生失效，因此在數據讀寫(xiě)過(guò)程考慮數據塊在磁盤(pán)驅動(dòng)器上的橫向相關(guān)性，可以通過(guò)縱橫LRU替換算法，將縱向預騰空（即同一組內的預騰空）發(fā)展成縱橫預騰空（即多組同時(shí)替換）。
智能化
控制器提供了存儲系統一定的在線(xiàn)操作智能化能力，減少由存儲模塊自身原因引起的系統停機，提高存儲系統內數據的高可用能力，這些特性包含：
? 多種讀寫(xiě)方式
? RAID陣列遷移、級別遷移、容量在線(xiàn)擴展、容量在線(xiàn)擴容、磁盤(pán)易位
? 面向單RAID陣列的讀寫(xiě)應用優(yōu)化
? 系統管理和監控
控制器除了提高磁盤(pán)陣列在線(xiàn)操作智能化能力的同時(shí)，還實(shí)現I/O讀寫(xiě)的智能化。I/O負載可以表示為一個(gè)三元組（地址、大小、讀/寫(xiě)），因而存取模式可以對應一個(gè)三維空間，每一維對應三元組的一個(gè)元素隨時(shí)間的變化值。自適應磁盤(pán)陣列通過(guò)獲取不同I/O負載和不同磁盤(pán)數據分布的特征，調節磁盤(pán)陣列參數和調度策略，以獲取系統的最大性能。
高可用
支持雙控制器和鏡像緩存，是存儲控制器的獨有特性，它和冗余熱拔插、模塊化無(wú)電纜連接技術(shù)一起，可滿(mǎn)足海量存儲系統的高可用性要求。雙控制器系統中，每個(gè)控制器擁有自己的緩存，可獨立工作，也可通過(guò)系統的通訊背板相互監測狀態(tài)，實(shí)現故障切換、甚至負載共享。磁盤(pán)陣列還可實(shí)現與服務(wù)器之間的路徑冗余，即當主路徑失敗時(shí)，系統可以使用另一條I/O路徑，在服務(wù)器和存儲系統間傳輸數據，該功能可以保證陣列與兩臺服務(wù)器，以及雙機高可用軟件，構成一個(gè)完全排除單點(diǎn)故障的雙機高可用集群系統。
 |
圖3、雙控磁盤(pán)陣列通道連接示意圖 |
高擴展
存儲控制器是后臺計算系統的I/O連接橋梁，在控制器基板和總線(xiàn)上，通過(guò)植入各種不同工業(yè)標準的I/O控制器，例如SCSI、FC、iSCSI、ATA、SATA、SAS控制器，可以方便的構成不同種類(lèi)的磁盤(pán)陣列設備，選擇不同種類(lèi)和數量的控制器，可以保證存儲系統的主機連接和硬盤(pán)連接的高擴展特性。
在其控制器上采用了FC-AL技術(shù)，理論上一個(gè)FC-AL通道可以最大連接127個(gè)設備，而且，如果磁盤(pán)陣列提供兩個(gè)FC-AL接口，即實(shí)現了通道擴展，可以把一組硬盤(pán)連接在一個(gè)雙光纖環(huán)路上，實(shí)現同一組光纖硬盤(pán)的全雙工操作，兩個(gè)雙光纖環(huán)路間通過(guò)并行I/O技術(shù)和全雙工操作，實(shí)際I/O吞吐率可以達到320MB/s以上。
 |
圖4 、雙光纖線(xiàn)環(huán)路連接示意圖 |
后記：
隨著(zhù)信息化應用規模的急劇擴大，存儲系統所面對的數據量和I/O操作量日漸巨大，并且網(wǎng)絡(luò )化存儲需求越來(lái)越迫切，這需要從總線(xiàn)、處理器、I/O控制器角度提高存儲系統的性能，大容量緩存、二級緩存、多路處理器、新型總線(xiàn)等，都是存儲系統控制器性能提升的方向。在由計算器（服務(wù)器）、存儲連接設備和存儲系統構成的后臺應用系統中，從存儲系統上實(shí)現更多的存儲管理功能，例如遠程鏡像、虛擬存儲、數據快照、數據備份、緩存服務(wù)，是提高后臺系統數據管理能力的捷徑，更是存儲控制器的一個(gè)發(fā)展方向。
評論