基于IBA的SRP Target的研究與實(shí)現
加入技術(shù)交流群
(1)SRP Target的端口檢測RDMA通道中有SRP請求信息，確認為接收完成操作失敗，未接收到SRP請求信息，立即進(jìn)行操作失敗下的處理方式。
(2)釋放RDMA緩沖區相關(guān)資源，重新初始化相關(guān)屬性信息。
2．5 卸載SRPTarget
當進(jìn)行卸載SRP Target時(shí)，主要進(jìn)行釋放SRP Target模塊和SCSI模塊所占有資源。具體的步驟如下：
(1)注銷(xiāo)SCSI Target模塊中的I／O控制器，清除該控制器的設備ID號，將該控制器從全局上下文中移除。
(2)清I／O控制器所控制的SCSI命令，釋放SCSI命令所占有的內存緩沖區等資源。釋放所占有的內存緩沖區。
(3)釋放SRP Target模塊中I／O控制器所占有的資源，停止對IB端口服務(wù)人口的監聽(tīng)操作，釋放服務(wù)入口所占有的內存空間資源，并對IB端口進(jìn)行更新操作，恢復端口的初始設置。
(4)對所有RDMA通道進(jìn)行斷開(kāi)操作．釋放RDMA通道所占有的資源。
(5)釋放IB I／O控制器所占有的空間。本文引用地址：http://dyxdggzs.com/article/202676.htm
3 實(shí)驗結果與分析
3．1 實(shí)驗環(huán)境
(1)硬件配置：
神威SWIBS24型IBA交換機。
IBM System x3650服務(wù)器3臺(Initiator01，Initiator02，Initiator03)各配有一塊HCA卡，作為SRP Initiator。存儲服務(wù)器一臺配置一塊HCA卡。作為SRP Target。
(2)軟件配置：
四臺linux AS4 Updata4服務(wù)器．內核版本為2．6．9-42。Initiator01、Initiator02、Initiator03安裝IBA驅動(dòng)程序IBGD(InfiniBand Gold Distribution)的sRP Initiator，作為Initiator服務(wù)器；Target安裝IBA驅動(dòng)程序OFED(OpenFabrics En-terprise Distribution)的SRP Target，作為T(mén)arget服務(wù)器。本課題依據GPFS支持的直接連接、網(wǎng)絡(luò )連接兩個(gè)模式，分別對讀寫(xiě)性能進(jìn)行比較。
直接連接：使用SRP協(xié)議．只要求在Initiator01、02、03服務(wù)器上安裝GPFS，Target上不安裝GPFS，Initiator服務(wù)器由1B網(wǎng)絡(luò )通過(guò)SRP Target獲得RAID存儲設備信息，即可對其進(jìn)行直接掛載、讀寫(xiě)操作。
網(wǎng)絡(luò )連接：不使用SRP協(xié)議．使用IPoIB協(xié)議。要求在每個(gè)服務(wù)器上都安裝GPFS，Initiator服務(wù)器不能通過(guò)SRP協(xié)議獲取Target服務(wù)器上RAID存儲設備的信，g。Initiator只能通過(guò)IPoIB與Target聯(lián)系，通過(guò)Target服務(wù)器上的GPFS文件系統對存儲設備進(jìn)行共享訪(fǎng)問(wèn)。
3．2 實(shí)驗結果
下表為實(shí)驗結果，IPoIB為GPFS的網(wǎng)絡(luò )連接模式，IB-SRP為GPFS的直接連接模式：
(1)Initiator01、02、03同時(shí)對Target的RAID設備進(jìn)行讀寫(xiě)操作(如表1)。設置測試的空間大小為10 G，一次讀寫(xiě)操作的塊大小分別為64 k，128 k，256 k，速度以K／s為單位。
(2)Initiator01對Target的RAID設備單獨進(jìn)行讀寫(xiě)測試(如表2)。
3．3 結果分析
實(shí)驗結果表明，在IBA網(wǎng)絡(luò )中使用SRP協(xié)議的Initiator和Target模塊進(jìn)行數據傳輸的速度比單純使用IBA網(wǎng)絡(luò )進(jìn)行數據傳輸的速度高出很多。
使用SRP協(xié)議進(jìn)行數據傳輸時(shí)，Initiator服務(wù)器向Tar―get服務(wù)器的RAID設備傳輸數據，是直接與Target內存進(jìn)行數據傳輸，然后由Target的內存將數據傳遞給RAID設備。在此時(shí)，Target系統并不執行數據的拷貝動(dòng)作，不經(jīng)過(guò)內核的調用，減少了處理網(wǎng)絡(luò )通信時(shí)在內核空間和用戶(hù)空間上下文切換的次數，消除了在應用內存與內核內存之間復制數據的需要，減少了CPU的負載。繞過(guò)內核可使應用程序不必執行內核調用就可以直接發(fā)出命令。減少了延遲時(shí)間，能騰出總線(xiàn)空間和CPU周期用于改進(jìn)應用系統性能。然而只利用IBA網(wǎng)絡(luò )進(jìn)行數據傳輸時(shí)。Target系統要進(jìn)行數據的拷貝．內核的調用，增大了CPU的負載．性能相對下降。所以基于SRP的讀寫(xiě)速度性能會(huì )更高。
4 結束語(yǔ)
本文介紹了實(shí)現SRP Target的過(guò)程．對各個(gè)獨立功能部分的工作原理、工作機制以及工作流程進(jìn)行了分析。并給出了IBA存儲網(wǎng)絡(luò )分別使用IPOIB協(xié)議和SRP協(xié)議讀寫(xiě)性能的測試結果，對于設計實(shí)現基于IBA的存儲網(wǎng)絡(luò )有著(zhù)重要的參考價(jià)值。
評論