解析Linux新技術(shù)對象存儲文件系統

隨著(zhù)高性能計算由傳統的主機方式向網(wǎng)絡(luò )化集群演變，傳統的基于主機的存儲架構已逐漸向網(wǎng)絡(luò )化存儲發(fā)展，計算和存儲分離的趨勢越來(lái)越明顯。針對 SAN 和 NAS 的不足，國際上已開(kāi)展針對 Linux 集群的新型文件系統DD對象存儲文件系統的研究，本文重點(diǎn)論述了存儲對象文件系統的架構、技術(shù)特點(diǎn)，并針對Lustre 對象存儲文件系統進(jìn)行了初步測試，結果表明對象存儲文件系統在可擴展性、性能、易用性等方面都有顯著(zhù)提高，隨著(zhù)網(wǎng)絡(luò )化存儲技術(shù)的不斷成熟，對象存儲文件系統將成為重要的發(fā)展方向。

一、引言

高性能計算已由傳統的主機方式逐漸向集群方式演變，如TOP500中，1998年只有2臺系統是集群方式，而到2003年已有208臺為集群系統。隨著(zhù)高性能計算體系結構的發(fā)展變化，傳統的基于主機的存儲架構已成為新的瓶頸，不能滿(mǎn)足集群系統的需求。集群的存儲系統必須有效解決兩個(gè)主要問(wèn)題：(1)提供共享訪(fǎng)問(wèn)數據，便于集群應用程序的編寫(xiě)和存儲的負載均衡;(2)提供高性能的存儲，在I/O級和數據吞吐率方面能滿(mǎn)足成百上千臺規模的Linux集群服務(wù)器聚合訪(fǎng)問(wèn)的需求。目前，網(wǎng)絡(luò )化存儲已成為解決集群系統高性能存儲的有效技術(shù)途徑。

國際上主要有兩類(lèi)網(wǎng)絡(luò )化存儲架構，它們是通過(guò)命令集來(lái)區分的。第一類(lèi)是SAN(Storage Area Network)結構，它采用SCSI 塊I/O的命令集，通過(guò)在磁盤(pán)或FC(Fiber Channel)級的數據訪(fǎng)問(wèn)提供高性能的隨機I/O和數據吞吐率，它具有高帶寬、低延遲的優(yōu)勢，在高性能計算中占有一席之地，如SGI的CXFS文件系統就是基于SAN實(shí)現高性能文件存儲的，但是由于SAN系統的價(jià)格較高，且可擴展性較差，已不能滿(mǎn)足成千上萬(wàn)個(gè)CPU規模的系統。第二類(lèi)是NAS(Network Attached Storage)結構，它采用NFS或CIFS命令集訪(fǎng)問(wèn)數據，以文件為傳輸協(xié)議，通過(guò)TCP/IP實(shí)現網(wǎng)絡(luò )化存儲，可擴展性好、價(jià)格便宜、用戶(hù)易管理，如目前在集群計算中應用較多的NFS文件系統，但由于NAS的協(xié)議開(kāi)銷(xiāo)高、帶寬低、延遲大，不利于在高性能集群中應用。

針對Linux集群對存儲系統高性能和數據共享的需求，國外已開(kāi)始研究全新的存儲架構和新型文件系統，希望能有效結合SAN和NAS系統的優(yōu)點(diǎn)，支持直接訪(fǎng)問(wèn)磁盤(pán)以提高性能，通過(guò)共享的文件和元數據以簡(jiǎn)化管理，目前對象存儲文件系統已成為L(cháng)inux集群系統高性能文件系統的研究熱點(diǎn)，如Cluster File Systems公司的Lustre、Panasas公司的ActiveScale文件系統等。Lustre文件系統采用基于對象存儲技術(shù)，它來(lái)源于卡耐基梅隆大學(xué)的Coda項目研究工作，2003年12月發(fā)布了Lustre 1.0版，預計在2005年將發(fā)布2.0版。Lustre在美國能源部(U.S.Department of Energy：DOE)、Lawrence Livermore 國家實(shí)驗室，Los Alamos國家實(shí)驗室，Sandia 國家實(shí)驗室，Pacific Northwest國家實(shí)驗室的高性能計算系統中已得到了初步的應用，IBM正在研制的Blue Gene系統也將采用Lustre文件系統實(shí)現其高性能存儲。ActiveScale文件系統技術(shù)來(lái)源于卡耐基梅隆大學(xué)的Dr. Garth Gibson，最早是由DARPA支持的NASD(Network Attached Secure Disks)項目，目前已是業(yè)界比較有影響力的對象存儲文件系統，榮獲了ComputerWorld 2004年創(chuàng )新技術(shù)獎。

二、對象存儲文件系統

2.1 對象存儲文件系統架構

對象存儲文件系統的核心是將數據通路(數據讀或寫(xiě))和控制通路(元數據)分離，并且基于對象存儲設備(Object-based Storage Device，OSD)構建存儲系統，每個(gè)對象存儲設備具有一定的智能，能夠自動(dòng)管理其上的數據分布，對象存儲文件系統通常有以下幾部分組成。

1、對象

對象是系統中數據存儲的基本單位，一個(gè)對象實(shí)際上就是文件的數據和一組屬性的組合，這些屬性可以定義基于文件的RAID參數、數據分布和服務(wù)質(zhì)量等，而傳統的存儲系統中用文件或塊作為基本的存儲單位，在塊存儲系統中還需要始終追蹤系統中每個(gè)塊的屬性，對象通過(guò)與存儲系統通信維護自己的屬性。在存儲設備中，所有對象都有一個(gè)對象標識，通過(guò)對象標識OSD命令訪(fǎng)問(wèn)該對象。通常有多種類(lèi)型的對象，存儲設備上的根對象標識存儲設備和該設備的各種屬性，組對象是存儲設備上共享資源管理策略的對象集合等。

2、對象存儲設備

對象存儲設備具有一定的智能，它有自己的CPU、內存、網(wǎng)絡(luò )和磁盤(pán)系統，目前國際上通常采用刀片式結構實(shí)現對象存儲設備。OSD提供三個(gè)主要功能：

(1) 數據存儲。OSD管理對象數據，并將它們放置在標準的磁盤(pán)系統上，OSD不提供塊接口訪(fǎng)問(wèn)方式，Client請求數據時(shí)用對象ID、偏移進(jìn)行數據讀寫(xiě)。

(2) 智能分布。OSD用其自身的CPU和內存優(yōu)化數據分布，并支持數據的預取。由于OSD可以智能地支持對象的預取，從而可以?xún)?yōu)化磁盤(pán)的性能。

(3) 每個(gè)對象元數據的管理。OSD管理存儲在其上對象的元數據，該元數據與傳統的inode元數據相似，通常包括對象的數據塊和對象的長(cháng)度。而在傳統的NAS系統中，這些元數據是由文件服務(wù)器維護的，對象存儲架構將系統中主要的元數據管理工作由OSD來(lái)完成，降低了Client的開(kāi)銷(xiāo)。

3、元數據服務(wù)器(Metadata Server，MDS)

MDS控制Client與OSD對象的交互，主要提供以下幾個(gè)功能：

(1) 對象存儲訪(fǎng)問(wèn)。MDS構造、管理描述每個(gè)文件分布的視圖，允許Client直接訪(fǎng)問(wèn)對象。MDS為Client提供訪(fǎng)問(wèn)該文件所含對象的能力，OSD在接收到每個(gè)請求時(shí)將先驗證該能力，然后才可以訪(fǎng)問(wèn)。

(2) 文件和目錄訪(fǎng)問(wèn)管理。MDS在存儲系統上構建一個(gè)文件結構，包括限額控制、目錄和文件的創(chuàng )建和刪除、訪(fǎng)問(wèn)控制等。

(3) Client Cache一致性。為了提高Client性能，在對象存儲文件系統設計時(shí)通常支持Client方的Cache。由于引入Client方的Cache，帶來(lái)了Cache一致性問(wèn)題，MDS支持基于Client的文件Cache，當Cache的文件發(fā)生改變時(shí)，將通知Client刷新Cache，從而防止Cache不一致引發(fā)的問(wèn)題。

4、對象存儲文件系統的Client

為了有效支持Client支持訪(fǎng)問(wèn)OSD上的對象，需要在計算結點(diǎn)實(shí)現對象存儲文件系統的Client，通常提供POSIX文件系統接口，允許應用程序像執行標準的文件系統操作一樣。

2.2 對象存儲文件系統的關(guān)鍵技術(shù)

1、分布元數據傳統的存儲結構元數據服務(wù)器通常提供兩個(gè)主要功能。(1)為計算結點(diǎn)提供一個(gè)存儲數據的邏輯視圖(Virtual File System，VFS層)，文件名列表及目錄結構。(2)組織物理存儲介質(zhì)的數據分布(inode層)。對象存儲結構將存儲數據的邏輯視圖與物理視圖分開(kāi)，并將負載分布，避免元數據服務(wù)器引起的瓶頸(如NAS系統)。元數據的VFS部分通常是元數據服務(wù)器的10%的負載，剩下的90%工作(inode部分)是在存儲介質(zhì)塊的數據物理分布上完成的。在對象存儲結構，inode工作分布到每個(gè)智能化的OSD，每個(gè)OSD負責管理數據分布和檢索，這樣90%的元數據管理工作分布到智能的存儲設備，從而提高了系統元數據管理的性能。另外，分布的元數據管理，在增加更多的OSD到系統中時(shí)，可以同時(shí)增加元數據的性能和系統存儲容量。