緩存和RAID如何提高IO

從上一篇文章：IO系統性能之一：衡量性能的幾個(gè)指標的計算中我們可以看到一個(gè)15k轉速的磁盤(pán)在隨機讀寫(xiě)訪(fǎng)問(wèn)的情況下IOPS竟然只有140左右，但在實(shí)際應用中我們卻能看到很多標有5000IOPS甚至更高的存儲系統，有這么大IOPS的存儲系統怎么來(lái)的呢?這就要歸結于各種存儲技術(shù)的使用了，在這些存儲技術(shù)中使用最廣的就是高速緩存(Cache)和磁盤(pán)冗余陣列(RAID)了，本文就將探討緩存和磁盤(pán)陣列提高存儲IO性能的方法。

　　高速緩存(Cache)

　　在當下的各種存儲產(chǎn)品中，按照速度從快到慢應該就是內存>閃存>磁盤(pán)>磁帶了，然而速度越快也就意味著(zhù)價(jià)格越高，閃存雖然說(shuō)是發(fā)展勢頭很好，但目前來(lái)說(shuō)卻還是因為價(jià)格問(wèn)題無(wú)法普及，因此現在還是一個(gè)磁盤(pán)作霸王的時(shí)代。與CPU和內存速度相比，磁盤(pán)的速度無(wú)疑是計算機系統中最大的瓶頸了，所以在必須使用磁盤(pán)而又想提高性能的情況下，人們想出了在磁盤(pán)中嵌入一塊高速的內存用來(lái)保存經(jīng)常訪(fǎng)問(wèn)的數據從而提高讀寫(xiě)效率的方法來(lái)折中的解決，這塊嵌入的內存就被稱(chēng)為高速緩存。

　　說(shuō)到緩存，這東西應用現在已經(jīng)是無(wú)處不在，從處于上層的應用，到操作系統層，再到磁盤(pán)控制器，還有CPU內部，單個(gè)磁盤(pán)的內部也都存在緩存，所有這些緩存存在的目的都是相同的，就是提高系統執行的效率。

　　當然在這里我們只關(guān)心跟IO性能相關(guān)的緩存，與IO性能直接相關(guān)的幾個(gè)緩存分別是文件系統緩存(File System Cache)、磁盤(pán)控制器緩存(Disk Controller Cache)和磁盤(pán)緩存(Disk Cache,也稱(chēng)為Disk Buffer)，不過(guò)當在計算一個(gè)磁盤(pán)系統性能的時(shí)候文件系統緩存也是不會(huì )考慮在內的，因此我們重點(diǎn)考察的就是磁盤(pán)控制器緩存和磁盤(pán)緩存。

　　不管是控制器緩存還是磁盤(pán)緩存，他們所起的作用主要是分為三部分：緩存數據、預讀(Read-ahead)和回寫(xiě)(Write-back)。

　　緩存數據

　　首先是系統讀取過(guò)的數據會(huì )被緩存在高速緩存中，這樣下次再次需要讀取相同的數據的時(shí)候就不用在訪(fǎng)問(wèn)磁盤(pán)，直接從緩存中取數據就可以了。當然使用過(guò)的數據也不可能在緩存中永久保留的，緩存的數據一般那是采取LRU算法來(lái)進(jìn)行管理，目的是將長(cháng)時(shí)間不用的數據清除出緩存，那些經(jīng)常被訪(fǎng)問(wèn)的卻能一直保留在緩存中，直到緩存被清空。

　　預讀

　　預讀是指采用預讀算法在沒(méi)有系統的IO請求的時(shí)候事先將數據從磁盤(pán)中讀入到緩存中，然后在系統發(fā)出讀IO請求的時(shí)候，就會(huì )實(shí)現去檢查看看緩存里面是否存在要讀取的數據，如果存在(即命中)的話(huà)就直接將結果返回，這時(shí)候的磁盤(pán)不再需要尋址、旋轉等待、讀取數據這一序列的操作了，這樣是能節省很多時(shí)間的;如果沒(méi)有命中則再發(fā)出真正的讀取磁盤(pán)的命令去取所需要的數據。

　　緩存的命中率跟緩存的大小有很大的關(guān)系，理論上是緩存越大的話(huà)，所能緩存的數據也就越多，這樣命中率也自然越高，當然緩存不可能太大，畢竟成本在那兒呢。如果一個(gè)容量很大的存儲系統配備了一個(gè)很小的讀緩存的話(huà)，這時(shí)候問(wèn)題會(huì )比較大的，因為小緩存緩存的數據量非常小，相比整個(gè)存儲系統來(lái)說(shuō)比例非常低，這樣隨機讀取(數據庫系統的大多數情況)的時(shí)候命中率也自然就很低，這樣的緩存不但不能提高效率(因為絕大部分讀IO都還要讀取磁盤(pán))，反而會(huì )因為每次去匹配緩存而浪費時(shí)間。

　　執行讀IO操作是讀取數據存在于緩存中的數量與全部要讀取數據的比值稱(chēng)為緩存命中率(Read Cache Hit Radio)，假設一個(gè)存儲系統在不使用緩存的情況下隨機小IO讀取能達到150IOPS，而它的緩存能提供10%的緩存命中率的話(huà)，那么實(shí)際上它的IOPS可以達到150/(1-10%)=166。

　　回寫(xiě)

　　首先說(shuō)一下，用于回寫(xiě)功能的那部分緩存被稱(chēng)為寫(xiě)緩存(Write Cache)。在一套寫(xiě)緩存打開(kāi)的存儲中，操作系統所發(fā)出的一系列寫(xiě)IO命令并不會(huì )被挨個(gè)的執行，這些寫(xiě)IO的命令會(huì )先寫(xiě)入緩存中，然后再一次性的將緩存中的修改推到磁盤(pán)中，這就相當于將那些相同的多個(gè)IO合并成一個(gè)，多個(gè)連續操作的小IO合并成一個(gè)大的IO，還有就是將多個(gè)隨機的寫(xiě)IO變成一組連續的寫(xiě)IO，這樣就能減少磁盤(pán)尋址等操作所消耗的時(shí)間，大大的提高磁盤(pán)寫(xiě)入的效率。

　　讀緩存雖然對效率提高是很明顯的，但是它所帶來(lái)的問(wèn)題也比較嚴重，因為緩存和普通內存一樣，掉點(diǎn)以后數據會(huì )全部丟失，當操作系統發(fā)出的寫(xiě)IO命令寫(xiě)入到緩存中后即被認為是寫(xiě)入成功，而實(shí)際上數據是沒(méi)有被真正寫(xiě)入磁盤(pán)的，此時(shí)如果掉電，緩存中的數據就會(huì )永遠的丟失了，這個(gè)對應用來(lái)說(shuō)是災難性的，目前解決這個(gè)問(wèn)題最好的方法就是給緩存配備電池了，保證存儲掉電之后緩存數據能如數保存下來(lái)。

　　和讀一樣，寫(xiě)緩存也存在一個(gè)寫(xiě)緩存命中率(Write Cache Hit Radio)，不過(guò)和讀緩存命中情況不一樣的是，盡管緩存命中，也不能將實(shí)際的IO操作免掉，只是被合并了而已。

　　控制器緩存和磁盤(pán)緩存除了上面的作用之外還承當著(zhù)其他的作用，比如磁盤(pán)緩存有保存IO命令隊列的功能，單個(gè)的磁盤(pán)一次只能處理一個(gè)IO命令，但卻能接收多個(gè)IO命令，這些進(jìn)入到磁盤(pán)而未被處理的命令就保存在緩存中的IO隊列中。

　　RAID(Redundant Array Of Inexpensive Disks)

　　如果你是一位數據庫管理員或者經(jīng)常接觸服務(wù)器，那對RAID應該很熟悉了，作為最廉價(jià)的存儲解決方案，RAID早已在服務(wù)器存儲中得到了普及。在RAID的各個(gè)級別中，應當以RAID10和RAID5(不過(guò)RAID5已經(jīng)基本走到頭了，RAID6正在崛起中，看看這里了解下原因)應用最廣了。下面將就RAID0，RAID1，RAID5，RAID6，RAID10這幾種級別的RAID展開(kāi)說(shuō)一下磁盤(pán)陣列對于磁盤(pán)性能的影響，當然在閱讀下面的內容之前你必須對各個(gè)級別的RAID的結構和工作原理要熟悉才行，這樣才不至于滿(mǎn)頭霧水，推薦查看wikipedia上面的如下條目：RAID，Standard RAID levels，Nested RAID levels。

　　RAID0

　　RAID0將數據條帶化(striping)將連續的數據分散在多個(gè)磁盤(pán)上進(jìn)行存取，系統發(fā)出的IO命令(不管讀IO和寫(xiě)IO都一樣)就可以在磁盤(pán)上被并行的執行，每個(gè)磁盤(pán)單獨執行自己的那一部分請求，這樣的并行的IO操作能大大的增強整個(gè)存儲系統的性能。假設一個(gè)RAID0陣列有n(n>=2)個(gè)磁盤(pán)組成，每個(gè)磁盤(pán)的隨機讀寫(xiě)的IO能力都達到140的話(huà)，那么整個(gè)磁盤(pán)陣列的IO能力將是140*n。同時(shí)如果在陣列總線(xiàn)的傳輸能力允許的話(huà)RAID0的吞吐率也將是單個(gè)磁盤(pán)的n倍。