如何用好你的SSD

在過(guò)去十幾年中，CPU的性能提升了100倍以上，而傳統的HDD硬盤(pán)（Hard Disk Drive）才提升了1.5倍不到，這種不均衡的計算存儲技術(shù)發(fā)展，極大地影響了IT系統整體性能的提升。直到固態(tài)硬盤(pán)SSD（Solid State Drive）被發(fā)明出來(lái)，其性能有了顛覆性的提升，才解決了存儲的瓶頸問(wèn)題。然而，SSD作為一項新技術(shù)，仍然存在一些固有的缺陷，如何充分發(fā)揮SSD的優(yōu)勢，是一個(gè)值得研究的方向。下面從性能、持久性、使用成本等方面對此話(huà)題做一些探討。

一、如何充分發(fā)揮出SSD的性能

首先，我們來(lái)看看傳統HDD的使用方式：

1.協(xié)議一般都采用SAS、SATA接口；

2.Linux的IO調度需要用電梯算法來(lái)對IO進(jìn)行重排以?xún)?yōu)化磁頭的路徑；

3.企業(yè)級存儲通常使用Raid卡做數據保護。

在接口協(xié)議方面，隨著(zhù)SSD的發(fā)明，NVMe協(xié)議應運而生。相較于SAS、SATA的單隊列機制，NVMe最多可以有65535個(gè)隊列，并且直接采用PCIe接口，消除了鏈路和協(xié)議瓶頸。

在控制卡生態(tài)方面，各大廠(chǎng)商也紛紛推出自己的NVMe控制卡芯片，有PMC（現屬于Microchip）、LSI、Marvel、Intel、慧榮以及國內的得瑞等，技術(shù)也已經(jīng)非常成熟。

在Linux 驅動(dòng)和IO協(xié)議棧方面，也做了相應的優(yōu)化，如下圖所示，NVMe驅動(dòng)可以直接繞過(guò)那些傳統的、專(zhuān)為HDD設計的調度層，大大縮短了處理路徑。

到目前為止，為了充分發(fā)揮SSD的性能，上面提到的三個(gè)傳統HDD的問(wèn)題中前兩個(gè)已經(jīng)得到了解決，然而在企業(yè)級市場(chǎng)上，基于NVMe的Raid始終沒(méi)有太好的方案。傳統企業(yè)最廣泛使用的Raid5/Raid6數據保護機制（N+1, N+2），通常是把數據條帶化分片，然后計算出冗余的Parity Code（奇偶校驗碼），將數據存放到多塊硬盤(pán)，寫(xiě)入新數據通常是一種“讀改寫(xiě)”的機制。這種機制本身就成為了性能瓶頸，并且“讀改寫(xiě)”對SSD的使用壽命有很大的損耗。另外，因為NVMe協(xié)議把控制卡放到了NVMe盤(pán)的內部，IO都由NVMe盤(pán)內部的DMA模塊來(lái)完成，這就給基于NVMe的Raid卡設計帶來(lái)了更大的困難。目前市場(chǎng)上這類(lèi)Raid控制卡可用方案也很少，并且性能上也無(wú)法發(fā)揮出NVMe的優(yōu)勢，因此沒(méi)能被廣泛使用。

基于目前這種狀況，很多企業(yè)級存儲方案仍然在使用SAS/SATA的SSD加傳統的Raid卡，這種方式又會(huì )出現前面已經(jīng)解決的兩個(gè)問(wèn)題，SSD的性能得不到充分發(fā)揮。

然而，這樣的情況也在發(fā)生改變，由Lightbits Labs發(fā)明的NVMe over TCP（NVMe/TCP）存儲集群解決方案就對這個(gè)問(wèn)題做了很好的處理。該解決方案通過(guò)自主研發(fā)的一塊數據加速卡，采用Erasure Code（糾刪碼）機制可以做到超過(guò)1M IOPS的隨機寫(xiě)性能，并且可以避免“讀改寫(xiě)”帶來(lái)的使用壽命損耗。另外，Lightbits提出了Elastic Raid機制，該機制提供彈性的N+1保護（類(lèi)似于Raid5），相較于傳統的Raid5需要熱備盤(pán)或者需要及時(shí)替換損壞盤(pán)，該機制在一塊硬盤(pán)發(fā)生損壞之后能自動(dòng)平衡形成新的保護。比如一個(gè)節點(diǎn)內原先有10塊盤(pán)，采用9+1的保護，當某塊盤(pán)損壞后，系統會(huì )自動(dòng)切換成8+1的保護狀態(tài)，并且把原先的數據再平衡到新的保護狀態(tài)，從而在可維護和數據安全性方面實(shí)現了大幅提升。此外，該數據加速卡還能做到100Gb的線(xiàn)速壓縮，顯著(zhù)提高了可用容量，進(jìn)而能大幅降低系統使用成本。

二、如何提升NVMe盤(pán)的持久性

目前使用最廣泛的SSD是基于NAND顆粒的，而NAND一個(gè)與生俱來(lái)的問(wèn)題就是持久性（endurance）。并且隨著(zhù)技術(shù)的發(fā)展，NAND的密度也越來(lái)越高，最新一代已經(jīng)到了QLC（4bits per Cell），同時(shí)每個(gè)Cell可被擦寫(xiě)的次數也在減少（1K P/E Cycles）。發(fā)展趨勢如下圖所示。

另外，對NAND的使用有一個(gè)特點(diǎn)，就是可擦的最小單位比較大，如下圖所示，寫(xiě)的時(shí)候可以4KB為單位往里面寫(xiě)，但是擦的時(shí)候（比如修改原有數據）卻只能以256KB為顆粒來(lái)操作（不同的SSD大小不一樣，但原理都一樣）。這就容易形成空洞而觸發(fā)SSD的GC（Garbage collection）數據搬移，進(jìn)而導致所謂的寫(xiě)放大現象，對盤(pán)的持久性會(huì )產(chǎn)生進(jìn)一步影響。

在企業(yè)級存儲中，通常使用Raid5/6這種“讀改寫(xiě)”的機制，會(huì )對盤(pán)的寫(xiě)操作數量進(jìn)一步放大，一般使用場(chǎng)景下大約是直接寫(xiě)入方式的2倍損耗。此外，很多Raid5還會(huì )啟動(dòng)Journal機制，對盤(pán)的使用壽命會(huì )進(jìn)一步損耗。

最后，對于最新的QLC來(lái)說(shuō)，使用中還需要考慮另一個(gè)因素——Indirection Unit （IU）。比如有些QLC盤(pán)使用 16KB的IU，如果要寫(xiě)入較小的IO，也會(huì )觸發(fā)內部“讀改寫(xiě)”，對使用壽命又多一重損傷。

由此可以看出，基于NAND的SSD還是比較嬌弱的。不過(guò)，只要能正確地使用，還是可以避免這些問(wèn)題。比如以某常用的QLC盤(pán)為例，通過(guò)如下兩組關(guān)于性能和持久性相關(guān)的參數可以看出，在持久性上順序寫(xiě)是隨機寫(xiě)的5倍，而性能更是26倍：

●   順序寫(xiě) 0.9 DWPD, 隨機4K寫(xiě)0.18 DWPD；

●   順序寫(xiě) 1600 MB/s, 隨機4K寫(xiě)15K IOPS（60MB/s）。

通過(guò)上面的分析發(fā)現，能把盤(pán)使用在一個(gè)最佳的工作狀態(tài)至關(guān)重要。好消息是目前一些先進(jìn)的解決方案，比如Lightbits的全NVMe集群存儲解決方案就可以解決這個(gè)問(wèn)題。該方案通過(guò)把隨機IO變成順序IO的方式，以及獨有的Elastic Raid技術(shù)避免了Raid“讀改寫(xiě)”的弊端，從而能大幅提高盤(pán)的持久性及隨機性能。

三、如何降低使用成本

由于SSD相對于HDD而言是一項新技術(shù)，再加上產(chǎn)業(yè)的生產(chǎn)規模和需求量的矛盾，目前價(jià)格相比HDD仍然偏高。那么如何降低SSD使用成本就變得非常重要。

降低使用成本最重要的一環(huán)就是要把SSD充分使用起來(lái)，無(wú)論是容量還是性能。不過(guò)就目前而言，大多數NVMe盤(pán)都是直接插在應用服務(wù)器上使用，而這種方式非常容易造成大量的容量和性能浪費，因為只有這臺服務(wù)器上的應用才能使用它。根據調研發(fā)現，使用這種DAS（Direct Attached Storage，直連式存儲）方式，SSD的利用率大概在15%-25%。

針對這個(gè)問(wèn)題比較好的解決方法是近幾年來(lái)市場(chǎng)上被廣泛接受的“解耦合”架構。解耦合之后，把所有的NVMe盤(pán)變成一個(gè)大的存儲資源池，應用服務(wù)器用多少就拿多少，只要控制總數量夠用就行，可以非常容易地將利用率推到80%。另外，因為資源集中起來(lái)，可以有更多的手段和方法用于降低成本，比如壓縮。例如，平均應用數據壓縮比在2:1，就相當于多了一倍的可用容量，也相當于每GB價(jià)格降了一半。當然壓縮本身也會(huì )帶來(lái)一些問(wèn)題，比如壓縮本身比較費CPU，另外很多存儲解決方案在開(kāi)啟壓縮之后性能就會(huì )大大降低。

針對壓縮方面的問(wèn)題，Lightbits的NVMe/TCP集群存儲解決方案可以通過(guò)存儲加速卡來(lái)予以解決。該卡可以做到100Gb的線(xiàn)速壓縮能力，并且不消耗CPU，不增加延遲。利用這樣的解決方案，壓縮功能幾乎沒(méi)有額外的成本。此外，正如前面在介紹提高持久性時(shí)所提到的，Lightbits解決方案能提高使用壽命并支持使用QLC盤(pán)，從整個(gè)使用周期來(lái)看，在使用成本方面也會(huì )有非常大的降低?？偟膩?lái)說(shuō)，通過(guò)解耦合提高使用效率，壓縮提高可用容量，優(yōu)化提高使用壽命或啟用QLC，經(jīng)過(guò)這樣的重重提升，SSD的使用成本可以得到極大的控制。

以上從性能、持久性、使用成本三個(gè)方面分析了如何用好SSD盤(pán)，可以看到要用好NVMe SSD盤(pán)還是不容易的。因此，對一般用戶(hù)而言，選擇一個(gè)好的存儲解決方案就至關(guān)重要。為此，以色列創(chuàng )新公司Lightbits以充分發(fā)揮NVMe盤(pán)的最大價(jià)值為使命，發(fā)明了NVMe/TCP協(xié)議，并推出了新一代的全NVMe集群存儲解決方案，可以幫助使用者輕松地將SSD盤(pán)用好。