重復數據刪除技術(shù)的發(fā)展及應用

標簽：消冗 散列識別

重復數據刪除也稱(chēng)為智能壓縮或單一實(shí)例存儲，是一種可自動(dòng)搜索重復數據，將相同數據只保留唯一的一個(gè)副本，并使用指向單一副本的指針替換掉其他重復副本，以達到消除冗余數據、降低存儲容量需求的存儲技術(shù)。

本文首先從不同角度介紹重復數據刪除技術(shù)的分類(lèi)，然后分別介紹相同數據重復數據刪除技術(shù)和相似數據重復數據刪除技術(shù)，并介紹重復數據消除的性能提升方法，最后分析重復數據技術(shù)的應用場(chǎng)景。

1 重復數據刪除技術(shù)的分類(lèi)

1.1 基于重復內容識別方法的分類(lèi)

(1)基于散列識別

該方法通過(guò)數據的散列值來(lái)判斷是否是重復數據。對于每個(gè)新數據塊都生成一個(gè)散列，如果數據塊的散列與存儲設備上散列索引中的一個(gè)散列匹配，就表明該數據塊是一個(gè)重復的數據塊。Data Domain、飛康、昆騰的DXi系列設備都是采用SHA-1、MD-5等類(lèi)似的散列算法來(lái)進(jìn)行重復數據刪除。

基于散列的方法存在內置的可擴展性問(wèn)題。為了快速識別一個(gè)數據塊是否已經(jīng)被存儲，這種基于散列的方法會(huì )在內存中擁有散列索引。隨著(zhù)數據塊數量增加，該索引也隨之增長(cháng)。一旦索引增長(cháng)超過(guò)了設備在內存中保存它所支持的容量，性能會(huì )急速下降，同時(shí)磁盤(pán)搜索會(huì )比內存搜索更慢。因此，目前大部分基于散列的系統都是獨立的，可以保持存儲數據所需的內存量與磁盤(pán)空間量的平衡。這樣的設計使得散列表就永遠不會(huì )變得太大。

(2)基于內容識別

該方法采用內嵌在數據中的文件系統的元數據識別文件，與其數據存儲庫中的其他版本進(jìn)行逐字節地比較，找到該版本與第一個(gè)已存儲版本的不同之處并為這些不同的數據創(chuàng )建一個(gè)增量文件。這種方法可以避免散列沖突，但是需要使用支持該功能的應用設備以便設備可以提取元數據。

(3)基于ProtecTier VTL的技術(shù)

這種方法像基于散列的方法產(chǎn)品那樣將數據分成塊，并且采用自有算法決定給定的數據塊是否與其他數據塊的相似，然后與相似塊中的數據進(jìn)行逐字節的比較，以判斷該數據塊是否已經(jīng)被存儲。

1.2 基于去重粒度的分類(lèi)

(1)全文件層次的重復數據刪除

以整個(gè)文件為單位來(lái)檢測和刪除重復數據，計算整個(gè)文件的哈希值，然后根據文件哈希值查找存儲系統中是否存在相同的文件。這種方法的好處是在普通硬件條件下計算速度非?？?這種方法的缺點(diǎn)是即使不同文件存在很多相同的數據，也無(wú)法刪除文件中的重復數據。

(2)文件塊消冗

將一個(gè)文件按不同的方式劃分成數據塊，以數據塊為單位進(jìn)行檢測。該方法的優(yōu)點(diǎn)是計算速度快、對數據變化較敏感。

(3)字節級消冗

從字節層次查找和刪除重復的內容，一般通過(guò)差異壓縮策略生成差異部分內容。字節級消冗的優(yōu)點(diǎn)是去重率比較高，缺點(diǎn)就是去重速度比較慢。

1.3 基于消冗執行次序的分類(lèi)

(1)在線(xiàn)式消冗

在線(xiàn)處理的重復數據刪除是指在數據寫(xiě)入磁盤(pán)之前執行重復數據刪除。其最大的優(yōu)點(diǎn)是經(jīng)濟高效，可以降低對存儲容量的需求，并且不需要用于保存還未進(jìn)行重復數據刪除的數據集。在線(xiàn)處理的重復數據刪除減少了數據量，但同時(shí)也存在一個(gè)問(wèn)題，處理本身會(huì )減慢數據吞吐速度。正是因為重復數據刪除是在寫(xiě)入到磁盤(pán)之前進(jìn)行的，因此重復數據刪除處理本身就是一個(gè)單點(diǎn)故障。

(2)后處理式消冗

后處理的重復數據刪除，也被稱(chēng)為離線(xiàn)重復數據刪除，是在數據寫(xiě)到磁盤(pán)后再執行重復數據刪除。數據先被寫(xiě)入到臨時(shí)的磁盤(pán)空間，之后再開(kāi)始重復數據刪除，最后將經(jīng)過(guò)重復數據刪除的數據拷貝到末端磁盤(pán)。由于重復數據刪除是數據寫(xiě)入磁盤(pán)后再在單獨的存儲設備上執行的，因此不會(huì )對正常業(yè)務(wù)處理造成影響。管理員可以隨意制訂重復數據刪除的進(jìn)程。通常先將備份數據保留在磁盤(pán)上再進(jìn)行重復數據刪除，企業(yè)在需要時(shí)可以更快速地訪(fǎng)問(wèn)最近存儲的文件和數據。而后處理方式的最大問(wèn)題在于它需要額外的磁盤(pán)空間來(lái)保存全部還未刪除的重復數據集。

1.4 基于實(shí)現層次的分類(lèi)

(1)基于軟件的重復數據刪除

在軟件層次，重復數據刪除可以有兩種集成方式，即可以將軟件產(chǎn)品安裝在專(zhuān)用的服務(wù)器上實(shí)現，也可以將其集成到備份/歸檔軟件中?；谲浖闹貜蛿祿h除的部署成本比較低;但是基于軟件的重復數據刪除在安裝中容易中斷運行，維護也更加困難。

基于軟件的重復數據刪除產(chǎn)品有EMC公司的Avamar軟件產(chǎn)品、Symantec公司的Veritas NetBackup產(chǎn)品以及Sepaton公司的DeltaStor存儲軟件等。

(2)基于硬件的重復數據刪除

基于硬件的重復數據刪除主要由存儲系統自己完成數據的刪減，例如：在虛擬磁帶庫系統、備份平臺或者網(wǎng)絡(luò )附加存儲(NAS)等一般目的的存儲系統中融入重復數據刪除機制，由這些系統自身完成重復數據刪除功能。

基于硬件的重復數據刪除的優(yōu)點(diǎn)是高性能、可擴展性和相對無(wú)中斷部署，并且重復數據刪除操作對上層的應用都是透明的。這種設備的缺點(diǎn)就是部署成本比較高，要高于基于軟件的重復數據刪除。