數據生命周期管理之存儲策略

前言

隨著(zhù)通訊技術(shù)、移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò )、物聯(lián)網(wǎng)、云計算等技術(shù)的快速發(fā)展，現代社會(huì )已經(jīng)進(jìn)入大數據時(shí)代。面對來(lái)源廣泛、數據巨大、形式多樣、內容豐富的大數據，為了更加有效應對市場(chǎng)激烈競爭，企業(yè)開(kāi)始意識到數據價(jià)值并且通過(guò)建立大數據平臺、數據中心、數據倉庫等系統，從不同角度去挖掘數據的價(jià)值。當然隨著(zhù)企業(yè)業(yè)務(wù)發(fā)展以及各種平臺、系統的建立也意味著(zhù)需要管理的數據量越來(lái)越龐大，資源維護成本越來(lái)越高，效率越來(lái)越低。

面對企業(yè)對數據的不同時(shí)效、不同訪(fǎng)問(wèn)頻率、不同重要性等要求，如何判定數據是否有維護的必要性，如何降低數據維護成本，提高數據服務(wù)水平是進(jìn)行數據生命周期管理主要解決的問(wèn)題。

管理目標

數據生命周期管理通過(guò)制定合理的管理制度、組織架構以及對應的技術(shù)規范，協(xié)調各流程制度、技術(shù)規范的有效運行，從而提升數據服務(wù)水平與數據使用效率，從而實(shí)現降低成本、提高效率的目標。數據存儲和備份規范是保障和基礎，數據管理和維護是執行方法，通過(guò)高效的數據管理和維護效率，從而不斷提升數據服務(wù)水平。

數據生命周期管理涉及生命周期相關(guān)的管理制度以及數據存儲備份策略的規范制定，以下主要從技術(shù)的層面講述如何制定數據生命周期的數據存儲策略。

存儲策略框架

數據生命周期管理框架由數據歸類(lèi)、數據特性分析與數據存儲策略三部分組成。數據存儲框架首先對數據進(jìn)行歸類(lèi)，在數據歸類(lèi)的基礎上結合業(yè)務(wù)與系統實(shí)際情況，分析數據特性，最后根據現狀調研、數據歸類(lèi)與數據特性制定數據生命周期存儲策略，從而保障數據存儲策略能夠更加符合業(yè)務(wù)、系統的實(shí)際需求，有效的發(fā)揮數據生命周期管理的價(jià)值。

數據歸類(lèi)

從數據生命周期管理視角，結合業(yè)界的相關(guān)標準規范，對企業(yè)IT系統的數據進(jìn)行歸類(lèi)。目前根據系統的業(yè)務(wù)特點(diǎn)，比較流行的數據歸類(lèi)包括：生產(chǎn)交易型數據、服務(wù)支撐型數據與系統數據三部分。

1生產(chǎn)交易型數據

生產(chǎn)交易型數據就是企業(yè)各IT支撐系統所產(chǎn)生、使用的數據，該類(lèi)數據主要分布在業(yè)務(wù)支撐系統、管理支撐系統，如業(yè)務(wù)支撐系統、客戶(hù)關(guān)系管理系統、ERP系統、電子渠道系統等。目前生成交易型的數據主流的數據歸類(lèi)為：客服域、資源域、企業(yè)管理域、營(yíng)銷(xiāo)域、產(chǎn)品域等。該部分數據的歸類(lèi)方式主要參考TMF（電信管理論壇）的SID（共享信息模型）分類(lèi)標準，具體在制定過(guò)程中企業(yè)可以根據具體的業(yè)務(wù)以及系統特點(diǎn)進(jìn)行實(shí)際的分類(lèi)。

2服務(wù)支撐型數據

服務(wù)支撐型數據是指從各個(gè)生產(chǎn)系統收集的數據、經(jīng)沉淀加工挖掘后形成的信息數據，該類(lèi)數據主要分布在提供數據服務(wù)、數據支撐的IT平臺中，如數據倉庫、數據中心、數據集市等。該類(lèi)數據按照數據倉庫數據分層的原則分為：原型數據、明細數據、匯總數據、應用數據。

3系統數據

系統數據是面向IT開(kāi)發(fā)過(guò)程所產(chǎn)生的數據，該類(lèi)數據不直接被業(yè)務(wù)所需要，但是又占用相應的存儲空間。在數據歸類(lèi)過(guò)程中很容易遺漏此類(lèi)數據，然而眾多系統實(shí)際情況表明，該類(lèi)數據如果不有效管理將會(huì )嚴重影響系統的運行效率。系統數據主要包括：程序軟件、日志數據、過(guò)程數據和臨時(shí)數據等。

數據特性

根據數據歸類(lèi)，不同類(lèi)別的數據有不同的數據特性。從數據生命周期視角數據特性主要包括數據重要性、訪(fǎng)問(wèn)頻率、訪(fǎng)問(wèn)性能要求、數據量等。具體在進(jìn)行數據特性分類(lèi)過(guò)程中，企業(yè)可以根據實(shí)際情況進(jìn)行特性歸類(lèi)。

重要性：在業(yè)務(wù)使用過(guò)程中按照數據的重要程度進(jìn)行歸類(lèi)，數據分成不同的重要級別。

訪(fǎng)問(wèn)頻率：在系統運行過(guò)程中，依據數據的訪(fǎng)問(wèn)頻率，對數據進(jìn)行歸類(lèi)。通過(guò)不同的訪(fǎng)問(wèn)頻率定義不同的存儲策略。

訪(fǎng)問(wèn)性能要求：根據業(yè)務(wù)部門(mén)需求，對于不同數據需要提供不同的訪(fǎng)問(wèn)性能支持。通過(guò)不同訪(fǎng)問(wèn)性能需要定義不同存儲策略。

數據量：在系統運行過(guò)程中，數據以月/日為單位，按照數據量的大小，提供不同的存儲策略。

數據存儲策略

數據存儲策略就是將不同的數據存在制定的存儲設備上。目前主要的存儲設備主要分成在線(xiàn)存儲、近線(xiàn)存儲、歸檔存儲，三種常用存儲。

1在線(xiàn)存儲

在線(xiàn)存儲又稱(chēng)工作級的存儲，存儲設備和所存儲的數據時(shí)刻保持隨時(shí)響應狀態(tài)，可以實(shí)時(shí)讀寫(xiě)的，可滿(mǎn)足計算平臺對數據訪(fǎng)問(wèn)的速度要求。

一般在線(xiàn)存儲設備通常為內置磁盤(pán)和高端磁盤(pán)陣列等磁盤(pán)設備，價(jià)格相對昂貴，性能最好。

2近線(xiàn)存儲

近線(xiàn)存儲定位于在線(xiàn)存儲和離線(xiàn)存儲之間的應用，對性能要求相對來(lái)說(shuō)并不高，但又提供相對較好的讀取性能。近線(xiàn)存儲策略一般采用中低端磁盤(pán)陣列設備，并輔以高壓縮軟件，滿(mǎn)足快速讀寫(xiě)等訪(fǎng)問(wèn)動(dòng)作。

3歸檔存儲

數據歸檔是將不再經(jīng)常使用的數據移到一個(gè)單獨的存儲設備來(lái)進(jìn)行長(cháng)期保存的過(guò)程，對涉及的數據進(jìn)行離線(xiàn)存儲，以備非常規查詢(xún)等。歸檔設備一般采用磁帶庫、光盤(pán)庫，以及大容量低端磁盤(pán)陣列，價(jià)格相對低廉。

存儲策略的制定除了滿(mǎn)足業(yè)務(wù)需要之外，還需要考慮存儲成本，制定合理的存儲策略。例如：生成交易型數據中客服數據，其數據特點(diǎn)主要是數據重要性高、訪(fǎng)問(wèn)頻率搞、數據量較小，可以采用在線(xiàn)存儲；服務(wù)支撐型中的原型數據，其數據特點(diǎn)主要是數據重要性不高、訪(fǎng)問(wèn)頻率不高、數據量大，可以采用近線(xiàn)存儲。

小結

數據生命周期管理中，數據存儲策略的制定除了理論上需要正確的指導，更重要的是在制定過(guò)程中進(jìn)行大量實(shí)際業(yè)務(wù)需求、系統現狀的調研。在理論指導下結合實(shí)際情況制定出符合企業(yè)實(shí)際情況的存儲策略。

數據生命周期管理是涉及組織架構、流程制度、技術(shù)規范、系統支撐組成的管理體系，。存儲策略制定只是數據生命周期管理中技術(shù)規范部分，如何協(xié)調生命周期管理中相關(guān)組織架構、流程制度保障存儲策略有效的制定才是數據生命周期管理成功與否的關(guān)鍵。后續將會(huì )探討如何制定數據生命周期管理中相關(guān)流程制度、組織架構以及系統支撐方面的相關(guān)內容。