基于HDFS的云存儲在高校信息資源整合中的應用
HDFS中數據的交互無(wú)外乎數據的讀和寫(xiě),重點(diǎn)設計的對象就是客戶(hù)端、名稱(chēng)節點(diǎn)和數據節點(diǎn)??蛻?hù)端首先從名稱(chēng)節點(diǎn)中讀取對應的文件塊信息,再和數據節點(diǎn)建立連接并獲取數據,圖2具體描述了數據讀取過(guò)程。本文引用地址:http://dyxdggzs.com/article/202391.htm
HDFS的數據寫(xiě)入過(guò)程比讀取過(guò)程細節上更為復雜一些,但是模型圖非常類(lèi)似。除了數據的讀寫(xiě),維護數據的可用性和一致性也是系統最基本的要求和重要的功能。一般來(lái)說(shuō),系統通過(guò)數據復制、節點(diǎn)故障、數據校驗、垃圾回收機制來(lái)維護數據的可用性和一致性。
3 HDFS的云存儲應用于整合高校信息資源
3.1 系統分析與設計
目前高校信息資源面臨著(zhù)空前的海量數據管理難題,存儲數據的成本在不斷增加,而且信息的安全性也亟待提高。因此要借用云存儲這種新的工作模式來(lái)解決這個(gè)問(wèn)題。根據高校的特殊情況,結合云存儲的優(yōu)點(diǎn),要設計一個(gè)成功的云存儲案例,需要考慮這么幾個(gè)方面:
1)低成本海量存儲 將數據存儲在一般的個(gè)人電腦構成的網(wǎng)絡(luò )中,并進(jìn)行合理調配,構成一個(gè)有機海量存儲設備。
2)高效率的訪(fǎng)問(wèn) 數據盡可能的存儲在不同的數據節點(diǎn)中,當客戶(hù)端對信息進(jìn)行請求時(shí),能高效的回復,并做到并發(fā)。
3)安全性高 每個(gè)文件都會(huì )有多個(gè)副本分別存儲在多個(gè)數據節點(diǎn)上。如果某個(gè)數據節點(diǎn)出現問(wèn)題,不會(huì )發(fā)生文件丟失的現象。
3.2 系統功能設計
高校相對于云存儲系統是一個(gè)用戶(hù),而高校內部有多個(gè)部門(mén),相對于云存儲系統的用戶(hù)高校來(lái)說(shuō)是一個(gè)子用戶(hù)。云存儲系統能夠創(chuàng )建、管理、維護高校云存儲用戶(hù);高校云用戶(hù)能夠創(chuàng )建、管理、維護各部門(mén)子用戶(hù)。而子用戶(hù)才是真正的終端信息存儲用戶(hù),他們上傳、下載、刪除數據信息。由于我們的這個(gè)系統是基于HDFS的,而一個(gè)基本的HDFS由一個(gè)NameNode和n個(gè)DataNode組成,云存儲系統是由多個(gè)地方的HDFS存儲設備通過(guò)應用軟件集合起來(lái)協(xié)同工作,完成外部訪(fǎng)問(wèn)請求??梢詫⒈疚拿枋龅姆植际轿募到y(DFS)抽象成一個(gè)三級模型,如圖3所示。
根據系統結構圖可以清楚看到本文描述的分布式文件系統(DFS)的業(yè)務(wù)邏輯模型:終端網(wǎng)絡(luò )發(fā)出信息存取訪(fǎng)問(wèn)請求,DFS通過(guò)封裝與HDFS通信協(xié)議的Client客戶(hù)端與基于HDFS的云存儲系統進(jìn)行通信,完成對信息的訪(fǎng)問(wèn)。HDFS存儲業(yè)務(wù)以云狀分布在網(wǎng)絡(luò )的各個(gè)部分,它具有容量大、性能高、可靠性好、協(xié)同優(yōu)良的特點(diǎn),正是這些特點(diǎn),完成了高校信息資源高效訪(fǎng)問(wèn)與存儲。
4 結論
基于HDFS的云存儲是一種動(dòng)態(tài)可調整、基于互聯(lián)網(wǎng)的存儲解決方案,用戶(hù)可以通過(guò)通用和易用協(xié)議和應用程序接口通過(guò)網(wǎng)絡(luò )訪(fǎng)問(wèn)存儲目標,這種新技術(shù)對最終用戶(hù)來(lái)說(shuō)很有好處。云存儲可以讓用戶(hù)很容易增加存儲容量,而且不需要購買(mǎi)、安裝和管理任何存儲基礎設施,卻提供了一個(gè)完善的備份、容災數據中心。云存儲的成本和易用性?xún)?yōu)勢對高校具有很強的吸引力,發(fā)展和應用前景廣闊。
評論