麻省理工證實(shí):大數據時(shí)代,閃存和RAM一樣快!
就高速數據處理而論,RAM通常用于存儲正在使用的數據,它比從傳統磁盤(pán)提取數據的速度要快數萬(wàn)倍,比NAND閃存的速度也快很多倍。 而麻省理工學(xué)院(MIT)研究人員構建了一個(gè)服務(wù)器網(wǎng)絡(luò )證明——對于大數據應用,閃存和RAM一樣快,而且便宜很多。
本文引用地址:http://dyxdggzs.com/article/277454.htm
在這個(gè)大數據時(shí)代,海量數據集用于揭示千百萬(wàn)人的購買(mǎi)趨勢或預測還有基于千萬(wàn)個(gè)數據點(diǎn)的金融市場(chǎng)趨勢,單一電腦的RAM是無(wú)法負荷的。
例如,處理一個(gè)人的基因組的數據,需要40到100臺標準計算機。而另一個(gè)可選項NAND閃存,它的價(jià)格大約是RAM的十分之一,消耗功率也是它的十分之一。上個(gè)月,在計算機體系結構國際會(huì )議(International Symposium on Computer Architecture)上,麻省理工學(xué)院研究人員展示了一個(gè)新的系統,證實(shí)閃存和傳統RAM一樣高效,而且還能降低功率和硬件成本。
“比如,我們需要購買(mǎi)一個(gè)系統來(lái)處理10TB大的數據集。在DRAM中處理它,假設服務(wù)器有100GB內存的DRAM,我們就需要一組大約100臺電腦集群?!?Arvind Mithal,麻省理工學(xué)院計算機科學(xué)與工程約翰遜講座教授在郵件中回復說(shuō),“這樣一個(gè)集群創(chuàng )建需要大約400000美元?!?/p>
每一臺服務(wù)器連接到一個(gè)可模擬不同電路的現場(chǎng)可編程網(wǎng)關(guān)陣列(field-programmable gate array或FPGA),每一個(gè)FPGA依次連接到2個(gè)500GB的閃存芯片和2個(gè)其他距離最近的FPGA。
因為彼此相互連接,FPGA成為了一個(gè)快速網(wǎng)絡(luò ),允許任何服務(wù)器從每一個(gè)閃存驅動(dòng)器存取數據,而這些FPGA也能控制閃存驅動(dòng)器。
Arvind還表示,同樣在閃存中處理10TB數據集,只需要10臺電腦——每臺需要1TB閃存容量。即便包括基于FPGA加速器硬件成本,這個(gè)系統的總成本也不會(huì )超過(guò)大概70000美元?!叭绻覀兛紤]到基于閃存的系統中,每一臺服務(wù)器上不需要同樣多的DRAM這個(gè)事實(shí),價(jià)格可能還會(huì )進(jìn)一步降低?!?Arvind稱(chēng),“如果我們使用配置較少DRAM的低端服務(wù)器,該系統花費大約是40000美元?!?/p>
而維護一個(gè)基于閃存的系統費用顯然更便宜,他繼續說(shuō)道,因為閃存比DRAM消耗更小的功率并且所需的服務(wù)器也相對較少。就算將閃存和FPGA加速器因素的額外功耗也算在內,麻省理工學(xué)院的服務(wù)器網(wǎng)絡(luò )標準顯示閃存存儲設備也僅僅是增加了大約10%的功耗到整個(gè)系統。
實(shí)際上,即使沒(méi)有他們的新網(wǎng)絡(luò )結構,研究人員指出如果做分布式計算的服務(wù)器使用磁盤(pán)驅動(dòng)器來(lái)獲取數據只需要該時(shí)間的5%,和使用閃存時(shí)的性能相同。
例如,配置10TB RAM的40臺服務(wù)器處理一個(gè)10.5TB的計算,也不比配置20TB閃存的20臺服務(wù)器快。而閃存不但成本較少,也只損耗一小部分功率。
通過(guò)將服務(wù)器的一些計算能力移到閃存驅動(dòng)器的控制芯片上,研究人員就能制作一個(gè)可與基于RAM服務(wù)器媲美的20臺基于閃存的服務(wù)器網(wǎng)絡(luò )。
他們在將數據傳遞回服務(wù)器之前,使用閃存驅動(dòng)器對其進(jìn)行預處理,增大了分布式計算的效率。
“這并非是要取代DRAM之類(lèi)的東西?!?Arvind表示,他和一組研究生和研究員在廣達電腦公司完成了這項工作。該調查表明可能有許多應用能夠取代RAM,而且使用一個(gè)基于閃存的電腦架構費用較低。
“每一個(gè)人都在實(shí)驗閃存的不同方面。我們只是嘗試從另一個(gè)角度著(zhù)手?!?Arvind如是說(shuō)。
評論