基于arm架構單片機的hadoop服務(wù)器嘗試
加入技術(shù)交流群
從淘寶上面買(mǎi)了一個(gè)arm的單片機，上面有一顆基于A(yíng)RMv7架構的單核cpu，1G內存，4G存儲。但是最主要的，是上面有網(wǎng)卡接口，雖然是100M的，但這讓構建集群成為了一個(gè)可能。另外這個(gè)比樹(shù)莓派更好的是，上面有sata硬盤(pán)的接口，這樣，存儲的問(wèn)題也可以解決。雖然我現在手里沒(méi)有sata 2.5寸的硬盤(pán)，但是起碼給了個(gè)想象的空間。
本文引用地址：http://dyxdggzs.com/article/201611/318804.htm
很小的一塊板子，表就是casio的ef339，去年博客大賽的獎品，也是我唯一的一塊表，而且我不擔任任何公職，也不是黨員，不要平我祖墳。
關(guān)于操作系統方面，cubieboard本身內置android 4.0.4，連上HDMI在電視上刷微博很爽，40寸的大pad，誰(shuí)有？但是android不是我們所需要的，可以用linaro系統，for arm的ubuntu。從網(wǎng)上找了一個(gè)國外網(wǎng)友自制的linaro server版，用工具燒進(jìn)TF(microSD)卡。不比自己本身的android啟動(dòng)速度快，這個(gè)啟動(dòng)速度比較慢。不過(guò)要做好心理準備，TF卡一旦燒了操作系統img上去，就再也不能當存儲用了。
昨天晚上在家通過(guò)網(wǎng)線(xiàn)用apt-get install 了openjdk6，也下載好了hadoop-1.0.4。今天在公司利用午休時(shí)間配置了單機的hadoop環(huán)境。并跑了一下pi任務(wù)，結果比我想象的要好，先看幾張圖吧，最后寫(xiě)上測試數據和對比測試數據。
開(kāi)機啟動(dòng)圖
因為公司綁定mac，所以沒(méi)有聯(lián)網(wǎng)，懶得去找ops做mac綁定了。
測試命令，啟動(dòng)10個(gè)map，每map投擲100次飛鏢，計算pi值。因為主要是看cpu計算能力，sd卡當存儲，肯定拼不過(guò)sata硬盤(pán)的速度。下圖有cpu信息和操作系統的信息。
cpu信息大圖
連線(xiàn)圖，本身采用HDMI作為顯示輸出，還得去找HDMI轉VGA的轉換頭。
arm hadoop服務(wù)器大小，比中南海略大。
最后讓我們回到數據上來(lái)，琢磨這種方式其實(shí)我最關(guān)心的是性?xún)r(jià)比，主要看多少顆arm v7可以頂一顆intel cpu。因為除去這一點(diǎn)，硬盤(pán)，內存等等都是必不可少的開(kāi)銷(xiāo)，用哪種架構都是一樣的。而性?xún)r(jià)比主要就集中在cpu單價(jià)和能耗上。
在64位arm沒(méi)有出來(lái)以前，就拿arm v7說(shuō)事吧。
用臺式機里的intel做虛擬機單核1G內存做了個(gè)對比，Hadoop pi 任務(wù)對比數據如下。
首先intel和arm的hadoop配置相同，都是hadoop官網(wǎng)的單機，單復制塊默認配置，HEAPSIZE均設置為128M。
午休時(shí)間有限，只做了pi的測試。而且沒(méi)有服務(wù)器上的虛擬機，沒(méi)法測試至強CPU的性能，臺式機做個(gè)大概的參考好了。
測試命令：sudo -u hadoop hadoop jar hadoop-example-1.0.4.jar pi 10 100
| 第一次 | 第二次 | 第三次 | |
| intel i3 2100 1core centos | 82.064s | 75.992s | 81.971s |
| arm v7 1core ubuntu | 173.46s | 157.165s | 168.397s |
讀寫(xiě)存儲的效率對比，分別順序讀寫(xiě)200M文件。
intel+機械硬盤(pán) 200M寫(xiě)，500M讀
arm+sd卡 60M寫(xiě)，60M讀，可見(jiàn)讀寫(xiě)硬盤(pán)intel占大便宜了，不過(guò)因為沒(méi)有外掛硬盤(pán)，所以也不知道arm讀寫(xiě)效率如何。sd卡就別想了，太慢了，盡管這個(gè)SD卡已經(jīng)算快的了。
且不論讀寫(xiě)磁盤(pán)操作的差距，僅以這個(gè)作為計算能力的差距參考，可以看到，大概2-3顆arm v7可以抵的上intel i3 2100里面的一個(gè)核，那么大概12顆可以超越一顆i3 2100。i3 2100的功耗每小時(shí)大概在50-60瓦左右，而12顆arm v7的功耗每小時(shí)不到4瓦。
在我寫(xiě)這篇作文的時(shí)候，i3 2100 大約600多一顆，12顆arm v7大約40美元，折合起來(lái)不到300。所以無(wú)論從能耗還是價(jià)格上看，arm cpu還是具備一定優(yōu)勢的。只是現在64位cpu沒(méi)出來(lái)，做hadoop服務(wù)器沒(méi)有什么計算優(yōu)勢，但是拿來(lái)當webserver或者存儲服務(wù)器還是綽綽有余的。
不過(guò)我個(gè)人覺(jué)得，未來(lái)用arm服務(wù)器做hadoop服務(wù)器還是極具誘惑的。無(wú)論從能耗還是采購成本上，arm都很低廉，至少在我來(lái)看，還是很性感的。
評論