Stay foolish：初學(xué)者輕松了解“大數據”

　　網(wǎng)絡(luò )上流傳著(zhù)這么的一句流行語(yǔ)：“萬(wàn)事不懂問(wèn)度娘”。自從有了各種搜索引擎，新名詞新技術(shù)對大眾而言，已不再神秘。然而，當你搜索“大數據”或者“big data solution”等關(guān)鍵字時(shí)，搜索出的海量相關(guān)知識鋪天蓋地，對初學(xué)者而言，仍然很難在短時(shí)間內入門(mén)。本文目的，是以傻瓜式提問(wèn)的方式讓初學(xué)者輕松的了解“大數據”。

　　大數據的概念

　　“大數據”，是不是----數據很大就叫大數據？

　　實(shí)際上簡(jiǎn)單的這樣理解也沒(méi)有錯，在明確定義時(shí)，會(huì )比較強調大數據的4個(gè)V的特性： Volume，Variety，Value，Velocity。也就是：

　　一、數據存儲空間占用大（至PB及以上級別）；

　　二、數據類(lèi)型繁多；

　　三、價(jià)值密度低；

　　四、處理速度快。

　　搜索的信息中，你會(huì )發(fā)現有某些名詞出現的頻率非常高，心里也隨之會(huì )產(chǎn)生一些疑問(wèn)。“PB是多大？”“Map-Reduce是啥？”“Hadoop是啥？”“大數據跟云計算啥關(guān)系？跟傳統意義的數據庫啥關(guān)系？”等等。

　　這么多的信息量，我們還是按照大數據的基本定義，四個(gè)V來(lái)逐一梳理吧。

　　從第一個(gè)V開(kāi)始，Volume。

　　數據量很大，到底能達到什么程度呢？先來(lái)學(xué)習一下數量級的知識吧。

　　1KB（Kilobyte 千字節） = 2^10 B = 1024 B；

　　1MB（Megabyte 兆字節） = 2^10 KB = 1024 KB = 2^20 B；

　　1GB（Gigabyte 吉字節） = 2^10 MB = 1024 MB = 2^30 B；

　　1TB（Trillionbyte 太字節） = 2^10 GB = 1024 GB = 2^40 B；

　　1PB（Petabyte 拍字節） = 2^10 TB = 1024 TB = 2^50 B；

　　1EB（Exabyte 艾字節） = 2^10 PB = 1024 PB = 2^60 B；

　　1ZB（Zettabyte 澤字節） = 2^10 EB = 1024 EB = 2^70 B；

　　1YB（YottaByte 堯字節） = 2^10 ZB = 1024 ZB = 2^80 B；

　　1BB（Brontobyte ） = 2^10 YB = 1024 YB = 2^90 B；

　　1NB（NonaByte ） = 2^10 BB = 1024 BB = 2^100 B；

　　1DB（DoggaByte） = 2^10 NB = 1024 NB = 2^110 B；

　　……

　　“哇！坑爹啊，整出這么多名詞，跟大數據都有關(guān)系嗎？需要我們掌握嗎？”別激動(dòng)！其實(shí)，KB，MB，GB我們在日常電腦操作中已經(jīng)經(jīng)常碰到了。甚至TB級的大硬盤(pán)，也已經(jīng)應用于家用電腦中了。我們所說(shuō)的“大數據”，目前大多產(chǎn)品還處在了立足PB展望EB的級別。后面的那些什么ZB、YB、BB、NB、 DB……等，就暫時(shí)先當他們是浮云吧~

　　第二個(gè)V， Variety。

　　關(guān)于這一點(diǎn)，百度百科里是這么說(shuō)的“網(wǎng)絡(luò )日志、視頻、圖片、地理位置信息等等”。從專(zhuān)業(yè)一點(diǎn)的角度，我們可以說(shuō)“大數據”中，可以有結構化數據，但更多的是大量的非結構化和半結構化數據。

　　結構化和非結構化數據是什么意思？

　　結構化數據是指，可以存儲在數據庫里，可以用二維表結構來(lái)邏輯表達實(shí)現的數據。

　　非結構化數據，是指不方便用數據庫二維邏輯表來(lái)表現的數據，包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類(lèi)報表、圖像和音頻/視頻信息等等。

　　而半結構化數據，就是介于完全結構化數據（如關(guān)系型數據庫、面向對象數據庫中的數據）和完全無(wú)結構的數據（如聲音、圖像文件等）之間的數據，HTML文檔就屬于半結構化數據。它一般是自描述的，數據的結構和內容混在一起，沒(méi)有明顯的區分。

　　上述的描述，其實(shí)還是有點(diǎn)不明確。用數據模型的列表來(lái)看，區別就更清晰一點(diǎn)了：

　　第三個(gè)V，Value。

　　價(jià)值密度低。以視頻為例，連續不間斷監控過(guò)程中，可能有用的數據僅僅有一兩秒。

　　第四個(gè)V，Velocity。

　　處理速度快。如此龐大的數據量，需要在短時(shí)間內迅速響應。所使用的技術(shù)，當然是有別于傳統的數據挖掘技術(shù)的。

　　釋疑解惑

　　“梳理完了四個(gè)V，咋還是云山霧罩的呢？”

　　下面來(lái)回答幾個(gè)初學(xué)者可能思考到的問(wèn)題吧！

　　針對大數據的四個(gè)V，有沒(méi)有什么對應的技術(shù)來(lái)應對呢？

　　目前，查詢(xún)“大數據”，你會(huì )發(fā)現度娘給出的各種信息中，Hadoop這個(gè)詞出現的很頻繁。而且，很多廠(chǎng)商提供的產(chǎn)品，也都會(huì )打上一個(gè)標簽：“**產(chǎn)品已經(jīng)并入Hadoop分布式計算平臺，以及將Hadoop引入**產(chǎn)品。”

　　什么是Hadoop？

　　Hadoop是由Apache基金會(huì )開(kāi)發(fā)的一個(gè)分布式系統基礎架構。它是一個(gè)能夠對大量數據進(jìn)行分布式處理的軟件框架。用戶(hù)可以在不了解分布式底層細節的情況下，開(kāi)發(fā)分布式程序，充分利用集群的威力高速運算和存儲。

　　Hadoop包含了如下子項目：

　　1. Hadoop Common： 在0.20及以前的版本中，包含HDFS、MapReduce和其他項目公共內容，從0.21開(kāi)始HDFS和MapReduce被分離為獨立的子項目，其余內容為Hadoop Common

　　2. HDFS： Hadoop 分布式文件系統 （Distributed File System） － HDFS （Hadoop Distributed File System）

　　3. MapReduce：并行計算框架，0.20前使用 org.apache.hadoop.mapred 舊接口，0.20版本開(kāi)始引入org.apache.hadoop.mapreduce的新API

　　4. HBase： 類(lèi)似Google BigTable的分布式NoSQL列數據庫。

　　5. Hive：數據倉庫工具，由Facebook貢獻。

　　6. Zookeeper：分布式鎖設施，提供類(lèi)似Google Chubby的功能，由Facebook貢獻。

　　7. Avro：新的數據序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機制。

　　8. Pig： 大數據分析平臺，為用戶(hù)提供多種接口。

　　作為初學(xué)者，我們先撥開(kāi)一些浮云，看看這里面到底有些什么。有三個(gè)主體部分，是我們需要重點(diǎn)關(guān)注的：HDFS、MapReduce、HBase。

　　實(shí)際上，Apache Hadoop的HDFS是Google File System（GFS）的開(kāi)源實(shí)現。MapReduce是Google MapReduce的開(kāi)源實(shí)現。HBase是Google BigTable的開(kāi)源實(shí)現。

　　Hadoop是一個(gè)能夠讓用戶(hù)輕松架構和使用的分布式計算平臺。它主要有以下幾個(gè)優(yōu)點(diǎn)：1高可靠性2高擴展性3高效性4高容錯性。用戶(hù)可以輕松地在Hadoop上開(kāi)發(fā)和運行處理海量數據的應用程序。而實(shí)際上，很多公司提供的大數據產(chǎn)品也是基于Hadoop進(jìn)行開(kāi)發(fā)的。

　　數據存儲空間占用大

　　針對數據存儲空間占用大，我們需要用到的是“分布式存儲”。分布式存儲系統，就是將數據分散存儲在多臺獨立的設備上。傳統的網(wǎng)絡(luò )存儲系統采用集中的存儲服務(wù)器存放所有數據，存儲服務(wù)器成為系統性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿(mǎn)足大規模存儲應用的需要。分布式網(wǎng)絡(luò )存儲系統采用可擴展的系統結構，利用多臺存儲服務(wù)器分擔存儲負荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。

　　前面我們介紹到的Hadoop，其中的HDFS就是現今最流行的分布式存儲平臺之一。

　　HDFS原理簡(jiǎn)要描述

　　HDFS（Hadoop Distributed File System），是一個(gè)分布式文件系統。HDFS有著(zhù)高容錯性（fault-tolerent）的特點(diǎn)，并且設計用來(lái)部署在低廉的（low-cost）硬件上。它提供高吞吐量（high throughput）來(lái)訪(fǎng)問(wèn)應用程序的數據，適合那些有著(zhù)超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以實(shí)現流的形式訪(fǎng)問(wèn)（streaming access）文件系統中的數據。

　　HDFS是一個(gè)主從結構的體系，一個(gè)HDFS集群是由一個(gè)名字節點(diǎn)，它是一個(gè)管理文件的命名空間和調節客戶(hù)端訪(fǎng)問(wèn)文件的主服務(wù)器，當然還有的數據節點(diǎn)，一個(gè)節點(diǎn)一個(gè)，它來(lái)管理存儲。HDFS暴露文件命名空間和允許用戶(hù)數據存儲成文件。

　　對外部客戶(hù)機而言，HDFS 就像一個(gè)傳統的分級文件系統?？梢詣?chuàng )建、刪除、移動(dòng)或重命名文件，等等。

　　內部機制，是將一個(gè)文件分割成一個(gè)或多個(gè)的塊，這些塊存儲在一組數據節點(diǎn)中。名字節點(diǎn)（NameNode）操作文件命名空間的文件或目錄操作，如打開(kāi)，關(guān)閉，重命名，等等。它同時(shí)確定塊與數據節點(diǎn)的映射。數據節點(diǎn)（DataNode）來(lái)負責來(lái)自文件系統客戶(hù)的讀寫(xiě)請求。數據節點(diǎn)同時(shí)還要執行塊的創(chuàng )建，刪除，和來(lái)自名字節點(diǎn)的塊復制指示。這與傳統的 RAID 架構大不相同。塊的大?。ㄍǔ?64MB）和復制的塊數量在創(chuàng )建文件時(shí)由客戶(hù)機決定。NameNode 可以控制所有文件操作。

　　HDFS 內部的所有通信都基于標準的 TCP/IP 協(xié)議。

　　數據類(lèi)型繁多

　　大數據處理，有如下需求：對數據庫高并發(fā)讀寫(xiě)的需求、對海量數據的高效率存儲和訪(fǎng)問(wèn)的需求、對數據庫的高可擴展性和高可用性的需求。傳統的關(guān)系型數據庫在此類(lèi)需求面前束手無(wú)策。此時(shí)，一個(gè)新的概念被引入了----NoSQL。

　　什么是NoSQL？

　　NoSQL=Not Only SQL，指的是非關(guān)系型的數據庫。

　　非關(guān)系型數據庫以鍵值對存儲，它的結構不固定，每一個(gè)元組可以有不一樣的字段，每個(gè)元組可以根據需要增加一些自己的鍵值對，這樣就不會(huì )局限于固定的結構，可以減少一些時(shí)間和空間的開(kāi)銷(xiāo)。

　　應該說(shuō)明的是，NoSQL在處理超大量數據時(shí)性能卓越，而且可以在PC服務(wù)器集群上運行，成本低廉，具有高擴展性和實(shí)用性。但是，目前大多數NoSQL是開(kāi)源項目，沒(méi)有供應商正是支持，而且在數據完整性等方面遠不如關(guān)系型數據庫，企業(yè)級應用不多。

　　HBASE 的原理簡(jiǎn)要介紹，如何存儲非結構化數據

　　HBase是一個(gè)分布式的、面向列的開(kāi)源數據庫，HBase在Hadoop平臺內的結構化數據的分布式存儲系統。HBase與傳統關(guān)系型數據庫的區別在于，它是一個(gè)適合非結構化數據存儲的數據庫，而且HBase是基于列而不是基于行的模式。

　　HBase利用Hadoop HDFS作為其文件存儲系統，HBase位于結構化存儲層，HDFS為HBase提供了高可靠性的底層存儲支持；用Hadoop MapReduce來(lái)處理海量數據，MapReduce為HBase提供了高性能的計算能力；用Hadoop Zookeeper作為協(xié)同服務(wù)，Zookeeper為HBase提供了穩定服務(wù)和failover機制。

　　HBase數據模型如下：

　　Ø Row Key： 行鍵，Table的主鍵，Table中的記錄按照Row Key排序

　　Ø Timestamp： 時(shí)間戳，每次數據操作對應的時(shí)間戳，可以看作是數據的version number

　　Ø Column Family：列簇，Table在水平方向有一個(gè)或者多個(gè)Column Family組成，一個(gè)Column Family中可以由任意多個(gè)Column組成，即Column Family支持動(dòng)態(tài)擴展，無(wú)需預先定義Column的數量以及類(lèi)型，所有Column均以二進(jìn)制格式存儲，用戶(hù)需要自行進(jìn)行類(lèi)型轉換。

　　當Table隨著(zhù)記錄數不斷增加而變大后，會(huì )逐漸分裂成多份splits，成為regions，一個(gè)region由［startkey，endkey）表示，不同的region會(huì )被Master分配給相應的RegionServer進(jìn)行管理。

　　HBase中有兩張特殊的Table，-ROOT-和.META。

　　.META.：記錄了用戶(hù)表的Region信息，.META.可以有多個(gè)regoin

　　-ROOT-：記錄了.META.表的Region信息，-ROOT-只有一個(gè)region

　　Zookeeper中記錄了-ROOT-表的location

　　Client訪(fǎng)問(wèn)用戶(hù)數據之前需要首先訪(fǎng)問(wèn)zookeeper，然后訪(fǎng)問(wèn)-ROOT-表，接著(zhù)訪(fǎng)問(wèn).META.表，最后才能找到用戶(hù)數據的位置去訪(fǎng)問(wèn)，中間需要多次網(wǎng)絡(luò )操作， client端會(huì )做cache緩存。

　　價(jià)值密度低

　　Mapreduce是在大數據中挖掘價(jià)值的有效方法

　　把MapReduce單獨列出來(lái)，是有必要的，因為它太重要了。MapReduce是一種編程模型，用于大規模數據集（大于1TB）的并行運算。概念“Map（映射）”和“Reduce（化簡(jiǎn)）”，和他們的主要思想，都是從函數式編程語(yǔ)言里借來(lái)的，還有從矢量編程語(yǔ)言里借來(lái)的特性。

　　MapReduce 本身就是用于并行處理大數據集的軟件框架。MapReduce 的根源是函數性編程中的 map 和 reduce 函數。它由兩個(gè)可能包含有許多實(shí)例（許多 Map 和 Reduce）的操作組成。Map 函數接受一組數據并將其轉換為一個(gè)鍵/值對列表，輸入域中的每個(gè)元素對應一個(gè)鍵/值對。Reduce 函數接受 Map 函數生成的列表，然后根據它們的鍵（為每個(gè)鍵生成一個(gè)鍵/值對）縮小鍵/值對列表。

　　具體分步驟描述為：

　　1） 在正式執行map函數前，需要對輸入進(jìn)行“分片”（就是將海量數據分成大概相等的“塊”，hadoop的一個(gè)分片默認是64M），以便于多個(gè)map同時(shí)工作，每一個(gè)map任務(wù)處理一個(gè)“分片”。

　　2） 分片完畢后，多臺機器就可以同時(shí)進(jìn)行map工作了。map函數要做的事情，相當于對數據進(jìn)行“預處理”，輸出所要的“鍵值”。map對每條記錄的輸出以《key，value》對的形式輸出。

　　3） 在進(jìn)入reduce階段之前，還要將各個(gè)map中相關(guān)的數據（key相同的數據）歸結到一起，發(fā)往一個(gè)reducer。這里面就涉及到多個(gè)map的輸出“混合地”對應多個(gè)reducer的情況，這個(gè)過(guò)程叫做“洗牌”。

　　4） 接下來(lái)進(jìn)入reduce階段。相同的key的map輸出會(huì )到達同一個(gè)reducer。reducer對key相同的多個(gè)value進(jìn)行reduce操作，最后一個(gè)key的一串value經(jīng)過(guò)reduce函數的作用后，變成了一個(gè)value。

　　處理速度快

　　MapReduce除了能挖掘大數據價(jià)值，同時(shí)也是一種分布式/并行計算模型。雖然它是一個(gè)很好的抽象，但不能有效地解決計算領(lǐng)域的任何問(wèn)題。為了滿(mǎn)足大數據及時(shí)響應的特性，數據流計算的研究被提上了日程。實(shí)時(shí)計算方向重要的一個(gè)模塊就是實(shí)時(shí)數據流計算。

　　在數據流模型中，需要處理的輸入數據（全部或部分）并不存儲在可隨機訪(fǎng)問(wèn)的磁盤(pán)或內存中，但它們卻以一個(gè)或多個(gè)“連續數據流”的形式到達。數據流不同于傳統的存儲關(guān)系模型，主要區別有如下幾個(gè)方面：

　　流中的數據元素在線(xiàn)到達；

　　系統無(wú)法控制將要處理的新到達的數據元素的順序，無(wú)論這些數據元素是在一個(gè)數據流中還是跨多個(gè)數據流；也即重放的數據流可能和上次數據流的元素順序不一致；

　　數據流的潛在大小也許是無(wú)窮無(wú)盡的；

　　一旦數據流中的某個(gè)元素經(jīng)過(guò)處理，要么被丟棄，要么被歸檔存儲。因此，除非該數據被直接存儲在內存中，否則將不容易被檢索。相對于數據流的大小，這是一種典型的極小相關(guān)。

　　數據流模型中的操作并不排除傳統關(guān)系型數據的存在。通常，數據流操作將建立數據流和關(guān)系型數據的聯(lián)系。在數據流處理過(guò)程中，更新存儲關(guān)系的同時(shí)可能會(huì )產(chǎn)生傳輸處理問(wèn)題。

　　近年來(lái)，業(yè)界出現了不少實(shí)時(shí)數據流計算系統，雖然沒(méi)有一個(gè)類(lèi)似于Hadoop的集大成者，但是也都各具特色。由于網(wǎng)絡(luò )數據的不斷膨脹和用戶(hù)需求的不斷涌現，近年來(lái)互聯(lián)網(wǎng)企業(yè)開(kāi)始廣泛研究和使用數據流處理，誕生了Yahoo！ S4、Twitter Storm、IBM StreamBase、Facebook的Puma/Puma2 及學(xué)術(shù)界開(kāi)源的Borealis等系統。

　　大數據是云計算嗎？

　　如果有人問(wèn)你這句話(huà)，你看完本文，可以很自信的回答他“Absolutely！”

　　為了回答這個(gè)問(wèn)題，我們有需要引入一個(gè)概念----云計算是什么。

　　維基百科給云計算下的定義：云計算將IT相關(guān)的能力以服務(wù)的方式提供給用戶(hù)，允許用戶(hù)在不了解提供服務(wù)的技術(shù)、沒(méi)有相關(guān)知識以及設備操作能力的情況下，通過(guò)Internet獲取需要服務(wù)。

　　中國云計算網(wǎng)將云定義為：云計算是分布式計算（Distributed Computing）、并行計算（Parallel Computing）和網(wǎng)格計算（Grid Computing）的發(fā)展，或者說(shuō)是這些科學(xué)概念的商業(yè)實(shí)現。

　　云計算分為三個(gè)層次：基礎設施即服務(wù)（IaaS），平臺即服務(wù)（PaaS）和軟件即服務(wù)（SaaS）。

　　“在說(shuō)什么，云啊云啊，好多的云啊，好大的棉花糖啊~~”

　　云計算的核心技術(shù)是海量數據分布式存儲和海量數據分布式計算，現在云計算系統主要采用Map-Reduce模型。

　　“Map-Reduce？哪里看到過(guò)？”沒(méi)錯，在前面對大數據的解讀的時(shí)候，我們就已經(jīng)明確描述過(guò)這一段。終于看到熟悉的內容了，無(wú)比興奮啊。

　　實(shí)際上，云計算的數據存儲技術(shù)主要有谷歌的非開(kāi)源的GFS（Google File System）和 Hadoop 開(kāi)發(fā)團隊開(kāi)發(fā)的GFS的開(kāi)源實(shí)現HDFS（Hadoop Distributed File System）。大部分IT廠(chǎng)商，包括yahoo、Intel的“云”計劃采用的都是HDFS的數據存儲技術(shù)。

　　通過(guò)對簡(jiǎn)單的云計算的定義及技術(shù)分析，加上前面我們對大數據的了解，不難得出結論，大數據當然是可以歸為云計算的范疇。

　　應用領(lǐng)域有哪些？

　　說(shuō)些我們熟知的地方吧，哪些我們接觸到的地方用到了Hadoop？

　　要回答這個(gè)問(wèn)題，舉幾個(gè)例子，很容易。在國內，包括中國移動(dòng)、百度、網(wǎng)易、淘寶、騰訊、金山和華為等眾多公司都在研究和使用它。

　　行業(yè)動(dòng)態(tài)及展望

　　“大數據”的影響，增加了對信息管理專(zhuān)家的需求，甲骨文，IBM，微軟和SAP花了超過(guò)15億美元的在軟件智能數據管理和分析的專(zhuān)業(yè)公司。這個(gè)行業(yè)自身價(jià)值超過(guò)1000億美元，增長(cháng)近10%，大數據已經(jīng)出現，因為我們生活在一個(gè)社會(huì )中有更多的東西。有46億全球移動(dòng)電話(huà)用戶(hù)有1億美元和20億人訪(fǎng)問(wèn)互聯(lián)網(wǎng)?；旧?，人們比以往任何時(shí)候都與數據或信息交互。1990年至2005年，全球超過(guò)1億人進(jìn)入中產(chǎn)階級，這意味著(zhù)越來(lái)越多的人，誰(shuí)收益的這筆錢(qián)將成為反過(guò)來(lái)導致更多的識字信息的增長(cháng)。思科公司預計，到2013年，在互聯(lián)網(wǎng)上流動(dòng)的交通量將達到每年667艾字節。

　　最早提出“大數據”時(shí)代已經(jīng)到來(lái)的機構是全球知名咨詢(xún)公司麥肯錫。麥肯錫在研究報告中指出，數據已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；而人們對于海量數據的運用將預示著(zhù)新一波生產(chǎn)率增長(cháng)和消費者盈余浪潮的到來(lái)。

　　麥肯錫的報告發(fā)布后，大數據迅速成為了計算機行業(yè)爭相傳誦的熱門(mén)概念，也引起了金融界的高度關(guān)注。隨著(zhù)大數據時(shí)代的全面開(kāi)啟，你是否做好了充分的準備迎接這個(gè)時(shí)代的到來(lái)呢？