基于Hadoop的智能家居信息處理平臺

近年來(lái),在物聯(lián)網(wǎng)等具有海量數據需求的應用變得越來(lái)越普遍時(shí),無(wú)論是從科學(xué)研究還是從應用開(kāi)發(fā)的角度來(lái)看,掌握云計算技術(shù)已成為一種趨勢。智能家居作為物聯(lián)網(wǎng)應用的主要領(lǐng)域之一,自然離不開(kāi)云計算。云計算的發(fā)展使用戶(hù)無(wú)需關(guān)注復雜的內部工作機制、無(wú)需具備豐富的分布式系統知識及開(kāi)發(fā)經(jīng)驗,即可實(shí)現大規模分布式系統規定部署,以及海量數據的并行處理。

　　Hadoop是目前較為成熟和應用較為廣泛的云計算架構之一。Hadoop的核心思想是分布式并行處理。Hadoop技術(shù)中的關(guān)鍵技術(shù)是HDFS(分布式文件系統)和Map/Reduce(映射/規約)。Hadoop利用HDFS存儲海量數據,利用Map/Reduce進(jìn)行海量數據的計算。

　　文中首先介紹了智能家居與云計算的概念,接著(zhù)針對傳統的海量數據處理方法硬件成本太高,存在計算瓶頸的問(wèn)題,在云計算理論的基礎上針對智能家居中的門(mén)禁系統、溫濕度系統、滴灌系統和照明系統搭建了基于Hadoop的數據處理平臺?？梢詫Υ罅總鞲行畔⑦M(jìn)行分布式并行處理,并根據處理結果向底層設備發(fā)送指令以實(shí)現智慧化服務(wù)。

　　1智能家居與云計算

　　1.1智能家居

　　目前通常把智能家居定義為利用電腦、網(wǎng)絡(luò )和綜合布線(xiàn)技術(shù),通過(guò)家庭信息管理平臺將與家居生活有關(guān)的各種子系統有機結合的一個(gè)系統。首先,需要在家居中建立一個(gè)通信網(wǎng)絡(luò ),為家庭信息交互和傳輸提供必要的通路,在家庭網(wǎng)絡(luò )的操作系統控制下,通過(guò)相應的硬件和執行機構,實(shí)現對所有家庭網(wǎng)絡(luò )上的家電和設備的控制和監測。其次,智能家居系統需要通過(guò)一定的媒介平臺,提供與外界的通信通道,以實(shí)現與家庭以外的世界溝通信息,滿(mǎn)足遠程控制/監測和交換信息的需求。

　　1.2云計算架構Hadoop

　　Hadoop是一個(gè)分布式計算框架,可以在大量廉價(jià)的硬件設備組成的集群上運行應用程序,為應用程序提供了一組穩定可靠的接口,旨在構建一個(gè)具有高可靠性和良好擴展性的分布式系統。Hadoop的主要優(yōu)點(diǎn)有:擴容能力強、成本低廉、效率高、可靠性高、免費開(kāi)源及良好的可移植性。Hadoop項目包括多個(gè)子項目,但主要是由Hadoop分布式文件系統(HadoopDistributed File System, HDFS)和映射/規約引擎(Map/Reduce Engine)兩個(gè)主要的子項目構成。

　　1. 3分布式文件系統(HDFS)

　　HDFS由一個(gè)名叫NameNode的主節點(diǎn)和多個(gè)名叫DataNode的子節點(diǎn)組成,是一種典型的主從式(Master/Slave)架構,這種架構方法可以通過(guò)主節點(diǎn)屏蔽底層的復雜結構,并向Client提供方便的文件目錄映射。NameNode存儲著(zhù)文件系統的元數據,這些元數據包括文件系統的名字空間等,并負責管理文件的存儲等服務(wù),但實(shí)際的數據并不存放在NameNode,而是由HDFS中的DataNode來(lái)存放數據,然后由Client直接與DataNode建立數據通信。

　　此外,HDFS為了可靠地海量存儲文件,各個(gè)文件以塊序列的形式存儲。為了保證故障容錯,文件的塊被復制。塊的大小和副本的個(gè)數都可以配置。Name鄄Node控制所有的塊復制操作,它周期性地接收來(lái)自集群中DataNode的“心跳冶回應和塊報告。收到一個(gè)節點(diǎn)的“心跳冶回應表示這個(gè)DataNode是正常的。

　　1. 4 MapReduce分布式計算

　　MapReduce分布式計算主要是用來(lái)在數千部服務(wù)器上同時(shí)處理保存于GFS Clusters中高達幾十TB甚至更多的數據。

　　MapReduce在溫度值統計過(guò)程中的運作如下所述。

MapReduce的作用是對計算機集群上的大型數據集運行分布式計算,替大量數據做平行計算處理。MapReduce的整個(gè)架構是由Map和Reduce函數組成的,當程序輸入一大組Key/Value鍵值對時(shí),Map函數自動(dòng)將原本的Key/Value分拆成多組中介的鍵值對,然后Reduce函數再合并具有相同Key的中介值配對,化簡(jiǎn)成最后的輸出結果。

　　一個(gè)智能家居系統中溫度值統計程pReduce計算過(guò)程概念,如圖1所示。

　　1.5智能家居云模型

　　智能家居擁有7大子系統,每一個(gè)系統包含了不同的終端,每一個(gè)終端都安裝有傳感器,傳感器感知周?chē)h(huán)境并產(chǎn)生大量數據。千千萬(wàn)萬(wàn)的用戶(hù)會(huì )產(chǎn)生海量的數據,而云計算可靠的數據存儲,強大的計算能力,低廉的運營(yíng)成本使得它非常適合處理海量數據。于是每家用戶(hù)都將通過(guò)網(wǎng)絡(luò )連接到云服務(wù)中心,產(chǎn)生的數據均由云計算中心存儲和計算處理。

　　2 開(kāi)發(fā)程序設計分析

　　本平臺針對智能家居中的幾個(gè)典型應用:門(mén)禁、溫度、濕度、光照等進(jìn)行信息采集及分布式并行處理。啟動(dòng)程序后可以看到當前房間內的溫度、濕度、土壤濕度、光強度,還可以通過(guò)對室內溫度、濕度、土壤濕度進(jìn)行設定來(lái)改變當前的狀態(tài)。

　　2.1功能模塊設計

　　根據需求分析可知,系統功能模塊共分為四大部分,即門(mén)禁系統、溫濕度系統、滴灌系統、照明系統。

　　門(mén)禁系統實(shí)現的功能是持卡人刷卡,產(chǎn)生持卡人的卡號,從事先設定好的數據庫中查詢(xún)是否有該卡號,如果有說(shuō)明該用戶(hù)為合法用戶(hù),門(mén)禁打開(kāi),并顯示持卡人卡號、姓名、卡的類(lèi)型,否則門(mén)禁繼續保持關(guān)閉。

　　溫濕度系統顯示室內當前溫度和濕度。當設定一個(gè)溫度值后,空調工作,根據設定溫度調整室內溫度,直到室內當前溫度達到設定值;當設定濕度值后,室內濕度就會(huì )根據所設定的濕度進(jìn)行調整,直到室內當前濕度達到設定值。

　　滴灌系統顯示當前的土壤濕度。當設定土壤濕度后,滴灌系統工作,調整濕度直到當前濕度為設定的土壤濕度。

　　在照明系統中,顯示室內當前光強度。窗簾和電燈的狀態(tài)受控于光照強度的大小。

　智能家居云計算平臺實(shí)現的功能主要是能夠將產(chǎn)生的傳感信息集中交給服務(wù)器處理,用戶(hù)只需將傳感器采集來(lái)的傳感信息傳輸給服務(wù)器即可。服務(wù)器為計算機集群,這里使用三臺電腦進(jìn)行模擬。三臺電腦對信息進(jìn)行分布式并行處理,并根據處理結果對底層設備發(fā)出指令,以達到智能控制的效果。同時(shí)還要將各種傳感數據和底層設備的狀態(tài)寫(xiě)入數據庫,如圖2所示。

　　2. 2邏輯結構設計

　　(1)門(mén)禁系統。

　　門(mén)禁狀態(tài)一開(kāi)始為關(guān)閉。當持卡人來(lái)刷卡時(shí),獲得持卡人卡號,查詢(xún)數據庫,判斷卡的ID是否合法,如果ID不合法,則門(mén)禁保持關(guān)閉狀態(tài)。如果合法則門(mén)禁打開(kāi),并且顯示持卡人的姓名和性別。

　　(2)溫濕度系統。

　　系統啟動(dòng)時(shí)首先要對溫度進(jìn)行判斷。當前溫度低于下限值,空調啟動(dòng)制熱;當前溫度高于上限值,空調啟動(dòng)制冷;當室內當前溫度調整到舒適范圍時(shí)空調自動(dòng)關(guān)閉。系統同時(shí)顯示室內當前濕度,通過(guò)“設定濕度冶按鈕可以設置室內濕度,當前濕度會(huì )慢慢調整到所設置的濕度。

　　(3)室內滴灌系統。

　　滴灌系統的狀態(tài)主要受控于土壤濕度。這里土壤濕度依然采用相對濕度。

系統開(kāi)始運行時(shí)滴灌處于關(guān)閉狀態(tài),然后判斷土壤濕度是否小于0.15,如果小于0.15,滴灌打開(kāi),噴水,土壤濕度開(kāi)始上升,當土壤濕度達到預先設定的上限值時(shí)(0.4),滴灌自動(dòng)關(guān)閉。滴灌關(guān)閉后由于水分的蒸發(fā),土壤濕度會(huì )逐漸減少。系統每隔1s對土壤濕度進(jìn)行一次判斷,如果土壤濕度少于0.15,則滴灌再次打開(kāi)。如此反復。當然,土壤濕度的上限值也可以通過(guò)“設定土濕冶按鈕進(jìn)行設定。具體過(guò)程見(jiàn)圖3。

　　(4)照明系統。

　　照明系統主要由窗簾和電燈兩個(gè)部分組成。窗簾和電燈的狀態(tài)會(huì )根據光照強度的大小以及當前時(shí)間自動(dòng)改變。根據文獻[1]將客廳照明的最低照明度定為臨界值,即150Lux。

　　(5)智能家居云平臺。

　　整個(gè)云平臺采用五臺電腦進(jìn)行模擬,第一臺電腦作為傳感器和底層設備的模擬,用于產(chǎn)生傳感信息。第二臺電腦作為連接底層設備和服務(wù)器的網(wǎng)關(guān),剩下三臺電腦構成服務(wù)器集群,作為云處理中心,并與數據庫相連,對傳感信息進(jìn)行分布式并行處理。服務(wù)器與客戶(hù)端之間的通信使用Socket。

3 平臺仿真

　　3. 1門(mén)禁系統測試

　　運行程序后,門(mén)禁處于關(guān)閉狀態(tài)。單擊“生成ID冶按鈕,會(huì )產(chǎn)生當前持卡人卡的ID號。然后單擊“刷卡搜索數據庫中已存在的合法ID號,合法來(lái)訪(fǎng)者,門(mén)禁打開(kāi),并顯示持卡人的姓名和性別。門(mén)禁打開(kāi)5s后再次關(guān)上。如果ID號不存在,則門(mén)禁繼續保持關(guān)閉狀態(tài),如圖4所示。

　　3. 2溫濕度系統測試

　　運行程序后顯示當前溫度、濕度,以及默認的下限溫度(18益)和上限溫度(23益)。系統將當前溫度與下限溫度和上限溫度進(jìn)行比較,如果當前溫度在人體舒適度范圍18益~23益內,則空調繼續保持關(guān)閉狀態(tài)。當前室內溫度低于下限溫度時(shí),空調打開(kāi),處于制熱狀態(tài),直到當前室內溫度達到舒適度的下限溫度。當前室內溫度高于上限溫度時(shí),空調打開(kāi),處于制冷狀態(tài),直到當前室內溫度達到舒適度的上限溫度。溫度的上下限值可以通過(guò)設置按鈕進(jìn)行設定。

　　在“設定濕度冶旁的文本框中輸入所要設置的室內濕度,然后按“設定濕度冶按鈕,這時(shí)室內的溫度就會(huì )慢慢改變,上升或下降,直到當前濕度達到所設定的濕度,如圖4所示。

　　3.3滴灌系統測試

　　運行程序后顯示當前土壤濕度,滴灌系統一開(kāi)始處于關(guān)閉狀態(tài)。由于土壤中水分的蒸發(fā),土壤濕度不斷下降。當土壤濕度降到0.15時(shí)滴灌自動(dòng)打開(kāi),開(kāi)始噴水。滴灌噴水后土壤濕度增加,直到當前土壤濕度達到設定值(默認值為0.4),這時(shí)滴灌再次關(guān)閉,如圖5所示。

3.4照明系統測試

　　運行程序后顯示當前的室內光強度,如果是早晨七點(diǎn)到晚上六點(diǎn),則窗簾打開(kāi),其他時(shí)間段窗簾關(guān)閉。電燈的狀態(tài)不僅受時(shí)間段控制,也受室內光強度控制。如果是晚上十點(diǎn)到第二天早晨七點(diǎn),電燈處于關(guān)閉狀態(tài)。在早晨七點(diǎn)到晚上六點(diǎn)之間,電燈一般是關(guān)閉狀態(tài),除非室內自然光強度低于150Lux,晚上六點(diǎn)到晚上十點(diǎn),電燈是打開(kāi)狀態(tài)的。上午九點(diǎn)四十五的系統

　　運行結果如圖5所示,此時(shí)窗簾是打開(kāi)狀態(tài),電燈是關(guān)閉狀態(tài)。

　　3.5云平臺測試

　　將五臺電腦建立連接并啟動(dòng),第一臺電腦用于模擬傳感器和底層設備,第二臺電腦作為連接底層網(wǎng)絡(luò )和上層網(wǎng)絡(luò )的網(wǎng)關(guān),剩下三臺電腦作為服務(wù)器集群(云計算中心)。第一臺電腦產(chǎn)生傳感數據后傳給第二臺電腦,第二臺電腦作為網(wǎng)關(guān)將數據轉發(fā)給服務(wù)器集群,服務(wù)器集群采用Hadoop計算架構對傳感數據進(jìn)行分布式并行處理,判斷當前智能家居各系統的狀態(tài),并發(fā)出指令給底層設備,達到智能控制的效果。運行結果見(jiàn)圖6。

　　4 結束語(yǔ)

　　文中在云計算理論的基礎上針對智能家居中的門(mén)禁系統、溫濕度系統、滴灌系統和照明系統搭建了基于Hadoop的數據處理平臺?？梢詫Υ罅總鞲行畔⑦M(jìn)行分布式并行處理,并根據處理結果向底層設備發(fā)送指令以實(shí)現智慧化服務(wù)。此云計算平臺是在Hadoop分布式計算框架的基礎上采用三臺電腦模擬服務(wù)器集群實(shí)現對海量數據的并行處理,有效解決了成本和計算瓶頸問(wèn)題。

　　
作者信息：徐源吾,王搖珣

　　南京郵電大學(xué)通信與信息工程學(xué)院

　　南京郵電大學(xué)通信技術(shù)研究所

　　南京郵電大學(xué)寬帶無(wú)線(xiàn)通信與傳感器技術(shù)教育部重點(diǎn)實(shí)驗室