云計算關(guān)鍵技術(shù)與研究問(wèn)題

　　云計算作為一種新的計算理念和模式，在技術(shù)上是將大型服務(wù)器集群，包括計算服務(wù)器，存儲服務(wù)器和網(wǎng)絡(luò )帶寬資源集中起來(lái)，通過(guò)對各類(lèi)可分配資源的虛擬化，利用專(zhuān)門(mén)軟件實(shí)現對資源的按需分配，支持各種應用程序的運行，使得用戶(hù)只需關(guān)注并提供業(yè)務(wù)相關(guān)的解決方案，無(wú)需在硬件平臺、綜合計算、安全存儲、信息的一致性等方面耗費大量的人力、物力和財力，有利于提高系統的整體效率、降低成本，促進(jìn)技術(shù)創(chuàng )新。

　　盡管基于云計算模式的計算平臺或服務(wù)已被廣泛接受并逐步走進(jìn)應用，但云計算的研究總體上還處于起步階段，許多現有的問(wèn)題還沒(méi)有被完全解決。本文提出了部分具有挑戰性的云計算關(guān)鍵技術(shù)和研究問(wèn)題。

　　1 虛擬機遷移

　　云計算通過(guò)允許虛擬機遷移實(shí)現整個(gè)數據中心負載平衡。此外，虛擬機遷移提高數據中心的健壯性和高度響應。

　　虛擬機遷移是由進(jìn)程遷移演變而來(lái)的。最近Xen和VMWare已經(jīng)實(shí)現了虛擬機的實(shí)時(shí)遷移。文獻［1］指出遷移整個(gè)操作系統和它的所有應用程序作為一個(gè)單元可以避免進(jìn)程級遷移方法要面對的許多困難，并分析了虛擬機實(shí)時(shí)遷移的優(yōu)勢。

　　虛擬機遷移的主要優(yōu)勢是避免熱點(diǎn)，然而，這并不簡(jiǎn)單。目前，檢測工作負載熱點(diǎn)和啟動(dòng)一個(gè)遷移缺乏應對突然的工作負載變化的靈活性。此外，虛擬機遷移時(shí)內存中的狀態(tài)應當一致且高效地傳輸，同時(shí)還需綜合考慮應用程序和物理服務(wù)器的資源負載。

　　2 服務(wù)器整合

　　服務(wù)器整合可以最大化資源的利用率，同時(shí)最小化能耗的有效方法。虛擬機遷移常用來(lái)整合駐留在多個(gè)很少使用的服務(wù)器的虛擬機到一個(gè)服務(wù)器，這樣剩余的服務(wù)器可以設置為節能狀態(tài)。在數據中心優(yōu)化整合服務(wù)器通常是一個(gè)NP難的變種裝箱優(yōu)化問(wèn)題。針對這個(gè)問(wèn)題已經(jīng)提出各種啟發(fā)式方法。

　　服務(wù)器整合不應該影響應用程序的性能。眾所周知，單個(gè)虛擬機資源的使用不停的在變化。對于虛擬機間共享的服務(wù)器資源（比如帶寬、內存緩存和磁盤(pán)I/O），最大限度地整合服務(wù)器可能導致?lián)矶隆?/p>

　　因此，觀(guān)察虛擬機負載的波動(dòng)和使用這些信息有效的整合服務(wù)器是很重要的。最后，在資源擁塞發(fā)生時(shí)，系統必須能快速響應。

　　3 能耗管理

　　提高能源效率是云計算另一個(gè)主要問(wèn)題。據估計，能耗成本占數據中心運營(yíng)支出總額的53%。因此基礎設施提供商承受了巨大的壓力減少能源消耗。目標是不僅要減少數據中心的能源成本，還要達到政府法規和環(huán)境標準。

　　設計節能數據中心最近受到越來(lái)越多的重視。這個(gè)問(wèn)題可以從多個(gè)方向解決。例如，節能的硬件架構、減慢CPU速度和關(guān)閉部分硬件組件已成為研究者的共識。

　　有節能感知的作業(yè)調度和服務(wù)器整合兩種方式可以減少能源消耗。最近的研究也已開(kāi)始研究節能的網(wǎng)絡(luò )協(xié)議和基礎設施。

　　一個(gè)關(guān)鍵的挑戰是實(shí)現節省能源和應用程序的性能之間達到一個(gè)好的平衡。在這方面，一些研究人員最近已經(jīng)開(kāi)始在一個(gè)動(dòng)態(tài)的云環(huán)境實(shí)現性能和能耗管理的協(xié)調解決方案［3］。

　　4 流量管理和分析

　　分析數據流量對于今天的數據中心是重要的。例如，許多web應用程序依賴(lài)于分析數據流量來(lái)優(yōu)化用戶(hù)體驗。網(wǎng)絡(luò )運營(yíng)商還需要知道數據流量進(jìn)行許多管理和規劃決策。然而，把互聯(lián)網(wǎng)服務(wù)提供商（ISP）現有的流量測量和分析方法擴展到云計算數據中心還存在一些挑戰性的問(wèn)題。首先，數據中心鏈接的密度要比ISP高得多;

　　其次，大多數現有的方法可以計算幾百臺主機的流量矩陣，但一個(gè)小型數據中心可能擁有幾千臺服務(wù)器;最后，現有的方法通?；谝恍㊣SP的流量模式，但是部署在數據中心應用程序（比如MapReduce作業(yè)）極大的改變了流量模式。

　　此外，在云計算中應用程序的網(wǎng)絡(luò )使用、計算和存儲資源存在更緊密的耦合。

　　目前，并沒(méi)有很多工作在測量和分析數據中心的流量。文獻 ［4］報告了數據中心流量的特征，以及使用這些指導網(wǎng)絡(luò )基礎設施的設計。

　　5 軟件框架

　　云計算提供了進(jìn)行大規模數據密集型應用程序的平臺。通常這些應用程序利用MapReduce框架（如Hadoop可伸縮的和容錯數據處理）。研究表明MapReduce作業(yè)的性能和資源消耗的是高度依賴(lài)應用程序的類(lèi)型。例如，Hadoop任務(wù)sort是I/O密集型，而grep則要求大量CPU資源。

　　此外，分配在每個(gè)Hadoop節點(diǎn)的VM可能是異構的。例如，一個(gè)VM可用帶寬依賴(lài)于配置在同一個(gè)服務(wù)器的其他VM。

　　因此，通過(guò)仔細選擇它的配置參數值和設計更高效的調度算法能優(yōu)化MapReduce應用程序的性能和成本。通過(guò)緩解瓶頸資源，可以將應用程序的執行時(shí)間顯著(zhù)提高。關(guān)鍵的挑戰包括Hadoop的性能建模（無(wú)論是在線(xiàn)還是離線(xiàn)）和動(dòng)態(tài)條件下自適應調度。

　　另一個(gè)相關(guān)的方法認為讓MapReduce框架有節能感知［5］。這種方法的基本思想是將完成工作且等待新任務(wù)的Hadoop節點(diǎn)進(jìn)入睡眠狀態(tài)。這就要求Hadoop和HDFS必須由有節能感知。此外，通常會(huì )在性能和節能感知之間進(jìn)行權衡。根據目標，找到一個(gè)理想的權衡點(diǎn)仍是一個(gè)沒(méi)有探索的研究課題。

　　6 存儲技術(shù)和數據管理

　　軟件框架MapReduce和它的不同實(shí)現（Hadoop和Dryad）針對分布式處理的數據密集的任務(wù)。這些框架通常運行在網(wǎng)際文件系統（比如GFS和HDFS）。這些文件系統的存儲結構、訪(fǎng)問(wèn)模式和應用程序編程接口不同于傳統的分布式文件體系。特別是他們沒(méi)有實(shí)現標準POSIX接口，因此引入和傳統文件系統和應用程序的兼容性問(wèn)題。目前的解決方法主要包括提支持MapReduce框架使用集群文件體系（如IBM的GPFS）方法和基于新的API原語(yǔ)支持可伸縮和并發(fā)數據訪(fǎng)問(wèn)等。

　　7 結束語(yǔ)

　　需求推動(dòng)、技術(shù)進(jìn)步和商業(yè)模式轉變共同促進(jìn)了云計算的快速發(fā)展，其核心是構建了一種全新的信息與數據存儲、處理和服務(wù)模式。本文從云計算平臺建設與管理、應用的構建等多角度總結了這種新興計算模式存在關(guān)鍵技術(shù)及難點(diǎn)，提出了未來(lái)云計算研究與應用中所需解決的問(wèn)題。