一種基于統計信息的網(wǎng)格資源組織及任務(wù)調度

摘要：對分布的網(wǎng)格資源進(jìn)行有效地組織與調度是實(shí)現網(wǎng)格計算的關(guān)鍵。基于分層的思想，提出了一種改進(jìn)的網(wǎng)格資源組織方式，引入了資源統計信息表及負載信息表。在資源調度的過(guò)程中，通過(guò)維護并匹配相關(guān)的統計信息，能夠快速地查找資源，避免了資源發(fā)現的盲目性，縮短了資源的查找時(shí)間，同時(shí)兼顧了網(wǎng)格系統內部的負載平衡，有效地提高了網(wǎng)格系統的性能。
關(guān)鍵詞：統計信息；網(wǎng)格；資源管理；調度

0 引言
所謂網(wǎng)格，就是把整個(gè)因特網(wǎng)整合成一臺巨大的超級計算機，實(shí)現計算資源、存儲資源、數據資源、信息資源、知識資源和專(zhuān)家資源的全面共享。這種計算模式是利用互聯(lián)網(wǎng)將分散在不同地理位置的計算機組織成一個(gè)“虛擬的超級計算機”，其中每一臺參與計算的計算機就是一個(gè)“節點(diǎn)”，而整個(gè)計算機系統由成千上萬(wàn)個(gè)“節點(diǎn)”組成“一張網(wǎng)格”。在網(wǎng)格計算環(huán)境下，由于資源的異構性、動(dòng)態(tài)性、自治性以及網(wǎng)格任務(wù)的多樣性，使得資源的組織與調度成為網(wǎng)格計算效率的關(guān)鍵問(wèn)題。如何有效地對網(wǎng)格資源進(jìn)行組織與調度，本文結合網(wǎng)格資源調度過(guò)程中的相關(guān)統計信息，提出了一種分層資源組織方式及調度方法，有效地縮短了資源的查找時(shí)間，提高了資源的利用率，同時(shí)兼顧了網(wǎng)格系統的負載平衡。

1 網(wǎng)格資源管理及調度
網(wǎng)格中的資源具有廣域分布、異構和動(dòng)態(tài)的特性。當前還沒(méi)有一種模型能夠處理所有的網(wǎng)格應用需求。目前，網(wǎng)格資源管理模型主要分為分層模型、抽象所有者模型和經(jīng)濟／市場(chǎng)模型三類(lèi)。其中，分層模型已被大部分的網(wǎng)格計算系統所采用(如Globus，Legion，CCS等)，是目前主流的資源管理模型，它的基本思想是將整個(gè)資源管理系統分成若干功能層，較高層次的組件可以利用較低層次組件提供的服務(wù)實(shí)現自身的功能，有利于對具有站點(diǎn)自治性和底層異構性資源進(jìn)行管理，并具有較強的適用性。
資源發(fā)現是網(wǎng)格資源調度的核心內容，它根據一個(gè)任務(wù)對資源需求的描述，通過(guò)發(fā)現機制返回一個(gè)或多個(gè)與描述相匹配的資源位置。在該過(guò)程中，資源發(fā)現機制從網(wǎng)格資源信息服務(wù)(Grid Resource InformationServices，GRIS)機構獲得資源信息，逐次查詢(xún)，找到滿(mǎn)足任務(wù)需求的資源。網(wǎng)格資源信息服務(wù)可分為集中式和分布式兩種機制。集中式機制查詢(xún)效率高，但擴展性不足，并存在單點(diǎn)失效和訪(fǎng)問(wèn)瓶頸問(wèn)題；分布式機制具有較高的自治性和可擴展性，節點(diǎn)可以隨時(shí)加入網(wǎng)絡(luò )或離開(kāi)，但在資源發(fā)現時(shí)具有一定的盲目性，基于泛洪或廣播的資源發(fā)現效率較低，缺乏全局性的控制協(xié)調能力?？傊?，從資源發(fā)現過(guò)程來(lái)看，無(wú)論是采用集中式還是分布式，在資源調度中均占有很大的開(kāi)銷(xiāo)，是影響資源調度的關(guān)鍵所在。

2 一種網(wǎng)格資源分層組織結構
基于網(wǎng)格環(huán)境的異構性、動(dòng)態(tài)性和自治性特點(diǎn)，提出一種分層的資源組織方式，其結構如圖1所示。

該結構主要由根服務(wù)器、域代理服務(wù)器和資源節點(diǎn)層三個(gè)層次組成。其中每一層可以由若干個(gè)組件來(lái)實(shí)現其功能，每個(gè)域代理服務(wù)器與其下面的節點(diǎn)構成一個(gè)獨立的資源自治域。
根服務(wù)器主要用于管理域的劃分，管理分布在網(wǎng)格內的各個(gè)資源自治域，負責收集各個(gè)域的資源情況以及把用戶(hù)作業(yè)分配給各個(gè)自治域執行。域的劃分遵循同構的原則，即把具有相同或相似屬性和功能的資源劃分到同一個(gè)域。其主要功能如下：集中接收用戶(hù)的應用請求；監控各個(gè)自治域的當前狀況；將用戶(hù)作業(yè)分發(fā)給各域代理服務(wù)器；監控用戶(hù)作業(yè)執行情況，接收執行結果，對于由于某種原因導致作業(yè)無(wú)法正常執行而中斷的作業(yè)進(jìn)行重新調度；向用戶(hù)提交執行結果。
域代理服務(wù)器主要用于向根服務(wù)器報告域內資源情況和作業(yè)執行情況以及管理該資源自治域內的網(wǎng)格資源。其主要功能如下：接收根服務(wù)器(或上級域代理服務(wù)器)分發(fā)的用戶(hù)作業(yè)，若作業(yè)不符合要求，則將作業(yè)退回給根服務(wù)器(或上級域代理服務(wù)器)；進(jìn)行資源匹配、定位資源并進(jìn)行調度，若有下級域代理服務(wù)器，則向下級域代理服務(wù)器分發(fā)用戶(hù)作業(yè)；監控用戶(hù)作業(yè)執行情況，接收執行結果，并向根服務(wù)器或上級域代理服務(wù)器提交執行結果。
網(wǎng)格資源層是將地理上分布的、功能相對集中的、在異構平臺上協(xié)同工作的資源(包含各種類(lèi)型的網(wǎng)格資源和服務(wù)資源)，根據其功能和類(lèi)型，組建成不同的虛擬組織(Virtual Organization，VO)，VO的建立基于資源屬性分類(lèi)并結合地理位置，由域代理服務(wù)器管理。每個(gè)資源節點(diǎn)都只受它所對應的代理服務(wù)器的管理。