摘 要： 在混合式P2P結(jié)構(gòu)的基礎(chǔ)上提出了P2P-Grid模型,，把同類同屬性資源聚集到資源組，并建立資源組目錄樹,。給出了一種可以避免Grid-Peer" title="Grid-Peer">Grid-Peer內(nèi)部任務(wù)扎堆現(xiàn)象的資源調(diào)度" title="資源調(diào)度">資源調(diào)度算法和Grid-Peer調(diào)度算法,。
關(guān)鍵詞： P2P-Grid模型 Grid-Peer算法 資源組 資源調(diào)度 并行資源調(diào)度模型
目前，對結(jié)合P2P與Grid二種分布式計算技術(shù)的新型網(wǎng)絡(luò)結(jié)構(gòu)P2P-Grid方面的研究很少,，且對P2P-Grid環(huán)境下資源調(diào)度機制的研究也不多見,。P2P-Grid是作者針對現(xiàn)階段不同地區(qū)網(wǎng)絡(luò)之間的通信速度遠(yuǎn)遠(yuǎn)低于集群或局域網(wǎng)內(nèi)部的通信速度以及網(wǎng)絡(luò)環(huán)境下資源分布不均勻的情況，在混合式P2P結(jié)構(gòu)的基礎(chǔ)上提出來的,。
在局部范圍內(nèi)把地理位置彼此相近的資源構(gòu)造成規(guī)模適當(dāng)?shù)?a class="cblue" href="http://forexkbc.com/search/?q=網(wǎng)格系統(tǒng)" title="網(wǎng)格系統(tǒng)">網(wǎng)格系統(tǒng),，這些網(wǎng)格系統(tǒng)可看作是P2P-Grid的Grid-Peer(相當(dāng)于混合式P2P結(jié)構(gòu)中的Super-Peer)，并使用P2P技術(shù)組織這些Grid-Peer資源,。充分利用二者各自的資源調(diào)度優(yōu)勢,，在Grid-Peer集中式" title="集中式">集中式高效資源調(diào)度與Grid-Peer具備健壯性,、可靠性和可用性的分布式資源調(diào)度之間達成一種平衡機制，并在各Grid-Peer之間以及Grid-Peer內(nèi)部分類的資源組之間形成對資源的多點并行調(diào)度機制,，可有效地避免單一網(wǎng)格系統(tǒng)瓶頸的產(chǎn)生,。
Gondor的匹配器使用集中式方式組織資源，負(fù)責(zé)資源提供者和資源請求者之間需求的匹配,。Adriana Iamnitchi等人使用P2P模式分布式組織資源,，并使用請求向前搜索的策略發(fā)現(xiàn)資源。中科院的織女星網(wǎng)格項目研究了基于路由轉(zhuǎn)發(fā)模型的資源發(fā)現(xiàn)方法和面向資源發(fā)現(xiàn)的VEGA體系結(jié)構(gòu),。
1 P2P-Grid模型
網(wǎng)格的特點及其最終面向最普通的計算機用戶的目標(biāo),，決定了網(wǎng)格系統(tǒng)不宜采用傳統(tǒng)的集中式資源管理模式。普通計算機位于互聯(lián)網(wǎng)的邊緣,，且P2P技術(shù)處理這類資源已經(jīng)比較成熟,。為把這類數(shù)量龐大的資源整合到網(wǎng)格系統(tǒng)中，結(jié)合P2P和Grid的互補性,，可采用P2P-Grid模型[5][6]組織網(wǎng)絡(luò)環(huán)境下的資源,。該P2P-Grid模型依據(jù)銀行系統(tǒng)的運作模式，采用“分而治之”的思想,，把“單一網(wǎng)格系統(tǒng)”分割成若干處于對等地位的“小規(guī)模網(wǎng)格”系統(tǒng),，本文稱為Grid-Peer。每個Grid-Peer可使用不同網(wǎng)格技術(shù)管理所在域的資源,，就如同P2P系統(tǒng)中計算機的操作系統(tǒng)可以互不相同,。
2 Grid-Peer中基于聚集的資源組織[6]
2.1 基本概念
定義1 資源屬性值域[4]：R表示某資源任一屬性值所有可能取值為實數(shù)的集合，R上的值域定義為VA＝{x|r1≤x＜r2,，x∈R,，r1∈R，r2∈R},，則令VA＝[r1，r2],，VA為R的子集,，表示VA由所有介于r1(可以等于r1)和r2之間的實數(shù)組成。
定義2 資源組：記錄資源屬性值在某個資源屬性值域范圍內(nèi)的資源集合的域,。
定義3 計算能力" title="計算能力">計算能力：計算資源在單位時間內(nèi)運算的次數(shù),。
定義4 CPU==[1G，2G]：CPU的主頻取值在1GB～2GB范圍內(nèi),。
定義5 Mem＝＝[64M,，128M]：內(nèi)存容量取值在64MB～128MB之間。
定義6 預(yù)留資源：及時分配給在某個特定的時間段內(nèi)到來的任務(wù),，或某個資源出現(xiàn)故障時,，準(zhǔn)備運行遷移過來的任務(wù)的資源,。
定義7 備份資源：正在運行任務(wù)的資源出現(xiàn)故障時，替換該資源繼續(xù)運行任務(wù)的資源,。
定義8 任務(wù)扎堆：任務(wù)總是優(yōu)先占用被調(diào)度次數(shù)最多的資源的現(xiàn)象,。
性質(zhì)1 同一資源組中資源具有的計算能力屬于規(guī)定該資源組CPU屬性值域的集合。
性質(zhì)2 同一資源組中資源具有的存儲容量屬于規(guī)定該資源組的內(nèi)存屬性值域的集合,。
性質(zhì)3 同一資源組中的資源可以互為備份資源,。
2.2 基于聚集的資源組目錄樹
資源的組織方式?jīng)Q定資源的發(fā)現(xiàn)、資源匹配和資源調(diào)度等其他的資源管理技術(shù),。而資源管理器為用戶選擇資源,、匹配資源請求與具體資源的方法有很多種，不同的方法會影響資源的利用率和系統(tǒng)開銷,。本文采用分布式與層次式結(jié)合的資源組織方式組織P2P-Grid環(huán)境下的資源,。把計算資源按照接入到互聯(lián)網(wǎng)的方式和屬性分為HPC(高性能計算機)、PC(桌面計算機)和LAN(局域網(wǎng))三類,。每類再根據(jù)資源屬性進行細(xì)分并確立多個資源組,。資源組中聚集的資源計算能力和存儲能力相當(dāng)。
LAN資源的組織形式如圖1(其他二類資源的組織類似),。
3 資源調(diào)度
3.1 并行資源調(diào)度模型
P2P-Grid的目標(biāo)是把網(wǎng)絡(luò)邊緣上的計算機利用起來,，形成具有無窮處理能力的若干個虛擬超級計算機，即Grid-Peer,。在Grid-Peer中,，相對于要調(diào)度的任務(wù)而言，資源同樣需要調(diào)度,。為完成用戶提交的任務(wù)和滿足用戶提出的要求,，把Grid-Peer中所有可用資源(計算資源、存儲資源和網(wǎng)絡(luò)資源)進行匹配,，使用合理的資源分配方式和資源調(diào)度策略,。調(diào)度策略是一些調(diào)度規(guī)則和算法 ，使應(yīng)用能夠按照規(guī)則找到最優(yōu)資源,。其實質(zhì)是將n個相互獨立的任務(wù)分配到m個異構(gòu)可用資源,，使得總?cè)蝿?wù)的完成時間最小且資源得到充分利用。
資源調(diào)度的方式有集中式調(diào)度和分布式調(diào)度二種,。
(1)集中式調(diào)度：在網(wǎng)格中只有一個調(diào)度中心,，負(fù)責(zé)調(diào)度網(wǎng)格中的所有資源。其優(yōu)點是調(diào)度系統(tǒng)知道網(wǎng)格中的所有資源,，對于一個應(yīng)用可以產(chǎn)生高效的資源調(diào)度方案,。缺點是：當(dāng)網(wǎng)絡(luò)比較大時，調(diào)度系統(tǒng)便很難掌握所有的資源,，因此調(diào)度系統(tǒng)會成為瓶頸,。例如,，調(diào)度系統(tǒng)因為錯誤出現(xiàn)故障，就會影響整個網(wǎng)格系統(tǒng),。集中式調(diào)度比較適合小型網(wǎng)格,。
(2)分布式調(diào)度：有多個調(diào)度中心，各中心是平等的,。優(yōu)點是健壯性,、可靠性和可用性比較高。缺點是調(diào)度中心之間的通信量比較大,，由于不能掌握網(wǎng)格中所有資源,，很難找到全局最優(yōu)的資源分配方式。
由于P2P-Grid把單一網(wǎng)格系統(tǒng)拆分成多個小型網(wǎng)格系統(tǒng)(Grid-Peer),，因此減小了網(wǎng)格系統(tǒng)規(guī)模,，并且Grid-Peer內(nèi)部可以使用集中式的資源管理方式。Grid-Peer使用P2P技術(shù)進行信息交互,、實現(xiàn)資源共享,，構(gòu)成的P2P-Grid系統(tǒng)是一個分布式系統(tǒng)。因此,，P2P-Grid系統(tǒng)是分布式和集中式系統(tǒng)的結(jié)合,。作者結(jié)合集中式調(diào)度和分布式調(diào)度的優(yōu)點，設(shè)計了P2P-Grid環(huán)境下的基于聚集的并行資源調(diào)度模型,。對整個P2P-Grid而言,，每個Grid-Peer可同時調(diào)度資源，形成一種多點調(diào)度,。同樣,，在Grid-Peer內(nèi)部，資源調(diào)度系統(tǒng)可基于聚集的資源組并行地調(diào)度各資源組中的任務(wù),。把單一網(wǎng)格系統(tǒng)拆分重組成為P2P-Grid系統(tǒng)后,，每個Grid-Peer系統(tǒng)所管理的資源數(shù)目比原來少了，從而解決了因為單一的網(wǎng)格系統(tǒng)規(guī)模太大,，難以掌握所有資源狀態(tài)以及屬性信息這一問題,。原先單一網(wǎng)格系統(tǒng)負(fù)載由許許多多Grid-Peer分擔(dān)，不僅可解決系統(tǒng)任務(wù)請求時出現(xiàn)的瓶頸問題,，也可快速發(fā)現(xiàn)任務(wù)所需資源，提高該任務(wù)的QoS,。另外,，可減小由于單一網(wǎng)格系統(tǒng)出錯而導(dǎo)致整個系統(tǒng)崩潰的概率。
拆分重組后的P2P-Grid系統(tǒng)中的每個Grid-Peer也是一個網(wǎng)格系統(tǒng),，其規(guī)模也會直接影響到Grid-Peer之間信息交流時的通信量,。如果規(guī)模過小,，P2P-Grid系統(tǒng)過于分布，必然會造成Grid-Peer之間任務(wù)頻繁地遷移,，在網(wǎng)絡(luò)中產(chǎn)生大量的數(shù)據(jù)包,。數(shù)據(jù)包過多，還可造成網(wǎng)絡(luò)擁塞,，使P2P-Grid性能急劇下降,。因此，設(shè)計P2P-Grid模型時應(yīng)把Grid-Peer規(guī)模設(shè)計成大小適中,，既可以利用集中式調(diào)度機制高效產(chǎn)生資源調(diào)度方案,，也可充分利用分布式調(diào)度具備的健壯性、可靠性和可用性等優(yōu)點,。
P2P-Grid系統(tǒng)的資源調(diào)度具有以下特點：
(1)P2P-Grid系統(tǒng)不同于傳統(tǒng)的單機處理任務(wù),。在單臺計算機中可以利用的資源有限，一般都是任務(wù)等待少量計算資源,，需要調(diào)度的是任務(wù),。而在Grid-Peer系統(tǒng)中，資源數(shù)量非常多,，有時可能出現(xiàn)資源等待處理任務(wù)的情況,。
(2)P2P-Grid系統(tǒng)中資源是動態(tài)變化的，隨著時間的變化,，總有舊的資源推出和新的資源加入,。
(3)P2P-Grid系統(tǒng)是由各種不同的管理域組成的異構(gòu)環(huán)境，系統(tǒng)中的資源調(diào)度程序不可能控制系統(tǒng)中的所有資源,。
(4)為充分利用所有資源,，需要避免任務(wù)競爭性能相對良好的資源。
因此,，設(shè)計一個P2P-Grid環(huán)境下的資源調(diào)度模型會遇到以下難點：
(1)由于資源之間的關(guān)聯(lián)性,，進入Grid-Peer中的任務(wù)會與其他已經(jīng)在Grid-Peer中的任務(wù)競爭資源，造成任務(wù)之間的相互影響,。因此,，要找到滿足所有任務(wù)要求的最優(yōu)調(diào)度方案有時不大可能。
(2)由于P2P-Grid中的資源種類繁多,，各種任務(wù)對資源的要求也各種各樣,，所以很難用統(tǒng)一的尺度描述和度量其特征。
(3)P2P-Grid中對各種資源的約束很多是非線性的,，要達到的調(diào)度目標(biāo)也很多,，例如要求時間最少、代價最小,、資源利用率最高等,，并且有些目標(biāo)相互矛盾,。對于這種多目標(biāo)多約束的問題，找到滿足所有約束和目標(biāo)的全局最優(yōu)解是很困難的,。
資源組的概念是針對P2P-Grid系統(tǒng)資源調(diào)度的特點以及設(shè)計資源調(diào)度模型的難點提出的,。屬于同一資源組中資源的物理屬性相近，故這些資源對同類任務(wù)具有相似的興趣,。針對Grid-Peer系統(tǒng)的資源組織模型,、任務(wù)調(diào)度模型以及相應(yīng)的資源發(fā)現(xiàn)機制，設(shè)計了如圖2所示的基于資源組模式的并行資源調(diào)度模型,。
資源組是記錄性能相近的資源聚集成資源集合的一個域,，資源調(diào)度完全根據(jù)層次式資源組目錄樹并行進行。一般情況下,，該任務(wù)請求哪類資源只需查找這類資源子樹,，搜索一個或多個資源組中的資源進行調(diào)度，并在給任務(wù)分配資源時,，多預(yù)留一些實時可用的資源,，作為分配資源的備份資源。
Grid-Peer系統(tǒng)資源管理模型中的HPC管理器,、PC管理器和LAN管理器除了要管理其中的資源樹的邏輯信息外,，還要針對每個資源組中的可用資源、正在運行任務(wù)的資源以及備份資源進行監(jiān)控,，實時獲取資源最新的狀態(tài)信息,，以便資源調(diào)度時不至于把任務(wù)分配到不能正常運行的計算資源上。
Grid-Peer環(huán)境下的資源管理系統(tǒng)采用基于資源物理特性構(gòu)造的資源組目錄樹模型,。Grid-Peer系統(tǒng)的資源按照其物理特性歸類,，根據(jù)資源的處理能力分為：超級計算機、位于局域網(wǎng)中的計算機和單獨連接到互聯(lián)網(wǎng)的計算機三種計算類資源,。資源的屬性信息分別組織在相應(yīng)的三類資源管理器中,。每類資源根據(jù)其計算能力可以再分為幾個等級,，例如：現(xiàn)在的桌面計算機的CPU主頻主要位于1GHz以下,，1GHz以上,、2GHz以下、2GHz以上,、3GHz以下,，如此類推。若任務(wù)請求資源對其主存能力有要求,，可根據(jù)資源內(nèi)存容量繼續(xù)細(xì)分,，詳見資源組目錄樹(圖1)。Grid-Peer系統(tǒng)的資源調(diào)度根據(jù)資源類別分別進行，可減少資源的查找時間,，提高資源與任務(wù)的匹配度，把更高處理能力的資源留給一些特殊的任務(wù),，使Grid-Peer系統(tǒng)的整體性能得到提高,。
3.2 資源調(diào)度參數(shù)
下面介紹Grid-Peer系統(tǒng)內(nèi)部的資源調(diào)度參數(shù)和P2P-Grid系統(tǒng)對Grid-Peer調(diào)度所要用到的參數(shù)。
本地Grid-Peer系統(tǒng)的參數(shù)：Rg表示資源組,；T表示資源已經(jīng)被調(diào)度的次數(shù),；Ht表示資源組中被調(diào)度次數(shù)最多的資源的調(diào)度次數(shù)；Bd表示資源所在的網(wǎng)絡(luò)帶寬,，指HPC的集群計算機和LAN資源的內(nèi)部網(wǎng)絡(luò)帶寬,；Hbd表示資源組中資源的最高帶寬，本文僅指HPC的集群計算機和LAN資源的內(nèi)部網(wǎng)絡(luò)帶寬,；Rt表示在t時刻網(wǎng)絡(luò)通信速度,；HRt表示訪問資源組中資源能夠達到的最高網(wǎng)絡(luò)通信速度；Cpu表示資源的計算能力,，也就是該計算資源的主頻,；Hcpu表示資源組中資源計算能力的最高上限，如資源樹中 表示“Cpu=＝[1G,，2G]”這一資源組的Hcpu為2GHz,。PRI表示調(diào)度優(yōu)先級。
在單個Grid-Peer系統(tǒng)中每個資源組由一個專用服務(wù)器負(fù)責(zé)管理,，對其中可用資源按照被訪問時間,、計算能力和使用頻率等綜合參數(shù)進行優(yōu)先級排序。計算能力相同的,，訪問時間越短,，排序越靠前；計算能力和訪問時間相同的情況下,，使用頻率高的反而排序靠后,。充分挖掘出更多具有同等屬性的資源以均衡網(wǎng)絡(luò)流量，充分體現(xiàn)P2P-Grid的動態(tài)特征,，因為訪問時間隨信息流量不同而發(fā)生變化,。
單個Grid-Peer系統(tǒng)中，不同資源組也可以使用該參數(shù)來制定該資源組內(nèi)部的資源調(diào)度策略,，從而使得單個Grid-Peer中資源組管理資源信息的服務(wù)器能夠同時多點調(diào)度Grid-Peer系統(tǒng)中的資源,，提高系統(tǒng)的工作效率。
P2P-Grid系統(tǒng)中Grid-Peer調(diào)度參數(shù)：L表示Grid-Peer的系統(tǒng)負(fù)載,；Time表示搜索到Grid-Peer所用的時間,；Ltime表示搜索到Grid-Peer所用的最長時間；PRIGrid-Peer為調(diào)度Grid-Peer的優(yōu)先級。
3.3 資源調(diào)度過程和算法
(1)根據(jù)提交任務(wù)的屬性決定選擇三種資源中的那一類,，然后在相應(yīng)信息資源管理器中查找初步滿意的資源集,，同時，資源調(diào)度管理者還需檢查可用資源隊列中的資源,。若可用資源隊列中具有最高優(yōu)先級的資源之優(yōu)先級超過了0.5,，則可以選擇此資源作為此次被調(diào)度的資源；否則等待計算從資源管理器中所發(fā)現(xiàn)資源的優(yōu)先級,。這兩項操作是同時進行的,可以減少資源的相對發(fā)現(xiàn)時間,。
(2)根據(jù)資源所在的位置、網(wǎng)絡(luò)流量,、帶寬,、資源使用率、資源計算能力等參數(shù),，決定資源調(diào)度的次序,。假定資源調(diào)度最高級別的權(quán)值為1，資源的計算能力由cpu的主頻決定,，多cpu采用累加的形式計算,。則資源調(diào)度優(yōu)先級為：
PRI＝Cpu/Hcpu×80%+Bd/Hbd×10%+Rt/HRt×5%-T/Ht×5%
最后一項對調(diào)度次數(shù)進行加權(quán)處理，可避免任務(wù)總是搶占被調(diào)度次數(shù)較多的資源,，造成這些資源附近網(wǎng)絡(luò)流量過大,；還可以充分挖掘出更多新注冊的資源，有效均衡網(wǎng)絡(luò)流量,，避免網(wǎng)絡(luò)阻塞,。
(3)計算出所查找資源組中初步滿意的各資源級別，比較本次最高級別與可用資源隊列中最高優(yōu)先級資源級別,，選擇級別高的資源作為此次被調(diào)度的資源來處理提交的任務(wù),，并把計算出來的結(jié)果返回給用戶，記錄加1后的調(diào)度次數(shù)和被調(diào)度的時間,，按照資源調(diào)度方法回收該資源,，保存在可用資源隊列中，等待下一次的調(diào)度,。其中調(diào)度時間相當(dāng)重要,，因為Grid-Peer環(huán)境下的資源具有動態(tài)特性，此次確定的優(yōu)先級在以后某個時間段將會發(fā)生很大的變化,。如果發(fā)現(xiàn)兩個資源的優(yōu)先級相等,，則選擇最近被調(diào)度的資源去處理提交的任務(wù)。
全局P2P-Grid環(huán)境下的資源調(diào)度實際上是對所發(fā)現(xiàn)的Grid-Peer進行調(diào)度,。如何選擇Grid-Peer進行任務(wù)遷移,，還要根據(jù)該Grid-Peer系統(tǒng)負(fù)載及本地Grid-Peer到遠(yuǎn)程Grid-Peer之間通信速度的影響確定。在本地Grid-Peer系統(tǒng)中采用聚集資源組的方式調(diào)度本地資源，而在P2P-Grid系統(tǒng)中采用泛洪算法發(fā)現(xiàn)滿足條件的Grid-Peer,，然后在這些Grid-Peer中選擇一個合適的Grid-Peer,。
向本地Grid-Peer系統(tǒng)提交任務(wù)時，可能會遇到本地Grid-Peer系統(tǒng)負(fù)載過重,，不能滿足用戶QoS需求的情況,。此時，本地Grid-Peer就需要向其他的遠(yuǎn)程Grid-Peer轉(zhuǎn)移任務(wù),。這種情況需要查找具有最佳處理能力的Grid-Peer，并把任務(wù)遷移到這個最佳的Grid-Peer,。Grid-Peer調(diào)度最主要的就是在所發(fā)現(xiàn)的Grid-Peer集合中選擇某個合適的超級Peer,。Grid-Peer處理完任務(wù)后直接向用戶返回結(jié)果。
QoS指標(biāo)是指Grid-Peer對轉(zhuǎn)移到來的任務(wù)的服務(wù)質(zhì)量,，由處理結(jié)果精確性和任務(wù)處理時間兩個參數(shù)來決定,。當(dāng)本地Grid-Peer在某個時間段內(nèi)接收到返回的查找信息后，根據(jù)返回時間的長短和被返回系統(tǒng)內(nèi)在的處理能力來決定把任務(wù)轉(zhuǎn)移到某個Grid-Peer,。選擇具有最高調(diào)度優(yōu)先級的Grid-Peer來遷移本系統(tǒng)中的任務(wù),，Grid-Peer的優(yōu)先級為：
PRIGrid-Peer＝(1-Time/Ltime)×10％+90％×(1-L)
網(wǎng)格技術(shù)和P2P技術(shù)已經(jīng)成為高性能計算領(lǐng)域的研究熱點，結(jié)合P2P和Grid的P2P-Grid也將逐漸成為高性能計算研究中的一個熱點,。本文在確定P2P-Grid的資源組織模型,，即基于聚集的層次式資源組目錄樹之后，設(shè)計了基于資源組的并行資源調(diào)度模型,。本模型為整個P2P-Grid系統(tǒng)中網(wǎng)格資源調(diào)度模型的一個雛形,，今后還有很多方面需進一步的研究。
參考文獻
1 Raman R,，Livny M,，Solomon M.Matchmaking：distributed resource management for high throughput computing.In：Proc. of the 7th IEEE Int′l Symp.on High Performance Distributed Computing.Chicago，IL,，USA,，1998
2 Gong YL，Dong F P,，Li W et al.VEGA Infrastructure for Resource Discovery in Grids.J.Compute.Sci.&Technol,，2003；18(4)
3 徐志偉,，馮百明,，李偉.網(wǎng)格計算技術(shù).北京：電子工業(yè)出版社，2004
4 周曉,，陳鳴.基于散列值的廣域網(wǎng)服務(wù)發(fā)現(xiàn).軟件學(xué)報,，2004；15(10)
5 葉從歡，江武漢,，孫世新.P2P與Grid的結(jié)合：P2P-Grid模型研究.微型機與應(yīng)用,，2005；24(5)
6 葉從歡.P2P-Grid環(huán)境下的一種新的資源組織方法.微型機與應(yīng)用,，2005,；24(12)