云計(jì)算環(huán)境下的資源調(diào)度模型研究

云計(jì)算環(huán)境下的資源調(diào)度模型研究

1云計(jì)算數(shù)據(jù)中心資源調(diào)度問(wèn)題云計(jì)算是一種商業(yè)模式和服務(wù)模式。計(jì)算任務(wù)分布在大多數(shù)計(jì)算機(jī)組成的數(shù)據(jù)處理中心，因此不同的應(yīng)用程序系統(tǒng)可以根據(jù)用戶的需要獲得存儲(chǔ)存儲(chǔ)和信息服務(wù)的生產(chǎn)能力、內(nèi)存和信息服務(wù)。學(xué)術(shù)界將云計(jì)算列為水、電、氣、油之外的第五種公用資源,云計(jì)算是技術(shù)和社會(huì)需求發(fā)展的必然結(jié)果,云計(jì)算集成了計(jì)算機(jī)領(lǐng)域大規(guī)模數(shù)據(jù)中心、虛擬化技術(shù)、軟件即服務(wù)等先進(jìn)技術(shù)。隨著云計(jì)算應(yīng)用的開(kāi)展,產(chǎn)生了大量的數(shù)據(jù)中心聚集現(xiàn)象,如何利用虛擬管理技術(shù)提高云計(jì)算數(shù)據(jù)中心利用效率,是當(dāng)前研究的重點(diǎn)。云計(jì)算資源調(diào)度是將虛擬機(jī)按用戶需求動(dòng)態(tài)地、自動(dòng)化地分配給用戶。由于用戶需求規(guī)格和云計(jì)算環(huán)境中資源池?cái)?shù)據(jù)中心所有的物理服務(wù)器的規(guī)格配置不一致,如果采用簡(jiǎn)單的分配調(diào)度算法,例如常用的輪轉(zhuǎn)法、加權(quán)輪轉(zhuǎn)法、最小負(fù)載優(yōu)先等,很難達(dá)到物理服務(wù)器負(fù)載均衡。目前,學(xué)術(shù)界在云計(jì)算環(huán)境下資源調(diào)度方面已經(jīng)進(jìn)行了大量研究工作,文獻(xiàn)提出云計(jì)算中基于NSGAⅡ的虛擬資源調(diào)度算法研究;文獻(xiàn)提出基于粒子群優(yōu)化策略研究;文獻(xiàn)提出云計(jì)算環(huán)境下的DPSO資源負(fù)載均衡算法;文獻(xiàn)根據(jù)云計(jì)算的彈性化和虛擬化等新特性,提出了云計(jì)算下負(fù)載均衡的多維QoS約束任務(wù)調(diào)度機(jī)制,用戶作業(yè)能按時(shí)完成。但是,云計(jì)算系統(tǒng)價(jià)值最優(yōu)化達(dá)不到期望的效果,有關(guān)云計(jì)算資源調(diào)度的優(yōu)化問(wèn)題值得進(jìn)一步深入研究探討。2云計(jì)算資源池云計(jì)算是一種建立在互聯(lián)網(wǎng)上的新型信息基礎(chǔ)架構(gòu),云計(jì)算是從計(jì)算機(jī)集群到并行計(jì)算模式,進(jìn)而抽象到云虛擬機(jī),最后得到云計(jì)算資源池的概念。云計(jì)算資源池如圖1所示,可以分為以下三部分:邊緣部分為云計(jì)算資源池的連接服務(wù),連接服務(wù)符合SOA的訪問(wèn)、發(fā)布、發(fā)現(xiàn)工作方式;方格是計(jì)算機(jī)集群組成的資源池模塊(R1,R2,R3,…,Rn),其資源描述為接口、綁定、服務(wù);部分資源Ri組成域的概念。云計(jì)算資源池邊界不定,可以自由伸縮。云計(jì)算資源池處于資源虛擬化層,屏蔽了物理資源層的發(fā)布細(xì)節(jié),為上層管理中間件提供支持。云計(jì)算資源池是云環(huán)境的有機(jī)組成部分,其概念是從云計(jì)算中延伸發(fā)展出來(lái)的,它將真實(shí)的物理資源通過(guò)虛擬化的方式進(jìn)行統(tǒng)一管理和分配,是向用戶提供透明計(jì)算服務(wù)和數(shù)據(jù)存儲(chǔ)功能的大規(guī)模分布式系統(tǒng)。用戶只需關(guān)注最終結(jié)果,而無(wú)需了解這一結(jié)果產(chǎn)生的內(nèi)部具體細(xì)節(jié)。3云計(jì)算資源規(guī)劃模型3.1云計(jì)算環(huán)境下物理服務(wù)器集群從構(gòu)成數(shù)據(jù)中心的基礎(chǔ)構(gòu)件向上層應(yīng)用的角度分析云計(jì)算環(huán)境中的資源,包括物理服務(wù)器(集群)、虛擬服務(wù)器(集群)、安全組、中間件/應(yīng)用服務(wù)、調(diào)度域、數(shù)據(jù)中心等。數(shù)據(jù)中心資源之間包含相互關(guān)系,如圖2所示。云計(jì)算環(huán)境下的物理服務(wù)器集群由網(wǎng)絡(luò)、硬盤、內(nèi)存、CPU等組成。虛擬服務(wù)器集群可以把用戶服務(wù)請(qǐng)求透明地分配到合理的服務(wù)器上,當(dāng)用戶訪問(wèn)的服務(wù)器出現(xiàn)異常時(shí),智能集群系統(tǒng)就會(huì)把用戶的任務(wù)請(qǐng)求轉(zhuǎn)移到正常工作的服務(wù)器上。3.2任務(wù)中心實(shí)現(xiàn)云計(jì)算工作環(huán)境下用戶任務(wù)調(diào)度管理工作流程如圖3所示,主要由三部分組成:用戶模塊、管理節(jié)點(diǎn)模塊、計(jì)算/存儲(chǔ)節(jié)點(diǎn)模塊。用戶提交任務(wù)到資源管理中心,判斷用戶任務(wù)類型和屬性,選擇適合任務(wù)特性的調(diào)度算法;然后把相關(guān)信息發(fā)送給任務(wù)管理中心,任務(wù)管理中心向計(jì)算節(jié)點(diǎn)提交任務(wù),當(dāng)計(jì)算節(jié)點(diǎn)處理結(jié)束后把執(zhí)行結(jié)果反饋給任務(wù)管理中心;任務(wù)管理中心再把計(jì)算結(jié)果返回給用戶。在云計(jì)算環(huán)境下,節(jié)點(diǎn)狀態(tài)監(jiān)控中心動(dòng)態(tài)監(jiān)控計(jì)算/存儲(chǔ)節(jié)點(diǎn)信息和任務(wù)調(diào)度中心,在發(fā)生異常時(shí)及時(shí)采取相關(guān)處理措施。3.3調(diào)度域內(nèi)負(fù)載均衡及任務(wù)部署資源池是云計(jì)算的最關(guān)鍵技術(shù)之一,高效地調(diào)度云計(jì)算資源池中的資源有其重要的現(xiàn)實(shí)意義。云計(jì)算數(shù)據(jù)中心分為多個(gè)調(diào)度域,一個(gè)調(diào)度域內(nèi)包含有多臺(tái)物理機(jī),一臺(tái)物理機(jī)含有多個(gè)CPU。(1)假定每一個(gè)物理服務(wù)器的負(fù)載屬性為Ai(CPU、內(nèi)存、網(wǎng)絡(luò)),物理服務(wù)器綜合負(fù)載均值為v,物理服務(wù)器綜合負(fù)載報(bào)警值為δ,當(dāng)一臺(tái)物理服務(wù)器在時(shí)間t內(nèi)的平均負(fù)載率不高于δ=c+v(其中c為相對(duì)較小的常數(shù))時(shí),我們認(rèn)為物理服務(wù)器工作正常。(2)假定一個(gè)CPU的利用率為此CPU在時(shí)間t內(nèi)的平均利用率;一臺(tái)物理機(jī)上所有CPU的利用率的平均值為這臺(tái)物理機(jī)CPU利用率pc;一個(gè)調(diào)度域內(nèi)所有物理機(jī)的CPU利用率為調(diào)度域內(nèi)的CPU負(fù)載均值dc。依據(jù)物理機(jī)的CPU計(jì)算能力進(jìn)行加權(quán)(wei)平均,得到CPU負(fù)載均值負(fù)載報(bào)警值δc=c+Vc。(3)假定一臺(tái)物理機(jī)內(nèi)存在時(shí)間t內(nèi)的平均利用率為mm,一個(gè)調(diào)度域內(nèi)所有物理機(jī)的內(nèi)存利用率為dm,物理機(jī)各自的內(nèi)存大小為mi,則得到內(nèi)存的負(fù)載平均值;負(fù)載報(bào)警值δm=c+Vm。(4)假定一臺(tái)物理機(jī)網(wǎng)絡(luò)在時(shí)間t內(nèi)的平均利用率為nn,一個(gè)調(diào)度域內(nèi)的物理機(jī)網(wǎng)絡(luò)利用率為dn,物理機(jī)各自的網(wǎng)絡(luò)帶寬為ni,則得到網(wǎng)絡(luò)的負(fù)載平均值;負(fù)載報(bào)警值δn=c+Vn。調(diào)度算法的主要思想是:根據(jù)事先設(shè)置的報(bào)警閾值判斷物理服務(wù)器狀態(tài)是否良好,如若存在異常則調(diào)整服務(wù)器;然后找出CPU(個(gè)數(shù)加權(quán))、內(nèi)存、網(wǎng)絡(luò)相對(duì)這三個(gè)屬性的負(fù)載均值的方差最小的一個(gè),如下所示:算法1云計(jì)算資源池調(diào)度管理輸出任務(wù)部署集群狀態(tài)(VM,IDi,PM)。(1)初始化:令MQ為報(bào)警隊(duì)列,AQ為人工優(yōu)化隊(duì)列,NQ為新任務(wù)隊(duì)列,VM為虛擬機(jī)集合,IDi為物理機(jī)號(hào),PM為物理機(jī)集群,SVM為單VM任務(wù)。(2)ifMQ不為空(4)Endif(5)ifAQ不為空(6)將需要優(yōu)化的物理機(jī)IDi遷下VM,利用min(vi-優(yōu)化目標(biāo)值)找出可以移除的虛擬機(jī),將調(diào)度域內(nèi)的n個(gè)物理機(jī)列成n*(m+2)矩陣,利用公式(1)計(jì)算出負(fù)載均值方差最小的物理機(jī),將移除的虛擬機(jī)部署在此物理機(jī)上。(7)Endif(8)ifNQ不為空(9)If任務(wù)類型為SVM(10)將調(diào)度域內(nèi)的n個(gè)物理機(jī)列成n*(m+2)矩陣,利用公式(1)計(jì)算出負(fù)載均值方差最小的物理機(jī),輸出給執(zhí)行模塊,任務(wù)部署在此物理機(jī)上。(11)Else(12)將調(diào)度域內(nèi)的n個(gè)物理機(jī)集群列成n*(m+2)矩陣,以集群為單位利用公式(1)計(jì)算出負(fù)載均值方差最小的物理機(jī)集群,任務(wù)部署到此集群上。(13)Endif4資源池負(fù)載均衡度實(shí)驗(yàn)結(jié)果本文實(shí)驗(yàn)使用CloudSim平臺(tái)模擬云計(jì)算環(huán)境,我們約定云計(jì)算資源池中有100臺(tái)物理主機(jī),用戶任務(wù)請(qǐng)求工作數(shù)量在300到1000之間,任務(wù)請(qǐng)求使用資源池按泊松流到達(dá),又各作業(yè)使用云計(jì)算資源池的時(shí)間符合負(fù)指數(shù)分布。云計(jì)算資源綜合利用率乘積法是目前任務(wù)負(fù)載較好的算法之一,實(shí)驗(yàn)中用資源池調(diào)度管理算法和綜合利用率乘積法作比較,設(shè)定報(bào)警物理機(jī)負(fù)載閾值為80%,手動(dòng)優(yōu)化物理機(jī)綜合負(fù)載目標(biāo)值設(shè)為50%,對(duì)比兩種算法在云計(jì)算環(huán)境下資源池負(fù)載的均衡度。如圖4所示,本文設(shè)計(jì)的云計(jì)算資源池模型在不同任務(wù)數(shù)量的情況下,其資源池負(fù)載均衡度均比利用率乘積法負(fù)載均衡度高。為了進(jìn)一步測(cè)試作業(yè)排隊(duì)使用資源池策略的性能,圖5分別為綜合負(fù)載資源調(diào)度算法和綜合利用率乘積算法完成相同數(shù)量的任務(wù)所使用的時(shí)間分布情況。由圖5可見(jiàn),綜合負(fù)載資源調(diào)度法與綜合利用率乘積法相比,執(zhí)行時(shí)相同數(shù)量的用戶任務(wù)所需的執(zhí)行時(shí)間更少,時(shí)間波動(dòng)范圍更小,更具有時(shí)間可控性。仿真結(jié)果表明,本文的綜合負(fù)載資源調(diào)度更能有效地解決云計(jì)算環(huán)境下資源負(fù)載問(wèn)題,使得云計(jì)算節(jié)點(diǎn)在高效完成任務(wù)的情況下,云計(jì)算資源負(fù)載均衡效果更好,有利于整個(gè)云計(jì)算環(huán)境正常工作。5利用主機(jī)的主機(jī)進(jìn)行負(fù)載均衡的仿真本文介紹了云計(jì)算下資源池模型,分析了云計(jì)算資源調(diào)度流程和云計(jì)算環(huán)境下實(shí)體之間的關(guān)系。建立了一種云計(jì)算環(huán)境中資源調(diào)度算法,綜合考慮了云計(jì)算資源池中各種資源的綜合負(fù)載情況,采用人工加自動(dòng)的虛擬機(jī)遷移技術(shù)實(shí)現(xiàn)云計(jì)算中物理服務(wù)器的負(fù)載均衡。仿真實(shí)驗(yàn)表明云計(jì)算資源調(diào)度模型具有很好的效果。下一步我們將對(duì)云計(jì)算環(huán)境下任務(wù)的動(dòng)態(tài)并