![新能源在云計(jì)算數(shù)據(jù)中心應(yīng)用的研究進(jìn)展_第1頁](http://file4.renrendoc.com/view/522c6fe8fceac5e3549f226123c4f9c1/522c6fe8fceac5e3549f226123c4f9c11.gif)
![新能源在云計(jì)算數(shù)據(jù)中心應(yīng)用的研究進(jìn)展_第2頁](http://file4.renrendoc.com/view/522c6fe8fceac5e3549f226123c4f9c1/522c6fe8fceac5e3549f226123c4f9c12.gif)
![新能源在云計(jì)算數(shù)據(jù)中心應(yīng)用的研究進(jìn)展_第3頁](http://file4.renrendoc.com/view/522c6fe8fceac5e3549f226123c4f9c1/522c6fe8fceac5e3549f226123c4f9c13.gif)
![新能源在云計(jì)算數(shù)據(jù)中心應(yīng)用的研究進(jìn)展_第4頁](http://file4.renrendoc.com/view/522c6fe8fceac5e3549f226123c4f9c1/522c6fe8fceac5e3549f226123c4f9c14.gif)
![新能源在云計(jì)算數(shù)據(jù)中心應(yīng)用的研究進(jìn)展_第5頁](http://file4.renrendoc.com/view/522c6fe8fceac5e3549f226123c4f9c1/522c6fe8fceac5e3549f226123c4f9c15.gif)
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
新能源在云計(jì)算數(shù)據(jù)中心應(yīng)用的研究進(jìn)展
1云數(shù)據(jù)中心的特征在全球云計(jì)算趨勢和云計(jì)算行業(yè)發(fā)展的背景下,綠色數(shù)據(jù)處理中心的建設(shè)已成為各學(xué)科和行業(yè)關(guān)注的課題之一。如何盡快將傳統(tǒng)的數(shù)據(jù)處理中心轉(zhuǎn)變?yōu)樵朴?jì)算的必要條件也是必須解決的問題。以谷歌和諾亞為代表的互聯(lián)網(wǎng)巨頭必須規(guī)劃和建設(shè)龐大的數(shù)據(jù)集。與傳統(tǒng)數(shù)據(jù)中心相比,云計(jì)算數(shù)據(jù)中心的新特性主要體現(xiàn)在:(1)模塊化的標(biāo)準(zhǔn)基礎(chǔ)設(shè)施.針對(duì)數(shù)據(jù)中心的云服務(wù)需求,云數(shù)據(jù)中心對(duì)服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)等設(shè)施按工業(yè)標(biāo)準(zhǔn)進(jìn)行模塊化配置設(shè)計(jì),使其具有適應(yīng)性與可擴(kuò)展性;(2)虛擬化資源與環(huán)境.云數(shù)據(jù)中心廣泛采用虛擬化技術(shù)將物理資源聚集形成一個(gè)共享虛擬資源池,從而更加靈活高效、低成本地使用資源;(3)高可靠自動(dòng)化管理.云計(jì)算數(shù)據(jù)中心應(yīng)是24×7無人值守的、可遠(yuǎn)程管理的,實(shí)現(xiàn)設(shè)備到應(yīng)用端到端的統(tǒng)一管理.為確保穩(wěn)定、安全、持續(xù)的系統(tǒng)連接,云數(shù)據(jù)中心需建立高度可信賴的計(jì)算平臺(tái)、網(wǎng)絡(luò)安全威脅防范,建設(shè)數(shù)據(jù)復(fù)制與備份、容災(zāi)中心;(4)快速的可擴(kuò)展能力.隨著大數(shù)據(jù)爆炸式增長以及用戶需求的可變多樣性,云數(shù)據(jù)中心必須根據(jù)業(yè)務(wù)應(yīng)用需求和服務(wù)質(zhì)量來動(dòng)態(tài)配置、定購、供應(yīng)虛擬資源,具有資源利用的快速擴(kuò)展能力;(5)節(jié)能與節(jié)省空間.云計(jì)算數(shù)據(jù)中心將大量使用節(jié)能服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)設(shè)備,并通過先進(jìn)的供電系統(tǒng)和散熱技術(shù),實(shí)現(xiàn)供電、散熱和計(jì)算資源的無縫集成和管理,解決傳統(tǒng)數(shù)據(jù)中心的過量制冷和空間不足的問題.然而,高能耗、高污染一直制約著云數(shù)據(jù)中心的發(fā)展.據(jù)統(tǒng)計(jì),如果將全球的數(shù)據(jù)中心整體看成一個(gè)“國家”的話,那么其總耗電量將在世界國家中排名第15位.由于數(shù)據(jù)中心60%的運(yùn)營成本來自于能耗,因此如何降低能耗以節(jié)省云服務(wù)商不斷攀升的電費(fèi)成本、緩解日益嚴(yán)重的碳排放污染,是云數(shù)據(jù)中心可持續(xù)發(fā)展過程中亟需解決的問題.本文從綠色數(shù)據(jù)中心評(píng)價(jià)標(biāo)準(zhǔn)、新能源的特性、新能源產(chǎn)電模型與預(yù)測機(jī)制、數(shù)據(jù)中心能源配額規(guī)劃、作業(yè)調(diào)度機(jī)制以及負(fù)載均衡機(jī)制等方面,對(duì)云計(jì)算數(shù)據(jù)中心的綠色能源應(yīng)用研究進(jìn)行分析.本文第2節(jié)介紹綠色云數(shù)據(jù)中心的現(xiàn)狀與挑戰(zhàn);第3節(jié)分析新能源評(píng)價(jià)標(biāo)準(zhǔn)、新能源的特性和可選擇利用種類;第4節(jié)介紹研究分類評(píng)價(jià)標(biāo)準(zhǔn),并據(jù)此對(duì)目前研究現(xiàn)狀進(jìn)行對(duì)比分析;第5節(jié)分別從新能源模型和預(yù)測機(jī)制、數(shù)據(jù)中心能源配額規(guī)劃、新能源數(shù)據(jù)中心內(nèi)作業(yè)調(diào)度機(jī)制和新能源數(shù)據(jù)中心間負(fù)載均衡機(jī)制4個(gè)方面,對(duì)綠色數(shù)據(jù)中心的最新研究進(jìn)展進(jìn)行分類比較,并總結(jié)國內(nèi)綠色數(shù)據(jù)中心的研究現(xiàn)狀;最后對(duì)全文進(jìn)行總結(jié),并提出未來值得進(jìn)一步研究的方向.2綠色云數(shù)據(jù)的現(xiàn)狀和挑戰(zhàn)2.1能源與電能:數(shù)據(jù)中心的重要作為日本經(jīng)濟(jì)貿(mào)易產(chǎn)業(yè)省METI預(yù)測,全球IT能耗將于2025年翻5倍,而到2050年將增長12倍(1).大量的能耗使得像Google、Microsoft和Facebook這樣的IT公司每年的電費(fèi)就高達(dá)幾百萬美元.雖然近年來低功耗服務(wù)器和數(shù)據(jù)中心能效優(yōu)化領(lǐng)域已經(jīng)取得了顯著進(jìn)步,但隨著數(shù)據(jù)中心系統(tǒng)規(guī)模和服務(wù)器數(shù)量的增長,其總體能耗仍然呈持續(xù)快速增長趨勢.例如,Facebook基礎(chǔ)設(shè)施的規(guī)模大約每6個(gè)月就翻1倍———從2008年4月的10K臺(tái)服務(wù)器增長到2009年11月的30K臺(tái)服務(wù)器,并于2010年6月達(dá)到了60K臺(tái)服務(wù)器(2).表1顯示了典型企業(yè)和機(jī)構(gòu)的服務(wù)器數(shù)量、能耗需求及電費(fèi).面對(duì)上述巨大能耗需求,目前電力能源主要還是源自于化石燃料,如表2所示,化石燃料發(fā)電量占到全球電能比例的2/3.盡管不同地區(qū)的各種能源比例不盡相同,但綠色能源還遠(yuǎn)未得到廣泛應(yīng)用,特別是為數(shù)據(jù)中心配備綠色能源更是充滿了機(jī)遇與挑戰(zhàn).2.2綠色和平組織:積極利用新能源,關(guān)注清潔能源的使用,將能源文化成為重要最新統(tǒng)計(jì)數(shù)據(jù)表明,平均建設(shè)一個(gè)額定功率為100MW的電廠將花費(fèi)60~100百萬美元,并在其生命周期中排放超過50百萬噸的CO2.相比之下,全球數(shù)據(jù)中心在2007年排放了116百萬噸的CO2,而且IT設(shè)備的碳排放量占據(jù)了全球碳排放量的2%.隨著二氧化碳排放量劇增、全球氣候變暖日趨嚴(yán)重,云計(jì)算相關(guān)企業(yè)或機(jī)構(gòu)無疑都將受到越來越多的成本約束和環(huán)境法規(guī)限制.近年來,學(xué)術(shù)界和工業(yè)界一直通過各種方法改善數(shù)據(jù)中心能效(EnergyEfficiency),如利用更好的能耗均增(EnergyProportional)計(jì)算技術(shù)(包括虛擬化、動(dòng)態(tài)開關(guān)服務(wù)器、負(fù)載整合、IT設(shè)備的深度休眠和功耗模式控制),更高效的電力配送及冷卻系統(tǒng).但是,改善能效并不等于就實(shí)現(xiàn)了綠色計(jì)算,因?yàn)閿?shù)據(jù)中心消耗的仍然是傳統(tǒng)的高碳排放量的能源.綠色和平組織(GreenPeace)定義實(shí)現(xiàn)綠色I(xiàn)T的方式是“高能效加新能源”(GreenIT=EnergyEfficiency+RenewableEnergy).為了減少能耗開銷和碳排放量以實(shí)現(xiàn)綠色計(jì)算,充分利用新能源才是根本途徑.新能源一般是指在新技術(shù)基礎(chǔ)上加以開發(fā)利用的可再生能源,包括太陽能、生物質(zhì)能、風(fēng)能等.隨著常規(guī)能源(煤炭、石油、天然氣)的有限性以及環(huán)境問題的日益突出,環(huán)保、可再生的新能源越來越得到各國的重視.能源領(lǐng)域?qū)τ诰G色可再生能源的研究(如太陽能、生物能的利用)從未停歇,而這股潮流隨著云計(jì)算的到來,同樣走向了數(shù)據(jù)中心.綠色和平組織通過對(duì)全球IT公司的數(shù)據(jù)中心清潔能源進(jìn)行評(píng)級(jí),來倡導(dǎo)和激勵(lì)數(shù)據(jù)中心使用新能源.同時(shí),各國政府也紛紛制定鼓勵(lì)節(jié)能減排的法規(guī)和政策.例如,美國加利福尼亞州規(guī)定到2020年其市政電力中33%要來源于新能源.此外,美國還提出多種激勵(lì)補(bǔ)貼方式鼓勵(lì)新能源的應(yīng)用.例如,生產(chǎn)稅收抵免(ProductionTaxCredit,PTC)政策規(guī)定在新能源設(shè)施運(yùn)營的前10年內(nèi),每生產(chǎn)一千瓦時(shí)清潔能量將獲得2.2美分補(bǔ)貼.新能源不但能夠顯著減少高碳電廠的溫室氣體排放,而且具有光明的經(jīng)濟(jì)前景,是減輕未來電力價(jià)格上漲壓力的一種新途徑.例如,用戶在安裝了新能源或者購買了新能源產(chǎn)品之后,可以在多年內(nèi)(如20年)擁有固定的能量價(jià)格.如果數(shù)據(jù)中心所在地區(qū)需要征收煙碳排放稅,或者實(shí)行限額與交易(capand-trade)政策(每家企業(yè)都給了一定量的排碳限額,在限額之內(nèi)排碳免費(fèi);未用完限額可以賣給那些碳排量超過配額的企業(yè)),那么對(duì)新能源的投資將具有較高的性價(jià)比.2.3德國數(shù)據(jù)中心的能源與新能源利用隨著不斷下降的工藝制造費(fèi)用以及大規(guī)模的投資和政府激勵(lì),部署建設(shè)新能源的設(shè)備(如太陽能光伏電板和風(fēng)渦輪)費(fèi)用不斷減低.例如,太陽能的安裝建設(shè)費(fèi)用從1998年的10.87$/Watt下降到2010年的7$/Watt(1).風(fēng)渦輪電能的價(jià)格更是達(dá)到歷史最低值:2011年價(jià)格僅為1.33$/(m·MW-1),相比于2009年的1.06$(m·MW-1)下降了7%,而相比于2007年的1.21$(m·MW-1)下降了19%(2).現(xiàn)在,越來越多的IT企業(yè)和機(jī)構(gòu)正在逐步實(shí)現(xiàn)完全或者部分新能源驅(qū)動(dòng)的數(shù)據(jù)中心,例如GreenHouseData建在美國懷俄明州的風(fēng)能供電數(shù)據(jù)中心(3)和Facebook建在俄勒岡州的太陽能數(shù)據(jù)中心(4).eBay在2012年4月份決定使用30個(gè)BloomEnergy的燃料電池來為其在猶他州的數(shù)據(jù)中心供能(5).Apple將使用太陽能廠和燃料電池站生產(chǎn)60%的電力來驅(qū)動(dòng)其在南加州的數(shù)據(jù)中心(1).2012年4月,綠色和平組織發(fā)布了一份名為《HowCleanisYourCloud?》的報(bào)告,對(duì)著名IT企業(yè)的數(shù)據(jù)中心做了綠色能源評(píng)估.其中,在清潔能源所占比例上,戴爾公司以56.3%的比例排在首位,Google和Facebook分別以39.4%和36.4%排在二、三位.由于戴爾是近幾年才轉(zhuǎn)型到數(shù)據(jù)中心解決方案業(yè)務(wù),所以其新型數(shù)據(jù)中心清潔能源所占比例較高.相比于老牌的IBM、Microsoft、Oracle公司等,Google和Facebook則是近來發(fā)展起來的互聯(lián)網(wǎng)巨頭,更容易采用新技術(shù)和轉(zhuǎn)變能源來源,因此其綠色能源占據(jù)的比例較高也在情理之中.在其它指標(biāo)中(如數(shù)據(jù)中心選址、能源效率及溫室氣體排放、能源回收二次利用),能夠達(dá)到代表綠色環(huán)保的A和B級(jí)別的企業(yè)很少.此外,大部分中小型IT公司由于資金和技術(shù)原因,其數(shù)據(jù)中心更難采用新能源.綜上所述,新能源在數(shù)據(jù)中心的應(yīng)用還有很長一段路要走.2.4傳統(tǒng)電網(wǎng)和新能源的協(xié)同作用2012年6月29日,大規(guī)模雷暴雨襲擊了美國東一區(qū),導(dǎo)致著名的亞馬遜云服務(wù)Amazon’sWebServices(AWS)中斷,嚴(yán)重影響了基于AWS的應(yīng)用服務(wù)商,如Netflix,Instagram和Pinterest(2).此前,亞馬遜在2010年就曾經(jīng)歷了一周內(nèi)4次電力故障,導(dǎo)致所提供的云服務(wù)中斷(3).這些促使人思考一個(gè)問題:現(xiàn)在是時(shí)候讓數(shù)據(jù)中心的運(yùn)營者考慮完全使用非電網(wǎng)的能源嗎?尤其是現(xiàn)在部分運(yùn)營商已經(jīng)成功實(shí)現(xiàn)自己生產(chǎn)部分電能,而用傳統(tǒng)電網(wǎng)作為備用電能.顯然,電網(wǎng)仍然是為數(shù)據(jù)中心供電的最重要和最優(yōu)先方式.電網(wǎng)更加穩(wěn)定可靠,而且考慮到數(shù)據(jù)中心能耗一般在20MW到100MW之間,這樣大規(guī)模的需求很難通過新能源來滿足.亞馬遜Web基礎(chǔ)架構(gòu)專家JamesHamilton指出,Facebook在俄勒岡州建設(shè)的100KW的太陽能電站對(duì)于其能耗25MW的數(shù)據(jù)中心來說仍然遠(yuǎn)遠(yuǎn)不夠(4),僅夠用來為數(shù)據(jù)中心照明,或者僅相當(dāng)于一個(gè)高密度服務(wù)器機(jī)架的能耗.此外,Apple的iDatacenter使用20MW的太陽能電廠來為100MW的數(shù)據(jù)中心提供部分電能.為此,Apple需要清理掉171英畝的土地來放置足夠多的太陽能電板.太陽能電廠在夜晚不能發(fā)電,而且在白天太陽能也是變化的,這導(dǎo)致了僅僅只有部分可用的電能產(chǎn)出.據(jù)Hamilton估算,額定20MW的太陽能電廠只有15.8%的產(chǎn)出,即約3.2MW.據(jù)此,如果Apple想要為整個(gè)數(shù)據(jù)中心供電的話,需要擴(kuò)建24.4倍大的太陽能電廠,達(dá)到額定488MW,占地4172英畝.由此可見,目前數(shù)據(jù)中心仍然不適合完全脫離傳統(tǒng)電網(wǎng).雖然利用新能源能夠改善數(shù)據(jù)中心帶來的環(huán)境問題,但是不能完全代替?zhèn)鹘y(tǒng)高碳電能.如何協(xié)同配合傳統(tǒng)電網(wǎng)和新能源的各自特點(diǎn),仍然是未來的一個(gè)研究方向.2.5改進(jìn)過程中采用的技術(shù)不同于依賴傳統(tǒng)高碳能源的穩(wěn)定供給電網(wǎng),新能源往往是不穩(wěn)定的、間歇性的、動(dòng)態(tài)變化的.為了緩和這種可變性,數(shù)據(jù)中心可以將綠色能源存儲(chǔ)在電池中或者直接連上電網(wǎng).但是這些方法會(huì)導(dǎo)致能量損失和昂貴的電池費(fèi)用.尤其是能量儲(chǔ)存設(shè)備比較昂貴、改進(jìn)過程也比較緩慢,不宜大規(guī)模采用.此外,建設(shè)新能源電廠需要大量的土地.比如,使用太陽能來生產(chǎn)1MW的電能需要5~10英畝的土地(具體數(shù)值依賴于安裝的太陽能電板的不同密集程度和不同發(fā)電效率).同樣,風(fēng)能也需要使用大量的土地,風(fēng)能項(xiàng)目的平均產(chǎn)電能力為2W/m2(5).最大化使用新能源的辦法是根據(jù)新能源的供應(yīng)量來匹配相應(yīng)的能耗需求(計(jì)算任務(wù)).匹配能耗供應(yīng)與需求有很多待研究的問題:什么樣的計(jì)算負(fù)載適合于綠色數(shù)據(jù)中心?采取什么樣的有效技術(shù)來匹配動(dòng)態(tài)變化的能耗需求與供應(yīng)?是否可以允許程序員定制使用哪類節(jié)能技術(shù)?如何準(zhǔn)確預(yù)測太陽能和風(fēng)能的可用量?如何有效管理電池等儲(chǔ)能設(shè)備?能否通過全球范圍內(nèi)的任務(wù)分發(fā)與調(diào)度來最大化利用多區(qū)域的新能源?如何選址配額來實(shí)現(xiàn)最佳的數(shù)據(jù)中心收益與開支平衡?3數(shù)據(jù)處理單元采用新能源的路徑和功能3.1儲(chǔ)能警察參與及能源購買在數(shù)據(jù)中心部署使用新能源有就地(on-site)電站和離站(off-site)電廠兩種方式.就地新能源發(fā)電廠生產(chǎn)的電力可直接為數(shù)據(jù)中心供能,例如Facebook建在俄勒岡州的太陽能數(shù)據(jù)中心.其優(yōu)勢在于幾乎沒有電力傳輸和配送損失.但是位置最好的數(shù)據(jù)中心(土地價(jià)格、水電價(jià)格、網(wǎng)絡(luò)帶寬、可用的勞動(dòng)力、稅收等因素),并不一定具有最佳的資源來部署就地新能源電站.利用新能源的另一種模式就是將新能源電廠建設(shè)在具有豐富資源(如風(fēng)速大或日照強(qiáng))的離站地區(qū),然后通過電網(wǎng)將新能源產(chǎn)生的電力傳送到需要用電的數(shù)據(jù)中心.盡管這種方式具有較大的傳輸損失和電網(wǎng)傳送、儲(chǔ)存的費(fèi)用,但是其電產(chǎn)量更大,而且選址更靈活.由于新能源的不穩(wěn)定性,上述兩種方式均需要采用儲(chǔ)能設(shè)備來緩解產(chǎn)量/供應(yīng)與消費(fèi)/需求之間的不匹配,因此相應(yīng)的儲(chǔ)能開銷(購買費(fèi)用和管理儲(chǔ)能費(fèi)用)也被納入當(dāng)前研究的權(quán)衡考慮之中.由于地區(qū)原因,許多企業(yè)沒有機(jī)會(huì)自己生產(chǎn)新能源.除了直接參與新能源電廠的建造和使用,還有其它間接的方法實(shí)現(xiàn)數(shù)據(jù)中心節(jié)能減排的目的.第一,購買新能源證書(RenewableEnergyCertificates,RECs).這是指數(shù)據(jù)中心與新能源項(xiàng)目簽訂長期合同,以較便宜的協(xié)議價(jià)格購買部分新能源項(xiàng)目的產(chǎn)電量.例如,Google與新紀(jì)元能源公司NextEra簽訂的PPA協(xié)議規(guī)定,Google可以從愛荷華州艾姆斯市的新能源項(xiàng)目中購買20年的114MW的風(fēng)能,為Google在愛荷華州的數(shù)據(jù)中心供電(1).第二,與第三方新能源提供商簽訂能源購買協(xié)議(PowerPurchaseAgreements,PPAs)來間接獲得新能源.可再生能源證書RECs也稱為綠色標(biāo)簽,是一種可以在市場上交易的能源商品.由專門的認(rèn)證機(jī)構(gòu)給可再生能源產(chǎn)生的每1000kWh電力頒發(fā)一個(gè)專有的號(hào)碼,證明其有效性.即1MWh電力對(duì)應(yīng)于1個(gè)單位的證書.綠色證書是可再生能源比例標(biāo)準(zhǔn)的重要一環(huán),它借用市場機(jī)制形成了一項(xiàng)對(duì)使用者的補(bǔ)貼,并以此鼓勵(lì)綠色能源的廣泛應(yīng)用.第三,購買碳補(bǔ)償(carbonoffset)來抵消非清潔能源使用.購買者計(jì)算日常運(yùn)營直接或間接制造的二氧化碳排放量,并計(jì)算抵消這些二氧化碳所需的經(jīng)濟(jì)成本.然后,付款給專門企業(yè)或機(jī)構(gòu),由他們通過植樹或其它環(huán)保項(xiàng)目抵消大氣中相應(yīng)的二氧化碳量.總之,云計(jì)算數(shù)據(jù)中心采用新能源的途徑有多種.不同方式在開銷、復(fù)雜度、資助直接性和公共關(guān)系價(jià)值等方面不盡相同.如圖1所示,這些途徑分為4個(gè)層次:第1種途徑是直接建設(shè)就地新能源電站,這種方式最直接支持利用新能源,因此也得到更多的直接資助;第2種途徑是與新能源開發(fā)商簽訂使用協(xié)議或者成為合作伙伴,獲得離站的新能源,例如能源購買協(xié)議PPA;第3種途徑是購買高質(zhì)量的新能源補(bǔ)償,如碳補(bǔ)償;第4種途徑是購買新能源市場產(chǎn)品,如新能源證書RECs.第3種和第4種途徑相對(duì)前兩種途徑更加便宜且簡單方便,但是所獲得的資助和公共關(guān)系價(jià)值相對(duì)較少.3.2中心運(yùn)營者的能源效率評(píng)價(jià)數(shù)據(jù)中心主要的3個(gè)子系統(tǒng)包括:IT設(shè)備(服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)硬件);冷卻系統(tǒng)(冷卻裝置和風(fēng)扇);配電系統(tǒng)(不間斷電源UPS、配電裝置PDU等).電能使用效率(PowerUsageEfficiency,PUE)是衡量數(shù)據(jù)中心能效的工業(yè)標(biāo)準(zhǔn),其定義為PUE=數(shù)據(jù)中心總能耗/IT設(shè)備能耗.盡管PUE長期作為數(shù)據(jù)中心運(yùn)營者衡量其電力使用效率的標(biāo)準(zhǔn),但它沒有涉及性能和開銷,更沒有考慮評(píng)價(jià)綠色環(huán)保程度(如消耗的能源的碳含量).例如,相比于主要依賴煤燃料供能而具有較低PUE的數(shù)據(jù)中心,一個(gè)主要依靠新能源供能的數(shù)據(jù)中心盡管可能具有較高的PUE,但其產(chǎn)生的污染更少.為了給出標(biāo)準(zhǔn)的方法來評(píng)價(jià)數(shù)據(jù)中心的碳強(qiáng)度,綠色網(wǎng)格組織GreenGrid采用碳使用效率(CarbonUsageEffectiveness,CUE)表示每千瓦時(shí)用電產(chǎn)生的碳排放密集程度.CUE值的計(jì)算方法為數(shù)據(jù)中心總的CO2排放量(kgCO2eq)除以IT設(shè)備能耗(kWh):根據(jù)CUE的定義,其計(jì)算方法也可以轉(zhuǎn)化為能源的碳排放量因子乘以能源的耗用量:碳排放因子是相應(yīng)能源的碳密度,即消耗單位能量所排放的碳量(kgCO2eq/kWh).表3給出了最常見的幾種電力能源的碳排放因子,其中石油和天然氣等化石燃料能源的碳排放因子最大.PPA和REC作為新的綠色能源產(chǎn)品,其開銷與碳排放因子與電網(wǎng)和柴油發(fā)電機(jī)(DieselGenerator,DG)的對(duì)比如表4所示.更多綠色I(xiàn)T評(píng)價(jià)標(biāo)準(zhǔn)參見文獻(xiàn).3.3風(fēng)能與太陽能發(fā)電技術(shù)太陽能和風(fēng)能是給數(shù)據(jù)中心供能的最有前景的兩種綠色能源,原因在于:(1)這兩種能源在全球大部分地區(qū)廣泛存在;(2)它們不會(huì)像水力發(fā)電那樣引起環(huán)境影響(大面積的植被被破壞);(3)它們不會(huì)像核能那樣引起核泄漏和廢物堆積問題.因此,目前關(guān)于新能源在數(shù)據(jù)中心應(yīng)用的研究主要是考慮風(fēng)能和太陽能.據(jù)統(tǒng)計(jì),風(fēng)能和太陽能分別占全球非水能新能源產(chǎn)量的62%和13%(1).由于風(fēng)能和太陽能發(fā)電量與環(huán)境條件緊密相關(guān),如風(fēng)速和日照強(qiáng)度,因此可用電量是不穩(wěn)定的、隨時(shí)間變化的.相應(yīng)地,它們的容量因子也遠(yuǎn)低于傳統(tǒng)電廠(容量因子(capacityfactor)是指實(shí)際產(chǎn)出與最大的額定產(chǎn)出的比值).由于有穩(wěn)定的化石燃料供應(yīng),傳統(tǒng)電廠的容量因子可達(dá)80%甚至更高.依據(jù)年平均風(fēng)速的不同,風(fēng)能的容量因子在20%~45%之間(2).風(fēng)能發(fā)電的開銷主要是前期的安裝部署開銷,其資金支出占據(jù)了生命周期總開銷的75%.比較而言,傳統(tǒng)化石燃料電廠(如天然氣電廠),其燃料和管理運(yùn)維開銷則占據(jù)40%~70%.太陽能光伏發(fā)電系統(tǒng)的光伏電板比風(fēng)能和其它新能源技術(shù)更加昂貴.與風(fēng)能類似,管理運(yùn)維開銷只是光伏發(fā)電系統(tǒng)總開銷的一小部分(3).新能源最主要的優(yōu)點(diǎn)就是一旦建設(shè)好電廠就可以源源不斷的提供電能,而且管理費(fèi)用較低,運(yùn)營過程中不會(huì)排放碳等污染物質(zhì).盡管在在生產(chǎn)、傳輸、安裝、設(shè)備回收利用過程中也會(huì)產(chǎn)生碳污染,但是與傳統(tǒng)電網(wǎng)的碳排放因子585gCO2e/kWh相比,風(fēng)能29gCO2e/kWh和太陽能53gCO2e/kWh的碳排放因子仍然低得多.風(fēng)能和太陽能的顯著特性對(duì)比如表5所示.一方面,風(fēng)能在地理上具有更小的相關(guān)性,而且不管白天還是黑夜都能發(fā)電.因此,對(duì)于面向互聯(lián)網(wǎng)規(guī)模服務(wù)的多區(qū)域分布式數(shù)據(jù)中心而言,風(fēng)能的可用性具有更小的波動(dòng).另一方面,太陽能與數(shù)據(jù)中心負(fù)載都是在白天達(dá)到峰值,具有更佳的匹配性.所以,根據(jù)當(dāng)?shù)仫L(fēng)能資源的質(zhì)量及各個(gè)數(shù)據(jù)中心的負(fù)載特性,最佳的新能源組合是主要使用風(fēng)能,而配合使用相對(duì)較少的太陽能來處理白天時(shí)段的高峰需求.此外,燃料電池是另一種具有巨大前景的新能源.例如,新能源公司BloomEnergy生產(chǎn)一種固體氧化物燃料電池,能夠通過電化反應(yīng)將燃料轉(zhuǎn)化為電.這種新型燃料電池的發(fā)電效率是美國電網(wǎng)的兩倍,而且清潔程度比燃煤電廠高出60%.雖然目前燃料電池較為昂貴,但是其經(jīng)濟(jì)效益正在不斷改善,而且不像其它新能源那樣受限于間歇性.4新能源研究現(xiàn)狀的分類與比較基于目前大量針對(duì)數(shù)據(jù)中心如何利用新能源的研究,本節(jié)首先總結(jié)相關(guān)的評(píng)價(jià)標(biāo)準(zhǔn),并據(jù)此對(duì)現(xiàn)有研究進(jìn)展進(jìn)行分類對(duì)比.4.1數(shù)據(jù)中心策略分類表6歸納了目前數(shù)據(jù)中心使用新能源策略的分類和評(píng)價(jià)標(biāo)準(zhǔn).首要的標(biāo)準(zhǔn)就是時(shí)間尺度,它決定采用的機(jī)制和策略的更新頻率,可以分為在線策略和離線策略.在線策略是在系統(tǒng)運(yùn)行過程中實(shí)時(shí)執(zhí)行的,時(shí)間尺度一般較小,如毫秒或者秒級(jí).離線策略是在系統(tǒng)運(yùn)行之前就指定好的,時(shí)間尺度一般較大,如每小時(shí)級(jí)的,這類策略通常用于系統(tǒng)設(shè)計(jì)和資源部署中.第二,根據(jù)數(shù)據(jù)中心系統(tǒng)結(jié)構(gòu)的不同層次,可以分為單機(jī)部件級(jí)策略、數(shù)據(jù)中心整體策略和跨區(qū)域數(shù)據(jù)中心之間的策略.不同層次的策略需要不同的通信量.有些策略需要跨層次的信息通信,或者需要多層之間相互協(xié)作.第三,也可以根據(jù)策略所需信息的來源進(jìn)行分類.例如,策略所作決策可以基于即時(shí)信息,也可以基于歷史觀測值,或者基于預(yù)測信息(預(yù)測一般即取決于即時(shí)信息和歷史記錄信息).第四,根據(jù)數(shù)據(jù)中心的負(fù)載類型不同,策略可以分為即時(shí)交互性型服務(wù)策略和批處理延遲容忍型服務(wù)策略.不同的作業(yè)對(duì)于性能的要求不同,要求的服務(wù)響應(yīng)時(shí)間也不同.例如,Web服務(wù)一般要求實(shí)時(shí)響應(yīng),而后臺(tái)處理和科學(xué)計(jì)算等作業(yè)就屬于延遲容忍型服務(wù),只需要在一定時(shí)間段完成.第五,數(shù)據(jù)中心可以選擇多種能源,不同的策略針對(duì)的新能源種類也不盡相同.例如,前面介紹的就地新能源和離站新能源;太陽能、風(fēng)能、燃料電池;可再生能源補(bǔ)貼金RECs、碳補(bǔ)償?shù)榷喾N形式的綠色能源選擇.有的策略考慮完全利用新能源為數(shù)據(jù)中心供電,而有的策略則采用多種新能源組合為數(shù)據(jù)中心供能.最后一種重要的分類標(biāo)準(zhǔn)是研究方法,它反映方案的現(xiàn)實(shí)可用性和評(píng)測方法.具體分為離散時(shí)間模擬方法、設(shè)計(jì)原型系統(tǒng)、形式化建模分析以及數(shù)值模擬方法等.所有方法均有其局限性和優(yōu)缺點(diǎn).例如,相對(duì)于真實(shí)系統(tǒng)平臺(tái)或原型系統(tǒng),理論分析和模擬的研究給出了不依賴于具體平臺(tái)和實(shí)現(xiàn)的結(jié)果,但是真實(shí)原型系統(tǒng)則反映了相應(yīng)研究領(lǐng)域的成熟程度.4.2數(shù)據(jù)中心能源調(diào)度與負(fù)載均衡氣依據(jù)表6的分類標(biāo)準(zhǔn),表7對(duì)比了近年來數(shù)據(jù)中心應(yīng)用新能源策略的研究進(jìn)展.不同的機(jī)制策略可歸類為:第一,新能源模型和預(yù)測機(jī)制.由于不同新能源具有不同的特性(如前面介紹的發(fā)電量和碳排放量因素、因此間歇性和動(dòng)態(tài)變化等),因此,為了最大化利用新能源,我們需要建模預(yù)測未來可用的新能源量,以此來調(diào)度作業(yè),匹配能耗供應(yīng)與需求.第二,數(shù)據(jù)中心能源配額規(guī)劃:主要涉及研究新建數(shù)據(jù)中心或者新增新能源時(shí),如何選擇最佳的能源組合來最小化開銷和碳排放量,并同時(shí)滿足相應(yīng)能耗需求.第三,新能源數(shù)據(jù)中心內(nèi)作業(yè)調(diào)度機(jī)制:主要研究如何依據(jù)新能源可用量,來分級(jí)調(diào)度交互性和延遲容忍型作業(yè)、調(diào)節(jié)服務(wù)功耗狀態(tài)以最大化利用新能源.第四,新能源數(shù)據(jù)中心間負(fù)載均衡機(jī)制:針對(duì)不同地區(qū)數(shù)據(jù)中心的不同新能源可用量和不同碳排放量,負(fù)載均衡器將請(qǐng)求分發(fā)到不用的地區(qū)進(jìn)行執(zhí)行處理,從而最大化新能源的利用、減少能耗開銷和碳排放量.下面,將分別詳細(xì)闡述這4類研究.5新能源利用機(jī)制和戰(zhàn)略本節(jié)首先對(duì)新能源在數(shù)據(jù)中心應(yīng)用的4個(gè)方面進(jìn)行闡述,如圖2所示.然后,我們分析總結(jié)國內(nèi)綠色數(shù)據(jù)中心的研究現(xiàn)狀.5.1新能源模型與預(yù)測機(jī)制5.1.1模型中的pynd風(fēng)渦輪正在全球范圍內(nèi)大量安裝部署.據(jù)預(yù)測,2030年美國的電力將有20%來源于風(fēng)能.風(fēng)能電站中風(fēng)渦輪的發(fā)電量是實(shí)際風(fēng)速的函數(shù).例如,在風(fēng)速為v的情況下,一個(gè)風(fēng)渦輪的發(fā)電量pwind近似模型為其中vr和pr分別是風(fēng)渦輪的額定風(fēng)速和能量,vin和vout是切入和切出風(fēng)速.切入風(fēng)速是指渦輪開始旋轉(zhuǎn)并發(fā)電的風(fēng)速,典型值為3~4m/s.切出風(fēng)速是制動(dòng)系統(tǒng)為了避免不斷上升的風(fēng)速使渦輪毀壞而讓渦輪停止的風(fēng)速,一般在25m/s.在大規(guī)模的風(fēng)力發(fā)電廠,假設(shè)有大量的風(fēng)渦輪,數(shù)量為mw,那么整個(gè)系統(tǒng)的發(fā)電量大約是每個(gè)風(fēng)渦輪發(fā)電量的總和:其中,pkwind是第k個(gè)風(fēng)渦輪在風(fēng)速為v的時(shí)候的發(fā)電量.5.1.2光伏電板最大太陽能產(chǎn)量mpp的計(jì)算方法光伏太陽能發(fā)電量在全球呈指數(shù)級(jí)增長.在不同的天氣條件下(例如日照強(qiáng)度和溫度),光伏電板的發(fā)電量是不同的.單向二極管反應(yīng)式被廣泛應(yīng)用來模擬單向光伏電板發(fā)電量.具體而言,光伏電板的電流電壓特性為其中:Iph是光照產(chǎn)生的電流;Io是周圍天氣模式的飽和暗電流.單向二極管模型也考慮了光伏電板的串聯(lián)和并聯(lián)的電阻Rs和Rsh.Vth是結(jié)合點(diǎn)熱電壓,如Vth=kT/q,其中k是波爾茲曼常數(shù),q是電子電荷,而T是環(huán)境溫度.ns是光伏電板上的串聯(lián)的單元格數(shù)目,如典型電板上ns=72.為了表示變化的天氣條件對(duì)光伏電板發(fā)電量的影響,往往通過引入兩個(gè)關(guān)鍵因素———日照和溫度,將式(5)轉(zhuǎn)變?yōu)槭?6)即可.飽和暗電流Io只與環(huán)境溫度有關(guān)而與日照強(qiáng)度無關(guān).對(duì)于高質(zhì)量的太陽能電板,它的串聯(lián)電阻Rs一般較小而并聯(lián)電阻Rsh很大.因此,在太陽能發(fā)電模型中只考慮串聯(lián)電阻,而將并聯(lián)電阻假設(shè)為無窮大(Rsh=∞).進(jìn)而,Iph可以簡化為Isc,其中Isc是短路電流.Isc與日照強(qiáng)度和周圍溫度成正比例關(guān)系.如下式:和T0分別是在標(biāo)準(zhǔn)測試條件下的日照強(qiáng)度和溫度,G0=1000W/m2,T0=25℃,Isc、Voc、kv和ki分別為短路電流、開路電壓和標(biāo)準(zhǔn)測試條件下的短路和開路溫度系數(shù).光伏電板在變化的溫度和日照條件下的太陽能,是基于式(5)中伏安特性下的輸出電壓和電流的乘積,即psolar=v(G,T)·i(G,T).在均勻的日照和溫度環(huán)境下,太陽能產(chǎn)量Psolar的最大值是唯一的.光伏電板的最大太陽能產(chǎn)量mpp是在最佳負(fù)載rmp和相應(yīng)的電流imp下取得的,其中因此,mpp=i2mp·rmp.假設(shè)一共有ms個(gè)光伏電板,在變化的日照和溫度下,太陽能發(fā)電廠的發(fā)電量為其中mppk是第k個(gè)光伏電板在溫度T和日照G的條件下的最大發(fā)電量.5.1.3建模與預(yù)測算法的對(duì)比關(guān)系小將新能源融入電網(wǎng)的挑戰(zhàn)之一就在于新能源是間歇性的,而且是不可控的.因此,預(yù)測未來新能源的可用量是極為重要的.隨著新能源產(chǎn)電量的變化,電網(wǎng)必須動(dòng)態(tài)調(diào)度發(fā)電機(jī)來滿足能耗需求.同時(shí),通過預(yù)測新能源產(chǎn)量的變化趨勢,可以指導(dǎo)作業(yè)調(diào)度和能耗管理機(jī)制來充分利用可用的新能源.對(duì)于太陽能的預(yù)測,文獻(xiàn)使用多種時(shí)間序列預(yù)測算法,例如估計(jì)加權(quán)移動(dòng)平均(EstimatedWeightedMovingAverage,EWMA)算法和天氣條件移動(dòng)平均(Weather-ConditionedMovingAverage,WCMA)算法.由于太陽能變化的連續(xù)性和周期性,EWMA算法在天氣條件穩(wěn)定的時(shí)候可以準(zhǔn)確預(yù)測可用太陽能.但是,當(dāng)天氣頻繁變化的時(shí)候,算法的準(zhǔn)確度較差,平均預(yù)測錯(cuò)誤率高達(dá)32.6%.WCMA算法考慮了最近幾天發(fā)電量的平均值以及天氣條件與前幾天的對(duì)比.其在天氣條件極差的情況下也具有較高的準(zhǔn)確率.例如,當(dāng)預(yù)測窗口為30min時(shí),平均預(yù)測錯(cuò)誤率僅為9.6%.但是,WCMA算法只能預(yù)測未來一個(gè)時(shí)段的值.文獻(xiàn)基于天氣預(yù)報(bào)服務(wù),利用機(jī)器學(xué)習(xí)方法,提出了一種自動(dòng)的太陽能預(yù)測模型.利用多種回歸預(yù)測技術(shù),包括線性最小二乘法和支持向量機(jī)(SupportVectorMachines,SVM)的負(fù)荷預(yù)測方法,最后得出預(yù)測模型為式(10)所示.該方法的準(zhǔn)確性比傳統(tǒng)時(shí)間序列預(yù)測模型高27%.盡管上述太陽能預(yù)測策略較為準(zhǔn)確,但是計(jì)算復(fù)雜度較高.文獻(xiàn)[15-16]假設(shè)預(yù)測太陽能發(fā)電量是與云覆蓋面(CloudCover)成反比的,其表達(dá)式為Ep(t)=B(t)(1-CloudCover),其中Ep(t)是在t時(shí)刻預(yù)測可用的太陽能量,B(t)是在陽光充足的理想狀況下的太陽能量,CloudCover是預(yù)測的被云覆蓋的比例(在0~1之間取值).可利用歷史數(shù)據(jù)來初始化計(jì)算B(t),并利用天氣預(yù)報(bào)來預(yù)測CloudCover.然而,天氣預(yù)報(bào)也存在錯(cuò)誤.例如,對(duì)風(fēng)暴的預(yù)測經(jīng)常是不準(zhǔn)確的.此外,天氣也不是影響太陽能發(fā)電的唯一因素.為了提高預(yù)測的準(zhǔn)確性,也可以使用過去(如1小時(shí)前)的觀測值來預(yù)測當(dāng)前的CloudCover.對(duì)于風(fēng)能的預(yù)測,文獻(xiàn)依據(jù)風(fēng)速和風(fēng)向,設(shè)計(jì)了一種新的預(yù)測可用風(fēng)能的預(yù)測器.其算法根據(jù)每30min間隔的風(fēng)速和風(fēng)向數(shù)據(jù),制定加權(quán)最近鄰居表以生成風(fēng)能曲線.通過給不同時(shí)間的結(jié)果賦予不同的權(quán)值,加權(quán)表可以使得算法適應(yīng)于季節(jié)變化.而能量曲線具有靈活性,使得算法可以適用于不同的風(fēng)能電場.合適的能量曲線應(yīng)該依據(jù)最近的風(fēng)量、風(fēng)向和發(fā)電量來不斷更新:其中,Pnew(v,d)是在風(fēng)速為v、風(fēng)向?yàn)閐的時(shí)候的能量曲線表記錄,Pold(v,d)是相同風(fēng)速和風(fēng)向的條件下的現(xiàn)存能耗曲線記錄,而Pobs(v,d,t)是在時(shí)刻t的觀測能量值.α在0~1之間取值,實(shí)現(xiàn)結(jié)果發(fā)現(xiàn)α=0.75的時(shí)候預(yù)測結(jié)果與真實(shí)值最一致.這表示應(yīng)該給予最近觀測值更高的權(quán)重.未來時(shí)段風(fēng)能的預(yù)測通過風(fēng)速和風(fēng)向來查找表中數(shù)值:通過一年的真實(shí)數(shù)據(jù)實(shí)驗(yàn)發(fā)現(xiàn),該算法在預(yù)測窗口為30min時(shí)的平均錯(cuò)誤率為17.2%,比傳統(tǒng)時(shí)間序列預(yù)測算法更準(zhǔn)確而且計(jì)算開銷較小.5.2能源組合優(yōu)化在數(shù)據(jù)中心升級(jí)、考慮引用新能源來節(jié)能減排,或者新建數(shù)據(jù)中心時(shí),數(shù)據(jù)中心運(yùn)營者面臨如下問題:如何規(guī)劃供電系統(tǒng)的能源組合?如何選擇各種新能源額定功率大小(配額)?而這需要考慮不同的新能源來源(風(fēng)能或太陽能、直接可用新能源或間接的新能源市場產(chǎn)品)、不同能源的不同費(fèi)用和單位碳排放量、儲(chǔ)電設(shè)備、負(fù)載、不同地區(qū)的天氣條件、激勵(lì)政策、服務(wù)協(xié)議SLA、稅收以及電網(wǎng)功率等等因素.這使得制定因地制宜的能源組合、配額規(guī)劃方案更具挑戰(zhàn)性.ReRack是一個(gè)可以輸入上述不同因素的模擬優(yōu)化器,可用來評(píng)估使用新能源的數(shù)據(jù)中心的能耗開銷.ReRack主要包含兩個(gè)部分:一是模擬器,用來分析新能源的效益,其模型既可以表示數(shù)據(jù)中心的能耗需求也可以模擬不同地區(qū)的新能源變動(dòng)情況;二是優(yōu)化器,用來尋找對(duì)于給定地區(qū)和負(fù)載的開銷最佳的求解空間.文獻(xiàn)提出的碳感知能源規(guī)劃方法可以幫助數(shù)據(jù)中心操作人員設(shè)計(jì)可持續(xù)發(fā)展的新能源驅(qū)動(dòng)的系統(tǒng).該方法假設(shè)數(shù)據(jù)中心內(nèi)部的IT設(shè)備、冷卻設(shè)備、供電設(shè)備都齊全,而需要規(guī)劃的決策是多種新能源的配額以及儲(chǔ)能設(shè)備(EnergyStorageDevices,ESD)的大小.能源來源包括就地新能源、離站新能源、電網(wǎng)、就地柴油發(fā)電機(jī)、儲(chǔ)能設(shè)備和間接的新能源市場的產(chǎn)品(如REC和PPA).通過考慮不同碳足跡指標(biāo)、新能源特性、激勵(lì)政策、稅費(fèi),該方法的目標(biāo)優(yōu)化函數(shù)是最小化上述所有能源組合的費(fèi)用開銷.基于此優(yōu)化框架,大量真實(shí)數(shù)據(jù)(trace)驅(qū)動(dòng)的仿真實(shí)驗(yàn)顯示:(1)新能源不僅可以減少數(shù)據(jù)中心的碳排放量,而且可以減少開支;(2)就地新能源可以減少開銷的原因在于它們能直接為數(shù)據(jù)中心供電,而減少對(duì)電網(wǎng)的峰值需求,而傳統(tǒng)的作法則是運(yùn)用更昂貴的ESDs來實(shí)現(xiàn)相同的目標(biāo);(3)減少碳排放量的最有效方式取決于碳足跡的目標(biāo):對(duì)于比較低的減排目標(biāo)(不超過30%),最好使用就地可用的新能源;更高的碳排放減少目標(biāo)就需要使用離站新能源;而零碳排放目標(biāo)就必須借助于新能源產(chǎn)品,如RECs.然而,上述能源供應(yīng)規(guī)劃方案忽視了對(duì)數(shù)據(jù)中心能耗需求的考慮.文獻(xiàn)提出了一種能耗管理規(guī)劃方案,使得數(shù)據(jù)中心的負(fù)載能耗需求與供應(yīng)相匹配.電能供應(yīng)可以來源于電網(wǎng)、新能源和儲(chǔ)能設(shè)備.其中,新能源的供應(yīng)是隨時(shí)間變化的,依賴于新能源來源、發(fā)電機(jī)地理位置和天氣條件.能耗需求主要取決于隨時(shí)間變化的數(shù)據(jù)中心負(fù)載和所采取的能耗管理策略.該方法采用DVFS和服務(wù)器整合技術(shù)來調(diào)節(jié)CPU功耗和服務(wù)器個(gè)數(shù),并設(shè)置能耗上限來控制能耗需求.儲(chǔ)能技術(shù)用來儲(chǔ)存多余的電能,并用來平滑由于間歇性新能源導(dǎo)致的不穩(wěn)定電能供應(yīng).以上幾種配額規(guī)劃方案都沒有考慮新能源對(duì)公眾健康及地區(qū)經(jīng)濟(jì)效益的影響.為此,文獻(xiàn)提出了一種系統(tǒng)最佳能源組合模型,能夠考慮電網(wǎng)的可靠性、電力開銷、污染對(duì)健康的影響、對(duì)建筑環(huán)境的影響、對(duì)景點(diǎn)的影響、對(duì)當(dāng)?shù)刎?cái)富和環(huán)境的影響.而且,該模型可以模擬這些因素之間的交互影響,提供決策信息來設(shè)計(jì)最佳的電力能源組合.但是該模型只是概念模型,并沒有嚴(yán)格的形式化數(shù)學(xué)表達(dá).雖然現(xiàn)在越來越多的數(shù)據(jù)中心使用新能源來減少碳排放量,但是只有少數(shù)的綠色環(huán)??蛻舨艑?duì)新能源感興趣,而大部分的普通用戶并不關(guān)心數(shù)據(jù)中心是否使用綠色能源.為此,數(shù)據(jù)中心可以提供差異性服務(wù):新能源僅僅為服務(wù)綠色環(huán)保客戶的服務(wù)器供能.在新能源加入數(shù)據(jù)中心供電系統(tǒng)時(shí),應(yīng)該規(guī)劃哪些服務(wù)器提供的服務(wù)由新能源支持,哪些服務(wù)器提供的服務(wù)由傳統(tǒng)電網(wǎng)支持.在相關(guān)研究中,新能源通過并網(wǎng)設(shè)備(gridtie)將就地新能源并入電網(wǎng),而電網(wǎng)作為備用能源,當(dāng)新能源不足的時(shí)候才使用電網(wǎng),而當(dāng)新能源富余時(shí)就存儲(chǔ)在電網(wǎng)中.在并網(wǎng)的數(shù)據(jù)中心中,新能源在供電系統(tǒng)的比例取決于新能源的產(chǎn)量,以及并網(wǎng)設(shè)備下的服務(wù)器數(shù)量.該方法能夠量化不同的并網(wǎng)設(shè)備放置方案對(duì)于新能源利用率的影響.例如,在機(jī)架級(jí)別放置并網(wǎng)設(shè)備可以增加每小時(shí)新能源利用率的1.76倍.5.3綠色云存儲(chǔ)設(shè)備的工作規(guī)劃機(jī)制5.3.1ha作業(yè)可用量預(yù)測為了研究數(shù)據(jù)中心如何利用不穩(wěn)定的新能源、如何匹配負(fù)載的能耗需求與變化的新能源供應(yīng),美國羅格斯大學(xué)的研究者設(shè)計(jì)并實(shí)現(xiàn)了太陽能驅(qū)動(dòng)的小型數(shù)據(jù)中心μdatacenter———Parasol.最近,他們又為綠色數(shù)據(jù)中心設(shè)計(jì)了兩個(gè)負(fù)載調(diào)度系統(tǒng):GreenSlot和GreenHadoop.這兩個(gè)系統(tǒng)均假設(shè):(1)數(shù)據(jù)中心既與太陽能電站連接也與電網(wǎng)連接;(2)沒有蓄電設(shè)備.系統(tǒng)目標(biāo)都是最大化利用太陽能.非清潔能源只在太陽能不足的時(shí)候才被利用.GreenSlot是一個(gè)批處理作業(yè)調(diào)度器,它擴(kuò)展了SLURM模擬器(SLURM是一種可用于大型計(jì)算節(jié)點(diǎn)集群的高度可伸縮和容錯(cuò)的集群管理器和作業(yè)調(diào)度系統(tǒng)).用戶提交作業(yè)時(shí)需要設(shè)定所需的結(jié)點(diǎn)數(shù)、期望的運(yùn)行時(shí)間和截止期限.基于歷史數(shù)據(jù)和天氣預(yù)報(bào),GreenSlot首先預(yù)測未來太陽能的可用量.在滿足作業(yè)的延時(shí)要求情況下,GreenSlot盡可能將作業(yè)延遲到未來新能源可用的時(shí)候再執(zhí)行,如圖3所示.其中,回填算法是在先來先服務(wù)算法的基礎(chǔ)上,將隊(duì)列中較小的作業(yè)回填到空閑CPU,以提高CPU利用率.每個(gè)長方形代表結(jié)點(diǎn)的個(gè)數(shù)和每個(gè)作業(yè)大概需要的時(shí)間.垂直線為作業(yè)的最后完成期限.GreenSlot延遲部分作業(yè)的執(zhí)行(只要不超過截止期限)以保證新能源的利用.例如,GreenSlot延遲作業(yè)J1到截止期限之前,從而盡可能多地利用可用的新能源.如果為了滿足延時(shí)要求而不得不使用傳統(tǒng)電網(wǎng)時(shí),GreenSlot則選擇電價(jià)較為便宜的時(shí)候執(zhí)行作業(yè).類似地,GreenHadoop在Hadoop數(shù)據(jù)處理的框架下改進(jìn)作業(yè)調(diào)度器來最大化新能源的利用.但是調(diào)度管理Hadoop作業(yè)的能耗更加困難,因?yàn)镠adoop作業(yè)不設(shè)定需要使用的服務(wù)器個(gè)數(shù)、運(yùn)行時(shí)間和所需能耗等信息.此外,能耗調(diào)度器需要保證管理的服務(wù)器上具有運(yùn)行作業(yè)所需的數(shù)據(jù).但是,GreenSlot和GreenHadoop調(diào)度系統(tǒng)不適合交互式延遲敏感型應(yīng)用.文獻(xiàn)既考慮批處理這樣的延遲容忍型作業(yè),又考慮Web服務(wù)這樣的延遲敏感型應(yīng)用.對(duì)于這兩種不同類型的作業(yè),調(diào)度器設(shè)置兩個(gè)不同的隊(duì)列.對(duì)于Web服務(wù),系統(tǒng)限定每個(gè)服務(wù)器上的請(qǐng)求個(gè)數(shù),并在計(jì)算資源可用時(shí)立即執(zhí)行,以滿足響應(yīng)時(shí)間要求.而對(duì)于批處理作業(yè),則利用前面5.1.3小節(jié)總結(jié)的風(fēng)能和太陽能可用量預(yù)測機(jī)制,自適應(yīng)地延遲調(diào)度每個(gè)服務(wù)器的作業(yè)來充分利用新能源.雖然該方法使用的新能源預(yù)測算法相對(duì)于GreenSlot和GreenHadoop系統(tǒng)更為復(fù)雜,但是準(zhǔn)確性更高,調(diào)度失誤率更低.類似地,加州大學(xué)伯克利分校的研究者也同時(shí)針對(duì)批處理任務(wù)和交互型服務(wù)設(shè)計(jì)了能源敏捷型集群.對(duì)于批處理任務(wù),該方法同樣通過新能源感知的松弛調(diào)度來最大化風(fēng)能的利用.不同的是,對(duì)于交互型服務(wù),系統(tǒng)通過降低服務(wù)質(zhì)量(如增加響應(yīng)時(shí)間、選擇性地拒絕部分請(qǐng)求)來減少能耗.其代價(jià)是影響服務(wù)質(zhì)量.5.3.2太陽能驅(qū)動(dòng)的多核體系架構(gòu)除了通過延遲處理作業(yè)來匹配可用新能源的方式外,另一種利用新能源的調(diào)度方式就是調(diào)節(jié)處理器或者服務(wù)器的功耗狀態(tài)來調(diào)節(jié)能耗需求,從而匹配可用的新能源.在處理器層次,佛羅里達(dá)大學(xué)的IDEAL實(shí)驗(yàn)室設(shè)計(jì)了SolarCore,一種太陽能驅(qū)動(dòng)的多核體系架構(gòu)下的能耗管理方案.SolarCore依據(jù)可用的太陽能動(dòng)態(tài)地設(shè)置處理器的能耗預(yù)算,并利用DVFS技術(shù)根據(jù)吞吐率和能耗的比值來動(dòng)態(tài)調(diào)節(jié)每個(gè)核的負(fù)載,以充分利用新能源實(shí)現(xiàn)最佳的性能.當(dāng)太陽能利用率低于一定閾值時(shí)就開啟備用電源(電網(wǎng)).類似地,對(duì)于服務(wù)器集群,Blink基于變化的可用新能源電量,利用快速休眠狀態(tài),動(dòng)態(tài)調(diào)節(jié)每個(gè)服務(wù)器的功耗狀態(tài)來匹配能耗供應(yīng).不同的是,該方法假設(shè)集群完全依賴綠色能源,不與電網(wǎng)連接.但是,目前數(shù)據(jù)中心僅僅依靠綠色能源是不實(shí)際的,原因在于間歇、不穩(wěn)定的新能源可能會(huì)導(dǎo)致無法控制的性能損失、服務(wù)中斷和斷電.5.3.3利用虛擬機(jī)遷移技術(shù)上述這幾種延遲處理作業(yè)或者調(diào)節(jié)硬件功耗狀態(tài)的方式會(huì)一定程度上影響服務(wù)質(zhì)量.IDEAL實(shí)驗(yàn)室的另一個(gè)研究成果是iSwitch.為了最大化利用間歇、不穩(wěn)定的新能源,iSwitch在兩組服務(wù)器之間動(dòng)態(tài)調(diào)節(jié)負(fù)載:一組服務(wù)器依靠新能源供能,而另一組依靠傳統(tǒng)電網(wǎng)供能.根據(jù)能源波動(dòng)利用虛擬機(jī)遷移技術(shù),當(dāng)新能源不足時(shí)就將負(fù)載遷移到電網(wǎng)服務(wù)器組;當(dāng)新能源充足時(shí)就將任務(wù)遷移到新能源服務(wù)器組.但是,能耗需求的波動(dòng)性和新能源的不穩(wěn)定性導(dǎo)致引入了很多不必要的負(fù)載調(diào)度開銷.文獻(xiàn)在管理負(fù)載時(shí)集中考慮了新能源供應(yīng)、動(dòng)態(tài)的電價(jià)、冷卻方式等因素,來改善數(shù)據(jù)中心運(yùn)營的節(jié)能環(huán)保可持續(xù)性.系統(tǒng)首先預(yù)測可用的新能源和IT需求,然后依據(jù)這些預(yù)測數(shù)據(jù)來產(chǎn)生IT負(fù)載管理策略———依據(jù)變化的能源供應(yīng)和冷卻效率在數(shù)據(jù)中心中調(diào)度負(fù)載和分配資源.真實(shí)數(shù)據(jù)驅(qū)動(dòng)的實(shí)驗(yàn)顯示該方法在保證服務(wù)質(zhì)量SLA的同時(shí),可以減少60%的能耗開銷和非清潔能源的使用量.實(shí)驗(yàn)回答了3個(gè)關(guān)鍵問題:(1)通過新能源和冷卻感知的負(fù)載管理方式能獲得多少益處(減少電力開支和環(huán)境影響)?(2)零電網(wǎng)能耗可能實(shí)現(xiàn)嗎?(3)哪種新能源更有價(jià)值?最優(yōu)的新能源組合是怎樣的?5.4數(shù)據(jù)中心復(fù)制云服務(wù)提供商通常在全球多個(gè)地區(qū)擁有自己的數(shù)據(jù)中心:一是為了盡可能快地為全球客戶服務(wù);二是為了故障恢復(fù)(數(shù)據(jù)在不同地區(qū)的數(shù)據(jù)中心復(fù)制多份);三是為了更好利用不同地區(qū)的能源供應(yīng)、電價(jià)、冷卻方式、稅費(fèi)之間的差異.當(dāng)然,不同地區(qū)的數(shù)據(jù)中心的可用新能源量是不同的、波動(dòng)趨勢也不盡相同,所以越來越多的研究者發(fā)現(xiàn)在跨區(qū)域數(shù)據(jù)中心之間合理地進(jìn)行負(fù)載遷移和請(qǐng)求分發(fā),不僅可以減少總體費(fèi)用,而且可以充分利用各地的可用新能源、減少碳排放量.5.4.1不同數(shù)據(jù)中心的負(fù)載均衡劍橋大學(xué)的學(xué)者提出了FreeLunch架構(gòu).他們假設(shè)多個(gè)數(shù)據(jù)中心擁有新能源,而這些產(chǎn)出不穩(wěn)定的新能源不被使用就會(huì)被浪費(fèi).數(shù)據(jù)中心之間通過專有網(wǎng)絡(luò)連接.FreeLunch根據(jù)可用能源來無縫執(zhí)行和遷移虛擬機(jī),將任務(wù)遷移到有富余新能源的數(shù)據(jù)中心.但是,實(shí)現(xiàn)FreeLunch這種通過虛擬機(jī)遷移負(fù)載來充分利用新能源的思想有以下5點(diǎn)挑戰(zhàn):(1)虛擬機(jī)在線遷移具有很大性能開銷.例如,在新西蘭和澳大利亞的數(shù)據(jù)中心之間遷移的最小延時(shí)是67ms.(2)FreeLunch假設(shè)系統(tǒng)中所有服務(wù)器都連接到網(wǎng)絡(luò)附加存儲(chǔ)(NetworkAttachedStorage).在單個(gè)數(shù)據(jù)中心這個(gè)假設(shè)是合理的,但是在多個(gè)不同地區(qū)的數(shù)據(jù)中心之間,虛擬機(jī)的遷移需要保證虛擬機(jī)磁盤狀態(tài)和數(shù)據(jù)的一致.(3)多個(gè)數(shù)據(jù)中心之間的虛擬機(jī)磁盤鏡像放置也是一個(gè)挑戰(zhàn).虛擬機(jī)的正常運(yùn)行需要磁盤鏡像隨時(shí)可訪問.虛擬機(jī)只能被放置或遷移到具有鏡像的數(shù)據(jù)中心中.(4)FreeLunch比較適用于無狀態(tài)的、非交互型、訪問數(shù)據(jù)量小的應(yīng)用.大量的網(wǎng)絡(luò)延時(shí)使其難以滿足延遲敏感和交互型應(yīng)用的服務(wù)等級(jí)協(xié)議SLA.尤其是當(dāng)負(fù)載具有大量的磁盤訪問操作時(shí),負(fù)載遷移的時(shí)間和數(shù)據(jù)處理使其開銷更大.(5)FreeLunch假設(shè)數(shù)據(jù)中心的計(jì)算資源與綠色能源來源是在一個(gè)地點(diǎn)的.因此,更合理地利用不同地區(qū)數(shù)據(jù)中心的新能源、減少碳排放量的方式,是分發(fā)用戶網(wǎng)絡(luò)請(qǐng)求,依據(jù)可用新能源或碳排放量的不同來均衡各個(gè)數(shù)據(jù)中心的請(qǐng)求數(shù)量.加州理工學(xué)院的Wierman等人從理論和實(shí)驗(yàn)上證明這種方法的可行性.他們?cè)谖墨I(xiàn)中研究互聯(lián)網(wǎng)系統(tǒng)完全利用新能源的可行性.研究發(fā)現(xiàn)小規(guī)模的儲(chǔ)能設(shè)備配合分布式請(qǐng)求轉(zhuǎn)發(fā)機(jī)制,對(duì)于完全依賴于新能源的數(shù)據(jù)中心就足夠了.最佳的新能源組合是主要用風(fēng)能,而使用相對(duì)較少的太陽能來處理白天時(shí)段的高峰需求.他們?cè)谖墨I(xiàn)中研究跨數(shù)據(jù)中心的負(fù)載均衡能否刺激新能源的利用、減少化石燃料的使用.此研究主要針對(duì)新能源輸出的電量接入到電網(wǎng),進(jìn)而為數(shù)據(jù)中心供電的情形.研究發(fā)現(xiàn)負(fù)載均衡機(jī)制的好處取決于新能源加入電網(wǎng)后的定價(jià)方式.例如,一個(gè)地區(qū)餓電價(jià)p定義為其中,pb表示非清潔能源的價(jià)格,pg表示清潔能源的價(jià)格,a(t)表示清潔能源在電網(wǎng)中所占的比例.如果pb=pg則表示靜態(tài)電價(jià),那么各個(gè)數(shù)據(jù)中心之間的請(qǐng)求轉(zhuǎn)發(fā)并不會(huì)刺激新能源的引入.而如果pg≠pb,電價(jià)與非清潔能源所占比例成正相關(guān),那么請(qǐng)求轉(zhuǎn)發(fā)將大大減少非清潔能源的使用.pg=0表示最佳的定價(jià).5.4.2資源利用的流程首先面對(duì)的問題就是多少請(qǐng)求、哪些請(qǐng)求應(yīng)該被轉(zhuǎn)發(fā).文獻(xiàn)提出了一種準(zhǔn)確評(píng)估每個(gè)請(qǐng)求所需能耗的模型.基于從性能計(jì)數(shù)器(Performancecounter)收集每個(gè)CPU周期的3個(gè)指標(biāo):L2級(jí)cache訪問次數(shù)Ccache、內(nèi)存事務(wù)數(shù)Cmem和非停止CPU周期數(shù)比例Cnonhalt,請(qǐng)求能耗模型如下:其中參數(shù)p是該線性模型的系數(shù),帶有ceil上標(biāo)的C符號(hào)分別表示3個(gè)指標(biāo)的上限.依據(jù)不同請(qǐng)求的不同能耗,服務(wù)商可以基于不同數(shù)據(jù)中心中可用的新能源電量來決策如何分發(fā)哪些請(qǐng)求來充分利用新能源.由于目前新能源單位電量價(jià)格仍然比電網(wǎng)價(jià)格高,因此為了減少碳排放量而使用新能源可能會(huì)導(dǎo)致云服務(wù)商的預(yù)算超支.為此,文獻(xiàn)提出了GreenWare系統(tǒng),用于解決兩個(gè)問題:(1)如何動(dòng)態(tài)地分發(fā)請(qǐng)求到不同的數(shù)據(jù)中心,依據(jù)當(dāng)?shù)氐奶鞖夂蜌夂驐l件來最大化地利用新能源;(2)如何保證服務(wù)運(yùn)營的預(yù)算不超支.如圖4所示,GreenWare在云服務(wù)商的費(fèi)用預(yù)算內(nèi)動(dòng)態(tài)分發(fā)請(qǐng)求,從而最大化新能源的使用比例.此目標(biāo)函數(shù)被形式化為受約束的優(yōu)化問題:其中,Wi,Si,Bi分別表示第i(1ue025iue025N)個(gè)數(shù)據(jù)中心的風(fēng)能、太陽能、非清潔能源供電比例,PWi,PSi,PBi分別表示這些能源的單價(jià).約束條件(14)表示分發(fā)到N個(gè)數(shù)據(jù)中心的請(qǐng)求之和與到達(dá)數(shù)據(jù)中心系統(tǒng)的請(qǐng)求數(shù)λ相等.約束條件(15)保證能耗費(fèi)用不超過預(yù)算Budget.基于線性分?jǐn)?shù)規(guī)劃(LinearFractionalProgramming,LFP)方法,GreenWare利用Matlab中的linprog解決方案求得最優(yōu)解.類似地,文獻(xiàn)[29-30]考慮在設(shè)置非清潔能源使用量上限情況下,如何依據(jù)不同地區(qū)的不同電價(jià)和碳抵消交易市場來分發(fā)請(qǐng)求,實(shí)現(xiàn)充分利用綠色能源并最小化能耗開銷,并同時(shí)滿足服務(wù)質(zhì)量SLA.文獻(xiàn)考慮不同地區(qū)處理請(qǐng)求的不同碳排放量和網(wǎng)絡(luò)延時(shí)對(duì)服務(wù)質(zhì)量(QualityofService,QoS)的影響,對(duì)碳排放和QoS之間的權(quán)衡作了優(yōu)化處理.文獻(xiàn)設(shè)計(jì)的FORTE優(yōu)化框架依據(jù)負(fù)載和碳足跡的變動(dòng)來動(dòng)態(tài)控制每個(gè)數(shù)據(jù)中心的用戶請(qǐng)求比例.它允許運(yùn)營商操控3個(gè)方面的權(quán)衡:訪問延時(shí)、碳足跡和電量開銷.5.4.3能耗均增型網(wǎng)絡(luò)路由目前,大量的研究工作關(guān)注于優(yōu)化數(shù)據(jù)中心計(jì)算的能耗,而較少研究者關(guān)注連接大規(guī)模分布式數(shù)據(jù)中心的網(wǎng)絡(luò)的能耗.數(shù)據(jù)中心運(yùn)營者和網(wǎng)絡(luò)提供商如何以最小的開銷提供期望的性能是設(shè)計(jì)分布式服務(wù)的關(guān)鍵挑戰(zhàn).主干網(wǎng)的總能耗是所有鏈路和路由器能耗之和.其中,鏈路的能耗是距離的函數(shù),主要用于信號(hào)放大.路由器的能耗大部分固定在額定值,是主干網(wǎng)能耗的主要部分.目前,網(wǎng)絡(luò)路由主要采用最短路徑算法.隨著路由器改進(jìn)為能耗均增方式(EnergyProportional),未來路由器需要根據(jù)負(fù)載狀態(tài)和可用新能源量來動(dòng)態(tài)路由.文獻(xiàn)提出了新能源感知的路由算法以改善網(wǎng)絡(luò)系統(tǒng)的能效.該算法選擇那些具有最低非清潔能源消耗量且同時(shí)滿足帶寬要求的路徑來路由請(qǐng)求.實(shí)驗(yàn)結(jié)果表明,使用能耗均增的路由器和新能源感知的路由算法能將路由器的能效提高10倍,并增加36%的作業(yè)完成率.5.5云計(jì)算的節(jié)能減排模型國內(nèi)在數(shù)據(jù)中心節(jié)能減排、新能源應(yīng)用方面的相關(guān)研究起步晚于國外.但在國家大力倡導(dǎo)資助和國內(nèi)科研工作者的刻苦攻關(guān)下,迄今已取得了一定的成果.在綜述方面,2009年四川大學(xué)郭兵教授發(fā)表了題為“綠色計(jì)算的重定義與若干探討”的文章.文章提出了綠色計(jì)算的一些基本思路和一般性方法,為下一步研究綠色計(jì)算的具體模型、方法與工具打下了必要的基礎(chǔ).2011年清華大學(xué)的林闖教授發(fā)表了題為“綠色網(wǎng)絡(luò)和綠色評(píng)價(jià)節(jié)能機(jī)制、模型和評(píng)價(jià)”的文章.文章
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 生物科技與健康產(chǎn)業(yè)的國際合作機(jī)遇
- 知識(shí)產(chǎn)權(quán)維權(quán)的關(guān)鍵證據(jù)收集
- 2019年春季夏傳染病防控知識(shí)講座
- 2025年朱古力餅干項(xiàng)目投資可行性研究分析報(bào)告
- 知識(shí)產(chǎn)權(quán)保護(hù)的科技力量與應(yīng)用場景
- 2025年解除協(xié)議勞動(dòng)關(guān)系
- 二年級(jí)上數(shù)學(xué)教學(xué)設(shè)計(jì)-快樂的動(dòng)物-北師大版
- 2025年中國功能性甜味劑行業(yè)市場深度分析及發(fā)展前景預(yù)測報(bào)告
- 電商賣家如何運(yùn)用心理定價(jià)技巧
- 電線電纜在科技創(chuàng)新中的重要作用
- GB/T 44260-2024虛擬電廠資源配置與評(píng)估技術(shù)規(guī)范
- 腫瘤科醫(yī)生年度工作總結(jié)報(bào)告
- 旅游服務(wù)質(zhì)量評(píng)價(jià)體系
- 醫(yī)院課件:《食源性疾病知識(shí)培訓(xùn)》
- 華為人才發(fā)展與運(yùn)營管理
- 2024年廣州金融控股集團(tuán)有限公司招聘筆試沖刺題(帶答案解析)
- 九三學(xué)社申請(qǐng)入社人員簡歷表
- 供電所安全第一課培訓(xùn)
- 鄭州鐵路職業(yè)技術(shù)學(xué)院單招職業(yè)技能測試參考試題庫(含答案)
- 人教版五年級(jí)上冊(cè)小數(shù)除法豎式計(jì)算練習(xí)200題及答案
- 新時(shí)代勞動(dòng)教育教程(高職)大學(xué)生勞動(dòng)教育全套教學(xué)課件
評(píng)論
0/150
提交評(píng)論