華北電力大學(xué)丁肇豪：多主體數(shù)據(jù)中心算力-電力跨域協(xié)同優(yōu)化

多主體數(shù)據(jù)中心算力-電力跨域協(xié)同優(yōu)化丁肇豪新能源電力系統(tǒng)全國(guó)重點(diǎn)實(shí)驗(yàn)室華北電力大學(xué)華北電力大學(xué)華北電力大學(xué)1研究背景2關(guān)鍵挑戰(zhàn)和創(chuàng)新點(diǎn)3模型方案4算例分析5結(jié)論與展望研究背景華北電力大學(xué)研究背景華北電力大學(xué)>數(shù)字經(jīng)濟(jì)時(shí)代的到來(lái)，數(shù)據(jù)中心已經(jīng)成為支撐社會(huì)經(jīng)濟(jì)發(fā)展的重要新型基礎(chǔ)設(shè)施，其能耗巨大，且占比持續(xù)增長(zhǎng)。>特別是以ChatGPT為代表的生成式人工智能的興起，引發(fā)了數(shù)據(jù)中心能耗的新一輪飆升。0全國(guó)數(shù)據(jù)中心在用機(jī)架數(shù)(萬(wàn)架)102.350的耗電量為564兆瓦時(shí)，一年約消耗2.06億干瓦時(shí)電力。據(jù)波士頓咨詢(xún)公司預(yù)估，到2030年，僅ChatGPT-4ChatGPT-4ChatGPT模型訓(xùn)練能耗(MWh)華北電力大學(xué)NORTMCNALLECTPCPOWERUNVERS/華北電力大學(xué)NORTMCNALLECTPCPOWERUNVERS/■空間靈活性——在線任務(wù)需要實(shí)時(shí)響應(yīng)，時(shí)間延遲敏感，但多為輕量級(jí)計(jì)算在不同地理位置數(shù)據(jù)中心間轉(zhuǎn)移?！鰰r(shí)間靈活性——離線任務(wù)處理時(shí)間長(zhǎng)，對(duì)數(shù)據(jù)和資源依賴(lài)性強(qiáng)，異地轉(zhuǎn)移難度大，可在滿(mǎn)足服務(wù)水平協(xié)議(SLA)前提下適當(dāng)推遲執(zhí)行。網(wǎng)頁(yè)服務(wù)流式計(jì)算電商業(yè)務(wù)南郵啤面窗完成時(shí)間離線離線任務(wù)任務(wù)到達(dá)時(shí)間時(shí)間轉(zhuǎn)移截止時(shí)間華北電力大學(xué)NORTHCHNAELECTRUc華北電力大學(xué)NORTHCHNAELECTRUcPONERUNVERSITY現(xiàn)在跨域市場(chǎng)信號(hào)(電力側(cè)、算力側(cè))的引導(dǎo)下，協(xié)同調(diào)度任務(wù)并異地執(zhí)行。從而可以改變數(shù)據(jù)中心能耗，降任務(wù)轉(zhuǎn)移節(jié)點(diǎn)電價(jià)節(jié)點(diǎn)電價(jià)節(jié)點(diǎn)電價(jià)節(jié)點(diǎn)電價(jià)安kubernetes/華北電力大學(xué)華北電力大學(xué)大規(guī)模、高并發(fā)特性復(fù)雜依賴(lài)關(guān)系NP難問(wèn)題華北電力大學(xué)NORTHCHNAELECTREC華北電力大學(xué)NORTHCHNAELECTRECpONERUNVERSITY>多云隱私安全保護(hù)：集中式協(xié)同調(diào)度需要所有數(shù)據(jù)中心都具有可見(jiàn)性和可控性。然而，分屬不同主體的數(shù)據(jù)中心部分/加密/匿名信息共享關(guān)鍵數(shù)據(jù)A運(yùn)行數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)特征提取A反推本地信息商業(yè)機(jī)密調(diào)度管理調(diào)度管理業(yè)務(wù)信息數(shù)據(jù)中心1數(shù)據(jù)中心2數(shù)據(jù)中心3共享原始數(shù)據(jù)易帶來(lái)商業(yè)機(jī)密泄露的風(fēng)險(xiǎn)需要對(duì)關(guān)鍵數(shù)據(jù)進(jìn)行隱私安全保護(hù)共享原始數(shù)據(jù)易帶來(lái)商業(yè)機(jī)密泄露的風(fēng)險(xiǎn)第8頁(yè)共23頁(yè)關(guān)鍵挑戰(zhàn)3:多主體個(gè)性化決策達(dá)模式等信息差異顯著,使得數(shù)據(jù)集呈現(xiàn)非獨(dú)立同分布特性，導(dǎo)致最終個(gè)體決策偏離最優(yōu)解。獨(dú)立同分布更新數(shù)據(jù)中心3數(shù)據(jù)中心3銀行數(shù)據(jù)中心2企業(yè)圖非獨(dú)立同分布更新wtwt多云數(shù)據(jù)中心的環(huán)境異質(zhì)性導(dǎo)致數(shù)據(jù)非獨(dú)立同分布非獨(dú)立同分布數(shù)據(jù)學(xué)習(xí)易偏離最優(yōu)點(diǎn)華北電力大學(xué)華北電力大學(xué)NORTHCINALLECTMBCpOMERUNVERSITY>為了解決上述挑戰(zhàn)，我們提出了一種考慮隱私約束和主體異質(zhì)特性的聯(lián)邦強(qiáng)化學(xué)習(xí)方法，實(shí)現(xiàn)了在跨地域市場(chǎng)信號(hào)驅(qū)動(dòng)下，多云數(shù)據(jù)中心的電-算協(xié)同優(yōu)化。NORTHCINALLECTMBCpOMERUNVERSITY挑戰(zhàn)1■提出適配大規(guī)模任務(wù)到達(dá)的調(diào)度模型挑戰(zhàn)1源，協(xié)同傳輸任務(wù)。并通過(guò)融合圖神經(jīng)網(wǎng)絡(luò)，保證了任務(wù)執(zhí)行的底層邏輯。挑戰(zhàn)2挑戰(zhàn)2■提出基于分散式聯(lián)邦強(qiáng)化學(xué)習(xí)調(diào)度框架，實(shí)現(xiàn)在協(xié)同優(yōu)化任務(wù)調(diào)度過(guò)程的同時(shí)，保護(hù)云數(shù)據(jù)中心關(guān)鍵操作隱私。挑戰(zhàn)3■提出一種損失函數(shù)個(gè)性化重構(gòu)方法挑戰(zhàn)3異質(zhì)信息融入聯(lián)邦學(xué)習(xí)的框架中，實(shí)現(xiàn)考慮多云數(shù)據(jù)中心不同特征的優(yōu)化決策。華北電力大學(xué)NORTNCNAELECTeGCpONERUNVERS/TY模型框架華北電力大學(xué)NORTNCNAELECTeGCpONERUNVERS/TY>將每個(gè)云數(shù)據(jù)中心運(yùn)營(yíng)商(CSP)視為一個(gè)智能體，基于任務(wù)信息與跨域電價(jià)信號(hào)，進(jìn)行任務(wù)轉(zhuǎn)移與資源分配兩方面決策，通過(guò)分布式聯(lián)邦學(xué)習(xí)框架及個(gè)性化本地更新學(xué)習(xí)多云協(xié)同任務(wù)調(diào)度策略，釋放數(shù)據(jù)中心用能時(shí)空靈活性。CSP1任務(wù)調(diào)度任務(wù)信息聯(lián)邦強(qiáng)化學(xué)習(xí)迭代多云任務(wù)遷移決策CSP迭代多云任務(wù)遷移決策CSP屬性電價(jià)信號(hào)聚合參數(shù)更新聚合參數(shù)更新本地資源分配決策個(gè)性化本地更新華北電力大學(xué)華北電力大學(xué)>將上述多云數(shù)據(jù)中心協(xié)同任務(wù)轉(zhuǎn)移和本地資源分配問(wèn)題建模為部分可觀測(cè)馬爾可夫決策過(guò)程(Dec-POMDP)。-狀態(tài)：每個(gè)CSP的狀態(tài)包括計(jì)算任務(wù)信息、計(jì)算資源特征、電價(jià)信息、時(shí)間四個(gè)部分，記作s,=[s,s,si,t。其中，計(jì)算任務(wù)信息包括可轉(zhuǎn)移性、依賴(lài)關(guān)系拓?fù)?、資源占用三種屬性。口可轉(zhuǎn)移性1表示可以轉(zhuǎn)移，0表示不可轉(zhuǎn)移口依賴(lài)關(guān)系拓?fù)?DAG)口資源占用每個(gè)任務(wù)的資源占用量：[req/,…,req.]每個(gè)任務(wù)的當(dāng)前完成率：[fin",…,fin?]在任務(wù)調(diào)度過(guò)程需要考慮計(jì)算任務(wù)的底層執(zhí)行邏輯，通常被表示為有向無(wú)環(huán)拓?fù)浣Y(jié)構(gòu)(DAG),具有高度非線性特征。任務(wù)需要按照一定順序執(zhí)行，前序任務(wù)未被執(zhí)行的情況下，任務(wù)需要按照一定順序執(zhí)行，前序任務(wù)未被執(zhí)行的情況下，無(wú)法執(zhí)行后續(xù)任務(wù)。①6④⑤9華北電力大學(xué)華北電力大學(xué)-動(dòng)作：包括多云數(shù)據(jù)中心間任務(wù)轉(zhuǎn)移動(dòng)作(離散)和本地計(jì)算資源分配動(dòng)作(連續(xù))。首先決定任務(wù)的執(zhí)行地點(diǎn)，進(jìn)而為在本地處理的任務(wù)分配計(jì)算資源，并確保分配資源的總和不超過(guò)可用資源的上限?！鋈蝿?wù)轉(zhuǎn)移決策,表示將任務(wù)j分配到CSPi'執(zhí)行■本地任務(wù)資源分配決策,為任務(wù)j分配φ個(gè)資源，其中t為可執(zhí)行任務(wù)的集合■資源分配約束,分配資源的總和不超過(guò)可用資源上限Z?Z?Z?圖神經(jīng)網(wǎng)絡(luò)第13頁(yè)共23頁(yè)華北電力大學(xué)NORT華北電力大學(xué)NORTCHNALECTFCPOWLRU-獎(jiǎng)勵(lì)：獎(jiǎng)勵(lì)r,定義為任務(wù)調(diào)度過(guò)程中的收益和負(fù)成本之和。R,是任務(wù)調(diào)度期間的累計(jì)折扣獎(jiǎng)勵(lì)。CSP的目標(biāo)是使獎(jiǎng)勵(lì)函數(shù)最大化，定義如下：獎(jiǎng)勵(lì)函數(shù)r,=r"+r+r"+r①完成任務(wù)收益fin=100%:完成計(jì)算任務(wù)后獲得的收益②能耗成本=-(α(res,-res")+βres")p,:運(yùn)行時(shí)能耗成本，分為運(yùn)行和空載成本。③任務(wù)轉(zhuǎn)移成本r=-∑cost!":任務(wù)轉(zhuǎn)移時(shí)的交換機(jī)和傳輸帶寬成本。④超出截止時(shí)間懲罰:如果任務(wù)未在SLA約定截止時(shí)間前完成，則相應(yīng)CSP受到違約處罰。從時(shí)間步t到調(diào)度周期T結(jié)束的累計(jì)折扣獎(jiǎng)勵(lì)可以計(jì)算為R,=r,+yr,+…+y+r,其中y∈[0,1]是衡量當(dāng)前收益和未來(lái)收益重要性的因子，Y越大代表智能體的目光越長(zhǎng)遠(yuǎn)。>為解決多云數(shù)據(jù)中心協(xié)同調(diào)度過(guò)程中的隱私安全問(wèn)題，提出了基于分布式訓(xùn)練分布式執(zhí)行(DTDE)框架下的聯(lián)邦強(qiáng)化學(xué)習(xí)(FRL)方法。■步驟一：本地更新與訓(xùn)練每個(gè)云數(shù)據(jù)中心各自執(zhí)行調(diào)度策略并獨(dú)立收集軌跡，并利↑↑從鄰近數(shù)據(jù)中心收集參數(shù)，并通過(guò)聯(lián)邦強(qiáng)化學(xué)習(xí)框架與鄰■步驟三：聚合模型參數(shù)θagg回傳將聚合模型參數(shù)θagg將聚合模型參數(shù)θagg回傳給云數(shù)據(jù)中心，引導(dǎo)其繼續(xù)進(jìn)行華北電力大學(xué)華北電力大學(xué)>通過(guò)重構(gòu)云數(shù)據(jù)中心的局部損失函數(shù)，實(shí)現(xiàn)對(duì)決策網(wǎng)絡(luò)參數(shù)權(quán)重的修改，平衡了本地異質(zhì)特征和全局聚合特征間的更新權(quán)重，進(jìn)一步改變優(yōu)化更新方向，實(shí)現(xiàn)了異構(gòu)環(huán)境感知的主體個(gè)性化決策?！鲈植繐p失函數(shù)：輸入狀態(tài)包含異質(zhì)環(huán)境特征存在偏差由于異質(zhì)環(huán)境特征導(dǎo)致數(shù)據(jù)Non-IID,使得聚合參數(shù)下降方向與■重構(gòu)后局部損失函數(shù)：HC))=CO)SDO,0)平衡本地異質(zhì)特征和全局聚合特征間的更新權(quán)重輸入狀態(tài)特征值當(dāng)該狀態(tài)維度異質(zhì)性低時(shí)，趨近于聚合參數(shù)實(shí)際下降方向ee重構(gòu)后的損失函數(shù)對(duì)下降方向進(jìn)行修改，第15頁(yè)共23頁(yè)華北電力大學(xué)收斂性證明華北電力大學(xué)NORTHCNAELECTPCPOWERU我們進(jìn)一步證明了基于重構(gòu)損失函數(shù)的算法收斂性，證明如下：的凸組合其中其中NORTNCHNAELECTHLCPONERUNVERS/TY數(shù)據(jù)中心1任務(wù)到達(dá)電價(jià)s0s0000(美元兆瓦時(shí)時(shí)間(h)(美元兆瓦時(shí)任務(wù)到達(dá)數(shù)量任務(wù)到達(dá)數(shù)量電價(jià)數(shù)據(jù)中心2任務(wù)到達(dá)電價(jià)000241234567891011時(shí)間(h)200電價(jià)000時(shí)間(h)■凌晨0-7時(shí)和晚上21-24時(shí)數(shù)據(jù)中心1的電價(jià)明顯低于數(shù)據(jù)中心2和3;■數(shù)據(jù)中心1的計(jì)算任務(wù)主要在8-15時(shí)到達(dá)，數(shù)據(jù)中心2的計(jì)算任務(wù)主要在8時(shí)以后到達(dá)，數(shù)據(jù)中心3的計(jì)算任務(wù)到達(dá)時(shí)間較為平均。服務(wù)器數(shù)量計(jì)算資源數(shù)量運(yùn)行能耗系數(shù)空閑能耗系數(shù)華北電力大學(xué)跨域信號(hào)引導(dǎo)的協(xié)同任務(wù)調(diào)度華北電力大學(xué)>我們驗(yàn)證了所提方法在跨域電價(jià)信號(hào)引導(dǎo)下多主體數(shù)據(jù)中心協(xié)同調(diào)度的有效性，提出的協(xié)同調(diào)度機(jī)制可將任務(wù)轉(zhuǎn)s。2345678-91011121314.1516171819.20時(shí)間(h)CSP2時(shí)間(h)CSP3CSP1、CSP2和CSP3計(jì)算能耗的變化電價(jià)(美元兆瓦時(shí))在0:00-7:00時(shí)，云數(shù)據(jù)中心1電價(jià)明顯低于2和3,數(shù)據(jù)中心2和3將部分任務(wù)轉(zhuǎn)移到數(shù)據(jù)中心1執(zhí)行，以降低整體能耗成本?？谌蝿?wù)轉(zhuǎn)移決策可以考慮到目標(biāo)數(shù)據(jù)中心計(jì)算資源使用狀況數(shù)據(jù)中心在進(jìn)行任務(wù)轉(zhuǎn)移決策時(shí)考慮了其他數(shù)據(jù)中心可用的計(jì)算資源情況，例如：在9:00-15:00間，由于其他數(shù)據(jù)中心此時(shí)資源利用率也較高，數(shù)據(jù)中心1只轉(zhuǎn)移一小部分任務(wù)給其他數(shù)據(jù)中心。第18頁(yè)共23頁(yè)跨域信號(hào)引導(dǎo)的協(xié)同任務(wù)調(diào)度ECE2024■任務(wù)轉(zhuǎn)移決策可以充分利用任務(wù)靈活性：5P0計(jì)算任務(wù)數(shù)量■本地資源分配過(guò)程，任務(wù)執(zhí)行依賴(lài)關(guān)系得到保障：未完成任務(wù)資源利用率口轉(zhuǎn)移更多離截止時(shí)間近的任務(wù)去往數(shù)據(jù)中心1,因?yàn)檫@部分任務(wù)時(shí)間靈活性有限，需盡快利用數(shù)據(jù)中心1的低電價(jià)以節(jié)約成本?？诟鶕?jù)任務(wù)執(zhí)行各個(gè)環(huán)節(jié)的資源分配情況分析，所提方法在資源分配時(shí)只分配給當(dāng)前可執(zhí)行任務(wù)，保證了任務(wù)執(zhí)行約束。華北電力大學(xué)考慮隱私約束的協(xié)同調(diào)度華北電力大學(xué)>為了進(jìn)一步比較和評(píng)估所提協(xié)同調(diào)度方法的有效性，我們將所提方法與集中調(diào)度方法、完全分散調(diào)度方法進(jìn)行比較。所提方法在保證優(yōu)化效果的同時(shí)，提高了收斂速度?！黾姓{(diào)度方法：集中調(diào)度方法需要掌握全局信息，無(wú)法實(shí)現(xiàn)多云隱私保護(hù)?！鐾耆稚⒄{(diào)度方法：完全分散調(diào)度方法不允許多云數(shù)據(jù)中心之間進(jìn)行任務(wù)轉(zhuǎn)移，無(wú)法利用空間靈活性?？偝杀窘档涂偝杀窘档屯耆稚⒄{(diào)度方法所提方法完全分散調(diào)度方法所提方法口所提出的方法比完全分散調(diào)度方法總成本降低18.6%,口所提出的方法比集中式調(diào)度方法收斂速度提高了30.3%。DDL違反率降低30.8%。第20頁(yè)共23頁(yè)華北電力大學(xué)NORTHCHNAELECTeeCP異質(zhì)主體個(gè)性化決策華北電力大學(xué)NORTHCHNAELECTeeCP>考慮了任務(wù)到達(dá)模式、調(diào)度決策、區(qū)域電價(jià)等異質(zhì)信息，分析了異質(zhì)環(huán)境特征對(duì)多云主體調(diào)度決策的影響，實(shí)現(xiàn)了不同云數(shù)據(jù)中心主體的個(gè)性化調(diào)度決策，進(jìn)一步降低了運(yùn)行成本，實(shí)現(xiàn)了資源的優(yōu)化配置?？谠鶯違反率考慮異質(zhì)性，個(gè)性化決策電價(jià)低，可用資源多CSP7口扎L違反率考慮異質(zhì)性，個(gè)性化決策電價(jià)低，可用資源多CSP7不考慮異質(zhì)性，非個(gè)性化決策時(shí)間能耗成本遷移成本DDL違反率口所提方法能夠根據(jù)差異化特征進(jìn)行個(gè)性化的決策，能耗分布更能夠響應(yīng)電價(jià)的時(shí)空分布特征，而不是執(zhí)行同質(zhì)化的決策，產(chǎn)生近似的能耗分布?？趥€(gè)性化調(diào)度策略更符合主體自身差異化特征，具有第21頁(yè)共23頁(yè)華北電