數(shù)據(jù)驅(qū)動(dòng)的電網(wǎng)前瞻優(yōu)化調(diào)度

研究背景

基態(tài)下的電網(wǎng)前瞻調(diào)度模型

適應(yīng)不確定場(chǎng)景的遷移強(qiáng)化學(xué)習(xí)決策

結(jié)語(yǔ)

1.1新能源裝機(jī)容量不斷增長(zhǎng)

中國(guó)風(fēng)電、光伏累計(jì)裝機(jī)容量（萬(wàn)千瓦）

風(fēng)電裝機(jī)光伏裝機(jī)

1.2人工智能技術(shù)蓬勃發(fā)展

人工智能方興未艾，已在圖像識(shí)別、自然語(yǔ)

言處理、自動(dòng)駕駛、醫(yī)療影像、語(yǔ)言搜索等

領(lǐng)域得到應(yīng)用

A深度、強(qiáng)化學(xué)習(xí)等人工智能技術(shù)正悄然向傳

edurekal

統(tǒng)能源行業(yè)進(jìn)軍，已在可再生能源預(yù)測(cè)、負(fù)

荷預(yù)測(cè)等領(lǐng)域得到應(yīng)用

＞如何與優(yōu)化調(diào)度相結(jié)合?

1.3人工智能技術(shù)支撐電網(wǎng)優(yōu)化調(diào)度

傳統(tǒng)電網(wǎng)調(diào)度面臨的挑戰(zhàn)

?源荷雙側(cè)不確定性，加劇了短時(shí)優(yōu)化決策的難度

?電網(wǎng)調(diào)度對(duì)象數(shù)量急劇增加所帶來(lái)的復(fù)雜度，對(duì)優(yōu)化決策的效率提出了挑戰(zhàn)

■隨機(jī)多運(yùn)行場(chǎng)景下，電網(wǎng)調(diào)度智能化水平有待進(jìn)一步提升

口人工智能技術(shù)對(duì)優(yōu)化調(diào)度的影響

v自適應(yīng)性：挖運(yùn)彳攢據(jù)內(nèi)在規(guī)律，留心寸數(shù)學(xué)解析模型構(gòu)建的俅賴(lài)

v智能性：敏捷地、自適應(yīng)及通用化地完成從數(shù)據(jù)變化到統(tǒng)計(jì)模型參數(shù)改變的過(guò)程

V快速性：可離線地?cái)M合逼近、泛化調(diào)度決策流程中輸入輸出的映射關(guān)系，無(wú)需在線

解析并迭代優(yōu)化

提綱

研究背景

基態(tài)下的電網(wǎng)前瞻調(diào)度模型

適應(yīng)不確定場(chǎng)景的遷移強(qiáng)化學(xué)習(xí)決策

結(jié)語(yǔ)

6

2.1多時(shí)段滾動(dòng)電網(wǎng)前瞻調(diào)度模型

口包含目標(biāo)函數(shù)、決策變量、約束條件的安全約束經(jīng)濟(jì)調(diào)度(SCED)及安全約束機(jī)組組合

前瞻窗口t+i對(duì)

應(yīng)預(yù)測(cè)負(fù)荷：

前瞻窗口t+2對(duì)

應(yīng)預(yù)測(cè)負(fù)荷：

8:008:158:308:459:009:159:309:4510:0010:1510:3010:4511:0011:1511:3011:4512:0012:1512:3012:4513:00

7

2.1多時(shí)段滾動(dòng)電網(wǎng)前瞻調(diào)度模型

口目標(biāo)函數(shù)、輸入量、決策變量、約束條件

輸入量節(jié)點(diǎn)負(fù)荷圖｝+新能源出力預(yù)測(cè)邛?，…,喈’）

決策變量機(jī)組有功出力邛,=｛吧,…，窗｝

孕/-I

目標(biāo)函數(shù)發(fā)電+啟停成本最小minC（僅7+4（或」）+c,+C，+C：

Mlr?0

個(gè)限4吧+廳叫Vr

，=1▲=!

斤；甘丁斤~\

244Vi,r心嚴(yán)碎

機(jī)組出力上下限^4WrJeGi

約4Q：：sQfg,Vij

4一成七右丁z+旬-《一；;）+廳n-G

束

丁=0

片'-憶"N工…+^-（/：,-/；；'卜嚴(yán)一（I-/；；'）

條新能源出力

/mt=

低方Y(jié)'"/F&+嚴(yán)E（心工）+嚴(yán)E（I_/[J

件

-4瘵-咪4丁也1.V/.Z>Lr=II片：「尼2-/：,./,**，+中-3/：,“T，，卜始2（”4J

m41-螳44?皿*I.V?,r=1,./-I

S咒：Y'SW=1.V/.r=1.....r-lscuc

線路潮流約束P：，=7^t7<LV/.r

限"4v；,4VLzArSCED

00

2.2基于深度強(qiáng)化學(xué)習(xí)的電網(wǎng)前瞻調(diào)度模型

狀態(tài)輸入空間、動(dòng)作輸出空間、獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)標(biāo)

準(zhǔn)L=[Z,ZZ

狀態(tài)StateS,=[L],L,…,L,A]--------------------------------化

處

理

珈乍ActionA.=[ao,a{,..,a,-]

過(guò)a/=[air,a2...,av]

5

獎(jiǎng)勵(lì)Rewardr=r^程*=gG,（嚴(yán)4-嚴(yán)川）+（嚴(yán)皿+嚴(yán)b）]

—t

主線獎(jiǎng)勵(lì)函數(shù)（發(fā)電成本最小）乙=-之（塔）'+〃喀川,

4-1r*0

點(diǎn),=W|￡￡'（max{喑-V'R,0}+maxqj-琛,。}）

r-0i-l

比=叼$七地聯(lián)磔'-"iQ+max0f-媼0}

十

r?0

懲r.|A-

罰r；=嗎￡2.（max（陰'-/?「&（））+maxt-^A/-陰'.0}）

項(xiàng)r=4T

fpm

r=0j,sl''十￡

r==wS￡（maxM』-vL，0}+maxW）-%r，0}）

7Hi-l

2.3深度強(qiáng)化學(xué)習(xí)算法的選擇

□改進(jìn)深度確定性策略梯度算法(DeepDeterministicPolicyGradient,DDPG)

LsyerLwuipm

在傳統(tǒng)DDPG算法的基礎(chǔ)上增設(shè)“良好經(jīng)驗(yàn)存儲(chǔ)

池”使智能體向滿(mǎn)足安全約束的方向探索，從而縮短神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu):

訓(xùn)練探索時(shí)間。全連接神經(jīng)網(wǎng)絡(luò)

環(huán)境般經(jīng)驗(yàn)

(suauTi,Si+i,done)InnutOutnut

存儲(chǔ)池LayerHiddenLayersLayer

at批次采樣

(SuTt,St+1)VV

batch__size*(sj,ai,r,Si+l)采用的兩種激活函數(shù):

尹”(st)relu

優(yōu)

優(yōu)

2-

化

化

器

器L

-30123

tanh

TargetActor

io

2.4多時(shí)段滾動(dòng)前瞻調(diào)度智能體訓(xùn)練方式的設(shè)計(jì)

口多時(shí)段滾動(dòng)前瞻調(diào)度智能體訓(xùn)練框架

11

2.4多時(shí)段滾動(dòng)前瞻調(diào)度智能體訓(xùn)練方式的設(shè)計(jì)

智能體訓(xùn)練方式的設(shè)計(jì)

狀態(tài)

根據(jù)智能體訓(xùn)練方式不同，可分為:多時(shí)段拆分

state1state2stateT

多時(shí)段聯(lián)合優(yōu)化訓(xùn)練方式（僅適用于

小規(guī)模系統(tǒng)，一般收斂時(shí)間較長(zhǎng)）神經(jīng)網(wǎng)絡(luò)

輸入：（節(jié)點(diǎn)數(shù)+機(jī)組數(shù)）*T;輸入：節(jié)點(diǎn)數(shù)+機(jī)組數(shù);

多時(shí)段解耦優(yōu)化訓(xùn)練方式（適用于輸出：機(jī)組數(shù)*T輸出：機(jī)組數(shù)

大規(guī)模系統(tǒng)，縮短訓(xùn)練收斂時(shí)間）

action1actionT

輸出動(dòng)作

12

2.4多時(shí)段滾動(dòng)前瞻調(diào)度智能體訓(xùn)練方式的設(shè)計(jì)

神經(jīng)網(wǎng)絡(luò)參數(shù)的初始化-預(yù)訓(xùn)練環(huán)節(jié)

環(huán)境?般經(jīng)驗(yàn)

(sa,r,S+done)存儲(chǔ)池

Qt批次采樣

(Sp,Tt,Sl+l)V

采用歷史調(diào)度數(shù)據(jù)進(jìn)行深度土batch_size*(si,aj,r,Si+1)

兀(st)

學(xué)習(xí)，以初始化以及優(yōu)優(yōu)

Actor化

化

器

Critic網(wǎng)絡(luò)參數(shù)，使之更加合理，器

從而提高價(jià)值網(wǎng)絡(luò)的精度、

CriticTargetCritic

智能體探索到可行解的概率。

初始化網(wǎng)絡(luò)參數(shù)

歷史調(diào)度經(jīng)驗(yàn)

2.5融合模型驅(qū)動(dòng)的多時(shí)段前瞻調(diào)度智能體訓(xùn)練

□融合物理模型的不平衡量分配

為了解決大規(guī)模系統(tǒng)復(fù)雜度增加的問(wèn)題，在網(wǎng)絡(luò)參數(shù)預(yù)訓(xùn)練的基礎(chǔ)上，研究數(shù)據(jù)與模型聯(lián)合驅(qū)動(dòng)的方法,

提出機(jī)組越限量與系統(tǒng)不平衡量分配的環(huán)節(jié)：機(jī)組的有功功率及爬坡越限的功率調(diào)節(jié)、系統(tǒng)不平衡有功功率的

2.5融合模型驅(qū)動(dòng)的多時(shí)段前瞻調(diào)度智能體訓(xùn)練

□智能體與環(huán)境交互示意圖

節(jié)點(diǎn)負(fù)荷、上一個(gè)窗口機(jī)組出力組成的State

DDPG:,DDPG正式訓(xùn)練

Actor

前瞻窗口內(nèi)機(jī)組出力JT/

獎(jiǎng)勵(lì)

不平衡量分配/賽數(shù)RewardR|~舊利

//更新盒蟹_而蠹業(yè)"

/強(qiáng)化學(xué)習(xí)\/采樣

'網(wǎng)絡(luò)、/Batch1

5—采樣數(shù)據(jù)

市IJ/電網(wǎng)運(yùn)行環(huán)境

/DDPG正式訓(xùn)練

\'-------￡預(yù)訓(xùn)練、’」

而露經(jīng)過(guò)不平衡量分配過(guò)后開(kāi)始前

的前瞻窗口機(jī)組出力〉歷史0PF調(diào)度

經(jīng)驗(yàn)

2.6算例分析

□測(cè)試系統(tǒng)：IEEE-30節(jié)點(diǎn)系統(tǒng)

系統(tǒng)基本參數(shù)

類(lèi)別名稱(chēng)節(jié)點(diǎn)總數(shù)M)us機(jī)組數(shù)量Ncen支路數(shù)量NZme

IEEE3030641

機(jī)組發(fā)電成本

發(fā)

電

成

本

美

元

010203040506070

機(jī)組有功出力八僧

16

2.6算例分析

機(jī)組前瞻調(diào)度結(jié)果

有

功

功

率

QE

/WMd

訓(xùn)練時(shí)長(zhǎng)與成本分析

離線訓(xùn)練時(shí)間在線決策時(shí)間與OPF成本對(duì)比

IEEE3030h5s+0.031%

數(shù)據(jù)集規(guī)模n天1天11天

提綱

研究背景

2基態(tài)下的電網(wǎng)前瞻調(diào)度模型

3適應(yīng)不確定場(chǎng)景的遷移強(qiáng)化學(xué)習(xí)決策

結(jié)語(yǔ)

18

3.1多運(yùn)行場(chǎng)景下前瞻調(diào)度智能體的遷移架構(gòu)

同時(shí)應(yīng)對(duì)負(fù)荷、新能源等邊界條件變化與網(wǎng)絡(luò)拓?fù)渥兓?/p>

電網(wǎng)前瞧調(diào)度智能體

19

3J多運(yùn)行場(chǎng)景下前瞻調(diào)度智能體的遷移架構(gòu)

□多拗景下的i翔馳J

交互

源智能體

遷移

模擬基態(tài)時(shí)不同負(fù)荷水平及新能

源出力情況、故障態(tài)時(shí)不同線路開(kāi)智能體1智能體2智能體N

交互交互相交互

斷場(chǎng)景并對(duì)其進(jìn)行聚類(lèi)。

運(yùn)行場(chǎng)景1

完成對(duì)相應(yīng)類(lèi)別場(chǎng)景下基于遷移

智能體1,1智能體1.2

強(qiáng)化學(xué)習(xí)的智能體訓(xùn)練，從而構(gòu)建

歸類(lèi)到王單態(tài)時(shí)聚類(lèi)故障運(yùn)彳蜴景IJ故障運(yùn)行場(chǎng)景1,2故障運(yùn)彳鐲景1,n

適應(yīng)多運(yùn)行場(chǎng)景的前瞻調(diào)度模型的1......N運(yùn)行場(chǎng)景

It故障態(tài)時(shí)運(yùn)行

場(chǎng)景1的聚類(lèi)

遷移強(qiáng)化學(xué)習(xí)架構(gòu)。電網(wǎng)正常態(tài)時(shí)多運(yùn)行場(chǎng)景電網(wǎng)故障態(tài)時(shí)運(yùn)行場(chǎng)景1

歸類(lèi)結(jié)果

電網(wǎng)故障態(tài)時(shí)多運(yùn)行場(chǎng)景電網(wǎng)故障態(tài)時(shí)運(yùn)行場(chǎng)景N

3.2場(chǎng)景數(shù)據(jù)集構(gòu)建及特征相似度分析

□場(chǎng)景特征相似度度量及聚類(lèi)

針對(duì)電網(wǎng)運(yùn)行的海量場(chǎng)景，量化前瞻調(diào)度場(chǎng)景的特征相似度,通過(guò)聚類(lèi)降低調(diào)度決策復(fù)雜度，提高效率。

基于調(diào)度計(jì)劃結(jié)果，實(shí)現(xiàn)場(chǎng)景特征相似度度量及場(chǎng)景聚類(lèi)。

特

特

特

制

提

征

征

征

定

調(diào)度場(chǎng)景1調(diào)度結(jié)果1取特征矩陣1

典型場(chǎng)景1

向

矩

相

優(yōu)

關(guān)

量

陣

似

化

調(diào)度場(chǎng)景2?調(diào)度結(jié)果2鍵特征矩陣2

的

的

度

調(diào)

特典型場(chǎng)景2

降

相

的

度

征

維

似

聚

策

矩

度

類(lèi)

略

陣

調(diào)度場(chǎng)景N*調(diào)度結(jié)果N特征矩陣N

KYYv特征降維處理：

地分分析法PCA

YnYX2YUV

oNhnNItNn

PiP2Piv

>NhrpNhpNn

nniv空間距離相似度

PfP?R

P7P°PK-means聚類(lèi)

J線路故障:節(jié)點(diǎn)導(dǎo)納矩陣中對(duì)應(yīng)元素置為0

V新增線路:修改節(jié)點(diǎn)導(dǎo)納矩陣中對(duì)應(yīng)元素至新值

21

3.3前瞻調(diào)度智能體的遷移訓(xùn)練

□智能體的遷移訓(xùn)練步驟

引入遷移學(xué)習(xí)的目的是找到新增拓?fù)溥\(yùn)行方式與原有拓?fù)涞南嗨菩?，運(yùn)用現(xiàn)有知識(shí)更快地學(xué)習(xí)新場(chǎng)景下

的知識(shí)。其步驟分為：

構(gòu)造源模型：針對(duì)電網(wǎng)正常拓?fù)湎碌倪\(yùn)行場(chǎng)景，訓(xùn)練智能體源模型。

模型遷移：使用源模型在拓?fù)涓淖兦樾蜗逻M(jìn)行訓(xùn)練，使模型快速適應(yīng)新場(chǎng)景。

深度強(qiáng)化學(xué)習(xí)算法

交互

電網(wǎng)正常

運(yùn)行場(chǎng)景智能體

I神經(jīng)網(wǎng)絡(luò)模型遷移

遷移學(xué)習(xí)

交互

聚類(lèi)故障L.

場(chǎng)景N智能體N

22

3.4離線訓(xùn)練與在線決策機(jī)制

□前瞻調(diào)度智能體離線訓(xùn)練與在線決策架構(gòu)

在線決策階段，針對(duì)各類(lèi)拓?fù)渥兓倪\(yùn)行場(chǎng)景，基于特征處理與場(chǎng)景歸類(lèi)的方法對(duì)應(yīng)到相應(yīng)遷移智能體

并通過(guò)增加新未知故障場(chǎng)景對(duì)應(yīng)的遷移智能體提升電網(wǎng)前瞻調(diào)度巡航路徑的場(chǎng)景包容性。

特原始數(shù)據(jù)集

征

處

特征提取

理

與

特征選擇

場(chǎng)

景

處理后場(chǎng)景特征數(shù)據(jù)集X

歸

十

類(lèi)

遷移智能體對(duì)應(yīng)場(chǎng)景特征

C,+—argmin,|x-|i

23

3.5算例分析

測(cè)試系統(tǒng)：SG126系統(tǒng)

系統(tǒng)基本參數(shù)（其中新能源電站18座）

類(lèi)別名稱(chēng)節(jié)點(diǎn)總數(shù)NBus^LMMNGen支路數(shù)量NL

SG12612654185

AM

話(huà)艙被8機(jī)，15958新能源機(jī)組

機(jī)組發(fā)電成本火七裝機(jī)：5328U火電機(jī)組

69?3.?

大方式負(fù)荷總加：3687M

---gen=0.069663*x2+26.2438*x+31.67

—喀n=0.010875*x、2+12.8875*x+6.78I-r>,r區(qū)域二

---gen=0.0128*x-2+17.82*X+10.15

---陰n=0.003*x~2+10.76*x+32.96新能源裝機(jī)：3805

發(fā)—gen=0.00240l*x'2+12.3299*x+28.0火電裝機(jī):2483

電---8^n=0.0044*x'2+13.29*x+39.06找機(jī)：2863V

大方式負(fù)荷總加：M00M

成-gen=0.01059*X*2+8,3391*X+64.16

斗?

本一gen=0.045923*x*2+15.4708*X+74.33

一gen=0.028302*x'2+37.6968*x+17.95

-gen=0.009774*x'2+22.9423*X+58.81

元

區(qū)域三

區(qū)域一新能額裝機(jī)：100網(wǎng)

火電裝機(jī):2570

總裝機(jī)：2670?1

新能源裝機(jī)：1U5M

&方式《荷BE：1193

火電裝機(jī)：275MK

IMb1502Ml350總裝機(jī)：1390X6

大方式負(fù)行總加：1Q94*

機(jī)組有功出力/\w

24

3.5算例分析

負(fù)荷數(shù)據(jù)

節(jié)900000

點(diǎn)

負(fù)

荷800000

有

功

700000

功

率

/

M

W600000

500000

650100150200250300350

------------------------------------------------1時(shí)間間隔/24h-------------------------------------------

離線訓(xùn)練環(huán)節(jié)采用的負(fù)荷數(shù)據(jù)集為2019年10月后延一年的數(shù)據(jù)（綠色曲線）;在線測(cè)試環(huán)節(jié)采用

的負(fù)荷數(shù)據(jù)集為2020年10月后的數(shù)據(jù)（藍(lán)色曲線）。橫坐標(biāo)對(duì)應(yīng)天數(shù)，時(shí)間間隔為24小時(shí)；縱坐標(biāo)

為對(duì)應(yīng)的負(fù)荷（單位：MW）O

25

3.5算例分析

新能源預(yù)測(cè)數(shù)據(jù)

新

能

源300000

機(jī)

組250000

最

200000

大

有150000

功

功100000

率

/50000

M

W

0-

050100150200250300350

---------------------------------時(shí)間間隔/24h-----------------------------------------

SG126系統(tǒng)的訓(xùn)練集與測(cè)試集對(duì)應(yīng)的新能源機(jī)組預(yù)測(cè)最大有功出力。橫坐標(biāo)對(duì)應(yīng)天數(shù)，時(shí)間間

隔為24小時(shí)；縱坐標(biāo)為對(duì)應(yīng)的新能源預(yù)測(cè)（單位：MW）o

26

3.5算例分析

運(yùn)行場(chǎng)景聚類(lèi)-基態(tài)

K簇類(lèi)別個(gè)數(shù)的選擇：3

基態(tài)運(yùn)行時(shí)訓(xùn)練集場(chǎng)景的映射特征集表4000

場(chǎng)景/天特征1特征2特征3特征4特征5

M'w6.792-7.3171.8239.1373.469

Mi23.1665.1390.3412.3902.635

Ml

9.7950.061-8.1801.5870.720

、亡9-2.765-6.7500.4633.8712.487

34579