智能控制技術(shù) 第3版 課件 第七章深度學習

第七章深度學習2

引言123

模型范式5

深度學習在智能電網(wǎng)中的應用傳統(tǒng)機器學習面臨的挑戰(zhàn)：維數(shù)災難：當數(shù)據(jù)的維度很高時，非常多的機器學習方法將很難以去應用求解。信息提取困難：對于圖像、聲音、文本等高維抽象數(shù)據(jù)難以提取有效信息。需要先驗知識：在大數(shù)據(jù)和多復雜場景下，機器學習無法適應實際環(huán)境中的動態(tài)變化。一、引言機器學習和深度學習的本質(zhì)都是學習樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，但深度學習對原始多層感知機進行了進一步設(shè)計和優(yōu)化，所擴展的模型復雜度遠超從前。一、引言深度學習模型的規(guī)模和復雜度要遠大于傳統(tǒng)人工神經(jīng)元網(wǎng)絡(luò)模型，在訓練和應用過程中面臨的問題如下：局部最優(yōu)解梯度爆炸長期依賴非精確梯度優(yōu)化算法參數(shù)選擇一、引言1)局部最優(yōu)解深度學習模型中的損失和誤差函數(shù)用來反向傳遞來更新網(wǎng)絡(luò)中的節(jié)點參數(shù)。然而深度神經(jīng)網(wǎng)絡(luò)待訓練的參數(shù)量非常多，并且具有一定的冗余，這導致了其中單個參數(shù)對最終誤差結(jié)果的影響都比較小。因此當模型收斂到局部最優(yōu)解時，即使參數(shù)變動比較劇烈也無法將模型運行點從這個局部最小值處拋出。此時，雖然損失函數(shù)值在每一輪的訓練過程中變化不大，但模型測試效果非常差。一、引言局部最小值與全局最小值2)梯度爆炸神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)值是通過損失函數(shù)的變化來實現(xiàn)更新，損失函數(shù)的大小和方向決定了誤差梯度更新的大小和方向。但是深度學習模型的層數(shù)非常多，而不同層的誤差梯度會在更新過程中累積。在累積過程中，誤差梯度有可能會達到一個非常大的數(shù)值。這樣的數(shù)值會導致神經(jīng)網(wǎng)絡(luò)某些節(jié)點的權(quán)重值大幅更新，進而導致網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)的不穩(wěn)定甚至內(nèi)存溢出。一、引言參數(shù)更新過程中梯度爆炸導致搜索結(jié)果出現(xiàn)誤判3)長期依賴對于深度學習模型來說，由于變深的結(jié)構(gòu)使網(wǎng)絡(luò)中更靠近輸出層的模型結(jié)構(gòu)喪失了學習到先前信息的能力，這讓后端模型的參數(shù)更新變得極其困難，這一現(xiàn)象稱之為“長期依賴”或者“梯度消失”。特別的，有的時候為了減少深度學習模型中參數(shù)的訓練量，模型中的部分結(jié)構(gòu)參數(shù)將與其他層神經(jīng)元實現(xiàn)參數(shù)共享，而這一技巧恰恰更加深了參數(shù)更新的困難程度。梯度消失問題使得模型訓練者難以知道神經(jīng)網(wǎng)絡(luò)的某些層參數(shù)更新問題是否來源于訓練數(shù)據(jù)本身還是模型構(gòu)造問題，這會導致模型設(shè)計的不確定性一、引言4)非精確梯度大多數(shù)優(yōu)化算法在對深度學習模型參數(shù)進行更新的時候都有Hessian矩陣的計算過程。在實際模型訓練過程中，以上計算都會有噪聲的影響導致最后的結(jié)果并不如理論分析。而當損失目標函數(shù)不可微的時候，通常對應的梯度計算也是非常困難的。此時需要對目標函數(shù)進行近似處理，但是這個過程也會帶來梯度的損失，導致梯度估計缺陷。梯度缺陷會隨著神經(jīng)網(wǎng)絡(luò)的計算過程在每個神經(jīng)元節(jié)點處產(chǎn)生影響，最終的結(jié)果會比較差。一、引言5)優(yōu)化算法參數(shù)選擇深度學習神經(jīng)網(wǎng)絡(luò)訓練需要對應的優(yōu)化算法，而優(yōu)化算法里有著各種各樣可調(diào)整的參數(shù)，這些參數(shù)對最終的訓練會產(chǎn)生不一樣的影響。因此需要對具體的訓練任務選擇對應合適的優(yōu)化算法。訓練數(shù)據(jù)批量選擇學習率更改規(guī)則修正梯度估計，優(yōu)化訓練速度一、引言不同學習率衰減方法結(jié)果GPU的重要性并行計算是一種將特定計算分解成可以同時進行的，獨立的較小計算程序的程序。在將特定計算分別為較小的獨立計算后，將計算時間一致的計算結(jié)果再次組合為最終結(jié)果。目前工業(yè)界所用設(shè)備中包含計算單元最多的是圖像處理器設(shè)備（Graphicsprocessingunit,GPU），擁有成千上萬個核心數(shù)，可以完全滿足并行計算的需求。GPU可以加速神經(jīng)網(wǎng)絡(luò)的計算，減少模型更新和設(shè)計的時間。對于一個普通的深度學習模型，當不使用GPU時，訓練周期可能長達幾周甚至幾個月。而基于GPU進行訓練時，訓練周期可以縮短為幾小時或者幾天。一、引言12

引言123

模型范式5

深度學習在智能電網(wǎng)中的應用深度學習中常用的網(wǎng)絡(luò)結(jié)構(gòu)：卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks,CNN）循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）自動編碼器（Autoencoder，AE）二、模型范式卷積神經(jīng)網(wǎng)絡(luò)（CNN）卷積神經(jīng)網(wǎng)絡(luò)（Convolutionalneuralnetworks,CNN）是深度神經(jīng)網(wǎng)絡(luò)的代表之一，適合處理空間數(shù)據(jù)，在計算機視覺領(lǐng)域應用非常廣泛二、模型范式卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：輸入層卷積層池化層全連接層二、模型范式卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)二、模型范式卷積神經(jīng)網(wǎng)絡(luò)將原始高維輸入轉(zhuǎn)化為了低維特征矩陣，從而減少了原始模型的參數(shù)量，同時沒有損失過多的原始信息卷積操作可以保持圖像的空間連續(xù)性，同時還可以提取圖像的局部特征池化操作可以降低中間隱藏層的維度，減少卷積層之后神經(jīng)網(wǎng)絡(luò)節(jié)點的運算量卷積操作和池化操作過程：二、模型范式卷積操作和池化操作

二、模型范式循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）循環(huán)神經(jīng)網(wǎng)絡(luò)是一類專門處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。如同卷積網(wǎng)絡(luò)專門用來處理矩陣式數(shù)據(jù)，循環(huán)神經(jīng)網(wǎng)絡(luò)對長序列的數(shù)據(jù)預測和建模非常有效。二、模型范式

二、模型范式（7-1）典型動態(tài)控制系統(tǒng)典型動態(tài)控制系統(tǒng)：二、模型范式（7-3）有外部輸入的動態(tài)控制系統(tǒng)進一步地，考慮有外部驅(qū)動信號的動態(tài)控制系統(tǒng)：

循環(huán)神經(jīng)網(wǎng)絡(luò)主要特點：輸入序列信息，對應輸出序列信息，同時內(nèi)部的狀態(tài)值會在各個時間步長中進行傳遞。二、模型范式循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)二、模型范式（7-4）是

時刻輸入層的輸入向量是相鄰神經(jīng)元時刻的狀態(tài)向量是輸入對應的權(quán)重矩陣是相鄰兩個神經(jīng)元的隱含層權(quán)重矩陣是

時刻隱含層和輸出層之間的權(quán)重矩陣為非線性激活函數(shù)

其中：二、模型范式循環(huán)神經(jīng)網(wǎng)絡(luò)主要改型：長短周期記憶模型（long-shorttermmemory,LSTM）：當輸入序列較長時，整個時間序列較早的信息無法被傳遞到后面，導致歷史信息對未來神經(jīng)元輸出的參考作用越來越弱，即“長時間依賴”，LSTM可有效克服。獨立循環(huán)神經(jīng)網(wǎng)絡(luò)（independentRNN,IndRNN）：主要用來解決的問題是LSTM模型中存在的梯度衰減問題雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（bidirectionalRNN,BiRNN）：雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的本質(zhì)是每一個訓練的時間序列向前和向后均有一個循環(huán)神經(jīng)網(wǎng)絡(luò)，且兩者均連接著同一個輸出層。這種結(jié)構(gòu)可以提供給輸出層的輸入序列每一個點的完整過去和未來上下文信息自動編碼器（AE）自動編碼器本質(zhì)上屬于數(shù)據(jù)壓縮的一種方法，但是它的結(jié)構(gòu)是以深度學習模型來展現(xiàn)的。傳統(tǒng)編碼器一般用來數(shù)據(jù)降維或者特征學習，但是自動編碼器要靈活的多，因為它既可以表征線性變換也可以表征非線性變換。二、模型范式自動編碼器結(jié)構(gòu)：編碼器：將高維輸入編碼為隱含層中的低維信息，從而實現(xiàn)原始數(shù)據(jù)的數(shù)據(jù)壓縮解碼器：解碼器會將隱含層的低維信息還原到初始維度二、模型范式自動編碼器結(jié)構(gòu)自動編碼器常用類型：欠完備自編碼器：欠完備自編碼器的隱含層維度強制小于輸入層，此模型將強制自編碼器捕捉訓練數(shù)據(jù)中最顯著的特征，自編碼器的學習過程就是最小化重構(gòu)誤差正則編碼器：正則編碼器使用的損失函數(shù)可以激勵模型學習除了輸入與輸出映射關(guān)系的其他特性，而不必限制使用低緯度的隱含層神經(jīng)元數(shù)量或者層數(shù)較少的編碼器和解碼器來限制模型學習空間容量變分自編碼器：1）內(nèi)部的特征是服從正態(tài)分布的隨機變量；2）引入了建議分布，通過變分下界將數(shù)據(jù)概率分布的數(shù)學期望轉(zhuǎn)化為了建議分布的數(shù)學期望；3）對編碼器輸出的均值和方程進行了線性變換二、模型范式注意力機制注意力機制可以以高權(quán)重去聚焦重要信息，以低權(quán)重去忽略不相關(guān)的信息，并且還可以不斷調(diào)整權(quán)重，來適應在不同的情況下對重要信息的提取過程二、模型范式注意力機制注意力機制特點：注意力模型的本質(zhì)就是關(guān)注重點信息而忽略不相關(guān)的信息，直接建立輸入和輸出之間的依賴關(guān)系，從而提高模型運行速度(實際上是一種較弱的先驗行為)注意力模型克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的一些局限，如隨著輸入長度增加系統(tǒng)的性能下降、輸入順序不合理導致計算效率下降、特征工程能力弱等。同時注意力模型能夠很好地建?？勺冮L度的序列數(shù)據(jù)和可變寬度的網(wǎng)格化數(shù)據(jù)，進一步增強了其捕獲遠程依賴信息的能力，減少模型層次的同時又有效提高了精度注意力模型的權(quán)重模式是訓練之前定義的，對每個輸入數(shù)據(jù)對應的權(quán)重模型可以單獨設(shè)置和訓練，因此提高了模型訓練過程的并行化程度，使得模型的預測性能、分類性能更高二、模型范式30

引言123

模型范式5

深度學習在智能電網(wǎng)中的應用電力設(shè)備及系統(tǒng)故障診斷光伏功率預測電力系統(tǒng)快速潮流計算三、深度學習在智能電網(wǎng)中的應用電力設(shè)備及系統(tǒng)故障診斷故障定位是在故障發(fā)生后，根據(jù)故障傳播特性、暫態(tài)特性、電氣量變化特性等，判斷故障所在的線路和區(qū)段。這個過程需要非常多的計算過程而且不易得到最終的結(jié)果。深度學習可以直接用原始的電氣量輸入建立端到端模型直接判斷。三、深度學習在智能電網(wǎng)中的應用不同故障定位技術(shù)對比應用實例：四端直流輸電系統(tǒng)拓撲三、深度學習在智能電網(wǎng)中的應用四端直流輸電系統(tǒng)拓撲三、深度學習在智能電網(wǎng)中的應用樣本特征提取MTDC系統(tǒng)發(fā)生故障時，電氣量波形的幅值變化能比較明顯地區(qū)分出各個故障，然而實際系統(tǒng)故障距離的變化不能明顯地反映在幅值上，使得僅僅依靠幅值變化不能可靠地區(qū)分故障的類別和位置?？蓱妙l率分析的小波包分析方法進行數(shù)據(jù)預處理，同時給神經(jīng)網(wǎng)絡(luò)輸入幅值特征和頻率特征，全面捕捉故障特征。首先在故障的幅值確定方面，幅值特征在于確定電氣量幅值變化信息，確定故障波形與正常波形的不同之處。利用信號波形進行MTDC線路故障診斷時，把故障信號波形和正常信號波形首尾相連排列成新信號，如此實現(xiàn)了新信號波形前后幅值特征變化提取。三、深度學習在智能電網(wǎng)中的應用具體的合成公式：合成后的數(shù)據(jù)故障發(fā)生的時刻采樣點的間隔采樣點的個數(shù)三、深度學習在智能電網(wǎng)中的應用頻率分析方面：對直流端兩極電壓、正/負極電流、正/負極電壓5種電氣量進行3層小波包重構(gòu)，提取各頻段頻率特征，實現(xiàn)頻率特征提取。小波包分解小波包重構(gòu)三、深度學習在智能電網(wǎng)中的應用模型構(gòu)建：故障的幅值特征與頻率特征都得到了對應的數(shù)據(jù)之后，構(gòu)建并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（parallelconvolutionalneuralnetwork,P-CNN），P-CNN可以在人為干預下將兩個支路分別訓練成為有專一功能的神經(jīng)網(wǎng)絡(luò)，然后再依靠全連接層結(jié)合在一起。P-CNN的雙支路結(jié)構(gòu)可以讓故障診斷過程更加有序和快速。2條支路分別提取MTDC故障分類特征和故障定位特征，并且依靠P-CNN的特殊性質(zhì)同時進行計算，提高故障診斷快速性。三、深度學習在智能電網(wǎng)中的應用故障幅值特征與頻率特征P-CNN并聯(lián)神經(jīng)網(wǎng)絡(luò)模型輸入節(jié)點故障電壓幅值特征節(jié)點故障頻率特征模型輸出故障類別故障定位三、深度學習在智能電網(wǎng)中的應用模型驗證：在模型訓練完成后，可將設(shè)計模型與其他模型進行相關(guān)性能的比較。通常來說，人工智能學習模型再故障診斷方面，以故障診斷準確率、診斷時間和訓練時長作為相關(guān)的性能指標。考慮到基于模型方法的故障診斷與定位準確性受所選閾值的影響比較大，避免了人為造成的不確定因素，將傳統(tǒng)人工智能方法與深度學習方法在MTDC故障定位領(lǐng)域的對比進行分析。神經(jīng)網(wǎng)絡(luò)故障診斷準確率/%診斷時間/ms訓練時長KNN90.820.70421SVM95.230.80057單支路CNN90.451.24328串聯(lián)結(jié)構(gòu)CNN95.611.86479P-CNN99.241.8565.73不同方法的性能比較結(jié)果三、深度學習在智能電網(wǎng)中的應用從結(jié)果可以看出，在MTDC線路故障診斷方面，有著更多的神經(jīng)元串聯(lián)結(jié)構(gòu)CNN和P-CNN的準確性比KNN，SVM和單支路CNN高。在快速性方面，結(jié)構(gòu)簡單的KNN,SVM及單支路CNN表現(xiàn)更加優(yōu)秀，但是整體均滿足快速性的要求。雖然單支路CNN的故障診斷時長優(yōu)于P-CNN，但是準確性不足，如果在增加故障類型和故障位置導致輸出數(shù)量激增的情況，單支路CNN故障診斷的適應能力會進一步下降。三、深度學習在智能電網(wǎng)中的應用光伏功率預測智能電網(wǎng)中分布式光伏接入的比例越來越高，為了減少光伏波動性對電網(wǎng)穩(wěn)定性的影響，光伏功率預測技術(shù)必不可少。深度學習相比傳統(tǒng)預測方法，充分利用歷史數(shù)據(jù)的同時可以利用實時數(shù)據(jù)來更新自身模型。特別地，深度學習中的序列模型對具有時間序列特征的光伏功率預測有著明顯的優(yōu)勢，從而可以提高預測模型的準確性。三、深度學習在智能電網(wǎng)中的應用應用實例：超短周期光伏功率預測基于多頭注意力機制的長短周期記憶模型方法15分鐘1小時15分鐘2小時15分鐘4小時誤差MAPERSMEMAPERSMEMAPERSMEMAPERSMEBP0.4011.20.4914.40.6015.60.6719.4LSTM0.329.30.4111.30.4713.80.5215.2AttentionLSTM0.226.40.339.50.4011.20.4312.6多頭注意力機制的長短周期記憶模型0.112.90.164.60.205.80.287.8不同方法預測準確度三、深度學習在智能電網(wǎng)中的應用模型數(shù)據(jù)處理首先我們需要確定光伏功率預測的相關(guān)數(shù)據(jù)。通常來講，光伏功率的數(shù)據(jù)包括功率數(shù)據(jù)和氣象數(shù)據(jù)。功率數(shù)據(jù)即為光伏發(fā)電功率數(shù)據(jù)，氣象數(shù)據(jù)包括直接輻照度，散射輻照度、總輻照度、溫度、濕度、風速、風向。由于目前工業(yè)界數(shù)據(jù)采集設(shè)備的缺陷，直接利用傳感器在光伏的逆變器側(cè)測得的數(shù)據(jù)在傳輸和保存過程中會出現(xiàn)誤差。因此首先要對原始數(shù)據(jù)進行處理。三、深度學習在智能電網(wǎng)中的應用模型數(shù)據(jù)處理原始數(shù)據(jù)的異常情況包括：缺失、重復和異常值。針對缺失數(shù)據(jù)采用數(shù)值插值的方法將該時間段領(lǐng)域的數(shù)據(jù)進行平均來作為該時間的預測數(shù)據(jù)。重復和異常值通過對歷史數(shù)據(jù)中，同樣是該時間段的數(shù)據(jù)進行統(tǒng)計并畫出頻率分布直方圖。將頻率分布直方圖中出現(xiàn)頻率最低的兩個區(qū)間內(nèi)數(shù)據(jù)剔除，之后同樣利用插值的方法將剔除后的數(shù)據(jù)缺失位填補完整。模型數(shù)據(jù)處理另一方面，原始數(shù)據(jù)與光伏功率的相關(guān)性也需要進行檢驗。若輸入模型的訓練數(shù)據(jù)與目標數(shù)據(jù)相關(guān)性較小，那么模型的可信度較小。通常來講，光伏功率預測與相關(guān)氣象數(shù)據(jù)的相關(guān)度分析使用皮爾遜相關(guān)系數(shù)法。相關(guān)數(shù)越接近1，相關(guān)性越大；相關(guān)數(shù)越接近-1，相關(guān)性越小；越接近0，相關(guān)性越弱?？商蕹嚓P(guān)性較小的數(shù)據(jù)，保留相關(guān)性較大的數(shù)據(jù)三、深度學習在智能電網(wǎng)中的應用三、深度學習在智能電網(wǎng)中的應用模型構(gòu)建光伏功率屬于典型的序列數(shù)據(jù)，通常采用長短周期記憶模型進行訓練。首先要確定序列預測模型的輸入序列長度和輸出序列長度。針對超短期光伏功率預測，輸出序列可以為單個時間步也可以為多個時間步長。而預測方式也分別對應了滾動預測和直接預測。而為了進一步提高預測精度和計算效率，在長短周期記憶模型的基礎(chǔ)上可增加多頭注意力模型。三、深度學習在智能電網(wǎng)中的應用模型構(gòu)建滾動預測相比直接預測的區(qū)別，除了模型結(jié)構(gòu)不同外，還有一點就是滾動預測的預測模型輸出，會作為下一個時間步預測的模型輸入。這樣滾動預測模型理論上可以預測任意長度的時間序列。但是不可否認的是，基于滾動預測方法的預測結(jié)果，會隨著預測時間尺度的增加而下降，而直接預測方法該特點并不明顯，各個尺度的預測結(jié)果相對平均。因此在實際光伏功率預測的實際應用中，要根據(jù)實際情況來選擇合適的預測模型。三、深度學習在智能電網(wǎng)中的應用滾動預測模型直接預測模型三、深度學習在智能電網(wǎng)中的應用方法15分鐘1小時15分鐘2小時15分鐘4小時誤差MAPERSMEMAPERSMEMAPERSMEMAPERSMEBP0.4011.20.4914.40.6015.60.6719.4LSTM0.329.30.4111.30.4713.80.5215.2AttentionLSTM0.226.40.339.50.4011.20.4312.6多頭注意力機制的長短周期記憶模型0.112.90.164.60.205.80.287.8不同方法預測準確度模型驗證在訓練過程中，訓練數(shù)據(jù)要比測試數(shù)據(jù)多至少兩倍。由于超短期光伏功率預測時間尺度為15分鐘到4小時，因此在預測模型性能分析時，選取15分鐘，1小時15分鐘，2小時15分鐘和4小時作為典型代表。光伏功率預測的準確度以平均絕對誤差百分比（MAPE）和標準均方根差（RMSE)為代表，從預測準確度可以看出，多頭注意力機制的長短周期記憶的模型的預測準確度是最高的?？焖俪绷饔嬎愠绷饔嬎闶菍o定的運行條件（如負荷需求、電網(wǎng)拓撲結(jié)構(gòu)、可再生能源出力等）確定系統(tǒng)的運行狀態(tài)，如節(jié)點電壓（幅值與相角）、線路傳輸功率等。而最優(yōu)潮流計算指的是單時段、僅考慮連續(xù)優(yōu)化變量的最優(yōu)潮流問題。它可以通過構(gòu)建等式和不等式約束對應的優(yōu)化問題，這導致了最優(yōu)潮流的計算非常復雜，以至于一般來說無法得到實時潮流。而深度學習的實時推理能力為快速潮流計算的實時性帶來了希望。三、深度學習在智能電網(wǎng)中的應用三、深度學習在智能電網(wǎng)中的應用應用實例：IEEE標準節(jié)點快速潮流計算IEEE39標準節(jié)點圖三、深度學習在智能電網(wǎng)中的應用樣本數(shù)據(jù)定義在交流潮流計算中，母線通常分為三類：PQ母線、PV母線和松