第6章神經(jīng)網(wǎng)絡(luò)控制PPT課件

1、16.1 概述生物神經(jīng)元模型 6.1.2 人工神經(jīng)元模型6.1.3 人工神經(jīng)網(wǎng)絡(luò)模型6.1.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法第1頁/共52頁2生物神經(jīng)元模型 人腦大約包含1012個(gè)神經(jīng)元，分成約1000種類型，每個(gè)神經(jīng)元大約與102104個(gè)其他神經(jīng)元相連接，形成極為錯(cuò)綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。每個(gè)神經(jīng)元雖然都十分簡單，但是如此大量的神經(jīng)元之間、如此復(fù)雜的連接卻可以演化出豐富多彩的行為方式。同時(shí)，如此大量的神經(jīng)元與外部感受器之間的多種多樣的連接方式也蘊(yùn)含了變化莫測的反應(yīng)方式。第2頁/共52頁3第3頁/共52頁4 從生物控制論的觀點(diǎn)來看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性：

2、 時(shí)空整合功能 興奮與抑制狀態(tài) 脈沖與電位轉(zhuǎn)換 神經(jīng)纖維傳導(dǎo)速度 突觸延時(shí)和不應(yīng)期 學(xué)習(xí)、遺忘和疲勞 第4頁/共52頁56.1.2 人工神經(jīng)元模型 人工神經(jīng)元是對(duì)生物神經(jīng)元的一種模擬與簡化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。如圖所示為一種簡化的人工神經(jīng)元結(jié)構(gòu)。它是一個(gè)多輸入、單輸出的非線性元件。第5頁/共52頁6第6頁/共52頁7 其輸入、輸出關(guān)系可描述為 其中， 是從其他神經(jīng)元傳來的輸入信號(hào)； 表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值； 為閾值； 稱為激發(fā)函數(shù)或作用函數(shù)。njijijixwI1)(iiIfy), 2 , 1(njxj ijwi)(f第7頁/共52頁8 輸出激發(fā)函數(shù) 又稱為變換函數(shù)，它決定

3、神經(jīng)元（節(jié)點(diǎn)）的輸出。該輸出為1或0，取決于其輸入之和大于或小于內(nèi)部閾值 。函數(shù) 一般具有非線性特性。下圖表示了幾種常見的激發(fā)函數(shù)。 1. 閾值型函數(shù)（見圖（a），（b） 2. 飽和型函數(shù)（見圖（c） 3. 雙曲函數(shù)（見圖（d） 4. S型函數(shù)（見（e） 5. 高斯函數(shù)（見圖（f）)(fi)(f第8頁/共52頁9第9頁/共52頁106.1.3 人工神經(jīng)網(wǎng)絡(luò)模型 人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反饋

4、型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。第10頁/共52頁111. 前饋型神經(jīng)網(wǎng)絡(luò) 前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)（Feed forward NN）。如圖所示，神經(jīng)元分層排列，有輸入層、隱層（亦稱中間層，可有若干層）和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。 從學(xué)習(xí)的觀點(diǎn)來看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡單而易于編程；從系統(tǒng)的觀點(diǎn)看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性映射，通過簡單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但從計(jì)算的觀點(diǎn)看，缺乏豐富的動(dòng)力學(xué)行為。大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識(shí)別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP 網(wǎng)絡(luò)等。 第11頁

5、/共52頁12第12頁/共52頁132. 反饋型神經(jīng)網(wǎng)絡(luò) 反饋型神經(jīng)網(wǎng)絡(luò)（Feedback NN）的結(jié)構(gòu)如圖所示。如果總節(jié)點(diǎn)（神經(jīng)元）數(shù)為N，那么每個(gè)節(jié)點(diǎn)有N個(gè)輸入和一個(gè)輸出，也就是說，所有節(jié)點(diǎn)都是一樣的，它們之間都可相互連接。 反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶（Content一Addressible Memory，CAM）的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfie1d神經(jīng)網(wǎng)絡(luò)還可以用來解決快速尋優(yōu)問題。第13頁/共52頁14第14頁/共52頁156.1.4 神經(jīng)網(wǎng)絡(luò)

6、的學(xué)習(xí)方法 學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性的主要標(biāo)志，離開了學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)就失去了自適應(yīng)、自組織和自學(xué)習(xí)的能力。目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無導(dǎo)師來分類，可分為有教師學(xué)習(xí)（Supervised Learning）、無教師學(xué)習(xí)（Unsupervised Learning）和再勵(lì)學(xué)習(xí)（Reinforcement Learning）等幾大類。在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號(hào)）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無教師的學(xué)習(xí)方式中，輸入模式進(jìn)人網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動(dòng)調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能

7、。再勵(lì)學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。 第15頁/共52頁16神經(jīng)網(wǎng)絡(luò)中常用的幾種最基本的學(xué)習(xí)方法 1. Hebb學(xué)習(xí)規(guī)則 兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則 Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。第16頁/共52頁172Delta（）學(xué)習(xí)規(guī)則 規(guī)則實(shí)現(xiàn)了E中的梯度下降，因此使誤差函數(shù)達(dá)到最小值。但學(xué)習(xí)規(guī)則只適用于線性可分函數(shù)，無法用于多層網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的學(xué)習(xí)算法稱為BP算法，是在規(guī)則基礎(chǔ)上發(fā)展起來的，可在多網(wǎng)絡(luò)上有效地學(xué)習(xí)。 第17頁/共52

8、頁183概率式學(xué)習(xí) 從統(tǒng)計(jì)力學(xué)、分子熱力學(xué)和概率論中關(guān)于系統(tǒng)穩(wěn)態(tài)能量的標(biāo)準(zhǔn)出發(fā)，進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式稱概率式學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)處于某一狀態(tài)的概率主要取決于在此狀態(tài)下的能量，能量越低，概率越大。同時(shí)，此概率還取決于溫度參數(shù)T。T越大，不同狀態(tài)出現(xiàn)概率的差異便越小，較容易跳出能量的局部極小點(diǎn)而到全局的極小點(diǎn)；T越小時(shí)，情形正相反。概率式學(xué)習(xí)的典型代表是Boltzmann機(jī)學(xué)習(xí)規(guī)則。它是基于模擬退火的統(tǒng)計(jì)優(yōu)化方法，因此又稱模擬退火算法。 第18頁/共52頁194競爭式學(xué)習(xí) 競爭式學(xué)習(xí)屬于無教師學(xué)習(xí)方式。此種學(xué)習(xí)方式利用不同層間的神經(jīng)元發(fā)生興奮性聯(lián)接，以及同一層內(nèi)距離很近的神經(jīng)元間發(fā)生同樣的興奮性聯(lián)接，

9、而距離較遠(yuǎn)的神經(jīng)元產(chǎn)生抑制性聯(lián)接。在這種聯(lián)接機(jī)制中引人竟?fàn)帣C(jī)制的學(xué)習(xí)方式稱為竟?fàn)幨綄W(xué)習(xí)。它的本質(zhì)在于神經(jīng)網(wǎng)絡(luò)中高層次的神經(jīng)元對(duì)低層次神經(jīng)元的輸入模式進(jìn)行競爭識(shí)別。第19頁/共52頁206.2 前向神經(jīng)網(wǎng)絡(luò)6.2.1 感知器網(wǎng)絡(luò) 感知器（perceptrvon）是一個(gè)具有單層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成，是最簡單的前向網(wǎng)絡(luò)。它主要用于模式分類，單層的感知器網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。第20頁/共52頁21第21頁/共52頁22感知器的一種學(xué)習(xí)算法： 隨機(jī)地給定一組連接權(quán) 輸入一組樣本和期望的輸出（亦稱之為教師信號(hào)） 計(jì)算感知器實(shí)際輸出 修正權(quán)值 選取另外一組樣本，重復(fù)上述2）4）的過程，直到權(quán)

10、值對(duì)一切樣本均穩(wěn)定不變?yōu)橹?，學(xué)習(xí)過程結(jié)束。 第22頁/共52頁236.2.2 BP網(wǎng)絡(luò) 誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)（Back Propagation），是一種單向傳播的多層前向網(wǎng)絡(luò)。在模式識(shí)別、圖像處理、系統(tǒng)辨識(shí)、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。如圖是BP網(wǎng)絡(luò)的示意圖。第23頁/共52頁24第24頁/共52頁25 誤差反向傳播的BP算法簡稱BP算法，其基本思想是最小二乘算法。它采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差均方值為最小。 BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸

11、出層，每層神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)人反向傳播，將誤差信號(hào)沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使誤差信號(hào)最小。第25頁/共52頁261BP網(wǎng)絡(luò)的前饋計(jì)算2BP網(wǎng)絡(luò)權(quán)值的調(diào)整規(guī)則 1). 輸出層權(quán)系數(shù)的調(diào)整 2). 隱含層節(jié)點(diǎn)權(quán)系數(shù)的調(diào)整3BP學(xué)習(xí)算法的計(jì)算步驟 第26頁/共52頁27 3BP學(xué)習(xí)算法的計(jì)算步驟 1). 初始化 置所有權(quán)值為較小的隨機(jī)數(shù) 2). 提供訓(xùn)練集 3). 計(jì)算實(shí)際輸出，計(jì)算隱含層、輸出層各神經(jīng)元輸出 4). 計(jì)算目標(biāo)值與實(shí)際輸出的偏差E 5). 計(jì)算 6). 計(jì)算 7). 返回“2）”重復(fù)計(jì)算，直到誤差

12、滿足要求為止 jkpwijpw第27頁/共52頁28第28頁/共52頁29 在使用BP算法時(shí)，應(yīng)注意的幾個(gè)問題是： 1). 學(xué)習(xí)開始時(shí)，各隱含層連接權(quán)系數(shù)的初值應(yīng)以設(shè)置較小的隨機(jī)數(shù)較為適宜。 2). 采用S型激發(fā)函數(shù)時(shí)，由于輸出層各神經(jīng)元的輸出只能趨于1或0，不能達(dá)到1或0。在設(shè)置各訓(xùn)練樣本時(shí)，期望的輸出分量dpk不能設(shè)置為1或0，以設(shè)置為或0，1較為適宜。 3). 學(xué)習(xí)速率的選擇，在學(xué)習(xí)開始階段，選較大的值可以加快學(xué)習(xí)速度。學(xué)習(xí)接近優(yōu)化區(qū)時(shí)，值必須相當(dāng)小，否則權(quán)系數(shù)將產(chǎn)生振蕩而不收斂。平滑因子的選值在左右。第29頁/共52頁306.2.3 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)1多層前向BP網(wǎng)絡(luò)的優(yōu)點(diǎn)： 1

13、). 網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。這使得它特別適合于求解內(nèi)部機(jī)制復(fù)雜的問題； 2). 網(wǎng)絡(luò)能通過學(xué)習(xí)帶正確答案的實(shí)例集自動(dòng)提取“合理的”求解規(guī)則，即具有自學(xué)習(xí)能力； 第30頁/共52頁312多層前向BP網(wǎng)絡(luò)的問題： 1). BP算法的學(xué)習(xí)速度很慢 2). 網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大 3). 難以解決應(yīng)用問題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾 4). 網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定 5). 新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻畫每個(gè)輸入樣本的特征的數(shù)目也必須相同 6). 網(wǎng)絡(luò)的預(yù)測能力（也稱泛化能力

14、、推廣能力）與訓(xùn)練能力（也稱逼近能力、學(xué)習(xí)能力）的矛盾 第31頁/共52頁323BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn) 1). 增加“慣性項(xiàng) 2). 采用動(dòng)態(tài)步長 3). 與其他全局搜索算法相結(jié)合 4). 模擬退火算法 目前在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，基于梯度的算法都不能從理論上保證收斂結(jié)果是全局最優(yōu)的。 第32頁/共52頁336.2.4 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 可以任意逼近一個(gè)緊集上的任意函數(shù)這一特點(diǎn)是神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用的理論基礎(chǔ)。但是，在實(shí)際應(yīng)用中，目前尚未找到較好的網(wǎng)絡(luò)構(gòu)造方法，確定網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)值參數(shù)，來描述給定的映射或逼近一個(gè)未知的映射，只能通過學(xué)習(xí)來得到滿足要求的網(wǎng)絡(luò)模型。 第33頁/共52頁34神經(jīng)網(wǎng)絡(luò)訓(xùn)練的具體

15、步驟如下 1獲取訓(xùn)練樣本集 獲取訓(xùn)練樣本集合是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的第一步，也是十分重要和關(guān)鍵的一步。它包括訓(xùn)練數(shù)據(jù)的收集、分析、選擇和預(yù)處理等 2選擇網(wǎng)絡(luò)類型與結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)的類型很多，需要根據(jù)任務(wù)的性質(zhì)和要求來選擇合適的網(wǎng)絡(luò)類型。 3訓(xùn)練與測試 最后一步是利用獲取的訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行反復(fù)訓(xùn)練，直至得到合適的映射結(jié)果。 第34頁/共52頁356.3 反饋神經(jīng)網(wǎng)絡(luò) 反饋網(wǎng)絡(luò)(Recurrent Network)，又稱自聯(lián)想記憶網(wǎng)絡(luò)，其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。 反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)特性。它所具有

16、的主要特性為以下兩點(diǎn)： 第一、網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)； 第二，系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中。第35頁/共52頁366.3.1 離散Hopfield網(wǎng)絡(luò)1. 網(wǎng)絡(luò)的結(jié)構(gòu)和工作方式 離散Hopfield網(wǎng)絡(luò)是一個(gè)單層網(wǎng)絡(luò)，有個(gè)神經(jīng)元節(jié)點(diǎn)，每個(gè)神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。 各節(jié)點(diǎn)沒有自反饋，每個(gè)節(jié)點(diǎn)都附有一個(gè)閥值。每個(gè)節(jié)點(diǎn)都可處于一種可能的狀態(tài)（1或1），即當(dāng)該神經(jīng)元所受的刺激超過其閥值時(shí)，神經(jīng)元就處于一種狀態(tài)（比如1），否則神經(jīng)元就始終處于另一狀態(tài)（比如1）。第36頁/共52頁37第37

17、頁/共52頁38 整個(gè)網(wǎng)絡(luò)有兩種工作方式：即異步方式和同步方式。 1). 異步方式 2). 同步方式2. 穩(wěn)定性和吸引子3. 連接權(quán)的設(shè)計(jì)4. 聯(lián)想記憶第38頁/共52頁396.3.2 連續(xù)Hopfield網(wǎng)絡(luò) 連續(xù)Hopfield 網(wǎng)絡(luò)也是單層的反饋網(wǎng)絡(luò)。其實(shí)質(zhì)上是一個(gè)連續(xù)的非線性動(dòng)力學(xué)系統(tǒng)，它可以用一組非線性微分方程來描述。當(dāng)給定初始狀態(tài)，通過求解非線性微分方程組即可求得網(wǎng)絡(luò)狀態(tài)的運(yùn)行軌跡。若系統(tǒng)是穩(wěn)定的，則它最終可收斂到一個(gè)穩(wěn)定狀態(tài)。第39頁/共52頁406.3.3 Boltzmann機(jī)nBoltzmann機(jī)網(wǎng)絡(luò)結(jié)構(gòu)和工作方式n Boltzmann機(jī)網(wǎng)絡(luò)是一個(gè)相互連接的神經(jīng)網(wǎng)絡(luò)模型，具有

18、對(duì)稱的連接權(quán)系數(shù)，及wijwji且wii=0。網(wǎng)絡(luò)由可見單元（Visible Unit）和隱單元（Hidden Unit）構(gòu)成?？梢妴卧奢斎?、輸出部分組成。每個(gè)單元節(jié)點(diǎn)只取1或0兩種狀態(tài)。1代表接通或接受，0表示斷開或拒絕。當(dāng)神經(jīng)元的輸入加權(quán)和發(fā)生變化時(shí)，神經(jīng)元的狀態(tài)隨之更新。各單元之間狀態(tài)的更新是異步的。 第40頁/共52頁41 與Hopfield網(wǎng)絡(luò)相似，Boltzmann機(jī)的實(shí)際運(yùn)行也分為兩個(gè)階段： 第一階段是學(xué)習(xí)和訓(xùn)練階段，即根據(jù)學(xué)習(xí)樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將知識(shí)分布地存儲(chǔ)于網(wǎng)絡(luò)的連接權(quán)中； 第二階段是工作階段，即根據(jù)輸入運(yùn)行網(wǎng)絡(luò)得到合適的輸出，這一步實(shí)質(zhì)上是按照某種機(jī)制將知識(shí)提取出來。

19、 第41頁/共52頁422. 網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練 網(wǎng)絡(luò)學(xué)習(xí)的目的是通過給出一組學(xué)習(xí)樣本，經(jīng)學(xué)習(xí)后得到Boltzmann機(jī)各種神經(jīng)元之間的連接權(quán)wij . Boltzmann機(jī)網(wǎng)絡(luò)學(xué)習(xí)的步驟可歸納如下： 1). 隨機(jī)設(shè)定網(wǎng)絡(luò)的連接權(quán)wij(0)及初始高溫。 2). 按照已知的概率p(x)，依次給定學(xué)習(xí)樣本。在樣本的約束下，按照模擬退火程度運(yùn)行網(wǎng)絡(luò)，直至達(dá)到平衡狀態(tài)，統(tǒng)計(jì)出各pij。在無約束條件下，按同樣的步驟并同樣的次數(shù)運(yùn)行網(wǎng)絡(luò)，統(tǒng)計(jì)出各pij。 3). 按下述公式修改權(quán)值 wij(k+1)=wij(k)+(pij-pij), 0 4). 重復(fù)上述步驟，直到pij-pij小于一定的容限。第42頁/

20、共52頁436.4 神經(jīng)網(wǎng)絡(luò)PID控制 盡管神經(jīng)網(wǎng)絡(luò)控制技術(shù)有許多潛在的優(yōu)勢，但單純使用神經(jīng)網(wǎng)絡(luò)的控制方法的研究仍有待進(jìn)一步發(fā)展。通常將人工神經(jīng)網(wǎng)絡(luò)技術(shù)與傳統(tǒng)的控制理論或智能技術(shù)綜合使用。神經(jīng)網(wǎng)絡(luò)在控制中的作用有以下幾種： 1在傳統(tǒng)的控制系統(tǒng)中用以動(dòng)態(tài)系統(tǒng)建模，充當(dāng)對(duì)象模型； 2在反饋控制系統(tǒng)中直接充當(dāng)控制器的作用； 3在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計(jì)算作用； 4與其他智能控制方法如模糊邏輯、遺傳算法、專家控制等相融合。 第43頁/共52頁446.4.1 基于BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制 BP神經(jīng)網(wǎng)絡(luò)具有逼近任意非線性函數(shù)的能力，而且結(jié)構(gòu)和學(xué)習(xí)算法簡單明確。通過神經(jīng)網(wǎng)絡(luò)自身的學(xué)習(xí)，可以找到某一

21、最優(yōu)控制律下的P，I，D參數(shù)?；贐P神經(jīng)網(wǎng)絡(luò)的PD控制系統(tǒng)結(jié)構(gòu)如圖所示，控制器由兩個(gè)部分組成：經(jīng)典的PID控制器：直接對(duì)被控對(duì)象進(jìn)行閉環(huán)控制，并且KP,KI,KD三個(gè)參數(shù)為在線整定；神經(jīng)網(wǎng)絡(luò)NN：根據(jù)系統(tǒng)的運(yùn)行狀態(tài)，調(diào)節(jié)PID控制器的參數(shù)，以期達(dá)到某種性能指標(biāo)的最優(yōu)化。即使輸出層神經(jīng)元的輸出狀態(tài)對(duì)應(yīng)于PID控制器的三個(gè)可調(diào)參數(shù)KP,KI,KD，通過神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、調(diào)整權(quán)系數(shù)，從而使其穩(wěn)定狀態(tài)對(duì)應(yīng)于某種最優(yōu)控制律下的PID控制器參數(shù)。第44頁/共52頁45第45頁/共52頁46 基于BP神經(jīng)網(wǎng)絡(luò)的PID控制算法可歸納如下： 1). 事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層

22、節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0), w(3)li(0)，選定學(xué)習(xí)速率和平滑因子，k=1； 2). 采樣得到r(k)和y(k)，計(jì)算e(k)=z(k)=r(k)-y(k)； 3). 對(duì)r(i),y(i),u(i-1),e(i)進(jìn)行歸一化處理，作為NN的輸入； 4). 前向計(jì)算NN的各層神經(jīng)元的輸入和輸出，NN輸出層的輸出即為PID控制器的三個(gè)可調(diào)參數(shù)KP(k),KI(k),KD(k)； 5). 計(jì)算PID控制器的控制輸出u(k)，參與控制和計(jì)算； 6). 計(jì)算修正輸出層的權(quán)系數(shù)w(3)li(k)； 7). 計(jì)算修正隱含層的權(quán)系數(shù)w(2)ij(k)； 8). 置k=k+1，返回到“2

23、）”。 第46頁/共52頁476.4.2 改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)控制參數(shù)自學(xué)習(xí)PID控制 將神經(jīng)網(wǎng)絡(luò)用于控制器的設(shè)計(jì)或直接學(xué)習(xí)計(jì)算控制器的輸出（控制量），一般都要用到系統(tǒng)的預(yù)測輸出值或其變化量來計(jì)算權(quán)系數(shù)的修正量。但實(shí)際上，系統(tǒng)的預(yù)測輸出值是不易直接測得的，通常的做法是建立被控對(duì)象的預(yù)測數(shù)學(xué)模型，用該模型所計(jì)算的預(yù)測輸出來取代預(yù)測處的實(shí)測值，以提高控制效果。第47頁/共52頁481采用線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制器 第48頁/共52頁49采用線性預(yù)測模型的BP神經(jīng)網(wǎng)絡(luò)PID控制系統(tǒng)算法歸納如下： 1). 事先選定BP神經(jīng)網(wǎng)絡(luò)NN的結(jié)構(gòu)，即選定輸入層節(jié)點(diǎn)數(shù)M和隱含層節(jié)點(diǎn)數(shù)Q，并給出權(quán)系數(shù)的初值w(2)ij(0), w(3)li(0)，選定學(xué)習(xí)速率和平滑因子，k=1； 2). 用線性系統(tǒng)辨識(shí)法估計(jì)出參數(shù)矢量(k)，從而形成一步預(yù)報(bào)模型式； 3). 采樣得到r(k)和y(