神經(jīng)網(wǎng)絡(luò)原理與控制

1、2021-7-111神經(jīng)系統(tǒng) 的復(fù)雜性2021-7-1122021-7-113分子2021-7-114突觸2021-7-115單個(gè)神經(jīng)元2021-7-116神經(jīng)網(wǎng)絡(luò)2021-7-117信息處理2021-7-1185.1 神經(jīng)網(wǎng)絡(luò)的基本概念5.1.1 生物神經(jīng)元n人的大腦由人的大腦由1012個(gè)神經(jīng)元構(gòu)成，神經(jīng)元互相連個(gè)神經(jīng)元構(gòu)成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)接成神經(jīng)網(wǎng)絡(luò)n神經(jīng)元組成：細(xì)胞體為主體n神經(jīng)元功能：刺激、興奮、傳導(dǎo)、效應(yīng)n形狀圖n突觸傳遞信息特點(diǎn)2021-7-119形狀圖2021-7-11105.1.2 人工神經(jīng)元模型BNN 信息傳遞過(guò)程 為 MISO 系統(tǒng),信號(hào)為脈沖，當(dāng)脈沖到達(dá)突觸前膜

2、時(shí)，前膜釋放化學(xué)物質(zhì)，結(jié)果在突觸后產(chǎn)生突觸后電位，其大小與脈沖密度有關(guān)（時(shí)間總合效應(yīng)）。 各通道都對(duì)電位產(chǎn)生影響（空間總合效應(yīng)）2021-7-1111 BNN 脈沖， ANN 模擬電壓nANN等效模擬電壓近似BNN脈沖密度，僅有空間累加無(wú)時(shí)間累加（可認(rèn)為時(shí)間累加已隱含于等效模擬電壓之中）nANN中未考慮時(shí)延、不應(yīng)期及疲勞等 可建立更為精確的模型，但一般NN研究無(wú)此必要（方法論）2021-7-1112人工神經(jīng)元模型 BNN 信息傳遞過(guò)程 為 MISO 系統(tǒng), 信號(hào)為脈沖，當(dāng)脈沖到達(dá)突觸前膜時(shí)，前膜釋放化學(xué)物質(zhì)，結(jié)果在突觸后產(chǎn)生突觸后電位，其大小與脈沖密度有關(guān)（時(shí)間總合效應(yīng)）。 各通道都對(duì)電位產(chǎn)生

3、影響（空間總合效應(yīng)）。 2021-7-1113 單個(gè)單個(gè)神經(jīng)元特性神經(jīng)元特性 神經(jīng)元的神經(jīng)元的膜電位膜電位與時(shí)間關(guān)系如下與時(shí)間關(guān)系如下spike2021-7-1114實(shí)際神經(jīng)元記錄：膜電位膜電位Recording from a real neuron: membrane potential2021-7-1115神經(jīng)元模型（1）n神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個(gè)的非線性元件。神經(jīng)元輸出除受輸入信號(hào)的影響之外，同時(shí)也受到神經(jīng)元內(nèi)部其他因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個(gè)額外輸入信號(hào)，稱為有時(shí)也稱為門限值或。2021-7-1116神經(jīng)元模型（2）n 。 2021-7-

4、1117抽象可得數(shù)學(xué)表達(dá)式： y=(s) (5-2)式中：i 加權(quán)值（weights) 閥值（threshold） (s) 作用函數(shù)（activated transfer function） 1(51)niiiSx2021-7-1118幾種常用的作用函數(shù) 1、閾值型（硬限制型) 2、線性型 3、S型函數(shù)（Sigmoid） 4、輻射基函數(shù)2021-7-1119(1)、閾值型（硬限制型） 0* 0 0* 1 )*(bPWbPWbPWfA生物學(xué)背景：生物學(xué)背景：神經(jīng)細(xì)胞的；2021-7-11200* 1 0* 1 )*(bPWbPWbPWfA生物學(xué)背景：神經(jīng)細(xì)胞的2021-7-1121(2)、線性型

5、a) 全線性 n bPWbPWfA*)*(生物學(xué)背景：神經(jīng)細(xì)胞的2021-7-1122b) 正線性0* n 0* 0 )*(bPWbPWbPWfA生物學(xué)背景：神經(jīng)細(xì)胞的2021-7-1123(3)、S型函數(shù)（Sigmoid）a) 對(duì)數(shù)正切 y=1/(e-n+1)生物學(xué)背景：神經(jīng)細(xì)胞的非線性比例作用（單向）2021-7-1124b)雙曲正切 y=tanh(n)生物學(xué)背景：神經(jīng)細(xì)胞的2021-7-1125（4）輻射基函數(shù)a) 高斯函數(shù)生物學(xué)背景：視覺，聽覺等類神經(jīng)細(xì)胞的2021-7-1126b)三角波函數(shù)生物學(xué)背景：視覺，聽覺等類神經(jīng)細(xì)胞的2021-7-11275.2.2 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成n基本

6、模型n連接的幾種基本形式n前向網(wǎng)絡(luò)（feed-forward Networks）n回歸網(wǎng)絡(luò)（recurrent Networks）n互聯(lián)網(wǎng)絡(luò)（全互連與局部互連）n也可是以上幾種形式的組合2021-7-1128人工神經(jīng)網(wǎng)絡(luò)種類1). 前向型 感知器、線性網(wǎng)絡(luò)（ADALINE), BP網(wǎng)絡(luò) RBF 網(wǎng)絡(luò)， 2). 反饋型 Hopfield 網(wǎng)絡(luò)3). 競(jìng)爭(zhēng)型 ART ， SOFM等2021-7-1129Perceptron 應(yīng)用舉例1。水果分類Matlab 演示 nnd3pc.m（chap 3 ）2021-7-11第五章 NN30復(fù)習(xí)與講解1）BNN特點(diǎn)2）ANN原理類型，作用函數(shù)1）學(xué)習(xí)算法2）

7、ANN 與自動(dòng)控制3）感知器網(wǎng)絡(luò)2021-7-1131前向型神經(jīng)網(wǎng)絡(luò)基本模型 2021-7-1132前向網(wǎng)絡(luò)n結(jié)構(gòu)圖2021-7-1133前向網(wǎng)絡(luò)特點(diǎn) 1). 神經(jīng)元分層排列，可又多層 2). 層間無(wú)連接 3). 方向由入到出 多層感知器（BP）網(wǎng)絡(luò) （perceptron/BP即為 此） 應(yīng)用最為廣泛2021-7-1134回歸網(wǎng)絡(luò)全反饋結(jié)構(gòu)圖2021-7-1135Inner RNN結(jié)構(gòu)圖2021-7-1136回歸網(wǎng)絡(luò)特點(diǎn)nOutput 與 Input相連（全反饋） 特點(diǎn)：1. 內(nèi)部前向 2. 輸出反饋到輸入 例： Fukushima網(wǎng)絡(luò)nInner recurrent 特點(diǎn)：層間元互相連接2

8、021-7-1137互聯(lián)網(wǎng)絡(luò)n結(jié)構(gòu)圖 2021-7-1138互聯(lián)網(wǎng)絡(luò)特點(diǎn)n每個(gè)元都與其它元相連 例： Hopfield Boltzmann機(jī) 2021-7-1139Hopfield反饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2021-7-1140反饋網(wǎng)絡(luò)特點(diǎn)n系統(tǒng)：反饋動(dòng)力學(xué)系統(tǒng)，有一穩(wěn)定時(shí)間n作用：聯(lián)想記憶，求解優(yōu)化問(wèn)題2021-7-1141ANN與BNN的比較BNNANN單元上差別單元上差別影響因素多忽略了影響關(guān)系簡(jiǎn)單信息上差別信息上差別脈沖模擬電壓規(guī)模及智能規(guī)模及智能大, 高小 H a 1 = tansig (IW 1,1 p 1 +b 1 )tansig(x)=tanh(x)=(ex-e-x)/(ex+e-x)n

9、H-O a 2 = purelin (LW 2,1 a 1 +b 2 )輸入層神經(jīng)元個(gè)數(shù)nn隱含層神經(jīng)元個(gè)數(shù)s1n輸出層神經(jīng)元個(gè)數(shù)s22021-7-1179學(xué)習(xí)（訓(xùn)練）的基本原理采用最小二乘方法，利用梯度搜索技術(shù)，使網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差均均方值最小?；镜腅BP算法是極小化二次性指標(biāo)函數(shù)E而得到的。1mkkEE2222,1111()22sski ki ki kiiEyye2021-7-1180學(xué)習(xí)（訓(xùn)練）n輸入q組樣本 p1,p2,.,pq piRnn期望輸出 T1,T2,.,Tq, T Rs2n網(wǎng)絡(luò)輸出a21,a22,.,a2qa2Rs2n p1t1 , p2t2 , pQtQ

10、,Fx E e2=E ta2=均方誤差Fx EeTe=Et aTt a=向量情況Fx tk ak Ttk ak eTk ek =2021-7-1181BP算法流程（學(xué)習(xí)算法）由兩部分組成：信息的正向傳播和誤差的反向傳播。在正向傳播過(guò)程中，輸入信息從輸入經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層的神經(jīng)元的狀態(tài)。如果在輸出層沒有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)的連接通道反傳回來(lái)修改各層神經(jīng)元的權(quán)值直到達(dá)到期望目標(biāo)。2021-7-1182學(xué)習(xí)過(guò)程設(shè)輸入為P，輸入神經(jīng)元有r個(gè)，隱含層內(nèi)有s1個(gè)神經(jīng)元，作用函數(shù)為f1，輸出層內(nèi)有s2個(gè)神

11、經(jīng)元，對(duì)應(yīng)的作用函數(shù)為f2，輸出為A，目標(biāo)為T。2021-7-1183學(xué)習(xí)（訓(xùn)練）2n解決方法 誤差最小n實(shí)質(zhì)為一個(gè)優(yōu)化問(wèn)題n思路1: 梯度法(gradient)n找出誤差與加權(quán)系數(shù)的關(guān)系 n得到加權(quán)系數(shù)改變的規(guī)律2021-7-1184梯度法原理(1)1.對(duì)無(wú)約束極值問(wèn)題min()nf XXR設(shè): F(X)二次可微, 具有極小點(diǎn)X*,()()()()()()()()()()()()(1)()()()()()()()()lim0()0()()kkkkkkTkkTkkkkkkkXXPfXfXPfXfXPoofXPfXPfXXXP可 保 證2021-7-1185梯度法原理(2)()()()()()(

12、)()()cos()kTkkkkkfXPfXPPfX可以使函數(shù)值下降最快2021-7-1186最速下降法，要求最速下降法，要求E的極小點(diǎn)的極小點(diǎn) ijijwEwwijijwEE0，此時(shí)，此時(shí)wij0取取ijwEE0wij2021-7-1187學(xué)習(xí)訓(xùn)練算法（思路）mkkEE1wi jmk1+wi jmk Fwi jm- - - - - - -=bimk1+bimk Fbim- - - - - -=近似最陡下降法2021-7-1188鏈?zhǔn)椒▌tf n wdwd- - - - - - - - - - - -f n dnd- - - - - - - -n wdwd- - - - - - - - -=f

13、n n cos=ne2w=f n w e2wcos=f n w dwd- - - - - - - - - - - -f n dnd- - - - - - - -n w dwd- - - - - - - -n sin 2e2we2wsin 2e2w=例應(yīng)用于梯度計(jì)算Fwi jm- - - - - - -Fnim- - - - -nimwi jm- - - - - - -=Fbim- - - - - -Fnim- - - - -nimbim- - - - - -=2021-7-11891）信息的正向傳遞隱含層中的第i個(gè)神經(jīng)元的輸出為:111(11 ),1,2, 1riijjijafwpbis輸出層

14、第k個(gè)神經(jīng)元的輸出為：1122(212 ),1,2, 2skkiikiafwabks定義誤差函數(shù)為:2211(, )(2 )2skkkE W Bta2021-7-1190I-H H-O 2. 計(jì)算誤差 ek=tk-a2k111111(1 )niijjijiiNetwpbafNet11221222(2 )SkkiikikkNetwabafNet2021-7-1191尋找加權(quán)系數(shù)改變與誤差的關(guān)系考慮一個(gè)樣本輸入到網(wǎng)絡(luò)的情況，此時(shí)誤差平方和為1。輸出層權(quán)系數(shù)的調(diào)整（誤差與輸出層關(guān)系直接）221212111 E(W,B)(2 )212(212 )2SkkkSSkkiikkitatfwab22222kk

15、ikikkiEENetwwNetw net2k2021-7-1192定義：因?yàn)椋菏街校?1222222212kkkkkSkkiikiaEEN etaN etN etwab (2 )222(2 )2 (2 )122kkkkkkkkEtaaafNetfNetNetNet 2 = 12kikiNetaw2021-7-119322222 (2 )2211kkikikkikikkiNetEEwwNetwtafaa2(2 )22 1kkkkbtaf 小結(jié)：2021-7-1194隱含層權(quán)系數(shù)的修正ANiANkANjw1ij1i21w2k1w2ki2kw2km2m輸入層輸入層輸出層輸出層隱含層隱含層2021-

16、7-1195隱含層權(quán)系數(shù)的修正111ijiiEapaNet 1(1 )1ijiEfNetpa 1ijp 111111iijjijiijiEENetEwpwNetwNet 誤差e與w1無(wú)顯函數(shù)關(guān)系，采用鏈?zhǔn)椒▌t找關(guān)系111111(1)niijjijiiNetw pbafNet11221222(2 )SkkiikikkNetwabafNet2021-7-1196 不能直接計(jì)算，需通過(guò)其他量間接計(jì)算1iEa212111212121 2121 22SkkikiSSkiikikiSkkikEENetaNetaEwaNetaw 2212211 E(W,B)(2 )212(2 )2SkkkSkkktatfN

17、et11221222(2 )SkkiikikkNetwabafNet2021-7-1197隱含層權(quán)值修正小結(jié)：212111(1)221 11(1)22 SijijikkijkSiikkikwpfNetwpfNetw11 * 11iiib 2021-7-1198總結(jié)輸出節(jié)點(diǎn)k隱含節(jié)點(diǎn)j統(tǒng)一形式22122kikikkkwata211111 (11 )22 ijijSiiikkikwpaaw10,1, 2immmijjwamap 2021-7-1199BP算法解釋輸出層誤差 ej(j=1s2)隱含層誤差 ei(i=1n1)ei與ej的關(guān)系？ei可以認(rèn)為是由ej加權(quán)組合形成的。由于作用函數(shù)的存在，ej

18、的等效作用為 j i=ejf ()212sikkikew2021-7-11100 初始化 加輸入和期望輸出計(jì)算隱層和輸出層的輸出迭代次數(shù)加1調(diào)節(jié)輸出層和隱層的連接權(quán)值2(1)2( )1 (1)21 ( )11kikikiijijijwtwtwttapw 改變訓(xùn)練樣板訓(xùn)練樣終止？迭代終止？BP算法的基本流程N(yùn)oNoyy2021-7-11101n導(dǎo)數(shù)nlogsigmatlab 函數(shù)：dA_dN = dlogsig(N,A)ntansignmatlab 函數(shù)：dA_dN = dtansig(N,A)1( )1( )( )(1( )xf xefxf xf x2()()1()xxxxeefxeefxfx

19、2021-7-11102復(fù)習(xí)n感知器網(wǎng)絡(luò) 分類nBP網(wǎng)絡(luò)分類與函數(shù)逼近 反向傳播學(xué)習(xí)算法，調(diào)整權(quán)值。講解1）示例2）MATLAB 實(shí)現(xiàn)2021-7-11103示例: 函數(shù)逼近 1-2-1Network+-taexgx 1/x=2021-7-111041 1.021.0, 12 0.5, 12 0,0.5WWVVbbb, 2021-7-11105修正公式：1.前向計(jì)算2.權(quán)值修正1 122,1,2( ),1,2iiiiiIOsw xbizf siyv zv zb( ),1,2,1,21,( )2iiiiiiiifetyvezibewvevsfiisxeb 2021-7-11106具體步驟（）：前

20、向計(jì)算（輸入輸出計(jì)算）y1/1=1s1=w1*x+b1=1.0*1.0+0=1.0;s2=w2*x+b2=-1.0*1.0+0=-1.0z1=logsig(s1) =logsig (1.0) = 0.7311; z2= logsig (s2) =logsig(-1.0) = 0.2689t=v1*z1+v2*z2+b =0.7311+0.2689+0.5=1.5誤差計(jì)算 e=1-1.5=-0.51 122,1,2( ),1,2iiiiiIOswxbizf siyv zv zb2021-7-11107輸出層權(quán)值修正(O-I)V1*e*z10.1*(-0.5)*0.7311=-0.0366, V1

21、= V1+V1=0.5+(-0.0366)=0.4634V2*e*z20.1*(-0.5)*0.2689=-0.0134, V2= V2+V2=0.5+(-0.0134)=0.4866b=*e=0.1*(-0.5)= -0.05 b=bb0.5-0.05=0.495,1, 2iivezibe 2021-7-11108隱含層權(quán)值修正nw1=*v1*e*f(s1)*x=*e*v1*z1*(1-z1)*x =0.1*0.4634*(-0.5)*0.7311*(1-0.7311)*1= -0.0046 n w1=w1+w1=1.0+(-0.0046)=0.9954nw2=*v2*e*f(s2)*x=*

22、e*v2*z2*(1-z2)*x =0.1*0.4686*(-0.5)*0.2689*(1-0.2689)*1= -0.0046nw2=w2+w1=(-1.0)+(-0.0046)= -1.0046nb1=b1+b1=0-0.0046=-0.0046; nb2=b2+b2=0-0.0046=-0.0046;,1,2( )1,2( )iiiiiiwxibefsefvivs2021-7-11109示例: 函數(shù)逼近 (nnd11bc.m)g p 14- -psin+=1-2-1Network+-taep2021-7-11110網(wǎng)絡(luò)1-2-1網(wǎng)絡(luò)ap參看matlab工具箱演示例子Nnd11bc.m演示

23、訓(xùn)練過(guò)程 nndemos（chap11 demo22021-7-11111Neural NetworkDESIGN Backpropagation CalculationChapter 11p-0.270W1(1,1)-0.480b1(1)n1(1)s1(1)a1(1)-0.410W1(2,1)-0.130b1(2)n1(2)s1(2)a1(2)0.090W2(1,1)-0.170W2(1,2)0.480b2n2s2a2etp =t = ?a1 = ?a2 = ?e = ?s2 = ?s1 = ?W1 = ?b1 = ?W2 = ?b2 = ?Input:Target:Simulate:Bac

24、kpropagate:Update:Last Error:?.?2021-7-11112Matlab 例Nnd11bc.m演示訓(xùn)練過(guò)程 nndemos（chap11 demo2）Neural NetworkDESIGN Backpropagation CalculationChapter 11p-0.270W1(1,1)-0.480b1(1)n1(1)s1(1)a1(1)-0.410W1(2,1)-0.130b1(2)n1(2)s1(2)a1(2)0.090W2(1,1)-0.170W2(1,2)0.480b2n2s2a2etp =t = ?a1 = ?a2 = ?e = ?s2 = ?s1

25、= ?W1 = ?b1 = ?W2 = ?b2 = ?Input:Target:Simulate:Backpropagate:Update:Last Error:?.?2021-7-11113初始條件W10 0.270.41=b10 0.480.13=W20 0.09 0.17=b20 0.48=2021-7-11114前向傳播a0p1=a1f1W1a0b1+logsig0.270.4110.480.13+logsig0.750.54=a111e0.75+- - - - - - - - - - -11e0.54+- - - - - - - - - - -0.3210.368=a2f2W2a1b

26、2+purelin 0.09 0.170.3210.3680.48+()0.446=eta14- - -psin+a214- -1sin+0.4461.261=2021-7-11115反向傳播s110.321 0.3210010.368 0.3680.090.172.522=s10.218000.2330.2270.4290.04950.0997=522. 2)261. 1(1 2)261. 1)( 2)( 2s222nfatnFs1Fn1()W2Ts21a11 a11001a21 a210.090.172.522=2021-7-11116權(quán)值更新W21 W20 s2a1T0.09 0.170

27、.12.5220.321 0.368=0.1=W21 0.1710.0772=b21 b20 s20.480.12.5220.732=W11 W10 s1a0T0.270.410.10.04950.099710.2650.420=b11 b10 s10.480.130.10.04950.09970.4750.140=2021-7-11117示例3：兩層XOR網(wǎng)絡(luò)【模式分類】x1x2y0000111011102021-7-11118輸入輸出關(guān)系21)()()(21212121ibxwzzfzzvbxwfvyjijijiiiiiijijiji2021-7-11119加權(quán)值修改(Vi)2, 1)(i

28、zezevyevEviiiiiiiiii2021-7-11120加權(quán)值修改(Wij)1, 2, 2)1(iiiiiiijiijijiiiijjiijjEywewwyzzeze vfwixxzzj 2021-7-11121具體計(jì)算步驟：見matlab程序Bpxor2_demo_step.m的執(zhí)行過(guò)程：2021-7-11122bpxor2_demo_step.m% BP神經(jīng)網(wǎng)絡(luò)解決異或問(wèn)題% 采用的一個(gè)2-2-1的網(wǎng)絡(luò)clearclcBP_LEARNING = 0.1; % 學(xué)習(xí)速率為0.1wish_error = 0.002; % 期望誤差studytimes = 20000; % 定義最大學(xué)習(xí)

29、次數(shù)result=zeros(1,4); % 生成一個(gè)矩陣，存放最后的輸出結(jié)果P = 0 0 1 1; 0 1 0 1;T = 0 1 1 0;% 初始化神經(jīng)網(wǎng)絡(luò)隱含層的權(quán)值和域值% 根據(jù)權(quán)值下標(biāo)，例如weight12表示第一個(gè)輸入對(duì)隱含層第二個(gè)神經(jīng)元的權(quán)值weight11 = rands(1)weight21 = rands(1)weight12 = rands(1)weight22 = rands(1)b1 = rands(1)b2 = rands(1)% 初始化輸出層的權(quán)值和域值weight1 = rands(1)weight2 = rands(1)b = rands(1)pause20

30、21-7-11123% 開始訓(xùn)練網(wǎng)絡(luò)for i=1:studytimes; real_error = 0; % 初始化中間變量：修改權(quán)值的變量的累加值 change_b1=0;change_b2=0;change_b=0; change_weight11=0;change_weight21=0;change_weight12=0;change_weight22=0; change_weight1=0;change_weight2=0; for j=1:4; % 前向計(jì)算 % 第一個(gè)隱含層神經(jīng)元的輸出 hidelayer1 = weight11*P(1,j) + weight21*P(2,j)

31、+ b1 % 經(jīng)過(guò) S 函數(shù)之后的輸出 S_hidelayer1 = 1/(1+exp(-hidelayer1); % 第二個(gè)隱含層神經(jīng)元的輸出 hidelayer2 = weight12*P(1,j) + weight22*P(2,j) + b2 % 經(jīng)過(guò) S 函數(shù)之后的輸出 S_hidelayer2 = 1/(1+exp(-hidelayer2) % 輸出層的輸出線性輸出 outlayer = weight1*S_hidelayer1 + weight2*S_hidelayer2 + b % 計(jì)算誤差 deta =T(j)-outlayer2021-7-11124 % 計(jì)算輸出層加權(quán)值 W

32、1，W2,偏置值b的修正量 change_weight1 = change_weight1 + BP_LEARNING*S_hidelayer1*deta change_weight2 = change_weight2 + BP_LEARNING*S_hidelayer2*deta change_b = change_b + BP_LEARNING*deta % 計(jì)算隱含層第一個(gè)神經(jīng)元權(quán)值的deta1 deta1 = S_hidelayer1*(1-S_hidelayer1)*weight1*deta % 計(jì)算隱含層第二個(gè)神經(jīng)元權(quán)值的deta2 deta2 = S_hidelayer2*(1-

33、S_hidelayer2)*weight2*deta % 計(jì)算輸出層加權(quán)值 W11，W21, W12，W22，偏置值b1，b2的修正量 % 偏置值b1,b2修正量的累加 change_b1 = change_b1 + BP_LEARNING*deta1 change_b2 = change_b2 + BP_LEARNING*deta2 %權(quán)值 W11，W21, W12，W22修正量的累加 change_weight11 = change_weight11 + BP_LEARNING*P(1,j)*deta1 change_weight21 = change_weight21 + BP_LEAR

34、NING*P(2,j)*deta1 change_weight12 = change_weight12 + BP_LEARNING*P(1,j)*deta2 change_weight22 = change_weight22 + BP_LEARNING*P(2,j)*deta2 % 判斷誤差 real_error = real_error + (T(j)-outlayer)*(T(j)-outlayer) end2021-7-11125 % 開始調(diào)整權(quán)值 b1 = b1 + change_b1 b2 = b2 + change_b2 b = b + change_b weight11 = we

35、ight11 + change_weight11 weight21 = weight21 + change_weight21 weight12 = weight12 + change_weight12 weight22 = weight22 + change_weight22 weight1 = weight1 + change_weight1 weight2 = weight2 + change_weight2 if real_error wish_error break; end;end;2021-7-11126% 輸出最后結(jié)果for j=1:4; hidelayer1 = weight1

36、1*P(1,j) + weight21*P(2,j) + b1; % 第一個(gè)隱含層神經(jīng)元的輸出 S_hidelayer1 = 1/(1+exp(-hidelayer1); % 經(jīng)過(guò) S 函數(shù)之后的輸出 hidelayer2 = weight12*P(1,j) + weight22*P(2,j) + b2; % 第二個(gè)隱含層神經(jīng)元的輸出 S_hidelayer2 = 1/(1+exp(-hidelayer2); % 經(jīng)過(guò) S 函數(shù)之后的輸出 outlayer = weight1*S_hidelayer1 + weight2*S_hidelayer2 + b; % 輸出層的輸出 result(j)

37、 = outlayer;end; clcreal_error,i,result2021-7-11127用MATLAB求解BP網(wǎng)絡(luò)訓(xùn)練問(wèn)題第一步 ：建立一個(gè)網(wǎng)絡(luò) net=newff(-2 2,5 1,tansig,purelin, traingd);第二步 計(jì)算輸出： y1=sim(net,P);2021-7-11128繪圖： plot(P,T,*);訓(xùn)練： net,tr=train(net,P,T);訓(xùn)練函數(shù)有很多種，如：traingd,traingdm,traingdx,trainlm在訓(xùn)練之前要對(duì)網(wǎng)絡(luò)進(jìn)行初始化，并設(shè)置好訓(xùn)練參數(shù)。初始化： net.iw1,1=W10; net.b1=B10

38、; net.lw2,1=W20; net.b2=B20;2021-7-11129參數(shù)設(shè)置：net.trainParam.epochs=100; %最大訓(xùn)練次數(shù)net.trainParam.goal=0.01; %訓(xùn)練所要達(dá)到的精度 net.trainParam.show=10; %在訓(xùn)練過(guò)程中顯示的頻率 net.trainParam.lr=0.1; %學(xué)習(xí)速率2021-7-11130例題函數(shù)逼近 例例5.2.3 應(yīng)用兩層BP網(wǎng)絡(luò)來(lái)完成函數(shù)逼近的任務(wù)，其中隱含的神經(jīng)元個(gè)數(shù)選為5個(gè)。網(wǎng)絡(luò)結(jié)構(gòu)如圖5.4.1所示。 圖：5.4.12021-7-11131解 首先定義輸入樣本和目標(biāo)矢量 P=-1:.1:

39、1; T=-.9602 -.5770. .0729 .3771 .6405 .6600 .4609 . 1336 -.2013 -.4344 -.5000 -.3930 -.1647 .0988 .3072 .3960 .3449 .1816 -.0312 -.2189 -.3201;上述數(shù)據(jù)的圖形如圖5.4.2所示。 圖：5.4.22021-7-11132利用函數(shù)newff建立一個(gè)bp神經(jīng)元網(wǎng)絡(luò) net=newff(minmax(P),5 1,tansig purelin, traingd, learngd, sse);然后利用函數(shù)train對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練 net.trainParam.sh

40、ow=10; net.trainParam.epochs=8000; net.trainParam.goal=0.02; net.trainParam.lr=0.01; net,tr=train(net,P,T);2021-7-11133 圖5.4.3至圖5.4.6給出了網(wǎng)絡(luò)輸出值隨訓(xùn)練次數(shù)的增加而變化的過(guò)程。圖5.4.7給出了454次訓(xùn)練后的最終網(wǎng)絡(luò)結(jié)果，以及網(wǎng)絡(luò)的誤差紀(jì)錄。 同時(shí)還可以用函數(shù)sim來(lái)計(jì)算網(wǎng)絡(luò)的輸出 a1=sim(net,P) 下面給出本例的MATLAB程序 2021-7-11134 圖5.4.3 訓(xùn)練100次的結(jié)果 圖5.4.4 訓(xùn)練200次的結(jié)果 圖5.4.5 訓(xùn)練300

41、次的結(jié)果 圖5.4.6 訓(xùn)練400次的結(jié)果 2021-7-11135 5.4.7 訓(xùn)練結(jié)束后的網(wǎng)絡(luò)輸出與誤差結(jié)果2021-7-11136% Example 3.13%clf;figure(gcf)setfsize(500,200);echo on %NEWFF 建立一個(gè)BP網(wǎng)絡(luò) %TRAIN 對(duì)BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練%SIM 對(duì)BP網(wǎng)絡(luò)進(jìn)行仿真pauseP = -1:.1:1;T = -.9602 -.5770 -.0729 .3771 .6405 .6600 .4609 . .1336 -.2013 -.4344 -.5000 -.3930 -.1647 .0988 . .3072 .3960 .3449 .1816 -.0312 -.2189 -.3201;plot(P,T,+);title(Training Vectors);xlabel(Input Vector P);ylabel(Target Vector T);pausenet=newff(minmax(P),5 1,tansig purelin,traingd,learngd,sse);echo offk = pickic;if k = 2 net.iw1,1 = 3.5000; 3.5000; 3.5000; 3.5000; 3.5000;2021