Matlab神經(jīng)網(wǎng)絡(luò)幾個常用算法的學(xué)習(xí)和比較

1、第 頁基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)練習(xí)題某BP神經(jīng)網(wǎng)絡(luò)如下圖。其中x1輸入為=x23d1_0.95期望輸出為=d20.05第一層權(quán)值矩陣為W1=第二層權(quán)值矩陣為w2=1-21-2；第一層閾值e第二層閾值r=傳輸函數(shù)均為Sigmoid函數(shù)，試訓(xùn)練該網(wǎng)絡(luò)。-31d1d21用最基本的BP算法訓(xùn)練網(wǎng)絡(luò)1.1只改變學(xué)習(xí)率，比較學(xué)習(xí)率的改變對最后訓(xùn)練結(jié)果的影響步驟：1）程序設(shè)計：第一步：定義輸入向量和目標向量p=13;t=0.950.05;第二步：創(chuàng)建BP網(wǎng)絡(luò)，設(shè)置訓(xùn)練函數(shù)為最速下降BP算法netbp=newff(-11;-11,22,logsiglogsig,traingd);第三步：初始化權(quán)值閾值netbp.I

2、W1=12;-20;netbp.LW2=11;0-2;netbp.b1=-31;netbp.b2=23;第四步：設(shè)置訓(xùn)練函數(shù)參數(shù)netbp.trainParam.lr=1;/設(shè)置學(xué)習(xí)率netbp.trainParam.goal=0.0001;/設(shè)置最后達到的均方誤差為0.0001netbp.trainParam.epochs=5000;/設(shè)置最大訓(xùn)練步長第 頁第 頁第五步：訓(xùn)練神經(jīng)網(wǎng)絡(luò)netbp,tr=train(netbp,p,t);程序運行的結(jié)果如下：經(jīng)過346步運算達到設(shè)定的均方誤差范圍內(nèi)。最后輸出Out=0.96400.0514訓(xùn)練后權(quán)值W1=1.01072.0322-1.52911.

3、4128W2=0.77130.7739-1.4789-2.99922）分別改變學(xué)習(xí)率為1.5和0.5，觀察結(jié)果學(xué)習(xí)率a=1.5訓(xùn)練步263長輸出Out=10唱BmEos矍.ELElI5D20034EEp顧786第一層權(quán)值第二層權(quán)值誤差性能曲線結(jié)論1：0.96400.05161.01302.0391W1=-1.60301.1909W2=0.77440.7806-1.4443-3.12520.9640Out=0.05161.01352.0405W1=-1.60781.17660.77510.7816W2=-1.4343-3.15051-JTEainuiEithTRAIHG100500BOOFDD鮎

4、hF|Epochs學(xué)習(xí)率為301A-Lt*JZ.需要14步長第 頁第 頁0.9641Out=0.05140.9636Out=0.048961.Jfi*v-KlKaiviini;vxthIJULRCD4050B07000OpflEhn咅竺叩詈口占廠usll*JTrainingwithTRAINGD5014EpocJii-vu皀皿Out=0.9500M00000File雖五七ViewInsertToolsjVirLdowHelp10Performanceis6.17139e-0W1M(JOSmi75W2結(jié)論2：由(Dtill：KiwIlxli&4wHlpPiwfomianGfi潔0.00125,G

5、oilis0WD1io限制地增大，增大到一定程度后，圖中的現(xiàn)象，即卩達不到誤差范圍上述4例可以發(fā)現(xiàn)，學(xué)習(xí)率不可以無誤差收斂速度將減慢，甚至有可能出現(xiàn)最后一圖中的現(xiàn)象，即達不到誤差氾圍丄“川fL:100500剛W020W2JW3W0期K40W*500卿卿8I旳血內(nèi)，.證入1.2學(xué)習(xí)率in初始誤差訓(xùn)練步仆-長-輸出pTraining局部穩(wěn)定狀態(tài)。為1,改變均方誤差的設(shè)置，比較均方誤差的改變對最后訓(xùn)練MSE=0.0001MSE=0.001果的影34658i1111111l020406080100120140160180200202Epochs0964009791Out=0.0514Out=0.083

6、4101072.0322101232.0369W1=-1.52911.4128W1=-1.61821.1453第一層權(quán)值第 頁第 頁第二層權(quán)值0.77130.7806W2=W2=-1.4789-3.12529TxiiiiaincvilhnUIITCFl1刖山SawIulTlThnnJldivIQt-誤差性能曲線結(jié)論3:絡(luò)訓(xùn)練時曲ra-F在其他條件一樣的前提下，將最后要h間就變長，誤差收斂速度慢些，但05010QI5D0025DSkvimuIMEEpghfl0.96660.9691-1.2695-2.9717kJTraininewithTRAINGDFileEditViewInsertTools

7、WirLdowHelp10Performanceis0.00098323,Goalis0.00110CJ_CUm_l_75O達到的均方誤差值設(shè)置較大時，網(wǎng)是最后的輸出結(jié)果較為精1.3學(xué)習(xí)率為1,改變初始權(quán)值的設(shè)置，比較初始權(quán)值的改變對最后訓(xùn)練結(jié)果的影響初始權(quán)值匕W1=12，W2=11W1=20021-1.50.70.7，W2=-1-3訓(xùn)練步長輸出346203058Epochs40第二層權(quán)值誤差性能曲線結(jié)論4：Out=0.9640Out=0.9598_0.0514_0.0601_1.01072.03221.01312.0392W1=W1=-1.52911.4128-1.40881.273510第

8、一層權(quán)值W2=0.77130.7806-1.4789-3.1252W2=0.63370.6349-1.6298-3.610510PeifonwcM1is0鉤仃無OOS.Goal博O.OOOlBE弓-rn-BUzE匚由上表可以看出，后者的初始權(quán)值）誤差收斂速度朋顯快些因此初始權(quán)值的選取對于一個網(wǎng)絡(luò)的訓(xùn)練是很重要的匕較合適些，因此訓(xùn)練的時間變短,aigi)TiL宙|146140智能檢測課程作業(yè)1)第 頁1.4學(xué)習(xí)率為1，改變初始閾值的設(shè)置，比較初始閾值的改變對最后訓(xùn)練結(jié)果的影響初始閾值-3-21r=4訓(xùn)練步長輸出3461370.9640Out=0.05140.9534Out=0.0637第一層權(quán)值

9、1.01072.0322W1=-1.52911.41281.00992.0297W1=-1.50211.4938第二層權(quán)值0.77130.7806W2=-1.4789-3.12521.03300.9883W2=-1.7774-3.2294智能檢測課程作業(yè)1)第 #頁智能檢測課程作業(yè)1)第 #頁TEBinincvitbTJUIHGHKjIiI匕ninitliTirdiT1456-0%.GoBlrtOOOOl誤差性能曲線wu-w-gTl-血口anrnks忙歸結(jié)論5:誤差收斂速度明顯快些的。|由上/表可以看出，后者的初始閾值1011GJ:雷豎畧o0J_EU&sh13?電“肚口Partaminteis

10、Ooilrt0.0001智能檢測課程作業(yè)1)第 #頁智能檢測課程作業(yè)1)第 #頁小結(jié)：由1.1到1.4,用最基本的BP算法來訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)時，學(xué)習(xí)率、均方誤差、權(quán)值、閾值的設(shè)置都對網(wǎng)絡(luò)的訓(xùn)練均有影響。綜合選取合理的值，將有利于網(wǎng)絡(luò)的訓(xùn)練。在最基本的BP算法中，學(xué)習(xí)率在整個訓(xùn)練過程是保持不變的,學(xué)習(xí)率過大，算法可能振蕩而不穩(wěn)定；學(xué)習(xí)率過小，則收斂速度慢，訓(xùn)練時間長。而要在訓(xùn)練之前選擇最佳的學(xué)習(xí)率是不現(xiàn)實的。因此學(xué)習(xí)率可變的BP算法(variablelearningratebackpropagation,VLBP)應(yīng)運而生。下一結(jié)介紹用VLBP來訓(xùn)練該網(wǎng)絡(luò)的情況。2用VLBP算法訓(xùn)練網(wǎng)絡(luò)。2.1

11、算法簡單介紹a(k+1)=ka(k)incka(k)decE(k+1)E(k)E(k+1)E(k)智能檢測課程作業(yè)1)第 #頁智能檢測課程作業(yè)1)第 #頁Ax(k+1)=nAx(k)+a(1n)dE(k)(2)dx(k)智能檢測課程作業(yè)第 頁x(k+1)=x(k)+Ax(k+1)(3)當(dāng)誤差以減少的方式趨于目標時，說明修正方向正確，可以使步長增加，因此學(xué)習(xí)率乘以增量因子k，使學(xué)習(xí)率增加；而修正過頭時，應(yīng)減少步長，可以乘以減量因子k,使學(xué)習(xí)incdec率減小。2.2具體實現(xiàn)與第一部分的程序設(shè)計差不多，初始學(xué)習(xí)率為1，最后要達到的均方誤差值設(shè)為0.0001，以下部分做些改動。netbp3=newf

12、f(-11;-11,22,logsiglogsig,traingdx);/將訓(xùn)練函數(shù)改為“traingdx”netbp3.trainParam.lr_inc=1.1;/將學(xué)習(xí)率增量因子設(shè)置為1.1最后結(jié)果比較算法netbp3.trainParam.lr_dec=0.65;/將學(xué)習(xí)率減量因子設(shè)置為0.65最基本的BP算法a=1初始學(xué)習(xí)率學(xué)習(xí)率可變的BP算法a=11k=1.1inck=0.65dec訓(xùn)練步長輸出34650Out=0.96400.0514第一層權(quán)值W1=1.01072.0322-1.52911.4128第二層權(quán)值W2=0.77130.7806-1.4789-3.1252TEiinin

13、cvithTJUIHCDi.niXjiinlI辺由TilaJn-誤差性能曲線Ms-gIJg2nn=i=匚0.9638Out=_0.0500_1.00452.0135W1=_-1.40841.7748_0.76690.7683W2=-1.5447-2.8650EEPMfnrni.mcn畤9輕測町05-Gn.Mis0DOTIJauliliTKAJIICDKIDNun_p-n占a-r用學(xué)習(xí)率可變的BP算法的收斂速度明顯比以上兩種算法都是沿著梯度最陡下降方向修正權(quán)4，、宀站酬少時y但收斂速度不十定是最快的。針對收斂速度提出了變梯度算法。下一結(jié)介紹變梯度算法(conjugategradientbackp

14、ropagation,CGBP)對網(wǎng)絡(luò)訓(xùn)練的情況。小結(jié)：采3用CGBP算法訓(xùn)練網(wǎng)絡(luò)3.1算法簡單介紹x(k+1)=x(k)+ap(k)(1)p(k)=-g(k)+P(k)p(k-1)P=該算法中，沿著變化的方向進行搜索，使其收斂速度比最陡下降梯度方向的收斂速度更快。3.2具體實現(xiàn)其他部分程序設(shè)計均與基本BP算法相同，不要設(shè)置學(xué)習(xí)率，誤差也設(shè)為0.0001。就在創(chuàng)建網(wǎng)絡(luò)時由下面一條語句完成。算法最基本的BP算法CGBP訓(xùn)練步長輸出34630.9640_0.9448_Out=_0.0514_Out=_0.0498_1.01072.03220.92651.7794W1=-1.52911.4128W1=-0.73203.8039第一層權(quán)值netbp4=newff(-11;-11,22,logsiglogsig,traincgf);算法智能檢測課程作業(yè)第 #頁智能檢測課程作業(yè)第 #頁0.77130.7806_0.62010.6305_W2=_-1.4789-3.1252W2=_-2.1081-1.7789jlvI,1iIjfira1辺費finrrSrlj寸TtiininfvithTJUIICD第二層權(quán)值mninic十hLRATICCFMr伽meitB45d-00&.CD<tOOOOl誤差性能曲線Pftrfriminnco詒I矽汨茨DOS.GmIi$0IXBIwanrnbwEs