神經(jīng)網(wǎng)絡(luò)實驗報告吐血推薦

1、word電氣工程學(xué)院神經(jīng)網(wǎng)絡(luò)實驗報告院系：電氣工程學(xué)院專業(yè)：電氣工程及其自動化班級：電sdfasdf姓名：adsdf學(xué)號：20df實驗二 基于BP網(wǎng)絡(luò)的多層感知器一 實驗?zāi)康模?.理解基于BP網(wǎng)絡(luò)的多層感知器的工作原理2.通過調(diào)節(jié)算法參數(shù)的了解參數(shù)的變化對BP多層感知器訓(xùn)練的影響3了解BP多層感知器的局限性二 實驗內(nèi)容：1根據(jù)實驗內(nèi)容推導(dǎo)出輸出的計算公式以及誤差的計算公式2使用Matlab編程實現(xiàn)BP多層感知器3調(diào)節(jié)學(xué)習(xí)率及隱結(jié)點的個數(shù)，觀察對于不同的學(xué)習(xí)率、不同的隱結(jié)點個數(shù)時算法的收斂速度4改用批處理的方法實驗權(quán)值的收斂，并參加動量項來觀察批處理以及改良的的算法對結(jié)果和收斂速度的影響。三實驗

2、原理以及過程的推導(dǎo)1. 根本BP 算法的多層感知器模型下面所示是一個單輸入單輸出的BP多層感知器的模型，它含有一個隱層。 輸出O輸出層 W=(w1,w2,.wj) . Y=(y1,y2,.yj ) 隱層 y0 V=(v1,v2,.vj) 輸入層 X0 X 下面對誤差和權(quán)值的調(diào)整過程進(jìn)行推導(dǎo)對于單樣本的輸入Xi那么隱層的輸出：yi=f1(netj);netj=(xi*vi)輸出層的輸出：O=f2(net);net=(wi*yi)變換函數(shù)：f1=f2=x;當(dāng)網(wǎng)絡(luò)輸出與期望輸出不等時，存在輸出誤差EE=(d-o)2;計算各層的誤差：把誤差分配到各層以調(diào)整各層的權(quán)值，所以，各層權(quán)值的調(diào)整量等于誤差E對

3、各權(quán)值的負(fù)偏導(dǎo)與學(xué)習(xí)率的乘積，計算得到對權(quán)值W和權(quán)值V的調(diào)整量如下：將上面的式子展開到隱層得：E=(d-o)2=d- f2(net)= d-f2( )將上式展開到輸入層得：E=(d-o)2=d- f2(net)= d-f2( f1()調(diào)整權(quán)值的原那么是使誤差不斷地減小，因此應(yīng)使權(quán)值的調(diào)整量與誤差的梯度下降成正比，即wj=-vj=-計算得到對各權(quán)值的調(diào)整為：wj=*(d(1,p)-o(1,p)*y(1,i)vj= *(d(1,p)-o(1,p)*w(1,i)*y(1,i)*(1-y(1,i)*x(1,p)其中P為第P個樣本：四 實驗步驟Step 1 初始化對權(quán)值矩陣W、V 賦隨機(jī)數(shù)，將樣本模式計

4、數(shù)器p 和訓(xùn)練次數(shù)計數(shù)器q 置于1，誤差E置0，學(xué)習(xí)率設(shè)為01 內(nèi)的小數(shù)，網(wǎng)絡(luò)訓(xùn)練后的精度Emin 設(shè)為一個正的小數(shù)；Step 2 輸入訓(xùn)練樣本對，計算各層輸出用當(dāng)前樣本Xp、dp 對向量數(shù)組X、d 賦值，用下式計算Y 和O 中各分量yi=f1(netj);netj=(xi*vi)O=f2(netj);net=(wi*yi)Step 3 計算網(wǎng)絡(luò)輸出誤差設(shè)共有P 對訓(xùn)練樣本，網(wǎng)絡(luò)對于不同的樣本具有不同的誤差2 åStep 4 計算各層誤差信號：各層的誤差信號為誤差E對各層權(quán)值的偏導(dǎo)Step 5 調(diào)整各層權(quán)值w=*(d(1,p)-o(1,p)*y(1,i)v= *(d(1,p)-o(1

5、,p)*w(1,i)*y(1,i)*(1-y(1,i)*x(1,p)Step 6 檢查是否對所有樣本完成一次輪訓(xùn)假設(shè)p<P，計算器p=p+1，q=q+1，返回Step 2, 否那么轉(zhuǎn)到Step 7Step 7 檢查網(wǎng)絡(luò)總誤差是否到達(dá)精度要求當(dāng)用ERME 作為網(wǎng)絡(luò)的總誤差時，假設(shè)滿足ERME<Emin，訓(xùn)練結(jié)束，否那么E 置0，p 置1，返回Step 2。單樣本訓(xùn)練：每輸入一個樣本，都要回傳誤差并調(diào)整權(quán)值，會導(dǎo)致收斂速度過慢批處理Batch訓(xùn)練：根據(jù)總誤差，計算各層的誤差信號并調(diào)整權(quán)值，在樣本數(shù)較多時，批訓(xùn)練比單樣本訓(xùn)練時的收斂速度快五 實驗結(jié)果對于單本輸入的網(wǎng)絡(luò)程序如下：funct

6、ion limoyan;%建立以limoyan為文件名的m文件clc;clear;x=-4:0.08:4;%產(chǎn)生樣本j=input('j=');%輸入隱結(jié)點的個數(shù)n=input('n=');%輸入學(xué)習(xí)率w=rand(1,j);%對權(quán)值w賦較小的初值w0=0.5;%對權(quán)值w0賦較小的初值v=rand(1,j);%對權(quán)值V賦較小的初值v1=rand(1,j);%對權(quán)值V1賦較小的初值x0=-1;%對閾值x0賦初值y0=-1;%對閾值y0賦初值err=zeros(1,101);wucha=0;erro=;Erme=0;zong=;Emin=0.1;d=zeros(1,

7、101);%以初值0賦給期望輸出for m=1:101 d(1,m)=1.1*(1.0-x(1,m)+2*x(1,m)*x(1,m)*exp(-x(1,m)*x(1,m)/2);%以Hermit多項式產(chǎn)生期望輸出end;o=zeros(1,101);netj=zeros(1,j);net=zeros(1,j);y=zeros(1,j);p=1;q=1;while q<30000 %設(shè)定最大的迭代交數(shù) for p=1:101 %計算隱層的輸出 for i=1:j netj(1,i)=v(1,i)*x(1,p)+v1(1,i)*x0; y(1,i)=1/(1+exp(-netj(1,i);

8、end; o(1,p)=w*y'+y0*w0+0.01*randn(1,1);%計算輸出并給輸出加上上定的擾動 wucha=1/2*(d(1,p)-o(1,p)*(d(1,p)-o(1,p);%計算誤差 err(1,p)=wucha; erro=erro,wucha; for m=1:j;%調(diào)整各層的權(quán)值 w0=w0-n*w0; w(1,m)=w(1,m)+n*(d(1,p)-o(1,p)*y(1,m); v(1,m)=v(1,m)+n*(d(1,p)-o(1,p)*w(1,m)*y(1,m)*(1-y(1,m)*x(1,p); v1(1,m)=v1(1,m)+n*(d(1,p)-o(

9、1,p)*w(1,m)*y(1,m)*(1-y(1,m)*x0; end; q=q+1; end; Erme=0; for t=1:101; Erme=Erme+err(1,t); end; err=zeros(1,101); Erme=sqrt(Erme/101); zong=zong,Erme; if Erme<Emin break;%誤差到達(dá)允許值時停止迭代 end;end;%輸入結(jié)果Ermeplot(x,d,'-r');hold on;plot(x,o,'-.b');xlabel('Hermit多項式曲線與所構(gòu)建BP網(wǎng)絡(luò)輸出曲線')

10、qfigure(2);plot(zong);xlabel('誤差的收斂曲線')命令窗口的輸出如下：j=5n=0.05Erme = 0.0996q = 19999Hermit多項式曲線與所構(gòu)建BP網(wǎng)絡(luò)輸出曲線:誤差的收斂曲線如下:單樣本訓(xùn)練的統(tǒng)計如下:學(xué)習(xí)率結(jié)點數(shù)0.050.070.10.120.150.1750.093600.086590.097840.093640.087250.0932480.099210.089210.094580.091250.084570.09478100.89250.087940.085270.091450.084120.09147120.09784

11、0.092580.087960.091580.078360.08397對于批處理的情況:在原程序的根底上改變中間的一段；命令窗口的輸出如下：j=10n=0.1Erme = 0.0997q = 15757Hermit多項式曲線與所構(gòu)建BP網(wǎng)絡(luò)輸出曲線:誤差的收斂曲線如下:單樣本訓(xùn)練的統(tǒng)計如下:學(xué)習(xí)率結(jié)點數(shù)0.050.070.10.120.150.1750.099060.095870.094570.090960.099140.0987470.092580.091050.092670.091580.094570.09547100.089420.093240.091280.084570.092170.

12、09527120.085960.089250.087590.091540.082470.09457對于參加動量項的網(wǎng)絡(luò)如下: 命令窗口的輸出如下：j=15n=0.1Erme = 0.1000q = 6768Hermit多項式曲線與所構(gòu)建BP網(wǎng)絡(luò)輸出曲線:誤差的收斂曲線如下:單樣本訓(xùn)練的統(tǒng)計如下:學(xué)習(xí)率結(jié)點數(shù)0.050.070.10.120.150.1750.096570.095780.096540.0983540.098240.0904780.096580.093680.093420.096480.094270.09153100.092570.094570.092310.094260.0954

13、70.08972120.092580.92150.091270.092380.093410.08931六.問題答復(fù)1. 比擬單樣本訓(xùn)練和批處理訓(xùn)練的區(qū)別；答:單樣本輸入是每輸入一個樣本就調(diào)整一次權(quán)值,并計算誤差的大小,而對于批處理來說,是等所有的樣本都輸入以后再調(diào)整權(quán)值.當(dāng)樣本較多的時候批處理能獲得較快的收斂速度.2. 根據(jù)結(jié)果分析增加動量項后算法的變化答:參加動量項后,就等于讓權(quán)值的收斂方向向著一定的方向進(jìn)行,由輸出的數(shù)據(jù)可以看出這一點,對于相同的結(jié)點數(shù),相同的學(xué)習(xí)率,參加動量項后,收速度即迭代次數(shù)明顯的降低.2 改變不同參數(shù)的BP網(wǎng)絡(luò)運行情況及結(jié)果，并給予相應(yīng)的結(jié)果分析答:改變不同參數(shù),對網(wǎng)絡(luò)運行情況的影響,可以概括為:隨著結(jié)點數(shù)的增多,收斂的概率和速度都會相應(yīng)的有把增加.相應(yīng)的誤差會要小一點.但誤差的大小除了取決于結(jié)點外,還主要決定于到達(dá)允許誤差時的值,所以總誤差的值有一定的隨機(jī)性.對于改變網(wǎng)絡(luò)的學(xué)習(xí)率,對來說小的學(xué)習(xí)率會使收斂更穩(wěn)定一點,但是速度也會相對地慢一點,大的學(xué)習(xí)率在一定程度上能加快收斂的速度,但是穩(wěn)定性要比小的學(xué)習(xí)率小的多,換句話說,大的學(xué)習(xí)率收斂的概率要小得多,很容易發(fā)散,所以說,隨著學(xué)習(xí)的增大,迭代的次數(shù)會先減小后增大。大到一定程度進(jìn)，由于波動太大。結(jié)果就不在收斂；3 思考