bp神經(jīng)網(wǎng)絡(luò)進(jìn)行多項(xiàng)式函數(shù)的迫近 吐血1

本文格式為Word版，下載可任意編輯——bp神經(jīng)網(wǎng)絡(luò)進(jìn)行多項(xiàng)式函數(shù)的迫近吐血1

神經(jīng)網(wǎng)絡(luò)及應(yīng)用試驗(yàn)報(bào)告

院系：電氣工程學(xué)院

班級(jí)：adf3班

姓名：adsf

學(xué)號(hào)：20sdf

1

試驗(yàn)二、基于BP網(wǎng)絡(luò)的多層感知器

一：試驗(yàn)?zāi)康模?/p>

1.理解多層感知器的工作原理

2.通過(guò)調(diào)理算法參數(shù)了解參數(shù)的變化對(duì)于感知器訓(xùn)練的影響3.了解多層感知器局限性

二：試驗(yàn)原理：

BP的基本思想：信號(hào)的正向傳播誤差的反向傳播

–信號(hào)的正向傳播：輸入樣本從輸入層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。–誤差的反向傳播：將輸入誤差以某種形式通過(guò)隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)來(lái)作為修正各單元權(quán)值的依據(jù)。

1.基本BP算法的多層感知器模型：

2

2.BP學(xué)習(xí)算法的推導(dǎo)：

當(dāng)網(wǎng)絡(luò)輸出與期望輸出不等時(shí)，存在輸出誤差E

將上面的誤差定義式展開(kāi)至隱層，有

進(jìn)一步展開(kāi)至輸入層，有

調(diào)整權(quán)值的原則是使誤差不斷地減小，因此應(yīng)使權(quán)值的調(diào)整量與誤差的梯度下降成正比，即

η∈(0,1)表示比例系數(shù)，在訓(xùn)練中反應(yīng)學(xué)習(xí)速率

BP算法屬于δ學(xué)習(xí)規(guī)則類(lèi)，這類(lèi)算法被稱(chēng)為誤差的梯度下降（GradientDescent）算法。

三：試驗(yàn)內(nèi)容：

Hermit多項(xiàng)式如下式所示：f(x)=1.1(1-x+2x^2)exp(-x^2/2)

3

采用BP算法設(shè)計(jì)一個(gè)單輸入單輸出的多層感知器對(duì)該函數(shù)進(jìn)行迫近。訓(xùn)練樣本按以下方法產(chǎn)生：樣本數(shù)P=100，其中輸入樣本xi聽(tīng)從區(qū)間[-4，4]內(nèi)的均勻分布，樣本輸出為F(xi)+ei,ei為添加的噪聲，聽(tīng)從均值為0，標(biāo)準(zhǔn)差為0.1的正態(tài)分布。

隱層采用Sigmoid激活函數(shù)f(x)=1/(1+1/e^x)，輸出層采用線性激活函數(shù)f(x)=x。

注意：輸出層采用的線性激活函數(shù)，不是Sigmoid激活函數(shù)，所以迭代公式需要根據(jù)前面的推導(dǎo)過(guò)程重新推導(dǎo)。

四：試驗(yàn)步驟：

1.用Matlab編程，實(shí)現(xiàn)解決該問(wèn)題的單樣本訓(xùn)練BP網(wǎng)絡(luò)，設(shè)置一個(gè)中止迭代的誤差Emin和最大迭代次數(shù)。在調(diào)試過(guò)程中，通過(guò)不斷調(diào)整隱層節(jié)點(diǎn)數(shù)，學(xué)習(xí)率η，找到收斂速度快且誤差小的一組參數(shù)。產(chǎn)生均勻分布在區(qū)間[-4，4]的測(cè)試樣本，輸入建立的模型得到輸出，與Hermit多項(xiàng)式的期望輸出進(jìn)行比較計(jì)算總誤差（運(yùn)行5次，取平均值），并記錄下每次迭代終止時(shí)的迭代次數(shù)。（要求誤差計(jì)算使用RME，Emin設(shè)置為0.1）

2.實(shí)現(xiàn)解決該問(wèn)題的批處理訓(xùn)練BP網(wǎng)絡(luò)，調(diào)整參數(shù)如上。產(chǎn)生均勻分布在區(qū)間[-4，4]的測(cè)試樣本，輸入建立的模型得到輸出，與Hermit多項(xiàng)式的期望輸出進(jìn)行比較計(jì)算總誤差（運(yùn)行5次，取平均值），并記錄下每次迭代終止時(shí)的迭代次數(shù)。

3.對(duì)批處理訓(xùn)練BP算法增加動(dòng)量項(xiàng)ΔW(t)=ηδX+αΔW(t-1)，α∈(0,1),調(diào)整參數(shù)如上，記錄結(jié)果，并與沒(méi)有帶動(dòng)量項(xiàng)的批處理訓(xùn)練BP算法的結(jié)果相比較。

4.對(duì)批處理BP算法改變參數(shù)：學(xué)習(xí)率η、迭代次數(shù)、隱層節(jié)點(diǎn)數(shù)，觀測(cè)算法的收斂發(fā)散，以及測(cè)試誤差的變化（對(duì)每個(gè)參數(shù)取幾個(gè)不同參數(shù)，分別運(yùn)行5次，結(jié)果取平均值）。

五：試驗(yàn)程序：

4

（一）：?jiǎn)螛颖居?xùn)練ＢＰ網(wǎng)絡(luò)

function[epoch,s,Wki,Wij,Wb,Ez]=dyb(lr,Emin,q)%初始化；

%lr學(xué)習(xí)效率；Emin為期望誤差最小值；q為隱含層節(jié)點(diǎn)數(shù)；b=1;sum=0;Ez=[];

max_epoch=30000;%max_epoch訓(xùn)練的最大次數(shù)；%提供訓(xùn)練集和目標(biāo)值；x=8.*rand(1,100)-4;

y=1.1.*(1-x+2.*x.^2).*exp(-x.^2/2)+0.1*rand(1,100);%初始化Wki，Wij；

Wij=rand(1,q);Wki=rand(1,q);Wb=rand(1,q);forepoch=1:max_epoch

E=0;m=1;oi=0;ok=0;%置隱含層和輸出層各神經(jīng)元輸出初值為零；form=1:100

%計(jì)算隱含層各神經(jīng)元輸出；NETi=x(m)*Wij+b*Wb;fort=1:q

oi(t)=1/(1+exp(-NETi(t)));end

%計(jì)算輸出層各神經(jīng)元輸出；NETk=Wki*oi';ok=NETk;%計(jì)算誤差；E=E+(y(m)-ok)^2;%調(diào)整輸出層加權(quán)系數(shù)；deltak=y(m)-ok;Wki=Wki+lr*deltak*oi;%調(diào)整隱含層加權(quán)系數(shù)；

deltai=oi.*(1-oi).*(deltak*Wki);

5

六：試驗(yàn)數(shù)據(jù)及處理：

最大迭代次數(shù):30000，中止迭代的誤差:0.1。（一）：?jiǎn)螛颖居?xùn)練ＢＰ網(wǎng)絡(luò)

單樣本BP算法平均最小誤差及其迭代次數(shù)：

學(xué)習(xí)率η隱節(jié)點(diǎn)數(shù)0.0010.0030.0050.010.050.10.2誤差0.100720.10490.10570.103070.103160.0990580.16124次數(shù)10303.44206.43763.61386.21272756.218085.6誤差0.100930.100770.105550.108570.104820.0944830.15395次數(shù)9099.444962588.41555174.8189.66184.4誤差0.100850.100570.113770.0992480.102230.102530.11457次數(shù)8986.82897.41685.4975.4194.8156.4146.8誤差0.11160.109770.104810.10730.112060.0920230.26888次數(shù)11382.63627.22198.4738264.412012076.6誤差0.112020.110330.101150.106310.111690.0969261.167810次數(shù)11819.43560.21885.6912204.2124.6657711

由以上試驗(yàn)數(shù)據(jù)可知：學(xué)習(xí)效率為0.1，隱節(jié)點(diǎn)數(shù)為10時(shí)收斂速度快且誤差比較小。曲線圖為：

訓(xùn)練樣本與測(cè)試樣本3測(cè)試樣本2.5訓(xùn)練樣本2y1.5putout10.50-0.5-4-3-2-101234inputxHermit多項(xiàng)式曲線與BP網(wǎng)絡(luò)輸出曲線3BP曲線2.5Hermit曲線21.510.50-0.5-4-3-2-101234

12

收斂曲線1.41.210.80.60.40.20230406080100120230160

（二）：批處理訓(xùn)練ＢＰ網(wǎng)絡(luò)

批處理BP算法平均最小誤差及其迭代次數(shù)：

學(xué)習(xí)率η隱節(jié)點(diǎn)數(shù)0.0010.0030.0050.010.050.10.2誤差0.108660.105820.121470.0987670.110720.103320.185994次數(shù)109424403.282971503.8514.26234.618043誤差0.106370.107770.107820.107380.094540.099330.114275次數(shù)113433948.82708.41279.6347.4127.26289.8誤差0.106130.107960.113130.106970.101290.0928190.101127次數(shù)110563321.21924.2925.2187.2127.215213

誤差0.114050.101040.106760.0992170.101330.110110.255228次數(shù)1161728292560.6927.8190.41626169.8誤差0.11450.111520.107210.115640.101690.109870.3476710次數(shù)103433885.82245877.2241.62026472.2由以上試驗(yàn)數(shù)據(jù)可知：學(xué)習(xí)效率為0.1，隱節(jié)點(diǎn)數(shù)為7時(shí)收斂速度快且誤差比較小。曲線圖為：

訓(xùn)練樣本與測(cè)試樣本3測(cè)試樣本訓(xùn)練樣本2.52outputy1.510.50-0.5-4-3-2-10input