神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)

1、會(huì)計(jì)學(xué)1神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)網(wǎng)絡(luò)2022-7-822022-7-83感知機(jī)自適應(yīng)線性元件2022-7-84感知機(jī)感知機(jī)簡(jiǎn)介神經(jīng)元模型網(wǎng)絡(luò)結(jié)構(gòu)功能解釋學(xué)習(xí)和訓(xùn)練局限性自適應(yīng)線性元件2022-7-85感知機(jī)自適應(yīng)線性元件Adline簡(jiǎn)介網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練2022-7-862.1 BP網(wǎng)絡(luò)簡(jiǎn)介2.2 網(wǎng)絡(luò)模型2.3 學(xué)習(xí)規(guī)則2.4 圖形解釋2.5 網(wǎng)絡(luò)訓(xùn)練2022-7-87反向傳播網(wǎng)絡(luò)(Back-Propagation Network，簡(jiǎn)稱BP網(wǎng)絡(luò))是將W-H學(xué)習(xí)規(guī)則一般化，對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò) 權(quán)值的調(diào)整采用反向傳播(Back-propagation）的學(xué)習(xí)算法它是一

2、種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型函數(shù)輸出量為0到1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射2022-7-882022-7-89一個(gè)具有r個(gè)輸入和一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 2022-7-8102022-7-8112022-7-8122022-7-8132022-7-8142022-7-8152022-7-8162022-7-8172022-7-8182022-7-8192022-7-8202022-7-8212022-7-8222022-7-8232022-7-8242022-7-8252022-7-8262022-7-8272022-7-8282022-7-82

3、92022-7-8302022-7-8312022-7-8322022-7-8332022-7-8342022-7-8352022-7-8362022-7-8372022-7-838加快訓(xùn)練速度避免陷入局部極小值2022-7-839利用附加動(dòng)量的作用則有可能滑過局部極小值修正網(wǎng)絡(luò)權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢(shì)的影響，其作用如同一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上微小變化特性該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化2022-7-840帶有附加動(dòng)量因子的權(quán)值調(diào)節(jié)公式其中k為訓(xùn)練次數(shù)，mc為

4、動(dòng)量因子，一般取095左右附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過一個(gè)動(dòng)量因子來傳遞。當(dāng)動(dòng)量因子取值為零時(shí)，權(quán)值變化僅根據(jù)梯度下降法產(chǎn)生當(dāng)動(dòng)量因子取值為1時(shí)，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了 促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部的平坦區(qū)時(shí)，i將變得很小，于是，wij(k+1)wij (k)，從而防止了wij=0的出現(xiàn)，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出 2022-7-841在MATLAB工具箱中，帶有動(dòng)量因子的權(quán)值修正法是用函數(shù)learnbpm.m來實(shí)現(xiàn)的trainbpm.m可以訓(xùn)練一層直至三層的帶

5、有附加動(dòng)量因子的反向傳播網(wǎng)絡(luò)下面是對(duì)單層網(wǎng)絡(luò)使用函數(shù)trainbpm.m的情形：W，B，epochs，errorstrainbpm(W，B，F(xiàn)，P，T，TP)2022-7-842當(dāng)ak趨向1時(shí)，E趨向一個(gè)常數(shù)，即處于E的平坦區(qū)， f(n)0，可能造成完全訓(xùn)練的麻痹現(xiàn)象當(dāng)一個(gè)網(wǎng)絡(luò)的誤差曲面存在著平坦區(qū)時(shí)，可以選用別的誤差函數(shù)f(tk, ak)來代替(tk-ak)2的形式，只要其函數(shù)在ak=tk時(shí)能達(dá)到最小值2022-7-843包穆(Baum)等人于1988年提出一種誤差函數(shù)為不會(huì)產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象2022-7-844與常規(guī)的誤差函數(shù)的情況ij=f(n)(tk-ak)相比較，其中的f(n)

6、項(xiàng)消失了當(dāng)n增大，進(jìn)入激活函數(shù)的平坦區(qū)，使f(n)0時(shí)，不會(huì)產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象但由于失去了f(n)對(duì)w的控制作用，過大的w又有可能導(dǎo)致網(wǎng)絡(luò)過調(diào)或振蕩 1989年，范爾曼(S.Fahlman)提出一種折中的方案，即取kf(n)+0.1(tk-ak)一方面恢復(fù)了f(n)的某些影響另一方面當(dāng)|n|變大時(shí)，仍能保持k有一定的大小，從而避免了麻痹現(xiàn)象的發(fā)生 2022-7-845通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是，檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說明所選取的學(xué)習(xí)速率值小了，可以對(duì)其增加一個(gè)量；否則可認(rèn)為產(chǎn)生過調(diào)，應(yīng)該減小學(xué)習(xí)速率的值一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式2022-7-8462022-7-8472022-7-8482022-7-8492022-7-8502022-7-8512022-7-8522022-7-853感知機(jī)感知機(jī)簡(jiǎn)介神經(jīng)元模型網(wǎng)絡(luò)結(jié)構(gòu)功能解釋學(xué)習(xí)和訓(xùn)練局限性自適應(yīng)線性元件2022-7-854感知機(jī)自適應(yīng)線性元件Adline簡(jiǎn)介網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練2022-7-8552.1 BP網(wǎng)絡(luò)簡(jiǎn)介2.2 網(wǎng)絡(luò)模型2.3 學(xué)習(xí)規(guī)則2.4 圖形解釋2.5 網(wǎng)絡(luò)訓(xùn)練2022-7-8562022-7-8572022-7-8582022-7-859當(dāng)ak趨向1時(shí)，