試驗(yàn)2報(bào)告示范

1、研究實(shí)驗(yàn)2報(bào)告示范一一單入單出BP人工神經(jīng)網(wǎng)絡(luò)及算法研究一 研究問(wèn)題描述：用BP方法實(shí)現(xiàn)一個(gè)單輸入單輸出的函數(shù)的逼近。假設(shè)轉(zhuǎn)換函數(shù)的輸出范圍在0到1之間。函數(shù)取以下3個(gè)：f(x)=e,0.2<x<0.8f (x) =0.5 0.3*sin x,0 Ex 乞1f (x) =0.5 0.3*sin(2* x),0 空 x 乞1二網(wǎng)絡(luò)結(jié)構(gòu)：1. 三層前向神經(jīng)網(wǎng)絡(luò)根據(jù)逼近定理知，只含一個(gè)隱層的前向網(wǎng)絡(luò)(即三層前向神經(jīng)網(wǎng)絡(luò))是一 個(gè)通用的逼近器，可以任意逼近函數(shù)f,因此，在本題中選用三層前向神經(jīng)網(wǎng)絡(luò)， 即輸入層(x0,y0)，個(gè)隱層(x1,y1)，輸出層(x2,y2)。2 網(wǎng)絡(luò)結(jié)構(gòu)由于要逼近

2、的函數(shù)為單輸入單輸出函數(shù)， 故輸出層只有一個(gè)節(jié)點(diǎn)；輸入層 除了一個(gè)樣本輸入點(diǎn)外，還有一個(gè)閾值單元，因此可以看作是兩個(gè)輸入節(jié)點(diǎn)；隱 層的節(jié)點(diǎn)個(gè)數(shù)p可以在程序運(yùn)行時(shí)進(jìn)行選擇，以適應(yīng)和測(cè)試不同的逼近效果。由 輸入層至隱層的權(quán)矩陣記為 W0，由隱層到輸出層的權(quán)矩陣記為 W1。整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)初步設(shè)計(jì)如下圖所示：(略)三算法實(shí)現(xiàn)本實(shí)驗(yàn)用C+程序?qū)崿F(xiàn)該算法。報(bào)告中所給出的實(shí)驗(yàn)數(shù)據(jù)均是運(yùn)行C+程序所得的結(jié)果，然后將這些結(jié)果在 matlab中畫(huà)出對(duì)應(yīng)圖形。1標(biāo)準(zhǔn)BP算法(無(wú)動(dòng)量項(xiàng))：根據(jù)公式：(為學(xué)習(xí)率)WjUk 1) =w',j4,l(k <:E/：:w；,f,l(k)-w',J4,l(

3、k v :P,j(k) y；：(k)f lllyp,j(k)tp,j fXp,j(k)l=M -16；j(k) =NF'xP,j(k)臣 n去P：(k) wj7(k) l =M 2,.,1編寫(xiě)程序，程序執(zhí)行時(shí)允許選擇：樣本個(gè)數(shù)p,隱層節(jié)點(diǎn)個(gè)數(shù)midnumber,學(xué)習(xí)速率step,訓(xùn)練過(guò)程結(jié)束條件(即訓(xùn)練結(jié)束時(shí)允許的最大誤差)enderr。2 加動(dòng)量項(xiàng)的BP算法基本原理同上，僅在標(biāo)準(zhǔn)BP算法的基礎(chǔ)上，對(duì)權(quán)矩陣的修改添加動(dòng)量項(xiàng)，程序執(zhí)行時(shí)允許選擇：樣本個(gè)數(shù)p,隱層節(jié)點(diǎn)個(gè)數(shù)mid number,學(xué)習(xí)速率step,訓(xùn)練過(guò)程結(jié)束條件(即訓(xùn)練結(jié)束時(shí)允許的最大誤差)enderr,以及動(dòng)量因子moti

4、四訓(xùn)練結(jié)果：對(duì)不同的函數(shù)逼近進(jìn)行訓(xùn)練得到不同的訓(xùn)練結(jié)果，下面分別進(jìn)行討論:1. f (x) = e»,0.2 三x 乞 0.8(1.)樣本個(gè)數(shù)取為10,隱層節(jié)點(diǎn)數(shù)取為10,步長(zhǎng)0.4,終止誤差設(shè)為0.001,無(wú) 動(dòng)量項(xiàng)運(yùn)行結(jié)果如下:訓(xùn)練次數(shù)：1850最終誤差:0.000999849權(quán)值矩陣為:-0.601838)-0.6018381-0.601838-0.601838-0.601838W0 =-0.601838-0.601838-0.601838-0.601838-0.601838-1.30367-2.00658-2.00658-2.00658-2.00658-2.00658-2.0

5、0658-2.00658-2.00658-2.00658一-1.232521.014281.014281.014281.014281.014281.014281.014281.01428.1.0 1 4 28W1(這里的權(quán)矩陣的取值比較整齊，分析其原因是因?yàn)樵诔跏蓟瘷?quán)矩陣的時(shí)候， 并沒(méi)有為其賦予隨機(jī)值，而是分別賦予了相同的0到0.1之間的值。又由于網(wǎng)絡(luò)結(jié)構(gòu) 的對(duì)稱性，故每次通過(guò)梯度法所求得的權(quán)值的變化量是相同的， 從而導(dǎo)致了結(jié)果 中權(quán)值取值的整齊性。）逼近效果圖：（圖中藍(lán)線為原函數(shù)圖像，紅x為由該網(wǎng)絡(luò)進(jìn)行逼近得到的結(jié)果）（2.）改變隱層節(jié)點(diǎn)數(shù)：當(dāng)隱層節(jié)點(diǎn)數(shù)減少為5,其余設(shè)置不變時(shí)，要達(dá)到終止誤

6、差需要進(jìn)行的訓(xùn)練次 數(shù)為5476次。當(dāng)隱層節(jié)點(diǎn)數(shù)增加為20,其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練 次數(shù)為29167次0當(dāng)隱層節(jié)點(diǎn)數(shù)增加為50,其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練 次數(shù)為73677次o可以看出，本題中增加隱層節(jié)點(diǎn)數(shù)對(duì)改進(jìn)逼近效果的作用并不很明顯。隱層 節(jié)點(diǎn)取20和50時(shí)所用的訓(xùn)練次數(shù)比隱層節(jié)點(diǎn)取10時(shí)要大?？梢?jiàn)增加隱層節(jié)點(diǎn)并 不一定能增加精度或減少訓(xùn)練時(shí)間，在本題中反而會(huì)帶來(lái)更長(zhǎng)的訓(xùn)練時(shí)間。（3.）改變步長(zhǎng)：當(dāng)步長(zhǎng)減小為0.2，其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練次數(shù) 為18993次，明顯多于步長(zhǎng)為0.4的情形。當(dāng)步長(zhǎng)增加為0.5，其余設(shè)置不變時(shí)，要達(dá)到

7、終止誤差需要進(jìn)行的訓(xùn)練次數(shù) 為7590次，少于步長(zhǎng)為0.4的情形。當(dāng)步長(zhǎng)增加為0.8，其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練次數(shù) 為4449次，明顯少于步長(zhǎng)為0.4的情形。而當(dāng)步長(zhǎng)增加為1,其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練次數(shù)只有3292次0這說(shuō)明隨著步長(zhǎng)的增加，訓(xùn)練的次數(shù)可能減小，分析其原因是由于步長(zhǎng)增加 意味著權(quán)值每次的變化量更大，因此會(huì)使收斂更快。但步長(zhǎng)增加另一方面可能會(huì) 導(dǎo)致振蕩，也就是當(dāng)步長(zhǎng)取的較大時(shí)，有可能使得權(quán)值在誤差曲面的極小點(diǎn)兩邊 來(lái)回變化而不能達(dá)到極小點(diǎn)。在對(duì)其它函數(shù)逼近的實(shí)驗(yàn)中(實(shí)驗(yàn)3),可以看出該現(xiàn)象。(4.)增加動(dòng)量項(xiàng)當(dāng)增加動(dòng)量項(xiàng)，動(dòng)量因子設(shè)為0.2

8、，其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要 進(jìn)行的訓(xùn)練次數(shù)為7590次，明顯少于相同條件下不加動(dòng)量項(xiàng)時(shí)所用的訓(xùn)練次數(shù)。 說(shuō)明增加動(dòng)量項(xiàng)加快了收斂。而增加動(dòng)量項(xiàng)后的訓(xùn)練結(jié)果與不加動(dòng)量項(xiàng)時(shí)的結(jié)果 幾乎完全一樣(一般僅在小數(shù)點(diǎn)后第五位有點(diǎn)差別)，這說(shuō)明在本例中增加動(dòng)量 項(xiàng)雖然加快了收斂，但對(duì)逼近的程度并無(wú)什么改進(jìn)。(5.)推廣測(cè)試均勻選取5個(gè)點(diǎn)進(jìn)行推廣測(cè)試，其誤差為0.000170499，上圖中綠色o形標(biāo)志 為推廣測(cè)試的結(jié)果，由圖及誤差可以看出，在本例中的推廣測(cè)試效果比較好。2. f (x) =0.5 0.3*sin x,0乞1(1.)樣本個(gè)數(shù)取為15，隱層節(jié)點(diǎn)數(shù)取為10，步長(zhǎng)0.3,終止誤差設(shè)為0.00

9、1,無(wú) 動(dòng)量項(xiàng)運(yùn)行結(jié)果如下：訓(xùn)練次數(shù)：1485最終誤差：0.000996835權(quán)值矩陣為：-0.140785-0.1407851-0.140785-0.140785-0.140785W0 =-0.140785-0.140785-0.140785-0.140785.-0.140785-1.303670.8505440.8505440.8505440.8505440.8505440.8505440.8505440.8505440.850544W1-1. 981330. 450 0680. 4500680. 450 0680. 4500680. 4500680. 450 068)0. 4500680

10、. 450 0680. 4 5 0 0 6 8（這里的權(quán)矩陣的取值比較整齊，原因同上。）逼近效果圖:（圖中藍(lán)線為原函數(shù)圖像，紅x為由該網(wǎng)絡(luò)進(jìn)行逼近得到的結(jié)果）（2.）改變隱層節(jié)點(diǎn)數(shù)：當(dāng)隱層節(jié)點(diǎn)數(shù)減少為5,其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練次數(shù)為1215次o當(dāng)隱層節(jié)點(diǎn)數(shù)增加為20,其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練 次數(shù)為1927次o當(dāng)隱層節(jié)點(diǎn)數(shù)增加為50,其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練 次數(shù)為3002次0可以看出，本題中增加隱層節(jié)點(diǎn)數(shù)對(duì)改進(jìn)逼近效果的作用并不很明顯。(3.)改變步長(zhǎng)：當(dāng)步長(zhǎng)減小為0.2，其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練次數(shù) 為436

11、5次，明顯多于步長(zhǎng)為0.4的情形。當(dāng)步長(zhǎng)增加為0.5，其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練次數(shù) 為1748次，少于步長(zhǎng)為0.4的情形。當(dāng)步長(zhǎng)增加為0.8，其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練次數(shù) 為1542次，明顯少于步長(zhǎng)為0.4的情形。而當(dāng)步長(zhǎng)增加為1,其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練次數(shù) 只有1404次o這說(shuō)明在本題中隨著步長(zhǎng)的增加，訓(xùn)練的次數(shù)減少。(4.)增加動(dòng)量項(xiàng)當(dāng)增加動(dòng)量項(xiàng)，動(dòng)量因子設(shè)為0.2，其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要 進(jìn)行的訓(xùn)練次數(shù)為893次，明顯少于相同條件下不加動(dòng)量項(xiàng)時(shí)所用的訓(xùn)練次數(shù)。 說(shuō)明增加動(dòng)量項(xiàng)加快了收斂。同時(shí)，在matlab中標(biāo)出增

12、加動(dòng)量項(xiàng)后的訓(xùn)練結(jié)果(紅 色o標(biāo)記)，可以看出其與不加動(dòng)量項(xiàng)時(shí)的結(jié)果幾乎完全一樣，這說(shuō)明在本例中 增加動(dòng)量項(xiàng)雖然加快了收斂，但對(duì)逼近的程度并無(wú)明顯改進(jìn)。(5.)推廣測(cè)試均勻選取5個(gè)點(diǎn)進(jìn)行推廣測(cè)試，其誤差為0.000186291，上圖中綠色o形標(biāo)志 為推廣測(cè)試的結(jié)果，由圖及誤差可以看出，在本例中的推廣測(cè)試效果可以接受。3. f (x) =0.5 0.3*sin(2* x),0 乞 x 1(1.)樣本個(gè)數(shù)取為15，隱層節(jié)點(diǎn)數(shù)取為10，步長(zhǎng)0.3,終止誤差設(shè)為0.001,無(wú) 動(dòng)量項(xiàng)運(yùn)行結(jié)果如下：訓(xùn)練次數(shù)：34044最終誤差：0.000999987權(quán)值矩陣為：WO0.5761270.5761270.5

13、761270.5761270.5761270.5761270.5761270.5761270.576127J0.576127-1.303672.386732.386732.386732.386732.386732.386732.386732.386732.38673W1-3. 1 55510. 4 92 8 020. 4928020. 4 92 8 020. 492802 0. 4928020. 4 92 8 02 |0. 4928020. 4 92 8 020. 4 92 8 02（這里的權(quán)矩陣的取值比較整齊，原因同上。）（圖中藍(lán)線為原函數(shù)圖像，紅x為由該網(wǎng)絡(luò)進(jìn)行逼近得到的結(jié)果）（2.）改變

14、隱層節(jié)點(diǎn)數(shù)：當(dāng)隱層節(jié)點(diǎn)數(shù)減少為5,其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練次數(shù)為 15445次o當(dāng)隱層節(jié)點(diǎn)數(shù)減少為5,其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練次數(shù)為 11957次o可以看出，本題中增加隱層節(jié)點(diǎn)數(shù)對(duì)改進(jìn)逼近效果的作用并不很明顯。隱層節(jié)點(diǎn)取 20和50 時(shí)所用的訓(xùn)練次數(shù)比隱層節(jié)點(diǎn)取 10 時(shí)要大。增加隱層節(jié)點(diǎn)并不一 定能增加精度或減少訓(xùn)練時(shí)間，在本題中反而會(huì)帶來(lái)更長(zhǎng)的訓(xùn)練時(shí)間。 （3）改變步長(zhǎng)：當(dāng)步長(zhǎng)減小為 0.2 ，其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)行的訓(xùn)練次數(shù) 為51064次，明顯多于步長(zhǎng)為 0.4 的情形。當(dāng)步長(zhǎng)增加為 0.5 ，其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要進(jìn)

15、行的訓(xùn)練次數(shù) 為118280次，少于步長(zhǎng)為 0.4 的情形。當(dāng)步長(zhǎng)增加為 0.8 ，其余設(shè)置不變時(shí)，訓(xùn)練速度極慢，訓(xùn)練的誤差出現(xiàn)明顯 的振蕩，例如：在某一步誤差為 0.0066 后，其下一步誤差又增加為 0.0092 ，而接 下來(lái)一步的誤差又變?yōu)?.0065，該例子說(shuō)明了步長(zhǎng)較大時(shí)，若取得合適則會(huì) 加快收斂，若不合適，則會(huì)造成振蕩而不再收斂。（4）增加動(dòng)量項(xiàng)當(dāng)增加動(dòng)量項(xiàng)，動(dòng)量因子設(shè)為 0.2 ，其余設(shè)置不變時(shí)，要達(dá)到終止誤差需要 進(jìn)行的訓(xùn)練次數(shù)為 20467次，少于相同條件下不加動(dòng)量項(xiàng)時(shí)所用的訓(xùn)練次數(shù)。說(shuō) 明增加動(dòng)量項(xiàng)加快了收斂。五實(shí)驗(yàn)總結(jié)（1）網(wǎng)絡(luò)結(jié)構(gòu)：本實(shí)驗(yàn)選用三層前向神經(jīng)網(wǎng)絡(luò)使用BP算法以及加動(dòng)量項(xiàng)的BP算法實(shí)現(xiàn)對(duì)單 輸入單輸出函數(shù)的逼近，通過(guò)對(duì)三個(gè)不同函數(shù)的逼近實(shí)驗(yàn)測(cè)試了 BP算法的性能 及隱層節(jié)點(diǎn)數(shù)目、步長(zhǎng)、動(dòng)量項(xiàng)等因素對(duì) BP網(wǎng)絡(luò)訓(xùn)練和測(cè)試的影響。其中，適當(dāng)增加隱層節(jié)點(diǎn)數(shù)可以改善網(wǎng)絡(luò)性能，但在本實(shí)驗(yàn)中，隱層節(jié)點(diǎn)數(shù) 取20和50 時(shí)所用的訓(xùn)練次數(shù)比隱層節(jié)點(diǎn)取 10 時(shí)要大?？梢?jiàn)增加隱層節(jié)點(diǎn)并不一 定能增加精度或減少訓(xùn)練時(shí)間， 在本實(shí)驗(yàn)中反而會(huì)帶來(lái)更長(zhǎng)的訓(xùn)練時(shí)間； 訓(xùn)練次 數(shù)隨著步長(zhǎng)的增加而減小， 但不合適的步長(zhǎng)增加會(huì)引起振蕩而增加訓(xùn)練次數(shù)甚至 不再收斂；增加動(dòng)量項(xiàng)后在相