神經(jīng)網(wǎng)絡(luò)的BP算法實(shí)驗(yàn)報(bào)告

計(jì)算智能基礎(chǔ)實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)名稱：BP神經(jīng)網(wǎng)絡(luò)算法實(shí)驗(yàn)班級(jí)名稱：341521班專業(yè)：探測制導(dǎo)與控制技術(shù)姓名：張浩鵬學(xué)號(hào)：34152107實(shí)驗(yàn)?zāi)康木幊虒?shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)算法；探究BP算法中學(xué)習(xí)因子算法收斂趨勢、收斂速度之間的關(guān)系；修改訓(xùn)練后BP神經(jīng)網(wǎng)絡(luò)部分連接權(quán)值，分析連接權(quán)值修改前和修改后對(duì)相同測試樣本測試結(jié)果，理解神經(jīng)網(wǎng)絡(luò)分布存儲(chǔ)等特點(diǎn)。實(shí)驗(yàn)要求按照下面的要求操作，然后分析不同操作后網(wǎng)絡(luò)輸出結(jié)果?？尚薷膶W(xué)習(xí)因子可任意指定隱單元層數(shù)可任意指定輸入層、隱含層、輸出層的單元數(shù)可指定最大允許誤差ε可輸入學(xué)習(xí)樣本（增加樣本）可存儲(chǔ)訓(xùn)練后的網(wǎng)絡(luò)各神經(jīng)元之間的連接權(quán)值矩陣；修改訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)部分連接權(quán)值，分析連接權(quán)值修改前和修改后對(duì)相同測試樣本測試結(jié)果。實(shí)驗(yàn)原理1BP神經(jīng)網(wǎng)絡(luò)算法的基本思想誤差逆?zhèn)鞑?backpropagation,BP)算法是一種計(jì)算單個(gè)權(quán)值變化引起網(wǎng)絡(luò)性能變化的較為簡單的方法。由于BP算法過程包含從輸出節(jié)點(diǎn)開始，反向地向第一隱含層(即最接近輸入層的隱含層)傳播由總誤差引起的權(quán)值修正，所以稱為“反向傳播”。BP神經(jīng)網(wǎng)絡(luò)是有教師指導(dǎo)訓(xùn)練方式的多層前饋網(wǎng)絡(luò)，其基本思想是：從網(wǎng)絡(luò)輸入節(jié)點(diǎn)輸入的樣本信號(hào)向前傳播，經(jīng)隱含層節(jié)點(diǎn)和輸出層節(jié)點(diǎn)處的非線性函數(shù)作用后，從輸出節(jié)點(diǎn)獲得輸出。若在輸出節(jié)點(diǎn)得不到樣本的期望輸出，則建立樣本的網(wǎng)絡(luò)輸出與其期望輸出的誤差信號(hào)，并將此誤差信號(hào)沿原連接路徑逆向傳播，去逐層修改網(wǎng)絡(luò)的權(quán)值和節(jié)點(diǎn)處閾值，這種信號(hào)正向傳播與誤差信號(hào)逆向傳播修改權(quán)值和閾值的過程反復(fù)進(jìn)行，直訓(xùn)練樣本集的網(wǎng)絡(luò)輸出誤差滿足一定精度要求為止。2BP神經(jīng)網(wǎng)絡(luò)算法步驟和流程BP神經(jīng)網(wǎng)絡(luò)步驟和流程如下：初始化，給各連接權(quán)及閾值賦予（-1,1）間的隨機(jī)值；隨機(jī)選取一學(xué)習(xí)模式對(duì)提供給網(wǎng)絡(luò)；計(jì)算隱含層各單元的輸入、輸出；，計(jì)算輸出層各單元的輸入、輸出；，計(jì)算輸出層各單元的一般化誤差；計(jì)算中間層各單元的一般化誤差；修正中間層至輸出層連接權(quán)值和輸出層各單元閾值；修正輸入層至中間層連接權(quán)值和中間層各單元閾值；隨機(jī)選取下一個(gè)學(xué)習(xí)模式對(duì)提供給網(wǎng)絡(luò)，返回步驟3），直至全部m個(gè)模式訓(xùn)練完畢；重新從m個(gè)學(xué)習(xí)模式對(duì)中隨機(jī)選取一個(gè)模式對(duì)，返回步驟3），直至網(wǎng)絡(luò)全局誤差函數(shù)E小于預(yù)先設(shè)定的一個(gè)極小值，即網(wǎng)絡(luò)收斂；或者，當(dāng)訓(xùn)練次數(shù)大于預(yù)先設(shè)定值，強(qiáng)制網(wǎng)絡(luò)停止學(xué)習(xí)(網(wǎng)絡(luò)可能無法收斂)。結(jié)束學(xué)習(xí)。四、實(shí)驗(yàn)內(nèi)容和分析實(shí)驗(yàn)時(shí)建立三層BP神經(jīng)網(wǎng)絡(luò)，輸入節(jié)點(diǎn)2個(gè)，隱含層節(jié)點(diǎn)2個(gè)，輸出節(jié)點(diǎn)1個(gè)，輸入訓(xùn)練樣本如下表：輸入值輸出0.00.00.00.01.01.01.00.01.01.01.00.0學(xué)習(xí)因子分別為0.5和0.6,最大允許誤差0.01。訓(xùn)練結(jié)果：訓(xùn)練次數(shù)3906，全局誤差0.0099955輸入層與隱含層連接權(quán)值為-5.256265.04393-5.351865.43925隱含層與輸出層連接權(quán)值為7.79517-7.43036隱含層神經(jīng)元閾值為-2.771052.78374輸出層神經(jīng)元閾值為3.48078輸入測試樣本為0.050.10.20.90.860.95輸出測試結(jié)果為0.0460.7860.043可見網(wǎng)絡(luò)性能良好，輸出結(jié)果基本滿足識(shí)別要求。改變學(xué)習(xí)因子學(xué)習(xí)因子決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)因子可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學(xué)習(xí)因子導(dǎo)致較長的訓(xùn)練時(shí)間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于誤差最小值。所以一般情況下傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。改變輸入層、隱含層、輸出層的單元數(shù)當(dāng)隱含層節(jié)點(diǎn)個(gè)數(shù)為3時(shí)，相同訓(xùn)練樣本和測試樣本，得到測試結(jié)果為0.0450.7990.039訓(xùn)練次數(shù)3742，全局誤差0.0099959可見，改變輸入層、隱含層、輸出層的單元數(shù)，即改變網(wǎng)絡(luò)結(jié)構(gòu)，可以改善網(wǎng)絡(luò)性能，增加隱含層節(jié)點(diǎn)個(gè)數(shù)可以更好的提取模式特征，識(shí)別結(jié)果更精確，但網(wǎng)絡(luò)復(fù)雜度增加，可能不穩(wěn)定。最大允許誤差ε控制網(wǎng)絡(luò)識(shí)別精度。選取較大值學(xué)習(xí)速度加快，但精度降低；選取較小值，學(xué)習(xí)速度變慢，精度提高，但可能導(dǎo)致網(wǎng)絡(luò)無法收斂到允許的誤差范圍。增加學(xué)習(xí)樣本在基本實(shí)驗(yàn)的基礎(chǔ)上，增加一個(gè)學(xué)習(xí)樣本0.11.01.0后，訓(xùn)練次數(shù)變增加為18982，全局誤差為0.0099993，相同測試樣本，測試結(jié)果為0.0050.8060.002網(wǎng)絡(luò)學(xué)習(xí)速度降低，識(shí)別精度大大提高。另外，改變學(xué)習(xí)樣本個(gè)數(shù)，將改變原有訓(xùn)練結(jié)果。改變部分連接權(quán)值將初始訓(xùn)練結(jié)果輸入層與隱含層連接權(quán)值中-5.35186改為-4.00000后，測試結(jié)果為0.0450.7850.036網(wǎng)絡(luò)性能被改變。五