數(shù)學(xué)建模BP神經(jīng)網(wǎng)絡(luò)論文正稿

1、.wd.wd.wd.BP神經(jīng)網(wǎng)絡(luò)算法原理：輸入信號通過中間節(jié)點隱層點作用于輸出節(jié)點，經(jīng)過非線形變換，產(chǎn)生輸出信號，網(wǎng)絡(luò)訓(xùn)練的每個樣本包括輸入向量和期望輸出量，網(wǎng)絡(luò)輸出值與期望輸出值之間的偏差，通過調(diào)整輸入節(jié)點與隱層節(jié)點的聯(lián)接強度取值和隱層節(jié)點與輸出節(jié)點之間的聯(lián)接強度以及閾值，使誤差沿梯度方向下降，經(jīng)過反復(fù)學(xué)習(xí)訓(xùn)練，確定與最小誤差相對應(yīng)的網(wǎng)絡(luò)參數(shù)權(quán)值和閾值，訓(xùn)練即告停頓。此時經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)即能對類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉(zhuǎn)換的信息。變量定義：設(shè)輸入層有個神經(jīng)元，隱含層有個神經(jīng)元,輸出層有個神經(jīng)元輸入向量：隱含層輸入向量：隱含層輸出向量：輸出層輸入向量：輸出層輸出向量

2、：期望輸出向量:輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù): 誤差函數(shù)：算法步驟：Step1.網(wǎng)絡(luò)初始化 。給各連接權(quán)值分別賦一個區(qū)間-1，1內(nèi)的隨機數(shù)，設(shè)定誤差函數(shù)，給定計算精度值和最大學(xué)習(xí)次數(shù)M。Step2.隨機選取第個輸入樣本及對應(yīng)期望輸出Step3.計算隱含層各神經(jīng)元的輸入和輸出及輸出層各神經(jīng)元的輸入和輸出Step4.利用網(wǎng)絡(luò)期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。Step5.利用隱含層到輸出層的連接權(quán)值、輸出層的和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù)。Step6.利用輸出層各神

3、經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權(quán)值。Step7.利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。 Step8.計算全局誤差。Step9.判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差到達(dá)預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，那么完畢算法。否那么，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。 算法流程圖： 輸入，根據(jù)網(wǎng)絡(luò)的狀態(tài)方程計算網(wǎng)絡(luò)輸出網(wǎng)絡(luò)初始化計算全局誤差：修改權(quán)值：訓(xùn)練完成到達(dá)最大學(xué)習(xí)次數(shù)NONOYESYES參數(shù)確定：確定了網(wǎng)絡(luò)層數(shù)、每層節(jié)點數(shù)、傳遞函數(shù)、初始權(quán)系數(shù)、學(xué)習(xí)算法等也就確定了BP網(wǎng)絡(luò)。確定這些選項時有一定的指導(dǎo)原那么，但更多的是靠經(jīng)歷和試湊。 1. 樣

4、本數(shù)據(jù)采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練學(xué)習(xí)過程使之不發(fā)生“過擬合和評價建設(shè)的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機分成訓(xùn)練樣本、檢驗樣本10%以上和測試樣本10%以上3局部。2.輸入/輸出變量一般地，BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量影響因子或自變量數(shù)，一般根據(jù)專業(yè)知識確定。假設(shè)輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量系統(tǒng)性能指標(biāo)或因變量，可以是一個，也可以是多個。一般將一個具有多個輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為

5、多個具有一個輸出的網(wǎng)絡(luò)模型效果會更好，訓(xùn)練也更方便。3.數(shù)據(jù)的預(yù)處理由于BP神經(jīng)網(wǎng)絡(luò)的隱層一般采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據(jù)的值在01之間。因此，要對輸入數(shù)據(jù)進(jìn)展預(yù)處理。一般要求對不同變量分別進(jìn)展預(yù)處理，也可以對類似性質(zhì)的變量進(jìn)展統(tǒng)一的預(yù)處理。如果輸出層節(jié)點也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預(yù)處理，否那么，輸出變量也可以不做預(yù)處理。但必須注意的是，預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)展反變換才能得到實際值。再者，為保證建設(shè)的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的值在0.20.8之間。標(biāo)準(zhǔn)化

6、：4.隱層數(shù)一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差，提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時間和出現(xiàn)“過擬合(overfitting) 造成網(wǎng)絡(luò)的性能脆弱，泛化能力(generalization ability)下降。Hornik等早已證明：假設(shè)輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，那么含一個隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結(jié)論。在設(shè)計BP網(wǎng)絡(luò)時可參考這一點，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)即有1個隱層。1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw-隱含層輸出層輸入層3NT圖 三層BP網(wǎng)絡(luò)的拓?fù)錁?gòu)造5.隱層節(jié)

7、點數(shù)在BP 網(wǎng)絡(luò)中，假設(shè)隱層節(jié)點數(shù)太少，網(wǎng)絡(luò)可能 基本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；假設(shè)隱層節(jié)點數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時間延長，另一方面，訓(xùn)練容易陷入局部極小點而得不到最優(yōu)點，也是訓(xùn)練時出現(xiàn)“過擬合的內(nèi)在原因，但是目前理論上還沒有一種科學(xué)的和普遍確實定方法。為盡可能防止訓(xùn)練時出現(xiàn)“過擬合現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力，確定隱層節(jié)點數(shù)的最 基本原那么是：在滿足精度要求的前提下取盡可能緊湊的構(gòu)造，即取盡可能少的隱層節(jié)點數(shù)。因此，合理隱層節(jié)點數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)構(gòu)造復(fù)雜程度和誤差大小的情況下用節(jié)點刪除法和擴(kuò)張法確定。6.傳遞函數(shù)圖BP網(wǎng)絡(luò)常用的傳遞函數(shù)BP網(wǎng)絡(luò)的傳遞函數(shù)

8、有多種。Log-sigmoid型函數(shù)的輸入值可取任意值，輸出值在0和1之間；tan-sigmod型傳遞函數(shù)tansig的輸入值可取任意值，輸出值在-1到+1之間；線性傳遞函數(shù)purelin的輸入與輸出值可取任意值。BP網(wǎng)絡(luò)通常有一個或多個隱層，該層中的神經(jīng)元均采用sigmoid型傳遞函數(shù)，輸出層的神經(jīng)元那么采用線性傳遞函數(shù)，整個網(wǎng)絡(luò)的輸出可以取任意值。7.學(xué)習(xí)率學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至?xí)?dǎo)致權(quán)值在修正過程中超出某個誤差的極小值呈不規(guī)那么跳躍而不收斂；但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時間過長，不過能保證收斂于某個極小值。所以，一般傾向選取較小的學(xué)習(xí)率

9、以保證學(xué)習(xí)過程的收斂性穩(wěn)定性，通常在0.010.8之間。8.網(wǎng)絡(luò)的初始連接權(quán)值BP算法決定了誤差函數(shù)一般存在很多個局部極小點，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個局部極小點或是全局極小點。因此，要求計算程序必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分布在-0.50.5之間比較有效。10收斂誤差界值Emin在網(wǎng)絡(luò)訓(xùn)練過程中應(yīng)根據(jù)實際情況預(yù)先確定誤差界值。誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大小和具體樣本的學(xué)習(xí)精度來確定。當(dāng)Emin 值選擇較小時，學(xué)習(xí)效果好，但收斂速度慢，訓(xùn)練次數(shù)增加。如果Emin值取得較大時那么相反。網(wǎng)絡(luò)模型的性能和泛化能

10、力：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和 基本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對非訓(xùn)練樣本具有好的泛化能力推廣性，即有效逼近樣本蘊含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對訓(xùn)練樣本的擬合能力。判斷建設(shè)的模型是否已有效逼近樣本所蘊含的規(guī)律, 主要不是看測試樣本誤差大小的本身，而是要看測試樣本的誤差是否接近于訓(xùn)練樣本和檢驗樣本的誤差。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其小，一般可認(rèn)為建設(shè)的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊含的規(guī)律，否那么，假設(shè)相差很多如幾倍、幾十倍甚至上千倍就說明建設(shè)的網(wǎng)絡(luò)模型并沒有有效逼近訓(xùn)練樣本所蘊含的規(guī)律，而只是在這些訓(xùn)練樣本點上逼近而已，而建設(shè)的網(wǎng)絡(luò)模型是對訓(xùn)練樣本所蘊含規(guī)律的錯誤反映。算法的特點：1.非

11、線性映照能力。神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。2.并行分布處理方式。在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處理的，這使它具有很強的容錯性和很快的處理速度。3.自學(xué)習(xí)和自適應(yīng)能力。神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)展。4.數(shù)據(jù)融合的能力。神經(jīng)網(wǎng)絡(luò)可以同時處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)數(shù)值運算和人工智能技術(shù)符號處理。5.多變量系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通

12、用的描述方式，不必考慮各子系統(tǒng)間的解耦問題算法的缺點：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點個數(shù)。算法的改進(jìn)：利用動量法改進(jìn)BP算法標(biāo)準(zhǔn)BP算法實質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)方法，在修正時，只按照第步的負(fù)梯度方向進(jìn)展修正，而沒有考慮到以前積累的經(jīng)歷，即以前時刻的梯度方向，從而常常使學(xué)習(xí)過程發(fā)生振蕩，收斂緩慢。動量法權(quán)值調(diào)整算法的具體做法是：將上一次權(quán)值調(diào)整量的一局部迭加到按本次誤差計算所得的權(quán)值調(diào)整量上，作為本次的實際權(quán)值調(diào)整量，即：其中：為動量系數(shù)，通常00.9；學(xué)習(xí)率，范圍在0.00110之間。這種方法所加的動量因子實際上相當(dāng)于阻尼項，它減小了學(xué)習(xí)過程中的振蕩趨勢，從而改善了收斂性。動量法降低了網(wǎng)絡(luò)對于誤差曲面局部細(xì)節(jié)的敏感性，有效的抑制了網(wǎng)絡(luò)陷入局部極小。2.自適應(yīng)調(diào)整學(xué)習(xí)速率標(biāo)準(zhǔn)BP算法收斂速度緩慢的一個重要原因是學(xué)習(xí)率選擇不當(dāng)，學(xué)習(xí)率選得太小，收斂太慢；學(xué)習(xí)率選得太大，那么有可能修正過頭，導(dǎo)致振蕩甚至發(fā)散。可采用以以下圖所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。調(diào)整的 基本指導(dǎo)思想是：在學(xué)習(xí)收斂的情況下，增大，以縮短學(xué)習(xí)時間；當(dāng)偏大致使不能收斂時，要及時減小，直到收斂為止。3.動量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法采用動量法時，BP算法可以找到更優(yōu)的解；采用自適應(yīng)學(xué)習(xí)速率法時，BP算法可以縮短訓(xùn)練時間。將以上兩種方法結(jié)合起來，就得到動量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法。