BP神經(jīng)網(wǎng)絡原理資料

1、BP神經(jīng)網(wǎng)絡原理資料BP網(wǎng)絡模型處理信息的根本原理是：輸入信號Xi通過中間節(jié)點隱層點作用于輸出節(jié)點，經(jīng)過非線形變換，產(chǎn)生輸出信號Yk，網(wǎng)絡訓練的每個樣本包括輸入向量X和期望輸出量t，網(wǎng)絡輸出值Y與期望輸出值t之間的偏差，通過調(diào)整輸入節(jié)點與隱層節(jié)點的聯(lián)接強度取值和隱層節(jié)點與輸出節(jié)點之間的聯(lián)接強度Tjk以及閾值，使誤差沿梯度方向下降，經(jīng)過反復學習訓練，確定與最小誤差相對應的網(wǎng)絡參數(shù)權值和閾值，訓練即告停頓。此時經(jīng)過訓練的神經(jīng)網(wǎng)絡即能對類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉(zhuǎn)換的信息。 BP神經(jīng)網(wǎng)絡模型 BP網(wǎng)絡模型包括其輸入輸出模型、作用函數(shù)模型、誤差計算模型和自學習模型。1節(jié)點輸出

2、模型隱節(jié)點輸出模型：Oj=f(WijXi-qj) (1)輸出節(jié)點輸出模型：Yk=f(TjkOj-qk) (2)f-非線形作用函數(shù)；q -神經(jīng)單元閾值。2作用函數(shù)模型 作用函數(shù)是反映下層輸入對上層節(jié)點刺激脈沖強度的函數(shù)又稱刺激函數(shù)，一般取為(0,1)內(nèi)連續(xù)取值Sigmoid函數(shù)： f(x)=1/(1+e-x) 3誤差計算模型誤差計算模型是反映神經(jīng)網(wǎng)絡期望輸出與計算輸出之間誤差大小的函數(shù)： Ep=1/2(tpi-Opi)2tpi- i節(jié)點的期望輸出值；Opi-i節(jié)點計算輸出值。4自學習模型神經(jīng)網(wǎng)絡的學習過程，即連接下層節(jié)點和上層節(jié)點之間的權重拒陣Wij的設定和誤差修正過程。BP網(wǎng)絡有師學習方式-需

3、要設定期望值和無師學習方式-只需輸入模式之分。自學習模型為 Wij(n+1)= h iOj+aWij(n)h -學習因子；i-輸出節(jié)點i的計算誤差；Oj-輸出節(jié)點j的計算輸出；a-動量因子。BP網(wǎng)絡模型的缺陷分析及優(yōu)化策略 1學習因子h 的優(yōu)化采用變步長法根據(jù)輸出誤差大小自動調(diào)整學習因子，來減少迭代次數(shù)和加快收斂速度。h =h +a(Ep(n)- Ep(n-1)/ Ep(n) a為調(diào)整步長，01之間取值2隱層節(jié)點數(shù)的優(yōu)化隱節(jié)點數(shù)的多少對網(wǎng)絡性能的影響較大，當隱節(jié)點數(shù)太多時，會導致網(wǎng)絡學習時間過長，甚至不能收斂；而當隱節(jié)點數(shù)過小時，網(wǎng)絡的容錯能力差。利用逐步回歸分析 法并進展參數(shù)的顯著性檢驗來動

4、態(tài)刪除一些線形相關的隱節(jié)點，節(jié)點刪除標準：當由該節(jié)點出發(fā)指向下一層節(jié)點的所有權值和閾值均落于死區(qū)通常取0.1、0.05等區(qū)間之中，那么該節(jié)點可刪除。最正確隱節(jié)點數(shù)L可參考下面公式計算：L=(m+n)1/2+c (7)m-輸入節(jié)點數(shù)；n-輸出節(jié)點數(shù)；c-介于110的常數(shù)。3輸入和輸出神經(jīng)元確實定利用多元回歸分析法對神經(jīng)網(wǎng)絡的輸入?yún)?shù)進展處理，刪除相關性強的輸入?yún)?shù)，來減少輸入節(jié)點數(shù)。4算法優(yōu)化由于BP算法采用的是剃度下降法，因而易陷于局部最小并且訓練時間較長。用基于生物免疫機制地既能全局搜索又能防止未成熟收斂的免疫遺傳算法IGA取代傳統(tǒng)BP算法來抑制此缺點。優(yōu)化BP神經(jīng)網(wǎng)絡在系統(tǒng)平安評價中的應用

5、 系統(tǒng)平安評價包括系統(tǒng)固有危險性評價、系統(tǒng)平安管理現(xiàn)狀評價和系統(tǒng)現(xiàn)實危險性評價三方面內(nèi)容。其中固有危險性評價指標有物質(zhì)火災爆炸危險性、工藝危險性、設備裝置危險性、環(huán)境危險性以及人的不可靠性。 基于優(yōu)化BP神經(jīng)網(wǎng)絡的系統(tǒng)平安評價模型 BP神經(jīng)網(wǎng)絡在系統(tǒng)平安評價中的應用實現(xiàn) (1)確定網(wǎng)絡的拓撲構造，包括中間隱層的層數(shù)，輸入層、輸出層和隱層的節(jié)點數(shù)。(2)確定被評價系統(tǒng)的指標體系包括特征參數(shù)和狀態(tài)參數(shù) 運用神經(jīng)網(wǎng)絡進展平安評價時，首先必須確定評價系統(tǒng)的內(nèi)部構成和外部環(huán)境，確定能夠正確反映被評價對象平安狀態(tài)的主要特征參數(shù)輸入節(jié)點數(shù)，各節(jié)點實際含義及其表達形式等，以及這些參數(shù)下系統(tǒng)的狀態(tài)輸出節(jié)點數(shù)，各

6、節(jié)點實際含義及其表達方式等。(3)選擇學習樣本，供神經(jīng)網(wǎng)絡學習 選取多組對應系統(tǒng)不同狀態(tài)參數(shù)值時的特征參數(shù)值作為學習樣本，供網(wǎng)絡系統(tǒng)學習。這些樣本應盡可能地反映各種平安狀態(tài)。其中對系統(tǒng)特征參數(shù)進展(-,)區(qū)間地預處理，對系統(tǒng)參數(shù)應進展(0,1)區(qū)間地預處理。神經(jīng)網(wǎng)絡的學習過程即根據(jù)樣本確定網(wǎng)絡的聯(lián)接權值和誤差反復修正的過程。(4)確定作用函數(shù)，通常選擇非線形S型函數(shù)(5) 建立系統(tǒng)平安評價知識庫 通過網(wǎng)絡學習確認的網(wǎng)絡構造包括：輸入、輸出和隱節(jié)點數(shù)以及反映其間關聯(lián)度的網(wǎng)絡權值的組合；即為具有推理機制的被評價系統(tǒng)的平安評價知識庫。(6) 進展實際系統(tǒng)的平安評價 經(jīng)過訓練的神經(jīng)網(wǎng)絡將實際評價系統(tǒng)的

7、特征值轉(zhuǎn)換后輸入到已具有推理功能的神經(jīng)網(wǎng)絡中，運用系統(tǒng)平安評價知識庫處理后得到評價實際系統(tǒng)的平安狀態(tài)的評價結(jié)果。實際系統(tǒng)的評價結(jié)果又作為新的學習樣本輸入神經(jīng)網(wǎng)絡，使系統(tǒng)平安評價知識庫進一步充實。BP神經(jīng)網(wǎng)絡理論應用于系統(tǒng)平安評價中的優(yōu)點 1利用神經(jīng)網(wǎng)絡并行構造和并行處理的特征，通過適中選擇評價工程，能抑制平安評價的片面性，可以全面評價系統(tǒng)的平安狀況和多因數(shù)共同作用下的平安狀態(tài)。2運用神經(jīng)網(wǎng)絡知識存儲和自適應特征，通過適應補充學習樣本，可以實現(xiàn)歷史經(jīng)歷與新知識完滿結(jié)合，在開展過程中動態(tài)地評價系統(tǒng)的平安狀態(tài)。3利用神經(jīng)網(wǎng)絡理論的容錯特征，通過選取適當?shù)淖饔煤瘮?shù)和數(shù)據(jù)構造，可以處理各種非數(shù)值性指標，

8、實現(xiàn)對系統(tǒng)平安狀態(tài)的模糊評價。BP神經(jīng)網(wǎng)絡收斂速度 閾值、學習率、隱層層數(shù)、隱層節(jié)點個數(shù)等對神經(jīng)網(wǎng)絡的學習速度(收斂速度)都有較大的影響。本文在BP網(wǎng)絡的根底上,研究討論了各個參數(shù)對收斂速度的影響,以減小選取網(wǎng)絡構造和決定各參數(shù)值的盲目性,到達提高收斂速度的目的。(1)初始權值和閾值對收斂速度的影響初始權值和閾值要選得小一些。選擇隱層節(jié)點數(shù)的原那么是盡量使網(wǎng)絡構造簡單,運算量小。從實驗數(shù)據(jù)分析可知:當節(jié)點數(shù)太少時,每個節(jié)點負擔過重,迭代而有的選擇卻要迭代幾千次,或者更多,甚至不收斂。(2)學習率對收斂速度的影響 學習率的設置對BP算法的收斂性有很大的影響。學習率過小,誤差波動小,但學習速度慢,

9、往往由于訓練時間的限制而得不到滿意解;學習率過大,學習速度加快,會引起網(wǎng)絡出現(xiàn)擺動現(xiàn)象,導致不收斂的危險。因此,選擇一個適宜的學習率是B P算法的一個較關鍵的問題。學習率的主要作用是調(diào)整權值、閾值的修正量.(3)隱層層數(shù)的選擇對收斂速度的影響 通過實驗發(fā)現(xiàn),用兩個隱層比用一個隱層的收斂速度還要慢。(4)隱層節(jié)點數(shù)對收斂速度的影響 目前,對隱層節(jié)點數(shù)的設定缺乏理論指導,但是實驗研究說明,隱含節(jié)點數(shù)增加會影響收斂速度。BP神經(jīng)網(wǎng)絡設計步驟 BP網(wǎng)絡的設計主要包括輸入層,隱層,輸出層及各層之間的傳輸函數(shù)幾個方面。(1)網(wǎng)絡層數(shù) 大多數(shù)通用的神經(jīng)網(wǎng)絡都預先預定了網(wǎng)絡的層數(shù),而BP網(wǎng)絡可以包含不同的隱層

10、。對多層BP神經(jīng)網(wǎng)絡，隱層層數(shù)至少為1層或1層以上，每個隱層的神經(jīng)元個數(shù)至少為1個或1個以上，否那么與多層網(wǎng)絡的命題矛盾而不成立。(2) 輸入層的節(jié)點數(shù) 網(wǎng)絡的輸入個數(shù)應等于應用問題的輸入數(shù),MATLAB的BP網(wǎng)絡的建立是通過函數(shù)newff或newcf實現(xiàn)的.(3)網(wǎng)絡數(shù)據(jù)的預處理 預處理方法有歸一化處理、標準化處理和主成分分析。常采用的是歸一化處理,即將輸入、輸出數(shù)據(jù)映射到-1,1范圍內(nèi),訓練完畢后再反映射到原數(shù)據(jù)范圍。(4)輸出層的節(jié)點數(shù) 輸出層節(jié)點數(shù)取決于兩個方面,輸出數(shù)據(jù)類型和表示該類型所需要的數(shù)據(jù)大小。5隱層的節(jié)點數(shù)i.根據(jù)經(jīng)歷,可以參考以下公式進展設計: n=sqrp(ni+n0)

11、+a或者n=sqrt(nl) 式中:n為隱層節(jié)點數(shù);ni為輸入節(jié)點數(shù);n0為輸出節(jié)點數(shù);a為110之間的常數(shù)。ii.改變n,用同一樣本集訓練,從中確定網(wǎng)絡誤差最小時對應的隱層節(jié)點數(shù)。6傳輸函數(shù) BP網(wǎng)絡中傳輸函數(shù)常采用S(sigmoid)型函數(shù).在某些特定情況下,還可能采用純線性(Pureline)函數(shù).(7)訓練方法及其參數(shù)選擇net.trainParam.show=. ； %顯示訓練結(jié)果的間隔步數(shù)net.trainParam.epochs . ； 最大訓練步數(shù)net.trainParam.goal. ； %訓練目標誤差net.trainParam.mu=. ； %學習系數(shù)的初始值，Marquardt調(diào)整參數(shù)net.trainParam.mu_dec=