BP神經(jīng)網(wǎng)絡(luò)的學習資料

1、BP神經(jīng)網(wǎng)絡(luò)摘要：人工神經(jīng)網(wǎng)絡(luò)是近年來的熱點研究領(lǐng)域,是人類智能研究的重要組成部分。BP神經(jīng)網(wǎng)絡(luò)作為目前應(yīng)用較多的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，具有良好的逼近性能，且結(jié)構(gòu)簡單，性能優(yōu)良。但仍存在收斂速度慢，易陷入局部極小值的問題，通過附加動量項法、自適應(yīng)學習率法、數(shù)據(jù)歸一化法、遺傳算法等，可大幅度改善其性能，可廣泛應(yīng)用于多輸入多輸出的非線性系統(tǒng)。1. 緒論1.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork）,簡稱神經(jīng)網(wǎng)絡(luò)（NN）,是由大量處理單元（神經(jīng)元）組成的非線性大規(guī)模自適應(yīng)系統(tǒng)。它具有自組織，自適應(yīng)和自學習能力，以及具有非線性、非局域性，非定常性和非凸性等特點。它是

2、在現(xiàn)代神經(jīng)科學研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理，記憶信息的方式設(shè)計一種新的機器使之具有人腦那樣的信息處理能力。神經(jīng)網(wǎng)絡(luò)作為計算智能與控制的重要分支，在控制領(lǐng)域具有如下優(yōu)點：1）能逼近任意L2范數(shù)上的非線性函數(shù)；2）信息分布式存儲與處理，魯棒性和容錯性強；3）便于處理多輸入多輸出問題；4）具有實現(xiàn)高速并行計算的潛力；5）具有學習能力，對環(huán)境變化具有自適應(yīng)性，對模型依賴性不強，主要用于解決非線性系統(tǒng)的控制問題。同時，神經(jīng)網(wǎng)絡(luò)控制在多種控制結(jié)構(gòu)中得到應(yīng)用，如PID控制、模型參考自適應(yīng)控制、前饋反饋控制、內(nèi)?？刂?、逆系統(tǒng)控制、預(yù)測控制等。目前神經(jīng)網(wǎng)絡(luò)的研究主要集中在三個方面：理論研

3、究、實現(xiàn)技術(shù)研究、應(yīng)用研究。1.2 BP神經(jīng)網(wǎng)絡(luò)概述BP神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McClelland一同提出的一種多層前饋神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)采用BP算法一種誤差反向傳播（BackPropagation）算法，其方法是依據(jù)負梯度下降方向迭代調(diào)整網(wǎng)絡(luò)的權(quán)值和閥值以實現(xiàn)訓練誤差目標函數(shù)的最小化。由于BP神經(jīng)網(wǎng)絡(luò)在實際應(yīng)用中存在著收斂速度慢、網(wǎng)絡(luò)結(jié)構(gòu)難以確定、容易陷入局部極小值、泛化能力不強的缺陷，近年來，許多學者為滿足實際應(yīng)用中需要提出了許多改進方法，在網(wǎng)絡(luò)自身性能的改善方面做了大量而有實際意義的工作，并且在BP神經(jīng)網(wǎng)絡(luò)的理論方面的研究和實際問題上應(yīng)用也取得了豐碩的成果。對BP神經(jīng)網(wǎng)

4、絡(luò)的理論研究，概括起來大致分為三個方面：改進激勵函數(shù)，權(quán)值選取優(yōu)化和網(wǎng)絡(luò)拓撲結(jié)構(gòu)。1.3 本文研究內(nèi)容本文從神經(jīng)網(wǎng)絡(luò)出發(fā)，研究其中應(yīng)用最為廣泛的BP神經(jīng)網(wǎng)絡(luò)模型，分析其缺點和不足，提出改進措施，并探討其應(yīng)用。具體研究內(nèi)容包括：1）研究人工神經(jīng)網(wǎng)絡(luò)的基本原理；2）對BP神經(jīng)網(wǎng)絡(luò)進行分析，探討B(tài)P算法的缺陷；3）提出對BP神經(jīng)網(wǎng)絡(luò)的改進和優(yōu)化；4）基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)的建模仿真。2. 神經(jīng)網(wǎng)絡(luò)基本原理神經(jīng)網(wǎng)絡(luò)，主要是模擬人的神經(jīng)系統(tǒng)。其神經(jīng)元特性、網(wǎng)絡(luò)結(jié)構(gòu)、學習算法是神經(jīng)網(wǎng)絡(luò)的三要素。2.1 神經(jīng)元特性神經(jīng)網(wǎng)絡(luò)是由大量簡單處理單元組成，通過可變權(quán)值連接而成的并行分布式系統(tǒng)，神經(jīng)元是神經(jīng)網(wǎng)

5、絡(luò)的基本處理單元。1943年提出的MP模型，經(jīng)不斷改進形成了現(xiàn)在廣泛應(yīng)用的BP神經(jīng)元模型，MP模型如圖2-1所示。1）神經(jīng)元是多輸入單輸出的信息處理單元；2）神經(jīng)元輸入：興奮性輸入和抑制性輸入；3）神經(jīng)元具有空間整合特性和閥值特性；4）輸入和輸出間有固定時滯（突觸延擱）；5）忽略時間整合作用和不應(yīng)期；6）突觸時延和突觸強度為常數(shù)（時不變）。神經(jīng)元信號處理特性（轉(zhuǎn)移函數(shù)）是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一。包括閥值型轉(zhuǎn)移函數(shù)、連續(xù)非線性轉(zhuǎn)移函數(shù)、分段線性轉(zhuǎn)移函數(shù)、概率型轉(zhuǎn)移函數(shù)等。2.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)是決定神經(jīng)網(wǎng)絡(luò)特性的第二大要素。包括：1）層次型結(jié)構(gòu)。包括單純型層次網(wǎng)絡(luò)結(jié)

6、構(gòu)、輸出層到輸入層有連接的層次網(wǎng)絡(luò)結(jié)構(gòu)、層內(nèi)有互連的層次網(wǎng)絡(luò)結(jié)構(gòu)。2）互連型結(jié)構(gòu)。包括全互連型、局部互連型、稀疏連接型。按信息流向類型可分為前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。3. BP神經(jīng)網(wǎng)絡(luò)3.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)采用BP算法的神經(jīng)網(wǎng)絡(luò)模型稱為BP神經(jīng)網(wǎng)絡(luò)，一般由輸入層、隱層和輸出層組成，隱層可以是一層或者多層，每個層中又包含許多單個神經(jīng)元，在BP神經(jīng)網(wǎng)絡(luò)中，層與層之間的神經(jīng)元是全連接，層內(nèi)部的神經(jīng)元之間是無連接的。各隱層節(jié)點的激活函數(shù)使用Sigmoid函數(shù)，其輸入層和輸出層激勵函數(shù)可以根據(jù)應(yīng)用的不同需要而異。因此，BP神經(jīng)網(wǎng)絡(luò)是前向反饋網(wǎng)絡(luò)的一種，其網(wǎng)絡(luò)結(jié)構(gòu)可以采用簡要的形式來描述，如圖3-1。aia

7、m輸入層隱層輸出層圖3-1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3.2 BP算法BP算法即誤差反向傳播（BackPropagation）算法，其主要思想是是把學習過程分為兩個階段：第一階段（正向傳播過程），給出輸入信息通過輸入層經(jīng)隱含層處理并計算每個單元的實際輸出值；第二階段（反向過程），若在輸出層未能得到期望的輸出值，則逐層遞歸地計算實際輸出與期望輸出之差值（即誤差），以便根據(jù)此差值調(diào)節(jié)權(quán)值。BP算法的基本步驟如下：1）設(shè)置初始權(quán)值W（0）為較小的隨機非零值。u,d2）給定輸入/輸出樣本集合pp,p1EZ（dy）2誤差指標p2ipipPE=丫E總誤差指標allpp=1E重復(fù)下列過程直至滿足收斂條件（all）a）對

8、于任意一個樣本p,計算正向過程U，,TO1，X，y，正向過程pppp反向過程15=-(d-y)f(lx)ipipip(15ipdE乂p=15ip1+15+1wmpmi丿fCx),11Lip/-iO,11ob)修正權(quán)值ijij包括兩種學習方式：模式（Pattern）學習方式:E,n01w(t+1)=1w(t)-q_p_ijijd1wij訓練(Epoch)學習方式：1W(t+1)=1wall0ijijd1Wij3.3BP神經(jīng)網(wǎng)絡(luò)存在的缺陷由于BP神經(jīng)網(wǎng)絡(luò)是基于負梯度下降算法的網(wǎng)絡(luò)模型,就不可避免的存在著一些缺陷和不足：1）BP學習算法采用梯度下降法來收斂實際輸出與期望輸出之間誤差。因為誤差是高維權(quán)

9、向量的復(fù)雜非線性函數(shù),故易陷入局部極小值；2）網(wǎng)絡(luò)在學習過程收斂速度慢；3）在網(wǎng)絡(luò)訓練過程中容易發(fā)生振蕩,導致網(wǎng)絡(luò)無法收斂；4) 網(wǎng)絡(luò)的結(jié)構(gòu)難以確定(包括隱層數(shù)及各隱層節(jié)點數(shù)的確定)；5) 在學習新樣本時有遺忘以學過樣本的趨勢，因為每輸入一個樣本，網(wǎng)絡(luò)的權(quán)值就要修改一次；6) 學習樣本的數(shù)量和質(zhì)量影響學習效果(主要是泛化能力)和學習速度。4. BP算法的改進標準的BP算法是基于梯度下降法，通過計算目標函數(shù)對網(wǎng)絡(luò)權(quán)值和閾值進行修正的。改進算法一種是在標準梯度下降法的基礎(chǔ)上，只用到目標函數(shù)對權(quán)值和閾值的一階導數(shù)(梯度)信息。4.1附加動量項法它的實質(zhì)就是改變學習率“來提高網(wǎng)絡(luò)性能，其網(wǎng)絡(luò)連接權(quán)的迭

10、代關(guān)系式由傳統(tǒng)BP算法lw(t+1)=1wL,n0ijijdlWij變成iw(t+1)=1w(t)_HE+aw(t)-w(t-1).1,.jjoiwjjij其中a為動量因子，01。動量項0w(t)-w(t-1)的作用在于記憶上一時刻的連接權(quán)的變化方ijij向(即變化量的值)，這樣就可以用較大的學習速率系數(shù)以提高學習速度。附加動量項利用其“慣性效應(yīng)”來抑制網(wǎng)絡(luò)訓練中可能出現(xiàn)的振蕩，起到了緩沖平滑的作用。此外，附加動量項還有利于脫離平坦區(qū)。4.2 自適應(yīng)學習率法該方法被認為是一種最簡單最有效的方法。在BP算法中，連接權(quán)的調(diào)整決定于學習速率和梯度，但是，在基本BP算法中，學習速率是不變的。實際上學習

11、速率對收斂速度的影響也很大，通過對它的在線調(diào)整，可以大大提高收斂速度。學習速率的調(diào)整原則上是使它在每一步保持盡可能大的值，而又不致使學習過程失去穩(wěn)定性。學習速率可以根據(jù)誤差變化的信息和誤差函數(shù)對連接權(quán)梯度變化的信息進行啟發(fā)式調(diào)整，也可以根據(jù)誤差函數(shù)對學習速率的梯度直接進行調(diào)整。對于批處理可以根據(jù)總誤差變化的信息進行啟發(fā)式調(diào)整，其規(guī)則是：E1)若總誤差aii減小，則學習率增加。E2）若總誤差all增加，則學習率減小。當新誤差與老誤差之比超過一定值，則學習率快速下降。上述規(guī)則可用如下迭代方程來描述(n-1),ifEw(n)allL-bd(n-1),ifEw(n)all(n-1),elsead1al

12、lkEw(n-1),b1all4.3 輸入輸出數(shù)據(jù)歸一化各輸入數(shù)據(jù)往往具有不同的物理含義和量綱，取值范圍差異可能較大，歸一化將避免取值較小的輸入分量的作用被淹沒；對于s型轉(zhuǎn)移函數(shù)，歸一化可防止因神經(jīng)元凈輸入過大而使其輸出飽和，避免進入誤差曲面平坦區(qū)；對輸出進行歸一化，可使各神經(jīng)元輸出在誤差指標中具有等量的作用。4.4 利用遺傳算法優(yōu)化遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)主要包括三方面：網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化、權(quán)值優(yōu)化、學習規(guī)則優(yōu)化，這里主要討論的是權(quán)值優(yōu)化。首先，用遺傳算法對初始權(quán)值分布進行優(yōu)化，在解空間中找出一個較好的搜索空間；然后，再用BP算法在這個較小的解空間中搜索出最優(yōu)解。用改進的遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值，能夠

13、更好地防止搜索陷入局部極小值。遺傳算法優(yōu)5. 基于MATLAB的建模仿真MATLAB中的神經(jīng)網(wǎng)絡(luò)工具箱由許多子程序組成，這些子程序已完成了神經(jīng)網(wǎng)絡(luò)算法中所涉及的許多運算和操作，使用者根據(jù)需要調(diào)用相關(guān)函數(shù)即可。對于一個實際問題，選用哪種BP算法很難判斷，它取決于很多因素，包括問題的復(fù)雜程度、學習樣本的多少、隱層的節(jié)點數(shù)目、誤差目標等。例：創(chuàng)建一個含一個隱層（含3個神經(jīng)元）的單輸出BP神經(jīng)網(wǎng)絡(luò)，采用各種不同的算法訓練該網(wǎng)絡(luò)，并對一位整數(shù)奇偶性判別問題進行測試。訓練樣本為p=0123456789，t=0101010101。選取的BP網(wǎng)絡(luò)有10個輸入層神經(jīng)元，4個隱含層神經(jīng)元，1個輸出層神經(jīng)元。以p作

14、為網(wǎng)絡(luò)輸入，t作為網(wǎng)絡(luò)輸出，并對網(wǎng)絡(luò)進行初始化。通過大量的仿真試驗，分別對基本BP算法、附加動量項法、自適應(yīng)學習率法對該網(wǎng)絡(luò)進行訓練，通過大量的仿真實驗，得到網(wǎng)絡(luò)訓練的誤差曲線如圖5-1圖5-3所示。MCJeffilecloanm言U21圖5-1基本BP算法的訓練誤差曲線圖5-2附加動量項法的訓練誤差曲線Mcle-8ecloan-gHUC21MDEmECIoanmuE-E-ll圖5-3自適應(yīng)學習率法的訓練誤差曲線從圖中可以看出，采用附加動量之后，其所加入的動量項實際上相當于阻尼項，它減小了學習過程的震蕩趨勢，從而改變了收斂性，因此它經(jīng)過3633次學習后訓練結(jié)束，網(wǎng)絡(luò)訓練步數(shù)減少，訓練速度加快，而誤差的收斂速度也加快了很多；圖