BP神經(jīng)網(wǎng)絡(luò)與RBF神經(jīng)網(wǎng)絡(luò)

1、BP神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)與RBF神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 主要內(nèi)容n一：神經(jīng)網(wǎng)絡(luò)的背景知識n二：BP神經(jīng)網(wǎng)絡(luò)n三：RBF神經(jīng)網(wǎng)絡(luò)n四：兩種神經(jīng)網(wǎng)絡(luò)的比較人工神經(jīng)網(wǎng)絡(luò)簡介n人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network ）是基于仿生學(xué)理論上的對人腦某些已知結(jié)構(gòu)的模仿。它將人腦的神經(jīng)元連接方式加以抽象。用大量的神經(jīng)元節(jié)點組成一個龐大的神經(jīng)網(wǎng)絡(luò)，從而實現(xiàn)數(shù)據(jù)的非線性處理，以及復(fù)雜的邏輯運算。正因為人工神經(jīng)網(wǎng)絡(luò)是對生物神經(jīng)網(wǎng)絡(luò)的模仿，它具有一些傳統(tǒng)邏輯運算不具有的優(yōu)點。主要包括：n一、非線性 非線性是自然界的普遍特性。人腦的思考過程就是非線性的。人工神經(jīng)網(wǎng)絡(luò)通過模仿人腦神經(jīng)元結(jié)構(gòu)的信息傳遞過程

2、，可以進行線性或者非線性的運算，這是人工神經(jīng)網(wǎng)絡(luò)的最特出的特性。n二、自適應(yīng)性 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)中設(shè)置了權(quán)值和閾值參數(shù)。網(wǎng)絡(luò)能夠隨著輸入輸出端的環(huán)境變化，自動調(diào)節(jié)神經(jīng)節(jié)點上的權(quán)值和閾值。因此，神經(jīng)網(wǎng)絡(luò)對在一定范圍變化的環(huán)境有很強的適應(yīng)能力。適用于完成信號處理、模式識別、自動控制等任務(wù)。系統(tǒng)運行起來也相當(dāng)穩(wěn)定。 n三、較強的容錯性 由若干個小的神經(jīng)元組成的網(wǎng)絡(luò)十分龐大。信息存儲在神經(jīng)元之間的連接權(quán)值上，采用的是分布式的存儲方式。局部的或部分的神經(jīng)元損壞后，不會對全局的活動造成大的影響。 神經(jīng)網(wǎng)絡(luò)的應(yīng)用前景 n目前，神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于：信息領(lǐng)域、自動化領(lǐng)域、醫(yī)學(xué)領(lǐng)域等。 n信息領(lǐng)域：主要包括信號處理

3、和模式識別。目前神經(jīng)網(wǎng)絡(luò)被廣泛的用于自適應(yīng)信號處理和非線性信號處理。在這些方面已經(jīng)有很多成功的例子。例如信號傳遞的去噪聲和運動目標(biāo)的速度估計。在模式識別方面，神經(jīng)網(wǎng)絡(luò)不僅可以完成如圖像的特征檢測，邊緣提取等任務(wù)還可以進行如目標(biāo)跟蹤，語音識別等動態(tài)識別。 神經(jīng)網(wǎng)絡(luò)模型包括：n一、神經(jīng)元n二、網(wǎng)絡(luò)拓撲n三、學(xué)習(xí)算法 神經(jīng)元 在介紹人工神經(jīng)網(wǎng)絡(luò)之前，首先簡單了解一下實際的生物神經(jīng)元的基本情況。一個生物神經(jīng)元有兩種狀態(tài)，即興奮狀態(tài)和抑制狀態(tài)。平時處于抑制狀態(tài)的生物神經(jīng)元，會收到多個其他生物神經(jīng)元傳來的興奮電位，并且這多個輸入電位在該神經(jīng)元中以代數(shù)和的形式疊加，如果輸入的興奮總量超過某個閾值，該生物神經(jīng)

4、元就會被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖并傳給其他神經(jīng)元。人工神經(jīng)元模型其中xj(j=1,2n)為神經(jīng)元i的輸入信號，wij為連接權(quán)，ui是由輸入信號線性組合后的輸出，i 為神經(jīng)元的閥值。Njjijixwu1iiiuvNjjijixwu1iiiuvNjjijixwu1iiiuvNjjijixwu1iiiuvNjjijixwu1iiiuv f（）稱為神經(jīng)元的傳遞函數(shù)（活化函數(shù)或激活函數(shù)）。 對于基本的感知器神經(jīng)元，工作方式是將加權(quán)總和與神經(jīng)元的閾值進行比較，若大于閾值，神經(jīng)元被激活。信號被傳送到與其相連的更高一層神經(jīng)元。)(1ijjijixwfy常見的傳遞函數(shù)有三類硬閾值型函數(shù))0(0)0( 1)

5、(tttf分段線性函數(shù))1(1)11()1(1)(tttttfsigmoid函數(shù)eetttf11)(nSigmoid函數(shù)是最常用的傳遞函數(shù)之一，這是由于sigmoid函數(shù)具有以下特點：n非線性和單調(diào)性n無限次可微n當(dāng)權(quán)值很大時可近似階躍函數(shù)n當(dāng)權(quán)值很小時可近似線性函數(shù)網(wǎng)絡(luò)拓撲n網(wǎng)絡(luò)拓撲是指網(wǎng)絡(luò)的結(jié)構(gòu)以及神經(jīng)元之間的連接方式。根據(jù)連接方式的不同，可分為反饋型人工神經(jīng)網(wǎng)絡(luò)和非反饋型人工神經(jīng)網(wǎng)絡(luò)。前者神經(jīng)元之間存在反饋的環(huán)路，后者神經(jīng)元之間不存在反饋回路。n對于非反饋神經(jīng)網(wǎng)絡(luò)，若結(jié)構(gòu)是分層的，每一層神經(jīng)元只與上一層神經(jīng)元相連，同層之間互不相連，則稱該網(wǎng)絡(luò)為前饋型人工神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)的學(xué)習(xí)算法n網(wǎng)絡(luò)的學(xué)

6、習(xí)算法是以滿足網(wǎng)絡(luò)所需的性能為目標(biāo)，決定連接各神經(jīng)元的初始權(quán)值及在訓(xùn)練時調(diào)整權(quán)值的方法。學(xué)習(xí)方法可分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)。前者為有導(dǎo)師學(xué)習(xí)，訓(xùn)練時，同時向網(wǎng)絡(luò)提供輸入模式以及輸出的樣板模式，在不斷輸入不同訓(xùn)練模式的同時調(diào)整權(quán)值，從而使輸出盡量接近樣板模式。后者是無導(dǎo)師學(xué)習(xí)，它是一種自動的聚類過程。 三種用于模式識別的網(wǎng)絡(luò)結(jié)構(gòu)和算法三種用于模式識別的網(wǎng)絡(luò)結(jié)構(gòu)和算法n單層感知器單層感知器（Single Layer PereceptronSingle Layer Pereceptron，簡稱為，簡稱為SLPSLP） 可作為分類器。單輸出的可作為分類器。單輸出的SLPSLP，其結(jié)構(gòu)就是單個人工神，其

7、結(jié)構(gòu)就是單個人工神經(jīng)元。輸入的經(jīng)元。輸入的N N個元可為連續(xù)的或二進制的標(biāo)量信號。個元可為連續(xù)的或二進制的標(biāo)量信號。 表示一個維空間的超平面。圖表示一個維空間的超平面。圖6-36-3表示表示可由這個超平面對可由這個超平面對A A、B B類進行分類。類進行分類。SLPSLP結(jié)構(gòu)的前部分結(jié)構(gòu)的前部分為一線性加權(quán)裝置為一線性加權(quán)裝置( (權(quán)為權(quán)為 ，附有閥值，附有閥值 ) )，其輸出經(jīng)，其輸出經(jīng)一個性能函數(shù)為一個性能函數(shù)為 的硬限幅非線性裝置，然后輸出到判的硬限幅非線性裝置，然后輸出到判決器。按當(dāng)其輸入為決器。按當(dāng)其輸入為+1+1時判屬時判屬A A類；當(dāng)其輸入為類；當(dāng)其輸入為-1-1時判時判屬屬B

8、B類的準(zhǔn)則來判類。類的準(zhǔn)則來判類。 0)()(1txtwNiiiiwf兩類分類處理訓(xùn)練步驟第一步：設(shè)置初始權(quán)值及閾值。置初始的權(quán)值及閾值為一個小的隨機數(shù)。第二步：啟用新的輸入信號x1，x2，xn及給定相應(yīng)的理想輸出信號d（t），其中 d（t）=+1（若實際屬于A類） d（t）= -1（若實際屬于B類）第三步：計算實際輸出)(1ijjijixwfy第四步：調(diào)整權(quán)值式中的為小于1的正的增益因子。由上式可見，只是在出現(xiàn)判決誤差時權(quán)值才變動。第五步：轉(zhuǎn)到第二步重復(fù)進行。)()()()() 1(ttytdttxwwiii 雙層感知器雙層感知器 n實際上實用的最簡單的實際上實用的最簡單的M M類分類的感知

9、器（類分類的感知器（PereceptronPereceptron）也應(yīng)該是一）也應(yīng)該是一種雙層神經(jīng)網(wǎng)絡(luò)模型。它是一個兩層前饋神經(jīng)網(wǎng)絡(luò)，一層為輸入層，另種雙層神經(jīng)網(wǎng)絡(luò)模型。它是一個兩層前饋神經(jīng)網(wǎng)絡(luò)，一層為輸入層，另一層具有計算單元，可以通過監(jiān)督學(xué)習(xí)建立模式判別的能力，如圖所示。一層具有計算單元，可以通過監(jiān)督學(xué)習(xí)建立模式判別的能力，如圖所示。x2xNx1yMy1y2n學(xué)習(xí)的目標(biāo)是通過改變權(quán)值使神經(jīng)網(wǎng)絡(luò)由給定的輸入得到給定的輸出。作為分學(xué)習(xí)的目標(biāo)是通過改變權(quán)值使神經(jīng)網(wǎng)絡(luò)由給定的輸入得到給定的輸出。作為分類器，可以用已知類別的模式向量（向量維數(shù)等于輸入節(jié)點數(shù)）作為訓(xùn)練集，類器，可以用已知類別的模式向量

10、（向量維數(shù)等于輸入節(jié)點數(shù)）作為訓(xùn)練集，當(dāng)輸入為屬于第當(dāng)輸入為屬于第j j類的特征向量類的特征向量 時，應(yīng)使對應(yīng)于該類的輸出神經(jīng)元的輸出為時，應(yīng)使對應(yīng)于該類的輸出神經(jīng)元的輸出為1 1，而其它輸出神經(jīng)元的輸出則為而其它輸出神經(jīng)元的輸出則為0 0（或（或1 1）。應(yīng)使對應(yīng)于該類的輸出神經(jīng)元的輸）。應(yīng)使對應(yīng)于該類的輸出神經(jīng)元的輸出為出為1 1，而其它輸出神經(jīng)元的輸出則為，而其它輸出神經(jīng)元的輸出則為0 0（或（或1 1）。）。n設(shè)理想的輸出為：設(shè)理想的輸出為： 實際的輸出為：實際的輸出為： 為了使實際的輸出逼近理想輸出，可以反復(fù)依次輸入訓(xùn)練集中的輸入向為了使實際的輸出逼近理想輸出，可以反復(fù)依次輸入訓(xùn)練集

11、中的輸入向量量 ，然后計算出實際的輸出，然后計算出實際的輸出 ，再對權(quán)值，再對權(quán)值 作如下的修改作如下的修改 雙層感知器的學(xué)習(xí)過程與求取線性判別函數(shù)的過程是等價的，它只能用于解雙層感知器的學(xué)習(xí)過程與求取線性判別函數(shù)的過程是等價的，它只能用于解決線性可分問題。它的特點是學(xué)習(xí)過程收斂很快，且與初始值無關(guān)。決線性可分問題。它的特點是學(xué)習(xí)過程收斂很快，且與初始值無關(guān)。XTmdddD),(2112(,.,)TmYyyyXYijw)()()()() 1(txtytdtwtwijjijij 多層感知器多層感知器n當(dāng)類別不能用一超平面完善分割時，需用更復(fù)雜結(jié)構(gòu)的當(dāng)類別不能用一超平面完善分割時，需用更復(fù)雜結(jié)構(gòu)的

12、感知器，即所謂的感知器，即所謂的“多層感知器多層感知器”。（。（Multi-Layer Multi-Layer PerceptronPerceptron，簡稱為，簡稱為MLPMLP）如果感知器的傳遞函數(shù)具有）如果感知器的傳遞函數(shù)具有非線性，則這種網(wǎng)絡(luò)具有較強的分類能力。多層感知器非線性，則這種網(wǎng)絡(luò)具有較強的分類能力。多層感知器網(wǎng)是由若干層感知器以及可修正的權(quán)連接而構(gòu)成的多層網(wǎng)是由若干層感知器以及可修正的權(quán)連接而構(gòu)成的多層前饋網(wǎng)絡(luò)。前饋網(wǎng)絡(luò)。 n多層感知器的結(jié)構(gòu)由一個輸入層，一個以上隱藏層和一個輸出層組成。多層感知器的結(jié)構(gòu)由一個輸入層，一個以上隱藏層和一個輸出層組成。所有的連接均為相鄰層之間的節(jié)

13、點的連接，同層之間不連接。輸入層不所有的連接均為相鄰層之間的節(jié)點的連接，同層之間不連接。輸入層不作任何運算，它只是將每個輸入量分配到各個輸入節(jié)點。圖作任何運算，它只是將每個輸入量分配到各個輸入節(jié)點。圖6-5 6-5 是一是一個三層個三層MLPMLP神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)。x2xNy1yMn對于多層感知器，對于多層感知器，WerbosWerbos曾于曾于19741974年提出，并且年提出，并且由由RumelhartRumelhart等人的工作而得到完善和推廣的一種等人的工作而得到完善和推廣的一種學(xué)習(xí)算法，即著名的學(xué)習(xí)算法，即著名的BPBP（Back PropagationBack Propagati

14、on）算）算法，它是一種修正連接權(quán)的算法。所以法，它是一種修正連接權(quán)的算法。所以MLPMLP的訓(xùn)練的訓(xùn)練大都采用這種反向傳播算法。大都采用這種反向傳播算法。 BP神經(jīng)網(wǎng)絡(luò)BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)，即誤差反向傳播算法的學(xué)神經(jīng)網(wǎng)絡(luò)，即誤差反向傳播算法的學(xué)習(xí)過程，習(xí)過程，由由信息的正向傳播信息的正向傳播和和誤差的反向傳播誤差的反向傳播兩個過程組成兩個過程組成。輸入層各神經(jīng)元負責(zé)接收來自外界的輸入信息，并傳遞給中間輸入層各神經(jīng)元負責(zé)接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負責(zé)信息變換，根據(jù)層各神經(jīng)元；中間層是內(nèi)部信息處理層，負責(zé)信息變換，根據(jù)信

15、息變化能力的需求，中間層可以設(shè)計為單隱層或者多隱層結(jié)信息變化能力的需求，中間層可以設(shè)計為單隱層或者多隱層結(jié)構(gòu)；最后一個隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進一步處構(gòu)；最后一個隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出信息處理結(jié)果。出信息處理結(jié)果。 當(dāng)實際輸出與期望輸出不符時，進入誤差的當(dāng)實際輸出與期望輸出不符時，進入誤差的反向傳播反向傳播階階段。誤差通過輸出層，按誤差梯度下降的方式修正各層段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。權(quán)值，向隱層、輸入層逐

16、層反傳。 周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程此過程一直進行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 2.1 輸入輸入/輸出變量的確定輸出變量的確定若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量可以是一個，也可以是多個。

17、一般將一個具有多個輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡(luò)模型效果會更好，訓(xùn)練也更方便。Hornik等早已證明：若輸入層和輸出層采用線性傳遞函數(shù)，隱層采用Sigmoid傳遞函數(shù)，則含一個隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結(jié)論。在設(shè)計BP網(wǎng)絡(luò)時可參考這一點，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個隱含層）。在BP 網(wǎng)絡(luò)中，隱層節(jié)點數(shù)的選擇非常重要，它對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。隱含層數(shù)和節(jié)點數(shù)隱含層數(shù)和節(jié)點數(shù)n一些文獻中提到的一種隱含層節(jié)點數(shù)選擇的經(jīng)驗公式： 其中N為隱含層神經(jīng)元個數(shù)，m為輸入神經(jīng)元個數(shù)，n為輸出

18、神經(jīng)元個數(shù)，為110之間的一個整數(shù)。 BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法n為說明算法，假定BP網(wǎng)絡(luò)中只有一個隱層，也就是三層BP網(wǎng)絡(luò)。n上標(biāo)h表示隱層， 上標(biāo)o表示輸出層， 下標(biāo)p表示p次訓(xùn)練向量ipihjihpjxwS)(hpjhjhpjSfOjhpjokjopkOwS)(opkokopkSfO隱層節(jié)點j輸出和輸入節(jié)點的關(guān)系：輸出節(jié)點k和隱層輸出節(jié)點的關(guān)系：)(opkpkpkOt學(xué)習(xí)過程：定義輸出誤差pkkopkpkmkpkpOtE212)(2121學(xué)習(xí)的目的是要使以下定義的誤差平方和最小：因此，要求以下的偏導(dǎo)，okjopkopkokokjpwSSfwE 和需要式中1/2是為了計算方便，不影響推導(dǎo)過程。

19、為了決定權(quán)值改變的方向和大小，必須計算EP對wkj的負梯度然后調(diào)節(jié)權(quán)值，使總的誤差減小opkokopkokhpjopkokopkpkokjphpjhpjLJokjokjokjopkokjopkopkokopkpkokjpSfSfOSfOtELOOSSSfOtE)( )( )()()(1其中所以為隱層節(jié)點數(shù)所以輸出權(quán)值的更新：所以輸出權(quán)值的更新：hpjopkokjokjopkokpkopkokopkpkopkhpjopkokopkpkokjpokjpokjokjOttjSfSfOtOSfOttttt)() 1()( )( )(10)( )()()()() 1(則：無關(guān)的量是一個與令其中對隱層權(quán)值

20、的更新n隱層的權(quán)值更新采用與輸出層相仿的方法n問題：我們知道這些節(jié)點的實際輸出，確無法提前知道正確的輸出是什么n解決方法：直接把總的誤差和隱層的權(quán)值聯(lián)系起來n我們要計算EP對隱層權(quán)值的梯度)()()()()()()(212hjihpjhpjhPjhPjopkopkopkkopkpkopkpkkhkjhkjpSSOOSSOOtOtEkjhpjokjokpkkopkokpkkopkpkmkpkpOftSftOtE22212)(21)(21)(2121ipihjihpjxwS)(hpjhjhpjSfO而：所以：jhpjokjopkOwS)(opkokopkSfOn注意：隱層的權(quán)值更新取決于輸出層的所

21、有的誤差根據(jù)相應(yīng)的公式可以求出各個偏微分okjkopkpihpjhjhpjpopkokjopkokkopkpkpihpjhjhpjppihpjhjokjopkokkopkpkhkjpxSfSfOtxSfxSfSfOtE)()()()()()()(的定義利用比于上式的負值：所以隱層數(shù)值的改變正定義一個隱層誤差項：pjhpjhkjhkjokjopkhpjhjhpkxttSf)() 1()( 則：令n計算全局誤差 m是樣本數(shù)據(jù)個數(shù)，q是輸出節(jié)點個數(shù)n判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出繼續(xù)訓(xùn)練網(wǎng)絡(luò)。2111()

22、() )2qmookoEdkykm BP網(wǎng)絡(luò)主要用途網(wǎng)絡(luò)主要用途 BP網(wǎng)絡(luò)作為一種很重要的神經(jīng)網(wǎng)絡(luò)模型在許多領(lǐng)域都得到了應(yīng)用（圖像壓縮編碼、人臉識別、故障診斷、最優(yōu)預(yù)測、分類）。1、函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù)。2、模式識別：用一個特定的輸出向量將它與輸入向量聯(lián)系起來。3、分類：把輸入向量 以所定義的合適方式進行分類。4、數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲。標(biāo)準(zhǔn)標(biāo)準(zhǔn)BP算法的缺陷算法的缺陷標(biāo)準(zhǔn)的標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷：算法在應(yīng)用中暴露出不少內(nèi)在的缺陷： 易形成局部極小而得不到全局最優(yōu)；易形成局部極小而得不到全局最優(yōu)； 訓(xùn)練次數(shù)多使得學(xué)

23、習(xí)效率低，收斂速度慢；訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢； 隱節(jié)點的選取缺乏理論指導(dǎo)；隱節(jié)點的選取缺乏理論指導(dǎo)； 訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。目前有效改進方法：目前有效改進方法：增加動量項增加動量項一些學(xué)者指出，標(biāo)準(zhǔn)BP算法在調(diào)整權(quán)值時，只按t時刻誤差的梯度降方向調(diào)整，而沒有考慮t時刻前的梯度方向，從而常使訓(xùn)練過程發(fā)生震蕩，收斂緩慢。為了提高網(wǎng)絡(luò)的訓(xùn)練速度，可以在權(quán)值調(diào)整公式中增加一動量項。自適應(yīng)調(diào)節(jié)學(xué)習(xí)率自適應(yīng)調(diào)節(jié)學(xué)習(xí)率學(xué)習(xí)率也稱為步長，在標(biāo)準(zhǔn)的BP算法定為常數(shù)，然而在實際應(yīng)用中，很難確定一個從始至終都合適的最佳學(xué)習(xí)率。從誤差曲面可以看出，在平坦

24、區(qū)域內(nèi)學(xué)習(xí)率太小會使訓(xùn)練次數(shù)增加，因而希望增大學(xué)習(xí)率；而在誤差變化劇烈的區(qū)域，學(xué)習(xí)率太大會因調(diào)整量過大而跨過較窄的“坑凹”處，使訓(xùn)練出現(xiàn)震蕩，反而使迭代次數(shù)增加。為了加速收斂過程，一個較好的思想是自適應(yīng)改變學(xué)習(xí)率，使其該大時增大，該小時減小。引入陡度因子引入陡度因子誤差曲面上存在著平坦區(qū)域。權(quán)值調(diào)整進入平坦區(qū)的原因是神經(jīng)元輸出進入了轉(zhuǎn)移函數(shù)的飽和區(qū)。如果在調(diào)整進入平坦區(qū)域后，設(shè)法壓縮神經(jīng)元的凈輸入，使其輸出退出轉(zhuǎn)移函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。實現(xiàn)這一思路的具體作法是在原轉(zhuǎn)移函數(shù)中引入一個陡度因子。BP神經(jīng)網(wǎng)絡(luò)示例n要求建立一個BP神經(jīng)網(wǎng)絡(luò)來逼近正選函數(shù)。 輸入

25、矢量P=0:0.1:2.*pi;期望輸出矢量T=sin(P);使用三層BP神經(jīng)網(wǎng)絡(luò)，輸入和輸出節(jié)點都為1，,隱含層神經(jīng)元數(shù)目取5。RBF神經(jīng)網(wǎng)絡(luò)n1985年，Powell提出了多變量插值的徑向基函數(shù)（Radical Basis Function, RBF）方法。1988年，Moody和Darken提出了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即RBF 神經(jīng)網(wǎng)絡(luò)，它屬于前向神經(jīng)網(wǎng)絡(luò)類型，能夠以任意精度逼近任意連續(xù)函數(shù)，特別適合于解決分類問題。nRBF網(wǎng)絡(luò)的結(jié)構(gòu)與多層前向網(wǎng)絡(luò)類似，它是一種三層前向網(wǎng)絡(luò)。輸入層由信號源結(jié)點組成；第二層為隱含層，隱單元數(shù)視所描述問題的需要而定，隱單元的變換函數(shù)RBF（）是對中心點徑向?qū)ΨQ且

26、衰減的非負非線性函數(shù)；第三層為輸出層，它對輸入模式的作用作出響應(yīng)。從輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間變換是線性的。nRBF網(wǎng)絡(luò)的基本思想是：用RBF作為隱單元的“基”構(gòu)成隱含層空間，這樣就可以將輸入矢量直接（即不需要通過權(quán)接）映射到隱空間。當(dāng)RBF的中心點確定以后，這種映射關(guān)系也就確定了。而隱含層空間到輸出空間的映射是線性的，即網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)和。此處的權(quán)即為網(wǎng)絡(luò)可調(diào)參數(shù)。由此可見，從總體上看，網(wǎng)絡(luò)由輸入到輸出的映射是非線性的，而網(wǎng)絡(luò)輸出對可調(diào)參數(shù)而言卻又是線性的。這樣網(wǎng)絡(luò)的權(quán)就可由線性方程直接解出，從而大大加快學(xué)習(xí)速度并避免局部極小問題。RBF

27、神經(jīng)元模型 n徑向基神經(jīng)網(wǎng)絡(luò)的激活函數(shù)采用徑向基函數(shù)，通常定義為空間任一點到某一中心之間歐氏距離的單調(diào)函數(shù)。由圖1所示的徑向基神經(jīng)元結(jié)構(gòu)可以看出，徑向基神經(jīng)網(wǎng)絡(luò)的激活函數(shù)是以輸入向量和權(quán)值向量之間的距離作為自變量的。徑向基神經(jīng)網(wǎng)絡(luò)的激活函數(shù)的一般表達式為 2distdisteRn隨著權(quán)值和輸入向量之間距離的減少，網(wǎng)絡(luò)輸出是遞增的，當(dāng)輸入向量和 權(quán)值向量一致時，神經(jīng)元輸出1。在圖中的b為偏差，用于調(diào)整神經(jīng)元的靈敏度。 徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) n在RBF網(wǎng)絡(luò)中，輸入層僅僅起到傳輸信號的作用。輸出層和隱含層所完成的任務(wù)是不同的，因而它們的學(xué)習(xí)策略也不相同。輸出層是對線性權(quán)進行調(diào)整，采用的是線性優(yōu)化策略。

28、因而學(xué)習(xí)速度較快。而隱含層是對激活函數(shù)（一般取高斯函數(shù)）的參數(shù)進行調(diào)整，采用的是非線性優(yōu)化策略，因而學(xué)習(xí)速度較慢。 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法nRBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法需要求解的參數(shù)有3個：基函數(shù)的中心、方差以及隱含層到輸出層的權(quán)值。n根據(jù)徑向基函數(shù)中心選取方法的不同，RBF網(wǎng)絡(luò)有多種學(xué)習(xí)方法，如隨機選取中心法、自組織選取中心法、有監(jiān)督選取中心法和正交最小二乘法等，下面將介紹自組織選取中心的RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)法。 自組織選取中心法n此方法由兩個階段組成：n一是自組織學(xué)習(xí)階段，此階段為無導(dǎo)師學(xué)習(xí)過程，求解隱含層基函數(shù)的中心與方差。n二是有導(dǎo)師學(xué)習(xí)階段，此階段求解隱含層到輸出層之間的權(quán)值。n徑向基神經(jīng)網(wǎng)絡(luò)

29、中常用的徑向基函數(shù)是高斯函數(shù)，因此徑向基神經(jīng)網(wǎng)絡(luò)的激活函數(shù)可表示為n式中 歐式范數(shù)。n 高斯函數(shù)的中心。n 高斯函數(shù)的方差。2p2p21expiicxcxRicpxcn由圖中徑向基神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可得到網(wǎng)絡(luò)的輸出為：n式中 第p個輸入樣本。n P表示樣本總數(shù)。n 網(wǎng)絡(luò)隱含層結(jié)點的中心。n 隱含層到輸出層的連接權(quán)值。n 隱含層的節(jié)點數(shù)。n 與輸入樣本對應(yīng)的網(wǎng)絡(luò)的第j個輸出結(jié)點的實際輸出。hiipijjcxy12221exppmpppxxxx,21Pp,2, 1icijhi, 2 , 1jyn設(shè)d是樣本的期望輸出值，那么基函數(shù)的方差可表示為：21mjijjcydp學(xué)習(xí)算法具體步驟如下：n1.基于K-

30、均值聚類方法求解基函數(shù)中心 （1）網(wǎng)絡(luò)初始化：隨機選取 個訓(xùn)練樣本作為聚類中心 （2）將輸入的訓(xùn)練樣本集合按最近鄰規(guī)則分組：按照 與中心 之間的歐式距離將 分配到輸入樣本的各個聚類集合 中。 hici,2, 1pxicpxPpp, 2 , 1hn（3）重新調(diào)整聚類中心：計算各個聚類集合 中訓(xùn)練樣本的平均值，即新的聚類中心，如果新的聚類中心不再發(fā)生變化，則所得到的即為RBF神經(jīng)網(wǎng)絡(luò)最終的基函數(shù)中心，否則返回2），進入下一輪的中心求解。pn2.求解方差n該RBF神經(jīng)網(wǎng)絡(luò)的基函數(shù)為高斯函數(shù)，因此方差可由下式求解：n式中 所選取中心與其他中心之間的最大距離。hci2maxhi. 2 , 1maxcn3.計算隱含層和輸出層之間的權(quán)值 隱含層至輸出層之間神經(jīng)元的連接權(quán)值可以用最小二乘法直接計算得到，計算公式如下：22maxexpipcxchhiPp.2, 1;,2, 1BP神經(jīng)網(wǎng)絡(luò)與RBF神經(jīng)網(wǎng)絡(luò)的比較n從網(wǎng)絡(luò)結(jié)構(gòu)上看BP神經(jīng)網(wǎng)絡(luò)隱層單元的傳遞函數(shù)一般選擇非線性函數(shù)（如反正切函數(shù)），RBF神經(jīng)網(wǎng)絡(luò)隱層單元的傳遞函數(shù)是關(guān)于中心對稱的RBF（如高斯函數(shù)）。n從訓(xùn)練算法上看 BP神經(jīng)網(wǎng)絡(luò)需要確定的參數(shù)是連接權(quán)值和閾值，主要的訓(xùn)練算法為BP算法。但BP算法存在許