神經(jīng)網(wǎng)絡及BP與RBF比較

-CAL-FENGHAI.-(YICAI)-CompanyOne1-CAL-FENGHAI.-(YICAI)-CompanyOne1神經(jīng)網(wǎng)絡及BP與RBF比較機器學習第四章神經(jīng)網(wǎng)絡報告一、神經(jīng)網(wǎng)絡概述1.簡介人工神經(jīng)網(wǎng)絡是模仿腦細胞結構和功能、腦神經(jīng)結構以及思維處理問題等腦功能的信息處系統(tǒng)，它從模仿人腦智能的角度出發(fā)，探尋新的信息表示、存儲和處理方式，這種神經(jīng)網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的，它采用了與傳統(tǒng)人工智能和信息處理技術完全不同的機理，克服了傳統(tǒng)的基于邏輯符號的人工智能在處理直覺、非結有針對性化信息方面的缺陷，具有自適應、自組織和實時學習的特點，它通過預先提供的一批相互對應的輸入和輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結果。人工神經(jīng)網(wǎng)絡（ANN）學習對于訓練數(shù)據(jù)中的錯誤健壯性很好，且已被成功地應用到很多領域，例如視覺場景分析、語音識別、機器人控制以及醫(yī)學圖像處理等。人工神經(jīng)網(wǎng)絡2.人工神經(jīng)網(wǎng)絡的特點及功能人工神經(jīng)網(wǎng)絡具有以下幾個突出的優(yōu)點：（1）能充分逼近復雜的非線性關系。只有當神經(jīng)元對所有輸入信號的綜合處理結果超過某一個限值后才能輸出一個信號。（2）所有定量或定性的信息都等勢分布貯存于網(wǎng)絡內(nèi)的各神經(jīng)元，每個神經(jīng)元及其連線只能表示一部分信息，因此當有節(jié)點斷裂時也不影響總體運行效果，具有很強的魯棒性和容錯能力。（3）采用并行分布處理方法，使得快速進行大量運算成為可能。（4）可學習和自適應不知道或不確定的系統(tǒng)。人工神經(jīng)網(wǎng)絡的特點和優(yōu)越性，使其具有以下三個顯著的功能：（1）具有自學習功能：這種功能在圖像識別和處理以及未來預測方面表現(xiàn)得尤為明顯。自學習功能在未來預測方面也意義重大，隨著人工神經(jīng)網(wǎng)絡的發(fā)展，未來它將在更多的領域，比如經(jīng)濟預測、市場預測、效益預測等等，發(fā)揮更好的作用。（2）具有聯(lián)想存儲功能：人的大腦能夠對一些相關的知識進行歸類劃分，進而具有聯(lián)想的功能，當我們遇到一個人或者一件事情的時候，跟此人或者此事相關的一些信息會浮現(xiàn)在你的腦海，而人工神經(jīng)網(wǎng)絡則通過它的反饋網(wǎng)絡，實現(xiàn)一些相關事物的聯(lián)想。（3）具有高速尋找優(yōu)化解的功能：人工神經(jīng)網(wǎng)絡利用反饋型網(wǎng)絡，通過發(fā)揮計算機快速和高效的計算能力，結合針對解決某一問題的算法，往往能快速找到針對某些復雜問題的優(yōu)化解此外，ANN還存在著很多問題：如訓練時間長，需大量訓練數(shù)據(jù)，不能保證最佳結果和完全可靠，容易陷入局部極小，不具備增量學習能力，聯(lián)想存儲網(wǎng)絡容量小，所存儲的信息相互干擾和退化，不適合高精度計算，沒有很完善的學習方法，經(jīng)驗參數(shù)太多等。在實際應用中也存在著難以設計通用的神經(jīng)網(wǎng)絡芯片，大量的、動態(tài)的神經(jīng)無互聯(lián)實現(xiàn)困難等問題。因此，還需對ANN進行現(xiàn)深更進一步的研究。二RBF神經(jīng)網(wǎng)絡介紹徑向基函數(shù)（RBF）神經(jīng)網(wǎng)絡是一種新穎有效的前饋式神經(jīng)網(wǎng)絡，它具有最佳逼近和全局最優(yōu)的性能，同時訓練方法快速易行，不存在局部最優(yōu)問題，這些優(yōu)點使得RBF網(wǎng)絡在非線性時間序列預測中得到了廣泛的應用。1985年，Powell提出了多變量插值的徑向基函數(shù)（Radial-BasisFunction,RBF）方法。1988年，Broomhead和Lowe首先將RBF應用于神經(jīng)網(wǎng)絡設計，構成了徑向基函數(shù)神經(jīng)網(wǎng)絡，對輸入矢量進行一次變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，通過對隱單無輸出的加權求和得到輸出，這就是RBF網(wǎng)絡的基本思想。RBF神經(jīng)網(wǎng)絡的結構原理RBF函數(shù)網(wǎng)絡從結構上看是一個3層前饋網(wǎng)絡，包括一個輸入層、一個輸出層和一人隱含層。輸入層節(jié)點的作用是將輸入數(shù)據(jù)傳遞到隱含層節(jié)點。隱含層節(jié)點稱為RBF節(jié)點，其激活函數(shù)為輻射狀函數(shù)的神經(jīng)元構成，下面是單輸出的RBF網(wǎng)絡的拓撲圖：通常采用高斯型函數(shù)：u其中x=(x1,x2,…,xm)RBF網(wǎng)絡中所用的非線性函數(shù)的形式對網(wǎng)絡性能的影響并不是至關重要的，關鍵因素是基函數(shù)中心的選取，中心選取不當構造出來的RBF網(wǎng)絡的性能一般不能令人滿意。例如，某些中心靠的太近，會產(chǎn)生近似線性相關，從而帶來數(shù)值上的病變條件。通常使用的RBF有：高斯函、多二次函數(shù)、逆多二次函數(shù)、薄板樣條函數(shù)等。普通RBF網(wǎng)絡采用的是高斯函數(shù)。“基函數(shù)”采用的高斯基函數(shù)具備如下的優(yōu)點：表示形式簡單，即使對于多變量輸入也不增加太多的復雜性；徑向對稱；光滑性好，任意階導數(shù)均存在；由于該基函數(shù)表示簡單且解析性好，因而便于進行理論分析。最近鄰聚類學習算法按RBF中心選取方法的不同來分可將RBF網(wǎng)絡的學習算法分為隨機選取中心、自組織選取中心、有監(jiān)督選取中心、正交最小二乘等方法。下面對最近鄰聚類學習算法選取RBF基函數(shù)中心進行介紹；該算法是一種在線自適應聚類學習算法，不需要事先確定隱單元的個數(shù)，完成聚類所得到RBF網(wǎng)絡是最優(yōu)的，并且此算法可以在線學習。該算法具體過程如下：（1）選擇一個適當?shù)母咚购瘮?shù)寬度r，定義一個矢量Λ(l)用于存放屬于各類的輸出矢量之各，定義一個計數(shù)器B(l)用于統(tǒng)計屬于各類的樣本個數(shù)，其中（2）從第一個數(shù)據(jù)對（x1,y1）開始，在x1上建立一個聚類中心，令c1=（3）考慮第2個樣本數(shù)據(jù)對（x2,y2），求出x2到c1這個聚類中心的距離｜x2-c1｜。如果｜x2-c1｜≤r（4）假設我們考慮第k個樣本數(shù)據(jù)對（xk,yk）時，k=3,4,…,N存在M個聚類中心，其中心點分別為c1,c2,如果｜xk-ci｜>r，則將xk作為一個新聚類中心，并令cM+如查如果｜xk-ci｜≤r，作如下計算Λj=Λj+y（5）根據(jù)上述規(guī)則建立的RBF網(wǎng)絡其輸出應為f半徑r的大小決定了動態(tài)自適應RBF網(wǎng)絡的復雜程度。r越小，所得到的聚類數(shù)目就越多，計算量也越大。但由于r是一個一維參數(shù)，通?？梢酝ㄟ^實驗和誤差信息找到一個適當?shù)膔，這比同時確定隱單元的個數(shù)和一個合適的范數(shù)要方便的多。由于每一個輸入-輸出數(shù)據(jù)對都可能產(chǎn)生一個新的聚類。因此，這種動態(tài)自適應RBF網(wǎng)絡，實際上同時在進行參數(shù)和結構兩個過程的自適應調(diào)整。三BP神經(jīng)網(wǎng)絡介紹BP（BackPropagation）網(wǎng)絡是1986年由Rumclhart和McCelland為首的科學家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡，是目前應用最廣泛的神經(jīng)網(wǎng)絡模型之一。BP網(wǎng)絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數(shù)學方程。它的學習規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡的權值和閾值，使網(wǎng)絡的誤差平方和最小。BP神經(jīng)網(wǎng)絡模型拓撲結構包括輸入層（input）、隱藏層（hidelayer）和輸出層（outputlayer）。每一層由一定數(shù)量的神經(jīng)元構成，如下圖所示：當學習模式供給網(wǎng)絡后，神經(jīng)元激活值從輸出層傳播，在輸出層各神經(jīng)元輸出對應的值，然后按照減少與期望輸出與實際輸出的準則，從輸出層回到隱含層，再回到輸入層修正各個網(wǎng)絡系數(shù)。由于BP網(wǎng)絡有處于中間的隱藏層，并有相應的學習規(guī)則可循，可以訓練這種網(wǎng)絡，使其具有對非線性模式的識別能力。常用于信息處理、模式識別、智能控制及系統(tǒng)建模領域。BP網(wǎng)絡主要罝入模式順傳播，輸出誤差逆?zhèn)鞑ィh(huán)記憶訓練，學習結果判別四個部分組成。下面是BP算法的學習過程：BPTrain{初始化network的權和閾值。While終止條件不滿足{ forsamples中的每個訓練樣本X{ //向前傳播輸入 For隱藏或輸出層每個單元j{Ij=i } //后向傳播誤差 for輸出層每個單元j{ Errj } for由最后一個到第一個隱藏層，對于隱藏層每個單元j{ Errj }fornetwork中每個權ωij ωij ωij}fornetwork中每個偏差θj θj θj}}}算法基本流程就是：初始化網(wǎng)絡權值和神經(jīng)元的閾值（最簡單的辦法就是隨要初始化）前向傳播：按照公式一層一層的計算隱藏層神經(jīng)元和輸出層神經(jīng)元的輸入和輸出。反向傳播：根據(jù)公式修正權值和閾值直到滿足終止條件。四RBF神經(jīng)網(wǎng)絡與BP神經(jīng)網(wǎng)絡的比較RBF神經(jīng)網(wǎng)絡與BP神經(jīng)網(wǎng)絡都是非線性多層前向網(wǎng)絡，它們都是通用逼近器。對于任一個BP神經(jīng)網(wǎng)絡，總存在一個RBF神經(jīng)網(wǎng)絡可以代替它，反之亦然。但是這兩個網(wǎng)絡也存在著很多不同點，這里從網(wǎng)絡結構、訓練算法、網(wǎng)絡資源的利用及逼近性能等方面對RBF神經(jīng)網(wǎng)絡和BP神經(jīng)網(wǎng)絡進行比較研究。（1）從網(wǎng)絡結構上看。BP神經(jīng)網(wǎng)絡實行權連接，而RBF神經(jīng)網(wǎng)絡輸入層到隱層單元之間為直接連接，隱層到輸出層實行權連接。BP神經(jīng)網(wǎng)絡隱層單元的轉移函數(shù)一般選擇非線性函數(shù)（如反正切函數(shù)），RBF神經(jīng)網(wǎng)絡隱層單元的轉移函數(shù)是關于中心對稱的RBF（如高斯函數(shù)）。BP神經(jīng)網(wǎng)絡是三層或三層以上的靜態(tài)前饋神經(jīng)網(wǎng)絡，其隱層和隱層節(jié)點數(shù)不容易確定，沒有普遍適用的規(guī)律可循，一旦網(wǎng)絡的結構確定下來，在訓練階段網(wǎng)絡結構將不再變化；RBF神經(jīng)網(wǎng)絡是三層靜態(tài)前饋神經(jīng)網(wǎng)絡，隱層單元數(shù)也就是網(wǎng)絡的結構可以根據(jù)研究的具體問題，在訓練階段自適應地調(diào)整，這樣網(wǎng)絡的適用性就更好了。（2）從訓練算法上看。BP神經(jīng)網(wǎng)絡需要確定的參數(shù)是連接權值和閾值，主要的訓練算法為BP算法和改進的BP算法。但BP算法存在許多不足之處，主要表現(xiàn)為易限于局部極小值，學習過程收斂速度慢，隱層和隱層節(jié)點數(shù)難以確定；更為重要的是，一個新的BP神經(jīng)網(wǎng)絡能否經(jīng)過訓練達到收斂還與訓練樣本的容量、選擇的算法及事先確定的網(wǎng)絡結構（輸入節(jié)點、隱層節(jié)點、輸出節(jié)點及輸出節(jié)點的傳遞函數(shù)）、期望誤差和訓練步數(shù)有很大的關系。RBF神經(jīng)網(wǎng)絡的訓練算法在前面已做了論述，目前，很多RBF神經(jīng)網(wǎng)絡的訓練算法支持在線和離線訓練，可以動態(tài)確定網(wǎng)絡結構和隱層單元的數(shù)據(jù)中心和擴展常數(shù)，學習速度快，比BP算法表現(xiàn)出更好的性能。（3）從網(wǎng)絡資源的利用上看。RBF神經(jīng)網(wǎng)絡原理、結構和學習算法的特殊性決定了其隱層單元的分配可以根據(jù)訓練樣本的容量、類別和分布來決定。如采用最近鄰聚類方式訓練網(wǎng)絡，網(wǎng)絡隱層單元的分配就僅與訓練樣本的分布及隱層單元的寬度有關，與執(zhí)行的任務無關。在隱層單元分配的基礎上，輸入與輸出之間的映射關系，通過調(diào)整隱層單元和輸出單元之間的權值來實現(xiàn)，這樣，不同的任務之間的影響就比較小，網(wǎng)絡的資源就可以得到充分的利用。這一點和BP神經(jīng)網(wǎng)絡完全不同，BP神經(jīng)網(wǎng)絡權值和閾值的確定由每個任務（輸出節(jié)點）均方差的總和直接決定，這樣，訓練的網(wǎng)絡只能是不同任務的折中，對于某個任務來說，就無法達到最佳的效果。而RBF神經(jīng)網(wǎng)絡則可以使每個任務之間的影響降到較低的水平，從而每個任務都能達到較好的效果，這種并行的多任務