RBF神經(jīng)網(wǎng)絡概述

1、rbf神經(jīng)網(wǎng)絡概述1 rbf神經(jīng)網(wǎng)絡的基本原理2 rbf神經(jīng)網(wǎng)絡的網(wǎng)絡結(jié)構(gòu)3 rbf神經(jīng)網(wǎng)絡的優(yōu)點1 rbf神經(jīng)網(wǎng)絡的基本原理人工神經(jīng)網(wǎng)絡以其獨特的信息處理能力在許多領(lǐng)域得到了成功的應用。它不僅具有強大的非線性映射能力，而且具有自適應、自學習和容錯性等，能夠從大量的歷史數(shù)據(jù)中進行聚類和學習，進而找到某些行為變化的規(guī)律。 徑向基函數(shù)(rbf)神經(jīng)網(wǎng)絡是一種新穎有效的前饋式神經(jīng)網(wǎng)絡，它具有最佳逼近和全局最優(yōu)的性能，同時訓練方法快速易行，不存在局部最優(yōu)問題，這些優(yōu)點使得rbf網(wǎng)絡在非線性時間序列預測中得到了廣泛的應用。 1985年，powell提出了多變量插值的徑向基函數(shù)(radial-basis

2、function, rbf)方法。1988年，broomhead和lowe首先將rbf應用于神經(jīng)網(wǎng)絡設(shè)計，構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡，即rbf神經(jīng)網(wǎng)絡。用徑向基函數(shù)(rbf)作為隱單元的“基”構(gòu)成隱含層空間，對輸入矢量進行一次變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，通過對隱單元輸出的加權(quán)求和得到輸出，這就是rbf網(wǎng)絡的基本思想。2 rbf神經(jīng)網(wǎng)絡的網(wǎng)絡結(jié)構(gòu)rbf網(wǎng)絡是一種三層前向網(wǎng)絡：第一層為輸入層，由信號源節(jié)點組成。第二層為隱含層，隱單元的變換函數(shù)是一種局部分布的非負非線性函數(shù)，他對中心點徑向?qū)ΨQ且衰減。隱含層的單元數(shù)由所描述問題的需要確定。第三層為輸出層，網(wǎng)絡的輸出是隱單元輸出的線性加權(quán)

3、。rbf網(wǎng)絡的輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間的變換是線性。不失一般性，假定輸出層只有一個隱單元，令網(wǎng)絡的訓練樣本對為，其中為訓練樣本的輸入，為訓練樣本的期望輸出，對應的實際輸出為;基函數(shù)為第個隱單元的輸出為基函數(shù)的中心; 為第個隱單元與輸出單元之間的權(quán)值。單輸出的rbf網(wǎng)絡的拓撲圖如圖1所示:圖1rbf網(wǎng)絡的拓撲圖當網(wǎng)絡輸入訓練樣本時，網(wǎng)絡的實際輸出為: (1)通常使用的rbf有：高斯函數(shù)、多二次函數(shù)(multiquadric function)、逆多二次函數(shù)、薄板樣條函數(shù)等。 普通rbf網(wǎng)絡采用的是高斯函數(shù)。當“基函數(shù)”采用的高斯基函數(shù)具備如下的優(yōu)點： 表示

4、形式簡單，即使對于多變量輸入也不增加太多的復雜性； 徑向?qū)ΨQ； 光滑性好，任意階導數(shù)均存在； 由于該基函數(shù)表示簡單且解析性好，因而便于進行理論分析。rbf網(wǎng)絡具有良好的逼近任意非線性函數(shù)和表達系統(tǒng)內(nèi)在的難以解析的規(guī)律性的能力，并且具有極快的學習收斂速度?；趶较蚧瘮?shù)網(wǎng)絡的上述優(yōu)點，我們將其應用于對非線性函數(shù)的模擬當中。3 rbf神經(jīng)網(wǎng)絡的優(yōu)點rbf神經(jīng)網(wǎng)絡(radial basis function neural network)是一種神經(jīng)網(wǎng)絡學習算法，全稱基于誤差反向傳播算法的人工神經(jīng)網(wǎng)絡。拓撲結(jié)構(gòu)的單隱層前饋網(wǎng)絡，一般稱為三層前饋網(wǎng)或三層感知器，即：輸入層、中間層(也稱隱層)和輸出層。它

5、的特點是：各層神經(jīng)元僅與相鄰層神經(jīng)元之間相互全連接，同層內(nèi)神經(jīng)元之間無連接，各層神經(jīng)元之間無反饋連接，構(gòu)成具有層次結(jié)構(gòu)的前饋型神經(jīng)網(wǎng)絡系統(tǒng)。單計算層前饋神經(jīng)網(wǎng)絡只能求解線性可分問題，能夠求解非線性問題的網(wǎng)絡必須是具有隱層的多層神經(jīng)網(wǎng)絡。傳統(tǒng)的rbf網(wǎng)絡以及改進的rbf網(wǎng)絡在時間序列預測中的應用較多，但是存在局部最優(yōu)問題、訓練速度慢、效率低，在某種程度上限制了其應用范圍。 rbf神經(jīng)網(wǎng)絡的產(chǎn)生具有很強的生物學背景。在人的大腦皮層區(qū)域中，局部調(diào)節(jié)及交疊的感覺域(receptive field)是人腦反應的特點。 rbf網(wǎng)絡具有以下特點： 前向網(wǎng)絡； 隱單元的激活函數(shù)通常為具有局部接受域的函數(shù)，即僅

6、當輸入落在輸入空間中一個很小的指定區(qū)域中時，隱單元才做出有意義的非零響應。因此，rbf網(wǎng)絡有時也稱為局部接受域網(wǎng)絡(localized receptive field network)。 brf網(wǎng)絡的局部接受特性使得其決策時隱含了距離的概念，即只有當輸入接近rbf網(wǎng)絡的接受域時，網(wǎng)絡才會對之做出響應。這就避免了bp網(wǎng)絡超平面分割所帶來的任意劃分特性。在rbf網(wǎng)絡中，輸入層至輸出層之間的所有權(quán)值固定為1，隱層rbf單元的中心及半徑通常也預先確定，僅隱層至輸出層之間的權(quán)值可調(diào)。rbf網(wǎng)絡的隱層執(zhí)行一種固定不變的非線性變換，將輸入空間映射到一個新的隱層空間，輸出層在該新的空間中實現(xiàn)線性組合。顯然由于

7、輸出單元的線性特性，其參數(shù)調(diào)節(jié)極為簡單，且不存在局部極小問題。 另外，研究還表明，一般brf網(wǎng)絡所利用的非線性激活函數(shù)形式對網(wǎng)絡性能的影響并非至關(guān)重要，關(guān)鍵因素是基函數(shù)中心的選取。因此，與bp網(wǎng)絡同屬前饋神經(jīng)網(wǎng)絡的brf網(wǎng)絡在一定程度上克服了bp網(wǎng)絡所存在的一些問題。徑向基函數(shù)網(wǎng)絡包括兩層：隱單元層和線性單元層，下圖為徑向基函數(shù)網(wǎng)絡的結(jié)構(gòu)圖: 輸出線性單元層隱單元層輸入 圖2 rbf神經(jīng)網(wǎng)絡的結(jié)構(gòu)圖rbf網(wǎng)絡具有最佳逼近的特性，它可以用局部逼近的總和達到對訓練數(shù)據(jù)的全局逼近，因此利用低階局部逼近的總和可以完成對訓練數(shù)據(jù)的擬合。對于brf網(wǎng)絡而言，其輸出節(jié)點計算由隱層節(jié)點給出的基函數(shù)的線性組合，

8、其隱層中的基函數(shù)對輸入激勵產(chǎn)生一個局部化的響應，即每一個隱節(jié)點有一個參數(shù)矢量，稱之為中心，該中心用來與網(wǎng)絡輸入樣本矢量相比較，以產(chǎn)生徑向?qū)ΨQ響應，僅當輸入樣本落在輸入空間的某個局部區(qū)域時，隱節(jié)點才做出有意義的非零響應值，響應值在0到1之間，輸入與基函數(shù)中心的距離越近，隱節(jié)點響應越大，而輸出單元一般是線性的，即輸出單元對隱節(jié)點輸出進行線性加權(quán)組合。因此只有少數(shù)幾個權(quán)值影響網(wǎng)絡的輸出，在訓練時也只有少數(shù)權(quán)值需要進行調(diào)整，從而使得rbf網(wǎng)絡的學習速度大大提高。利用徑向基函數(shù)網(wǎng)絡來完成函數(shù)逼近任務，并且將結(jié)果與bp網(wǎng)絡以及采用改進bp算法的前向網(wǎng)絡的訓練結(jié)果作比較，發(fā)現(xiàn)徑向基函數(shù)網(wǎng)絡所用時間最短。這個

9、例子揭示了如何用徑向基函數(shù)網(wǎng)絡來進行函數(shù)逼近，當誤差指標取0到1時，采用不同的方法逼近同一個函數(shù)，其性能對比結(jié)果如表2.1所示：表 1性能對比結(jié)果訓練函數(shù)網(wǎng)絡類型時間（秒）訓練步數(shù)trainbpbp網(wǎng)絡247.34127trainbpx采用快速bp算法的前向網(wǎng)絡41.2571trainlm采用lm算法的前向網(wǎng)絡3.15solverb徑向基函數(shù)網(wǎng)絡1.75由對比結(jié)果可以看出，rbf網(wǎng)絡確實比bp網(wǎng)絡體現(xiàn)出更強的函數(shù)逼近和分類能力。而且訓練速度明顯提高，訓練步數(shù)顯著減少。由此，可以看出rbf網(wǎng)絡具有下列優(yōu)點:它具有唯一最佳逼近的特性，且無局部極小問題存在。rbf神經(jīng)網(wǎng)絡具有較強的輸入和輸出映射功能，并且理論證明在前向網(wǎng)絡中rbf網(wǎng)絡是完成映射功能的最優(yōu)網(wǎng)絡。網(wǎng)絡連接權(quán)值與輸出呈線性關(guān)系。分類能力好。學習過程收斂速度快。從函數(shù)逼近功能來分，神經(jīng)網(wǎng)絡可分為全局逼近神經(jīng)網(wǎng)絡和局部逼近神經(jīng)網(wǎng)絡。如果網(wǎng)絡的一個或多個權(quán)值或自適應可調(diào)參數(shù)在輸入空間的每一個點對任何一個輸出都有影響，則稱神經(jīng)網(wǎng)絡為全局逼近神經(jīng)網(wǎng)絡。多層前饋網(wǎng)絡是全局逼近網(wǎng)絡的典型例子。對于每個輸入輸出數(shù)據(jù)，網(wǎng)絡的每一個權(quán)值均需要調(diào)整，從而導致全局逼近網(wǎng)絡學習速度很慢。若對與輸入空間的某個局部區(qū)域