RBF神經(jīng)網(wǎng)絡(luò)資料

1、徑向基函數(shù)（RBF）神經(jīng)網(wǎng)絡(luò)RBF 簡單說明一下為什么 RBF 網(wǎng)絡(luò)學(xué)習(xí)收斂得比較快。當(dāng)網(wǎng)絡(luò)的一個或多個可調(diào)參數(shù)（權(quán)值或閾值對任何一個輸出都有影響時，這樣的網(wǎng)絡(luò)稱為全局逼近網(wǎng)絡(luò)。由于對于每次輸入，網(wǎng)絡(luò)上的每一個權(quán) 值都要調(diào)整，從而導(dǎo)致全局逼近網(wǎng)絡(luò)的學(xué)習(xí)速度很慢。BP網(wǎng)絡(luò)就是一個典型的例子。如果對于輸入空間的某個局部區(qū)域只有少數(shù)幾個連接權(quán)值影響輸出，則該網(wǎng)絡(luò)稱為局部逼近網(wǎng)絡(luò)。常見的局部逼近網(wǎng)絡(luò)有 RBF 網(wǎng)絡(luò)、小腦模型（CMAC）網(wǎng)絡(luò)、B 樣條網(wǎng)絡(luò)等。徑向基函數(shù)解決插值問題完全內(nèi)插法要求插值函數(shù)經(jīng)過每個樣本點，即。樣本點總共有P個。RBF 的方法是要選擇 P 個基函數(shù)，每個基函數(shù)對應(yīng)一個訓(xùn)練數(shù)據(jù)

2、，各基函數(shù)形式為者叫 2 范數(shù)。，由于距離是徑向同性的，因此稱為徑向基函數(shù)。|X-Xp|表示差向量的模，或基于為徑向基函數(shù)的插值函數(shù)為：X m P，PmXp p m P，低維線性不可分的情況到高維就線性可分了。將插值條件代入：寫成向量的形式為顯然是個規(guī)模這P對稱矩陣且與X的維度無關(guān)當(dāng)可逆時有。對于一大類函數(shù)，當(dāng)輸入的 X 各不相同時， 就是可逆的。下面的幾個函數(shù)就屬于這“一大類”函數(shù)：Gauss（高斯）函數(shù)Reflected Sigmoidal（S型）函數(shù)Inverse multiquadrics（擬多二次）函數(shù) 稱為徑向基函數(shù)的擴展常數(shù)，它反應(yīng)了函數(shù)圖像的寬度， 完全內(nèi)插存在一些問題：使泛化

3、能力下降。由于輸入樣本中包含噪聲，所以我們可以設(shè)計隱藏層大小為 K，KP，從樣本中選取 K 個（假設(shè)不包含噪聲）作為 函數(shù)的中心。超定的，插值矩陣求逆時可能導(dǎo)致不穩(wěn)定。擬合函數(shù) F 的重建問題滿足以下 3 個條件時，稱問題為適定的：解的存在性解的唯一性解的連續(xù)性不適定問題大量存在，為解決這個問題，就引入了正則化理論。正則化理論正則化的基本思想是通過加入一個含有解的先驗知識的約束來控制映射函數(shù)的光滑性，這樣相似的輸入就對應(yīng)著相似的輸出。尋找逼近函數(shù) F(x)通過最小化下面的目標(biāo)函數(shù)來實現(xiàn)： 是一個線性微分算子，代表了對F(x) 的先驗知識。曲率過大（光滑度過低）的 F(x)通常具有較大的|DF|

4、值，因此將受到較大的懲罰。直接給出(1)式的解：權(quán)向量*(2)G(X,Xp)稱為 Green 函數(shù)，G 稱為 Green 矩陣。Green 函數(shù)與算子 D 的形式有關(guān)，當(dāng) D 具有旋轉(zhuǎn)不變性和平移不變性時， 多元 Gauss 函數(shù)：。這類 Green 函數(shù)的一個重要例子是。正則化RBF 網(wǎng)絡(luò)P p 的擴展常數(shù) 1,層的權(quán)值是需要訓(xùn)練得到的：逐一輸入所有的樣本，計算隱藏層上所有的Green (2)式計算權(quán)值。廣義RBF 網(wǎng)絡(luò)Cover 分。RBF 網(wǎng)絡(luò)：從輸入層到隱藏層相當(dāng)于是把低維空間的數(shù)據(jù)映射到高維空間，輸入層細胞個數(shù)為據(jù)進行線性分類的過程，可以采用單層感知器常用的那些學(xué)習(xí)規(guī)則，參見神經(jīng)網(wǎng)絡(luò)

5、基礎(chǔ)和感知器。注意廣義 RBF 實際上它比樣本數(shù)目要少得多。因為在標(biāo)準(zhǔn) RBF 網(wǎng)絡(luò)中，當(dāng)樣本數(shù)目很大時，就需要很多基函數(shù)， RBF RBF 網(wǎng)相比，還有以下不同：徑向基函數(shù)的中心不再限制在輸入數(shù)據(jù)點上，而由訓(xùn)練算法確定。各徑向基函數(shù)的擴展常數(shù)不再統(tǒng)一，而由訓(xùn)練算法確定。差別。因此廣義 RBF 網(wǎng)絡(luò)的設(shè)計包括： 結(jié)構(gòu)設(shè)計-參數(shù)設(shè)計-各基函數(shù)的數(shù)據(jù)中心及擴展常數(shù)、輸出節(jié)點的權(quán)值。下面給出計算數(shù)據(jù)中心的兩種方法：數(shù)據(jù)中心從樣本中選取。樣本密集的地方多采集一些。各基函數(shù)采用統(tǒng)一的偏擴展常數(shù)：x 徑向基函數(shù)太尖或太平。確定以后，根據(jù)各中心之間的距離確定對應(yīng)徑向基函數(shù)的擴展常數(shù)。 是重疊系數(shù)。3.W 偽

6、逆。了，因為對于廣義 RBF 網(wǎng)絡(luò)，其行數(shù)大于列數(shù)，此時數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)算法BP 網(wǎng)絡(luò)的學(xué)習(xí)原理一樣。同樣采用梯度下降法，定義目標(biāo)函數(shù)為ei為輸入第 i 個樣本時的誤差信號。上式的輸出函數(shù)中忽略了閾值。為使目標(biāo)函數(shù)最小化，各參數(shù)的修正量應(yīng)與其負梯度成正比，即具體計算式為本輸入一輪后調(diào)整一次。目標(biāo)函數(shù)也可以為瞬時值形式，即當(dāng)前輸入引起的誤差此時參數(shù)的修正值為：下面我們就分別用本文最后提到的聚類的方法和數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)方法做一道練習(xí)題?？紤] Hermit 多項式的逼近問題P=100 xi 且服從xieii 為添加00.1 的正態(tài)分布。用聚類方法求數(shù)據(jù)中心和擴展常數(shù)，輸出權(quán)值和閾值用偽逆法求解。

7、隱藏節(jié)點數(shù) M=10=110個訓(xùn)練樣本。+ View Code?#include #include #include #include #include #include #include #include #include #includematrix.husing namespace std;const int P=100;/輸入樣本的數(shù)vector X(P);/輸入樣本Matrix Y(P,1);/輸入樣本對應(yīng)的期望輸const int M=10;/隱藏層節(jié)點數(shù)目vector center(M);/M個Green函數(shù)的數(shù)據(jù)中心vector delta(M);/M個Green函數(shù)的擴展常數(shù)

8、Matrix Green(P,M);/Green矩陣Matrix Weight(M,1);/權(quán)值矩陣/*Hermit 多項式函數(shù)*/inline double Hermit(double x)return 1.1*(1-x+2*x*x)*exp(-1*x*x/2);/*產(chǎn)生指定區(qū)間上均勻分布的隨機數(shù)*/inline double uniform(double floor,double ceil) return floor+1.0*rand()/RAND_MAX*(ceil-floor);/*產(chǎn)生區(qū)間floor,ceil上服從正態(tài)分布 Nmu,sigma的隨機數(shù)*/inline double R

9、andomNorm(double mu,double sigma,double floor,double ceil) double x,prob,y;dox=uniform(floor,ceil);prob=1/sqrt(2*M_PI*sigma)*exp(-1*(x-mu)*(x-mu)/(2*sigma*sigma); y=1.0*rand()/RAND_MAX;while(yprob); return x;/*產(chǎn)生輸入樣本*/void generateSample() for(int i=0;iP;+i)double in=uniform(-4,4); Xi=in;Y.put(i,0,H

10、ermit(in)+RandomNorm(0,0.1,-0.3,0.3);/*尋找樣本離哪個中心最近*/int nearest(const vector& center,double sample) int rect=-1;double dist=numeric_limits:max(); for(int i=0;icenter.size();+i)dist=fabs(sample-centeri); rect=i;return rect;/*計算簇的質(zhì)心*/double calCenter(const vector &g) int len=g.size();double sum=0.0; f

11、or(int i=0;ilen;+i)sum+=gi; return sum/len;/*KMeans 聚類法產(chǎn)生數(shù)據(jù)中心*/ void KMeans()assert(P%M=0);vectorvector group(M);/記錄各個聚類中包含哪些樣double gap=0.001;/聚類中心的改變量小于為個值時，迭代終止for(int i=0;iM;+i)/PP個作為初始聚類中心centeri=X10*i+3;/輸入是均勻分布的，所以我們均勻地選取while(1)for(int i=0;iM;+i) groupi.clear();/for(int i=0;iP;+i)/int c=near

12、est(center,Xi); groupc.push_back(Xi);vector new_center(M);/for(int i=0;iM;+i)vector g=groupi; new_centeri=calCenter(g);bool flag=false;for(int i=0;igap)flag=true; break;center=new_center; if(!flag)break;/*生成 Green 矩陣*/ void calGreen()for(int i=0;iP;+i) for(int j=0;jM;+j)Green.put(i,j,exp(-1.0*(Xi-ce

13、nterj)*(Xi-centerj)/(2*deltaj*deltaj);/*求一個矩陣的偽逆*/Matrix getGereralizedInverse(const Matrix &matrix)return (matrix.getTranspose()*matrix).getInverse()*(matrix.getTranspose();/*利用已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，由輸入得到輸出*/ double getOutput(double x)double y=0.0; for(int i=0;iM;+i)y+=Weight.get(i,0)*exp(-1.0*(x-centeri)*(x-c

14、enteri)/(2*deltai*deltai); return y;int main(int argc,char *argv)generateSample();/產(chǎn)生輸入和對應(yīng)的期望輸出樣本KMeans();/對輸入進行聚類，產(chǎn)生聚類中心sort(center.begin(),center.end();/對聚類中心（一維數(shù)據(jù)）進行排序/根據(jù)聚類中心間的距離，計算各擴展常數(shù)delta0=center1-center0; deltaM-1=centerM-1-centerM-2; for(int i=1;iM-1;+i)double d1=centeri-centeri-1; double d

15、2=centeri+1-centeri; deltai=d1d2?d1:d2;calGreen();/Green矩陣Weight=getGereralizedInverse(Green)*Y;/計算權(quán)值矩陣/根據(jù)已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)作幾組測試for(int x=-4;x5;+x) coutxt;coutsetprecision(8)setiosflags(ios:left)setw(15); coutgetOutput(x)Hermit(x)endl;/return 0;RBF =0.001 ，M=10，初始權(quán)值為-0.1,0.1內(nèi)的隨機數(shù)，初始數(shù)據(jù)中心為-4,4內(nèi)的隨機數(shù)，初始擴展常數(shù)取0.1

16、,0.3內(nèi)的隨機數(shù)，目標(biāo)誤差為 0.9，最大訓(xùn)5000。+ View Code?#include #include #include #include #include #include #includeusing namespace std;const int P=100;/輸入樣本的數(shù)量vector X(P);/ 輸 入 樣 本 vector Y(P);/輸入樣本對應(yīng)的期望輸const int M=10;/隱藏層節(jié)點數(shù)目vector center(M);/M個Green函數(shù)的數(shù)據(jù)中心vector delta(M);/M個Green函數(shù)的擴展常數(shù)double GreenPM;/Green矩陣

17、vector Weight(M);/權(quán)值矩const double eta=0.001;/學(xué)習(xí)率const double ERR=0.9;/目標(biāo)誤差const int ITERATION_CEIL=5000;/最大訓(xùn)練次vector error(P);/單個樣本引起的誤差/*Hermit 多項式函數(shù)*/inline double Hermit(double x)return 1.1*(1-x+2*x*x)*exp(-1*x*x/2);/*產(chǎn)生指定區(qū)間上均勻分布的隨機數(shù)*/inline double uniform(double floor,double ceil) return floor+1

18、.0*rand()/RAND_MAX*(ceil-floor);/*產(chǎn)生區(qū)間floor,ceil上服從正態(tài)分布 Nmu,sigma的隨機數(shù)*/inline double RandomNorm(double mu,double sigma,double floor,double ceil) double x,prob,y;dox=uniform(floor,ceil);prob=1/sqrt(2*M_PI*sigma)*exp(-1*(x-mu)*(x-mu)/(2*sigma*sigma); y=1.0*rand()/RAND_MAX;while(yprob); return x;/*產(chǎn)生輸入

19、樣本*/void generateSample() for(int i=0;iP;+i)double in=uniform(-4,4); Xi=in;Yi=Hermit(in)+RandomNorm(0,0.1,-0.3,0.3);/*給向量賦予floor,ceil上的隨機值*/void initVector(vector &vec,double floor,double ceil)for(int i=0;ivec.size();+i) veci=uniform(floor,ceil);/*根據(jù)網(wǎng)絡(luò)，由輸入得到輸出*/ double getOutput(double x)double y=0.0; for(int i=0;iM;+i)y+=Weighti*exp(-1.0*(x-centeri)*(x-centeri)/(2*deltai*deltai); return y;