實(shí)驗(yàn)四、RBF神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)報(bào)告

1、實(shí)驗(yàn)四、RBF神經(jīng)網(wǎng)絡(luò)一、實(shí)驗(yàn)?zāi)康耐ㄟ^計(jì)算機(jī)編程實(shí)現(xiàn)并驗(yàn)證RBF神經(jīng)網(wǎng)絡(luò)的曲線擬合及模式分類能力。二、實(shí)驗(yàn)內(nèi)容1）用Matlab實(shí)現(xiàn)RBF神經(jīng)網(wǎng)絡(luò)，并對(duì)給定的曲線樣本集實(shí)現(xiàn)擬合；2）通過改變實(shí)驗(yàn)參數(shù)，觀察和分析影響RBF神經(jīng)網(wǎng)絡(luò)的結(jié)果與收斂速度的因素；三、實(shí)驗(yàn)原理、方法和手段RBF網(wǎng)絡(luò)能夠逼近任意的非線性函數(shù)，可以處理系統(tǒng)內(nèi)的難以解析的規(guī)律性，具有良好的泛化能力，并有很快的學(xué)習(xí)收斂速度，已成功應(yīng)用于非線性函數(shù)逼近、時(shí)間序列分析、數(shù)據(jù)分類、模式識(shí)別、信息處理、圖像處理、系統(tǒng)建模、控制和故障診斷等。簡(jiǎn)單說明一下為什么RBF網(wǎng)絡(luò)學(xué)習(xí)收斂得比較快。當(dāng)網(wǎng)絡(luò)的一個(gè)或多個(gè)可調(diào)參數(shù)（權(quán)值或閾值）對(duì)任何一個(gè)輸出

2、都有影響時(shí)，這樣的網(wǎng)絡(luò)稱為全局逼近網(wǎng)絡(luò)。由于對(duì)于每次輸入，網(wǎng)絡(luò)上的每一個(gè)權(quán)值都要調(diào)整，從而導(dǎo)致全局逼近網(wǎng)絡(luò)的學(xué)習(xí)速度很慢。BP網(wǎng)絡(luò)就是一個(gè)典型的例子。如果對(duì)于輸入空間的某個(gè)局部區(qū)域只有少數(shù)幾個(gè)連接權(quán)值影響輸出，則該網(wǎng)絡(luò)稱為局部逼近網(wǎng)絡(luò)。常見的局部逼近網(wǎng)絡(luò)有RBF網(wǎng)絡(luò)、小腦模型（CMAC）網(wǎng)絡(luò)、B樣條網(wǎng)絡(luò)等。徑向基函數(shù)解決插值問題完全內(nèi)插法要求插值函數(shù)經(jīng)過每個(gè)樣本點(diǎn)，即。樣本點(diǎn)總共有P個(gè)。RBF的方法是要選擇P個(gè)基函數(shù)，每個(gè)基函數(shù)對(duì)應(yīng)一個(gè)訓(xùn)練數(shù)據(jù)，各基函數(shù)形式為，由于距離是徑向同性的，因此稱為徑向基函數(shù)。|X-Xp|表示差向量的模，或者叫2范數(shù)?；跒閺较蚧瘮?shù)的插值函數(shù)為：輸入X是個(gè)m維的向量

3、，樣本容量為P，P>m。可以看到輸入數(shù)據(jù)點(diǎn)Xp是徑向基函數(shù)p的中心。隱藏層的作用是把向量從低維m映射到高維P，低維線性不可分的情況到高維就線性可分了。將插值條件代入：寫成向量的形式為，顯然是個(gè)規(guī)模這P對(duì)稱矩陣，且與X的維度無(wú)關(guān)，當(dāng)可逆時(shí)，有。對(duì)于一大類函數(shù)，當(dāng)輸入的X各不相同時(shí)，就是可逆的。下面的幾個(gè)函數(shù)就屬于這“一大類”函數(shù)：1）Gauss（高斯）函數(shù)2）Reflected Sigmoidal（反常S型）函數(shù)3）Inverse multiquadrics（擬多二次）函數(shù)稱為徑向基函數(shù)的擴(kuò)展常數(shù)，它反應(yīng)了函數(shù)圖像的寬度，越小，寬度越窄，函數(shù)越具有選擇性。完全內(nèi)插存在一些問題：1）插值曲面

4、必須經(jīng)過所有樣本點(diǎn)，當(dāng)樣本中包含噪聲時(shí)，神經(jīng)網(wǎng)絡(luò)將擬合出一個(gè)錯(cuò)誤的曲面，從而使泛化能力下降。由于輸入樣本中包含噪聲，所以我們可以設(shè)計(jì)隱藏層大小為K，K<P，從樣本中選取K個(gè)（假設(shè)不包含噪聲）作為函數(shù)的中心。2）基函數(shù)個(gè)數(shù)等于訓(xùn)練樣本數(shù)目，當(dāng)訓(xùn)練樣本數(shù)遠(yuǎn)遠(yuǎn)大于物理過程中固有的自由度時(shí)，問題就稱為超定的，插值矩陣求逆時(shí)可能導(dǎo)致不穩(wěn)定。擬合函數(shù)F的重建問題滿足以下3個(gè)條件時(shí)，稱問題為適定的：解的存在性解的唯一性解的連續(xù)性不適定問題大量存在，為解決這個(gè)問題，就引入了正則化理論。正則化理論正則化的基本思想是通過加入一個(gè)含有解的先驗(yàn)知識(shí)的約束來(lái)控制映射函數(shù)的光滑性，這樣相似的輸入就對(duì)應(yīng)著相似的輸出。

5、尋找逼近函數(shù)F(x)通過最小化下面的目標(biāo)函數(shù)來(lái)實(shí)現(xiàn)：加式的第一項(xiàng)好理解，這是均方誤差，尋找最優(yōu)的逼近函數(shù)，自然要使均方誤差最小。第二項(xiàng)是用來(lái)控制逼近函數(shù)光滑程度的，稱為正則化項(xiàng)，是正則化參數(shù)，D是一個(gè)線性微分算子，代表了對(duì)F(x)的先驗(yàn)知識(shí)。曲率過大（光滑度過低）的F(x)通常具有較大的|DF|值，因此將受到較大的懲罰。直接給出(1)式的解：權(quán)向量 (2)G(X,Xp)稱為Green函數(shù)，G稱為Green矩陣。Green函數(shù)與算子D的形式有關(guān)，當(dāng)D具有旋轉(zhuǎn)不變性和平移不變性時(shí)，。這類Green函數(shù)的一個(gè)重要例子是多元Gauss函數(shù)：正則化RBF網(wǎng)絡(luò)輸入樣本有P個(gè)時(shí)，隱藏層神經(jīng)元數(shù)目為P，且第p

6、個(gè)神經(jīng)元采用的變換函數(shù)為G(X,Xp)，它們相同的擴(kuò)展常數(shù)。輸出層神經(jīng)元直接把凈輸入作為輸出。輸入層到隱藏層的權(quán)值全設(shè)為1,隱藏層到輸出層的權(quán)值是需要訓(xùn)練得到的：逐一輸入所有的樣本，計(jì)算隱藏層上所有的Green函數(shù)，根據(jù)(2)式計(jì)算權(quán)值。廣義RBF網(wǎng)絡(luò)Cover定理指出：將復(fù)雜的模式分類問題非線性地映射到高維空間將比投影到低維空間更可能線性可分。廣義RBF網(wǎng)絡(luò)：從輸入層到隱藏層相當(dāng)于是把低維空間的數(shù)據(jù)映射到高維空間，輸入層細(xì)胞個(gè)數(shù)為樣本的維度，所以隱藏層細(xì)胞個(gè)數(shù)一定要比輸入層細(xì)胞個(gè)數(shù)多。從隱藏層到輸出層是對(duì)高維空間的數(shù)據(jù)進(jìn)行線性分類的過程，可以采用單層感知器常用的那些學(xué)習(xí)規(guī)則，參見神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

7、和感知器。注意廣義RBF網(wǎng)絡(luò)只要求隱藏層神經(jīng)元個(gè)數(shù)大于輸入層神經(jīng)元個(gè)數(shù)，并沒有要求等于輸入樣本個(gè)數(shù)，實(shí)際上它比樣本數(shù)目要少得多。因?yàn)樵跇?biāo)準(zhǔn)RBF網(wǎng)絡(luò)中，當(dāng)樣本數(shù)目很大時(shí)，就需要很多基函數(shù)，權(quán)值矩陣就會(huì)很大，計(jì)算復(fù)雜且容易產(chǎn)生病態(tài)問題。另外廣RBF網(wǎng)與傳統(tǒng)RBF網(wǎng)相比，還有以下不同：徑向基函數(shù)的中心不再限制在輸入數(shù)據(jù)點(diǎn)上，而由訓(xùn)練算法確定。各徑向基函數(shù)的擴(kuò)展常數(shù)不再統(tǒng)一，而由訓(xùn)練算法確定。輸出函數(shù)的線性變換中包含閾值參數(shù)，用于補(bǔ)償基函數(shù)在樣本集上的平均值與目標(biāo)值之間的差別。因此廣義RBF網(wǎng)絡(luò)的設(shè)計(jì)包括：結(jié)構(gòu)設(shè)計(jì)-隱藏層含有幾個(gè)節(jié)點(diǎn)合適參數(shù)設(shè)計(jì)-各基函數(shù)的數(shù)據(jù)中心及擴(kuò)展常數(shù)、輸出節(jié)點(diǎn)的權(quán)值。下面給

8、出計(jì)算數(shù)據(jù)中心的兩種方法：數(shù)據(jù)中心從樣本中選取。樣本密集的地方多采集一些。各基函數(shù)采用統(tǒng)一的偏擴(kuò)展常數(shù)：dmax是所選數(shù)據(jù)中心之間的最大距離，M是數(shù)據(jù)中心的個(gè)數(shù)。擴(kuò)展常數(shù)這么計(jì)算是為了避免徑向基函數(shù)太尖或太平。自組織選擇法，比如對(duì)樣本進(jìn)行聚類、梯度訓(xùn)練法、資源分配網(wǎng)絡(luò)等。各聚類中心確定以后，根據(jù)各中心之間的距離確定對(duì)應(yīng)徑向基函數(shù)的擴(kuò)展常數(shù)。是重疊系數(shù)。接下來(lái)求權(quán)值W時(shí)就不能再用了，因?yàn)閷?duì)于廣義RBF網(wǎng)絡(luò)，其行數(shù)大于列數(shù)，此時(shí)可以求偽逆。 數(shù)據(jù)中心的監(jiān)督學(xué)習(xí)算法最一般的情況，RBF函數(shù)中心、擴(kuò)展常數(shù)、輸出權(quán)值都應(yīng)該采用監(jiān)督學(xué)習(xí)算法進(jìn)行訓(xùn)練，經(jīng)歷一個(gè)誤差修正學(xué)習(xí)的過程，與BP網(wǎng)絡(luò)的學(xué)習(xí)原理一樣。同樣采用梯度下降法，定義目標(biāo)函數(shù)為ei為輸入第i個(gè)樣本時(shí)的誤差信號(hào)。上式的輸出函數(shù)中忽略了閾值。為使目標(biāo)函數(shù)最小化，各參數(shù)的修正量應(yīng)與其負(fù)梯度成正比，即具體計(jì)算式為上述目標(biāo)函數(shù)是所有訓(xùn)練樣本引起的誤差總和，導(dǎo)出的參數(shù)修正公式是一種批處理式調(diào)整，即所有樣本輸入一輪后調(diào)整一次。目標(biāo)函數(shù)也可以為瞬時(shí)值形式，即當(dāng)前輸入引起的誤差此時(shí)參數(shù)的修正值為