神經(jīng)網(wǎng)絡配套Ch12presRBF

1、12+1徑向基函數(shù)(rbf)網(wǎng)絡12+2rbf網(wǎng)絡結構 徑向基神經(jīng)元結構徑向基神經(jīng)元的凈輸入采用距離函數(shù)（如歐式距離）乘以偏置，并使用徑向基函數(shù)作為激活函數(shù)。權又稱為中心12+322)(tetradbas2211)(tetradbas)(1)(22ttradbas)0(1. 高斯函數(shù)：2. 反射s形函數(shù)：3. 逆多二次函數(shù)： 稱為基函數(shù)的擴展常數(shù)或寬度， 越小，徑向基函數(shù)的寬度越小，基函數(shù)就越有選擇性。徑向基函數(shù)（rbf）rbf網(wǎng)絡結構（續(xù)）12+4rbf網(wǎng)絡結構（續(xù)） 網(wǎng)絡結構rbf網(wǎng)絡是個三層結構（-s1-s2）的前饋網(wǎng)，其中，代表輸入層并指出輸入維數(shù)； s1代表由徑向基神經(jīng)元構成的隱層并

2、指出神經(jīng)元數(shù)目； s2是線性輸出層。12+5rbf網(wǎng)絡結構（續(xù)） rbf網(wǎng)絡層間的連接 輸入層到隱層之間的權值（中心）固定 隱層到輸出層之間的權值可調(diào)12+6rbf網(wǎng)絡工作原理 rbf網(wǎng)絡的三層的作用 輸入層將網(wǎng)絡與外界環(huán)境連接起來 隱層是非線性的，實現(xiàn)從輸入空間到隱層空間之間的非線性變換 輸出層是線性的，完成隱層輸出的加權和 rbf網(wǎng)絡是一種局部逼近網(wǎng)絡 能以任意精度逼近任一連續(xù)函數(shù) 常用于解決函數(shù)逼近和分類問題12+7rbf網(wǎng)絡工作原理（續(xù)） rbf網(wǎng)絡的工作原理 函數(shù)逼近：以任意精度逼近任一連續(xù)函數(shù)。一般函數(shù)都可表示成一組基函數(shù)的線性組合，rbf網(wǎng)絡相當于用隱層單元的輸出構成一組基函數(shù)，

3、然后用輸出層來進行線性組合，以完成逼近功能。 分類：解決非線性可分問題。rbf網(wǎng)絡用隱層單元先將非線性可分的輸入空間設法變換到線性可分的特征空間（通常是高維空間），然后用輸出層來進行線性劃分，完成分類功能。12+8rbf網(wǎng)絡實現(xiàn)內(nèi)插問題 內(nèi)插問題（數(shù)值逼近） 給定樣本數(shù)據(jù)： 尋找函數(shù)，使之滿足： ， rbf網(wǎng)絡解決內(nèi)插問題 網(wǎng)絡隱層使用個隱節(jié)點 把所有個樣本輸入分別作為個隱節(jié)點的中心 各基函數(shù)取相同的擴展常數(shù) 確定權值可解線性方程組：設第j 個隱節(jié)點在第i個樣本的輸出為： ,可矩陣表示： ，若r可求逆，則解為： 。根據(jù)micchelli定理可得，如果隱節(jié)點激活函數(shù)采用徑向基函數(shù)，且 各不相同，

4、則線性方程組有唯一解。p1t1,p2t2, pqtq,)(iipft qi 1qi1iqjjijtppradbasw)(1qppp,.,21trw )(jiijppradbasrtrw112+9rbf網(wǎng)絡實現(xiàn)內(nèi)插問題（續(xù)） rbf網(wǎng)絡的輸出為：其中 為隱節(jié)點的激活函數(shù)（ rbf函數(shù)）； 是第 j個隱節(jié)點的rbf函數(shù)的數(shù)據(jù)中心。 rbf網(wǎng)絡的結構為：)()(1qjjijicpwpf)(jjpc12+10rbf網(wǎng)絡實現(xiàn)內(nèi)插問題（續(xù)） rbf網(wǎng)絡可實現(xiàn)對樣本完全內(nèi)插，即在所有樣本點網(wǎng)絡輸出誤差為0。 網(wǎng)絡的隱層節(jié)點數(shù)等于樣本數(shù)，當樣本數(shù)較多時，網(wǎng)絡的結構將過大，前述方法中矩陣r也大，使得它的條件數(shù)（

5、 矩陣的最大特征值與其最小特征值的比）可能過大，從而導致求逆時不穩(wěn)定。 同樣，當樣本數(shù)較多時，網(wǎng)絡結構將過大，從而有可能導致網(wǎng)絡的泛化性能降低。 為了提高網(wǎng)絡的泛化性能，可以采用下面討論的廣義rbf網(wǎng)絡和正則化網(wǎng)絡。12+11廣義rbf網(wǎng)絡 隱層節(jié)點數(shù)(徑向基函數(shù)個數(shù))遠小于樣本數(shù)，通常有： 徑向基函數(shù)的中心不再限制在樣本點上，即有： 徑向基函數(shù)的擴展常數(shù)不一定要統(tǒng)一1rsqjjcp12+12rbf網(wǎng)絡的學習算法 學習算法要確定的參數(shù): 網(wǎng)絡隱層神經(jīng)元的個數(shù)（結構設計） 確定各徑向基函數(shù)的數(shù)據(jù)中心 擴展常數(shù) 連接隱層到輸出層的權值12+13rbf網(wǎng)絡的學習算法 中心固定方法 隨機從訓練數(shù)據(jù)中選

6、取網(wǎng)絡中隱節(jié)點的數(shù)據(jù)中心，并根據(jù)各數(shù)據(jù)中心之間的距離確定隱節(jié)點的擴展常數(shù) 然后用有監(jiān)督學習（偽逆或lms方法）確定輸出層節(jié)點的權值 中心自組織選取方法 先用無監(jiān)督學習（k-均值聚類算法對樣本輸入進行聚類）方法確定網(wǎng)絡中隱節(jié)點的數(shù)據(jù)中心，并根據(jù)各數(shù)據(jù)中心之間的距離確定隱節(jié)點的擴展常數(shù) 然后用有監(jiān)督學習（仿逆或lms方法）確定輸出層節(jié)點的權值12+14rbf網(wǎng)絡的學習算法（續(xù)） 梯度方法 用梯度方法原理，通過最小化性能指數(shù)實現(xiàn)對各隱節(jié)點數(shù)據(jù)中心、擴展寬度和權值的調(diào)節(jié) 交替梯度方法 為提高網(wǎng)絡的訓練效率，將梯度方法分為兩階段，這兩個階段交替進行訓練，直到達到要求的精度為止 輸入層隱層階段：固定網(wǎng)絡的

7、權值，訓練網(wǎng)絡的中心和擴展寬度 隱層輸出層階段：固定網(wǎng)絡的中心和擴展寬度，訓練網(wǎng)絡的權值12+15rbf網(wǎng)絡的特點 只有一個隱層，且隱層神經(jīng)元與輸出層神經(jīng)元的模型不同。 隱層節(jié)點激活函數(shù)為徑向基函數(shù)，輸出層節(jié)點激活函數(shù)為線性函數(shù)。 隱層節(jié)點激活函數(shù)的凈輸入是輸入向量與節(jié)點中心的距離（范數(shù)），而非向量內(nèi)積，且節(jié)點中心不可調(diào)。 隱層節(jié)點參數(shù)確定后，輸出權值可通過解線性方程組得到。 隱層節(jié)點的非線性變換把線性不可分問題轉化為線性可分問題12+16rbf網(wǎng)絡的特點（續(xù)） 局部逼近網(wǎng)絡（mlp是全局逼近網(wǎng)絡)，這意味著逼近一個輸入輸出映射時，在相同逼近精度要求下，rbf所需的時間要比mlp少。 具有唯一

8、最佳逼近的特性，無局部極小。 合適的隱層節(jié)點數(shù)、節(jié)點中心和寬度不易確定。12+17正則化方法（改進泛化性能） 尋找能有效逼近給定樣本數(shù)據(jù)的函數(shù) 設有樣本數(shù)據(jù): , f(p)是逼近函數(shù)。 傳統(tǒng)方法是最小化標準誤差項來實現(xiàn) 由于從有限樣本導出一個函數(shù)的解有無窮多個，該問題是不適定的(ill-posed)。tikhonov提出了正則化方法來解決這類問題。就是在標準誤差項的基礎上，增加一個限制逼近函數(shù)復雜性的項（稱為正則化項），即其中，d是線性微分算子，關于解f(p)的形式的先驗知識就包含在其中，即d的選取與所解的問題有關。 d也稱為穩(wěn)定因子，它使正則化問題的解穩(wěn)定光滑，從而連續(xù)。p1t1,p2t2,

9、pqtq,21)(21)(iqiispftfe221)(dffec12+18正則化方法（改進泛化性能） 正則化理論要求最小化的量為其中， 是一個正的實數(shù)，稱為正則化參數(shù)。 正則化參數(shù)用來指示所給的樣本數(shù)據(jù)和先驗信息對 的最小解函數(shù) 作的貢獻的大小。 當 時，表明該問題不受約束，解完全由所給樣本決定； 當 時，表明僅由算子d所定義的先驗條件就足以得到問題的解，也就是說所給的樣本完全不可信； 實際應用中，正則化參數(shù)取上述兩個極限值之間，使樣本數(shù)據(jù)和先驗條件都對解作貢獻。22121)(21)()()(dfpftfefefeiqiics)(fe)(pf012+19正則化方法（改進泛化性能） 正則化問題

10、的解為：其中， 是自伴隨算子 的green函數(shù)?？梢娬齽t化問題的解是q個基函數(shù) 的線性組合，即 ),(ippgqiiiippgpftpf1),()(1)(dd),(ippgqiiippgwpf1),()()(1iiipftw12+20正則化網(wǎng)絡 正則化理論導出一類特定的rbf網(wǎng)絡正則化網(wǎng)絡 green函數(shù) 的形式依賴于算子d的形式，如果d具有平移不變性和旋轉不變性，則green函數(shù)的值取決于p和 pi之間的距離，即 。選擇不同的算子d（應具有平移和旋轉不變性），便可得到不同的green函數(shù)，包括gaussian函數(shù)這樣最常用的徑向基函數(shù)。qiiippgwpf1),()(),(ippg)(),(iippgppg12