神經(jīng)網(wǎng)絡(luò) 配套

神經(jīng)網(wǎng)絡(luò)配套第1頁/共22頁RBF網(wǎng)絡(luò)結(jié)構(gòu)徑向基神經(jīng)元結(jié)構(gòu)徑向基神經(jīng)元的凈輸入采用距離函數(shù)（如歐式距離）乘以偏置，并使用徑向基函數(shù)作為激活函數(shù)。權(quán)又稱為中心第2頁/共22頁1.高斯函數(shù)：2.反射S形函數(shù)：3.逆多二次函數(shù)：δ稱為基函數(shù)的擴(kuò)展常數(shù)或?qū)挾?，δ越小，徑向基函?shù)的寬度越小，基函數(shù)就越有選擇性。徑向基函數(shù)（RBF）RBF網(wǎng)絡(luò)結(jié)構(gòu)（續(xù)）第3頁/共22頁RBF網(wǎng)絡(luò)結(jié)構(gòu)（續(xù)）網(wǎng)絡(luò)結(jié)構(gòu)RBF網(wǎng)絡(luò)是個三層結(jié)構(gòu)（Ｒ-S1-S2）的前饋網(wǎng)，其中，Ｒ代表輸入層并指出輸入維數(shù)；S1代表由徑向基神經(jīng)元構(gòu)成的隱層并指出神經(jīng)元數(shù)目；S2是線性輸出層。第4頁/共22頁RBF網(wǎng)絡(luò)結(jié)構(gòu)（續(xù)）RBF網(wǎng)絡(luò)層間的連接輸入層到隱層之間的權(quán)值（中心）固定隱層到輸出層之間的權(quán)值可調(diào)第5頁/共22頁RBF網(wǎng)絡(luò)工作原理RBF網(wǎng)絡(luò)的三層的作用輸入層將網(wǎng)絡(luò)與外界環(huán)境連接起來隱層是非線性的，實現(xiàn)從輸入空間到隱層空間之間的非線性變換輸出層是線性的，完成隱層輸出的加權(quán)和RBF網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)能以任意精度逼近任一連續(xù)函數(shù)常用于解決函數(shù)逼近和分類問題第6頁/共22頁RBF網(wǎng)絡(luò)工作原理（續(xù)）RBF網(wǎng)絡(luò)的工作原理函數(shù)逼近：以任意精度逼近任一連續(xù)函數(shù)。一般函數(shù)都可表示成一組基函數(shù)的線性組合，RBF網(wǎng)絡(luò)相當(dāng)于用隱層單元的輸出構(gòu)成一組基函數(shù)，然后用輸出層來進(jìn)行線性組合，以完成逼近功能。分類：解決非線性可分問題。RBF網(wǎng)絡(luò)用隱層單元先將非線性可分的輸入空間設(shè)法變換到線性可分的特征空間（通常是高維空間），然后用輸出層來進(jìn)行線性劃分，完成分類功能。第7頁/共22頁RBF網(wǎng)絡(luò)實現(xiàn)內(nèi)插問題內(nèi)插問題（數(shù)值逼近）給定樣本數(shù)據(jù)：尋找函數(shù)，使之滿足：，RBF網(wǎng)絡(luò)解決內(nèi)插問題網(wǎng)絡(luò)隱層使用Ｑ個隱節(jié)點把所有Ｑ個樣本輸入分別作為Ｑ個隱節(jié)點的中心各基函數(shù)取相同的擴(kuò)展常數(shù)確定權(quán)值可解線性方程組：

設(shè)第j個隱節(jié)點在第i個樣本的輸出為：, 可矩陣表示：，若R可求逆，則解為：。 根據(jù)Micchelli定理可得，如果隱節(jié)點激活函數(shù)采用徑向基函數(shù)，且各不相同，則線性方程組有唯一解。第8頁/共22頁RBF網(wǎng)絡(luò)實現(xiàn)內(nèi)插問題（續(xù)）RBF網(wǎng)絡(luò)的輸出為： 其中為隱節(jié)點的激活函數(shù)（RBF函數(shù)）；是第j個隱節(jié)點的RBF函數(shù)的數(shù)據(jù)中心。RBF網(wǎng)絡(luò)的結(jié)構(gòu)為：

第9頁/共22頁RBF網(wǎng)絡(luò)實現(xiàn)內(nèi)插問題（續(xù)）RBF網(wǎng)絡(luò)可實現(xiàn)對樣本完全內(nèi)插，即在所有樣本點網(wǎng)絡(luò)輸出誤差為0。網(wǎng)絡(luò)的隱層節(jié)點數(shù)等于樣本數(shù)，當(dāng)樣本數(shù)較多時，網(wǎng)絡(luò)的結(jié)構(gòu)將過大，前述方法中矩陣R也大，使得它的條件數(shù)（矩陣的最大特征值與其最小特征值的比）可能過大，從而導(dǎo)致求逆時不穩(wěn)定。同樣，當(dāng)樣本數(shù)較多時，網(wǎng)絡(luò)結(jié)構(gòu)將過大，從而有可能導(dǎo)致網(wǎng)絡(luò)的泛化性能降低。為了提高網(wǎng)絡(luò)的泛化性能，可以采用下面討論的廣義RBF網(wǎng)絡(luò)和正則化網(wǎng)絡(luò)。第10頁/共22頁廣義RBF網(wǎng)絡(luò)隱層節(jié)點數(shù)(徑向基函數(shù)個數(shù))遠(yuǎn)小于樣本數(shù)，通常有：徑向基函數(shù)的中心不再限制在樣本點上，即有：

徑向基函數(shù)的擴(kuò)展常數(shù)不一定要統(tǒng)一第11頁/共22頁RBF網(wǎng)絡(luò)的學(xué)習(xí)算法學(xué)習(xí)算法要確定的參數(shù):網(wǎng)絡(luò)隱層神經(jīng)元的個數(shù)（結(jié)構(gòu)設(shè)計）確定各徑向基函數(shù)的數(shù)據(jù)中心擴(kuò)展常數(shù)連接隱層到輸出層的權(quán)值第12頁/共22頁RBF網(wǎng)絡(luò)的學(xué)習(xí)算法中心固定方法隨機從訓(xùn)練數(shù)據(jù)中選取網(wǎng)絡(luò)中隱節(jié)點的數(shù)據(jù)中心，并根據(jù)各數(shù)據(jù)中心之間的距離確定隱節(jié)點的擴(kuò)展常數(shù)然后用有監(jiān)督學(xué)習(xí)（偽逆或LMS方法）確定輸出層節(jié)點的權(quán)值中心自組織選取方法先用無監(jiān)督學(xué)習(xí)（k-均值聚類算法對樣本輸入進(jìn)行聚類）方法確定網(wǎng)絡(luò)中隱節(jié)點的數(shù)據(jù)中心，并根據(jù)各數(shù)據(jù)中心之間的距離確定隱節(jié)點的擴(kuò)展常數(shù)然后用有監(jiān)督學(xué)習(xí)（仿逆或LMS方法）確定輸出層節(jié)點的權(quán)值第13頁/共22頁RBF網(wǎng)絡(luò)的學(xué)習(xí)算法（續(xù)）梯度方法用梯度方法原理，通過最小化性能指數(shù)實現(xiàn)對各隱節(jié)點數(shù)據(jù)中心、擴(kuò)展寬度和權(quán)值的調(diào)節(jié)交替梯度方法為提高網(wǎng)絡(luò)的訓(xùn)練效率，將梯度方法分為兩階段，這兩個階段交替進(jìn)行訓(xùn)練，直到達(dá)到要求的精度為止輸入層－隱層階段：固定網(wǎng)絡(luò)的權(quán)值，訓(xùn)練網(wǎng)絡(luò)的中心和擴(kuò)展寬度隱層－輸出層階段：固定網(wǎng)絡(luò)的中心和擴(kuò)展寬度，訓(xùn)練網(wǎng)絡(luò)的權(quán)值第14頁/共22頁RBF網(wǎng)絡(luò)的特點只有一個隱層，且隱層神經(jīng)元與輸出層神經(jīng)元的模型不同。隱層節(jié)點激活函數(shù)為徑向基函數(shù)，輸出層節(jié)點激活函數(shù)為線性函數(shù)。隱層節(jié)點激活函數(shù)的凈輸入是輸入向量與節(jié)點中心的距離（范數(shù)），而非向量內(nèi)積，且節(jié)點中心不可調(diào)。隱層節(jié)點參數(shù)確定后，輸出權(quán)值可通過解線性方程組得到。隱層節(jié)點的非線性變換把線性不可分問題轉(zhuǎn)化為線性可分問題第15頁/共22頁RBF網(wǎng)絡(luò)的特點（續(xù)）局部逼近網(wǎng)絡(luò)（MLP是全局逼近網(wǎng)絡(luò))，這意味著逼近一個輸入輸出映射時，在相同逼近精度要求下，RBF所需的時間要比MLP少。具有唯一最佳逼近的特性，無局部極小。合適的隱層節(jié)點數(shù)、節(jié)點中心和寬度不易確定。第16頁/共22頁正則化方法（改進(jìn)泛化性能）尋找能有效逼近給定樣本數(shù)據(jù)的函數(shù)設(shè)有樣本數(shù)據(jù):,F(P)是逼近函數(shù)。傳統(tǒng)方法是最小化標(biāo)準(zhǔn)誤差項來實現(xiàn)由于從有限樣本導(dǎo)出一個函數(shù)的解有無窮多個，該問題是不適定的(ill-posed)。Tikhonov提出了正則化方法來解決這類問題。就是在標(biāo)準(zhǔn)誤差項的基礎(chǔ)上，增加一個限制逼近函數(shù)復(fù)雜性的項（稱為正則化項），即 其中，D是線性微分算子，關(guān)于解F(p)的形式的先驗知識 就包含在其中，即D的選取與所解的問題有關(guān)。D也稱為穩(wěn)定因子，它使正則化問題的解穩(wěn)定光滑，從而連續(xù)。第17頁/共22頁正則化方法（改進(jìn)泛化性能）正則化理論要求最小化的量為 其中，是一個正的實數(shù)，稱為正則化參數(shù)。正則化參數(shù)用來指示所給的樣本數(shù)據(jù)和先驗信息對的最小解函數(shù)作的貢獻(xiàn)的大小。當(dāng)時，表明該問題不受約束，解完全由所給樣本決定；當(dāng)時，表明僅由算子D所定義的先驗條件就足以得到問題的解，也就是說所給的樣本完全不可信；實際應(yīng)用中，正則化參數(shù)取上述兩個極限值之間，使樣本數(shù)據(jù)和先驗條件都對解作貢獻(xiàn)。第18頁/共22頁正則化方法（改進(jìn)泛化性能）正則化問題的解為：

其中，是自伴隨算子的Green函數(shù)。可見正則化問題的解是Q個基函數(shù)的線性組合，即

第19頁/共22頁正則化網(wǎng)絡(luò)正則化理論導(dǎo)出一類特定的RBF網(wǎng)絡(luò)—正則化網(wǎng)絡(luò)

Green函數(shù)的形式依賴于算子D的形式，如果D具有平移不變性和旋轉(zhuǎn)不變性，則Green函數(shù)的值取決于P和

Pi之間的距離，即。選擇不同的算子D（應(yīng)具有平移和旋轉(zhuǎn)不變性），便可得到不同的Green函數(shù)，包括Gaussian函數(shù)這樣最常用的徑向基函數(shù)。第20頁/共22頁正則化網(wǎng)絡(luò)正則化網(wǎng)絡(luò)通過加入先驗知識平