動態(tài)K_均值聚類算法在RBF神經(jīng)網(wǎng)絡中心選取中的應用

1、 83TECHNOLOGY 引言徑向基函數(shù)神經(jīng)網(wǎng)絡 (RBFNN以其簡單的網(wǎng)絡結(jié) 構(gòu)、快速的學習方法、較好的推廣能力,已經(jīng)廣泛地應 用于許多領域,特別是模式識別和函數(shù)逼近等領域。然 而,如何有效地確定 RBF 神經(jīng)網(wǎng)絡的網(wǎng)絡結(jié)構(gòu)和參數(shù), 至今沒有系統(tǒng)的規(guī)律可循。在 RBF 神經(jīng)網(wǎng)絡中需要確定 的參數(shù)包括隱含層節(jié)點數(shù)、隱含層基函數(shù)的中心值和寬 度、隱含層到輸出層的連接權(quán)值。目前,隱含層節(jié)點數(shù) 主要依靠經(jīng)驗來選取。而根據(jù) moody 準則,神經(jīng)網(wǎng)絡的 設計應該在滿足精度要求的情況下有最小的結(jié)構(gòu),以保 證網(wǎng)絡的泛化能力 1。由于隱含層基函數(shù)中心值的選取對網(wǎng)絡的函數(shù)逼 近能力有很大的影響,目前最常用的

2、確定隱含層中心值 的方法是 K-均值聚類法。由于 K-均值聚類法的聚類過程 一般能夠根據(jù)輸入向量比較準確地確定聚類數(shù)和相應的 聚類中心,因此,如果在已知全部輸入向量時使用該方 法能夠比較精確地確定網(wǎng)絡結(jié)構(gòu)。但是,它要求實現(xiàn)確 定全部輸入向量和指定聚類中心的數(shù)目,這在實際應用 中很難辦到。而動態(tài) K-均值聚類方法能夠根據(jù)輸入來實 時地確定網(wǎng)絡的中心。因此,本文提出動態(tài)均值聚類方 法,對一般的 K-均值方法進行改進。一、BRF神經(jīng)網(wǎng)絡的結(jié)構(gòu)原理RBF 神經(jīng)網(wǎng)絡最基本的結(jié)構(gòu)形式是一種三層前向網(wǎng)動態(tài)K-均值聚類算法在RBF神經(jīng)網(wǎng)絡中心選取中的應用 雷升鍇劉紅陽何嘉何險峰薛勤摘要:RBF神經(jīng)網(wǎng)絡構(gòu)造的關

3、鍵問題是中心的選取,動態(tài)K-均值聚類算法 采用調(diào)整聚類中心的方法,使網(wǎng)絡中心的選擇更精確。本文先簡介了RBF神經(jīng) 網(wǎng)絡的結(jié)構(gòu)原理,然后將動態(tài)K-均值算法應用于BRF神經(jīng)網(wǎng)絡的中心選取,最 后進行了仿真實驗。實驗結(jié)果表明采用動態(tài)K-均值算法確定中心的RBF神經(jīng)網(wǎng) 絡逼近性能更好,具有較強的實用性。關鍵詞:徑向基函數(shù);神經(jīng)網(wǎng)絡;動態(tài)均值聚類算法;函數(shù)逼近絡。網(wǎng)絡的基本構(gòu)成包括輸入層、隱含層和輸出層,各 層的節(jié)點數(shù)目分別為 P , M , L ,每一層都有著完全不同 的作用。其結(jié)構(gòu)如圖 1所示。第一層是輸入層,由一些信號源節(jié)點 (感知單元 組 成,它們將網(wǎng)絡與外界環(huán)境連接起來。第二層是隱含 層,由若

4、干個隱節(jié)點構(gòu)成。隱含層只有一個隱含層單 元,采用徑向基函數(shù)作為其輸出特性。第三層是輸出 層,由若干個線性求和單元的輸出節(jié)點組成,它對輸入 模式的作用產(chǎn)生響應。輸入層節(jié)點傳遞輸入信號到隱含 層。從輸入空間到隱含層空間的變換是非線性的,而從 隱含層空間到輸出層空間的變換是線性的。網(wǎng)絡輸出節(jié) 點計算隱節(jié)點給出基函數(shù)的線性組合。輸入層到隱含層 之間的權(quán)值固定為 1,只有隱含層到輸出層之間的權(quán)值 W kj (k=1, 2, L ; j=1, 2, M 可調(diào)。圖 1 RBF神經(jīng)網(wǎng)絡的組成 TECHNOLOGY在圖 1中,輸入層由 P 個信號源節(jié)點組成。設 N 為當前訓練的樣本總數(shù),對于訓練集的每個樣本即為

5、輸入矢量:X=(xl , x 2, x p ,其中 x i (i=1, P 為網(wǎng)絡的第 i 個輸入。隱含層由 M 個隱節(jié)點組成。每個隱含層節(jié)點的激活函數(shù)是一個徑向基函數(shù),它是一種局部分布的中心點徑向?qū)ΨQ衰減的非負非線性函數(shù)。由于高斯基函數(shù)具備表示形式簡單、徑向?qū)ΨQ、光滑性好、易于進行理論分析等優(yōu)點,所以文中隱含層變換函數(shù)采用高斯基函數(shù),其表達形式如下所示:j=1, 2, M (1其中, 12p T 為網(wǎng)絡輸入矢量。C j 為隱含層第 j 個高斯單元的中心矢量,與 X 具有相同維數(shù)的向量, C j =(cj1, c j2, c jp , (j=l, 2,M 。 ðj 是第 j 個感知的

6、變量 (可以自由選擇的參數(shù) ,M 是隱節(jié)點范數(shù),表示j 個節(jié)點的輸由 高 斯 公 式 可y L ,2jw kj 為第 , 2, M算法RBF 網(wǎng)絡中心學習過程分兩步:一是根據(jù)輸入樣本確定隱含層各節(jié)點的變換函數(shù)的中心 C j 和半徑 j ;二是采用誤差校正學習算法,調(diào)節(jié)輸出層的權(quán) W 。其目的就是把輸入數(shù)據(jù)分配到一定數(shù)目的有意義的類別中去,即 根據(jù)歐氏空間中的距離來對輸入向量進行聚類。本文采 用自適應調(diào)整聚類中心的方法動態(tài)均值聚類法。 該方法的基本思想是:首先已知據(jù)聚類中心的數(shù) 目,然后隨著向量的輸入,計算輸入向量與特定聚類中 心的歐氏距離。如果距離小于門限值,則將該聚類中心 所對應的輸入向量的

7、平均值作為新的聚類中心;如果距 離大于門限值,則將剛輸入的向量作為新的聚類中心。 再接著輸入向量,直到確定所有的聚類中心。2.2 動態(tài)K-均值聚類算法在RBF中的應用動態(tài) K-均值聚類算法在 RBF 網(wǎng)絡中心選取中的作用 是調(diào)整聚類中心,使網(wǎng)絡中心的選取更精確。它的計算 過程可以簡要的描述如下:首先,令類別數(shù)為 0(第一個輸入會強迫創(chuàng)建出一 個類別模式以支持該輸入。以后,每遇到每一個新的 輸入向量,則計算它與任何一個已分配的類別模式之間 的距離。如果指定第 P 個輸入向量為 X (p 以及第 j 個聚類 中心為 C j ,則歐氏距離 d 可以表示為:3和所有已分配的模式類別之間 C k ,應有

8、 d 0= (p - Cj , j=1, T , j k其 中 T在確定了與輸入矢量最近的中心后, k 就已經(jīng)確定 了,從而 d0也就確定了。先把它和距離門限值 進行比 較,會有如下兩種情況:(1當 d 0<時,輸入矢量 X (p 在允許的誤差范圍 內(nèi),該輸入矢量屬于第 k 個類別。也就是說,如果用 S k 表示第 K X (p S k- (4個聚類中心所對的輸入矢量的個 數(shù)。(2當 d 0>時,輸入矢量 X (p 不在允許的誤差范圍 內(nèi),從而不能分配到該類別中去。此時,應該以 X (p 為 中心,分配一個新的聚類中心,算法流程圖如圖 2所示。 85TECHNOLOGY (5本實驗

9、通過 RBF K-均值聚類和動態(tài) K-PC 機一臺,所用工具為 考慮非線性函數(shù),用 RBF 神經(jīng)網(wǎng)絡進行函數(shù)逼近。x 以 0.1為間隔在 0, 10上均勻取值,可得到 100個樣本作為訓練樣本。 RBF 神經(jīng)網(wǎng)絡的中心點個數(shù)取 m=20,基函數(shù)用高斯函數(shù)。對分別采用 K-均值算法和 動態(tài) K-均值算法確定 RBF 神經(jīng)網(wǎng)絡中心進行比較:采 用 K-均值聚類算法,訓練時樣本的最小平均相對誤差 為 0.1014327,圖 3為 K-均值聚類法 RBF 擬合曲線。采用 動態(tài) K-均值聚類算法,訓練時樣本的平均相對誤差為0.0731432,圖 4為動態(tài) K-均值聚類法 RBF 擬合曲線。可 見采用動態(tài)

10、 K-均值聚類算法可以獲得更好的效果。四、結(jié)論本文在 k-均值聚類算法的基礎上,將動態(tài)均值聚類 方法應用到 RBF 神經(jīng)網(wǎng)絡。該方法有效地解決了 k-均值 聚類的局限性,提高了 RBF 的網(wǎng)絡學習能力。通過仿真 實驗驗證了該方法的實用性和精確度,可供進一步的研 究和實際應用。 參考文獻1閻平凡,張長水.人工神經(jīng)網(wǎng)絡與模擬進化計算M.北京:清華 大學出版社,2003.2張海朝,黃淼.基于RBF神經(jīng)網(wǎng)絡的B樣條曲面重構(gòu)J,微電子 學與計算機,2008,7.3蘭天鴿,方勇華.構(gòu)造RBF神經(jīng)網(wǎng)絡及其參數(shù)優(yōu)化J,計算機工 程,2008,33(5.4Roy A,Govil S,Miranda R.A Ne

11、ural Network Learning Theory and aPolynomial Time RBF AlgorithmJ.IEEE Trans.on Neural Network,1997,8(6:1301-1313.5潘登,鄭應平.基于RBF神經(jīng)網(wǎng)絡的網(wǎng)格數(shù)據(jù)聚類方法J.計算 機應用,2007,26(2.6任江濤,孫婧昊.一種用于文本聚類的改進的K均值算法J.計算 機應用,2006,26(6.7Mashor M Y.Hybrid training algorithm for RBF networkJ.I n t e r n a -t i o n a l J o u r n a l o

12、 f t h e C o m p u t e r , t h e I n t e r n e t a n d Management,2000,8(2:48-65.8B i a n c h i n i M , F r a s c o n o P , C o r i M. L e a r n i n g w i t h o u t minima radialbasis function networkJ.IEEE Trans on Neural Networks,1995,6(3:749-756.9Pedrycz W.Conditional fuzzy clustering in the design of radial ba-sis function neural networkJ.IEEE Trans on Neural Networks,1998,9(4:601-612.10G o n z a l e z J , P o j a s I