小波神經(jīng)網(wǎng)絡(luò)

1、智能中國(guó)網(wǎng)提供學(xué)習(xí)支持智能中國(guó)網(wǎng)提供學(xué)習(xí)支持3.3 小波神經(jīng)網(wǎng)絡(luò) 3.3.1 概述p小波神經(jīng)網(wǎng)絡(luò)（小波神經(jīng)網(wǎng)絡(luò)（Wavelet Neural Network, WNNWavelet Neural Network, WNN）是小波分析理論與神經(jīng)網(wǎng)絡(luò)理論相結(jié)合的產(chǎn)物是小波分析理論與神經(jīng)網(wǎng)絡(luò)理論相結(jié)合的產(chǎn)物 pPatiPati和和KrishnaprasadKrishnaprasad提出了離散仿射小波網(wǎng)絡(luò)提出了離散仿射小波網(wǎng)絡(luò)模型，其基本思想是將離散小波變換引入神經(jīng)網(wǎng)模型，其基本思想是將離散小波變換引入神經(jīng)網(wǎng)絡(luò)模型，通過對(duì)絡(luò)模型，通過對(duì)SigmoidSigmoid函數(shù)的平移伸縮構(gòu)成中函數(shù)的平移伸縮構(gòu)成

2、中的仿射框架，進(jìn)而構(gòu)造小波神經(jīng)網(wǎng)絡(luò)。的仿射框架，進(jìn)而構(gòu)造小波神經(jīng)網(wǎng)絡(luò)。pZhang QinghuZhang Qinghu等等19921992年正式提出小波神經(jīng)網(wǎng)絡(luò)年正式提出小波神經(jīng)網(wǎng)絡(luò)的概念，其思想是用小波元代替神經(jīng)元，即用已的概念，其思想是用小波元代替神經(jīng)元，即用已定位的小波函數(shù)代替定位的小波函數(shù)代替Sigmoid Sigmoid 函數(shù)作為激活函函數(shù)作為激活函數(shù)，通過仿射變換建立起小波變換與網(wǎng)絡(luò)系數(shù)之?dāng)?shù)，通過仿射變換建立起小波變換與網(wǎng)絡(luò)系數(shù)之間的連接。間的連接。3.3.1 概述p小波神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)小波神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)小波變換通過尺度伸縮和平移對(duì)信號(hào)進(jìn)行多尺度分析，能有效提取信號(hào)的局部信息神經(jīng)網(wǎng)

3、絡(luò)具有自學(xué)習(xí)、自適應(yīng)和容錯(cuò)性等特點(diǎn)，并且是一類通用函數(shù)逼近器。小波神經(jīng)網(wǎng)絡(luò)的基元和整個(gè)結(jié)構(gòu)是依據(jù)小波分析理論確定的，可以避免BP神經(jīng)網(wǎng)絡(luò)等結(jié)構(gòu)設(shè)計(jì)上的盲目性小波神經(jīng)網(wǎng)絡(luò)有更強(qiáng)的學(xué)習(xí)能力，精度更高對(duì)同樣的學(xué)習(xí)任務(wù)，小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)更簡(jiǎn)單，收斂速度更快。 3.3.1 概述p小波神經(jīng)網(wǎng)絡(luò)類型小波神經(jīng)網(wǎng)絡(luò)類型松散型小波分析對(duì)神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行初步處理，使得輸入神經(jīng)網(wǎng)小波分析對(duì)神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行初步處理，使得輸入神經(jīng)網(wǎng)絡(luò)的信息更易于神經(jīng)網(wǎng)絡(luò)進(jìn)行處理絡(luò)的信息更易于神經(jīng)網(wǎng)絡(luò)進(jìn)行處理 融合型小波和神經(jīng)網(wǎng)絡(luò)直接融合，即小波元代替神經(jīng)元,輸入層到隱含層的權(quán)值及隱含層閾值分別由小波函數(shù)的尺度和平移參數(shù)所代替 （1

4、1）連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡(luò)）連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡(luò) （2 2）由框架作為基函數(shù)的小波神經(jīng)網(wǎng)絡(luò)）由框架作為基函數(shù)的小波神經(jīng)網(wǎng)絡(luò) （3 3）正交基小波網(wǎng)絡(luò)）正交基小波網(wǎng)絡(luò) 3.3.1 概述p小波神經(jīng)網(wǎng)絡(luò)存在著以下一些不足之處小波神經(jīng)網(wǎng)絡(luò)存在著以下一些不足之處1）在多維輸入情況下，隨著網(wǎng)絡(luò)的輸入維數(shù)增加，網(wǎng)絡(luò)所訓(xùn)練的樣本呈指數(shù)增長(zhǎng)，網(wǎng)絡(luò)結(jié)構(gòu)也將隨之變得龐大，使得網(wǎng)絡(luò)收斂速度大大下降。2）隱含層結(jié)點(diǎn)數(shù)難以確定。3）小波網(wǎng)絡(luò)中初始化參數(shù)問題，若尺度參數(shù)與位移參數(shù)初始化不合適，將導(dǎo)致整個(gè)網(wǎng)絡(luò)學(xué)習(xí)過程的不收斂。4）未能根據(jù)實(shí)際情況來自適應(yīng)選取合適的小波基函數(shù)。 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法p待確定參

5、數(shù)待確定參數(shù)連接權(quán)值尺度系統(tǒng)平移系數(shù)p小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法 標(biāo)準(zhǔn)BP算法BP算法的改正算法3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法p設(shè)小波神經(jīng)網(wǎng)絡(luò)為設(shè)小波神經(jīng)網(wǎng)絡(luò)為3 3層網(wǎng)絡(luò)，包括輸入層、隱層網(wǎng)絡(luò)，包括輸入層、隱含層和輸出層，輸出層采用線性輸出，輸入層含層和輸出層，輸出層采用線性輸出，輸入層有有 個(gè)神經(jīng)元，隱含層有個(gè)神經(jīng)元，隱含層有 個(gè)神經(jīng)元，輸出層有個(gè)神經(jīng)元，輸出層有 個(gè)神經(jīng)元。個(gè)神經(jīng)元。(1,2,)M mM(1,2,)K kK(1,2,)N nN3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法p隱含層選取的神經(jīng)元激勵(lì)函數(shù)為隱含層選取的神經(jīng)元激勵(lì)函數(shù)為MorletMorlet小

6、波小波p訓(xùn)練時(shí)，在權(quán)值和閾值的修正算法中加入動(dòng)量訓(xùn)練時(shí)，在權(quán)值和閾值的修正算法中加入動(dòng)量項(xiàng)，利用前一步得到的修正值來平滑學(xué)習(xí)路徑，項(xiàng)，利用前一步得到的修正值來平滑學(xué)習(xí)路徑，避免陷入局部極小值，加速學(xué)習(xí)速度。為了避免避免陷入局部極小值，加速學(xué)習(xí)速度。為了避免在逐個(gè)樣本訓(xùn)練時(shí)，引起權(quán)值和閾值修正時(shí)發(fā)生在逐個(gè)樣本訓(xùn)練時(shí)，引起權(quán)值和閾值修正時(shí)發(fā)生的振蕩，采用成批訓(xùn)練方法。對(duì)網(wǎng)絡(luò)的輸出也并的振蕩，采用成批訓(xùn)練方法。對(duì)網(wǎng)絡(luò)的輸出也并不是簡(jiǎn)單的加權(quán)求和，而是先對(duì)網(wǎng)絡(luò)隱含層小波不是簡(jiǎn)單的加權(quán)求和，而是先對(duì)網(wǎng)絡(luò)隱含層小波結(jié)點(diǎn)的輸出加權(quán)求和，再經(jīng)結(jié)點(diǎn)的輸出加權(quán)求和，再經(jīng)SigmoidSigmoid函數(shù)變換后，函數(shù)

7、變換后，得到最終的網(wǎng)絡(luò)輸出，有利于處理分類問題，同得到最終的網(wǎng)絡(luò)輸出，有利于處理分類問題，同時(shí)減少訓(xùn)練過程中發(fā)散的可能性時(shí)減少訓(xùn)練過程中發(fā)散的可能性 2h()cos(1.75)exp( 0.5() )xbxbxbaaa3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法p給定給定 組輸入輸出樣本，學(xué)習(xí)組輸入輸出樣本，學(xué)習(xí)率為率為 ，動(dòng)量因子為，動(dòng)量因子為 p目標(biāo)誤差函數(shù)目標(biāo)誤差函數(shù) 式中 為輸出層第n個(gè)結(jié)點(diǎn)的期望輸出； 為網(wǎng)絡(luò)實(shí)際輸出 p算法的目標(biāo)算法的目標(biāo)不斷調(diào)整網(wǎng)絡(luò)的各項(xiàng)參數(shù)，使得誤差函數(shù)達(dá)到最小值 (1,2,)P pP(0) (01)N1111()2PPpppnnppnEEdyPpndpny3.3.2

8、小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法p隱含層輸出隱含層輸出 為輸入層的輸入為輸入層的輸入 為隱含層的輸出 為輸入層結(jié)點(diǎn) 為與隱含層結(jié)點(diǎn) 為之間的權(quán)值； 為Morlet小波函數(shù)。p 1h(),pMpppkkkkkmmmkIbOIw xapmxpkOkmwmkh()3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法p輸出層輸出為輸出層輸出為 為輸出層的輸入 為隱含層結(jié)點(diǎn) 與輸出層結(jié)點(diǎn) 之間的權(quán)值(),Nppppnnnnkkyh IIw OpnInkwn k3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法p隱含層與輸出層之間的權(quán)值調(diào)整式隱含層與輸出層之間的權(quán)值調(diào)整式 、 分別表示調(diào)整前與調(diào)整后的隱含層結(jié)分別表示調(diào)整前與調(diào)整后的隱含層結(jié)點(diǎn)

9、點(diǎn) 與輸出層結(jié)點(diǎn)與輸出層結(jié)點(diǎn) 之間的連接權(quán)值； 為動(dòng)量項(xiàng)。 1pnewoldoldnknknknkmwww ()(1)pppppnnknnnnnkEdyyywoldnkwnewnkwknoldnkw1pnewoldoldkmkmkmkmmwww 3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法p輸入層結(jié)點(diǎn)與隱含層結(jié)點(diǎn)之間的權(quán)值調(diào)整式輸入層結(jié)點(diǎn)與隱含層結(jié)點(diǎn)之間的權(quán)值調(diào)整式 、 分別為調(diào)整前與調(diào)整后的輸入層結(jié)點(diǎn) 與隱含層結(jié)點(diǎn) 之間的權(quán)值 為動(dòng)量項(xiàng) 1pnewoldoldkmkmkmkmmwww 1()ppNpnkkmnknkmpnkmkEOwxwIoldkmwnewkmwmkoldkmw3.3.2 小波神經(jīng)網(wǎng)

10、絡(luò)參數(shù)調(diào)整算法p伸縮因子調(diào)整式伸縮因子調(diào)整式 、 為調(diào)整前與調(diào)整后的伸縮因子；為調(diào)整前與調(diào)整后的伸縮因子； 為伸縮因子動(dòng)量項(xiàng)。1kpnewoldoldkkakmaaa 1()kppNnkanknknkkEOwaaoldkanewkaoldka3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法p平移因子調(diào)整式平移因子調(diào)整式p 、 為調(diào)整前與調(diào)整后的平移因子；為調(diào)整前與調(diào)整后的平移因子；p 為平移因子動(dòng)量項(xiàng)。為平移因子動(dòng)量項(xiàng)。 1kpnewoldoldkkbkmbbb 1()kppNnkbnknknkkEOwbboldkbnewkb。oldkb3.3.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整算法p學(xué)習(xí)算法的具體實(shí)現(xiàn)步驟學(xué)習(xí)算法

11、的具體實(shí)現(xiàn)步驟1）網(wǎng)絡(luò)參數(shù)的初始化將小波的伸縮因子、平移因子、網(wǎng)絡(luò)連接權(quán)值、學(xué)習(xí)率以及動(dòng)量將小波的伸縮因子、平移因子、網(wǎng)絡(luò)連接權(quán)值、學(xué)習(xí)率以及動(dòng)量因子賦予初始值，并置輸入樣本計(jì)數(shù)器因子賦予初始值，并置輸入樣本計(jì)數(shù)器 。2）輸入學(xué)習(xí)樣本及相應(yīng)的期望輸出。3）計(jì)算隱含層及輸出層的輸出。4）計(jì)算誤差和梯度向量。5）輸入下一個(gè)樣本，即 。6）判斷算法是否結(jié)束。當(dāng) 時(shí)，即代價(jià)函數(shù) 小于預(yù)先設(shè)定的某個(gè)精度值 ，停止網(wǎng)絡(luò)的學(xué)習(xí)，否則將計(jì)數(shù)器重置為1，并轉(zhuǎn)步驟2）循環(huán)。 1pp1p E(0) E3.3.3 小波神經(jīng)網(wǎng)絡(luò)的MATLAB函數(shù)p靜態(tài)非線性回歸小波神經(jīng)網(wǎng)絡(luò)的創(chuàng)建靜態(tài)非線性回歸小波神經(jīng)網(wǎng)絡(luò)的創(chuàng)建 指令格

12、式THETA = wnetreg(y, x, nbwavelon, max_epoch, initmode, min_nbw, levels)參數(shù)說明輸出參數(shù)輸出參數(shù) THETA THETA 小波回歸模型的估計(jì)參數(shù)。小波回歸模型的估計(jì)參數(shù)。輸入?yún)?shù)輸入?yún)?shù)uy y 是一個(gè)列向量，是一個(gè)列向量，x x 對(duì)于單輸入為一個(gè)列向量；對(duì)于多輸入，對(duì)于單輸入為一個(gè)列向量；對(duì)于多輸入，x=x1 x2 . xmx=x1 x2 . xm，每個(gè)，每個(gè)xixi都是一個(gè)列向量。都是一個(gè)列向量。 unbwavelonnbwavelon：構(gòu)建小波網(wǎng)絡(luò)的小波數(shù)量：構(gòu)建小波網(wǎng)絡(luò)的小波數(shù)量umax_epochmax_epoch

13、：最大訓(xùn)練次數(shù)；：最大訓(xùn)練次數(shù)；initmodeinitmode為初始化模式為初始化模式u如果如果initmode=THETA initmode=THETA 則為一個(gè)包含小波神經(jīng)網(wǎng)絡(luò)參數(shù)的矩陣，則為一個(gè)包含小波神經(jīng)網(wǎng)絡(luò)參數(shù)的矩陣，這些參數(shù)用來初始化網(wǎng)絡(luò)。這些參數(shù)用來初始化網(wǎng)絡(luò)。min_nbwmin_nbw：最小輸入模式數(shù)。：最小輸入模式數(shù)。ulevelslevels：初始化過程中的級(jí)別數(shù)；：初始化過程中的級(jí)別數(shù)；min_nbwmin_nbw和和levelslevels為可選項(xiàng)。為可選項(xiàng)。 3.3.3 小波神經(jīng)網(wǎng)絡(luò)的MATLAB函數(shù)p小波神經(jīng)網(wǎng)絡(luò)的仿真小波神經(jīng)網(wǎng)絡(luò)的仿真pwavenet( )wavenet( )，可以很方便地得到網(wǎng)絡(luò)的，可以很方便地得到網(wǎng)絡(luò)的仿