小波神經(jīng)網(wǎng)絡(luò)與其應(yīng)用

1、小波神經(jīng)網(wǎng)絡(luò)及其應(yīng)用1014202032陸宇穎摘要：小波神經(jīng)網(wǎng)絡(luò)是將小波理論和神經(jīng)網(wǎng)絡(luò)理論結(jié)合起來(lái)的一種神經(jīng)網(wǎng)絡(luò)，它避免了BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的盲目性和局部最優(yōu)等非線性?xún)?yōu)化問(wèn)題，大大簡(jiǎn)化了訓(xùn)練，具有較強(qiáng)的函數(shù)學(xué)習(xí)能力和推廣能力及廣闊的應(yīng)用前景。首先闡明了小波變換和多分辨分析理論，然后介紹小波神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型和應(yīng)用概況。1.研究背景與意義人工神經(jīng)網(wǎng)絡(luò)是基于生物神經(jīng)系統(tǒng)研究而建立的模型，它具有大規(guī)模并行處理和分布式存儲(chǔ)各類(lèi)圖像信息的功能，有很強(qiáng)的容錯(cuò)性、聯(lián)想和記憶能力，因而被廣泛地應(yīng)用于故障診斷、模式識(shí)別、聯(lián)想記憶、復(fù)雜優(yōu)化、圖像處理以及計(jì)算機(jī)領(lǐng)域。但是，人工神經(jīng)網(wǎng)絡(luò)模型建立的物理解釋?zhuān)W(wǎng)絡(luò)激活函

2、數(shù)采用的全局性函數(shù)，網(wǎng)絡(luò)收斂性的保證，網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)的經(jīng)驗(yàn)性確定等問(wèn)題尚有待進(jìn)一步探討和改善。小波理論自Morlet提出以來(lái)，由于小波函數(shù)具有良好的局部化性質(zhì)，已經(jīng)廣泛滲透到各個(gè)領(lǐng)域。小波變換方法是一種窗口大小固定但其形狀可以改變,時(shí)間窗和頻率窗都可以改變的時(shí)頻局部化分析方法,由于在低頻部分具有較高的頻率分辨率和較低的時(shí)間分辨率,在高頻部分具有較高的時(shí)間分辨率和較低的頻率分辨率,所以被譽(yù)為數(shù)學(xué)顯微鏡。正是這種特性,使小波變換具有對(duì)信號(hào)的自適應(yīng)性?；诙喾直娣治龅男〔ㄗ儞Q由于具有時(shí)頻局部化特性而成為了信號(hào)處理的有效工具。實(shí)際應(yīng)用時(shí)常采用快速算法，利用正交小波基將信號(hào)分解到不同尺度上。實(shí)現(xiàn)過(guò)程如同重復(fù)

3、使用一組高通和低通濾波器把信號(hào)分解到不同的頻帶上，高通濾波器產(chǎn)生信號(hào)的高頻細(xì)節(jié)分量，低通濾波器產(chǎn)生信號(hào)的低頻近似分量。每分解一次信號(hào)的采樣頻率降低一倍，近似分量還可以通過(guò)高通濾波和低通濾波進(jìn)一步地分解，得到下一層次上的兩個(gè)分解分量。而小波神經(jīng)網(wǎng)絡(luò)（WaveletNeuralNetwork,WNN）正是在近年來(lái)小波分析研究獲得突破的基礎(chǔ)上提出的一種人工神經(jīng)網(wǎng)絡(luò)。它是基于小波分析理論以及小波變換所構(gòu)造的一種分層的、多分辨率的新型人工神經(jīng)網(wǎng)絡(luò)模型，即用非線性小波基取代了通常的非線性Sigmoid函數(shù)，其信號(hào)表述是通過(guò)將所選取的小波基進(jìn)行線性疊加來(lái)表現(xiàn)的。小波神經(jīng)網(wǎng)絡(luò)這方面的早期工作大約開(kāi)始于1992

4、年,主要研究者是ZhangQ、HaroldHS和焦李成等。其中,焦李成在其代表作神經(jīng)網(wǎng)絡(luò)的應(yīng)用與實(shí)現(xiàn)中從理論上對(duì)小波神經(jīng)網(wǎng)絡(luò)進(jìn)行了較為詳細(xì)的論述。近年來(lái),人們?cè)谛〔ㄉ窠?jīng)網(wǎng)絡(luò)的理論和應(yīng)用方面都開(kāi)展了不少研究工作。小波神經(jīng)網(wǎng)絡(luò)具有以下特點(diǎn)。首先，小波基元及整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的確定有可靠的理論根據(jù)，可避免BP神經(jīng)網(wǎng)絡(luò)等結(jié)構(gòu)設(shè)計(jì)上的盲目性；其次，網(wǎng)絡(luò)權(quán)系數(shù)線性分布和學(xué)習(xí)目標(biāo)函數(shù)的凸性，使網(wǎng)絡(luò)訓(xùn)練過(guò)程從根本上避免了局部最優(yōu)等非線性?xún)?yōu)化問(wèn)題；第三，有較強(qiáng)的函數(shù)學(xué)習(xí)能力和推廣能力。2.數(shù)學(xué)模型與小波工具2.1小波變換及多分辨分析在函數(shù)空間LR（或更廣泛的Hilbert空間）中，選擇一個(gè)母小波函數(shù)（又稱(chēng)為基本2()

5、2()小波函數(shù)）(x)，使其滿(mǎn)足允許條件：2(w)Cdww(1)式中(w)為(x)的Fourier變換。對(duì)(x)作伸縮、平移變換得到小波基函數(shù)系a,b(x)1xb2(x)()(a,bR)(2)a,baa對(duì)任意2fxLR,其連續(xù)小波變換定義為：()()1W(a,b)f(x)dx(3)fa,bCR反演公式為：1f(x)Wf(a,b)abdadb(4),C0在實(shí)際應(yīng)用中，特別是計(jì)算機(jī)實(shí)現(xiàn)中，往往要把上述的連續(xù)小波及其變換離散化，通常mm采用二進(jìn)制離散，即令a2,bk2，則1m2mk(x)m(2xk)(m,kZ)(5),2二進(jìn)小波一定是一個(gè)允許小波，且是一個(gè)正交小波基。考慮一個(gè)連續(xù)的、平方可積的函數(shù)2

6、fxLR在分辨率2()()m下的逼近()fxm，由多分辨分析理論可知：f(x)a(x)(6)mmkmkk(x)是尺度函數(shù)，對(duì)其作伸縮、平移變換得到mk(x)。1m2()(2)(,)(7)2mkxmxkmkZaf(x)(x)dx(8)mkmkMallat同時(shí)證明了函數(shù)f(x)在2m和m21分辨率下的信息差別（即細(xì)節(jié)）Df(x)m，可以通過(guò)將函數(shù)f(x)在一小波正交基上分解而獲得，從而定義了一種完全而且正交的多分辨率描述，即小波描述。Df(x)d(x)(9)mmkmkkdf(x)(x)dx(10)mkmkmk(x)就是式（5）定義的二進(jìn)小波，則f(x)在m21分辨率下的逼近式為：f1(x)f(x)

7、d(x)(11)mmmkmkkMallat并指出，對(duì)于任意一個(gè)函數(shù)2fxLR可以在一組正交小波基上展開(kāi)：()()f(x)dmkmk(x)(12)mk式（11）是一個(gè)平方可積函數(shù)的小波分解，提供了小波神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的理論框架。.上述理論可推廣到多維情況。我們以二維為例，若定義二維尺度函數(shù)(x,x)12，則(x,x)(x)(x)(13)1212則有:mkmmm(x,x)2(2xk,2xk)121122(x)(x)(14)mk1mk212同理有:lmlmm121122mk(x,x)2(2xk,2xk)l1,2,3(15)1(x,x)(x)(x)12122(x,x)(x)(x)(16)12123(x,x

8、)(x)(x)12122.2小波神經(jīng)網(wǎng)絡(luò)模型小波神經(jīng)網(wǎng)絡(luò)模型的典型結(jié)構(gòu)如圖1所示，包括輸入層、輸出層和隱層。隱層包含兩種節(jié)點(diǎn)：小波基節(jié)點(diǎn)（節(jié)點(diǎn)）和尺度函數(shù)節(jié)點(diǎn)（節(jié)點(diǎn)）。2.2.1分層多分辨學(xué)習(xí)網(wǎng)絡(luò)輸出f(x)在2L分辨率（最低的分辨率）上的逼近：nLf(x)f(x)a(x)(17)LLkLkk1fx在()L21分辨率上的逼近：nnLLf(x)f(x)a(x)d(x)(18)LLkLkLkLkk1k1nLa(x)LkLk表示f(x)在2L式（18）中的第一項(xiàng)k1分辨率上的逼近，在式（17）中已nL計(jì)算，即系數(shù)aLk與式（17）中相同。式（18）中的第二項(xiàng)k1d(x)LkLk表示增加的細(xì)節(jié)。再考慮

9、f(x)在L22，L23，分辨率上的逼近,有:nn2nLLLf(x)a(x)d(x)d(x)L2LkLkLkLkL1,kL1,kk1k1k12nLf(x)d(x)(19)L1L1,kL1,kk14nLf(x)f(x)d(x)L3L2L2,kL2,kk1L21nLf(x)f(x)d(x)011,k1,kk1LmnL2nLLa(x)d(x)LkLkmkmkk1m1k1上述方程式是小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，這種算法是Moody在1989年提出的。2.2.2網(wǎng)絡(luò)系數(shù)計(jì)算對(duì)于式（19）可以改寫(xiě)成下述形式：f(x)cii(20)ic是網(wǎng)絡(luò)權(quán)重系數(shù)，i是激活函數(shù)（尺度函數(shù)或小波函數(shù)）。設(shè)小波神經(jīng)網(wǎng)絡(luò)有n個(gè)i節(jié)

10、點(diǎn)，m個(gè)訓(xùn)練數(shù)據(jù)。則有：f(x)(x)(x)(x)c11121n11f(x)(x)(x)(x)c21222n22f(x)(x)(x)(x)cm1m2mnm3即fAc(21)式（20）的最小二乘解為：T1Tc(AA)A)fAf(22)A被稱(chēng)為A的偽逆矩陣。且2g(x)g(x)g(x)g(x)g(x)1i1i2i1iniiiiTAA2g(x)g(x)g(x)g(x)g(x)2i1i2i2iniiii(23)2g(x)g(x)g(x)g(x)g(x)ni1ini2iniiii如果樣本x均勻分布，i(i1,2,.,n)是正交基，i則TAA是一個(gè)nn單位矩陣，且TcAf(24)2.2.3小波神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

11、過(guò)程選擇合適的小波函數(shù)和尺度函數(shù)后，在最粗的尺度L上訓(xùn)練節(jié)點(diǎn)，直到網(wǎng)絡(luò)達(dá)到收斂。要使網(wǎng)絡(luò)達(dá)到收斂，需確定逼近誤差（在很多文獻(xiàn)中提出了誤差的計(jì)算方法）和增加合適的節(jié)點(diǎn)以減少逼近誤差。最后是優(yōu)化網(wǎng)絡(luò)，使用新的樣本來(lái)檢驗(yàn)網(wǎng)絡(luò)并移去權(quán)重小的節(jié)點(diǎn)直到滿(mǎn)足性能準(zhǔn)則。2.2.4計(jì)算復(fù)雜性小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練的計(jì)算復(fù)雜性介于O(N)和O(N2)之間，N為學(xué)習(xí)樣本數(shù)。如果學(xué)習(xí)樣本是均勻分布的，則計(jì)算復(fù)雜性為O(N)；如果學(xué)習(xí)樣本是非均勻分布的，則計(jì)算復(fù)雜性為O(N2)。3.數(shù)學(xué)應(yīng)用案例小波神經(jīng)網(wǎng)絡(luò)是基于小波分析而構(gòu)成的神經(jīng)網(wǎng)絡(luò)。它充分利用小波變換的良好局部化性質(zhì)并結(jié)合神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能，因而具有較強(qiáng)的逼近、容錯(cuò)能

12、力，其實(shí)現(xiàn)過(guò)程也比較簡(jiǎn)單。小波神經(jīng)網(wǎng)絡(luò)在近十年來(lái)應(yīng)用較廣泛，主要應(yīng)用于以下幾個(gè)領(lǐng)域。3.1非線性函數(shù)逼近非線性函數(shù)逼近具有非常重要的意義，很多實(shí)際問(wèn)題通過(guò)建模都可歸結(jié)于非線性函數(shù)逼近問(wèn)題。而小波神經(jīng)網(wǎng)絡(luò)是通過(guò)對(duì)小波分解進(jìn)行平移和伸縮變換之后得到的級(jí)數(shù)，具有小波分解的函數(shù)逼近性質(zhì)。由于它引入了伸縮和平移因子，又比一般的小波分解有更多的自由度，而且還具有小波變換在高頻域的時(shí)間精度和低頻域的頻率精度，故能夠更加細(xì)致地描述復(fù)雜函數(shù)的特性。Zhang和Benveniste首先將小波理論應(yīng)用于神經(jīng)網(wǎng)絡(luò)而提出了非正交小波神經(jīng)網(wǎng)絡(luò)9，并首次將這種新理論應(yīng)用于函數(shù)逼近，取得了很好的結(jié)果。他們分別對(duì)一維、二維非線

13、性函數(shù)進(jìn)行擬合逼近的研究，采用高斯函數(shù)推導(dǎo)式222x/2(xx)/2(x)xeand(x)xxe作為小波基函數(shù)，對(duì)小波神經(jīng)網(wǎng)絡(luò)的逼近1212模擬結(jié)果與BP神經(jīng)網(wǎng)絡(luò)和小波分解方法進(jìn)行對(duì)比，結(jié)果顯示小波神經(jīng)網(wǎng)絡(luò)對(duì)非線性函數(shù)的擬合逼近明顯要優(yōu)于BP神經(jīng)網(wǎng)絡(luò)和小波分解方法（見(jiàn)圖2，實(shí)線是實(shí)際曲線，虛線是逼近曲線），并吸收了兩者的許多優(yōu)點(diǎn)，摒棄了兩者的一些缺點(diǎn)。李銀國(guó)等則在前人的基礎(chǔ)上提出了小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的時(shí)（空）域“分解綜合”方法18，并通過(guò)仿真實(shí)驗(yàn)（非線性函數(shù)逼近）表明：此種方法較好地解決了小波神經(jīng)網(wǎng)絡(luò)中普遍存在的“維數(shù)災(zāi)”問(wèn)題，且函數(shù)逼近能力強(qiáng)，精度便于掌握，訓(xùn)練過(guò)程方便，不存在局部最優(yōu)問(wèn)題

14、。3.2信號(hào)表示和分類(lèi)小波神經(jīng)網(wǎng)絡(luò)用于信號(hào)表示已有很多X例，但用于信號(hào)分類(lèi)的很少。HaroldHS等構(gòu)造了自適應(yīng)小波神經(jīng)網(wǎng)絡(luò)并將其應(yīng)用于語(yǔ)音識(shí)別。他們首先提出了兩種不同的自適應(yīng)小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（均采用高斯函數(shù)x2/22/2(x)cos(1.75x)e作為小波基函數(shù)）和能量函數(shù)分別用于信號(hào)表示與分類(lèi)，并引入了超小波（super-wavelet）這一新術(shù)語(yǔ)（對(duì)于具體的問(wèn)題，超小波不僅自適應(yīng)計(jì)算定型小波函數(shù)的參數(shù)，而且自適應(yīng)計(jì)算小波形狀）。他們將這些理論先應(yīng)用于一維信號(hào)的表示與分類(lèi)，隨后又討論了其可能在語(yǔ)音識(shí)別中的應(yīng)用，并展望這些理論可能會(huì)廣泛應(yīng)用于信號(hào)識(shí)別與分類(lèi)和圖像識(shí)別與分類(lèi)。3.3材料損傷診斷

15、吳耀華等介紹了多變量輸入、輸出系統(tǒng)的B樣條小波神經(jīng)網(wǎng)絡(luò)和用于分類(lèi)的自適應(yīng)B樣條小波神經(jīng)網(wǎng)絡(luò)，應(yīng)用于智能復(fù)合材料應(yīng)變損傷位置的診斷。他們?cè)趯?shí)際操作中采用了一些技術(shù)處理以減少小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，從而加快了訓(xùn)練的速度和提高了識(shí)別能力。并且在同樣條件下將這兩種小波網(wǎng)絡(luò)與BP網(wǎng)絡(luò)相對(duì)比，結(jié)果表明B樣條小波神經(jīng)網(wǎng)絡(luò)的建模精度和收斂速度明顯高于BP神經(jīng)網(wǎng)絡(luò)（圖3）。3.4錯(cuò)誤診斷與分析ZhaoJinsong等提出了一種新穎的小波神經(jīng)網(wǎng)絡(luò)小波-Sigmoid基函數(shù)神經(jīng)網(wǎng)絡(luò)（wavelet-sigmoidbasicfunctionneuralnetwork,WSBFN），并將其應(yīng)用于動(dòng)態(tài)錯(cuò)誤診斷中。他們?yōu)?/p>

16、了解決小波神經(jīng)網(wǎng)絡(luò)的“瓶頸”效應(yīng)，提出了一種多維非乘積小波函數(shù)(x)cos(1.75x)ex2/22/2，并將其和相應(yīng)的尺度函數(shù)一起作為WSBFN隱層的激勵(lì)函數(shù)，同時(shí)將sigmoid基函數(shù)作為WSBFN輸出層的激勵(lì)函數(shù)。文獻(xiàn)中將WSBFN應(yīng)用于氫化裂解過(guò)程的錯(cuò)誤診斷中，并同前人提出的較好的錯(cuò)誤診斷方法之SBFN網(wǎng)絡(luò)進(jìn)行對(duì)比。結(jié)果顯示，WSBFN可以用更簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)而得到更好的診斷效果（WSBFN訓(xùn)練錯(cuò)誤遠(yuǎn)低于SBFN，而且錯(cuò)誤診斷準(zhǔn)確率達(dá)到100%，也優(yōu)于SBFN）。Bakshi和Stephanopoulos在多分辨率基礎(chǔ)上提出了正交小波神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用于靜態(tài)錯(cuò)誤3.5動(dòng)態(tài)建?，F(xiàn)實(shí)中，許

17、多問(wèn)題可以通過(guò)動(dòng)態(tài)建模來(lái)解決。雖然采用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性系統(tǒng)建模的研究很多，但是采用小波神經(jīng)網(wǎng)絡(luò)進(jìn)行動(dòng)態(tài)建模的則比較少。錢(qián)峻等應(yīng)用小波神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)非線性系統(tǒng)模型的在線建立及自校正算法，并將其應(yīng)用于微生物生長(zhǎng)過(guò)程的預(yù)測(cè)建模。他們?cè)诶^承前人對(duì)小波神經(jīng)網(wǎng)絡(luò)的診斷與分析問(wèn)題中，也取得了非常好的診斷效果。經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)方法的基礎(chǔ)上，引入了限定記憶最小二乘法以替代普通的最小二乘法來(lái)實(shí)現(xiàn)小波神經(jīng)網(wǎng)絡(luò)在線建模和校正算法。他們將其方法應(yīng)用于微生物生長(zhǎng)過(guò)程的預(yù)測(cè)建模，結(jié)果顯示該小波神經(jīng)網(wǎng)絡(luò)具有很好的預(yù)測(cè)功能和推廣性能（見(jiàn)圖4，實(shí)線是系統(tǒng)輸出，虛線是小波神經(jīng)網(wǎng)絡(luò)輸出）。其訓(xùn)練方法亦比用普通的最小二乘法快得多。

18、采用小波神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)動(dòng)態(tài)建模來(lái)解決自動(dòng)控制中的一些實(shí)際問(wèn)題也已有研究。Oussar等首次將小波神經(jīng)網(wǎng)絡(luò)應(yīng)用于動(dòng)態(tài)系統(tǒng)建模。他們采用高斯函數(shù)作為小波函數(shù)，提出了一種訓(xùn)練算法和用其構(gòu)建了反饋小波神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用于動(dòng)態(tài)非線性輸入輸出系統(tǒng)建模中（機(jī)器人手臂的液壓激勵(lì)器的建模）。將其建模效果與其他的輸入輸出模型（鉸鏈超平面模型和S形人工神經(jīng)網(wǎng)絡(luò)模型）進(jìn)行比較，結(jié)果表明，在輸入輸出系統(tǒng)建模中采用小波神經(jīng)網(wǎng)絡(luò)可以取得與采用S形神經(jīng)網(wǎng)絡(luò)同樣良好的建模效果。Safavi等采用小波神經(jīng)網(wǎng)絡(luò)來(lái)簡(jiǎn)化分裂蒸餾塔模型。他們采用一種混合模型替代傳統(tǒng)的機(jī)械模型，混合模型是在傳統(tǒng)的機(jī)械模型中加上了小波神經(jīng)網(wǎng)絡(luò)模塊，用來(lái)控制

19、蒸餾塔的輸入輸出模塊。同時(shí)，他們將其與傳統(tǒng)模型進(jìn)行比較，結(jié)果顯示，該模型大大簡(jiǎn)化了分裂蒸餾塔模型且保持了原有機(jī)械模型的精確性和內(nèi)部數(shù)據(jù)變量的有效性。3.6非平穩(wěn)時(shí)間序列預(yù)測(cè)與分析由于小波神經(jīng)網(wǎng)絡(luò)是用非線性小波基的線性疊加表示信號(hào)，故具有很好的特征提取和抑噪能力，特別適用于非平穩(wěn)時(shí)間序列預(yù)測(cè)與分析。Bakshi和Stephanopoulos則首次在多分辨率基礎(chǔ)上提出正交小波神經(jīng)網(wǎng)絡(luò)用于非平穩(wěn)時(shí)間序列預(yù)測(cè)與分析；楊宜康等則將小波神經(jīng)網(wǎng)絡(luò)應(yīng)用于測(cè)量中的異常數(shù)據(jù)診斷和消除。他們首先借助時(shí)-頻譜圖識(shí)別時(shí)間序列中異常數(shù)據(jù)的位置和性質(zhì)，然后利用小波神經(jīng)網(wǎng)絡(luò)作為擬合工具，同時(shí)引入加權(quán)誤差能量函數(shù)，通過(guò)適當(dāng)選擇

20、網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)優(yōu)化，實(shí)現(xiàn)了對(duì)受污染的時(shí)間序列的抗擾最佳逼近。實(shí)例表明，采用加權(quán)誤差能量函數(shù)的小波神經(jīng)網(wǎng)絡(luò)除了具有逼近性能好、抑噪特性強(qiáng)和收斂速度快的優(yōu)點(diǎn)外，還能有效地消除異常數(shù)據(jù)對(duì)擬合結(jié)果的影響，具有較強(qiáng)的魯棒性。4.小波神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)實(shí)例:采用sinc函數(shù)來(lái)驗(yàn)證小波神經(jīng)網(wǎng)絡(luò)的擬合能力。Sinc函數(shù)定義為：sin(xa)ysinc(xa)bb(xa)自變量x的X圍取為-5,5,采樣間隔為0.1，共101個(gè)樣本點(diǎn)，其中前70個(gè)樣本點(diǎn)作為訓(xùn)練樣本，后31個(gè)樣本點(diǎn)作為檢驗(yàn)樣本。a=1,b=1,因變量ysinc(x1)1。本例中采用緊致型小波神經(jīng)網(wǎng)絡(luò)，將神經(jīng)網(wǎng)絡(luò)隱含層中神經(jīng)元的傳統(tǒng)激發(fā)函數(shù)用小波函數(shù)來(lái)代

21、替，采用通常用于信號(hào)分類(lèi)的小波基函數(shù)Morlet小波函數(shù)（r通常取值為1.75）作為網(wǎng)絡(luò)隱含層的激勵(lì)函數(shù)。2h(t)cos(1.75t)exp(t/2)式中，t為函數(shù)的輸入。當(dāng)函數(shù)的輸入為零時(shí)，其輸出為1，達(dá)到最大值：當(dāng)輸入的絕對(duì)值較大時(shí)，輸出很快衰減為0。MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的傳遞函數(shù)沒(méi)有Morlet小波函數(shù)，所以將創(chuàng)建自定義的傳輸函數(shù)。神經(jīng)網(wǎng)絡(luò)工具箱中包含了一個(gè)自定義傳遞函數(shù)template_transfer,輸入helptemplate_transfer就可以得到有關(guān)此函數(shù)的幫助信息。將template_transfer函數(shù)作為一個(gè)模板，來(lái)生成自定義的傳遞函數(shù)。首先，在MATLA

22、B安裝目錄下找到template_transfer.m文件。將原傳遞函數(shù)改為Morlet小波函數(shù)表達(dá)式：acos(1.75.*n.)*exp(n.2)/2);再將函數(shù)的導(dǎo)數(shù)改為：da_dn(1)*(n.*a)1.75*sin(1.75.*n).*exp(n.2)/2);將輸入輸出X圍改為：infinf在主程序中將傳遞函數(shù)設(shè)為“template_transfer(本例中未改模板文件名稱(chēng))。程序如下：clcclearcloseall%產(chǎn)生訓(xùn)練樣本與測(cè)試樣本n1=-5:0.1:4.95;x1=sinc(n1+1)+1;n2=-4.95:0.1:5;x2=sinc(n1+1)+1;xn_train=n

23、1;%訓(xùn)練樣本，每一列為一個(gè)樣本dn_train=x1;xn_test=n2;dn_test=x2;%設(shè)置神經(jīng)網(wǎng)絡(luò)參數(shù)NodeNum=20;TypeNum=1;p1=xn_train;%訓(xùn)練輸入t1=dn_train;%訓(xùn)練輸出Epochs=1000;%訓(xùn)練次數(shù)P=xn_test;%測(cè)試輸入T=dn_test;%測(cè)試輸出（真實(shí)值）%設(shè)置網(wǎng)絡(luò)參數(shù)TF1=template_transfer;TF2=purelin;%設(shè)置傳遞參數(shù)，template_transfer為自定義Morlet小波函數(shù)net=newff(minmax(p1),NodeNumTypeNum,TF1TF2,trainlm);%指

24、定訓(xùn)練參數(shù)net.trainParam.epochs=Epochs;%最大訓(xùn)練次數(shù)net.trainParam.goal=1e-8;%最小均方誤差net.trainParam.min_grad=1e-20;%最小梯度net.trainParam.show=200;%訓(xùn)練顯示間隔net.trainParam.time=inf;%最大訓(xùn)練時(shí)間%訓(xùn)練與測(cè)試net=train(net,p1,t1);%訓(xùn)練X=sim(net,P);%測(cè)試，輸出為預(yù)測(cè)值%結(jié)果作圖plot(1:length(n2),x2,r+:,1:length(n2),X,bo:)title(+為真實(shí)值，o為預(yù)測(cè)值)5.結(jié)論與展望小波神經(jīng)網(wǎng)絡(luò)最初主要用于函數(shù)逼近，語(yǔ)音識(shí)別。隨著小波網(wǎng)絡(luò)的理論不斷發(fā)展，應(yīng)用領(lǐng)域也不斷拓寬，如非線性系統(tǒng)辨識(shí)，模式識(shí)別，信號(hào)分類(lèi)；心電信號(hào)的識(shí)別與分類(lèi)；數(shù)據(jù)與圖像壓縮。近年來(lái)，小波網(wǎng)絡(luò)在我國(guó)也引起了廣大學(xué)者的關(guān)注?？傮w而言，小