小波神經(jīng)網(wǎng)絡及其應用

1、小波神經(jīng)網(wǎng)絡及其應用32陸宇穎摘要：小波神經(jīng)網(wǎng)絡是將小波理論和神經(jīng)網(wǎng)絡理論結(jié)合起來的一種神經(jīng)網(wǎng)絡，它避免了BP神經(jīng)網(wǎng)絡結(jié)構(gòu)設計的盲目性和局部最優(yōu)等非線性優(yōu)化問題，大大簡化了訓練，具有較強的函數(shù)學習能力和推廣能力及廣闊的應用前景。首先闡明了小波變換和多分辨分析理論，然后介紹小波神經(jīng)網(wǎng)絡數(shù)學模型和應用概況。1. 研究背景與意義人工神經(jīng)網(wǎng)絡是基于生物神經(jīng)系統(tǒng)研究而建立的模型，它具有大規(guī)模并行處理和分布式存儲各類圖像信息的功能，有很強的容錯性、聯(lián)想和記憶能力，因而被廣泛地應用于故障診斷、模式識別、聯(lián)想記憶、復雜優(yōu)化、圖像處理以及計算機領域。但是，人工神經(jīng)網(wǎng)絡模型建立的物理解釋，網(wǎng)絡激活函數(shù)采用的全局性

2、函數(shù)，網(wǎng)絡收斂性的保證，網(wǎng)絡節(jié)點數(shù)的經(jīng)驗性確定等問題尚有待進一步探討和改善。小波理論自Morlet提出以來，由于小波函數(shù)具有良好的局部化性質(zhì)，已經(jīng)廣泛滲透到各個領域。小波變換方法是一種窗口大小固定但其形狀可以改變,時間窗和頻率窗都可以改變的時頻局部化分析方法,由于在低頻部分具有較高的頻率分辨率和較低的時間分辨率,在高頻部分具有較高的時間分辨率和較低的頻率分辨率,所以被譽為數(shù)學顯微鏡。正是這種特性,使小波變換具有對信號的自適應性?；诙喾直娣治龅男〔ㄗ儞Q由于具有時頻局部化特性而成為了信號處理的有效工具。實際應用時常采用Ma11at快速算法，利用正交小波基將信號分解到不同尺度上。實現(xiàn)過程如同重復使

3、用一組高通和低通濾波器把信號分解到不同的頻帶上，高通濾波器產(chǎn)生信號的高頻細節(jié)分量，低通濾波器產(chǎn)生信號的低頻近似分量。每分解一次信號的采樣頻率降低一倍，近似分量還可以通過高通濾波和低通濾波進一步地分解，得到下一層次上的兩個分解分量。而小波神經(jīng)網(wǎng)絡(WaveletNeuralNetwork,WNN)正是在近年來小波分析研究獲得突破的基礎上提出的一種人工神經(jīng)網(wǎng)絡。它是基于小波分析理論以及小波變換所構(gòu)造的一種分層的、多分辨率的新型人工神經(jīng)網(wǎng)絡模型，即用非線性小波基取代了通常的非線性Sigmoid函數(shù)，其信號表述是通過將所選取的小波基進行線性疊加來表現(xiàn)的。小波神經(jīng)網(wǎng)絡這方面的早期工作大約開始于1992年

4、,主要研究者是ZhangQ、HaroldHS和焦李成等。其中,焦李成在其代表作神經(jīng)網(wǎng)絡的應用與實現(xiàn)中從理論上對小波神經(jīng)網(wǎng)絡進行了較為詳細的論述。近年來,人們在小波神經(jīng)網(wǎng)絡的理論和應用方面都開展了不少研究工作。小波神經(jīng)網(wǎng)絡具有以下特點。首先，小波基元及整個網(wǎng)絡結(jié)構(gòu)的確定有可靠的理論根據(jù)，可避免BP神經(jīng)網(wǎng)絡等結(jié)構(gòu)設計上的盲目性；其次，網(wǎng)絡權(quán)系數(shù)線性分布和學習目標函數(shù)的凸性，使網(wǎng)絡訓練過程從根本上避免了局部最優(yōu)等非線性優(yōu)化問題；第三，有較強的函數(shù)學習能力和推廣能力。2. 數(shù)學模型與小波工具小波變換及多分辨分析在函數(shù)空間L2(R)(或更廣泛的Hilbert空間)中，選擇一個母小波函數(shù)(又稱為基本小波函

5、數(shù))(x)，使其滿足允許條件：式中(w)為(x)的Fourier變換。對(x)作伸縮、平移變換得到小波基函數(shù)系a,b(x)2對任意f(x)L(R),其連續(xù)小波變換定義為：反演公式為：在實際應用中，特別是計算機實現(xiàn)中，往往要把上述的連續(xù)小波及其變換離散化，通mm常采用二進制離散，即令a2,bk2，則二進小波一定是一個允許小波，且是一個正交小波基。考慮一個連續(xù)的、平方可積的2函數(shù)f(x)L(R)在分辨率2m下的逼近fm(X),由多分辨分析理論可知：(X)是尺度函數(shù)，對其作伸縮、平移變換得到mk(X)oMallat同時證明了函數(shù)f(x)在2m和2m1分辨率下的信息差別(即細節(jié))Dmf(x),可以通過

6、將函數(shù)f(x)在一小波正交基上分解而獲得，從而定義了一種完全而且正交的多分辨率描述，即小波描述。mk(x)就是式(5)定義的二進小波，則f(x)在2m1分辨率下的逼近式為：2Mallat并指出，對于任意一個函數(shù)f(x)L(R)可以在一組正交小波基上展開：式(11)是一個平方可積函數(shù)的小波分解，提供了小波神經(jīng)網(wǎng)絡設計的理論框架。.上述理論可推廣到多維情況。我們以二維為例，若定義二維尺度函數(shù)(x1,x2)，則則有:同理有:2.2小波神經(jīng)網(wǎng)絡模型小波神經(jīng)網(wǎng)絡模型的典型結(jié)構(gòu)如圖1所示，包括輸入層、輸出層和隱層。隱層包含兩種節(jié)點：小波基節(jié)點(節(jié)點)和尺度函數(shù)節(jié)點(節(jié)點)。2.2.1 分層多分辨學習網(wǎng)絡輸

7、出f（x）在2L分辨率（最低的分辨率）上的逼近：“刈在21分辨率上的逼近：nLaLkLk（x）L式（18）中的第一項k1表示f（x）在2分辨率上的逼近，在式（17）中已計nLdLkLk（x）算，即系數(shù)aLk與式（17）中相同。式（18）中的第二項k1表示增加的細節(jié)。再考慮“刈在2L2,2L3,分辨率上的逼近，有：上述方程式是小波神經(jīng)網(wǎng)絡的學習算法，這種算法是Moody在1989年提出的。2.2.2 網(wǎng)絡系數(shù)計算對于式（19）可以改寫成下述形式：ci是網(wǎng)絡權(quán)重系數(shù)，i是激活函數(shù)（尺度函數(shù)或小波函數(shù)）。設小波神經(jīng)網(wǎng)絡有n個節(jié)點，m個訓練數(shù)據(jù)。則有：即fAc（21）式（20）的最小二乘解為：A被稱為

8、A的偽逆矩陣。且如果樣本Xi均勻分布，i（i1,2,，n）是正交基，則ATA是一個nn單位矩陣，且小波神經(jīng)網(wǎng)絡學習過程選擇合適的小波函數(shù)和尺度函數(shù)后，在最粗的尺度L上訓練節(jié)點，直到網(wǎng)絡達到收斂。要使網(wǎng)絡達到收斂，需確定逼近誤差(在很多文獻中提出了誤差的計算方法)和增加合適的節(jié)點以減少逼近誤差。最后是優(yōu)化網(wǎng)絡，使用新的樣本來檢驗網(wǎng)絡并移去權(quán)重小的節(jié)點直到滿足性能準則。計算復雜性小波神經(jīng)網(wǎng)絡訓練的計算復雜性介于O(N)和O(N2)之間，N為學習樣本數(shù)。如果學習樣本是均勻分布的，則計算復雜性為O(N)；如果學習樣本是非均勻分布的，則計算復雜性為O(N2)。3. 數(shù)學應用案例小波神經(jīng)網(wǎng)絡是基于小波分析

9、而構(gòu)成的神經(jīng)網(wǎng)絡。它充分利用小波變換的良好局部化性質(zhì)并結(jié)合神經(jīng)網(wǎng)絡的自學習功能，因而具有較強的逼近、容錯能力，其實現(xiàn)過程也比較簡單。小波神經(jīng)網(wǎng)絡在近十年來應用較廣泛，主要應用于以下幾個領域。非線性函數(shù)逼近非線性函數(shù)逼近具有非常重要的意義，很多實際問題通過建模都可歸結(jié)于非線性函數(shù)逼近問題。而小波神經(jīng)網(wǎng)絡是通過對小波分解進行平移和伸縮變換之后得到的級數(shù)，具有小波分解的函數(shù)逼近性質(zhì)。由于它引入了伸縮和平移因子，又比一般的小波分解有更多的自由度，而且還具有小波變換在高頻域的時間精度和低頻域的頻率精度，故能夠更加細致地描述復雜函數(shù)的特性。Zhang和Benveniste首先將小波理論應用于神經(jīng)網(wǎng)絡而提出

10、了非正交小波神經(jīng)網(wǎng)絡9，并首次將這種新理論應用于函數(shù)逼近，取得了很好的結(jié)果。他們分別對一維、二維非線性函數(shù)進行擬合逼近的研究，采用高斯函數(shù)推導式(x)xex2/2and(x)x1x2e(x12x22)/2作為小波基函數(shù)，對小波神經(jīng)網(wǎng)絡的逼近模擬結(jié)果與BP神經(jīng)網(wǎng)絡和小波分解方法進行對比，結(jié)果顯示小波神經(jīng)網(wǎng)絡對非線性函數(shù)的擬合逼近明顯要優(yōu)于BP神經(jīng)網(wǎng)絡和小波分解方法(見圖2，實線是實際曲線，虛線是逼近曲線)，并吸收了兩者的許多優(yōu)點，摒棄了兩者的一些缺點。李銀國等則在前人的基礎上提出了小波神經(jīng)網(wǎng)絡結(jié)構(gòu)設計的時(空)域“分解綜合”方法18，并通過仿真實驗(非線性函數(shù)逼近)表明：此種方法較好地解決了小波

11、神經(jīng)網(wǎng)絡中普遍存在的“維數(shù)災”問題，且函數(shù)逼近能力強，精度便于掌握，訓練過程方便，不存在局部最優(yōu)問題。信號表示和分類小波神經(jīng)網(wǎng)絡用于信號表示已有很多范例，但用于信號分類的很少。HaroldHS等構(gòu)造了自適應小波神經(jīng)網(wǎng)絡并將其應用于語音識別。他們首先提出了兩種不同的自適應小波神經(jīng)2網(wǎng)絡結(jié)構(gòu)(均采用高斯函數(shù)(x)cos(1.75x)ex/2作為小波基函數(shù))和能量函數(shù)分別用于信號表示與分類，并引入了超小波(super-wavelet)這一新術(shù)語(對于具體的問題，超小波不僅自適應計算定型小波函數(shù)的參數(shù)，而且自適應計算小波形狀)。他們將這些理論先應用于一維信號的表示與分類，隨后又討論了其可能在語音識別中

12、的應用，并展望這些理論可能會廣泛應用于信號識別與分類和圖像識別與分類。材料損傷診斷吳耀華等介紹了多變量輸入、輸出系統(tǒng)的B樣條小波神經(jīng)網(wǎng)絡和用于分類的自適應B樣條小波神經(jīng)網(wǎng)絡，應用于智能復合材料應變損傷位置的診斷。他們在實際操作中采用了一些技術(shù)處理以減少小波神經(jīng)網(wǎng)絡結(jié)構(gòu)的復雜性，從而加快了訓練的速度和提高了識別能力。并且在同樣條件下將這兩種小波網(wǎng)絡與BP網(wǎng)絡相對比，結(jié)果表明B樣條小波神經(jīng)網(wǎng)絡的建模精度和收斂速度明顯高于BP神經(jīng)網(wǎng)絡(圖3)。錯誤診斷與分析ZhaoJinsong等提出了一種新穎的小波神經(jīng)網(wǎng)絡小波-Sigmoid基函數(shù)神經(jīng)網(wǎng)絡(wavelet-sigmoidbasicfunction

13、neuralnetwork,WSBFN)，并將其應用于動態(tài)錯誤診斷中。他們?yōu)榱私鉀Q小波神經(jīng)網(wǎng)絡的“瓶頸”效應，提出了一種多維非乘積小波函數(shù)x2/2(x)cos(1.75x)ex/2,并將其和相應的尺度函數(shù)一起作為WSBFN急層的激勵函數(shù)，同時將sigmoid基函數(shù)作為WSBFN俞出層的激勵函數(shù)。文獻中將WSBF而用于氫化裂解過程的錯誤診斷中，并同前人提出的較好的錯誤診斷方法之一一SBFN網(wǎng)絡進行對比。結(jié)果顯示，WSBFN以用更簡單的網(wǎng)絡結(jié)構(gòu)而得到更好的診斷效果(WSBFNHI練錯誤遠低于SBFN而且錯誤診斷準確率達到100%，也優(yōu)于SBFN)。Bakshi和Stephanopoulos在多分辨

14、率基礎上提出了正交小波神經(jīng)網(wǎng)絡，并將其應用于靜態(tài)錯誤動態(tài)建模現(xiàn)實中，許多問題可以通過動態(tài)建模來解決。雖然采用人工神經(jīng)網(wǎng)絡進行非線性系統(tǒng)建模的研究很多，但是采用小波神經(jīng)網(wǎng)絡進行動態(tài)建模的則比較少。錢峻等應用小波神經(jīng)網(wǎng)絡實現(xiàn)非線性系統(tǒng)模型的在線建立及自校正算法，并將其應用于微生物生長過程的預測建模。他們在繼承前人對小波神經(jīng)網(wǎng)絡的診斷與分析問題中，也取得了非常好的診斷效果。經(jīng)網(wǎng)絡的結(jié)構(gòu)設計方法的基礎上，引入了限定記憶最小二乘法以替代普通的最小二乘法來實現(xiàn)小波神經(jīng)網(wǎng)絡在線建模和校正算法。他們將其方法應用于微生物生長過程的預測建模，結(jié)果顯示該小波神經(jīng)網(wǎng)絡具有很好的預測功能和推廣性能（見圖4，實線是系統(tǒng)輸

15、出，虛線是小波神經(jīng)網(wǎng)絡輸出）。其訓練方法亦比用普通的最小二乘法快得多。采用小波神經(jīng)網(wǎng)絡實現(xiàn)動態(tài)建模來解決自動控制中的一些實際問題也已有研究。Oussar等首次將小波神經(jīng)網(wǎng)絡應用于動態(tài)系統(tǒng)建模。他們采用高斯函數(shù)作為小波函數(shù)，提出了一種訓練算法和用其構(gòu)建了反饋小波神經(jīng)網(wǎng)絡，并將其應用于動態(tài)非線性輸入輸出系統(tǒng)建模中（機器人手臂的液壓激勵器的建模）。將其建模效果與其他的輸入輸出模型（鉸鏈超平面模型和S形人工神經(jīng)網(wǎng)絡模型）進行比較，結(jié)果表明，在輸入輸出系統(tǒng)建模中采用小波神經(jīng)網(wǎng)絡可以取得與采用S形神經(jīng)網(wǎng)絡同樣良好的建模效果。Safavi等采用小波神經(jīng)網(wǎng)絡來簡化分裂蒸餾塔模型。他們采用一種混合模型替代傳統(tǒng)的

16、機械模型，混合模型是在傳統(tǒng)的機械模型中加上了小波神經(jīng)網(wǎng)絡模塊，用來控制蒸餾塔的輸入輸出模塊。同時，他們將其與傳統(tǒng)模型進行比較，結(jié)果顯示，該模型大大簡化了分裂蒸餾塔模型且保持了原有機械模型的精確性和內(nèi)部數(shù)據(jù)變量的有效性。非平穩(wěn)時間序列預測與分析由于小波神經(jīng)網(wǎng)絡是用非線性小波基的線性疊加表示信號，故具有很好的特征提取和抑噪能力，特別適用于非平穩(wěn)時間序列預測與分析。Bakshi和Stephanopoulos則首次在多分辨率基礎上提出正交小波神經(jīng)網(wǎng)絡用于非平穩(wěn)時間序列預測與分析；楊宜康等則將小波神經(jīng)網(wǎng)絡應用于測量中的異常數(shù)據(jù)診斷和消除。他們首先借助時-頻譜圖識別時間序列中異常數(shù)據(jù)的位置和性質(zhì)，然后利用

17、小波神經(jīng)網(wǎng)絡作為擬合工具，同時引入加權(quán)誤差能量函數(shù)，通過適當選擇網(wǎng)絡結(jié)構(gòu)和參數(shù)優(yōu)化，實現(xiàn)了對受污染的時間序列的抗擾最佳逼近。實例表明，采用加權(quán)誤差能量函數(shù)的小波神經(jīng)網(wǎng)絡除了具有逼近性能好、抑噪特性強和收斂速度快的優(yōu)點外，還能有效地消除異常數(shù)據(jù)對擬合結(jié)果的影響，具有較強的魯棒性。4. 小波神經(jīng)網(wǎng)絡設計實例:采用sinc函數(shù)來驗證小波神經(jīng)網(wǎng)絡的擬合能力。Sinc函數(shù)定義為：自變量x的范圍取為-5,5,采樣間隔為，共101個樣本點，其中前70個樣本點作為訓練樣本，后31個樣本點作為檢驗樣本。a=1,b=1,因變量ysinc（x1）1。本例中采用緊致型小波神經(jīng)網(wǎng)絡，將神經(jīng)網(wǎng)絡隱含層中神經(jīng)元的傳統(tǒng)激發(fā)函

18、數(shù)用小波函數(shù)來代替，采用通常用于彳S號分類的小波基函數(shù)Morlet小波函數(shù)（r通常取值為）作為網(wǎng)絡隱含層的激勵函數(shù)。式中，t為函數(shù)的輸入。當函數(shù)的輸入為零時，其輸出為1,達到最大值：當輸入的絕對值較大時，輸出很快衰減為0。MATLAB經(jīng)網(wǎng)絡工具箱中的傳遞函數(shù)沒有Morlet小波函數(shù)，所以將創(chuàng)建自定義的傳輸函數(shù)。神經(jīng)網(wǎng)絡工具箱中包含了一個自定義傳遞函數(shù)template_transfer,輸入helptemplate_transfer就可以得到有關(guān)此函數(shù)的幫助信息。將template_transfer函數(shù)作為一個模板，來生成自定義的傳遞函數(shù)。首先，在MATLAB裝目錄下找到文件。將原傳遞函數(shù)改為M

19、orlet小波函數(shù)表達式：再將函數(shù)的導數(shù)改為：將輸入輸出范圍改為：在主程序中將傳遞函數(shù)設為“template_transfer（本例中未改模板文件名稱）。程序如下：clcclearcloseall%產(chǎn)生訓練樣本與測試樣本n1=-5:;x1=sinc(n1+1)+1;n2=:5;x2=sinc(n1+1)+1;列為一個樣本xn_train=n1;%訓練樣本，每一列為一個樣本dn_train=x1;xn_test=n2;dn_test=x2;%設置神經(jīng)網(wǎng)絡參數(shù)NodeNum=20;TypeNum=1;p1=xn_train;%訓練輸入t1=dn_train;%訓練輸出Epochs=1000;%訓練

20、次數(shù)P=xn_test;%測試輸入T=dn_test;%測試輸出(真實值)%設置網(wǎng)絡參數(shù)TF1=template_transfer;TF2=purelin;%設置傳遞參數(shù)，template_transfer為自定義Morlet小波函數(shù)net=newff(minmax(p1),NodeNumTypeNum,TF1TF2,trainlm);%指定訓練參數(shù)%最大訓練次數(shù)%最小均方誤差%最小梯度%訓練顯示間隔%最大訓練時間%訓練與測試訓練net=train(net,p1,t1);測試，輸出為預測值X=sim(net,P);%結(jié)果作圖plot(1:length(n2),x2,r+:,1:length(n2),X,bo:)title('+為真實值，o為預測值)5. 結(jié)論與展望小波神經(jīng)網(wǎng)絡最初主要用于函數(shù)逼近，語音識別。隨著小波網(wǎng)絡的理論不斷發(fā)展，應用領域也不斷拓寬，如非線性系統(tǒng)辨識，模式識別，信號分類；心電信號的識別與分類；數(shù)據(jù)與圖像壓縮。近年來，小波網(wǎng)絡在我國也引起了廣大學者的關(guān)注?？傮w而言，小波網(wǎng)絡的理論和應用研究還處于初始階段，至今還存在許多有待解決的問題，這無疑是我們今后的研究方向。( 1) 小波網(wǎng)絡的新模型及其學習算法。例如可考慮基于小波包的小波網(wǎng)絡、PPR(ProjectionPursuitRegression)小波網(wǎng)絡、