Matlab神經(jīng)網(wǎng)絡(luò)1PPT課件

1、 隨著Matlab版本的提高，其相應(yīng)的神經(jīng)網(wǎng)絡(luò)工具箱的版本也相應(yīng)的提高了。本課程主要以Matlab6.5作為講解對象，對應(yīng)的神經(jīng)網(wǎng)絡(luò)工具箱為NN Tool box4.0，其內(nèi)容非常豐富，涵蓋了很多現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型：u 感知器網(wǎng)絡(luò) (Perceptron network)；u 線性神經(jīng)網(wǎng)絡(luò) (Linear network)；u BP網(wǎng)絡(luò) (Back propagation network, 簡稱BP網(wǎng)絡(luò))；u 徑向基函數(shù)網(wǎng)絡(luò) (Radial Basis Function network，簡稱RBF網(wǎng)絡(luò))；u 反饋網(wǎng)絡(luò) (Recurrent Network): Hopfield網(wǎng)絡(luò)和Elman網(wǎng)

2、絡(luò)；u 自組織網(wǎng)絡(luò) (Self-organizing network)； 神經(jīng)網(wǎng)絡(luò)工具箱提供了很多經(jīng)典的學(xué)習(xí)算法，使用它能夠快速實現(xiàn)對實際問題的建模求解。由于其編程簡單，給使用者節(jié)省了大量的編程時間，使其能夠把更多的精力投入到網(wǎng)絡(luò)設(shè)計而不是具體程序?qū)崿F(xiàn)上。下面逐步介紹神經(jīng)網(wǎng)絡(luò)在Matlab語言環(huán)境下的設(shè)計應(yīng)用，以及神經(jīng)網(wǎng)絡(luò)工具箱的使用試驗等。 第1頁/共28頁1.感知器感知器(Perceptron) 感知器是最早提出的一種神經(jīng)網(wǎng)絡(luò)模型，是一個具有單層神經(jīng)元 的網(wǎng)絡(luò)。網(wǎng)絡(luò)的激活函數(shù)是線性閾值單元，1957年由美國學(xué)者羅森布拉特 (F.Rosenblatt)提出，目的就是為了模擬人類大腦的感知和學(xué)

3、習(xí)能力。 盡管這種方法有一定的局限性，但這種神經(jīng)網(wǎng)絡(luò)模型的出現(xiàn)對早期神經(jīng)網(wǎng)絡(luò)的研究，以及后來許多神經(jīng)網(wǎng)絡(luò)的出現(xiàn)產(chǎn)生了極大的影響。目前來看，它仍然是一種很有用的神經(jīng)網(wǎng)絡(luò)模型，尤其適用于簡單的模式分類問題。 FRosenblatt已經(jīng)證明，如果兩類模式是線性可分的(只存在一個超平面將它們分 開)，則算法一定足收斂的。 1.1 感知器神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 第2頁/共28頁第3頁/共28頁1.2 生成網(wǎng)絡(luò) 應(yīng)用函數(shù) newp() 可以生成一個感知器網(wǎng)絡(luò)，調(diào)用方式如下：net=newp (PR , S)其中輸入量PR為一個R*2階矩陣，每行表示輸入元素得最大值和最小值；S為神經(jīng)元得數(shù)目。 1.3 網(wǎng)絡(luò)仿真

4、應(yīng)用函數(shù) sim() 可以對生成的感知器網(wǎng)絡(luò)進(jìn)行仿真，即給定確定輸入p，求輸出a:a1=sim (net , p1)其中net為一個已經(jīng)生成的感知器網(wǎng)絡(luò)，p1為R*1輸入列向量，a1為S*1輸出向量。 第4頁/共28頁1.4 網(wǎng)絡(luò)初始化 應(yīng)用函數(shù) init() 可以對生成的感知器網(wǎng)絡(luò)進(jìn)行閾值和權(quán)值進(jìn)行初始化。主要作用是將神經(jīng)網(wǎng)絡(luò)的閾值和權(quán)值復(fù)原回生成時的初始值：net=init (net) ;1.5 網(wǎng)絡(luò)訓(xùn)練 對感知器網(wǎng)絡(luò)進(jìn)行訓(xùn)練通常有兩種方法。一種是用反復(fù)應(yīng)用sim()和learnp()調(diào)整網(wǎng)絡(luò)的閾值和權(quán)值。另一種是直接使用函數(shù)train()或adapt()，其調(diào)用格式如下：net=trai

5、n(net, p, t)或net=adapt(net, p, t)它可以自動更改網(wǎng)絡(luò)的權(quán)值和閾值，以滿足誤差的要求。1.6 應(yīng)用舉例第5頁/共28頁 設(shè)計一2輸入感知器神經(jīng)網(wǎng)絡(luò)，將4個輸入向量分為兩類。5個輸入向量都是兩維向量，定義為P，以向量T表示對應(yīng)的期望輸出。P=-0.5 -0.5 +0.5 -0.1; -0.5 +0.5 -0.5 +1.0;T=1 1 0 0;plotpv(P, T) % PLOTPV: Plot perceptron input/target vectors.hold on;-1-0.500.51-1-0.500.511.5Vectors to be Classif

6、iedP(1)P(2)+ 表示與期望值1對應(yīng)的輸入量。O 表示與期望值0對應(yīng)的輸入量。第6頁/共28頁1). 構(gòu)建初始網(wǎng)絡(luò)net=newp(-1 1;-1 1,1);2). 網(wǎng)絡(luò)訓(xùn)練net=adapt(net,P,T); % PLOTPC Plot a classification line on a perceptron vector plot.plotpc(net.IW1,net.b1)hold on; %見下頁圖3). 仿真p=0.7;1.2;a=sim(net,p);plotpv(p,a);hold on; %見下頁圖第7頁/共28頁-1-0.500.51-1-0.500.511.5V

7、ectors to be ClassifiedP(1)P(2)(0.7,1.2)第8頁/共28頁 由此可見，感知器網(wǎng)絡(luò)能夠做到對輸入向量進(jìn)行正確分類，同時驗證了網(wǎng)絡(luò)的可行性。問題：u 輸入奇異樣本對網(wǎng)絡(luò)訓(xùn)練的影響。假定仍然使用二輸入單神經(jīng)元的感知器網(wǎng)絡(luò)，所不同的是網(wǎng)絡(luò)輸入樣本中存在奇異樣本(即輸入向量有遠(yuǎn)遠(yuǎn)大于其他所有的輸入向量)，這樣訓(xùn)練過程會耗費很長時間。(見下頁圖)u 線性不可分輸入量。單層感知器的一個致命的弱點就是輸入向量必須是線性可分的。如果輸入向量線性可分，感知器可給出正確的分類結(jié)果。而對于線性不可分的輸入向量，感知器就不能對輸入向量進(jìn)行正確分類。(見下下頁圖) 第9頁/共28頁第

8、10頁/共28頁第11頁/共28頁 線性神經(jīng)網(wǎng)絡(luò)是最簡單的一種神經(jīng)網(wǎng)絡(luò)，可以由一個或者多個線性神經(jīng)元組成。與感知器神經(jīng)網(wǎng)絡(luò)不同的是，線性神經(jīng)網(wǎng)絡(luò)的神經(jīng)元傳遞函數(shù)是線性函數(shù)，因此線性神經(jīng)網(wǎng)絡(luò)的 輸出可以取任意值，而感知器神經(jīng)網(wǎng)絡(luò)的輸出只能是0或1。對于線性神經(jīng)網(wǎng)絡(luò)，需要一系列給定的輸入向量和相應(yīng)的期望輸出向量，每個輸入都有一個網(wǎng)絡(luò)輸出與之對應(yīng)。參照輸出量和期望輸出的差別，調(diào)整網(wǎng)絡(luò)權(quán)值和閾值，使得訓(xùn)練誤差的平方和最小或者小于一定值。 2. 線性神經(jīng)網(wǎng)絡(luò)(Linear network) 線性神經(jīng)網(wǎng)絡(luò)采用Widrow-Hoff學(xué)習(xí)規(guī)則，稱為LMS(Least Mean Square)算法。線性神經(jīng)網(wǎng)絡(luò)

9、的學(xué)習(xí)算法比感知器網(wǎng)絡(luò)的學(xué)習(xí)算法，在收斂速度和精度上面都有了較大的提高。 線性神經(jīng)網(wǎng)絡(luò)主要用于函數(shù)逼近、預(yù)測、信號處理濾波、模式識別和控制等方面。 第12頁/共28頁2.1 線性神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 線性傳遞函數(shù)線性神經(jīng)元模型線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第13頁/共28頁 線性神經(jīng)元模型如上圖所示，其中R為輸入向量元素的數(shù)目。從網(wǎng)絡(luò)結(jié)構(gòu)上看，和感知器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)類似，不同的是神經(jīng)元的傳遞函數(shù)是線性傳遞函數(shù)purelin()。 由于線性神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的傳遞函數(shù)為線性函數(shù)，其輸入輸出之間是簡單的比例關(guān)系。單個線性神經(jīng)元可以通過下式計算： a=purelin(n)=purelin(Wp+b)= Wp+b 上圖中也

10、給出一個具有R個輸入，S個神經(jīng)元的單層線性神經(jīng)元網(wǎng)絡(luò)的兩種形式，輸出向量數(shù)目和神經(jīng)元數(shù)目相等，也是S個。權(quán)值矩陣為為w，閾值為b，這種 網(wǎng)絡(luò)也稱為Madaline網(wǎng)絡(luò)。 這里介紹的是單層線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它和多層線性神經(jīng)網(wǎng)絡(luò)一樣有用。因為對于每一個多層線性神經(jīng)網(wǎng)絡(luò)而言，都可以設(shè)計出一個性能相當(dāng)?shù)膯螌泳€性神經(jīng)網(wǎng)絡(luò)。 第14頁/共28頁2.2 網(wǎng)絡(luò)生成和仿真 應(yīng)用newlin()可以構(gòu)造一個線性神經(jīng)元網(wǎng)絡(luò)，調(diào)用方式如下：net=newlin (PR , S)其中輸入量PR為一個R*2階矩陣，每行表示輸入元素得最大值和最小值；S為神經(jīng)元得數(shù)目。網(wǎng)絡(luò)權(quán)值和閾值在神經(jīng)網(wǎng)絡(luò)創(chuàng)建時，初值自動設(shè)為0。2.3

11、線性神經(jīng)網(wǎng)絡(luò)設(shè)計 與感知器網(wǎng)絡(luò)進(jìn)行仿真的方法類似，應(yīng)用函數(shù) sim() 可以對生成的線性神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真，即給定確定輸入p，求輸出a:a1=sim (net , p1)其中net為一個已經(jīng)生成的感知器網(wǎng)絡(luò)，p1為R*1輸入列向量，a1為S*1輸出向量。第15頁/共28頁 不同于其他網(wǎng)絡(luò)結(jié)構(gòu)，如果輸人和期望輸出已知，線性神經(jīng)網(wǎng)絡(luò)可以直接設(shè)計，應(yīng)用newlind()可以設(shè)計出特定的神經(jīng)網(wǎng)絡(luò)，其權(quán)值和閾值能夠保證均方差最小。 調(diào)用方式如下：net=newlind (P , T)其中輸入量P和T為輸入和期望輸出。例：假定輸入和期望輸出為： P=1 2 3; % 輸入T=2.0 4.1 5.9;% 期望

12、輸出net=newlind(P,T)% 設(shè)計網(wǎng)絡(luò)Y=sim(net,P) % 驗證網(wǎng)絡(luò)的性能Y= 2.0500 4.0000 5.9500第16頁/共28頁2.4 應(yīng)用舉例應(yīng)用線性網(wǎng)絡(luò)進(jìn)行預(yù)測1)問題的提出 設(shè)計一個線性網(wǎng)絡(luò)，要求在每一個時間步長內(nèi)，線性網(wǎng)絡(luò)通過保留信號T前5次值，并能夠預(yù)測出下一步的值。這樣，網(wǎng)絡(luò)的輸入信號P為信號T的前5次值，由信號T的延遲處理得到。 假設(shè)信號T，持續(xù)時間為5S，采樣頻率為40次/S，則信號輸入為：% 確定輸入信號：time=0:0.025:5;% 確定時間向量T= sin(time*4*pi); % 正弦信號，f=2Hz, =2*pi*f Q=length

13、(T);% 求T的前5次值作為網(wǎng)絡(luò)的輸入：P= zeros(5,Q);% 形成5*Q輸入矩陣P(1,2:Q)=T(1,1:(Q-1); % 輸入向量的第一行第17頁/共28頁P(2,3:Q)=T(1,1:(Q-2); % 輸入向量的第二行P(3,4:Q)=T(1,1:(Q-3); % 輸入向量的第三行P(4,5:Q)=T(1,1:(Q-4); % 輸入向量的第四行P(5,6:Q)=T(1,1:(Q-5); % 輸入向量的第五行% 繪制信號T的曲線plot(time,T);xlabel(時間);ylabel(目標(biāo)信號);title(待預(yù)測信號)；2). 網(wǎng)絡(luò)設(shè)計 網(wǎng)絡(luò)有5個輸入信號(過去值)和1

14、個輸出信號(預(yù)測值)，故采用有5個輸入的單個線性神經(jīng)元網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如下頁圖所示。應(yīng)用newlind()函數(shù)來設(shè)計這個網(wǎng)絡(luò)，即可得到網(wǎng)絡(luò)的權(quán)值和閾值，并且達(dá)到最小均方差。第18頁/共28頁% 設(shè)計網(wǎng)絡(luò)net=newlind(P,T); % 獲得5輸入線性神經(jīng)網(wǎng)絡(luò)3). 網(wǎng)絡(luò)測試第19頁/共28頁 將上述5個延遲信號作為輸入量，應(yīng)用sim()函數(shù)求出相應(yīng)的網(wǎng)絡(luò)輸出a，然后將。與信號目標(biāo)值t進(jìn)行比較，結(jié)果如下圖所示。同時計算-出預(yù)算誤差，結(jié)果也示于圖中。a=sim(net, P)；figure(1);plot(time, a, time, T, +); xlabel(時間)； ylabel( 輸出

15、 - 目標(biāo) + )； title(輸出信號和目標(biāo)信號); figure(2);e=T- a; plot(time, e);xlabel(時間);ylable(誤差);title(誤差信號);第20頁/共28頁從上面預(yù)測誤差曲線中可以看出，在最初的幾步計算中，網(wǎng)絡(luò)的預(yù)測誤差很大。這是因為此時網(wǎng)絡(luò)還沒有產(chǎn)生信號的5次延遲值，5步計算以后才真正產(chǎn)生輸入信號，因此難免出現(xiàn)初始誤差。第5步以后，預(yù)測誤差很快下降。由此可見，線性網(wǎng)絡(luò)對于線性時間序列的預(yù)測問題是有實用價值的。 第21頁/共28頁4). 結(jié)論 對于非線性系統(tǒng)，newlind()函數(shù)無法達(dá)到零誤差，只能將均方差降到最小。但是通過增加延遲信號量，

16、可以降低由模型非線性帶來的預(yù)測誤差，這樣使得線性網(wǎng)絡(luò)在許多情況下也能應(yīng)用于非線性系統(tǒng)。當(dāng)然，如果系統(tǒng)的非線性程度較強(qiáng)，或者期望精度較高，則不適宜用線性網(wǎng)絡(luò)解決?？刹捎肂P網(wǎng)絡(luò)或者徑向基網(wǎng)絡(luò)。 線性系統(tǒng)辨識 線性網(wǎng)絡(luò)可以用于對實際系統(tǒng)建模。如果實際系統(tǒng)是線性的或者接近線性的，則線性系統(tǒng)辨識誤差會很小。1) 問題提出 構(gòu)造輸入信號X周期為5S，采樣周期為25mS。信號X為：time=0:0.025:5;X=sin(sin(time).*time*10);% x=sin(sint)*t*10 第22頁/共28頁繪制信號X隨時間變化的曲線如下圖所示。plot(time,X);xlabel(時間);Yl

17、abel(輸入信號);Title(系統(tǒng)輸入信號);第23頁/共28頁取網(wǎng)絡(luò)輸入是輸入信號X當(dāng)前值和前兩次的值。 Q= size (X, 2)； P= zeros(3, Q); P(1,1:Q)=X (1,1:Q); P(2,2:Q)=X (1,1:(Q-1); P(3,3:Q)=X (1,1:(Q-2);如果系統(tǒng)輸出可測，則系統(tǒng)輸出的測量只可由下列語句得到：% 求系統(tǒng)1*y(n) = b(1)*x(n) + b(2)*x(n-1) + b(3)*x(n-2) 的響應(yīng)T=filter(1 0.5 -1.5,1,X); % 繪制輸出響應(yīng)曲線plot (time, T);xlabel(時間);ylabel(輸出信號);title(系統(tǒng)輸出信號);系統(tǒng)輸出響應(yīng)曲線如下頁示： 第24頁/共28頁2) 網(wǎng)絡(luò)設(shè)計 網(wǎng)絡(luò)具有三個輸入和一個輸出，應(yīng)用newlind()函數(shù)生成線性網(wǎng)絡(luò)：net=newlind