MATLAB 神經(jīng)網(wǎng)絡(luò)工具箱 神經(jīng)網(wǎng)絡(luò)模型ppt課件

1、MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型,1,神經(jīng)網(wǎng)絡(luò)工具箱簡(jiǎn)介,MATLAB 7對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)工具箱的版本為Version 4.0.3,它以神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ),利用MATLAB腳本語(yǔ)言構(gòu)造出典型神經(jīng)網(wǎng)絡(luò)的激活函數(shù),如線性、競(jìng)爭(zhēng)性和飽和線性等激活函數(shù)，使設(shè)計(jì)者對(duì)所選定網(wǎng)絡(luò)輸出的計(jì)算變成對(duì)激活函數(shù)的調(diào)用。 還可根據(jù)各種典型的修正網(wǎng)絡(luò)權(quán)值規(guī)則，加上網(wǎng)絡(luò)的訓(xùn)練過(guò)程，利用MATLAB編寫出各種網(wǎng)絡(luò)設(shè)計(jì)和訓(xùn)練的子程序，用戶根據(jù)自己的需要去調(diào)用。,2,神經(jīng)網(wǎng)絡(luò)工具箱的主要應(yīng)用,函數(shù)逼近和模型擬合 信息處理和預(yù)測(cè) 神經(jīng)網(wǎng)絡(luò)控制 故障診斷,3,應(yīng)用神經(jīng)網(wǎng)絡(luò)工具箱求解問(wèn)題的一般過(guò)程,確定信息表達(dá)方式 數(shù)據(jù)樣本

2、已知 數(shù)據(jù)樣本之間相互關(guān)系不確定 輸入/輸出模式為連續(xù)的或者離散的 輸入數(shù)據(jù)按照模式進(jìn)行分類，模式可能會(huì)具有平移、旋轉(zhuǎn)或伸縮等變化形式 數(shù)據(jù)樣本的預(yù)處理 將數(shù)據(jù)樣本分為訓(xùn)練樣本和測(cè)試樣本 確定網(wǎng)絡(luò)模型 選擇模型的類型和結(jié)構(gòu)，也可對(duì)原網(wǎng)絡(luò)進(jìn)行變形和擴(kuò)充 網(wǎng)絡(luò)參數(shù)的選擇 確定輸入輸出神經(jīng)元數(shù)目 訓(xùn)練模型的確定 選擇合理的訓(xùn)練算法，確定合適的訓(xùn)練步數(shù)，指定適當(dāng)?shù)挠?xùn)練目標(biāo)誤差 網(wǎng)絡(luò)測(cè)試 選擇合適的測(cè)試樣本,4,人工神經(jīng)元的一般模型,神經(jīng)元模型及其簡(jiǎn)化模型如圖所示，輸入向量 、權(quán)值矩陣 ，與閾值的加權(quán)和（內(nèi)積運(yùn)算）送入累加器，形成凈輸入，即：,5,人工神經(jīng)元模型,圖中，xi(i1，2，n)為加于輸入端(

3、突觸)上的輸入信號(hào)；i為相應(yīng)的突觸連接權(quán)系數(shù)，它是模擬突觸傳遞強(qiáng)度的個(gè)比例系數(shù), 表示突觸后信號(hào)的空間累加；表示神經(jīng)元的閾值，表示神經(jīng)元的響應(yīng)函數(shù)。該模型的數(shù)學(xué)表達(dá)式為：,6,與生物神經(jīng)元的區(qū)別:,(1)生物神經(jīng)元傳遞的信息是脈沖，而上述模型傳遞的信息是模擬電壓。 (2)由于在上述模型中用一個(gè)等效的模擬電壓來(lái)模擬生物神經(jīng)元的脈沖密度，所以在模型中只有空間累加而沒(méi)有時(shí)間累加(可以認(rèn)為時(shí)間累加已隱含在等效的模擬電壓之中)。 (3)上述模型未考慮時(shí)延、不應(yīng)期和疲勞等。,7,響應(yīng)函數(shù) 的基本作用：,1、控制輸入對(duì)輸出的激活作用； 2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換； 3、將可能無(wú)限域的輸入變換成指定的有限范

4、圍內(nèi)的輸出。,8,根據(jù)響應(yīng)函數(shù)的不同，人工神經(jīng)元有以下幾種類型：,9,閾值單元,響應(yīng)函數(shù)如圖a所示,10,線性單元,其響應(yīng)函數(shù)如圖b所示,11,非線性單元,常用響應(yīng)函數(shù)為S型(Sigmoid)函數(shù)，如圖c、d所示,12,Hardlim x=0 y=1;x=0 y=1; x1 y=1;x=0 Logsig:y=,13,人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成,單個(gè)神經(jīng)元的功能是很有限的，人工神經(jīng)網(wǎng)絡(luò)只有用許多神經(jīng)元按一定規(guī)則連接構(gòu)成的神經(jīng)網(wǎng)絡(luò)才具有強(qiáng)大的功能。 神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。,14,人工神經(jīng)網(wǎng)絡(luò)連接的基本形式：,1前向網(wǎng)絡(luò) 網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示。網(wǎng)絡(luò)中

5、的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接。最右一層為輸出層，隱含層的層數(shù)可以是一層或多層。前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用很廣泛，例如，感知器就屬于這種類型。,15,2. 反饋前向網(wǎng)絡(luò),網(wǎng)絡(luò)的本身是前向型的，與前一種不同的是從輸出到輸入有反饋回路。,16,內(nèi)層互連前饋網(wǎng)絡(luò),通過(guò)層內(nèi)神經(jīng)元之間的相互連接，可以實(shí)現(xiàn)同一層神經(jīng)元之間橫向抑制或興奮的機(jī)制，從而限制層內(nèi)能同時(shí)動(dòng)作的神經(jīng)數(shù)，或者把層內(nèi)神經(jīng)元分為若干組，讓每組作為一個(gè)整體來(lái)動(dòng)作。一些自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就屬于這種類型。,17,互連網(wǎng)絡(luò),互連網(wǎng)絡(luò)有局部互連和全互連兩種。全互連網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都與其他神經(jīng)元相連。局部互連是指互連只是局

6、部的，有些神經(jīng)元之間沒(méi)有連接關(guān)系。Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)屬于互連網(wǎng)絡(luò)的類型。,18,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式,有教師學(xué)習(xí)(監(jiān)督學(xué)習(xí)),19,(1)均方誤差mse(mean squared error),誤差信號(hào)的不同定義:,20,(2)平均絕對(duì)誤差mae (mean absolute error),21,(3)誤差平方和sse(sum squared error),22,無(wú)教師學(xué)習(xí)(無(wú)監(jiān)督學(xué)習(xí)),23,MATLAB工具箱中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),1.人工神經(jīng)元的一般模型 在,中，令,，,則,24,人工神經(jīng)元的一般模型,由此構(gòu)成人工神經(jīng)元的一般模型，如下圖所示。,上式可寫成矩陣向量形式：a

7、=f(Wp+b),25,由S個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò),26,MATLAB工具箱中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),27,多層網(wǎng)絡(luò)的簡(jiǎn)化表示:,28,MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型,基本概念: 標(biāo)量:小寫字母,如a,b,c等; 列向量:小寫黑體字母,如a,b,c等,意為一列數(shù); 矩陣向量:大寫黑體字母,如A,B,C等,29,權(quán)值矩陣向量W(t),標(biāo)量元素 ,i為行,j為列,t為時(shí)間或迭代函數(shù) 列向量 行向量,30,閾值向量b(t),標(biāo)量元素 ,i為行,t為時(shí)間或迭代函數(shù),31,網(wǎng)絡(luò)層符號(hào),加權(quán)和: ,m為第m個(gè)網(wǎng)絡(luò)層, 為第 個(gè)神經(jīng)元,n為加權(quán)和 網(wǎng)絡(luò)層輸出: , m為第m個(gè)網(wǎng)絡(luò)層, 為第 個(gè)神經(jīng)元,a

8、為輸出 輸入層權(quán)值矩陣 ,網(wǎng)絡(luò)層權(quán)值矩陣 ,其中,上標(biāo)k,l表示第l個(gè)網(wǎng)絡(luò)層到第k個(gè)網(wǎng)絡(luò)層的連接權(quán)值矩陣向量,32,例: 表示輸入向量的第R個(gè)輸入元素到輸入層的第 個(gè)神經(jīng)元的連接權(quán).,表示 表示,第i個(gè)網(wǎng)絡(luò)層的第 個(gè)神經(jīng)元的閾值,33,例:,34,n1為第一層神經(jīng)元的中間運(yùn)算結(jié)果,即連接權(quán)向量與閾值向量的加權(quán)和,大小為,即,a1為第一層神經(jīng)元的輸出向量,大小為,35,神經(jīng)網(wǎng)絡(luò)的層數(shù)為神經(jīng)元網(wǎng)絡(luò)層的數(shù)目加1,即隱層數(shù)目加1.,36,多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),37,多層網(wǎng)絡(luò)簡(jiǎn)化形式,圖中:,38,說(shuō)明:,輸入層神經(jīng)元的個(gè)數(shù)決定IW的行數(shù),輸入向量元素的個(gè)數(shù)決定IW的列數(shù),即S1行R列.,39,4.公式和圖

9、形中的變量符號(hào)在編程代碼中的表示方法,細(xì)胞矩陣:將多個(gè)矩陣向量作為細(xì)胞矩陣的”細(xì)胞”(Cell),細(xì)胞矩陣的各個(gè)元素值為對(duì)應(yīng)細(xì)胞的大小和數(shù)值類型,40,訪問(wèn)元素:m1=n1,1=,41,m2=n2,1=,n2,1(4)=5,42,變量符號(hào)在MATLAB中的表示,(1)上標(biāo)變量以細(xì)胞矩陣(Cell array)即大括號(hào)表示p1=1 (2)下標(biāo)變量以圓括號(hào)表示,p1=p(1),43,例:,=,44,45,神經(jīng)網(wǎng)絡(luò)工具箱常用函數(shù)列表,重要的感知器神經(jīng)網(wǎng)絡(luò)函數(shù)： 初始化：initp 訓(xùn)練：trainp 仿真：simup 學(xué)習(xí)規(guī)則：learnp,46,線性神經(jīng)網(wǎng)絡(luò)函數(shù),初始化：initlin 設(shè)計(jì)：so

10、lvelin 仿真：simulin 離線訓(xùn)練：trainwh 在線自適應(yīng)訓(xùn)練：adaptwh 學(xué)習(xí)規(guī)則：learnwh,47,BP網(wǎng)絡(luò)函數(shù)：,initff：初始化不超過(guò)3層的前向網(wǎng)絡(luò)； simuff：仿真不超過(guò)3層的前向網(wǎng)絡(luò)； trainbp，trainbpx，trainlm：訓(xùn)練BP trainbp：最慢； trainbpx：次之； trainlm：速度最快，但需要更多的存儲(chǔ)空間。 learnbp： 學(xué)習(xí)規(guī)則,48,自組織網(wǎng)絡(luò),初始化：initsm 仿真： simuc 訓(xùn)練： trainc：利用競(jìng)爭(zhēng)規(guī)則訓(xùn)練 trainsm：利用Kohonen規(guī)則訓(xùn)練,49,反饋網(wǎng)絡(luò)（Hopfield網(wǎng)絡(luò)）,

11、仿真：simuhop 設(shè)計(jì)：solvehop solvehop設(shè)計(jì)Hopfield網(wǎng)絡(luò) solvelin設(shè)計(jì)線性網(wǎng)絡(luò) rands產(chǎn)生對(duì)稱隨機(jī)數(shù) learnbp反向傳播學(xué)習(xí)規(guī)則 learnhHebb學(xué)習(xí)規(guī)則 learnp感知層學(xué)習(xí)規(guī)則 learnwhWidrowHoff學(xué)習(xí)規(guī)則 initlin線性層初始化 initp感知層初始化 initsm自組織映射初始化 plotsm繪制自組織映射圖 trainbp利用反向傳播訓(xùn)練前向網(wǎng)絡(luò) trainp利用感知規(guī)則訓(xùn)練感知層 trainwh利用WidrowHoff規(guī)則訓(xùn)練線性層 trainsm利用Kohonen規(guī)則訓(xùn)練自組織映射,50,神經(jīng)網(wǎng)絡(luò)例子,51,創(chuàng)建線性神經(jīng)網(wǎng)絡(luò)層,net = newlin(1 3;1