MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型

MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中神經(jīng)網(wǎng)絡(luò)模型MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第1頁(yè)神經(jīng)網(wǎng)絡(luò)工具箱介紹MATLAB7對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)工具箱版本為Version4.0.3,它以神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ),利用MATLAB腳本語(yǔ)言結(jié)構(gòu)出經(jīng)典神經(jīng)網(wǎng)絡(luò)激活函數(shù),如線性、競(jìng)爭(zhēng)性和飽和線性等激活函數(shù)，使設(shè)計(jì)者對(duì)所選定網(wǎng)絡(luò)輸出計(jì)算變成對(duì)激活函數(shù)調(diào)用。還可依據(jù)各種經(jīng)典修正網(wǎng)絡(luò)權(quán)值規(guī)則，加上網(wǎng)絡(luò)訓(xùn)練過(guò)程，利用MATLAB編寫(xiě)出各種網(wǎng)絡(luò)設(shè)計(jì)和訓(xùn)練子程序，用戶(hù)依據(jù)自己需要去調(diào)用。MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第2頁(yè)神經(jīng)網(wǎng)絡(luò)工具箱主要應(yīng)用函數(shù)迫近和模型擬合信息處理和預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)控制故障診療MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第3頁(yè)應(yīng)用神經(jīng)網(wǎng)絡(luò)工具箱求解問(wèn)題普通過(guò)程確定信息表示方式數(shù)據(jù)樣本已知數(shù)據(jù)樣本之間相互關(guān)系不確定輸入/輸出模式為連續(xù)或者離散輸入數(shù)據(jù)按照模式進(jìn)行分類(lèi)，模式可能會(huì)含有平移、旋轉(zhuǎn)或伸縮等改變形式數(shù)據(jù)樣本預(yù)處理將數(shù)據(jù)樣本分為訓(xùn)練樣本和測(cè)試樣本確定網(wǎng)絡(luò)模型選擇模型類(lèi)型和結(jié)構(gòu)，也可對(duì)原網(wǎng)絡(luò)進(jìn)行變形和擴(kuò)充網(wǎng)絡(luò)參數(shù)選擇確定輸入輸出神經(jīng)元數(shù)目訓(xùn)練模型確實(shí)定選擇合理訓(xùn)練算法，確定適當(dāng)訓(xùn)練步數(shù)，指定適當(dāng)訓(xùn)練目標(biāo)誤差網(wǎng)絡(luò)測(cè)試選擇適當(dāng)測(cè)試樣本MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第4頁(yè)人工神經(jīng)元普通模型神經(jīng)元模型及其簡(jiǎn)化模型如圖所表示，輸入向量、權(quán)值矩陣，與閾值加權(quán)和（內(nèi)積運(yùn)算）送入累加器，形成凈輸入，即：MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第5頁(yè)人工神經(jīng)元模型圖中，xi(i＝1，2，…，n)為加于輸入端(突觸)上輸入信號(hào)；ωi為對(duì)應(yīng)突觸連接權(quán)系數(shù)，它是模擬突觸傳遞強(qiáng)度—個(gè)百分比系數(shù),∑表示突觸后信號(hào)空間累加；θ表示神經(jīng)元閾值，σ表示神經(jīng)元響應(yīng)函數(shù)。該模型數(shù)學(xué)表示式為：MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第6頁(yè)與生物神經(jīng)元區(qū)分:(1)生物神經(jīng)元傳遞信息是脈沖，而上述模型傳遞信息是模擬電壓。(2)因?yàn)樵谏鲜瞿Ｐ椭杏靡粋€(gè)等效模擬電壓來(lái)模擬生物神經(jīng)元脈沖密度，所以在模型中只有空間累加而沒(méi)有時(shí)間累加(能夠認(rèn)為時(shí)間累加已隱含在等效模擬電壓之中)。(3)上述模型未考慮時(shí)延、不應(yīng)期和疲勞等。MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第7頁(yè)響應(yīng)函數(shù)基本作用：

1、控制輸入對(duì)輸出激活作用；2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；3、將可能無(wú)限域輸入變換成指定有限范圍內(nèi)輸出。MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第8頁(yè)依據(jù)響應(yīng)函數(shù)不一樣，人工神經(jīng)元有以下幾個(gè)類(lèi)型：MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第9頁(yè)閾值單元響應(yīng)函數(shù)如圖a所表示,MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第10頁(yè)線性單元其響應(yīng)函數(shù)如圖b所表示MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第11頁(yè)非線性單元慣用響應(yīng)函數(shù)為S型(Sigmoid)函數(shù)，如圖c、d所表示MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第12頁(yè)Hardlimx>=0y=1;x<0y=0Hardlims:x>=0y=1;x<0y=-1Purelin:y=xSatlin:x<0y=0;x>1y=1;x>=0&&x<=1y=x;Logsig:y=MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第13頁(yè)人工神經(jīng)網(wǎng)絡(luò)組成單個(gè)神經(jīng)元功效是很有限，人工神經(jīng)網(wǎng)絡(luò)只有用許多神經(jīng)元按一定規(guī)則連接組成神經(jīng)網(wǎng)絡(luò)才含有強(qiáng)大功效。神經(jīng)元模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)特征及能力主要取決于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第14頁(yè)人工神經(jīng)網(wǎng)絡(luò)連接基本形式：1．前向網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)如圖所表示。網(wǎng)絡(luò)中神經(jīng)元是分層排列，每個(gè)神經(jīng)元只與前一層神經(jīng)元相連接。最右一層為輸出層，隱含層層數(shù)能夠是一層或多層。前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用很廣泛，比如，感知器就屬于這種類(lèi)型。MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第15頁(yè)2.反饋前向網(wǎng)絡(luò)網(wǎng)絡(luò)本身是前向型，與前一個(gè)不一樣是從輸出到輸入有反饋回路。MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第16頁(yè)內(nèi)層互連前饋網(wǎng)絡(luò)經(jīng)過(guò)層內(nèi)神經(jīng)元之間相互連接，能夠?qū)崿F(xiàn)同一層神經(jīng)元之間橫向抑制或興奮機(jī)制，從而限制層內(nèi)能同時(shí)動(dòng)作神經(jīng)數(shù)，或者把層內(nèi)神經(jīng)元分為若干組，讓每組作為一個(gè)整體來(lái)動(dòng)作。一些自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就屬于這種類(lèi)型。MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第17頁(yè)互連網(wǎng)絡(luò)互連網(wǎng)絡(luò)有局部互連和全互連兩種。全互連網(wǎng)絡(luò)中每個(gè)神經(jīng)元都與其它神經(jīng)元相連。局部互連是指互連只是局部，有些神經(jīng)元之間沒(méi)有連接關(guān)系。Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)屬于互連網(wǎng)絡(luò)類(lèi)型。MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第18頁(yè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式有教師學(xué)習(xí)(監(jiān)督學(xué)習(xí))MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第19頁(yè)(1)均方誤差mse(meansquarederror)

誤差信號(hào)不一樣定義:MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第20頁(yè)(2)平均絕對(duì)誤差mae(meanabsoluteerror)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第21頁(yè)(3)誤差平方和sse(sumsquarederror)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第22頁(yè)無(wú)教師學(xué)習(xí)(無(wú)監(jiān)督學(xué)習(xí))MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第23頁(yè)MATLAB工具箱中神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1.人工神經(jīng)元普通模型在中，令，,則MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第24頁(yè)人工神經(jīng)元普通模型由此組成人工神經(jīng)元普通模型，以下列圖所表示。上式可寫(xiě)成矩陣向量形式：a=f(Wp+b)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第25頁(yè)由S個(gè)神經(jīng)元組成單層網(wǎng)絡(luò)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第26頁(yè)MATLAB工具箱中神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第27頁(yè)多層網(wǎng)絡(luò)簡(jiǎn)化表示:MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第28頁(yè)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中神經(jīng)網(wǎng)絡(luò)模型基本概念:標(biāo)量:小寫(xiě)字母,如a,b,c等;列向量:小寫(xiě)黑體字母,如a,b,c等,意為一列數(shù);矩陣向量:大寫(xiě)黑體字母,如A,B,C等MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第29頁(yè)權(quán)值矩陣向量W(t)

標(biāo)量元素,i為行,j為列,t為時(shí)間或迭代函數(shù)列向量行向量MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第30頁(yè)閾值向量b(t)標(biāo)量元素,i為行,t為時(shí)間或迭代函數(shù)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第31頁(yè)網(wǎng)絡(luò)層符號(hào)加權(quán)和:,m為第m個(gè)網(wǎng)絡(luò)層,為第個(gè)神經(jīng)元,n為加權(quán)和網(wǎng)絡(luò)層輸出:,m為第m個(gè)網(wǎng)絡(luò)層,為第個(gè)神經(jīng)元,a為輸出輸入層權(quán)值矩陣,網(wǎng)絡(luò)層權(quán)值矩陣,其中,上標(biāo)k,l表示第l個(gè)網(wǎng)絡(luò)層到第k個(gè)網(wǎng)絡(luò)層連接權(quán)值矩陣向量MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第32頁(yè)

例:表示輸入向量第R個(gè)輸入元素到輸入層第個(gè)神經(jīng)元連接權(quán).

表示……表示…第i個(gè)網(wǎng)絡(luò)層第個(gè)神經(jīng)元閾值MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第33頁(yè)例:MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第34頁(yè)n1為第一層神經(jīng)元中間運(yùn)算結(jié)果,即連接權(quán)向量與閾值向量加權(quán)和,大小為,即a1為第一層神經(jīng)元輸出向量,大小為,MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第35頁(yè)

神經(jīng)網(wǎng)絡(luò)層數(shù)為神經(jīng)元網(wǎng)絡(luò)層數(shù)目加1,即隱層數(shù)目加1.MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第36頁(yè)多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第37頁(yè)多層網(wǎng)絡(luò)簡(jiǎn)化形式圖中:MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第38頁(yè)說(shuō)明:輸入層神經(jīng)元個(gè)數(shù)決定IW行數(shù),輸入向量元素個(gè)數(shù)決定IW列數(shù),即S1行R列.MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第39頁(yè)4.公式和圖形中變量符號(hào)在編程代碼中表示方法細(xì)胞矩陣:將多個(gè)矩陣向量作為細(xì)胞矩陣”細(xì)胞”(Cell),細(xì)胞矩陣各個(gè)元素值為對(duì)應(yīng)細(xì)胞大小和數(shù)值類(lèi)型,,MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第40頁(yè)訪問(wèn)元素:m{1}=n{1,1}=MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第41頁(yè)m{2}=n{2,1}=n{2,1}(4)=5MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第42頁(yè)變量符號(hào)在MATLAB中表示(1)上標(biāo)變量以細(xì)胞矩陣(Cellarray)即大括號(hào)表示p1={1}(2)下標(biāo)變量以圓括號(hào)表示,p1=p(1),,MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第43頁(yè)例:=MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第44頁(yè)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第45頁(yè)神經(jīng)網(wǎng)絡(luò)工具箱慣用函數(shù)列表主要感知器神經(jīng)網(wǎng)絡(luò)函數(shù)：初始化： initp訓(xùn)練： trainp仿真： simup學(xué)習(xí)規(guī)則： learnpMATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第46頁(yè)線性神經(jīng)網(wǎng)絡(luò)函數(shù)初始化： initlin設(shè)計(jì)： solvelin仿真： simulin離線訓(xùn)練： trainwh在線自適應(yīng)訓(xùn)練： adaptwh學(xué)習(xí)規(guī)則： learnwhMATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第47頁(yè)BP網(wǎng)絡(luò)函數(shù)：initff： 初始化不超出3層前向網(wǎng)絡(luò)；simuff：仿真不超出3層前向網(wǎng)絡(luò)；trainbp，trainbpx，trainlm：訓(xùn)練BPtrainbp：最慢；trainbpx：次之；trainlm：速度最快，但需要更多存放空間。learnbp：學(xué)習(xí)規(guī)則MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第48頁(yè)自組織網(wǎng)絡(luò)

初始化：initsm仿真：simuc訓(xùn)練：trainc：利用競(jìng)爭(zhēng)規(guī)則訓(xùn)練 trainsm：利用Kohonen規(guī)則訓(xùn)練MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第49頁(yè)反饋網(wǎng)絡(luò)（Hopfield網(wǎng)絡(luò)）

仿真： simuhop設(shè)計(jì)： solvehopsolvehop 設(shè)計(jì)Hopfield網(wǎng)絡(luò)solvelin 設(shè)計(jì)線性網(wǎng)絡(luò)rands 產(chǎn)生對(duì)稱(chēng)隨機(jī)數(shù)learnbp 反向傳輸學(xué)習(xí)規(guī)則learnh Hebb學(xué)習(xí)規(guī)則learnp 感知層學(xué)習(xí)規(guī)則learnwh Widrow－Hoff學(xué)習(xí)規(guī)則initlin 線性層初始化initp 感知層初始化initsm 自組織映射初始化plotsm 繪制自組織映射圖trainbp 利用反向傳輸訓(xùn)練前向網(wǎng)絡(luò)trainp 利用感知規(guī)則訓(xùn)練感知層trainwh 利用Widrow－Hoff規(guī)則訓(xùn)練線性層trainsm 利用Kohonen規(guī)則訓(xùn)練自組織映射MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第50頁(yè)神經(jīng)網(wǎng)絡(luò)例子

MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)模型第51頁(yè)創(chuàng)建線性神經(jīng)網(wǎng)絡(luò)層net=newl