神經(jīng)網(wǎng)絡(luò)建模

神經(jīng)網(wǎng)絡(luò)建模第1頁/共48頁1、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)科學(xué)的基礎(chǔ)上發(fā)展起來的，旨在模擬人腦結(jié)構(gòu)以及功能的一種抽象的數(shù)學(xué)模型,其中Hopfield神經(jīng)網(wǎng)絡(luò)、ART神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)是常用的網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)是由相同的神經(jīng)元構(gòu)成的單元，是一類不具有學(xué)習(xí)能力的單層自聯(lián)想網(wǎng)絡(luò)，她的網(wǎng)絡(luò)模型由一組可使某一個(gè)能量函數(shù)最小的微分方程組成。ART神經(jīng)網(wǎng)絡(luò)主要用于模式識(shí)別，她的不足之處在于對(duì)轉(zhuǎn)換、失真和規(guī)模變化較敏感BP神經(jīng)網(wǎng)絡(luò)是誤差反向傳播的多層前向網(wǎng)絡(luò),其信息處理機(jī)制由神經(jīng)元激活特性和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)決定,神經(jīng)元的傳遞函數(shù)是非線性函數(shù),網(wǎng)絡(luò)結(jié)構(gòu)由輸入層、隱含層、輸出層組成,同層節(jié)點(diǎn)間無關(guān)聯(lián),異層節(jié)點(diǎn)前向連接。

第2頁/共48頁1.1、人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)的基本單元的神經(jīng)元模型第3頁/共48頁人工神經(jīng)元的三個(gè)要素第4頁/共48頁1.2激活（傳遞）函數(shù)的取法在Matlab工具箱里包括了許多激活（傳遞）函數(shù)。在“TransferFunctionGraphs”中可以找到它們的完全列表函數(shù)名功能

purelin線性傳遞函數(shù)

hardlim硬限幅遞函數(shù)

hardlims對(duì)稱硬限幅遞函數(shù)

satli飽和線性傳遞函數(shù)

satlins對(duì)稱飽和線性傳遞函數(shù)

logsig對(duì)數(shù)S形傳遞函數(shù)

tansig正切S形傳遞函數(shù)

radbas徑向基傳遞函數(shù)

compet競(jìng)爭(zhēng)層傳遞函數(shù)第5頁/共48頁第6頁/共48頁1.3、網(wǎng)絡(luò)結(jié)構(gòu)以及工作方式從連接方式看NN主要有兩種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)：前饋型網(wǎng)絡(luò)：結(jié)點(diǎn)分為輸入單元和計(jì)算單元反饋型網(wǎng)絡(luò)：所有結(jié)點(diǎn)都是計(jì)算單元NN的工作過程主要分為兩個(gè)階段：第一階段：學(xué)習(xí)期，此時(shí)個(gè)計(jì)算單元狀態(tài)不變，各連線上的權(quán)值可通過學(xué)習(xí)來修改第二階段：工作期，此時(shí)各連接權(quán)值固定，計(jì)算各單元狀態(tài)變化第7頁/共48頁網(wǎng)絡(luò)結(jié)構(gòu)：前饋型神經(jīng)網(wǎng)絡(luò)

兩個(gè)或更多的上面所示的神經(jīng)元可以組合成一層，一個(gè)典型的網(wǎng)絡(luò)可包括一層或者多層。我們首先來研究神經(jīng)元層。單層神經(jīng)元網(wǎng)絡(luò)

有R輸入元素和S個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò)如下圖所示n{1}=net.IW{1,1}*p+net.b{1}第8頁/共48頁多層神經(jīng)元網(wǎng)絡(luò)

上面所示的網(wǎng)絡(luò)有R1個(gè)輸入，第一層有S1個(gè)神經(jīng)元，第二層有S2個(gè)神經(jīng)元…第9頁/共48頁中間層的輸出就是下一層的輸入。第二層可看作有S1個(gè)輸入，S2個(gè)神經(jīng)元和S1xS2階權(quán)重矩陣W2的單層網(wǎng)絡(luò)。第二層的輸入是a1，輸出是a2，現(xiàn)在我們已經(jīng)確定了第二層的所有向量和矩陣，我們就能把它看成一個(gè)單層網(wǎng)絡(luò)了。其他層也可以照此步驟處理。

多層網(wǎng)絡(luò)的功能非常強(qiáng)大。例、一個(gè)兩層的網(wǎng)絡(luò)，第一層的轉(zhuǎn)移函數(shù)是曲線函數(shù)，第二層的轉(zhuǎn)移函數(shù)是線性函數(shù)，通過訓(xùn)練，它能夠很好的模擬任何有有限斷點(diǎn)的函數(shù)。這種兩層網(wǎng)絡(luò)集中應(yīng)用于“反向傳播網(wǎng)絡(luò)”。

注意:我們把第三層的輸出a3標(biāo)記為y。我們將使用這種符號(hào)來定義這種網(wǎng)絡(luò)的輸出。

第10頁/共48頁1.4創(chuàng)建網(wǎng)絡(luò)newp創(chuàng)建感知器網(wǎng)絡(luò)newlind設(shè)計(jì)一線性層newlin創(chuàng)建一線性層newff創(chuàng)建一前饋BP網(wǎng)絡(luò)newcf創(chuàng)建一多層前饋BP網(wǎng)絡(luò)newfftd創(chuàng)建一前饋輸入延遲BP網(wǎng)絡(luò)newrb設(shè)計(jì)一徑向基網(wǎng)絡(luò)newrbe設(shè)計(jì)一嚴(yán)格的徑向基網(wǎng)絡(luò)newgrnn設(shè)計(jì)一廣義回歸神經(jīng)網(wǎng)絡(luò)newpnn設(shè)計(jì)一概率神經(jīng)網(wǎng)絡(luò)newc創(chuàng)建一競(jìng)爭(zhēng)層newsom創(chuàng)建一自組織特征映射newhop創(chuàng)建一Hopfield遞歸網(wǎng)絡(luò)newelm創(chuàng)建一Elman遞歸網(wǎng)絡(luò)第11頁/共48頁1.5數(shù)據(jù)結(jié)構(gòu):影響網(wǎng)絡(luò)仿真的輸入數(shù)據(jù)結(jié)構(gòu)的格式靜態(tài)網(wǎng)絡(luò)中的同步輸入仿真：例1第12頁/共48頁動(dòng)態(tài)網(wǎng)絡(luò)中的異步輸入仿真：當(dāng)網(wǎng)絡(luò)中存在延遲時(shí)，順序發(fā)生的輸入向量就要按一定的序列輸入網(wǎng)絡(luò)。為了演示這種情況，我們以一個(gè)有延遲的簡(jiǎn)單網(wǎng)絡(luò)為例。

第13頁/共48頁動(dòng)態(tài)網(wǎng)絡(luò)中的同步輸入仿真如果我們?cè)谏侠邪演斎胱鳛橥蕉皇钱惒綉?yīng)用，我們就會(huì)得到完全不同的響應(yīng)。這就好象每一個(gè)輸入都同時(shí)加到一個(gè)單獨(dú)的并行網(wǎng)絡(luò)中。在前一個(gè)例子中，如果我們用一組同步輸入，我們有：p1=[1],p2=[2],p3=[3],p4=[4]這可用下列代碼創(chuàng)建：P=[1234];模擬這個(gè)網(wǎng)絡(luò)，我們得到：A=sim(net,P)A=1234第14頁/共48頁在某些特定的情況下，我們可能想要在同一時(shí)間模擬一些不同序列的網(wǎng)絡(luò)響應(yīng)。這種情況我們就要給網(wǎng)絡(luò)輸入一組同步序列。比如說，我們要把下面兩個(gè)序列輸入網(wǎng)絡(luò)：

p(1)=[1],p(2)=[2],p(3)=[3],p(4)=[4]p(1)=[4],p(2)=[3],p(3)=[2],p(4)=[1]輸入P應(yīng)該是一個(gè)細(xì)胞數(shù)組，每一個(gè)數(shù)組元素都包含了兩個(gè)同時(shí)發(fā)生的序列的元素。P={[14][23][32][41]};現(xiàn)在我們就可以模擬這個(gè)網(wǎng)絡(luò)了：A=sim(net,P);網(wǎng)絡(luò)輸出結(jié)果將是：A={[14][411][78][105]}可以看到，每個(gè)矩陣的第一列是由第一組輸入序列產(chǎn)生的輸出序列，每個(gè)矩陣的第二列是由第二組輸入序列產(chǎn)生的輸出序列。這兩組序列之間沒有關(guān)聯(lián)，好象他們是同時(shí)應(yīng)用在單個(gè)的并行網(wǎng)絡(luò)上的。第15頁/共48頁前面的討論中，不論是作為一個(gè)同步向量矩陣輸入還是作為一個(gè)異步向量細(xì)胞數(shù)組輸入，模擬的輸出值是一樣的。在訓(xùn)練網(wǎng)絡(luò)時(shí)，這是不對(duì)的。當(dāng)我們使用adapt函數(shù)時(shí)，如果輸入是異步向量細(xì)胞數(shù)組，那么權(quán)重將在每一組輸入提交的時(shí)候更新（就是增加方式）；如果輸入是同步向量矩陣，那么權(quán)重將只在所有輸入提交的時(shí)候更新（就是批處理方式）。第16頁/共48頁1.6訓(xùn)練方式

兩種不同的訓(xùn)練方式

(1)增加方式：每提交一次輸入數(shù)據(jù)，網(wǎng)絡(luò)權(quán)重和偏置都更新一次;

(2)在批處理方式中：僅僅當(dāng)所有的輸入數(shù)據(jù)都被提交以后，網(wǎng)絡(luò)權(quán)重和偏置才被更新.增加方式（應(yīng)用于自適應(yīng)網(wǎng)絡(luò)和其他網(wǎng)絡(luò)）雖然增加方式更普遍的應(yīng)用于動(dòng)態(tài)網(wǎng)絡(luò)，比如自適應(yīng)濾波，但是在靜態(tài)和動(dòng)態(tài)網(wǎng)絡(luò)中都可以應(yīng)用它。第17頁/共48頁靜態(tài)網(wǎng)絡(luò)中的增加方式

用增加方式來訓(xùn)練靜態(tài)同步仿真中的例1，這樣每提交一次輸入數(shù)據(jù)，網(wǎng)絡(luò)權(quán)重和偏置都更新一次。在此我們用函數(shù)adapt，并給出輸入和目標(biāo)序列：假定我們要訓(xùn)練網(wǎng)絡(luò)建立以下線性函數(shù)：t=2p1+p2.我們的輸入是：目標(biāo)輸出是：t1=[4],t2=[5],t3=[7],t4=[7]首先用0初始化權(quán)重和偏置。為了顯示增加方式的效果，先把學(xué)習(xí)速度也設(shè)為0。

net=newlin([-11;-11],1,0,0);net.IW{1,1}=[00];net.b{1}=0;為了用增加方式，我們把輸入和目標(biāo)輸出表示為以下序列：

P={[1;2][2;1][2;3][3;1]};T={4577};第18頁/共48頁用增加方式訓(xùn)練網(wǎng)絡(luò)：net=newlin([-11;-11],1,0,0);net.IW{1,1}=[00];net.b{1}=0;P={[1;2][2;1][2;3][3;1]};T={4577};[net,a,e,pf]=adapt(net,P,T);由于學(xué)習(xí)速度為0，網(wǎng)絡(luò)輸出仍然為0，并且權(quán)重沒有被更新。錯(cuò)誤和目標(biāo)輸出相等。

a=[0][0][0][0]e=[4][5][7][7]如果我們?cè)O(shè)置學(xué)習(xí)速度為0.1，我們就能夠看到當(dāng)每一組輸入提交時(shí)，網(wǎng)絡(luò)是怎么調(diào)整的了。net.inputWeights{1,1}.learnParam.lr=0.1;net.biases{1,1}.learnParam.lr=0.1;[net,a,e,pf]=adapt(net,P,T);a=[0][2][6.0][5.8]e=[4][3][1.0][1.2]第19頁/共48頁2、BP神經(jīng)網(wǎng)絡(luò)2.1、概述BP網(wǎng)絡(luò)是采用Widrow-Hoff學(xué)習(xí)算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò)。一個(gè)典型的BP網(wǎng)絡(luò)采用的是梯度下降算法，也就是Widrow-Hoff算法所規(guī)定的。backpropagation就是指的為非線性多層網(wǎng)絡(luò)計(jì)算梯度的方法。現(xiàn)在有許多基本的優(yōu)化算法，例如變尺度算法和牛頓算法。神經(jīng)網(wǎng)絡(luò)工具箱提供了許多這樣的算法。一個(gè)經(jīng)過訓(xùn)練的BP網(wǎng)絡(luò)能夠根據(jù)輸入給出合適的結(jié)果，雖然這個(gè)輸入并沒有被訓(xùn)練過。這個(gè)特性使得BP網(wǎng)絡(luò)很適合采用輸入/目標(biāo)對(duì)進(jìn)行訓(xùn)練，而且并不需要把所有可能的輸入/目標(biāo)對(duì)都訓(xùn)練過。為了提高網(wǎng)絡(luò)的適用性，神經(jīng)網(wǎng)絡(luò)工具箱提供了兩個(gè)特性--規(guī)則化和早期停止。第20頁/共48頁2.2、基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)

1）常用的前饋型BP網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)有l(wèi)ogsig，tansig有時(shí)也會(huì)用到線性函數(shù)purelin。當(dāng)網(wǎng)絡(luò)的最后一層采用曲線函數(shù)時(shí)輸出被限制在一個(gè)很小的范圍內(nèi)，如果采用線性函數(shù)則輸出可為任意值。如果需要也可以創(chuàng)建其他可微的轉(zhuǎn)移函數(shù)。

2）在BP網(wǎng)絡(luò)中，轉(zhuǎn)移函數(shù)可求導(dǎo)是非常重要的，tansig、logsig和purelin都有對(duì)應(yīng)的導(dǎo)函數(shù)dtansig、dlogsig和dpurelin。為了得到更多轉(zhuǎn)移函數(shù)的導(dǎo)函數(shù),可以輸入

tansig(‘deriv’)

ans=dtansig

第21頁/共48頁網(wǎng)絡(luò)構(gòu)建和初始化訓(xùn)練前饋網(wǎng)絡(luò)的第一步是建立網(wǎng)絡(luò)對(duì)象。函數(shù)newff建立一個(gè)可訓(xùn)練的前饋網(wǎng)絡(luò)。net=newff(PR,[S1S2...SNl],{TF1TF2...TFNl},BTF,BLF,PF)這里需要4個(gè)輸入?yún)?shù)。第一個(gè)參數(shù)是一個(gè)RxS1的矩陣以定義R個(gè)輸入向量的最小值和最大值。第二個(gè)參數(shù)是一個(gè)每層神經(jīng)元個(gè)數(shù)的數(shù)組。第三個(gè)參數(shù)是包含每層用到的轉(zhuǎn)移函數(shù)名稱的細(xì)胞數(shù)組。最后一個(gè)參數(shù)是用到的訓(xùn)練函數(shù)的名稱。第22頁/共48頁例、創(chuàng)建一個(gè)二層網(wǎng)絡(luò)它的輸入是兩個(gè)元素的向量，第一層有四個(gè)神經(jīng)元，第二層有三個(gè)神經(jīng)元。第一層的轉(zhuǎn)移函數(shù)是tan-sigmoid，輸出層的轉(zhuǎn)移函數(shù)是linear。輸入向量的第一個(gè)元素的范圍是-1到2，輸入向量的第二個(gè)元素的范圍是0到5，訓(xùn)練函數(shù)是=newff([-12;05],[4,3],{‘tansig’,‘purelin’},‘traingd’);這個(gè)命令建立了網(wǎng)絡(luò)對(duì)象并且初始化了網(wǎng)絡(luò)權(quán)重和偏置，因此網(wǎng)絡(luò)就可以進(jìn)行訓(xùn)練了。第23頁/共48頁在訓(xùn)練前饋網(wǎng)絡(luò)之前，權(quán)重和偏置必須被初始化。初始化權(quán)重和偏置的工作用命令init來實(shí)現(xiàn)。

net=init(net);

對(duì)前饋網(wǎng)絡(luò)來說，有兩種不同的初始化方式經(jīng)常被用到：initwb和initnw。

1）initwb函數(shù)根據(jù)每一層自己的初始化參數(shù)(net.inputWeights{i,j}.initFcn)初始化權(quán)重矩陣和偏置。前饋網(wǎng)絡(luò)的初始化權(quán)重通常設(shè)為rands，它使權(quán)重在-1到1之間隨機(jī)取值值，這種方式經(jīng)常用在轉(zhuǎn)換函數(shù)是線性函數(shù)時(shí)。

2）initnw通常用于轉(zhuǎn)換函數(shù)是曲線函數(shù)。它根據(jù)Nguyen和Widrow[NgWi90]為層產(chǎn)生初始權(quán)重和偏置值，使得每層神經(jīng)元的活動(dòng)區(qū)域能大致平坦的分布在輸入空間。它比起單純的給權(quán)重和偏置隨機(jī)賦值有以下優(yōu)點(diǎn)：（1）減少神經(jīng)元的浪費(fèi)（因?yàn)樗猩窠?jīng)元的活動(dòng)區(qū)域都在輸入空間內(nèi)）。（2）有更快的訓(xùn)練速度（因?yàn)檩斎肟臻g的每個(gè)區(qū)域都在活動(dòng)的神經(jīng)元范圍中）。

第24頁/共48頁初始化函數(shù)被newff所調(diào)用。因此當(dāng)網(wǎng)絡(luò)創(chuàng)建時(shí)，它根據(jù)缺省的參數(shù)自動(dòng)初始化。init不需要單獨(dú)的調(diào)用。可是我們可能要重新初始化權(quán)重和偏置或者進(jìn)行自定義的初始化。例如，我們用newff創(chuàng)建的網(wǎng)絡(luò)，它缺省用initnw來初始化第一層。如果我們想要用rands重新初始化第一層的權(quán)重和偏置，我們用以下命令：

net.layers{1}.initFcn='initwb';net.inputWeights{1,1}.initFcn='rands';net.biases{1,1}.initFcn='rands';net.biases{2,1}.initFcn='rands';net=init(net);第25頁/共48頁網(wǎng)絡(luò)模擬(SIM)

用函數(shù)sim模擬一個(gè)網(wǎng)絡(luò)。sim接收網(wǎng)絡(luò)輸入p，網(wǎng)絡(luò)對(duì)象net，返回網(wǎng)絡(luò)輸出a，這里是simuff用來模擬上面建立的帶一個(gè)輸入向量的網(wǎng)絡(luò)。p=[1;2];a=sim(net,p)a=-0.1011(用這段代碼得到的輸出是不一樣的，這是因?yàn)榫W(wǎng)絡(luò)初始化是隨機(jī)的。)例、調(diào)用sim來計(jì)算一個(gè)同步輸入3向量網(wǎng)絡(luò)的輸出：p=[132;241];a=sim(net,p)a=-0.1011-0.23080.4955第26頁/共48頁網(wǎng)絡(luò)訓(xùn)練一旦網(wǎng)絡(luò)加權(quán)和偏差被初始化，網(wǎng)絡(luò)就可以開始訓(xùn)練了。我們能夠訓(xùn)練網(wǎng)絡(luò)來做函數(shù)近似（非線性后退），模式結(jié)合，或者模式分類。訓(xùn)練處理需要一套適當(dāng)?shù)木W(wǎng)絡(luò)操作的例子--網(wǎng)絡(luò)輸入p和目標(biāo)輸出t。在訓(xùn)練期間網(wǎng)絡(luò)的加權(quán)和偏差不斷的把網(wǎng)絡(luò)性能函數(shù)net.performFcn減少到最小。前饋網(wǎng)絡(luò)的缺省性能函數(shù)是均方誤差mse--網(wǎng)絡(luò)輸出和目標(biāo)輸出t之間的均方誤差。第27頁/共48頁反向傳播算法反向傳播學(xué)習(xí)算法最簡(jiǎn)單的應(yīng)用是沿著性能函數(shù)最速增加的方向--梯度的負(fù)方向更新權(quán)重和偏置。這種遞歸算法可以寫成：

xk+1=xk-ak*gk這里xk是當(dāng)前權(quán)重和偏置向量，gk是當(dāng)前梯度，ak是學(xué)習(xí)速率。有兩種不同的辦法實(shí)現(xiàn)梯度下降算法：增加模式和批處理模式。在增加模式中，網(wǎng)絡(luò)輸入每提交一次，梯度計(jì)算一次并更新權(quán)重。在批處理模式中，當(dāng)所有的輸入都被提交后網(wǎng)絡(luò)才被更新。第28頁/共48頁增加模式訓(xùn)練法（ADAPT）現(xiàn)在我們就可以開始訓(xùn)練網(wǎng)絡(luò)了。當(dāng)然我們要指定輸入值和目標(biāo)值如下所示：

p=[-1-122;0505];t=[-1-111];如果我們要在每一次提交輸入后都更新權(quán)重，那么我們需要將輸入矩陣和目標(biāo)矩陣轉(zhuǎn)變?yōu)榧?xì)胞數(shù)組。每一個(gè)細(xì)胞都是一個(gè)輸入或者目標(biāo)向量。p=num2cell(p,1);t=num2cell(t,1);現(xiàn)在就可以用adapt來實(shí)現(xiàn)增加方式訓(xùn)練了:[net,a,e]=adapt(net,p,t);訓(xùn)練結(jié)束以后，就可以模擬網(wǎng)絡(luò)輸出來檢驗(yàn)訓(xùn)練質(zhì)量了。

a=sim(net,p)a=[-0.9995][-1.0000][1.0001][1.0000]第29頁/共48頁帶動(dòng)力的梯度下降(LEARDGDM)

批處理訓(xùn)練方式批處理梯度下降法(TRAINGD)

帶動(dòng)量的批處理梯度下降法（批處理訓(xùn)練方式TRAINGDM）第30頁/共48頁例1、蠓蟲分類問題1、蠓蟲分類問題生物學(xué)家試圖對(duì)兩種蠓蟲（Af與Apf）進(jìn)行鑒別，依據(jù)的資料是觸角和翅膀的長度，已經(jīng)測(cè)得了9支Af和6支Apf的數(shù)據(jù)如下：Af:(1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)，(1.48,1.82)，(1.54,1.82)，(1.56,2.08)；Apf:(1.14,1.82)，(1.18,1.96)，(1.20,1.86)，(1.26,2.00)，(1.28,2.00)，(1.30,1.96).（i）根據(jù)如上資料，如何制定一種方法，正確地區(qū)分兩類蠓蟲。（ii）對(duì)觸角和翼長分別為(1.24,1.80)，(1.28,1.84)與(1.40,2.04)的3個(gè)標(biāo)本，用所得到的方法加以識(shí)別。（iii）設(shè)Af是寶貴的傳粉益蟲，Apf是某疾病的載體，是否應(yīng)該修改分類方法。第31頁/共48頁問題分析：要求依據(jù)已知資料（9支Af的數(shù)據(jù)和6支Apf的數(shù)據(jù)）制定一種分類方法，類別是已經(jīng)給定的（Af或Apf）。我們將9支Af及6支Apf的數(shù)據(jù)集合稱之為學(xué)習(xí)樣本。

2多層前饋網(wǎng)絡(luò)

為解決此問題，考慮一個(gè)其結(jié)構(gòu)如下圖所示的人工神經(jīng)網(wǎng)絡(luò)輸入層輸出層中間層（隱層）第32頁/共48頁以s=1,2,,15，分別表示學(xué)習(xí)樣本中的15個(gè)樣品，對(duì)樣品s而言，對(duì)任何一組確定的輸入I_k^s(k=1,2)隱單元j的輸入是

相應(yīng)的輸出狀態(tài)是

網(wǎng)絡(luò)的最終輸出是第33頁/共48頁對(duì)于任何一組確定的輸入，輸出是所有權(quán)的函數(shù)。如果我們能夠選定一組適當(dāng)?shù)臋?quán)值，使得對(duì)應(yīng)于學(xué)習(xí)樣本中任何一組Af樣品的輸入，輸出為(1,0)，對(duì)應(yīng)于Apf的輸入數(shù)據(jù)，輸出為(0,1)，那么蠓蟲分類問題實(shí)際上就解決了。因?yàn)椋瑢?duì)于任何一個(gè)未知類別的樣品，只要將其觸角及翅膀長度輸入網(wǎng)絡(luò)，視其輸出模式靠近(1,0)亦或(0,1)，就可能判斷其歸屬。當(dāng)然，有可能出現(xiàn)介于中間無法判斷的情況。

現(xiàn)在的問題是，如何找到一組適當(dāng)?shù)臋?quán)值，實(shí)現(xiàn)上面所設(shè)想的網(wǎng)絡(luò)功能。第34頁/共48頁3向后傳播算法

在1985年，美國加州大學(xué)的一個(gè)研究小組提出了所謂向后傳播算法（Back-Propagation）。

我們希望對(duì)應(yīng)于學(xué)習(xí)樣本中Af樣品的輸出是(1,0)，對(duì)應(yīng)于Apf的輸出是(0,1)，這樣的輸出稱之為理想輸出。實(shí)際上要精確地作到這一點(diǎn)是不可能的，只能希望實(shí)際輸出盡可能地接近理想輸出。為清楚起見，把對(duì)應(yīng)于樣品s的理想輸出記為，

度量了在一組給定的權(quán)下，實(shí)際輸出與理想輸出的差異，由此，尋找一組恰當(dāng)?shù)臋?quán)的問題，自然地歸結(jié)為求適當(dāng)W的值，使E(W)達(dá)到極小的問題第35頁/共48頁最速下降法對(duì)每一個(gè)變量w_ij或w而言，這是一個(gè)連續(xù)可微的非線性函數(shù)，為了求得其極小點(diǎn)與極小值，最為方便的就是使用最速下降法。最速下降法是一種迭代算法，為求出E(W)的（局部）極小，它從一個(gè)任取的初始點(diǎn)W_0出發(fā)，計(jì)算在W_0點(diǎn)的負(fù)梯度方向，這是函數(shù)在該點(diǎn)下降最快的方向；只要，就可沿該方向移動(dòng)一小段距離，達(dá)到一個(gè)新的點(diǎn)。不斷重復(fù)這一過程，一定能達(dá)到E的一個(gè)（局部）極小點(diǎn)。就本質(zhì)而言，這就是BP算法的全部內(nèi)容。然而，對(duì)人工神經(jīng)網(wǎng)絡(luò)問題而言，這一算法的具體形式是非常重要的，下面我們就來給出這一形式表達(dá)。第36頁/共48頁對(duì)于隱單元到輸出單元的權(quán)w_ij而言，最速下降法給出的每一步的修正量是可以看出，所有權(quán)的修正量都有如下形式指標(biāo)p對(duì)應(yīng)于兩個(gè)單元中輸出信號(hào)的一端，q對(duì)應(yīng)于輸入信號(hào)的一端，v或者代表H或者代表I。第37頁/共48頁

由實(shí)際輸出與理想輸出的差及決定，而則需依賴算出，因此，這一算法才稱為

向后傳播算法。利用這一迭代算法，最終生成在一定精度內(nèi)滿足要求的的過程，稱為人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程?？梢钥闯觯@里所提供的學(xué)習(xí)機(jī)制是元與元之間權(quán)的不斷調(diào)整，學(xué)習(xí)樣本中任何一個(gè)樣品所提供的信息，最終將包含在網(wǎng)絡(luò)的每一個(gè)權(quán)之中。參數(shù)h的大小則反映了學(xué)習(xí)效率。第38頁/共48頁第39頁/共48頁4、蠓蟲分類問題求解clearp1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.001.28,2.00;1.30,1.96];p=[p1;p2]';pr=minmax(p);goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)];subplot(1,2,1)plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o')subplot(1,2,2)net=newff(pr,[3,2],{'logsig','logsig'});net.trainParam.show=10;net.trainParam.lr=0.05;net.trainParam.epochs=3000;net.trainParam.goal=1e-10;net=train(net,p,goal);x=[1.241.80;1.281.84;1.402.04]';y0=sim(net,p)y=sim(net,x)第40頁/共48頁例2、人口預(yù)測(cè)

以下是從《北京統(tǒng)計(jì)年鑒》中得到的1980-2010年的北京城近郊區(qū)戶籍人口統(tǒng)計(jì)結(jié)果作為樣本數(shù)據(jù)，建立人工神經(jīng)網(wǎng)絡(luò)模型，預(yù)測(cè)、2011年的北京城近郊區(qū)戶籍人口第41頁/共48頁北京市人口數(shù)統(tǒng)計(jì)表：年份人數(shù)（萬人）年份人數(shù)（萬人）1980498.41996631.81981510.21997638.71982521.31998646.21983534.01999651.81984540.72000658.91985542.82001667.41986553.02002678.61987563.22003689.21988573.92004698.81989582.12005707.219905922006713.21991598.72007718.51992604.32008730.91993609.52009743.81994616.12010749.61995625.1第42頁/共48頁數(shù)據(jù)處理后的樣本數(shù)據(jù)：樣本用途樣本組數(shù)輸入一輸入二輸入三輸入四輸出學(xué)習(xí)樣本10.49840.51020.52130.5340.540720.51020.52130.5340.54070.542830.52130.5340.54070.54280.55340.5340.54070.54280.5530.563250.54070.54280.5530.56320.573960.54280.5530.56320.57390.582170.5530.56320.57390.58210.59280.56320.57390.58210.5920.598790.57390.58210.5920.59870.6043100.58210.5920.59870.60430.6095110.5920.59870.60430.60950.6161120.59870.60430.60950.61610.6251130.60430.60950.61610.62510.6318140.60950.61610.62510.63180.6387150.61610.62510.63180.63870.6462160.62510.63180.63870.64620.6518170.63180.63870.64620.65180.6589180.63870.64620.65180.65890.6674190.64620.65180.65890.66740.6786200.65180.65890.66740.67860.6892210.65890.66740.67860.68920.6988220.66740.67860.68920.69880.