前饋神經(jīng)網(wǎng)絡(luò)

前饋神經(jīng)網(wǎng)絡(luò)第1頁/共40頁23前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.1感知器模型凈輸入：(3.1)輸出：(3.2)ojx1-1xn…第2頁/共40頁33前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能(1)設(shè)輸入向量X=(x1,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0

(3.3)確定了二維平面上的一條分界線。ojx1-1x2單計算節(jié)點感知器第3頁/共40頁43前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能第4頁/共40頁53前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能(2)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程w1jx1+w2jx2+w3j

x3–Tj=0(3.4)確定了三維空間上的一個分界平面。x2ojx1x3-1第5頁/共40頁63前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能第6頁/共40頁73前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能(3)設(shè)輸入向量X=(x1，x2,…，xn)T則由方程

w1jx1+w2jx2+…+wnj

xn–Tj=0(3.6)確定了n維空間上的一個分界平面。輸出：sgn(w1jx1+w2jx2+…+wnjxn

–Tj)(3.5)第7頁/共40頁83前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能

一個最簡單的單計算節(jié)點感知器具有分類功能。其分類原理是將分類知識存儲于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。第8頁/共40頁9例一用感知器實現(xiàn)邏輯“與”功能。x1 x2 y0 0 00 1 01 0 01 1 1邏輯“與”真值表感知器結(jié)構(gòu)w1x1+w2x2-T=0

0.5x1+0.5x2-0.75=0第9頁/共40頁10例一用感知器實現(xiàn)邏輯“與”功能。第10頁/共40頁11例二用感知器實現(xiàn)邏輯“或”功能。x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表感知器結(jié)構(gòu)w1x1+w2x2-T=0

x1+x2-0.5=0第11頁/共40頁12例二用感知器實現(xiàn)邏輯“或”功能。第12頁/共40頁133前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.3感知器的局限性問題：能否用感知器實現(xiàn)“異或”功能？“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0第13頁/共40頁143前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1)對各權(quán)值w0j(0),w1j(0),┄,wnj(0)，j=1,2,┄,m

（m為計算層的節(jié)點數(shù)）賦予較小的非零隨機(jī)數(shù)；(2)輸入樣本對{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)，

dp為期望的輸出向量（教師信號），上標(biāo)p代表樣本對的模式序號，設(shè)樣本集中的樣本總數(shù)為P，則p=1,2,┄,P；第14頁/共40頁153前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(3)計算各節(jié)點的實際輸出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；(4)調(diào)整各節(jié)點對應(yīng)的權(quán)值，Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,

j=1,2,┄,m,

其中為學(xué)習(xí)率，用于控制調(diào)整速度，太大會影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢，一般取0＜η≤1；(5)返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有樣本，感知器的實際輸出與期望輸出相等。第15頁/共40頁163前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法例三單計算節(jié)點感知器，3個輸入。給定3對訓(xùn)練樣本對如下：X1=(-1，1，-2，0)T

d1=1 X2=(-1，0，1.5，-0.5)T

d2=1X3=(-1，-1，1，0.5)T

d3=1

設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，輸入向量中第一個分量x0恒等于-1，權(quán)向量中第一個分量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。第16頁/共40頁173前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法解：第一步輸入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T第17頁/共40頁183前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法第二步輸入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。第18頁/共40頁193前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法第三步輸入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，繼續(xù)訓(xùn)練直到dp-op=0，p=1,2,3。第19頁/共40頁203前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o001011100111第20頁/共40頁213前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o001010101111第21頁/共40頁223前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o0011011010011111第22頁/共40頁233前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o00110011011001111110第23頁/共40頁243前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器第24頁/共40頁253前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器具有不同隱層數(shù)的感知器的分類能力對比第25頁/共40頁263前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳（BP）算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型第26頁/共40頁273前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳（BP）算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型輸入向量：

X=(x1,x2,…,xi,…,xn)T隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,…,Wk,…,Wl)第27頁/共40頁283前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳（BP）算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型對于輸出層：k=1,2,…,l(3.4.1)k=1,2,…,l(3.4.2)對于隱層：j=1,2,…,m(3.4.3)j=1,2,…,m

(3.4.4)第28頁/共40頁293前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳（BP）算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型雙極性Sigmoid函數(shù)：單極性Sigmoid函數(shù)：(3.4.5)第29頁/共40頁303前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳（BP）算法3.4.2BP學(xué)習(xí)算法一、網(wǎng)絡(luò)誤差定義與權(quán)值調(diào)整思路輸出誤差E定義：(3.4.6)將以上誤差定義式展開至隱層：(3.4.7)第30頁/共40頁313前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳（BP）算法3.4.2BP學(xué)習(xí)算法一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整進(jìn)一步展開至輸入層：(3.4.8)第31頁/共40頁323前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳（BP）算法3.4.2BP學(xué)習(xí)算法j=0,1,2,…,m;k=1,2,…,l(3.4.9a)i=0,1,2,…,n;j=1,2,…,m(3.4.9b)式中負(fù)號表示梯度下降，常數(shù)η∈(0,1)表示比例系數(shù)。在全部推導(dǎo)過程中，對輸出層有j=0,1,2,…,m;k=1,2,…,l對隱層有i=0,1,2,…,n;j=1,2,…,m第32頁/共40頁333.4.2BP學(xué)習(xí)算法二、BP算法推導(dǎo)對于輸出層，式(3.4.9a)可寫為(3.4.10a)對隱層，式(3.4.9b)可寫為(3.4.10b)對輸出層和隱層各定義一個誤差信號，令

(3.4.11a)(3.4.11b)yjxi第33頁/共40頁34綜合應(yīng)用式(3.4.2)和(3.4.11a)，