前饋神經(jīng)網(wǎng)絡(luò)_第1頁(yè)
前饋神經(jīng)網(wǎng)絡(luò)_第2頁(yè)
前饋神經(jīng)網(wǎng)絡(luò)_第3頁(yè)
前饋神經(jīng)網(wǎng)絡(luò)_第4頁(yè)
前饋神經(jīng)網(wǎng)絡(luò)_第5頁(yè)
已閱讀5頁(yè),還剩35頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

前饋神經(jīng)網(wǎng)絡(luò)第1頁(yè)/共40頁(yè)23前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.1感知器模型凈輸入:(3.1)輸出:(3.2)ojx1-1xn…第2頁(yè)/共40頁(yè)33前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能(1)設(shè)輸入向量X=(x1,x2)T輸出:則由方程w1jx1+w2jx2-Tj=0

(3.3)確定了二維平面上的一條分界線。ojx1-1x2單計(jì)算節(jié)點(diǎn)感知器第3頁(yè)/共40頁(yè)43前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能第4頁(yè)/共40頁(yè)53前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能(2)設(shè)輸入向量X=(x1,x2,x3)T輸出:則由方程w1jx1+w2jx2+w3j

x3–Tj=0(3.4)確定了三維空間上的一個(gè)分界平面。x2ojx1x3-1第5頁(yè)/共40頁(yè)63前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能第6頁(yè)/共40頁(yè)73前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能(3)設(shè)輸入向量X=(x1,x2,…,xn)T則由方程

w1jx1+w2jx2+…+wnj

xn–Tj=0(3.6)確定了n維空間上的一個(gè)分界平面。輸出:sgn(w1jx1+w2jx2+…+wnjxn

–Tj)(3.5)第7頁(yè)/共40頁(yè)83前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能

一個(gè)最簡(jiǎn)單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量(包含了閾值)中,由權(quán)向量確定的分類判決界面將輸入模式分為兩類。第8頁(yè)/共40頁(yè)9例一用感知器實(shí)現(xiàn)邏輯“與”功能。x1 x2 y0 0 00 1 01 0 01 1 1邏輯“與”真值表感知器結(jié)構(gòu)w1x1+w2x2-T=0

0.5x1+0.5x2-0.75=0第9頁(yè)/共40頁(yè)10例一用感知器實(shí)現(xiàn)邏輯“與”功能。第10頁(yè)/共40頁(yè)11例二用感知器實(shí)現(xiàn)邏輯“或”功能。x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表感知器結(jié)構(gòu)w1x1+w2x2-T=0

x1+x2-0.5=0第11頁(yè)/共40頁(yè)12例二用感知器實(shí)現(xiàn)邏輯“或”功能。第12頁(yè)/共40頁(yè)133前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.3感知器的局限性問題:能否用感知器實(shí)現(xiàn)“異或”功能?“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0第13頁(yè)/共40頁(yè)143前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟:(1)對(duì)各權(quán)值w0j(0),w1j(0),┄,wnj(0),j=1,2,┄,m

(m為計(jì)算層的節(jié)點(diǎn)數(shù))賦予較小的非零隨機(jī)數(shù);(2)輸入樣本對(duì){Xp,dp},其中Xp=(-1,x1p,x2p,┄,xnp),

dp為期望的輸出向量(教師信號(hào)),上標(biāo)p代表樣本對(duì)的模式序號(hào),設(shè)樣本集中的樣本總數(shù)為P,則p=1,2,┄,P;第14頁(yè)/共40頁(yè)153前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟:(3)計(jì)算各節(jié)點(diǎn)的實(shí)際輸出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m;(4)調(diào)整各節(jié)點(diǎn)對(duì)應(yīng)的權(quán)值,Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,

j=1,2,┄,m,

其中為學(xué)習(xí)率,用于控制調(diào)整速度,太大會(huì)影響訓(xùn)練的穩(wěn)定性,太小則使訓(xùn)練的收斂速度變慢,一般取0<η≤1;(5)返回到步驟(2)輸入下一對(duì)樣本,周而復(fù)始直到對(duì)所有樣本,感知器的實(shí)際輸出與期望輸出相等。第15頁(yè)/共40頁(yè)163前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法例三單計(jì)算節(jié)點(diǎn)感知器,3個(gè)輸入。給定3對(duì)訓(xùn)練樣本對(duì)如下:X1=(-1,1,-2,0)T

d1=1 X2=(-1,0,1.5,-0.5)T

d2=1X3=(-1,-1,1,0.5)T

d3=1

設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T,η=0.1。注意,輸入向量中第一個(gè)分量x0恒等于-1,權(quán)向量中第一個(gè)分量為閾值,試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。第16頁(yè)/共40頁(yè)173前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法解:第一步輸入X1,得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T第17頁(yè)/共40頁(yè)183前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法第二步輸入X2,得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1),所以W(2)=W(1)。第18頁(yè)/共40頁(yè)193前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法第三步輸入X3,得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步,繼續(xù)訓(xùn)練直到dp-op=0,p=1,2,3。第19頁(yè)/共40頁(yè)203前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計(jì)算層感知器解決“異或”問題?!爱惢颉钡恼嬷当韝1x2y1y2o001011100111第20頁(yè)/共40頁(yè)213前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計(jì)算層感知器解決“異或”問題?!爱惢颉钡恼嬷当韝1x2y1y2o001010101111第21頁(yè)/共40頁(yè)223前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計(jì)算層感知器解決“異或”問題?!爱惢颉钡恼嬷当韝1x2y1y2o0011011010011111第22頁(yè)/共40頁(yè)233前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計(jì)算層感知器解決“異或”問題?!爱惢颉钡恼嬷当韝1x2y1y2o00110011011001111110第23頁(yè)/共40頁(yè)243前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器第24頁(yè)/共40頁(yè)253前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器具有不同隱層數(shù)的感知器的分類能力對(duì)比第25頁(yè)/共40頁(yè)263前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型第26頁(yè)/共40頁(yè)273前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型輸入向量:

X=(x1,x2,…,xi,…,xn)T隱層輸出向量:

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量:

O=(o1,o2,…,ok,…,ol)T期望輸出向量:d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣:V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣:W=(W1,W2,…,Wk,…,Wl)第27頁(yè)/共40頁(yè)283前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型對(duì)于輸出層:k=1,2,…,l(3.4.1)k=1,2,…,l(3.4.2)對(duì)于隱層:j=1,2,…,m(3.4.3)j=1,2,…,m

(3.4.4)第28頁(yè)/共40頁(yè)293前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型雙極性Sigmoid函數(shù):?jiǎn)螛O性Sigmoid函數(shù):(3.4.5)第29頁(yè)/共40頁(yè)303前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.2BP學(xué)習(xí)算法一、網(wǎng)絡(luò)誤差定義與權(quán)值調(diào)整思路輸出誤差E定義:(3.4.6)將以上誤差定義式展開至隱層:(3.4.7)第30頁(yè)/共40頁(yè)313前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.2BP學(xué)習(xí)算法一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整進(jìn)一步展開至輸入層:(3.4.8)第31頁(yè)/共40頁(yè)323前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.2BP學(xué)習(xí)算法j=0,1,2,…,m;k=1,2,…,l(3.4.9a)i=0,1,2,…,n;j=1,2,…,m(3.4.9b)式中負(fù)號(hào)表示梯度下降,常數(shù)η∈(0,1)表示比例系數(shù)。在全部推導(dǎo)過程中,對(duì)輸出層有j=0,1,2,…,m;k=1,2,…,l對(duì)隱層有i=0,1,2,…,n;j=1,2,…,m第32頁(yè)/共40頁(yè)333.4.2BP學(xué)習(xí)算法二、BP算法推導(dǎo)對(duì)于輸出層,式(3.4.9a)可寫為(3.4.10a)對(duì)隱層,式(3.4.9b)可寫為(3.4.10b)對(duì)輸出層和隱層各定義一個(gè)誤差信號(hào),令

(3.4.11a)(3.4.11b)yjxi第33頁(yè)/共40頁(yè)34綜合應(yīng)用式(3.4.2)和(3.4.11a),

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論