




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
前饋神經(jīng)網(wǎng)絡(luò)第1頁(yè)/共40頁(yè)23前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.1感知器模型凈輸入:(3.1)輸出:(3.2)ojx1-1xn…第2頁(yè)/共40頁(yè)33前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能(1)設(shè)輸入向量X=(x1,x2)T輸出:則由方程w1jx1+w2jx2-Tj=0
(3.3)確定了二維平面上的一條分界線。ojx1-1x2單計(jì)算節(jié)點(diǎn)感知器第3頁(yè)/共40頁(yè)43前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能第4頁(yè)/共40頁(yè)53前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能(2)設(shè)輸入向量X=(x1,x2,x3)T輸出:則由方程w1jx1+w2jx2+w3j
x3–Tj=0(3.4)確定了三維空間上的一個(gè)分界平面。x2ojx1x3-1第5頁(yè)/共40頁(yè)63前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能第6頁(yè)/共40頁(yè)73前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能(3)設(shè)輸入向量X=(x1,x2,…,xn)T則由方程
w1jx1+w2jx2+…+wnj
xn–Tj=0(3.6)確定了n維空間上的一個(gè)分界平面。輸出:sgn(w1jx1+w2jx2+…+wnjxn
–Tj)(3.5)第7頁(yè)/共40頁(yè)83前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.2感知器的功能
一個(gè)最簡(jiǎn)單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量(包含了閾值)中,由權(quán)向量確定的分類判決界面將輸入模式分為兩類。第8頁(yè)/共40頁(yè)9例一用感知器實(shí)現(xiàn)邏輯“與”功能。x1 x2 y0 0 00 1 01 0 01 1 1邏輯“與”真值表感知器結(jié)構(gòu)w1x1+w2x2-T=0
0.5x1+0.5x2-0.75=0第9頁(yè)/共40頁(yè)10例一用感知器實(shí)現(xiàn)邏輯“與”功能。第10頁(yè)/共40頁(yè)11例二用感知器實(shí)現(xiàn)邏輯“或”功能。x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表感知器結(jié)構(gòu)w1x1+w2x2-T=0
x1+x2-0.5=0第11頁(yè)/共40頁(yè)12例二用感知器實(shí)現(xiàn)邏輯“或”功能。第12頁(yè)/共40頁(yè)133前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.3感知器的局限性問題:能否用感知器實(shí)現(xiàn)“異或”功能?“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0第13頁(yè)/共40頁(yè)143前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟:(1)對(duì)各權(quán)值w0j(0),w1j(0),┄,wnj(0),j=1,2,┄,m
(m為計(jì)算層的節(jié)點(diǎn)數(shù))賦予較小的非零隨機(jī)數(shù);(2)輸入樣本對(duì){Xp,dp},其中Xp=(-1,x1p,x2p,┄,xnp),
dp為期望的輸出向量(教師信號(hào)),上標(biāo)p代表樣本對(duì)的模式序號(hào),設(shè)樣本集中的樣本總數(shù)為P,則p=1,2,┄,P;第14頁(yè)/共40頁(yè)153前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟:(3)計(jì)算各節(jié)點(diǎn)的實(shí)際輸出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m;(4)調(diào)整各節(jié)點(diǎn)對(duì)應(yīng)的權(quán)值,Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,
j=1,2,┄,m,
其中為學(xué)習(xí)率,用于控制調(diào)整速度,太大會(huì)影響訓(xùn)練的穩(wěn)定性,太小則使訓(xùn)練的收斂速度變慢,一般取0<η≤1;(5)返回到步驟(2)輸入下一對(duì)樣本,周而復(fù)始直到對(duì)所有樣本,感知器的實(shí)際輸出與期望輸出相等。第15頁(yè)/共40頁(yè)163前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法例三單計(jì)算節(jié)點(diǎn)感知器,3個(gè)輸入。給定3對(duì)訓(xùn)練樣本對(duì)如下:X1=(-1,1,-2,0)T
d1=1 X2=(-1,0,1.5,-0.5)T
d2=1X3=(-1,-1,1,0.5)T
d3=1
設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T,η=0.1。注意,輸入向量中第一個(gè)分量x0恒等于-1,權(quán)向量中第一個(gè)分量為閾值,試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。第16頁(yè)/共40頁(yè)173前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法解:第一步輸入X1,得
WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5
o1(0)=sgn(2.5)=1
W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T第17頁(yè)/共40頁(yè)183前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法第二步輸入X2,得
WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6
o2(1)=sgn(-1.6)=-1
W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1),所以W(2)=W(1)。第18頁(yè)/共40頁(yè)193前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器3.1.4感知器的學(xué)習(xí)算法第三步輸入X3,得
WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1
O3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步,繼續(xù)訓(xùn)練直到dp-op=0,p=1,2,3。第19頁(yè)/共40頁(yè)203前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計(jì)算層感知器解決“異或”問題?!爱惢颉钡恼嬷当韝1x2y1y2o001011100111第20頁(yè)/共40頁(yè)213前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計(jì)算層感知器解決“異或”問題?!爱惢颉钡恼嬷当韝1x2y1y2o001010101111第21頁(yè)/共40頁(yè)223前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計(jì)算層感知器解決“異或”問題?!爱惢颉钡恼嬷当韝1x2y1y2o0011011010011111第22頁(yè)/共40頁(yè)233前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器雙層感知器“異或”問題分類例四用兩計(jì)算層感知器解決“異或”問題?!爱惢颉钡恼嬷当韝1x2y1y2o00110011011001111110第23頁(yè)/共40頁(yè)243前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器第24頁(yè)/共40頁(yè)253前饋神經(jīng)網(wǎng)絡(luò)3.2多層感知器具有不同隱層數(shù)的感知器的分類能力對(duì)比第25頁(yè)/共40頁(yè)263前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型第26頁(yè)/共40頁(yè)273前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型輸入向量:
X=(x1,x2,…,xi,…,xn)T隱層輸出向量:
Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量:
O=(o1,o2,…,ok,…,ol)T期望輸出向量:d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣:V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣:W=(W1,W2,…,Wk,…,Wl)第27頁(yè)/共40頁(yè)283前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型對(duì)于輸出層:k=1,2,…,l(3.4.1)k=1,2,…,l(3.4.2)對(duì)于隱層:j=1,2,…,m(3.4.3)j=1,2,…,m
(3.4.4)第28頁(yè)/共40頁(yè)293前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.1基于BP算法的多層前饋網(wǎng)絡(luò)模型雙極性Sigmoid函數(shù):?jiǎn)螛O性Sigmoid函數(shù):(3.4.5)第29頁(yè)/共40頁(yè)303前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.2BP學(xué)習(xí)算法一、網(wǎng)絡(luò)誤差定義與權(quán)值調(diào)整思路輸出誤差E定義:(3.4.6)將以上誤差定義式展開至隱層:(3.4.7)第30頁(yè)/共40頁(yè)313前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.2BP學(xué)習(xí)算法一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整進(jìn)一步展開至輸入層:(3.4.8)第31頁(yè)/共40頁(yè)323前饋神經(jīng)網(wǎng)絡(luò)3.4誤差反傳(BP)算法3.4.2BP學(xué)習(xí)算法j=0,1,2,…,m;k=1,2,…,l(3.4.9a)i=0,1,2,…,n;j=1,2,…,m(3.4.9b)式中負(fù)號(hào)表示梯度下降,常數(shù)η∈(0,1)表示比例系數(shù)。在全部推導(dǎo)過程中,對(duì)輸出層有j=0,1,2,…,m;k=1,2,…,l對(duì)隱層有i=0,1,2,…,n;j=1,2,…,m第32頁(yè)/共40頁(yè)333.4.2BP學(xué)習(xí)算法二、BP算法推導(dǎo)對(duì)于輸出層,式(3.4.9a)可寫為(3.4.10a)對(duì)隱層,式(3.4.9b)可寫為(3.4.10b)對(duì)輸出層和隱層各定義一個(gè)誤差信號(hào),令
(3.4.11a)(3.4.11b)yjxi第33頁(yè)/共40頁(yè)34綜合應(yīng)用式(3.4.2)和(3.4.11a),
溫馨提示
- 1. 本站所有資源如無(wú)特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 車輛備戶協(xié)議書
- 百畝山地承包協(xié)議書
- 污泥運(yùn)輸合同協(xié)議書
- 雇用名譽(yù)法人合同協(xié)議
- 湖北裝修協(xié)會(huì)合同協(xié)議
- 餐飲合同解約協(xié)議書
- 生育津貼領(lǐng)取協(xié)議書
- 金山小區(qū)解封協(xié)議書
- 領(lǐng)貨協(xié)議合同書范本
- 娛樂公司簽約協(xié)議書
- 小麥胚芽知識(shí)問答
- 戰(zhàn)略方法論三層面法和財(cái)務(wù)模型課件
- 裝表接電課件(PPT 86頁(yè))
- 病例報(bào)告表(CRF)模板
- Q∕GDW 12158-2021 國(guó)家電網(wǎng)有限公司重大活動(dòng)電力安全保障工作規(guī)范
- 鏈斗技術(shù)規(guī)范書
- 船舶應(yīng)急部署表及船員應(yīng)變卡
- 爾雅《尊重學(xué)術(shù)道德遵守學(xué)術(shù)規(guī)范》期末考試答案0001
- 關(guān)聯(lián)交易模板詳解
- 政治經(jīng)濟(jì)學(xué)計(jì)算題附答案
- 熱風(fēng)爐烘爐方案2014.
評(píng)論
0/150
提交評(píng)論