智能控制技術(shù)課件八

第七講人工神經(jīng)網(wǎng)絡(luò)模型

隨著人工神經(jīng)網(wǎng)絡(luò)應(yīng)用研究酌不斷深入，新的神經(jīng)網(wǎng)絡(luò)模型不斷推出?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)棋型已達(dá)近百種。在智能控制領(lǐng)域中，應(yīng)用最多的是以下幾種基本模型和它們的改進(jìn)型，即前向多層感知器(BP網(wǎng)絡(luò))、HopfteN網(wǎng)絡(luò)，自組織神經(jīng)網(wǎng)絡(luò)，動(dòng)態(tài)遞歸網(wǎng)絡(luò)，聯(lián)想記憶網(wǎng)絡(luò)(BAM)等．神經(jīng)網(wǎng)絡(luò)的基本理論主要涉及到穩(wěn)定性、學(xué)習(xí)算法、動(dòng)態(tài)性能等幾個(gè)方面。神經(jīng)網(wǎng)絡(luò)的特點(diǎn)：非線性分布處理學(xué)習(xí)并行和自適應(yīng)適用于多變量系統(tǒng)神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容1）神經(jīng)元模型2）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3）神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)的模型分類根據(jù)生物神經(jīng)系統(tǒng)的不同組織層次和抽象層次的模擬（四種）1）神經(jīng)元層次模型2）組合式模型3）網(wǎng)絡(luò)層次模型4）神經(jīng)系統(tǒng)層次模型根據(jù)神經(jīng)元的連接方式

1）前饋網(wǎng)絡(luò)2）反饋網(wǎng)絡(luò)3）相互結(jié)合型網(wǎng)絡(luò)4）混合型網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有導(dǎo)師學(xué)習(xí)無(wú)導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的泛化能力泛化的含義在具有某一概率分布的樣本中，隨機(jī)地取一部分做為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本。首先對(duì)這組樣本進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練最終得到神經(jīng)網(wǎng)絡(luò)輸出的誤差e1，然后再由全體樣本中再隨機(jī)地拿出另一組輸入輸出數(shù)據(jù)對(duì)已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行校對(duì)，這時(shí)記神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出和期望輸出之間的差為e2。那么定義|e1-e2|為這個(gè)神經(jīng)網(wǎng)絡(luò)的泛化能力。

前向神經(jīng)網(wǎng)絡(luò)模型單一人工神經(jīng)元單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多層傳播網(wǎng)絡(luò)的學(xué)習(xí)算法性能指標(biāo)

網(wǎng)絡(luò)的輸出第一層隱單元的輸出第r+1層隱單元輸出若r=L為輸出層若r≠L為隱含層BP算法的流程訓(xùn)練過(guò)程中的問(wèn)題權(quán)系數(shù)的初值學(xué)習(xí)方式（增量型和累積型）激勵(lì)函數(shù)學(xué)習(xí)速率

動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型前向傳播網(wǎng)絡(luò)－－靜態(tài)非線性映射，缺乏豐富的動(dòng)力學(xué)行為反饋神經(jīng)網(wǎng)絡(luò)：1）系統(tǒng)有若干個(gè)穩(wěn)定狀態(tài)2）系統(tǒng)的穩(wěn)定狀態(tài)可以通過(guò)改變連接單元的權(quán)值而產(chǎn)生

定義：神經(jīng)網(wǎng)絡(luò)從任一初始態(tài)X(0)開(kāi)始運(yùn)動(dòng)，若存在某一有限的時(shí)刻ts，從ts以后神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即X(ts+△t)=X(ts)，△t>0，則稱網(wǎng)絡(luò)是穩(wěn)定的。處于穩(wěn)定時(shí)刻的網(wǎng)絡(luò)狀態(tài)叫穩(wěn)定狀態(tài)，又稱定點(diǎn)吸引子。動(dòng)態(tài)網(wǎng)絡(luò)模型：節(jié)點(diǎn)方程用微分方程或差分方程靜態(tài)網(wǎng)絡(luò)模型：節(jié)點(diǎn)方程用非線性代數(shù)方程常用模型：Hopfield網(wǎng)絡(luò)、多層感知器網(wǎng)絡(luò)、回歸神經(jīng)網(wǎng)絡(luò)帶時(shí)滯的多層感知器網(wǎng)絡(luò)Hop敘fie活ld神經(jīng)飼網(wǎng)絡(luò)應(yīng)用：艇聯(lián)想記蒜憶、優(yōu)裝化計(jì)算1、二沾值型懼的Hop域fie終ld網(wǎng)絡(luò)例4－3假設(shè)一紫個(gè)3節(jié)點(diǎn)性的離鄰散Ho趣pf該ie滴ld神經(jīng)網(wǎng)皆絡(luò)，已渾知網(wǎng)絡(luò)熱權(quán)值與擾閾值如繪圖4－21a所示快。計(jì)肉算狀埋態(tài)轉(zhuǎn)亂移關(guān)邁系及照各狀菌態(tài)能聾量。初始狀燦態(tài)：y1y2y3=00孤0各節(jié)比點(diǎn)興私奮的茄條件俗及狀斯態(tài)的磚轉(zhuǎn)移各狀態(tài)白的能量能量液極小逢?duì)顟B(tài)夏－能宇量井偏－記務(wù)憶的汗樣本展信息產(chǎn)生方上法：合洗適的權(quán)銹值（靜殊態(tài)、動(dòng)紛態(tài)）例4－5以圖4－22所示的3節(jié)點(diǎn)DH擁NN為例，挖要求設(shè)襖計(jì)的能籠量井為狀寒態(tài)y1興y2懂y3裁=0博10和111。權(quán)值獎(jiǎng)和閾值罷可在[-1盡,1]區(qū)間取含值。試確定悉網(wǎng)絡(luò)沈權(quán)值側(cè)和閾貌值。解并不呀唯一，溪而且會(huì)遣產(chǎn)生不望期望的輸能量井Hop殘fie役ld網(wǎng)絡(luò)學(xué)涉習(xí)規(guī)則He港bb學(xué)習(xí)秧規(guī)則腥的訓(xùn)脈練方撤法N個(gè)神經(jīng)釋元相互脆連接，輕每個(gè)神弓經(jīng)元的貝狀態(tài)只障能取0或1。學(xué)習(xí)熄中調(diào)懂節(jié)ωij的原則昆：若i與j兩個(gè)神謹(jǐn)經(jīng)元同朱時(shí)處于晚興奮，毫則它們翠之間的征連接應(yīng)銅加強(qiáng)，運(yùn)即對(duì)于盜一給珍定的勞需要假記憶非的樣滑本向訴量[速t1,…作.tN],如果tk的狀態(tài)值于為＋1或－1，則其祥連接權(quán)外系數(shù)的系學(xué)習(xí)用睬“外積棍規(guī)則”即其標(biāo)峰量形朱式為對(duì)單床端情療況，額即神老經(jīng)元宜的活世躍值司為1或0時(shí)，權(quán)墓系數(shù)的痰學(xué)習(xí)規(guī)則壤為具體窗計(jì)算喇步驟絡(luò)：1