智能控制技術(shù)課件八

第七講人工神經(jīng)網(wǎng)絡(luò)模型

隨著人工神經(jīng)網(wǎng)絡(luò)應(yīng)用研究酌不斷深入，新的神經(jīng)網(wǎng)絡(luò)模型不斷推出?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)棋型已達(dá)近百種。在智能控制領(lǐng)域中，應(yīng)用最多的是以下幾種基本模型和它們的改進(jìn)型，即前向多層感知器(BP網(wǎng)絡(luò))、HopfteN網(wǎng)絡(luò)，自組織神經(jīng)網(wǎng)絡(luò)，動(dòng)態(tài)遞歸網(wǎng)絡(luò)，聯(lián)想記憶網(wǎng)絡(luò)(BAM)等．神經(jīng)網(wǎng)絡(luò)的基本理論主要涉及到穩(wěn)定性、學(xué)習(xí)算法、動(dòng)態(tài)性能等幾個(gè)方面。神經(jīng)網(wǎng)絡(luò)的特點(diǎn)：非線性分布處理學(xué)習(xí)并行和自適應(yīng)適用于多變量系統(tǒng)神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容1）神經(jīng)元模型2）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3）神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)的模型分類(lèi)根據(jù)生物神經(jīng)系統(tǒng)的不同組織層次和抽象層次的模擬（四種）1）神經(jīng)元層次模型2）組合式模型3）網(wǎng)絡(luò)層次模型4）神經(jīng)系統(tǒng)層次模型根據(jù)神經(jīng)元的連接方式

1）前饋網(wǎng)絡(luò)2）反饋網(wǎng)絡(luò)3）相互結(jié)合型網(wǎng)絡(luò)4）混合型網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有導(dǎo)師學(xué)習(xí)無(wú)導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的泛化能力泛化的含義在具有某一概率分布的樣本中，隨機(jī)地取一部分做為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本。首先對(duì)這組樣本進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練最終得到神經(jīng)網(wǎng)絡(luò)輸出的誤差e1，然后再由全體樣本中再隨機(jī)地拿出另一組輸入輸出數(shù)據(jù)對(duì)已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行校對(duì)，這時(shí)記神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出和期望輸出之間的差為e2。那么定義|e1-e2|為這個(gè)神經(jīng)網(wǎng)絡(luò)的泛化能力。

前向神經(jīng)網(wǎng)絡(luò)模型單一人工神經(jīng)元單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多層傳播網(wǎng)絡(luò)的學(xué)習(xí)算法性能指標(biāo)

網(wǎng)絡(luò)的輸出第一層隱單元的輸出第r+1層隱單元輸出若r=L為輸出層若r≠L為隱含層BP算法的流程訓(xùn)練過(guò)程中的問(wèn)題權(quán)系數(shù)的初值學(xué)習(xí)方式（增量型和累積型）激勵(lì)函數(shù)學(xué)習(xí)速率

動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型前向傳播網(wǎng)絡(luò)－－靜態(tài)非線性映射，缺乏豐富的動(dòng)力學(xué)行為反饋神經(jīng)網(wǎng)絡(luò)：1）系統(tǒng)有若干個(gè)穩(wěn)定狀態(tài)2）系統(tǒng)的穩(wěn)定狀態(tài)可以通過(guò)改變連接單元的權(quán)值而產(chǎn)生

定義：神經(jīng)網(wǎng)絡(luò)從任一初始態(tài)X(0)開(kāi)始運(yùn)動(dòng)，若存在某一有限的時(shí)刻ts，從ts以后神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即X(ts+△t)=X(ts)，△t>0，則稱(chēng)網(wǎng)絡(luò)是穩(wěn)定的。處于穩(wěn)定時(shí)刻的網(wǎng)絡(luò)狀態(tài)叫穩(wěn)定狀態(tài)，又稱(chēng)定點(diǎn)吸引子。動(dòng)態(tài)網(wǎng)絡(luò)模型：節(jié)點(diǎn)方程用微分方程或差分方程靜態(tài)網(wǎng)絡(luò)模型：節(jié)點(diǎn)方程用非線性代數(shù)方程常用模型：Hopfield網(wǎng)絡(luò)、多層感知器網(wǎng)絡(luò)、回歸神經(jīng)網(wǎng)絡(luò)帶時(shí)滯的多層感知器網(wǎng)絡(luò)Ho高pf攜ie漢ld神經(jīng)網(wǎng)觸絡(luò)應(yīng)用曬：聯(lián)鋪想記圈憶、你優(yōu)化悲計(jì)算1、二值蚊型的Ho輪pf騰ie侮ld網(wǎng)絡(luò)例4－3假設(shè)湯一個(gè)3節(jié)點(diǎn)鐮的離錘散Ho思pf屬ie李ld神經(jīng)沫網(wǎng)絡(luò)豈，已若知網(wǎng)電絡(luò)權(quán)江值與啞閾值善如圖4－21架a所示。娃計(jì)算狀姓態(tài)轉(zhuǎn)移老關(guān)系及踐各狀態(tài)以能量。初始街狀態(tài)容：y1y2y3=00違0各節(jié)點(diǎn)午興奮的奸條件及侍狀態(tài)的泳轉(zhuǎn)移各狀態(tài)擴(kuò)的能量能量極桿小狀態(tài)鐮－能量靠井－記盛憶的樣孫本信息產(chǎn)生方臺(tái)法：合暢適的權(quán)迷值（靜撈態(tài)、動(dòng)停態(tài)）例4－5以圖4－22所示距的3節(jié)點(diǎn)DHN震N為例，鋸要求設(shè)亦計(jì)的能航量井為狀態(tài)y1y維2y3半=01禽0和11保1。權(quán)值路和閾值市可在[-1選,1]區(qū)間取畏值。試確定網(wǎng)鉗絡(luò)權(quán)值最和閾值厘。解并崖不唯熊一，繩而且畫(huà)會(huì)產(chǎn)潑生不臨期望壘的能偶量井Ho御pf泊ie具ld網(wǎng)絡(luò)顏學(xué)習(xí)章規(guī)則Heb梁b學(xué)習(xí)蒜規(guī)則笨的訓(xùn)絨練方翅法N個(gè)神經(jīng)裁元相互租連接，約每個(gè)神款經(jīng)元的襪狀態(tài)只桂能取0或1。學(xué)習(xí)夢(mèng)中調(diào)給節(jié)ωij的原則啟：若i與j兩個(gè)膜神經(jīng)怒元同紅時(shí)處想于興爪奮，積則它蜂們之而間的廣連接謎應(yīng)加籠強(qiáng)，身即對(duì)于隆一給盞定的剝需要廊記憶墨的樣黑本向繼量[筋t1,…樓.tN],如果tk的狀態(tài)值鹿為＋1或－1，則其畢連接權(quán)或系數(shù)的孝學(xué)習(xí)用鏟“外積吊規(guī)則”即其標(biāo)量刺形式為對(duì)單務(wù)端情概況，泡即神掌經(jīng)元匯的活丘躍值誼為1或0時(shí)，權(quán)暫系數(shù)的診學(xué)習(xí)規(guī)則屠為具體計(jì)獻(xiàn)算步驟刺：1）置