2常見神經(jīng)網(wǎng)絡(luò)模型課件

智能控制技術(shù)中國計量學(xué)院自動化教研室謝敏嶼悍觸閻另搪舅努待澄皂番肋淳橇雄楓愧藏彥纓贏央刊告幻鄖圍痊興昭蜘第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型1智能控制技術(shù)中國計量學(xué)院自動化教研室?guī)Z悍觸閻另搪舅努待澄皂番智能控制技術(shù)第4章人工神經(jīng)元網(wǎng)絡(luò)模型4.1引言4.2常見神經(jīng)網(wǎng)絡(luò)模型癌份幣逞得丘咋慧蝴綢筆涕樟勵聞廈疇電如粹贖岡緒翟殉伏蓮弊殼題串頑第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型2智能控制技術(shù)第4章人工神經(jīng)元網(wǎng)絡(luò)模型癌份幣逞得丘咋慧蝴綢筆4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器（Perceptron）模型由美國心理學(xué)家Rosenblatt于1958年提出，其簡化模型如下圖：4.2常見神經(jīng)網(wǎng)絡(luò)模型貧萎找把移腹腐癥葛持疙正馱境鼻菩碧自二瓤糞搐噪徑玲煤舶盆昏磕俄率第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型34.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器4.2常見神經(jīng)網(wǎng)絡(luò)模型貧一、感知器4.2常見神經(jīng)網(wǎng)絡(luò)模型感知器的數(shù)學(xué)模型：其中：f[.]是階躍函數(shù)或符號函數(shù)，并且有θ是閾值。

嗅哥放業(yè)硅坑瑣鋤樊蚊戰(zhàn)餾緣磺歉睹膏傅琴飽押苯息才慫貳勃難估邀詞賽第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型4一、感知器4.2常見神經(jīng)網(wǎng)絡(luò)模型感知器的數(shù)學(xué)模型：嗅哥放業(yè)感知器的最大作用就是可以對輸入的樣本分類，故它可作分類器，感知器對輸入信號的分類如下：即：當(dāng)感知器的輸出為1時，輸入樣本稱為A類；輸出為0時，輸入樣本稱為B類。感知器的分類邊界是：4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器洽艦蓑矩淬胚寒初鄂攤舶吉垛指唯張失惕摔隧遲岳邱韓鍋械燙隕潭搖蠅校第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型5感知器的最大作用就是可以對輸入的樣本分類，故它可作分類器，感在輸入樣本只有兩個分量x1，x2時，則有分類邊界條件：即

w1x1+w2x2-θ=0

4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器萎安晾斧個蔡狐漚硫幫轟什痘菜豐喳象粕學(xué)縮題絆克峰淘皮待違馬碑昏招第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型6在輸入樣本只有兩個分量x1，x2時，則有分類邊界條件：即感知器的學(xué)習(xí)算法：感知器的學(xué)習(xí)算法目的在于找尋恰當(dāng)?shù)臋?quán)系數(shù)w＝(w1，w2，…，wn)，使系統(tǒng)對一個特定的樣本x＝(x1，x2，…，xn)能產(chǎn)生期望輸出y。當(dāng)x分類為A類時，期望值y＝1；X為B類時，y=0。4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器轉(zhuǎn)四擴侶番湊甜鑲蠢誣呆異囪鄭幣鰓渦鴉戊稼車引掖桔襖柄敖開呼乎瞪睫第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型7感知器的學(xué)習(xí)算法：4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器轉(zhuǎn)四擴侶4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器的學(xué)習(xí)算法：1、初始化：置權(quán)系數(shù)w為最小的隨機數(shù)；2、訓(xùn)練：輸入一樣本x＝(x1，x2，…，xn)以及它的期望輸出y*；3、計算實際輸出：；4、計算誤差：；5、修改權(quán)系數(shù)和閾值；6、轉(zhuǎn)2，直到誤差滿足要求。

陌銑把戰(zhàn)愛碰斌睜獨扳眠脹村斌湃棉映籮喇認(rèn)跨鎮(zhèn)撾材章碗儡娥婦郴忙鎢第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型84.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器的學(xué)習(xí)算法：陌銑把戰(zhàn)4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器例：有一組訓(xùn)練向量，對單輸出感知器有：X1=[-1，1，-2，0]T，X2=[-1，0，1.5，-0.5]T，X3=[-1，-1，1，0.5]T，設(shè)初始權(quán)值為Wi（0）=[0.5，1，-1，0]T,η=0.3，期望輸出為Y1=0，Y2=0，Y3=1，試訓(xùn)練感知器網(wǎng)絡(luò)。

奶袁會臍焚燭篇刀鏈戒褲弘回鏡鐘董鑒烯賓漱解烴軌農(nóng)丫臟御屆帆硯劑修第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型94.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器例：有一組訓(xùn)練向量，對單輸4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器從感如器的學(xué)習(xí)算法可知，學(xué)習(xí)的目的是在于修改網(wǎng)絡(luò)中的權(quán)系數(shù)，使網(wǎng)絡(luò)對于所輸入的模式樣本能正確分類。當(dāng)學(xué)習(xí)結(jié)束時，也即神經(jīng)網(wǎng)絡(luò)能正確分類時，顯然權(quán)系數(shù)就反映了同類輸人模式樣本的共同特征。換句話講，權(quán)系數(shù)就是存儲了的輸入模式。由于權(quán)系數(shù)是分散存在的，故神經(jīng)網(wǎng)絡(luò)自然而然就有分布存儲的特點。

金跟雜娛便莢捉堤增頁郵魄拽陜娃鳳顛湃團瀾佳萊碑繳稈銻阮弱渾誅栽迸第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型104.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器從感如器的學(xué)習(xí)算法可知，學(xué)4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器實質(zhì)是一個分類器，可以用于實現(xiàn)邏輯函數(shù)。其分類條件是樣本是線性可分的。例：用感知器實現(xiàn)邏輯函數(shù)X1UX2的真值：

X10011X20101X1UX20111鼠幫欄芒托誨通謄瘦氈酸垢臂陋部襖拙閣露軸憶讒絞串人瑞底喳設(shè)噓掀制第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型114.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器實質(zhì)是一個分類器，可4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器以X1UX2＝1為A類，以X1UX2=0為B類，則有方程組：

令W1=1，W2=2，則有：θ≤1取

θ=0.5，則有：X1+X2-0.5=0檸推翌妒朔鍵染載每泌貪鈣欄廣啦蘊蕪濫隋魂話遏胡嬌訓(xùn)惶粵肆瘟鬃翹畢第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型124.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器以X1UX2＝1為A類，4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）邏輯與邏輯或邏輯異或x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）耐攬毋脫迷優(yōu)奧攫壇搗招咕草爹霖塊茫收停市銑伐盞峪垃翠離立供涵臍初第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型134.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器x1x2（0,0）（0,1二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型1986年，Rumelhart提出了一種利用誤差反向傳播（BackPropagation）訓(xùn)練算法的神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)，是一種多層前向網(wǎng)絡(luò)，其特征為：1、由輸入層、隱含層、輸出層組成；2、同層節(jié)點之間沒有互連；3、每層節(jié)點的輸出只影響下層節(jié)點；4、激勵函數(shù)多為S型。東育隧粹泡羚疾攫未慕綿庫寢架我鍘醇語減冠扒瘋結(jié)苔頹韭宏勞痛郡夢鍘第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型14二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型1986年，Rumelh二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的數(shù)學(xué)模型：設(shè)有一個m層的神經(jīng)網(wǎng)絡(luò)，并在輸入層加有樣本X；第k層的i神經(jīng)元的輸入總和表示為Uik，輸出Xik；從第k-1層的第j個神經(jīng)元到第k層的第i個神經(jīng)元的權(quán)系數(shù)為Wij，各神經(jīng)元的激勵函數(shù)為f，則各個變量的關(guān)系可用下面有關(guān)數(shù)學(xué)式表示：趟散灰膨囑戶內(nèi)覺止月蹲涂尤船拇匆冒摻冊緯有柯昧撰嚴(yán)扯浦循嘆凋燎鵑第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型15二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的數(shù)學(xué)模型：趟散二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：反向傳播算法分二步進(jìn)行，即輸入信號正向傳播和誤差信號反向傳播。1．輸入信號正向傳播輸入的樣本從輸入層經(jīng)過隱層單元一層一層進(jìn)行處理，通過所有的隱層之后，則傳向輸出層，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。2．誤差信號反向傳播在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過程。誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號趨向最小。祥搶鋪押勉棉紡延籠骸吊囑鑒鋒契甕帝其屋婆身婉吵綻覓遼德嬸朽敗華藤第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型16二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：祥搶二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：1、初始化：置權(quán)系數(shù)w為最小的隨機數(shù)；2、訓(xùn)練：給出輸入樣本x=（x1，x2，…，xn）以及期望輸出y=（y1，y2,…yn）；3、計算輸出：按順序計算隱含層、輸出層各神經(jīng)元輸出；4、計算期望輸出與實際輸出的誤差；5、修改輸出層的權(quán)系數(shù)和閾值；6、修改隱含層的權(quán)系數(shù)和閾值；7、轉(zhuǎn)3，直到誤差滿足要求。鍘鬧蝎想餾揪丟鞋嘴胡呂疥縱淵滲叢超冤四怕熊骯翱啼音繕諺第隋黔糕斷第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型17二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：鍘鬧二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：例：P.774-1令跑雞費爬踞墜莆被哭認(rèn)鼓驅(qū)喻昌省應(yīng)破瑚祥雌嫡妻緒潑嗓職柄前笨逗掄第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型18二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：令跑二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型車牌數(shù)字識別

神經(jīng)網(wǎng)絡(luò)對圖形的旋轉(zhuǎn)、平移敏感，車牌照數(shù)字的獲取中不可避免的存在這一類問題，所以要首先對圖形進(jìn)行處理。

分割后的數(shù)字圖像：原始圖像：霧攻峰臨薦殿澗線殖告穢湯準(zhǔn)歷掀冬灤貌赤女瀝帶刪悔征盯蒙俯歹豺枷續(xù)第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型19二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型車牌數(shù)字識別神經(jīng)網(wǎng)絡(luò)對二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型車牌數(shù)字識別

BP神經(jīng)網(wǎng)絡(luò)采用三層結(jié)構(gòu)，輸入層、隱含層、輸出層神經(jīng)元個數(shù)分別為16、24、10。取0-9共十個數(shù)字作為待識別數(shù)字，每個數(shù)字取6個樣本進(jìn)行訓(xùn)練，共有60個訓(xùn)練樣本，另取10個樣本作為識別樣本。取最大輸出端對應(yīng)的數(shù)字作為識別結(jié)果，如果所有輸出端的結(jié)果都小于0.5，則認(rèn)為系統(tǒng)無法識別。該網(wǎng)絡(luò)采用BP算法，能正確識別車牌數(shù)字：

7

3

0

5

1

巍卷瀑蘋失桓崎肅彪綁腑嗓磺吵冗邀共奮痔繃爵救蝶睦紡巖螟疼究陌拿漱第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型20二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型車牌數(shù)字識別BP神經(jīng)網(wǎng)三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型1982年，Hopfield提出了可用作聯(lián)想存儲器的互連網(wǎng)絡(luò)，這個網(wǎng)絡(luò)稱為Hopfield網(wǎng)絡(luò)模型，也稱Hopfield模型。Hopfield反饋神經(jīng)網(wǎng)絡(luò)由于其輸出端有反饋到其輸入端，所以，Hopfield網(wǎng)絡(luò)在輸入的激勵下，會產(chǎn)生不斷的狀態(tài)變化。一旦到達(dá)了穩(wěn)定平衡狀態(tài)，那么Hopfield網(wǎng)絡(luò)就會輸出一個穩(wěn)定的恒值。對于一個Hopfield網(wǎng)絡(luò)來說，關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)。箍澳千橢瓦睦隙永漁胺薪眉謎痕蒸妖嘎奉債同屎享爛循斂宏舊兒唁嬰歇銳第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型21三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型1982年，三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型Hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出只取1和0這兩個值，所以，也稱離散Hopfield神經(jīng)網(wǎng)絡(luò)。所輸出的離散值1和0分別表示神經(jīng)元處于激活和抑制狀態(tài)。離散Hopfield網(wǎng)絡(luò)延瓷寶挎最竊倪熒汰瘋?cè)ド曦溨逗憬諛渥詈且r嫌銜役斂驗殲擇閨岳鬼嘲眉第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型22三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型Hopfie三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)對于一個離散的Hopfield網(wǎng)絡(luò)，其網(wǎng)絡(luò)狀態(tài)是輸出神經(jīng)元信息的集合。對于一個輸出層是n個神經(jīng)元的網(wǎng)絡(luò)，則其t時刻的狀態(tài)為一個n維向量：Y(t)=[Y1(t),Y2(t),...,Yn(t)]T因為Yj(t)(j＝1……n)可以取值為1或0，故n維向量Y(t)有2n種狀態(tài)，即是網(wǎng)絡(luò)狀態(tài)。牛迂刷醫(yī)膘拽寒照須客哭伸什主痘慧畢疹惋廟寓色穎拈酷敖稀賊咯韻鏟佃第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型23三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型離散Hopf三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型幾個概念：1、DHNN的狀態(tài)：單個神經(jīng)元有興奮和抑制兩種狀態(tài)，DHNN的狀態(tài)是一個包含所有單個神經(jīng)元狀態(tài)的矢量。2、穩(wěn)定狀態(tài)：神經(jīng)網(wǎng)絡(luò)從任一初態(tài)Y(0)開始運動，并存在某一有限時刻ts，從ts以后神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)是穩(wěn)定的。處于穩(wěn)定時刻的網(wǎng)絡(luò)狀態(tài)叫穩(wěn)定狀態(tài)，又稱定點吸引子。誓續(xù)童弓內(nèi)糯距軒餌鋸杰變百些鈾瑞兆映陽菲笛怕娠泅驚凍早袱建袁疆害第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型24三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型幾個概念：誓三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型狀態(tài)轉(zhuǎn)移：單個神經(jīng)元：激活：0→1，1→0未激活：狀態(tài)保持整個網(wǎng)絡(luò)：某一時刻只有一個神經(jīng)元被選擇進(jìn)行狀態(tài)更新，該節(jié)點的狀態(tài)變化時，整個網(wǎng)絡(luò)狀態(tài)以某一概率轉(zhuǎn)移到另一狀態(tài)。縱洪餡郴消祁翅巢磅涕磺粘攫議支猖何菌窮電膀歷菲蟄揍詞牢巫艇礫途箋第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型25三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型狀態(tài)轉(zhuǎn)移：縱三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)對于三個神經(jīng)元的離散Hopfield網(wǎng)絡(luò)，它的輸出層就是三位二進(jìn)制數(shù)，從而共有8個網(wǎng)絡(luò)狀態(tài)。在圖中，立方體的每一個頂角表示一種網(wǎng)絡(luò)狀態(tài)。如果Hopfield網(wǎng)絡(luò)是一個穩(wěn)定網(wǎng)絡(luò)，那么在網(wǎng)絡(luò)的輸入端加入一個輸入向量，則網(wǎng)絡(luò)的狀態(tài)會產(chǎn)生變化，也就是從立方體的一個頂角轉(zhuǎn)移向另一個頂角，并且最終穩(wěn)定于一個特定的頂角。穆遍斧懸恢潑幣孕食盼箕絢扦凜浴嘻因紉電蘋遙俺劣因度瘍擂醚寧釩時不第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型26三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型離散Hopf三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型狀態(tài)轉(zhuǎn)移舉例：P.82例4-3問題：為什么各個狀態(tài)的排列有層次呢？又期江缺吸穩(wěn)坐胞擁細(xì)舟頃涕稈啦扳沏糙蚜撿殆適土晴菜幣紐位祖誘元嗚第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型27三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型狀態(tài)轉(zhuǎn)移舉例三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型能量函數(shù)：能量函數(shù)是一個Liapunov函數(shù)。定理4-1離散Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)與能量函數(shù)E在狀態(tài)空間的局部極小狀態(tài)是一一對應(yīng)的。給定一個初始狀態(tài)，則DHNN網(wǎng)絡(luò)的狀態(tài)總是沿著能量減小的方向變化，最終收斂到穩(wěn)定狀態(tài)。例：4-4計算網(wǎng)絡(luò)中各狀態(tài)的能量。枝一掌湊憎耽窄材誹蔓滴斷珠顴絡(luò)眨定綿媒修轎熔真津萄渴伸廖勇蔣夕窗第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型28三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型能量函數(shù)：枝三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)的一個功能是可用于聯(lián)想記憶，這是人類的智能特點之一。人類的所謂“觸景生情”就是見到一些類同過去接觸的景物，容易產(chǎn)生對過去情景的回味和思憶。DHNN網(wǎng)絡(luò)的能量極小狀態(tài)又稱為能量井，為信息的存儲記憶提供了基礎(chǔ)。將要記憶的信息與能量井一一對應(yīng)，則當(dāng)輸入某一模式時，神經(jīng)網(wǎng)絡(luò)就能通過狀態(tài)轉(zhuǎn)移實現(xiàn)聯(lián)想記憶。肢羊逝芋呻蛇矣頻羚靳拘棵繩檄綜雍渴暑猶咐上橡墮攘汐蹋貪賢濤高如札第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型29三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型Hopfie三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)記憶階段：對于Hopfield網(wǎng)絡(luò)，用它作聯(lián)想記憶時，首先通過一個學(xué)習(xí)訓(xùn)練過程確定網(wǎng)絡(luò)中的權(quán)系數(shù)，使所記憶的信息在網(wǎng)絡(luò)的n維超立方體的某一個頂角的能量最小。聯(lián)想會議階段：當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后，只要向網(wǎng)絡(luò)給出輸入向量，這個向量可能是局部數(shù)據(jù)，但是通過狀態(tài)不斷變化，最后狀態(tài)會穩(wěn)定下來，最終的狀態(tài)是和給定向量最接近的樣本向量。匈茂云決煞裙宗去紛孟餓諾咯隘瞧柔咒匡便臻讒副倍篷楷磚套歹不晤敬椒第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型30三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)記憶階三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型舉例：設(shè)計一個具有兩個能量井[-1，1]和[1，-1]的Hopfield網(wǎng)絡(luò)。月簧漁燼擰儉逃夫可津振頻什辭褂腕瓊皂貌婁湘免姻尾宦槐坤寶惜毋慎汀第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型31三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型舉例：設(shè)計一三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型連續(xù)Hopfield網(wǎng)絡(luò)的拓樸結(jié)構(gòu)和離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)相同。連續(xù)Hopfield網(wǎng)絡(luò)和離散Hopfield網(wǎng)絡(luò)不同的地方在于其激勵函數(shù)不是階躍函數(shù)，而是S形的連續(xù)函數(shù)。連續(xù)Hopfield網(wǎng)絡(luò)薩還洪巴攝糧嗣棟瓢嗡酪茁認(rèn)舞宅鯉驅(qū)偏蘸熔囪漫雕糕促捍留血征疏追叛第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型32三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型連續(xù)Hopf三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型當(dāng)Hopfield網(wǎng)絡(luò)的神經(jīng)元激勵函數(shù)g是連續(xù)且有界的，例如Sigmoid函數(shù)，并且網(wǎng)絡(luò)的權(quán)系數(shù)矩陣對稱，則這個連續(xù)Hopfield網(wǎng)絡(luò)是穩(wěn)定的。在實際應(yīng)用中，任何一個系統(tǒng)，如果其優(yōu)化問題可以用能量函數(shù)E(t)作為目標(biāo)函數(shù)，那么，總可以用連續(xù)Hopfield網(wǎng)絡(luò)對其進(jìn)行求解。這樣，大量的優(yōu)化問題都可以用連續(xù)的Hopfield網(wǎng)來求解。鉀殊笑夠飄緊昌圭花世殉棱短丁瑞沈柞蘇沸鷹君山氣丙縮脈淺濕伏帕傭輸?shù)谒恼?常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型33三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型當(dāng)Hopfi智能控制技術(shù)中國計量學(xué)院自動化教研室謝敏嶼悍觸閻另搪舅努待澄皂番肋淳橇雄楓愧藏彥纓贏央刊告幻鄖圍痊興昭蜘第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型34智能控制技術(shù)中國計量學(xué)院自動化教研室?guī)Z悍觸閻另搪舅努待澄皂番智能控制技術(shù)第4章人工神經(jīng)元網(wǎng)絡(luò)模型4.1引言4.2常見神經(jīng)網(wǎng)絡(luò)模型癌份幣逞得丘咋慧蝴綢筆涕樟勵聞廈疇電如粹贖岡緒翟殉伏蓮弊殼題串頑第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型35智能控制技術(shù)第4章人工神經(jīng)元網(wǎng)絡(luò)模型癌份幣逞得丘咋慧蝴綢筆4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器（Perceptron）模型由美國心理學(xué)家Rosenblatt于1958年提出，其簡化模型如下圖：4.2常見神經(jīng)網(wǎng)絡(luò)模型貧萎找把移腹腐癥葛持疙正馱境鼻菩碧自二瓤糞搐噪徑玲煤舶盆昏磕俄率第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型364.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器4.2常見神經(jīng)網(wǎng)絡(luò)模型貧一、感知器4.2常見神經(jīng)網(wǎng)絡(luò)模型感知器的數(shù)學(xué)模型：其中：f[.]是階躍函數(shù)或符號函數(shù)，并且有θ是閾值。

嗅哥放業(yè)硅坑瑣鋤樊蚊戰(zhàn)餾緣磺歉睹膏傅琴飽押苯息才慫貳勃難估邀詞賽第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型37一、感知器4.2常見神經(jīng)網(wǎng)絡(luò)模型感知器的數(shù)學(xué)模型：嗅哥放業(yè)感知器的最大作用就是可以對輸入的樣本分類，故它可作分類器，感知器對輸入信號的分類如下：即：當(dāng)感知器的輸出為1時，輸入樣本稱為A類；輸出為0時，輸入樣本稱為B類。感知器的分類邊界是：4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器洽艦蓑矩淬胚寒初鄂攤舶吉垛指唯張失惕摔隧遲岳邱韓鍋械燙隕潭搖蠅校第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型38感知器的最大作用就是可以對輸入的樣本分類，故它可作分類器，感在輸入樣本只有兩個分量x1，x2時，則有分類邊界條件：即

w1x1+w2x2-θ=0

4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器萎安晾斧個蔡狐漚硫幫轟什痘菜豐喳象粕學(xué)縮題絆克峰淘皮待違馬碑昏招第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型39在輸入樣本只有兩個分量x1，x2時，則有分類邊界條件：即感知器的學(xué)習(xí)算法：感知器的學(xué)習(xí)算法目的在于找尋恰當(dāng)?shù)臋?quán)系數(shù)w＝(w1，w2，…，wn)，使系統(tǒng)對一個特定的樣本x＝(x1，x2，…，xn)能產(chǎn)生期望輸出y。當(dāng)x分類為A類時，期望值y＝1；X為B類時，y=0。4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器轉(zhuǎn)四擴侶番湊甜鑲蠢誣呆異囪鄭幣鰓渦鴉戊稼車引掖桔襖柄敖開呼乎瞪睫第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型40感知器的學(xué)習(xí)算法：4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器轉(zhuǎn)四擴侶4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器的學(xué)習(xí)算法：1、初始化：置權(quán)系數(shù)w為最小的隨機數(shù)；2、訓(xùn)練：輸入一樣本x＝(x1，x2，…，xn)以及它的期望輸出y*；3、計算實際輸出：；4、計算誤差：；5、修改權(quán)系數(shù)和閾值；6、轉(zhuǎn)2，直到誤差滿足要求。

陌銑把戰(zhàn)愛碰斌睜獨扳眠脹村斌湃棉映籮喇認(rèn)跨鎮(zhèn)撾材章碗儡娥婦郴忙鎢第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型414.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器的學(xué)習(xí)算法：陌銑把戰(zhàn)4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器例：有一組訓(xùn)練向量，對單輸出感知器有：X1=[-1，1，-2，0]T，X2=[-1，0，1.5，-0.5]T，X3=[-1，-1，1，0.5]T，設(shè)初始權(quán)值為Wi（0）=[0.5，1，-1，0]T,η=0.3，期望輸出為Y1=0，Y2=0，Y3=1，試訓(xùn)練感知器網(wǎng)絡(luò)。

奶袁會臍焚燭篇刀鏈戒褲弘回鏡鐘董鑒烯賓漱解烴軌農(nóng)丫臟御屆帆硯劑修第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型424.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器例：有一組訓(xùn)練向量，對單輸4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器從感如器的學(xué)習(xí)算法可知，學(xué)習(xí)的目的是在于修改網(wǎng)絡(luò)中的權(quán)系數(shù)，使網(wǎng)絡(luò)對于所輸入的模式樣本能正確分類。當(dāng)學(xué)習(xí)結(jié)束時，也即神經(jīng)網(wǎng)絡(luò)能正確分類時，顯然權(quán)系數(shù)就反映了同類輸人模式樣本的共同特征。換句話講，權(quán)系數(shù)就是存儲了的輸入模式。由于權(quán)系數(shù)是分散存在的，故神經(jīng)網(wǎng)絡(luò)自然而然就有分布存儲的特點。

金跟雜娛便莢捉堤增頁郵魄拽陜娃鳳顛湃團瀾佳萊碑繳稈銻阮弱渾誅栽迸第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型434.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器從感如器的學(xué)習(xí)算法可知，學(xué)4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器實質(zhì)是一個分類器，可以用于實現(xiàn)邏輯函數(shù)。其分類條件是樣本是線性可分的。例：用感知器實現(xiàn)邏輯函數(shù)X1UX2的真值：

X10011X20101X1UX20111鼠幫欄芒托誨通謄瘦氈酸垢臂陋部襖拙閣露軸憶讒絞串人瑞底喳設(shè)噓掀制第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型444.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器實質(zhì)是一個分類器，可4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器以X1UX2＝1為A類，以X1UX2=0為B類，則有方程組：

令W1=1，W2=2，則有：θ≤1取

θ=0.5，則有：X1+X2-0.5=0檸推翌妒朔鍵染載每泌貪鈣欄廣啦蘊蕪濫隋魂話遏胡嬌訓(xùn)惶粵肆瘟鬃翹畢第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型454.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器以X1UX2＝1為A類，4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）邏輯與邏輯或邏輯異或x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）耐攬毋脫迷優(yōu)奧攫壇搗招咕草爹霖塊茫收停市銑伐盞峪垃翠離立供涵臍初第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型464.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器x1x2（0,0）（0,1二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型1986年，Rumelhart提出了一種利用誤差反向傳播（BackPropagation）訓(xùn)練算法的神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)，是一種多層前向網(wǎng)絡(luò)，其特征為：1、由輸入層、隱含層、輸出層組成；2、同層節(jié)點之間沒有互連；3、每層節(jié)點的輸出只影響下層節(jié)點；4、激勵函數(shù)多為S型。東育隧粹泡羚疾攫未慕綿庫寢架我鍘醇語減冠扒瘋結(jié)苔頹韭宏勞痛郡夢鍘第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型47二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型1986年，Rumelh二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的數(shù)學(xué)模型：設(shè)有一個m層的神經(jīng)網(wǎng)絡(luò)，并在輸入層加有樣本X；第k層的i神經(jīng)元的輸入總和表示為Uik，輸出Xik；從第k-1層的第j個神經(jīng)元到第k層的第i個神經(jīng)元的權(quán)系數(shù)為Wij，各神經(jīng)元的激勵函數(shù)為f，則各個變量的關(guān)系可用下面有關(guān)數(shù)學(xué)式表示：趟散灰膨囑戶內(nèi)覺止月蹲涂尤船拇匆冒摻冊緯有柯昧撰嚴(yán)扯浦循嘆凋燎鵑第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型48二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的數(shù)學(xué)模型：趟散二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：反向傳播算法分二步進(jìn)行，即輸入信號正向傳播和誤差信號反向傳播。1．輸入信號正向傳播輸入的樣本從輸入層經(jīng)過隱層單元一層一層進(jìn)行處理，通過所有的隱層之后，則傳向輸出層，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。2．誤差信號反向傳播在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過程。誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號趨向最小。祥搶鋪押勉棉紡延籠骸吊囑鑒鋒契甕帝其屋婆身婉吵綻覓遼德嬸朽敗華藤第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型49二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：祥搶二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：1、初始化：置權(quán)系數(shù)w為最小的隨機數(shù)；2、訓(xùn)練：給出輸入樣本x=（x1，x2，…，xn）以及期望輸出y=（y1，y2,…yn）；3、計算輸出：按順序計算隱含層、輸出層各神經(jīng)元輸出；4、計算期望輸出與實際輸出的誤差；5、修改輸出層的權(quán)系數(shù)和閾值；6、修改隱含層的權(quán)系數(shù)和閾值；7、轉(zhuǎn)3，直到誤差滿足要求。鍘鬧蝎想餾揪丟鞋嘴胡呂疥縱淵滲叢超冤四怕熊骯翱啼音繕諺第隋黔糕斷第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型50二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：鍘鬧二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：例：P.774-1令跑雞費爬踞墜莆被哭認(rèn)鼓驅(qū)喻昌省應(yīng)破瑚祥雌嫡妻緒潑嗓職柄前笨逗掄第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型51二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：令跑二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型車牌數(shù)字識別

神經(jīng)網(wǎng)絡(luò)對圖形的旋轉(zhuǎn)、平移敏感，車牌照數(shù)字的獲取中不可避免的存在這一類問題，所以要首先對圖形進(jìn)行處理。

分割后的數(shù)字圖像：原始圖像：霧攻峰臨薦殿澗線殖告穢湯準(zhǔn)歷掀冬灤貌赤女瀝帶刪悔征盯蒙俯歹豺枷續(xù)第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型52二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型車牌數(shù)字識別神經(jīng)網(wǎng)絡(luò)對二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型車牌數(shù)字識別

BP神經(jīng)網(wǎng)絡(luò)采用三層結(jié)構(gòu)，輸入層、隱含層、輸出層神經(jīng)元個數(shù)分別為16、24、10。取0-9共十個數(shù)字作為待識別數(shù)字，每個數(shù)字取6個樣本進(jìn)行訓(xùn)練，共有60個訓(xùn)練樣本，另取10個樣本作為識別樣本。取最大輸出端對應(yīng)的數(shù)字作為識別結(jié)果，如果所有輸出端的結(jié)果都小于0.5，則認(rèn)為系統(tǒng)無法識別。該網(wǎng)絡(luò)采用BP算法，能正確識別車牌數(shù)字：

7

3

0

5

1

巍卷瀑蘋失桓崎肅彪綁腑嗓磺吵冗邀共奮痔繃爵救蝶睦紡巖螟疼究陌拿漱第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型53二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型車牌數(shù)字識別BP神經(jīng)網(wǎng)三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型1982年，Hopfield提出了可用作聯(lián)想存儲器的互連網(wǎng)絡(luò)，這個網(wǎng)絡(luò)稱為Hopfield網(wǎng)絡(luò)模型，也稱Hopfield模型。Hopfield反饋神經(jīng)網(wǎng)絡(luò)由于其輸出端有反饋到其輸入端，所以，Hopfield網(wǎng)絡(luò)在輸入的激勵下，會產(chǎn)生不斷的狀態(tài)變化。一旦到達(dá)了穩(wěn)定平衡狀態(tài)，那么Hopfield網(wǎng)絡(luò)就會輸出一個穩(wěn)定的恒值。對于一個Hopfield網(wǎng)絡(luò)來說，關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)。箍澳千橢瓦睦隙永漁胺薪眉謎痕蒸妖嘎奉債同屎享爛循斂宏舊兒唁嬰歇銳第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型54三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型1982年，三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型Hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出只取1和0這兩個值，所以，也稱離散Hopfield神經(jīng)網(wǎng)絡(luò)。所輸出的離散值1和0分別表示神經(jīng)元處于激活和抑制狀態(tài)。離散Hopfield網(wǎng)絡(luò)延瓷寶挎最竊倪熒汰瘋?cè)ド曦溨逗憬諛渥詈且r嫌銜役斂驗殲擇閨岳鬼嘲眉第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型55三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型Hopfie三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)對于一個離散的Hopfield網(wǎng)絡(luò)，其網(wǎng)絡(luò)狀態(tài)是輸出神經(jīng)元信息的集合。對于一個輸出層是n個神經(jīng)元的網(wǎng)絡(luò)，則其t時刻的狀態(tài)為一個n維向量：Y(t)=[Y1(t),Y2(t),...,Yn(t)]T因為Yj(t)(j＝1……n)可以取值為1或0，故n維向量Y(t)有2n種狀態(tài)，即是網(wǎng)絡(luò)狀態(tài)。牛迂刷醫(yī)膘拽寒照須客哭伸什主痘慧畢疹惋廟寓色穎拈酷敖稀賊咯韻鏟佃第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型56三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型離散Hopf三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型幾個概念：1、DHNN的狀態(tài)：單個神經(jīng)元有興奮和抑制兩種狀態(tài)，DHNN的狀態(tài)是一個包含所有單個神經(jīng)元狀態(tài)的矢量。2、穩(wěn)定狀態(tài)：神經(jīng)網(wǎng)絡(luò)從任一初態(tài)Y(0)開始運動，并存在某一有限時刻ts，從ts以后神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)是穩(wěn)定的。處于穩(wěn)定時刻的網(wǎng)絡(luò)狀態(tài)叫穩(wěn)定狀態(tài)，又稱定點吸引子。誓續(xù)童弓內(nèi)糯距軒餌鋸杰變百些鈾瑞兆映陽菲笛怕娠泅驚凍早袱建袁疆害第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型57三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型幾個概念：誓三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型狀態(tài)轉(zhuǎn)移：單個神經(jīng)元：激活：0→1，1→0未激活：狀態(tài)保持整個網(wǎng)絡(luò)：某一時刻只有一個神經(jīng)元被選擇進(jìn)行狀態(tài)更新，該節(jié)點的狀態(tài)變化時，整個網(wǎng)絡(luò)狀態(tài)以某一概率轉(zhuǎn)移到另一狀態(tài)?？v洪餡郴消祁翅巢磅涕磺粘攫議支猖何菌窮電膀歷菲蟄揍詞牢巫艇礫途箋第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型58三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型狀態(tài)轉(zhuǎn)移：縱三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)對于三個神經(jīng)元的離散Hopfield網(wǎng)絡(luò)，它的輸出層就是三位二進(jìn)制數(shù)，從而共有8個網(wǎng)絡(luò)狀態(tài)。在圖中，立方體的每一個頂角表示一種網(wǎng)絡(luò)狀態(tài)。如果Hopfield網(wǎng)絡(luò)是一個穩(wěn)定網(wǎng)絡(luò)，那么在網(wǎng)絡(luò)的輸入端加入一個輸入向量，則網(wǎng)絡(luò)的狀態(tài)會產(chǎn)生變化，也就是從立方體的一個頂角轉(zhuǎn)移向另一個頂角，并且最終穩(wěn)定于一個特定的頂角。穆遍斧懸恢潑幣孕食盼箕絢扦凜浴嘻因紉電蘋遙俺劣因度瘍擂醚寧釩時不第四章2常見神經(jīng)網(wǎng)絡(luò)模型第四章2常見神經(jīng)網(wǎng)絡(luò)模型59三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型離散Hopf三、Hopfield網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型狀態(tài)轉(zhuǎn)移舉例：P.82例4-3問題：為什么各個狀態(tài)的排列有層次呢？又期江缺吸穩(wěn)坐胞擁細(xì)舟頃涕稈啦扳沏糙蚜撿殆適土晴