常見神經(jīng)網(wǎng)絡(luò)模型

1、常見神經(jīng)網(wǎng)絡(luò)模型2智能控制技術(shù)第第4 4章章 人工神經(jīng)元網(wǎng)絡(luò)模型人工神經(jīng)元網(wǎng)絡(luò)模型4.1 引言4.2 常見神經(jīng)網(wǎng)絡(luò)模型34.2 常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器（Perceptron）模型由美國心理學(xué)家Rosenblatt于1958年提出，其簡化模型如下圖：4.2 常見神經(jīng)網(wǎng)絡(luò)模型4一、感知器4.2 常見神經(jīng)網(wǎng)絡(luò)模型感知器的數(shù)學(xué)模型：其中：f.是階躍函數(shù)或符號函數(shù)，并且有是閾值。 )(1niiixwfy0001)(iiiixwuxwuuf0101)(iiiixwuxwuuf5感知器的最大作用就是可以對輸入的樣本分類，故它可作分類器，感知器對輸入信號的分類如下：即：當(dāng)感知器的輸出為1時，輸入樣本

2、稱為A類；輸出為0時，輸入樣本稱為B類。感知器的分類邊界是： 4.2 常見神經(jīng)網(wǎng)絡(luò)模型一、感知器01niiixw類類BAy016在輸入樣本只有兩個分量x1，x2時，則有分類邊界條件： 即 w1x1+w2x2-=0 4.2 常見神經(jīng)網(wǎng)絡(luò)模型一、感知器7感知器的學(xué)習(xí)算法：感知器的學(xué)習(xí)算法目的在于找尋恰當(dāng)?shù)臋?quán)系數(shù)w(w1，w2，wn)，使系統(tǒng)對一個特定的樣本x(x1，x2，xn)能產(chǎn)生期望輸出y。當(dāng)x分類為A類時，期望值y1；X為B類時，y=0。4.2 常見神經(jīng)網(wǎng)絡(luò)模型一、感知器84.2 常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器的學(xué)習(xí)算法：1、初始化：置權(quán)系數(shù)w為最小的隨機數(shù)；2、訓(xùn)練：輸入一樣本x(x1，

3、x2，xn)以及它的期望輸出y*；3、計算實際輸出： ；4、計算誤差： ；5、修改權(quán)系數(shù)和閾值 ；6、轉(zhuǎn)2，直到誤差滿足要求。)(1niiixwfyyye*iiixetwtw)() 1(94.2 常見神經(jīng)網(wǎng)絡(luò)模型一、感知器例：有一組訓(xùn)練向量，對單輸出感知器有：X1=-1，1，-2，0T， X2=-1，0，1.5，-0.5T， X3=-1，-1，1，0.5T，設(shè)初始權(quán)值為Wi（0）= 0.5，1，-1，0T,=0.3，期望輸出為Y1=0，Y2=0， Y3=1，試訓(xùn)練感知器網(wǎng)絡(luò)。 104.2 常見神經(jīng)網(wǎng)絡(luò)模型一、感知器從感如器的學(xué)習(xí)算法可知，學(xué)習(xí)的目的是在于修改網(wǎng)絡(luò)中的權(quán)系數(shù)，使網(wǎng)絡(luò)對于所輸入的模

4、式樣本能正確分類。當(dāng)學(xué)習(xí)結(jié)束時，也即神經(jīng)網(wǎng)絡(luò)能正確分類時，顯然權(quán)系數(shù)就反映了同類輸人模式樣本的共同特征。換句話講，權(quán)系數(shù)就是存儲了的輸入模式。由于權(quán)系數(shù)是分散存在的，故神經(jīng)網(wǎng)絡(luò)自然而然就有分布存儲的特點。114.2 常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器實質(zhì)是一個分類器，可以用于實現(xiàn)邏輯函數(shù)。其分類條件是樣本是線性可分的。例：用感知器實現(xiàn)邏輯函數(shù)X1UX2的真值： X1 0 0 1 1X2 0 1 0 1X1UX2 0 1 1 1124.2 常見神經(jīng)網(wǎng)絡(luò)模型一、感知器以X1UX2 1為A類，以X1UX2 =0為B類，則有方程組： 01100101000021212121wwwwwwww21120ww

5、ww令 W1=1，W2=2，則有：1取 =0.5，則有：X1+X2-0.5=0134.2 常見神經(jīng)網(wǎng)絡(luò)模型一、感知器x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）邏輯與邏輯或邏輯異或x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）14二、BP網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型1986年，Rumelhart提出了一種利用誤差反向傳播（Back Propagation ）訓(xùn)練算法的神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)，是一種多層前向網(wǎng)絡(luò)，其特征為：1、由輸入層、隱含層、輸出層組成；2、同層節(jié)點之間沒有互連；3、每層節(jié)點的

6、輸出只影響下層節(jié)點；4、激勵函數(shù)多為S型。15二、BP網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的數(shù)學(xué)模型：設(shè)有一個m層的神經(jīng)網(wǎng)絡(luò)，并在輸入層加有樣本X；第k層的i神經(jīng)元的輸入總和表示為Uik，輸出Xik；從第k-1層的第j個神經(jīng)元到第k層的第i個神經(jīng)元的權(quán)系數(shù)為Wij，各神經(jīng)元的激勵函數(shù)為f，則各個變量的關(guān)系可用下面有關(guān)數(shù)學(xué)式表示：jkjijkikikiXWUUfX1)(16二、BP網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：反向傳播算法分二步進行，即輸入信號正向傳播和誤差信號反向傳播。1輸入信號正向傳播輸入的樣本從輸入層經(jīng)過隱層單元一層一層進行處理，通過所有的隱層之后，則傳向輸出層，每一層神

7、經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。2誤差信號反向傳播在輸出層把現(xiàn)行輸出和期望輸出進行比較，如果現(xiàn)行輸出不等于期望輸出，則進入反向傳播過程。誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權(quán)系數(shù)進行修改，以望誤差信號趨向最小。17二、BP網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：1、初始化：置權(quán)系數(shù)w為最小的隨機數(shù)；2、訓(xùn)練：給出輸入樣本x=（x1，x2，xn ）以及期望輸出y=（y1，y2,yn）；3、計算輸出：按順序計算隱含層、輸出層各神經(jīng)元輸出； 4、計算期望輸出與實際輸出的誤差；5、修改輸出層的權(quán)系數(shù)和閾值；6、修改隱含層的權(quán)系數(shù)和閾值；7、轉(zhuǎn)3，直到誤差滿

8、足要求。18二、BP網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法：例：P.77 4-119二、BP網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型車牌數(shù)字識別車牌數(shù)字識別 神經(jīng)網(wǎng)絡(luò)對圖形的旋轉(zhuǎn)、平移敏感，車牌照數(shù)字的獲取中不可避免的存在這一類問題，所以要首先對圖形進行處理。 分割后的數(shù)字圖像 ：原始圖像 ：20二、BP網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型車牌數(shù)字識別車牌數(shù)字識別 BP神經(jīng)網(wǎng)絡(luò)采用三層結(jié)構(gòu)，輸入層、隱含層、輸出層神經(jīng)元個數(shù)分別為16、24、10。取0-9共十個數(shù)字作為待識別數(shù)字，每個數(shù)字取6個樣本進行訓(xùn)練，共有60個訓(xùn)練樣本，另取10個樣本作為識別樣本。取最大輸出端對應(yīng)的數(shù)字作為識別結(jié)果，如果所有輸出端的

9、結(jié)果都小于0.5，則認為系統(tǒng)無法識別。該網(wǎng)絡(luò)采用BP算法，能正確識別車牌數(shù)字：7 30 5 1 21三、Hopfield網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型1982年，Hopfield提出了可用作聯(lián)想存儲器的互連網(wǎng)絡(luò)，這個網(wǎng)絡(luò)稱為Hopfield網(wǎng)絡(luò)模型，也稱Hopfield模型。Hopfield反饋神經(jīng)網(wǎng)絡(luò)由于其輸出端有反饋到其輸入端，所以，Hopfield網(wǎng)絡(luò)在輸入的激勵下，會產(chǎn)生不斷的狀態(tài)變化。一旦到達了穩(wěn)定平衡狀態(tài)，那么Hopfield網(wǎng)絡(luò)就會輸出一個穩(wěn)定的恒值。對于一個Hopfield網(wǎng)絡(luò)來說，關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)。22三、Hopfield網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型Hopf

10、ield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出只取1和0這兩個值，所以，也稱離散Hopfield神經(jīng)網(wǎng)絡(luò)。所輸出的離散值1和0分別表示神經(jīng)元處于激活和抑制狀態(tài)。離散Hopfield網(wǎng)絡(luò)iiiiiiijiijjUYUYXYWU0123三、Hopfield網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)對于一個離散的Hopfield網(wǎng)絡(luò)，其網(wǎng)絡(luò)狀態(tài)是輸出神經(jīng)元信息的集合。對于一個輸出層是n個神經(jīng)元的網(wǎng)絡(luò)，則其t時刻的狀態(tài)為一個n維向量：Y(t)=Y1(t),Y2(t),.,Yn(t)T因為Yj(t)(j1n)可以取值為1或0，故n維向量Y(t)有2n種狀態(tài)，即是網(wǎng)絡(luò)狀態(tài)。24三、Hopfi

11、eld網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型幾個概念：1、DHNN的狀態(tài)：單個神經(jīng)元有興奮和抑制兩種狀態(tài)，DHNN的狀態(tài)是一個包含所有單個神經(jīng)元狀態(tài)的矢量。2、穩(wěn)定狀態(tài)：神經(jīng)網(wǎng)絡(luò)從任一初態(tài)Y(0)開始運動，并存在某一有限時刻ts，從ts以后神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)是穩(wěn)定的。處于穩(wěn)定時刻的網(wǎng)絡(luò)狀態(tài)叫穩(wěn)定狀態(tài)，又稱定點吸引子。25三、Hopfield網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型狀態(tài)轉(zhuǎn)移：單個神經(jīng)元：激活：01，1 0 未激活：狀態(tài)保持整個網(wǎng)絡(luò)：某一時刻只有一個神經(jīng)元被選擇進行狀態(tài)更新，該節(jié)點的狀態(tài)變化時，整個網(wǎng)絡(luò)狀態(tài)以某一概率轉(zhuǎn)移到另一狀態(tài)。26三、Hopfield網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型離

12、散Hopfield網(wǎng)絡(luò)對于三個神經(jīng)元的離散Hopfield網(wǎng)絡(luò)，它的輸出層就是三位二進制數(shù)，從而共有8個網(wǎng)絡(luò)狀態(tài)。在圖中，立方體的每一個頂角表示一種網(wǎng)絡(luò)狀態(tài)。如果Hopfield網(wǎng)絡(luò)是一個穩(wěn)定網(wǎng)絡(luò)，那么在網(wǎng)絡(luò)的輸入端加入一個輸入向量，則網(wǎng)絡(luò)的狀態(tài)會產(chǎn)生變化，也就是從立方體的一個頂角轉(zhuǎn)移向另一個頂角，并且最終穩(wěn)定于一個特定的頂角。27三、Hopfield網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型狀態(tài)轉(zhuǎn)移舉例：P.82 例 4-3問題：為什么各個狀態(tài)的排列有層次呢？28三、Hopfield網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型能量函數(shù)：能量函數(shù)是一個Liapunov函數(shù)。定理4-1 離散Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)

13、與能量函數(shù)E在狀態(tài)空間的局部極小狀態(tài)是一一對應(yīng)的。給定一個初始狀態(tài)，則DHNN網(wǎng)絡(luò)的狀態(tài)總是沿著能量減小的方向變化，最終收斂到穩(wěn)定狀態(tài)。例：4-4 計算網(wǎng)絡(luò)中各狀態(tài)的能量。29三、Hopfield網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)的一個功能是可用于聯(lián)想記憶，這是人類的智能特點之一。人類的所謂“觸景生情”就是見到一些類同過去接觸的景物，容易產(chǎn)生對過去情景的回味和思憶。 DHNN網(wǎng)絡(luò)的能量極小狀態(tài)又稱為能量井，為信息的存儲記憶提供了基礎(chǔ)。將要記憶的信息與能量井一一對應(yīng)，則當(dāng)輸入某一模式時，神經(jīng)網(wǎng)絡(luò)就能通過狀態(tài)轉(zhuǎn)移實現(xiàn)聯(lián)想記憶。30三、Hopfield網(wǎng)絡(luò)4.2 常見神經(jīng)網(wǎng)絡(luò)模型 學(xué)習(xí)記憶階段：對于Hopfield網(wǎng)絡(luò)，用它作聯(lián)想記憶時，首先通過一個學(xué)習(xí)訓(xùn)練過程確定網(wǎng)絡(luò)中的權(quán)系數(shù)，使所記憶的信息在網(wǎng)絡(luò)的n維超立方體的某一個頂角的能量最小。 聯(lián)想會