常見神經網(wǎng)絡模型

1、常見神經網(wǎng)絡模型1第1頁，共33頁，2022年，5月20日，6點35分，星期三智能控制技術第4章 人工神經元網(wǎng)絡模型4.1 引言4.2 常見神經網(wǎng)絡模型2第2頁，共33頁，2022年，5月20日，6點35分，星期三4.2 常見神經網(wǎng)絡模型一、感知器感知器（Perceptron）模型由美國心理學家Rosenblatt于1958年提出，其簡化模型如下圖：4.2 常見神經網(wǎng)絡模型3第3頁，共33頁，2022年，5月20日，6點35分，星期三一、感知器4.2 常見神經網(wǎng)絡模型感知器的數(shù)學模型：其中：f.是階躍函數(shù)或符號函數(shù)，并且有是閾值。 4第4頁，共33頁，2022年，5月20日，6點35分，星期三

2、感知器的最大作用就是可以對輸入的樣本分類，故它可作分類器，感知器對輸入信號的分類如下：即：當感知器的輸出為1時，輸入樣本稱為A類；輸出為0時，輸入樣本稱為B類。感知器的分類邊界是： 4.2 常見神經網(wǎng)絡模型一、感知器5第5頁，共33頁，2022年，5月20日，6點35分，星期三在輸入樣本只有兩個分量x1，x2時，則有分類邊界條件： 即 w1x1+w2x2-=04.2 常見神經網(wǎng)絡模型一、感知器6第6頁，共33頁，2022年，5月20日，6點35分，星期三感知器的學習算法：感知器的學習算法目的在于找尋恰當?shù)臋嘞禂?shù)w(w1，w2，wn)，使系統(tǒng)對一個特定的樣本x(x1，x2，xn)能產生期望輸出y

3、。當x分類為A類時，期望值y1；X為B類時，y=0。4.2 常見神經網(wǎng)絡模型一、感知器7第7頁，共33頁，2022年，5月20日，6點35分，星期三4.2 常見神經網(wǎng)絡模型一、感知器感知器的學習算法：1、初始化：置權系數(shù)w為最小的隨機數(shù)；2、訓練：輸入一樣本x(x1，x2，xn)以及它的期望輸出y*；3、計算實際輸出： ；4、計算誤差： ；5、修改權系數(shù)和閾值 ；6、轉2，直到誤差滿足要求。8第8頁，共33頁，2022年，5月20日，6點35分，星期三4.2 常見神經網(wǎng)絡模型一、感知器例：有一組訓練向量，對單輸出感知器有：X1=-1，1，-2，0T， X2=-1，0，1.5，-0.5T， X3

4、=-1，-1，1，0.5T，設初始權值為Wi（0）= 0.5，1，-1，0T,=0.3，期望輸出為Y1=0，Y2=0， Y3=1，試訓練感知器網(wǎng)絡。 9第9頁，共33頁，2022年，5月20日，6點35分，星期三4.2 常見神經網(wǎng)絡模型一、感知器從感如器的學習算法可知，學習的目的是在于修改網(wǎng)絡中的權系數(shù)，使網(wǎng)絡對于所輸入的模式樣本能正確分類。當學習結束時，也即神經網(wǎng)絡能正確分類時，顯然權系數(shù)就反映了同類輸人模式樣本的共同特征。換句話講，權系數(shù)就是存儲了的輸入模式。由于權系數(shù)是分散存在的，故神經網(wǎng)絡自然而然就有分布存儲的特點。10第10頁，共33頁，2022年，5月20日，6點35分，星期三4.

5、2 常見神經網(wǎng)絡模型一、感知器感知器實質是一個分類器，可以用于實現(xiàn)邏輯函數(shù)。其分類條件是樣本是線性可分的。例：用感知器實現(xiàn)邏輯函數(shù)X1UX2的真值：X1 0 0 1 1X2 0 1 0 1X1UX2 0 1 1 111第11頁，共33頁，2022年，5月20日，6點35分，星期三4.2 常見神經網(wǎng)絡模型一、感知器以X1UX2 1為A類，以X1UX2 =0為B類，則有方程組： 令 W1=1，W2=2，則有：1取=0.5，則有：X1+X2-0.5=012第12頁，共33頁，2022年，5月20日，6點35分，星期三4.2 常見神經網(wǎng)絡模型一、感知器x1x2（0,0）（0,1）（1,0）（1,1）x

6、1x2（0,0）（0,1）（1,0）（1,1）邏輯與邏輯或邏輯異或x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）13第13頁，共33頁，2022年，5月20日，6點35分，星期三二、BP網(wǎng)絡4.2 常見神經網(wǎng)絡模型1986年，Rumelhart提出了一種利用誤差反向傳播（Back Propagation ）訓練算法的神經網(wǎng)絡，簡稱BP網(wǎng)絡，是一種多層前向網(wǎng)絡，其特征為：1、由輸入層、隱含層、輸出層組成；2、同層節(jié)點之間沒有互連；3、每層節(jié)點的輸出只影響下層節(jié)點；4、激勵函數(shù)多為S型。14第14頁，共33頁，2022年，5月20日，6點35分，星

7、期三二、BP網(wǎng)絡4.2 常見神經網(wǎng)絡模型BP網(wǎng)絡的數(shù)學模型：設有一個m層的神經網(wǎng)絡，并在輸入層加有樣本X；第k層的i神經元的輸入總和表示為Uik，輸出Xik；從第k-1層的第j個神經元到第k層的第i個神經元的權系數(shù)為Wij，各神經元的激勵函數(shù)為f，則各個變量的關系可用下面有關數(shù)學式表示：15第15頁，共33頁，2022年，5月20日，6點35分，星期三二、BP網(wǎng)絡4.2 常見神經網(wǎng)絡模型BP網(wǎng)絡的學習算法：反向傳播算法分二步進行，即輸入信號正向傳播和誤差信號反向傳播。1輸入信號正向傳播輸入的樣本從輸入層經過隱層單元一層一層進行處理，通過所有的隱層之后，則傳向輸出層，每一層神經元的狀態(tài)只對下一層

8、神經元的狀態(tài)產生影響。2誤差信號反向傳播在輸出層把現(xiàn)行輸出和期望輸出進行比較，如果現(xiàn)行輸出不等于期望輸出，則進入反向傳播過程。誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經元的權系數(shù)進行修改，以望誤差信號趨向最小。16第16頁，共33頁，2022年，5月20日，6點35分，星期三二、BP網(wǎng)絡4.2 常見神經網(wǎng)絡模型BP網(wǎng)絡的學習算法：1、初始化：置權系數(shù)w為最小的隨機數(shù)；2、訓練：給出輸入樣本x=（x1，x2，xn ）以及期望輸出y=（y1，y2,yn）；3、計算輸出：按順序計算隱含層、輸出層各神經元輸出； 4、計算期望輸出與實際輸出的誤差；5、修改輸出層的權系數(shù)和閾值；6、修改

9、隱含層的權系數(shù)和閾值；7、轉3，直到誤差滿足要求。17第17頁，共33頁，2022年，5月20日，6點35分，星期三二、BP網(wǎng)絡4.2 常見神經網(wǎng)絡模型BP網(wǎng)絡的學習算法：例：P.77 4-118第18頁，共33頁，2022年，5月20日，6點35分，星期三二、BP網(wǎng)絡4.2 常見神經網(wǎng)絡模型車牌數(shù)字識別 神經網(wǎng)絡對圖形的旋轉、平移敏感，車牌照數(shù)字的獲取中不可避免的存在這一類問題，所以要首先對圖形進行處理。 分割后的數(shù)字圖像 ：原始圖像 ：19第19頁，共33頁，2022年，5月20日，6點35分，星期三二、BP網(wǎng)絡4.2 常見神經網(wǎng)絡模型車牌數(shù)字識別 BP神經網(wǎng)絡采用三層結構，輸入層、隱含層

10、、輸出層神經元個數(shù)分別為16、24、10。取0-9共十個數(shù)字作為待識別數(shù)字，每個數(shù)字取6個樣本進行訓練，共有60個訓練樣本，另取10個樣本作為識別樣本。取最大輸出端對應的數(shù)字作為識別結果，如果所有輸出端的結果都小于0.5，則認為系統(tǒng)無法識別。該網(wǎng)絡采用BP算法，能正確識別車牌數(shù)字：7 30 5 1 20第20頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfield網(wǎng)絡4.2 常見神經網(wǎng)絡模型1982年，Hopfield提出了可用作聯(lián)想存儲器的互連網(wǎng)絡，這個網(wǎng)絡稱為Hopfield網(wǎng)絡模型，也稱Hopfield模型。Hopfield反饋神經網(wǎng)絡由于其輸出端有反饋到其輸入端，所

11、以，Hopfield網(wǎng)絡在輸入的激勵下，會產生不斷的狀態(tài)變化。一旦到達了穩(wěn)定平衡狀態(tài)，那么Hopfield網(wǎng)絡就會輸出一個穩(wěn)定的恒值。對于一個Hopfield網(wǎng)絡來說，關鍵是在于確定它在穩(wěn)定條件下的權系數(shù)。21第21頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfield網(wǎng)絡4.2 常見神經網(wǎng)絡模型Hopfield最早提出的網(wǎng)絡是二值神經網(wǎng)絡，神經元的輸出只取1和0這兩個值，所以，也稱離散Hopfield神經網(wǎng)絡。所輸出的離散值1和0分別表示神經元處于激活和抑制狀態(tài)。離散Hopfield網(wǎng)絡22第22頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfiel

12、d網(wǎng)絡4.2 常見神經網(wǎng)絡模型離散Hopfield網(wǎng)絡對于一個離散的Hopfield網(wǎng)絡，其網(wǎng)絡狀態(tài)是輸出神經元信息的集合。對于一個輸出層是n個神經元的網(wǎng)絡，則其t時刻的狀態(tài)為一個n維向量：Y(t)=Y1(t),Y2(t),.,Yn(t)T因為Yj(t)(j1n)可以取值為1或0，故n維向量Y(t)有2n種狀態(tài)，即是網(wǎng)絡狀態(tài)。23第23頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfield網(wǎng)絡4.2 常見神經網(wǎng)絡模型幾個概念：1、DHNN的狀態(tài)：單個神經元有興奮和抑制兩種狀態(tài)，DHNN的狀態(tài)是一個包含所有單個神經元狀態(tài)的矢量。2、穩(wěn)定狀態(tài)：神經網(wǎng)絡從任一初態(tài)Y(0)開始運

13、動，并存在某一有限時刻ts，從ts以后神經網(wǎng)絡的狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡是穩(wěn)定的。處于穩(wěn)定時刻的網(wǎng)絡狀態(tài)叫穩(wěn)定狀態(tài)，又稱定點吸引子。24第24頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfield網(wǎng)絡4.2 常見神經網(wǎng)絡模型狀態(tài)轉移：單個神經元：激活：01，1 0 未激活：狀態(tài)保持整個網(wǎng)絡：某一時刻只有一個神經元被選擇進行狀態(tài)更新，該節(jié)點的狀態(tài)變化時，整個網(wǎng)絡狀態(tài)以某一概率轉移到另一狀態(tài)。25第25頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfield網(wǎng)絡4.2 常見神經網(wǎng)絡模型離散Hopfield網(wǎng)絡對于三個神經元的離散Hopfield網(wǎng)絡，它的

14、輸出層就是三位二進制數(shù)，從而共有8個網(wǎng)絡狀態(tài)。在圖中，立方體的每一個頂角表示一種網(wǎng)絡狀態(tài)。如果Hopfield網(wǎng)絡是一個穩(wěn)定網(wǎng)絡，那么在網(wǎng)絡的輸入端加入一個輸入向量，則網(wǎng)絡的狀態(tài)會產生變化，也就是從立方體的一個頂角轉移向另一個頂角，并且最終穩(wěn)定于一個特定的頂角。26第26頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfield網(wǎng)絡4.2 常見神經網(wǎng)絡模型狀態(tài)轉移舉例：P.82 例 4-3問題：為什么各個狀態(tài)的排列有層次呢？27第27頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfield網(wǎng)絡4.2 常見神經網(wǎng)絡模型能量函數(shù)：能量函數(shù)是一個Liapunov

15、函數(shù)。定理4-1 離散Hopfield神經網(wǎng)絡的穩(wěn)定狀態(tài)與能量函數(shù)E在狀態(tài)空間的局部極小狀態(tài)是一一對應的。給定一個初始狀態(tài)，則DHNN網(wǎng)絡的狀態(tài)總是沿著能量減小的方向變化，最終收斂到穩(wěn)定狀態(tài)。例：4-4 計算網(wǎng)絡中各狀態(tài)的能量。28第28頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfield網(wǎng)絡4.2 常見神經網(wǎng)絡模型Hopfield網(wǎng)絡的一個功能是可用于聯(lián)想記憶，這是人類的智能特點之一。人類的所謂“觸景生情”就是見到一些類同過去接觸的景物，容易產生對過去情景的回味和思憶。 DHNN網(wǎng)絡的能量極小狀態(tài)又稱為能量井，為信息的存儲記憶提供了基礎。將要記憶的信息與能量井一一對應

16、，則當輸入某一模式時，神經網(wǎng)絡就能通過狀態(tài)轉移實現(xiàn)聯(lián)想記憶。29第29頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfield網(wǎng)絡4.2 常見神經網(wǎng)絡模型 學習記憶階段：對于Hopfield網(wǎng)絡，用它作聯(lián)想記憶時，首先通過一個學習訓練過程確定網(wǎng)絡中的權系數(shù)，使所記憶的信息在網(wǎng)絡的n維超立方體的某一個頂角的能量最小。 聯(lián)想會議階段：當網(wǎng)絡的權系數(shù)確定之后，只要向網(wǎng)絡給出輸入向量，這個向量可能是局部數(shù)據(jù)，但是通過狀態(tài)不斷變化，最后狀態(tài)會穩(wěn)定下來，最終的狀態(tài)是和給定向量最接近的樣本向量。30第30頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfield網(wǎng)絡4.2 常見神經網(wǎng)絡模型舉例：設計一個具有兩個能量井-1，1和1，-1的Hopfield網(wǎng)絡。31第31頁，共33頁，2022年，5月20日，6點35分，星期三三、Hopfield網(wǎng)絡4.2 常見神經網(wǎng)絡模型連續(xù)Hopfield網(wǎng)絡的拓樸結構和離散Hopfield網(wǎng)絡的結構相同。連續(xù)Hopfield網(wǎng)絡和離散Hopfield網(wǎng)絡不同的地方在于其激勵函數(shù)不是階躍函數(shù)，而是S形的連續(xù)函數(shù)。連續(xù)Hopfi