《反饋神經(jīng)網(wǎng)絡(luò)》演示PPT

1、1 第五章第五章 反饋神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò) 2 Hopfield Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型， 分別記作分別記作DHNN (Discrete Hopfield Neural Network) DHNN (Discrete Hopfield Neural Network) 和和CHNN (Continues Hopfield Neural Network)CHNN (Continues Hopfield Neural Network)，本章，本章 重點(diǎn)討論前一種類型。重點(diǎn)討論前一種類型。 根據(jù)神經(jīng)網(wǎng)絡(luò)運(yùn)行過(guò)程中的信息流向，可分為前饋式根

2、據(jù)神經(jīng)網(wǎng)絡(luò)運(yùn)行過(guò)程中的信息流向，可分為前饋式 和反饋式兩種基本類型。前饋網(wǎng)絡(luò)的輸出僅由當(dāng)前輸入和和反饋式兩種基本類型。前饋網(wǎng)絡(luò)的輸出僅由當(dāng)前輸入和 權(quán)矩陣決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無(wú)關(guān)。權(quán)矩陣決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無(wú)關(guān)。 美國(guó)加州理工學(xué)院物理學(xué)家美國(guó)加州理工學(xué)院物理學(xué)家J.J.HopfieldJ.J.Hopfield教授于教授于19821982 年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來(lái)人們將這種反饋網(wǎng)絡(luò)年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來(lái)人們將這種反饋網(wǎng)絡(luò) 稱作稱作Hopfield Hopfield 網(wǎng)。網(wǎng)。 3 5.1.1 5.1.1 網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式 離散型反饋網(wǎng)絡(luò)的拓

3、撲結(jié)構(gòu)離散型反饋網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) x1 x2 xi xn T1 T2 Ti Tn 5.15.1離散型離散型HopfieldHopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 4 (1)(1)網(wǎng)絡(luò)的狀態(tài)網(wǎng)絡(luò)的狀態(tài) DHNN網(wǎng)中的每個(gè)神經(jīng)元都有相同的功能，其輸出稱網(wǎng)中的每個(gè)神經(jīng)元都有相同的功能，其輸出稱 為狀態(tài)，用為狀態(tài)，用 xj 表示。表示。 )net( fx jj j=1,2,n 所有神經(jīng)元狀態(tài)的集合就構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)所有神經(jīng)元狀態(tài)的集合就構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài) X=x1,x2,xnT 反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀態(tài)初始值，表示為反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀態(tài)初始值，表示為 X(0)=x1(0),x2(0),xn(0)

4、T 反饋網(wǎng)絡(luò)在外界輸入激發(fā)下，從初始狀態(tài)進(jìn)入動(dòng)態(tài)演反饋網(wǎng)絡(luò)在外界輸入激發(fā)下，從初始狀態(tài)進(jìn)入動(dòng)態(tài)演 變過(guò)程，變化規(guī)律為變過(guò)程，變化規(guī)律為 5 01 01 sgn j j jj net net netx）（ j=1,2,n (5.1) DHNN網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號(hào)函數(shù)網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號(hào)函數(shù) 式中凈輸入為式中凈輸入為 n i jiijj Txwnet 1 )(j=1,2,n (5.2) 對(duì)于對(duì)于DHNN網(wǎng)，一般有網(wǎng)，一般有wii=0 ，wij=wji。 反饋網(wǎng)絡(luò)穩(wěn)定時(shí)每個(gè)神經(jīng)元的狀態(tài)都不再改變，此時(shí)反饋網(wǎng)絡(luò)穩(wěn)定時(shí)每個(gè)神經(jīng)元的狀態(tài)都不再改變，此時(shí) 的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出，表示為的穩(wěn)定狀態(tài)就是網(wǎng)

5、絡(luò)的輸出，表示為 t )t(limX 6 (2)(2)網(wǎng)絡(luò)的異步工作方式網(wǎng)絡(luò)的異步工作方式 ijtx ijtnet tx j j j )( )(sgn ) 1( (5.3) (3)(3)網(wǎng)絡(luò)的同步工作方式網(wǎng)絡(luò)的同步工作方式 網(wǎng)絡(luò)的同步工作方式是一種并行方式，所有神經(jīng)元網(wǎng)絡(luò)的同步工作方式是一種并行方式，所有神經(jīng)元 同時(shí)調(diào)整狀態(tài)，即同時(shí)調(diào)整狀態(tài)，即 )(sgn) 1(tnettx jj j=1,2,n (5.4) 網(wǎng)絡(luò)運(yùn)行時(shí)每次只有一個(gè)網(wǎng)絡(luò)運(yùn)行時(shí)每次只有一個(gè)神經(jīng)元神經(jīng)元 j 進(jìn)行狀態(tài)的調(diào)整計(jì)進(jìn)行狀態(tài)的調(diào)整計(jì) 算，其它神經(jīng)元的狀態(tài)均保持不變，即算，其它神經(jīng)元的狀態(tài)均保持不變，即 7 5.1.2.1

6、網(wǎng)絡(luò)的穩(wěn)定性網(wǎng)絡(luò)的穩(wěn)定性 DHNN網(wǎng)實(shí)質(zhì)上是一個(gè)離散的非線性動(dòng)力學(xué)系統(tǒng)。網(wǎng)網(wǎng)實(shí)質(zhì)上是一個(gè)離散的非線性動(dòng)力學(xué)系統(tǒng)。網(wǎng) 絡(luò)從初態(tài)絡(luò)從初態(tài)X(0)開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā) 生變化，即生變化，即X(t+1)X(t)，則稱該網(wǎng)絡(luò)是穩(wěn)定的。，則稱該網(wǎng)絡(luò)是穩(wěn)定的。 如果網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個(gè)穩(wěn)態(tài)：如果網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個(gè)穩(wěn)態(tài)： (a) (b) (c) 5.1.2 網(wǎng)絡(luò)的穩(wěn)定性與吸引子網(wǎng)絡(luò)的穩(wěn)定性與吸引子 8 若網(wǎng)絡(luò)是不穩(wěn)定的，由于若網(wǎng)絡(luò)是不穩(wěn)定的，由于DHNNDHNN 網(wǎng)每個(gè)節(jié)點(diǎn)的狀態(tài)只有網(wǎng)每個(gè)節(jié)點(diǎn)的狀態(tài)只有1 1和和

7、-1-1 兩種情況，網(wǎng)絡(luò)不可能出現(xiàn)無(wú)兩種情況，網(wǎng)絡(luò)不可能出現(xiàn)無(wú) 限發(fā)散的情況，而只可能出現(xiàn)限發(fā)散的情況，而只可能出現(xiàn) 限幅的自持振蕩，這種網(wǎng)絡(luò)稱限幅的自持振蕩，這種網(wǎng)絡(luò)稱 為有限環(huán)網(wǎng)絡(luò)。為有限環(huán)網(wǎng)絡(luò)。 (a) (b) (c) 如果網(wǎng)絡(luò)狀態(tài)的軌跡在某個(gè)確如果網(wǎng)絡(luò)狀態(tài)的軌跡在某個(gè)確 定的范圍內(nèi)變遷，但既不重復(fù)定的范圍內(nèi)變遷，但既不重復(fù) 也不停止，狀態(tài)變化為無(wú)窮多也不停止，狀態(tài)變化為無(wú)窮多 個(gè)，軌跡也不發(fā)散到無(wú)窮遠(yuǎn)，個(gè)，軌跡也不發(fā)散到無(wú)窮遠(yuǎn)， 這種現(xiàn)象稱為混沌。這種現(xiàn)象稱為混沌。 (a) (b) (c) 9 網(wǎng)絡(luò)達(dá)到穩(wěn)定時(shí)的狀態(tài)網(wǎng)絡(luò)達(dá)到穩(wěn)定時(shí)的狀態(tài)X，稱為網(wǎng)絡(luò)的，稱為網(wǎng)絡(luò)的 吸引子吸引子。 如果把問(wèn)

8、題的解編碼為網(wǎng)絡(luò)的吸引子，如果把問(wèn)題的解編碼為網(wǎng)絡(luò)的吸引子，從初態(tài)向吸引子演從初態(tài)向吸引子演 變變的過(guò)程便是求解計(jì)算的過(guò)程。的過(guò)程便是求解計(jì)算的過(guò)程。 若把需記憶的樣本信息存儲(chǔ)于網(wǎng)絡(luò)不同的吸引子，當(dāng)輸若把需記憶的樣本信息存儲(chǔ)于網(wǎng)絡(luò)不同的吸引子，當(dāng)輸 入含有部分記憶信息的樣本時(shí)，網(wǎng)絡(luò)的演變過(guò)程便是入含有部分記憶信息的樣本時(shí)，網(wǎng)絡(luò)的演變過(guò)程便是從從 部分信息尋找全部信息部分信息尋找全部信息，即，即聯(lián)想回憶聯(lián)想回憶的過(guò)程。的過(guò)程。 定義定義5.1 若網(wǎng)絡(luò)的狀態(tài)若網(wǎng)絡(luò)的狀態(tài)X 滿足滿足 X=f(WX-T) 則稱則稱X為網(wǎng)絡(luò)的吸引子。為網(wǎng)絡(luò)的吸引子。 5.1.2.2 吸引子與能量函數(shù)吸引子與能量函數(shù) 1

9、0 定理定理5.1 對(duì)于對(duì)于DHNN 網(wǎng)，若網(wǎng)，若按異步方式按異步方式調(diào)整網(wǎng)絡(luò)狀態(tài)，調(diào)整網(wǎng)絡(luò)狀態(tài)， 且連接權(quán)矩陣且連接權(quán)矩陣W 為對(duì)稱陣為對(duì)稱陣，則對(duì)于任意初態(tài)，網(wǎng)絡(luò)都最，則對(duì)于任意初態(tài)，網(wǎng)絡(luò)都最 終收斂到一個(gè)吸引子。終收斂到一個(gè)吸引子。 定理定理5.1證明：證明： 定義網(wǎng)絡(luò)的能量函數(shù)為：定義網(wǎng)絡(luò)的能量函數(shù)為： TXWXX)t ()t ()t ()t (E TT 2 1 (5.5) 令網(wǎng)絡(luò)的能量改變量為令網(wǎng)絡(luò)的能量改變量為E，狀態(tài)改變量為，狀態(tài)改變量為X，有，有 )() 1()(tttEEE (5.6) )() 1()(tttXXX (5.7) 5.1.2.2 吸引子與能量函數(shù)吸引子與能量函數(shù)

10、 11 將式將式(5.4)、(5.6)代入代入(5.5)，則網(wǎng)絡(luò)能量可進(jìn)一步展開為，則網(wǎng)絡(luò)能量可進(jìn)一步展開為 )t (E)1t (E)t (E )()()( 2 1 )()()()()()( 2 1 TXWXXTXXXXWXXttttttttt TTTT TXXWXWXX)()()()()( 2 1 ttttt TTT (5.8) )()()()( 2 1 ttTtt TT XWXWXX 將將 代入上式代入上式 ，并考慮到，并考慮到W為為 對(duì)稱矩陣，有對(duì)稱矩陣，有 T j txt 0,.,0),(, 0,.,0)(X jjj n i jiijj wtxTxwtxtE)()()()( 2 2 1

11、 1 12 )t (net)t (x)t (E jj (5.9) 上式中可能出現(xiàn)的情況：上式中可能出現(xiàn)的情況： 情況情況a a ：xj(t)=-1, xj(t+1)=1, 由式由式(5.7)得得xj(t)=2, 由式由式 (5.1)知，知，netj(t)0，代入式，代入式(5.9)，得，得E(t)0。 情況情況b b ：xj(t)=1, xj(t+1)=-1, 所以所以xj(t)=-2, 由式由式(5.1)知知 ，netj(t)0，代入式，代入式(5.9)，得，得E(t)P，則權(quán)值矩陣為記憶樣本的外積和，則權(quán)值矩陣為記憶樣本的外積和 P 1p Tpp )( XXW (5.16) 5.1.3 網(wǎng)絡(luò)的權(quán)值設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值設(shè)計(jì) 24 若取若取wjj=0，上式應(yīng)寫為，上式應(yīng)寫為 P 1p Tpp I)(XXW(5.17) 式中式中I為單位矩陣。上式寫成分量元素形式，有為單位矩陣。上式寫成分量元素形式，有 ji0 jixx w P 1p p j p i ij (5.18) 下面檢驗(yàn)所給樣本能否稱為吸引子。下面檢驗(yàn)所給樣本能否稱為吸引子。 因?yàn)橐驗(yàn)镻個(gè)樣本個(gè)樣本Xp，p=1,2,P，x -1,1n 是兩兩正交的，