人工神經(jīng)網(wǎng)絡及其應用

1、1人工神經(jīng)網(wǎng)絡及其應用第5講Hopfield網(wǎng)絡何建華電信系，華中科技大學2003年3月3日2一、反饋網(wǎng)絡二、Hopfield網(wǎng)絡簡介三、DHNN網(wǎng)絡四、穩(wěn)定性與應用五、內(nèi)容小結(jié)內(nèi)容安排3反饋網(wǎng)絡如何通過網(wǎng)絡神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)，得到聯(lián)想存儲或優(yōu)化計算的結(jié)果關心網(wǎng)絡的穩(wěn)定性問題研究重點為怎樣得到和利用穩(wěn)定的反饋網(wǎng)絡要點41.1 反饋網(wǎng)絡簡介1.2 網(wǎng)絡穩(wěn)定性一、反饋網(wǎng)絡51.1 反饋網(wǎng)絡簡介反饋網(wǎng)絡(Recurrent Network)，又稱自聯(lián)想記憶網(wǎng)絡 其目的是為了設計一個網(wǎng)絡，儲存一組平衡點，使得當給網(wǎng)絡一組初始值時，網(wǎng)絡通過自行運行而最終收斂到這個設計的平衡點上。 反饋

2、網(wǎng)絡能表現(xiàn)出非線性動力學系統(tǒng)動態(tài)特性 網(wǎng)絡系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當網(wǎng)絡從某一初始狀態(tài)開始運動，網(wǎng)絡系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)； 系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設計網(wǎng)絡的權(quán)值而被存儲到網(wǎng)絡中61.1 反饋網(wǎng)絡簡介反饋網(wǎng)絡分類 如果激活函數(shù)f()是一個二值型的硬函數(shù)，即aisgn(ni)，il, 2, r，則稱此網(wǎng)絡為離散型反饋網(wǎng)絡； 如果f()為一個連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡被稱為連續(xù)型反饋網(wǎng)絡71.2 網(wǎng)絡穩(wěn)定性狀態(tài)軌跡 設狀態(tài)矢量N=n1, n2, ，nr，網(wǎng)絡的輸出矢量為Aa1，a2，asT 在一個r維狀態(tài)空間上，可以用一條軌跡來描述狀態(tài)變化情況 從初始值N(t0)出發(fā)，N(

3、t0+t)N(t0+2t)N(t0+mt)，這些在空間上的點組成的確定軌跡，是演化過程中所有可能狀態(tài)的集合，我們稱這個狀態(tài)空間為相空間81.2 網(wǎng)絡穩(wěn)定性狀態(tài)軌跡 離散與連續(xù)軌跡91.2 網(wǎng)絡穩(wěn)定性狀態(tài)軌跡分類：對于不同的連接權(quán)值wij和輸入Pj(i, j=1, 2, r)，反饋網(wǎng)絡可能出現(xiàn)不同性質(zhì)的狀態(tài)軌跡 軌跡為穩(wěn)定點 軌跡為極限環(huán) 軌跡為混沌現(xiàn)象 軌跡發(fā)散101.2 網(wǎng)絡穩(wěn)定性穩(wěn)定軌跡 狀態(tài)軌跡從系統(tǒng)在t0時狀態(tài)的初值N(t0)開始，經(jīng)過一定的時間t(t0)后，到達N(t0+t)。如果N(t0+t+t)=N(t0+t)，t0，則狀態(tài)N(t0+t)稱為網(wǎng)絡的穩(wěn)定點，或平衡點 反饋網(wǎng)絡從任一

4、初始態(tài)P(0)開始運動，若存在某一有限時刻t，從t以后的網(wǎng)絡狀態(tài)不再發(fā)生變化（P(t+t)= P(t)，t0）則稱網(wǎng)絡是穩(wěn)定的 處于穩(wěn)定時的網(wǎng)絡狀態(tài)叫做穩(wěn)定狀態(tài)，又稱為定吸引子111.2 網(wǎng)絡穩(wěn)定性穩(wěn)定點分類 在一個反饋網(wǎng)絡中，存在很多穩(wěn)定點 穩(wěn)定點收斂域 漸近穩(wěn)定點：在穩(wěn)定點Ne周圍的N()區(qū)域內(nèi)，從任一個初始狀態(tài)N(t0)出發(fā)，當t時都收斂于Ne，則稱Ne為漸近穩(wěn)定點 不穩(wěn)定平衡點Nen：在某些特定的軌跡演化過程中，網(wǎng)絡能夠到達穩(wěn)定點Nen，但對其它方向上任意小的區(qū)域N()，不管N()取多么小，其軌跡在時間t以后總是偏離Nen； 期望解 網(wǎng)絡的解：如果網(wǎng)絡最后穩(wěn)定到設計人員期望的穩(wěn)定點，且

5、該穩(wěn)定點又是漸近穩(wěn)定點，那么這個點稱為網(wǎng)絡的解； 網(wǎng)絡的偽穩(wěn)定點：網(wǎng)絡最終穩(wěn)定到一個漸近穩(wěn)定點上，但這個穩(wěn)定點不是網(wǎng)絡設計所要求的解121.2 網(wǎng)絡穩(wěn)定性狀態(tài)軌跡為極限環(huán) 在某些參數(shù)的情況下，狀態(tài)N(t)的軌跡是一個圓，或一個環(huán) 狀態(tài)N(t)沿著環(huán)重復旋轉(zhuǎn)，永不停止，此時的輸出A(t)也出現(xiàn)周期變化（即出現(xiàn)振蕩） 如果在r種狀態(tài)下循環(huán)變化，稱其極限環(huán)為r 對于離散反饋網(wǎng)絡，軌跡變化可能在兩種狀態(tài)下來回跳動，其極限環(huán)為2131.2 網(wǎng)絡穩(wěn)定性狀態(tài)軌跡為混沌 如果狀態(tài)N(t)的軌跡在某個確定的范圍內(nèi)運動，但既不重復，又不能停下來 狀態(tài)變化為無窮多個，而軌跡也不能發(fā)散到無窮遠，這種現(xiàn)象稱為混沌(ch

6、aos) 出現(xiàn)混沌的情況下，系統(tǒng)輸出變化為無窮多個，并且隨時間推移不能趨向穩(wěn)定，但又不發(fā)散141.2 網(wǎng)絡穩(wěn)定性狀態(tài)軌跡發(fā)散 狀態(tài)N(t)的軌跡隨時間一直延伸到無窮遠。此時狀態(tài)發(fā)散，系統(tǒng)的輸出也發(fā)散 在人工神經(jīng)網(wǎng)絡中，由于輸入、輸出激活函數(shù)上一個有界函數(shù)，雖然狀態(tài)N(t)是發(fā)散的，但其輸出A(t)還是穩(wěn)定的，而A（t）的穩(wěn)定反過來又限制了狀態(tài)的發(fā)散。 一般非線性人工神經(jīng)網(wǎng)絡中發(fā)散現(xiàn)象是不會發(fā)生的，除非神經(jīng)元的輸入輸出激活函數(shù)是線性的151.3 網(wǎng)絡工作方式目前的反饋神經(jīng)網(wǎng)絡是利用穩(wěn)定的特定軌跡來解決某些問題 如果視系統(tǒng)的穩(wěn)定點為一個記憶，則從初始狀態(tài)朝此穩(wěn)定點移動的過程即為尋找該記憶的過程 狀

7、態(tài)的初始值可以認為是給定的有關該記憶的部分信息，狀態(tài)N(t)移動的過程，是從部分信息去尋找全部信息，這就是聯(lián)想記憶的過程 將系統(tǒng)的穩(wěn)定點考慮為一個能量函數(shù)的極小點。在狀態(tài)空間中，從初始狀態(tài)N(t0)N(t0+t)，最后到達N*。若N*為穩(wěn)定點，則可以看作是N*把N(t0)吸引了過去，在N(t0)時能量比較大，而吸引到N*時能量已為極小了161.3 網(wǎng)絡工作方式考慮具體應用，可以將能量的極小點作為一個優(yōu)化目標函數(shù)的極小點，把狀態(tài)變化的過程看成是優(yōu)化某一個目標函數(shù)的過程因此反饋網(wǎng)絡的狀態(tài)移動的過程實際上是一種計算聯(lián)想記憶或優(yōu)化的過程。它的解并不需要真的去計算，只需要形成一類反饋神經(jīng)網(wǎng)絡，適當?shù)卦O計

8、網(wǎng)絡權(quán)值wij，使其初始輸入A(t0)向穩(wěn)定吸引子狀態(tài)移動就可以達到目的171.3 網(wǎng)絡工作方式權(quán)值設計目標 網(wǎng)絡系統(tǒng)能夠達到穩(wěn)定收斂 設計網(wǎng)絡的穩(wěn)定點 設計吸引域 18二、Hopfield網(wǎng)絡簡介2.1 網(wǎng)絡模型2.2 DHNN2.3 CHNN2.4 聯(lián)想記憶與優(yōu)化計算192.1 網(wǎng)絡模型202.1 網(wǎng)絡模型分類 離散Hopfield網(wǎng)絡（DHNN） 連續(xù)Hopfield網(wǎng)絡（CHNN） DHNN中的激活函數(shù) CHNN中的激活函數(shù) 212.2 DHNNDHNN 取b0，wii0 權(quán)矩陣中有wijwji222.2 DHNN DHNN網(wǎng)絡結(jié)構(gòu)可以用一個加權(quán)元向量圖表示232.3 CHNN將霍普菲

9、爾德網(wǎng)絡推廣到輸入和輸出都取連續(xù)數(shù)值的情形網(wǎng)絡的基本結(jié)構(gòu)不變，狀態(tài)輸出方程形式上也相同。則網(wǎng)絡的狀態(tài)轉(zhuǎn)移方程可寫為242.3 CHNN神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù)）252.3 CHNN神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù)）262.3 CHNN電路實現(xiàn) 神經(jīng)元模型（見參見教材） 電阻Ri和電容Ci并聯(lián)，模擬生物神經(jīng)元輸出的時間常數(shù) 跨導Tij模擬神經(jīng)元之間互連的突觸特性 運算放大器模擬神經(jīng)元的非線性特性 ui為第i個神經(jīng)元的輸入，Vi為輸出網(wǎng)絡模型272.3 CHNN定義系統(tǒng)計算能量定理 推論 系統(tǒng)的穩(wěn)定平衡點就是能量函數(shù)E的極小點，反之亦然282.3 CHNN定理

10、系統(tǒng)在狀態(tài)空間中正交穩(wěn)定平衡點的任意放置可以通過Tij的學習來實現(xiàn)增加存儲與消除記憶 如果在已設計的系統(tǒng)中加入一個新的存儲，只要修正Tij，新的存儲的加入并不改變原有的存儲，且與原存儲無關292.4 聯(lián)想記憶與優(yōu)化計算聯(lián)想記憶問題 穩(wěn)定狀態(tài)已知并且通過學習和設計算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲到網(wǎng)絡中優(yōu)化計算 權(quán)值矩陣W已知，目的為尋找具有最小能量E的穩(wěn)定狀態(tài) 主要工作為設計相應的W和能量函數(shù)公式30三、DHNN3.1 神經(jīng)元狀態(tài)更新方式3.2 網(wǎng)絡學習3.3 網(wǎng)絡記憶容量3.4 權(quán)值設計313.1 狀態(tài)更新由-1變?yōu)?；由1變?yōu)?1；狀態(tài)保持不變串行異步方式 任意時刻隨機地或確定性地選擇

11、網(wǎng)絡中的一個神經(jīng)元進行狀態(tài)更新，而其余神經(jīng)元的狀態(tài)保持不變 并行同步方式 任意時刻網(wǎng)絡中部分神經(jīng)元(比如同一層的神經(jīng)元)的狀態(tài)同時更新。如果任意時刻網(wǎng)絡中全部神經(jīng)元同時進行狀態(tài)更新，那么稱之為全并行同步方式 323.1 狀態(tài)更新串行異步方式 任一時刻，網(wǎng)絡中只有一個神經(jīng)元被選擇進行狀態(tài)更新或保持，所以異步狀態(tài)更新的網(wǎng)絡從某一初態(tài)開始需經(jīng)過多次更新狀態(tài)后才可以達到某種穩(wěn)態(tài)。 實現(xiàn)上容易，每個神經(jīng)元有自己的狀態(tài)更新時刻，不需要同步機制； 異步狀態(tài)更新更接近實際的生物神經(jīng)系統(tǒng)的表現(xiàn)并行同步方式333.2 網(wǎng)絡學習聯(lián)想記憶 聯(lián)想記憶功能是DHNN的一個重要應用范圍。 DHNN用于聯(lián)想記憶有兩個突出的特

12、點，即記憶是分布式的，而聯(lián)想是動態(tài)的 反饋網(wǎng)絡實現(xiàn)聯(lián)想記憶必須具備的兩個基本條件 網(wǎng)絡能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息； 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息學習目的 具有q個不同的輸入樣本組PrqP1, P2 Pq 通過學習方式調(diào)節(jié)計算有限的權(quán)值矩陣W 以每一組輸入樣本Pk，k=1，2，q 作為系統(tǒng)的初始值 經(jīng)過網(wǎng)絡工作運行后，系統(tǒng)能收斂到各自輸入樣本矢量本身343.2 網(wǎng)絡學習DHNN中運用海布調(diào)節(jié)規(guī)則 海布法則是一種無指導的死記式學習算法 當神經(jīng)元輸入與輸出節(jié)點的狀態(tài)相同(即同時興奮或抑制)時，從第j個到第i個神經(jīng)元之間的連接強度則增強，否則減弱當

13、k1時，對于第i個神經(jīng)元，由海布學習規(guī)則可得網(wǎng)絡權(quán)值對輸入矢量的學習關系式為 其中，0，i1，2，r；j=1，2，r。在實際學習規(guī)則的運用中，一般取1或1/r353.2 網(wǎng)絡學習當k由1增加到2，直至q時，是在原有己設計出的權(quán)值的基礎上，增加一個新量pjkpik，k2, q對網(wǎng)絡所有輸入樣本記憶權(quán)值的設計公式為 其中，0，i1，2，r；j=1，2，r。在實際學習規(guī)則的運用中，一般取1或1/r363.2 網(wǎng)絡學習向量形式表示1時神經(jīng)網(wǎng)絡工具箱中采用海布公式求解網(wǎng)絡權(quán)矩陣變化的函數(shù)為learnh.m和learnhd.m。后者為帶有衰減學習速率的函數(shù) dW1earnh(P，A，lr) dWlearn

14、hd(W，P，A，lr，dr)； 對于簡單的情況，lr可以選擇1；對于復雜的應用，可取lr0.10.5，drlr3373.2 網(wǎng)絡學習簡單驗證 q1， l 求出的權(quán)值wij是否能夠保證aipi？ 對于第i個輸出節(jié)點，有383.3 記憶容量設計DHNN網(wǎng)絡的目的，是希望通過所設計的權(quán)值矩陣W儲存多個期望模式當網(wǎng)絡只記憶一個穩(wěn)定模式時，該模式肯定被網(wǎng)絡準確無誤地記憶住，即所設計的W值一定能夠滿足正比于輸入和輸出矢量的乘積關系但當需要記憶的模式增多時，網(wǎng)絡記憶可能出現(xiàn)問題 權(quán)值移動 交叉干擾393.3 記憶容量權(quán)值移動 當k2時，為了記憶樣本T2，需要在記憶了樣本Tl的權(quán)值上加上對樣本T2的記憶項T

15、2T2T-I，將權(quán)值在原來值的基礎上產(chǎn)生了移動 由于在學習樣本T2時，權(quán)矩陣W是在已學習了T1的基礎上進行修正的，W起始值不再為零，所以由此調(diào)整得出的新的W值，對記憶樣本T2來說，也未必對所有的s個輸出同時滿足符號函數(shù)的條件，即難以保證網(wǎng)絡對T2的精確的記憶 隨著學習樣本數(shù)k的增加，權(quán)值移動現(xiàn)象將進一步發(fā)生，當學習了第q個樣本Tq后，權(quán)值又在前q-1個樣本修正的基礎上產(chǎn)生了移動，這也是網(wǎng)絡在精確的學習了第一個樣本后的第q-1次移動 對已記憶的樣本發(fā)生遺忘，這種現(xiàn)象被稱為“疲勞”403.3 記憶容量交叉干擾 設輸入矢量P維數(shù)為rq，取=1/r。Pk-1，1，所以pik*pjkpjk*pjk1。當

16、網(wǎng)絡某個矢量Pl，l1,q，作為網(wǎng)絡的輸入矢量時，可得網(wǎng)絡的加權(quán)輸入和nil為 上式右邊中第一項為期望記憶的樣本，而第二項則是當網(wǎng)絡學習多個樣本時，在回憶階段即驗證該記憶樣本時，所產(chǎn)生的相互干擾，稱為交叉干擾項413.3 記憶容量有效容量 從對網(wǎng)絡的記憶容量產(chǎn)生影響的權(quán)值移動和交叉干擾上看，采用海布學習法則對網(wǎng)絡記憶樣本的數(shù)量是有限制的 通過上面的分析已經(jīng)很清楚地得知，當交叉干擾項幅值大于正確記憶值時，將產(chǎn)生錯誤輸出在什么情況下，能夠保證記憶住所有樣本? 當所期望記憶的樣本是兩兩正交時，能夠準確得到一個可記憶數(shù)量的上限值 423.3 記憶容量有效容量的上界 正交特性 神經(jīng)元為二值輸出的情況下，

17、即Pj-1，1，當兩個r維樣本矢量的各個分量中，有r/2是相同，r/2是相反。對于任意一個數(shù)l，l1，r，有Pl(Pk)T0，lk；而有Pl(Pl)Tr，lk 用外積和公式所得到的權(quán)矩陣進行迭代計算，在輸入樣本Pk，k=1，2, q中任取Pl為初始輸入，求網(wǎng)絡加權(quán)輸入和Nl 只要滿足，rq，則有sgn(Nl)Pl保證Pl為網(wǎng)絡的穩(wěn)定解 433.4 權(quán)值設計學習規(guī)則： 通過計算每個神經(jīng)元節(jié)點的實際激活值A(t)，與期望狀態(tài)T(t)進行比較，若不滿足要求，則將二者的誤差的一部分作為調(diào)整量，若滿足要求，則相應的權(quán)值保持不變 443.4 權(quán)值設計偽逆法 對于輸入樣本PP1 P2 Pq，設網(wǎng)絡輸出可以寫

18、成一個與輸入樣本相對應的矩陣A，輸入和輸出之間可用一個權(quán)矩陣W來映射，即有：W*PN，Asgn(N)，由此可得WN*P* 其中P*為P的偽逆，有P*(PTP)-1PT 如果樣本之間是線性無關的，則PTP滿秩，其逆存在，則可求出權(quán)矩陣W 但當記憶樣本之間是線性相關的，由海布法所設計出的網(wǎng)絡存在的問題，偽逆法也解決不了，甚至無法求解，相比之下，由于存在求逆等運算，偽逆法較為繁瑣，而海布法則要容易求得多453.4 權(quán)值設計正交化的權(quán)值設計 這一方法的基本思想和出發(fā)點 1)保證系統(tǒng)在異步工作時的穩(wěn)定性； 2)保證所有要求記憶的穩(wěn)定平衡點都能收斂到自己； 3)使偽穩(wěn)定點的數(shù)目盡可能的少； 4)使穩(wěn)定點的

19、吸引域盡可能的大。 正交化設計方法的數(shù)學設計較為復雜，類似于Gram-Schmidt正交化過程與外積和法相比較，所設計出的平衡穩(wěn)定點能夠保證收斂到自己并且有較大的穩(wěn)定域在MATLAB工具箱中已將此設計方法寫進了函數(shù)solvehop.m中： W，bsolvehop(T)46四、穩(wěn)定性與應用3.1 聯(lián)想存儲器特性3.2 穩(wěn)定平衡點判定3.3 TSP問題求解474.1 聯(lián)想存儲器特性性質(zhì) 如果X是一個系統(tǒng)的穩(wěn)定狀態(tài)，則X也一定是一個穩(wěn)定狀態(tài) 如果X1，X2，Xk為系統(tǒng)的穩(wěn)定狀態(tài)，Y是它們的線性組合而得到的向量，則Y為穩(wěn)定狀態(tài) 對于任意X1，X2，Xk，k=n-1，則總可以找到W,并且rank(W)n

20、），使得X1，X2，Xk是網(wǎng)絡的穩(wěn)定狀態(tài)484.2 穩(wěn)定平衡點判定定理（穩(wěn)定平衡點判定） 對于CHNN，Us為一個n維向量。Us為系統(tǒng)的一個穩(wěn)定平衡點的充分條件如下，494.3 TSP問題求解所謂TSP(Traveling Salesman Problem)問題，即“旅行商問題”是一個十分有名的難以求解的優(yōu)化問題，其要求很簡單：在n個城市的集合中，找出一條經(jīng)過每個城市各一次，最終回到起點的最短路徑問題描述 如果已知城市A，B，C，D，之間的距離為dAB，dBC，dCD；那么總的距離ddAB+dBC+dCD+，對于這種動態(tài)規(guī)化問題，要去求其min(d)的解對于n個城市的全排列共有n!種，而TSP并沒有限定路徑的方向，即為全組合，所以對于固定的城市數(shù)n的條件下，其路徑總數(shù)Sn為Snn!2n (n4)在n個城市基礎上，每添加一個城市，路徑總數(shù)要添加n倍50514.3 TSP問題TSP的解是若干城市的有序排列，任何一個城市在最終路徑上的位置可用一個n維的0、1矢量表示，對于所有n個城市，則需要一個nn維矩陣。以5個城市為例，一種可能的排列矩陣為524.3 TSP問題若用dxy表示從城市x到城市y的距離，則上面路徑的總長度為： dxydCA+dAD+dDB+dBE+d