hopfield神經(jīng)網(wǎng)絡(luò)課件

1、hopfield神經(jīng)網(wǎng)絡(luò)1Hopfield網(wǎng)絡(luò)及其應(yīng)用鄭洪英重慶大學(xué)信息安全系hopfield神經(jīng)網(wǎng)絡(luò)2一、反饋網(wǎng)絡(luò)二、Hopfield網(wǎng)絡(luò)簡(jiǎn)介三、DHNN網(wǎng)絡(luò)四、 TSP問題求解五、內(nèi)容小結(jié)內(nèi)容安排hopfield神經(jīng)網(wǎng)絡(luò)31.1 反饋網(wǎng)絡(luò)簡(jiǎn)介1.2 網(wǎng)絡(luò)穩(wěn)定性一、反饋網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)41.1 反饋網(wǎng)絡(luò)簡(jiǎn)介反饋網(wǎng)絡(luò)(Recurrent Network)，又稱自聯(lián)想記憶網(wǎng)絡(luò)其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。 反饋網(wǎng)絡(luò)能表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)動(dòng)態(tài)特性網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)

2、動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)；系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中hopfield神經(jīng)網(wǎng)絡(luò)5前饋型與反饋型神經(jīng)網(wǎng)絡(luò)的比較 (1) 前饋型神經(jīng)網(wǎng)絡(luò)只表達(dá)輸入輸出之間前饋型神經(jīng)網(wǎng)絡(luò)只表達(dá)輸入輸出之間的映射關(guān)系，實(shí)現(xiàn)非線性映射；反饋型神經(jīng)網(wǎng)的映射關(guān)系，實(shí)現(xiàn)非線性映射；反饋型神經(jīng)網(wǎng)絡(luò)考慮輸入輸出之間在時(shí)間上的延遲，需要用絡(luò)考慮輸入輸出之間在時(shí)間上的延遲，需要用動(dòng)態(tài)方程來描述，反饋型神經(jīng)網(wǎng)絡(luò)是一個(gè)非線動(dòng)態(tài)方程來描述，反饋型神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)。性動(dòng)力學(xué)系統(tǒng)。 (2) 前饋型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的目的是快前饋型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的目的是快速收斂，一般用誤差函數(shù)來判定

3、其收斂程度；速收斂，一般用誤差函數(shù)來判定其收斂程度；反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目的是快速尋找到穩(wěn)定反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目的是快速尋找到穩(wěn)定點(diǎn)，一般用能量函數(shù)來判別是否趨于穩(wěn)定點(diǎn)。點(diǎn)，一般用能量函數(shù)來判別是否趨于穩(wěn)定點(diǎn)。 (3) 兩者都有局部極小問題。兩者都有局部極小問題。 hopfield神經(jīng)網(wǎng)絡(luò)61.1 反饋網(wǎng)絡(luò)簡(jiǎn)介反饋網(wǎng)絡(luò)分類如果激活函數(shù)f()是一個(gè)二值型的函數(shù)，即aisgn(ni)，il, 2, r，則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)；如果f()為一個(gè)連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)7該網(wǎng)絡(luò)為單層全反饋網(wǎng)絡(luò)，其中的每個(gè)神經(jīng)元的輸出都是與其他神經(jīng)元的輸入相連的

4、。所以其輸入數(shù)目與輸出層神經(jīng)元的數(shù)目是相等的，有rs。 hopfield神經(jīng)網(wǎng)絡(luò)8hopfield神經(jīng)網(wǎng)絡(luò)9hopfield神經(jīng)網(wǎng)絡(luò)101.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡對(duì)于一個(gè)由r個(gè)神經(jīng)元組成的反饋網(wǎng)絡(luò)，在某一時(shí)刻t，分別用N(t)和A(t)來表示加權(quán)和矢量和輸出矢量。在下一時(shí)刻t+1，可得到N(t+1)，而N(t+1)又引起A(t+1)的變化，這種反饋演化的過程，使網(wǎng)絡(luò)狀態(tài)隨時(shí)間發(fā)生變化。在一個(gè)r維狀態(tài)空間上，可以用一條軌跡來描述狀態(tài)變化情況。從初始值A(chǔ)(t0)出發(fā)，A(t0+t)A(t0+2t)A(t0+mt)，這些在空間上的點(diǎn)組成的確定軌跡，是演化過程中所有可能狀態(tài)的集合，我們稱這個(gè)狀態(tài)空間為

5、相空間hopfield神經(jīng)網(wǎng)絡(luò)111.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡離散與連續(xù)軌跡在一個(gè)r維狀態(tài)空間上，可以用一條軌跡來描述狀態(tài)變化情況. hopfield神經(jīng)網(wǎng)絡(luò)121.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡分類：對(duì)于不同的連接權(quán)值wij和輸入Pj(i, j=1, 2, r)，反饋網(wǎng)絡(luò)可能出現(xiàn)不同性質(zhì)的狀態(tài)軌跡軌跡為穩(wěn)定點(diǎn)軌跡為極限環(huán)軌跡為混沌現(xiàn)象軌跡發(fā)散hopfield神經(jīng)網(wǎng)絡(luò)131.2 網(wǎng)絡(luò)穩(wěn)定性穩(wěn)定軌跡反饋網(wǎng)絡(luò)從任一初始態(tài)P(0)開始運(yùn)動(dòng)，若存在某一有限時(shí)刻t，從t以后的網(wǎng)絡(luò)狀態(tài)不再發(fā)生變化（P(t+t)= P(t)，t0）則稱網(wǎng)絡(luò)是穩(wěn)定的 處于穩(wěn)定時(shí)的網(wǎng)絡(luò)狀態(tài)叫做穩(wěn)定狀態(tài)，又稱為定吸引子hopfield神經(jīng)

6、網(wǎng)絡(luò)141.2 網(wǎng)絡(luò)穩(wěn)定性穩(wěn)定點(diǎn)分類在一個(gè)反饋網(wǎng)絡(luò)中，存在很多穩(wěn)定點(diǎn)穩(wěn)定點(diǎn)收斂域 漸近穩(wěn)定點(diǎn)：在穩(wěn)定點(diǎn)Ae周圍的A()區(qū)域內(nèi)，從任一個(gè)初始狀態(tài)A(t0)出發(fā)，當(dāng)t時(shí)都收斂于Ae，則稱Ae為漸近穩(wěn)定點(diǎn) 不穩(wěn)定平衡點(diǎn)Aen：在某些特定的軌跡演化過程中，網(wǎng)絡(luò)能夠到達(dá)穩(wěn)定點(diǎn)Aen，但對(duì)其它方向上任意小的區(qū)域A()，不管A()取多么小，其軌跡在時(shí)間t以后總是偏離Aen； 期望解 網(wǎng)絡(luò)的解：如果網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計(jì)人員期望的穩(wěn)定點(diǎn)，且該穩(wěn)定點(diǎn)又是漸近穩(wěn)定點(diǎn)，那么這個(gè)點(diǎn)稱為網(wǎng)絡(luò)的解； 網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最終穩(wěn)定到一個(gè)漸近穩(wěn)定點(diǎn)上，但這個(gè)穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計(jì)所要求的解hopfield神經(jīng)網(wǎng)絡(luò)151.2 網(wǎng)絡(luò)穩(wěn)定

7、性狀態(tài)軌跡為極限環(huán)在某些參數(shù)的情況下，狀態(tài)A(t)的軌跡是一個(gè)圓，或一個(gè)環(huán)狀態(tài)A(t)沿著環(huán)重復(fù)旋轉(zhuǎn)，永不停止，此時(shí)的輸出A(t)也出現(xiàn)周期變化（即出現(xiàn)振蕩）如果在r種狀態(tài)下循環(huán)變化，稱其極限環(huán)為r對(duì)于離散反饋網(wǎng)絡(luò)，軌跡變化可能在兩種狀態(tài)下來回跳動(dòng)，其極限環(huán)為2hopfield神經(jīng)網(wǎng)絡(luò)161.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌跡為混沌如果狀態(tài)A(t)的軌跡在某個(gè)確定的范圍內(nèi)運(yùn)動(dòng)，但既不重復(fù)，又不能停下來狀態(tài)變化為無窮多個(gè)，而軌跡也不能發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象稱為混沌(chaos)出現(xiàn)混沌的情況下，系統(tǒng)輸出變化為無窮多個(gè)，并且隨時(shí)間推移不能趨向穩(wěn)定，但又不發(fā)散hopfield神經(jīng)網(wǎng)絡(luò)171.2 網(wǎng)絡(luò)穩(wěn)定性狀態(tài)軌

8、跡發(fā)散狀態(tài)A(t)的軌跡隨時(shí)間一直延伸到無窮遠(yuǎn)。此時(shí)狀態(tài)發(fā)散，系統(tǒng)的輸出也發(fā)散一般非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散現(xiàn)象是不會(huì)發(fā)生的.hopfield神經(jīng)網(wǎng)絡(luò)181.2網(wǎng)絡(luò)穩(wěn)定性目前的反饋神經(jīng)網(wǎng)絡(luò)是利用穩(wěn)定的特定軌跡來解決某些問題如果視系統(tǒng)的穩(wěn)定點(diǎn)為一個(gè)記憶，則從初始狀態(tài)朝此穩(wěn)定點(diǎn)移動(dòng)的過程即為尋找該記憶的過程狀態(tài)的初始值可以認(rèn)為是給定的有關(guān)該記憶的部分信息，狀態(tài)A(t)移動(dòng)的過程，是從部分信息去尋找全部信息，這就是聯(lián)想記憶的過程將系統(tǒng)的穩(wěn)定點(diǎn)考慮為一個(gè)能量函數(shù)的極小點(diǎn)。在狀態(tài)空間中，從初始狀態(tài)A(t0) ，最后到達(dá)A*。若A*為穩(wěn)定點(diǎn)，則可以看作是A*把A(t0)吸引了過去，在A(t0)時(shí)能量比較大，

9、而吸引到A*時(shí)能量已為極小了hopfield神經(jīng)網(wǎng)絡(luò)191.2網(wǎng)絡(luò)穩(wěn)定性考慮具體應(yīng)用，可以將能量的極小點(diǎn)作為一個(gè)優(yōu)化目標(biāo)函數(shù)的極小點(diǎn)，把狀態(tài)變化的過程看成是優(yōu)化某一個(gè)目標(biāo)函數(shù)的過程因此反饋網(wǎng)絡(luò)的狀態(tài)移動(dòng)的過程實(shí)際上是一種計(jì)算聯(lián)想記憶或優(yōu)化的過程。它的解并不需要真的去計(jì)算，只需要形成一類反饋神經(jīng)網(wǎng)絡(luò)，適當(dāng)?shù)卦O(shè)計(jì)網(wǎng)絡(luò)權(quán)值wij，使其初始輸入A(t0)向穩(wěn)定吸引子狀態(tài)移動(dòng)就可以達(dá)到目的hopfield神經(jīng)網(wǎng)絡(luò)20二、Hopfield網(wǎng)絡(luò)簡(jiǎn)介2.1 網(wǎng)絡(luò)模型2.2 DHNN2.3 CHNN2.4 聯(lián)想記憶與優(yōu)化計(jì)算hopfield神經(jīng)網(wǎng)絡(luò)21概述 Hopfield Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷

10、史上的一個(gè)重要的里網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國(guó)加州理工學(xué)院物理學(xué)家程碑。由美國(guó)加州理工學(xué)院物理學(xué)家J.J.HopfieldJ.J.Hopfield教授于教授于19821982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。HopfieldHopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。19841984年，年，HopfieldHopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商旅

11、行商(TSP)(TSP)計(jì)算難題計(jì)算難題( (優(yōu)化問題優(yōu)化問題) )。 Hopfield Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作別記作DHNN (Discrete Hopfield Neural Network) DHNN (Discrete Hopfield Neural Network) 和和CHNN (Continues Hopfield Neural Network) CHNN (Continues Hopfield Neural Network) 。 Hello,Im John Hopfieldhopfield神經(jīng)網(wǎng)絡(luò)22反

12、饋神經(jīng)網(wǎng)絡(luò)由于其輸出端有反饋到其反饋神經(jīng)網(wǎng)絡(luò)由于其輸出端有反饋到其輸入端；所以，輸入端；所以，HopfieldHopfield網(wǎng)絡(luò)在輸入的網(wǎng)絡(luò)在輸入的激勵(lì)下，會(huì)產(chǎn)生不斷的狀態(tài)變化。激勵(lì)下，會(huì)產(chǎn)生不斷的狀態(tài)變化。當(dāng)有輸入之后，可以求出當(dāng)有輸入之后，可以求出HopfieldHopfield的輸?shù)妮敵觯@個(gè)輸出反饋到輸入從而產(chǎn)生新的出，這個(gè)輸出反饋到輸入從而產(chǎn)生新的輸出，這個(gè)反饋過程一直進(jìn)行下去。如輸出，這個(gè)反饋過程一直進(jìn)行下去。如果果HopfieldHopfield網(wǎng)絡(luò)是一個(gè)能收斂的穩(wěn)定網(wǎng)網(wǎng)絡(luò)是一個(gè)能收斂的穩(wěn)定網(wǎng)絡(luò)，則這個(gè)反饋與迭代的計(jì)算過程所產(chǎn)絡(luò)，則這個(gè)反饋與迭代的計(jì)算過程所產(chǎn)生的變化越來越小，

13、一旦到達(dá)了穩(wěn)定平生的變化越來越小，一旦到達(dá)了穩(wěn)定平衡狀態(tài)；那么衡狀態(tài)；那么HopfieldHopfield網(wǎng)絡(luò)就會(huì)輸出一網(wǎng)絡(luò)就會(huì)輸出一個(gè)穩(wěn)定的恒值。個(gè)穩(wěn)定的恒值。hopfield神經(jīng)網(wǎng)絡(luò)232.1 網(wǎng)絡(luò)模型分類分類離散離散HopfieldHopfield網(wǎng)絡(luò)（網(wǎng)絡(luò)（DHNNDHNN）連續(xù)連續(xù)HopfieldHopfield網(wǎng)絡(luò)（網(wǎng)絡(luò)（CHNNCHNN） DHNN中的激活函數(shù) CHNN中的激活函數(shù) hopfield神經(jīng)網(wǎng)絡(luò)242.1 網(wǎng)絡(luò)模型hopfield神經(jīng)網(wǎng)絡(luò)252.2 DHNNHopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出只取1和0這兩個(gè)值，所以，也稱離散Hopfield神經(jīng)

14、網(wǎng)絡(luò)。在離散Hopfield網(wǎng)絡(luò)中，所采用的神經(jīng)元是二值神經(jīng)元；故而，所輸出的離散值1和0分別表示神經(jīng)元處于激活和抑制狀態(tài)。 hopfield神經(jīng)網(wǎng)絡(luò)262.2 DHNN對(duì)于一個(gè)離散的Hopfield網(wǎng)絡(luò)，其網(wǎng)絡(luò)狀態(tài)是輸出神經(jīng)元信息的集合。對(duì)于一個(gè)輸出層是n個(gè)神經(jīng)元的網(wǎng)絡(luò)，則其t時(shí)刻的狀態(tài)為一個(gè)n維向量： Aa1，a2，anT 故而，網(wǎng)絡(luò)狀態(tài)有2n個(gè)狀態(tài)；因?yàn)锳j(t)(j1n)可以取值為1或0；故n維向量A(t)有2n種狀態(tài)，即是網(wǎng)絡(luò)狀態(tài)。hopfield神經(jīng)網(wǎng)絡(luò)272.2 DHNN對(duì)于三個(gè)神經(jīng)元的離散Hopfield網(wǎng)絡(luò)，它的輸出層就是三位二進(jìn)制數(shù)；每一個(gè)三位二進(jìn)制數(shù)就是一種網(wǎng)絡(luò)狀態(tài)，從而

15、共有8個(gè)網(wǎng)絡(luò)狀態(tài)。這些網(wǎng)絡(luò)狀態(tài)如圖所示。在圖中，立方體的每一個(gè)頂角表示一種網(wǎng)絡(luò)狀態(tài)。同理，對(duì)于n個(gè)神經(jīng)元的輸出層，它有2n個(gè)網(wǎng)絡(luò)狀態(tài)，也和一個(gè)n維超立方體的頂角相對(duì)應(yīng)。hopfield神經(jīng)網(wǎng)絡(luò)282.2 DHNN如果Hopfield網(wǎng)絡(luò)是一個(gè)穩(wěn)定網(wǎng)絡(luò)，那么在網(wǎng)絡(luò)的輸入端加入一個(gè)輸入向量，則網(wǎng)絡(luò)的狀態(tài)會(huì)產(chǎn)生變化，也就是從超立方體的一個(gè)頂角轉(zhuǎn)移向另一個(gè)頂角，并且最終穩(wěn)定于一個(gè)特定的頂角。 hopfield神經(jīng)網(wǎng)絡(luò)292.2 DHNNDHNN取b0，wii0權(quán)矩陣中有wijwjihopfield神經(jīng)網(wǎng)絡(luò)302.2 DHNNDHNN網(wǎng)絡(luò)結(jié)構(gòu)可以用一個(gè)加權(quán)向量圖表示hopfield神經(jīng)網(wǎng)絡(luò)31穩(wěn)定狀態(tài)穩(wěn)

16、定狀態(tài) 若網(wǎng)絡(luò)從某一時(shí)刻以后，狀態(tài)不再發(fā)生若網(wǎng)絡(luò)從某一時(shí)刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài) 網(wǎng)絡(luò)為對(duì)稱連接，即；神經(jīng)元自身無連網(wǎng)絡(luò)為對(duì)稱連接，即；神經(jīng)元自身無連接接 能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不斷降低，最能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不斷降低，最后達(dá)到穩(wěn)定后達(dá)到穩(wěn)定nnn1111E2ijijiiijiijjiwv vb v ()( )0v ttv tt hopfield神經(jīng)網(wǎng)絡(luò)32網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量n11E2iijijiiiijw vvbv nn11n1EE (1)E ( )11(1)(1)( )( )221(1)( )2iiiijiji

17、iijijiiiiijijiiijjiiijttw v tvbv tw v t vbv tv tv tw vb E0iHopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化。由于能量函數(shù)有界，小的方向演化。由于能量函數(shù)有界，所以系統(tǒng)必然會(huì)趨于穩(wěn)定狀態(tài)所以系統(tǒng)必然會(huì)趨于穩(wěn)定狀態(tài) 。hopfield神經(jīng)網(wǎng)絡(luò)332.3 CHNN將霍普菲爾德網(wǎng)絡(luò)推廣到輸入和輸出都取連續(xù)數(shù)值的情形網(wǎng)絡(luò)的基本結(jié)構(gòu)不變，狀態(tài)輸出方程形式上也相同。則網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移方程可寫為hopfield神經(jīng)網(wǎng)絡(luò)342.3 CHNN神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù)）hopfield神經(jīng)網(wǎng)絡(luò)352.3 CHNN

18、神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù)）hopfield神經(jīng)網(wǎng)絡(luò)362.4 聯(lián)想記憶與優(yōu)化計(jì)算聯(lián)想記憶問題穩(wěn)定狀態(tài)已知并且通過學(xué)習(xí)和設(shè)計(jì)算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲(chǔ)到網(wǎng)絡(luò)中優(yōu)化計(jì)算權(quán)值矩陣W已知，目的為尋找具有最小能量E的穩(wěn)定狀態(tài)主要工作為設(shè)計(jì)相應(yīng)的W和能量函數(shù)公式hopfield神經(jīng)網(wǎng)絡(luò)37三、DHNN3.1 神經(jīng)元狀態(tài)更新方式3.2 網(wǎng)絡(luò)學(xué)習(xí)3.3 網(wǎng)絡(luò)記憶容量3.4 權(quán)值設(shè)計(jì)hopfield神經(jīng)網(wǎng)絡(luò)383.1 狀態(tài)更新由-1變?yōu)?；由1變?yōu)?1；狀態(tài)保持不變串行異步方式任意時(shí)刻隨機(jī)地或確定性地選擇網(wǎng)絡(luò)中的一個(gè)神經(jīng)元進(jìn)行狀態(tài)更新，而其余神經(jīng)元的狀態(tài)保持不變 hopfield

19、神經(jīng)網(wǎng)絡(luò)393.1 狀態(tài)更新串行異步方式任一時(shí)刻，網(wǎng)絡(luò)中只有一個(gè)神經(jīng)元被選擇進(jìn)行狀態(tài)更新或保持，所以異步狀態(tài)更新的網(wǎng)絡(luò)從某一初態(tài)開始需經(jīng)過多次更新狀態(tài)后才可以達(dá)到某種穩(wěn)態(tài)。實(shí)現(xiàn)上容易，每個(gè)神經(jīng)元有自己的狀態(tài)更新時(shí)刻，不需要同步機(jī)制；異步狀態(tài)更新更接近實(shí)際的生物神經(jīng)系統(tǒng)的表現(xiàn)并行同步方式任意時(shí)刻網(wǎng)絡(luò)中部分神經(jīng)元(比如同一層的神經(jīng)元)的狀態(tài)同時(shí)更新。如果任意時(shí)刻網(wǎng)絡(luò)中全部神經(jīng)元同時(shí)進(jìn)行狀態(tài)更新，那么稱之為全并行同步方式 hopfield神經(jīng)網(wǎng)絡(luò)403.2 網(wǎng)絡(luò)學(xué)習(xí)聯(lián)想記憶聯(lián)想記憶功能是DHNN的一個(gè)重要應(yīng)用范圍。反饋網(wǎng)絡(luò)實(shí)現(xiàn)聯(lián)想記憶必須具備的兩個(gè)基本條件 網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本

20、的記憶信息； 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息學(xué)習(xí)目的具有q個(gè)不同的輸入樣本組PrqP1, P2 Pq通過學(xué)習(xí)方式調(diào)節(jié)計(jì)算有限的權(quán)值矩陣W以每一組輸入樣本Pk，k=1，2，q 作為系統(tǒng)的初始值經(jīng)過網(wǎng)絡(luò)工作運(yùn)行后，系統(tǒng)能收斂到各自輸入樣本矢量本身hopfield神經(jīng)網(wǎng)絡(luò)413.2 網(wǎng)絡(luò)學(xué)習(xí)DHNN中運(yùn)用海布調(diào)節(jié)規(guī)則(hebb)海布法則是一種無指導(dǎo)的死記式學(xué)習(xí)算法當(dāng)神經(jīng)元輸入與輸出節(jié)點(diǎn)的狀態(tài)相同(即同時(shí)興奮或抑制)時(shí)，從第j個(gè)到第i個(gè)神經(jīng)元之間的連接強(qiáng)度則增強(qiáng)，否則減弱當(dāng)k1時(shí)，對(duì)于第i個(gè)神經(jīng)元，由海布學(xué)習(xí)規(guī)則可得網(wǎng)絡(luò)權(quán)值對(duì)輸入矢量的學(xué)習(xí)關(guān)系式為其中，0，i1，2，r；

21、j=1，2，r。在實(shí)際學(xué)習(xí)規(guī)則的運(yùn)用中，一般取1或1/rhopfield神經(jīng)網(wǎng)絡(luò)423.2 網(wǎng)絡(luò)學(xué)習(xí)當(dāng)k由1增加到2，直至q時(shí)，是在原有己設(shè)計(jì)出的權(quán)值的基礎(chǔ)上，增加一個(gè)新量pjkpik，k2, q對(duì)網(wǎng)絡(luò)所有輸入樣本記憶權(quán)值的設(shè)計(jì)公式為其中，0，i1，2，r；j=1，2，r。在實(shí)際學(xué)習(xí)規(guī)則的運(yùn)用中，一般取1或1/rhopfield神經(jīng)網(wǎng)絡(luò)433.2 網(wǎng)絡(luò)學(xué)習(xí)向量形式表示1時(shí)神經(jīng)網(wǎng)絡(luò)工具箱中采用海布公式求解網(wǎng)絡(luò)權(quán)矩陣變化的函數(shù)為learnh.m和learnhd.m。后者為帶有衰減學(xué)習(xí)速率的函數(shù)dW1earnh(P，A，lr)dWlearnhd(W，P，A，lr，dr)；對(duì)于簡(jiǎn)單的情況，lr可以選擇

22、1；對(duì)于復(fù)雜的應(yīng)用，可取lr0.10.5，drlr3hopfield神經(jīng)網(wǎng)絡(luò)443.2 網(wǎng)絡(luò)學(xué)習(xí)簡(jiǎn)單驗(yàn)證q1， l求出的權(quán)值wij是否能夠保證aipi？ 對(duì)于第i個(gè)輸出節(jié)點(diǎn)，有hopfield神經(jīng)網(wǎng)絡(luò)453.3 記憶容量設(shè)計(jì)DHNN網(wǎng)絡(luò)的目的，是希望通過所設(shè)計(jì)的權(quán)值矩陣W儲(chǔ)存多個(gè)期望模式當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定模式時(shí)，該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無誤地記憶住，即所設(shè)計(jì)的W值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系但當(dāng)需要記憶的模式增多時(shí)，網(wǎng)絡(luò)記憶可能出現(xiàn)問題權(quán)值移動(dòng)交叉干擾hopfield神經(jīng)網(wǎng)絡(luò)463.3 記憶容量在網(wǎng)絡(luò)的學(xué)習(xí)過程中，網(wǎng)絡(luò)對(duì)記憶樣本輸入T1，T2，Tq的權(quán)值學(xué)習(xí)記憶實(shí)際上是逐個(gè)實(shí)現(xiàn)的。

23、即對(duì)權(quán)值W，有程序：W=0for k=l qW=W+Tk(Tk)T-Iend hopfield神經(jīng)網(wǎng)絡(luò)473.3 記憶容量由此過程可知：當(dāng)k=1時(shí)，有 此時(shí)，網(wǎng)絡(luò)準(zhǔn)確的記住了樣本T1 hopfield神經(jīng)網(wǎng)絡(luò)483.3 記憶容量權(quán)值移動(dòng)當(dāng)k2時(shí)，為了記憶樣本T2，需要在記憶了樣本Tl的權(quán)值上加上對(duì)樣本T2的記憶項(xiàng)T2(T2)T-I，將權(quán)值在原來值的基礎(chǔ)上產(chǎn)生了移動(dòng)由于在學(xué)習(xí)樣本T2時(shí)，權(quán)矩陣W是在已學(xué)習(xí)了T1的基礎(chǔ)上進(jìn)行修正的，W起始值不再為零，所以由此調(diào)整得出的新的W值，對(duì)記憶樣本T2來說，也未必對(duì)所有的s個(gè)輸出同時(shí)滿足符號(hào)函數(shù)的條件，即難以保證網(wǎng)絡(luò)對(duì)T2的精確的記憶hopfield神經(jīng)網(wǎng)絡(luò)

24、493.3 記憶容量權(quán)值移動(dòng)隨著學(xué)習(xí)樣本數(shù)k的增加，權(quán)值移動(dòng)現(xiàn)象將進(jìn)一步發(fā)生，當(dāng)學(xué)習(xí)了第q個(gè)樣本Tq后，權(quán)值又在前q-1個(gè)樣本修正的基礎(chǔ)上產(chǎn)生了移動(dòng)，這也是網(wǎng)絡(luò)在精確的學(xué)習(xí)了第一個(gè)樣本后的第q-1次移動(dòng)對(duì)已記憶的樣本發(fā)生遺忘，這種現(xiàn)象被稱為“疲勞”hopfield神經(jīng)網(wǎng)絡(luò)503.3 記憶容量在此情況下，所求出的新的W為：wij= tj1ti1+ tj2ti2，對(duì)于樣本T1來說，網(wǎng)絡(luò)的輸出為：此輸出有可能不再對(duì)所有的s個(gè)輸出均滿足加權(quán)輸入和與輸出符號(hào)一致的條件。網(wǎng)絡(luò)有可能部分地遺忘了以前已記憶住的模式。 hopfield神經(jīng)網(wǎng)絡(luò)513.3 記憶容量交叉干擾交叉干擾設(shè)輸入矢量設(shè)輸入矢量P P維數(shù)為

25、維數(shù)為r rq q，取，取=1/r=1/r。P Pk k-1-1，11，所以，所以p pj jk k* *p pj jk k1 1。當(dāng)網(wǎng)絡(luò)某個(gè)矢量。當(dāng)網(wǎng)絡(luò)某個(gè)矢量P Pl l，l1,ql1,q，作為網(wǎng)絡(luò)的輸入，作為網(wǎng)絡(luò)的輸入矢量時(shí)，可得網(wǎng)絡(luò)的加權(quán)輸入和矢量時(shí)，可得網(wǎng)絡(luò)的加權(quán)輸入和n ni il l為為上式右邊中第一項(xiàng)為期望記憶的樣本，而第二項(xiàng)則是當(dāng)網(wǎng)絡(luò)上式右邊中第一項(xiàng)為期望記憶的樣本，而第二項(xiàng)則是當(dāng)網(wǎng)絡(luò)學(xué)習(xí)多個(gè)樣本時(shí)，在回憶階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生學(xué)習(xí)多個(gè)樣本時(shí)，在回憶階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生的相互干擾，稱為交叉干擾項(xiàng)的相互干擾，稱為交叉干擾項(xiàng)hopfield神經(jīng)網(wǎng)絡(luò)523.3 記

26、憶容量有效容量有效容量從對(duì)網(wǎng)絡(luò)的記憶容量產(chǎn)生影響的權(quán)值移動(dòng)從對(duì)網(wǎng)絡(luò)的記憶容量產(chǎn)生影響的權(quán)值移動(dòng)和交叉干擾上看，采用海布學(xué)習(xí)法則對(duì)網(wǎng)絡(luò)和交叉干擾上看，采用海布學(xué)習(xí)法則對(duì)網(wǎng)絡(luò)記憶樣本的數(shù)量是有限制的記憶樣本的數(shù)量是有限制的通過上面的分析已經(jīng)很清楚地得知，當(dāng)交通過上面的分析已經(jīng)很清楚地得知，當(dāng)交叉干擾項(xiàng)值大于正確記憶值時(shí)，將產(chǎn)生錯(cuò)誤叉干擾項(xiàng)值大于正確記憶值時(shí)，將產(chǎn)生錯(cuò)誤輸出輸出在什么情況下，能夠保證記憶住所有樣本在什么情況下，能夠保證記憶住所有樣本? ?當(dāng)所期望記憶的樣本是兩兩正交時(shí)，能夠當(dāng)所期望記憶的樣本是兩兩正交時(shí)，能夠準(zhǔn)確得到一個(gè)可記憶數(shù)量的上限值準(zhǔn)確得到一個(gè)可記憶數(shù)量的上限值 hopfiel

27、d神經(jīng)網(wǎng)絡(luò)533.3 記憶容量有效容量的上界有效容量的上界正交特性正交特性神經(jīng)元為二值輸出的情況下，即神經(jīng)元為二值輸出的情況下，即P Pj j-1-1，11，當(dāng)兩個(gè)，當(dāng)兩個(gè)r r維樣本矢量維樣本矢量的各個(gè)分量中，有的各個(gè)分量中，有r/2r/2是相同，是相同，r/2r/2是相反。對(duì)于任意一個(gè)數(shù)是相反。對(duì)于任意一個(gè)數(shù)l l，l1l1，qq，有，有P Pl l(P(Pk k) )T T0 0，lklk；而有；而有P Pl l(P(Pl l) )T Tr r，l lk k hopfield神經(jīng)網(wǎng)絡(luò)543.3 記憶容量用外積和公式所得到的權(quán)矩陣進(jìn)行迭代計(jì)用外積和公式所得到的權(quán)矩陣進(jìn)行迭代計(jì)算，在輸入樣本

28、算，在輸入樣本P Pk k，k=1k=1，2, q2, q中任取中任取P Pl l為初始輸入，求網(wǎng)絡(luò)加權(quán)輸出和為初始輸入，求網(wǎng)絡(luò)加權(quán)輸出和N Nl l 只要滿足，只要滿足，r rq q，則有則有sgn(Nsgn(Nl l) )P Pl l保證保證P Pl l為網(wǎng)絡(luò)的穩(wěn)為網(wǎng)絡(luò)的穩(wěn)定解定解 hopfield神經(jīng)網(wǎng)絡(luò)553.4 權(quán)值設(shè)計(jì)的其它方法學(xué)習(xí)規(guī)則：通過計(jì)算每個(gè)神經(jīng)元節(jié)點(diǎn)的實(shí)際激活值A(chǔ)(t)，與期望狀態(tài)T(t)進(jìn)行比較，若不滿足要求，則將二者的誤差的一部分作為調(diào)整量，若滿足要求，則相應(yīng)的權(quán)值保持不變 hopfield神經(jīng)網(wǎng)絡(luò)563.4 權(quán)值設(shè)計(jì)的其它方法偽逆法對(duì)于輸入樣本PP1 P2 Pq，設(shè)

29、網(wǎng)絡(luò)輸出可以寫成一個(gè)與輸入樣本相對(duì)應(yīng)的矩陣A，輸入和輸出之間可用一個(gè)權(quán)矩陣W來映射，即有：W*PN，Asgn(N)，由此可得WN*P* 其中P*為P的偽逆，有P*(PTP)-1PT如果樣本之間是線性無關(guān)的，則PTP滿秩，其逆存在，則可求出權(quán)矩陣W但當(dāng)記憶樣本之間是線性相關(guān)的，由海布法所設(shè)計(jì)出的網(wǎng)絡(luò)存在的問題，偽逆法也解決不了，甚至無法求解，相比之下，由于存在求逆等運(yùn)算，偽逆法較為繁瑣，而海布法則要容易求得多hopfield神經(jīng)網(wǎng)絡(luò)57四、 TSP問題求解所謂TSP(Traveling Salesman Problem)問題，即“旅行商問題”是一個(gè)十分有名的難以求解的優(yōu)化問題，其要求很簡(jiǎn)單：在n

30、個(gè)城市的集合中，找出一條經(jīng)過每個(gè)城市各一次，最終回到起點(diǎn)的最短路徑問題描述如果已知城市A，B，C，D，之間的距離為dAB，dBC，dCD；那么總的距離ddAB+dBC+dCD+，對(duì)于這種動(dòng)態(tài)規(guī)化問題，要去求其min(d)的解對(duì)于n個(gè)城市的全排列共有n!種，而TSP并沒有限定路徑的方向，即為全組合，所以對(duì)于固定的城市數(shù)n的條件下，其路徑總數(shù)Sn為Snn!2n (n4)hopfield神經(jīng)網(wǎng)絡(luò)58hopfield神經(jīng)網(wǎng)絡(luò)594.3 TSP問題TSP的解是若干城市的有序排列，任何一個(gè)城市在最終路徑上的位置可用一個(gè)n維的0、1矢量表示，對(duì)于所有n個(gè)城市，則需要一個(gè)nn維矩陣。以5個(gè)城市為例，一種可能的排列矩陣為hopfield神經(jīng)網(wǎng)絡(luò)604.3 TSP問題若用dxy表示從城市x到城市y的距離，則上面路徑的總長(zhǎng)度為： dxydCA+dAD+dDB+dBE+dECTSP的最優(yōu)解是求長(zhǎng)度dxy為最短的一條有效的路徑 采用連續(xù)時(shí)間的霍普菲爾德網(wǎng)絡(luò)模型來求解TSP，開辟了一條解決這一問題的新途徑。其基本思想是把TSP映射到CHNN上，通過網(wǎng)絡(luò)