hopfield神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法-PPT幻燈片

概述Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。1984年，Hopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)計(jì)算難題(優(yōu)化問題)。Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。Hello,I’mJohnHopfield9/22/202312.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型表示法一9/22/202322.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型表示法二9/22/202332.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的運(yùn)行規(guī)則(1)串行(異步)工作方式在任—時(shí)刻，只有某—神經(jīng)元(隨機(jī)的或確定的選擇)依上式變化，而其他神經(jīng)元的狀態(tài)不變。(2)并行(同步)工作方式在任一時(shí)刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時(shí)改變。

9/22/202362.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)串行(異步)工作方式運(yùn)行步驟第一步對(duì)網(wǎng)絡(luò)進(jìn)行初始化； 第二步從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元； 第三步按式(2-5)求出該神經(jīng)元i的輸出； 第四步按式(2-6)求出該神經(jīng)元經(jīng)激活函數(shù)處理后的輸出，此時(shí)網(wǎng)絡(luò)中的其他神經(jīng)元的輸出保持不變； 第五步判斷網(wǎng)絡(luò)是否達(dá)到穩(wěn)定狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；否則轉(zhuǎn)到第二步繼續(xù)運(yùn)行。

9/22/202372.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)穩(wěn)定狀態(tài)若網(wǎng)絡(luò)從某一時(shí)刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)網(wǎng)絡(luò)為對(duì)稱連接，即；神經(jīng)元自身無連接能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不斷降低，最后達(dá)到穩(wěn)定9/22/202382.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化。由于能量函數(shù)有界，所以系統(tǒng)必然會(huì)趨于穩(wěn)定狀態(tài)。9/22/202392.9.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型9/22/2023102.9.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析將下式代入得：

因?yàn)檫B續(xù)Hopfield網(wǎng)絡(luò)模型是穩(wěn)定的9/22/2023112.9.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)模型的主要特性1)連續(xù)Hopfield網(wǎng)絡(luò)的神經(jīng)元作為I/O轉(zhuǎn)換，其傳輸特性具有Sigmoid特性；2)具有時(shí)空整合作用；3)在神經(jīng)元之間存在著大量的興奮性和抑制性連接，這種聯(lián)接主要是通過反饋來實(shí)現(xiàn)。4)具有既代表產(chǎn)生動(dòng)作電位的神經(jīng)元，又有代表按漸進(jìn)方式工作的神經(jīng)元，即保留了動(dòng)態(tài)和非線性兩個(gè)最重要的計(jì)算特性。Hopfield神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的目標(biāo)就是使得網(wǎng)絡(luò)存儲(chǔ)一些特定的平衡點(diǎn)，當(dāng)給定網(wǎng)絡(luò)一個(gè)初始條件時(shí)，網(wǎng)絡(luò)最后會(huì)在這樣的點(diǎn)上停下來9/22/2023122.9.3Hopfield神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)函數(shù)名功能satlin()飽和線性傳遞函數(shù)satlins()對(duì)稱飽和線性傳遞函數(shù)newhop()生成一個(gè)Hopfield回歸網(wǎng)絡(luò)nnt2hop()更新NNT2.0Hopfield回歸網(wǎng)絡(luò)MATLAB中Hopfield網(wǎng)絡(luò)的重要函數(shù)和功能

9/22/2023132.9.3Hopfield神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)MATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能

newhop()功能生成一個(gè)Hopfield回歸網(wǎng)絡(luò)。格式net=newhop(T)說明net為生成的神經(jīng)網(wǎng)絡(luò)，具有在T中的向量上穩(wěn)定的點(diǎn)；T是具有Q個(gè)目標(biāo)向量的R*Q矩陣（元素必須為-1或1）。Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)常被應(yīng)用于模式的聯(lián)想記憶中。Hopfield神經(jīng)網(wǎng)絡(luò)僅有一層，其激活函數(shù)用satlins()函數(shù)，層中的神經(jīng)元有來自它自身的連接權(quán)和閾值。

9/22/2023142.9.3Hopfield神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)MATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能satlins()功能對(duì)稱飽和線性傳遞函數(shù)格式A=satlins(N)A輸出向量矩陣；N是由網(wǎng)絡(luò)的輸入向量組成的S*Q矩陣，返回的矩陣A與N的維數(shù)大小一致，A的元素取值位于區(qū)間[0，1]內(nèi)。當(dāng)N中的元素介于-1和1之間時(shí)，其輸出等于輸入；當(dāng)輸入值小于-1時(shí)返回-1；當(dāng)輸入值大于1時(shí)返回1。9/22/2023152.9.3Hopfield神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)例2-8設(shè)印刷體數(shù)字由1010點(diǎn)陣構(gòu)成，就是將數(shù)字分成很多小方塊，每個(gè)方塊就對(duì)應(yīng)數(shù)字的一部分，構(gòu)成數(shù)字本部分的方塊用1表示，空白處用-1表示。試設(shè)計(jì)一個(gè)Hopfield網(wǎng)絡(luò)，能夠正確識(shí)別印刷體的數(shù)字。由點(diǎn)陣構(gòu)成的數(shù)字1由點(diǎn)陣構(gòu)成的數(shù)字29/22/202316例2-8程序