離散Hopfield神經(jīng)網(wǎng)絡及應用舉例

WhatisArtificalNeuralNetwork?WhatcanANNdoforus?WhencanweuseANN?WhatkindofANNshouldweselect?關(guān)于人工神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡（復習）●人工神經(jīng)網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結(jié)構(gòu)，該網(wǎng)絡結(jié)構(gòu)一般由許多個神經(jīng)元組成，每個神經(jīng)元有一個單一的輸出，它可以連接到很多其他的神經(jīng)元，其輸入有多個連接通路，每個連接通路對應一個連接權(quán)系數(shù)?！袢斯ど窠?jīng)網(wǎng)絡系統(tǒng)是以工程技術(shù)手段來模擬人腦神經(jīng)元（包括細胞體，樹突，軸突）網(wǎng)絡的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓撲結(jié)構(gòu)的神經(jīng)網(wǎng)絡，它是生物神經(jīng)網(wǎng)絡的一種模擬和近似。主要從兩個方面進行模擬：一是結(jié)構(gòu)和實現(xiàn)機理；二是從功能上加以模擬?！窀鶕?jù)神經(jīng)網(wǎng)絡的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡模型，其中前饋型網(wǎng)絡和反饋型網(wǎng)絡是兩種典型的結(jié)構(gòu)模型。

網(wǎng)絡屬性感知器BP神經(jīng)網(wǎng)絡RBF神經(jīng)網(wǎng)絡SOM神經(jīng)網(wǎng)絡MATLAB函數(shù)newpnewffnewrbnewrbenewc

應用領(lǐng)域分類逼近、預測、分類逼近、預測分類如何選擇神經(jīng)網(wǎng)絡

需要注意的兩點●雖然人工神經(jīng)網(wǎng)絡有學習、識別、控制、逼近、分類、預測等強大功能，但應該明確的是它不是萬能的。想要得到一個什么樣子的結(jié)果對于是否選擇神經(jīng)網(wǎng)絡非常重要，如果想要的結(jié)果要求非常精準，那么最好不要選擇人工神經(jīng)網(wǎng)絡模型?！袢绻麑Y(jié)果要求不嚴格，系統(tǒng)數(shù)學模型未知或者很復雜，比較合適選取人工神經(jīng)網(wǎng)絡。因為神經(jīng)網(wǎng)絡對于用戶來說，只是一個“黑匣子”，用戶不需要知道內(nèi)部結(jié)構(gòu)，只需確定輸入輸出即可。反饋神經(jīng)網(wǎng)絡●反饋網(wǎng)絡(RecurrentNetwork)，又稱自聯(lián)想記憶網(wǎng)絡，其目的是為了設計一個網(wǎng)絡，儲存一組平衡點，使得當給網(wǎng)絡一組初始值時，網(wǎng)絡通過自行運行而最終收斂到這個設計的平衡點上。反饋神經(jīng)網(wǎng)絡是一種將輸出經(jīng)過一步時移再接入到輸入層的神經(jīng)網(wǎng)絡系統(tǒng)?！穹答伨W(wǎng)絡能夠表現(xiàn)出非線性動力學系統(tǒng)的動態(tài)特性。它所具有的主要特性為以下兩點：1.網(wǎng)絡系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當網(wǎng)絡從某一初始狀態(tài)開始運動，網(wǎng)絡系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；2.系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設計網(wǎng)絡的權(quán)值而被存儲到網(wǎng)絡中。●反饋網(wǎng)絡是一種動態(tài)網(wǎng)絡，它需要工作一段時間才能達到穩(wěn)定。該網(wǎng)絡主要用于聯(lián)想記憶和優(yōu)化計算。在這種網(wǎng)絡中，每個神經(jīng)元同時將自身的輸出信號作為輸入信號反饋給其他神經(jīng)元，它需要工作一段時間才能達到穩(wěn)定。

Hopfield神經(jīng)網(wǎng)絡●Hopfield網(wǎng)絡是神經(jīng)網(wǎng)絡發(fā)展歷史上的一個重要的里程碑。由美國加州理工學院物理學家J.J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡。Hopfield神經(jīng)網(wǎng)絡是反饋網(wǎng)絡中最簡單且應用廣泛的模型，它具有聯(lián)想記憶的功能。●1984年，Hopfield設計并研制了網(wǎng)絡模型的電路，并成功地解決了旅行商(TSP)計算難題(快速尋優(yōu)問題)?！窀鶕?jù)網(wǎng)絡的輸出是離散量或是連續(xù)量，Hopfield網(wǎng)絡也分為離散和連續(xù)的兩種。Hello,I’mJohnHopfield

Hopfield神經(jīng)網(wǎng)絡Hopfield神經(jīng)網(wǎng)絡模型是一種循環(huán)神經(jīng)網(wǎng)絡，從輸出到輸入有反饋連接。在輸入的激勵下，會產(chǎn)生不斷的狀態(tài)變化。反饋網(wǎng)絡有穩(wěn)定的，也有不穩(wěn)定的，如何判別其穩(wěn)定性也是需要確定的。對于一個Hopfield網(wǎng)絡來說，關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)。右圖中，第0層是輸入，不是神經(jīng)元；第二層是神經(jīng)元。Hopfield神經(jīng)網(wǎng)絡有兩種：離散Hopfield網(wǎng)絡（DHNN）和連續(xù)Hopfield網(wǎng)絡（CHNN）

。1.離散Hopfield網(wǎng)絡（DHNN）：神經(jīng)元的輸出只取1和0，分別表示神經(jīng)元處于激活和抑制狀態(tài)。對于二值神經(jīng)元，它的計算公式如下

其中，xi為外部輸入。并且有：2.連續(xù)Hopfield網(wǎng)絡（CHNN）拓撲結(jié)構(gòu)和DHNN的結(jié)構(gòu)相同。不同之處在于其函數(shù)g不是階躍函數(shù)，而是S形的連續(xù)函數(shù)。一般取G(u)=1/(1+eu)

離散Hopfield網(wǎng)絡離散Hopfield網(wǎng)絡的結(jié)構(gòu)和工作方式離散Hopfield網(wǎng)絡是一個單層網(wǎng)絡，有n個神經(jīng)元節(jié)點，每個神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。各節(jié)點沒有自反饋，每個節(jié)點都附有一個閥值。每個節(jié)點都可處于一種可能的狀態(tài)（1或－1），即當該神經(jīng)元所受的刺激超過其閥值時，神經(jīng)元就處于一種狀態(tài)（比如1），否則神經(jīng)元就始終處于另一狀態(tài)（比如－1）。

一個DHNN的網(wǎng)絡狀態(tài)是輸出神經(jīng)元信息的集合。對于一個輸出層是n個神經(jīng)元的網(wǎng)絡,其t時刻的狀態(tài)為一個n維向量：Y(t)=[y1(t),y2(t),…,yn(t)]T

因為yi(t)可以取值為1或0，故n維向量Y(t)有2n種狀態(tài)，即網(wǎng)絡有2n種狀態(tài)。如圖所示：如果Hopfield網(wǎng)絡是一個穩(wěn)定網(wǎng)絡，有3個神經(jīng)元，則有8種狀態(tài)。右圖可直觀看出：若在網(wǎng)絡的輸入端上加入一個輸入向量，則網(wǎng)絡的狀態(tài)會產(chǎn)生變化，即從超立方體的一個頂點轉(zhuǎn)向另一個頂點，并且最終穩(wěn)定于一個特定的頂角。

●假設一個DHNN，其狀態(tài)為Y(t)：Y(t)=[y1(t),y2(t),…,yn(t)]T

如果對于任何△t，當神經(jīng)網(wǎng)絡從t=0開始，有初始狀態(tài)Y(0)。經(jīng)過有限時刻t，有：Y(t+△t)=Y(t)

則稱網(wǎng)絡是穩(wěn)定的。

●Hopfield網(wǎng)絡穩(wěn)定的充分條件：權(quán)系數(shù)矩陣W是對稱矩陣，并且對角線元素為0。

●無自反饋的權(quán)系數(shù)對稱Hopfield網(wǎng)絡是穩(wěn)定的。

應用舉例（數(shù)字識別）

問題設計一個Hopfield網(wǎng)絡，使其具有聯(lián)想記憶功能，能正確識別阿拉伯數(shù)字，當數(shù)字被噪聲污染后仍可以正確地識別。設計思路假設網(wǎng)絡由0-9共10個穩(wěn)態(tài)構(gòu)成，每個穩(wěn)態(tài)由10*10的矩陣構(gòu)成，該矩陣用于模擬阿拉伯數(shù)字點陣。即將每個數(shù)字劃分成10*10方陣，有數(shù)字的部分用1表示，空白處用-1表示。設計步驟（1）設計數(shù)字點陣（0-9）（2）創(chuàng)建Hopfield網(wǎng)絡（3）設計受到噪聲污染的數(shù)字點陣（4）數(shù)字識別（5）結(jié)果分析

應用舉例（數(shù)字識別）%standardnumberarray；矩陣填充，數(shù)字模型建立one=[-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1];two=[-111111111-1;-111111111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1;...-111111111-1;-111111111-1;...-111-1-1-1-1-1-1-1;-111-1-1-1-1-1-1-1;...-111111111-1;-111111111-1];

%plotstandardnumberfigure畫出標準數(shù)字圖像-----------------ONE=imresize(one,20);subplot(3,2,1)imshow(ONE)title('standnumber')

TWO=imresize(two,20);subplot(3,2,2)imshow(TWO)title('standnumber')

%--createhopfieldnet創(chuàng)建Hopfield網(wǎng)絡--------------------------T=[one;two]';net=newhop(T);

%--noisearray(randnoise)-人為制造噪聲----------------rand('state',0);fori=1:100a=rand;ifa<0.1one(i)=-one(i);two(i)=-two(i);endendno1=one;no2=two;%--plotnoisyfigure---------------subplot(3,2,3)NO1=imresize(no1,20);imshow(NO1)title('noisynumber')

subplot(3,2,4)NO2=imresize(no2,20);imshow(NO2)title('noisynumber')%plotidentifyfigure—noise1={(no1)'}