基于離散Hopfield神經(jīng)網(wǎng)絡(luò)的數(shù)字識(shí)別實(shí)現(xiàn)

1、基于離散Hopfield神經(jīng)網(wǎng)絡(luò)的數(shù)字識(shí)別實(shí)現(xiàn)學(xué) 院：電子與控制工程學(xué)院姓 名： 學(xué) 號(hào)：2016.4基于離散Hopfield神經(jīng)網(wǎng)絡(luò)的數(shù)字識(shí)別實(shí)現(xiàn)一 離散Hopfield神經(jīng)網(wǎng)絡(luò)概述Hopfield 網(wǎng)絡(luò)作為一種全連接型的神經(jīng)網(wǎng)絡(luò)，曾經(jīng)為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展開辟了新的研究途徑。它利用與階層性神經(jīng)網(wǎng)絡(luò)不同的結(jié)構(gòu)特征和學(xué)習(xí)方法，模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機(jī)理，獲得了令人滿意的結(jié)果。這一網(wǎng)絡(luò)及學(xué)習(xí)算法最初是由美國物理學(xué)家J.J Hopfield 于1982 年首先提出的，故稱為Hopfield神經(jīng)網(wǎng)絡(luò)1。Hopfield 最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出值只取1或-1，所以，也稱離散Hopfi

2、eld神經(jīng)網(wǎng)絡(luò)(DHNN,Discrete Hopfield Neural Network)。在離散Hopfield 網(wǎng)絡(luò)中，所采用的神經(jīng)元是二值神經(jīng)元，因此，所輸出的離散值1 和-1分別表示神經(jīng)元處于激活和抑制狀態(tài)2。DHNN是一種單層、輸出為二值的反饋網(wǎng)絡(luò)。假設(shè)有一個(gè)由三個(gè)神經(jīng)元組成的離散Hopfield神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖1所示。圖1 離散Hopfield 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在圖1中，第0 層僅僅作為網(wǎng)絡(luò)的輸入，它不是實(shí)際神經(jīng)元，所以無計(jì)算功能；第1 層是神經(jīng)元，執(zhí)行對(duì)輸入信息與權(quán)系數(shù)的乘積求累加和，并經(jīng)非線性函數(shù)f 處理后產(chǎn)生輸出信息。f 是一個(gè)簡單的閾值函數(shù)，如果神經(jīng)元的輸出信息大于閾值，

3、那么，神經(jīng)元的輸出取值為1；小于閾值，則神經(jīng)元的輸出取值為-1。對(duì)于二值神經(jīng)元，它的計(jì)算公式如下：式中，xj為外部輸入，并且有一個(gè)DHNN的網(wǎng)絡(luò)狀態(tài)是輸出神經(jīng)元信息的集合。對(duì)于一個(gè)輸出層是n個(gè)神經(jīng)元的網(wǎng)絡(luò)，其t時(shí)刻的狀態(tài)為一個(gè)n維變量：因?yàn)榭梢匀≈禐?或-1，故n維向量Y(t)有種狀態(tài)，即網(wǎng)絡(luò)有種狀態(tài)。我們考慮DHNN 的一般節(jié)點(diǎn)狀態(tài)。用yj(t)表示第j 個(gè)神經(jīng)元，即節(jié)點(diǎn)j 在時(shí)刻t 的狀態(tài)，則節(jié)點(diǎn)的下一個(gè)時(shí)刻(t+1)的狀態(tài)可以求得：如果在i-j時(shí)等于0，說明一個(gè)神經(jīng)元的輸出并不會(huì)反饋到其輸入，這時(shí)，DHNN 稱為無自反饋的網(wǎng)絡(luò)。如果wij在i=j 時(shí)不等于0，說明一個(gè)神經(jīng)元的輸出會(huì)反饋到

4、其輸入端，這時(shí)，DHNN為有自反饋的網(wǎng)絡(luò)。二 基于Hopfield神經(jīng)網(wǎng)絡(luò)的數(shù)字識(shí)別根據(jù)Hopfield 神經(jīng)網(wǎng)絡(luò)相關(guān)知識(shí)，下面設(shè)計(jì)一個(gè)具有聯(lián)想記憶功能的離散型Hopfield 神經(jīng)網(wǎng)絡(luò)，要求該網(wǎng)絡(luò)可以正確識(shí)別1、2這兩個(gè)個(gè)數(shù)字，并且當(dāng)數(shù)字被一定的噪聲干擾后，仍具有較好的識(shí)別效果。2.1 設(shè)計(jì)思路假設(shè)網(wǎng)絡(luò)由1、2共2個(gè)穩(wěn)態(tài)構(gòu)成，每個(gè)穩(wěn)態(tài)用10*10 的矩陣表示。該矩陣可直觀地描述阿拉伯?dāng)?shù)字，即把矩陣規(guī)分成10*10個(gè)單元，有數(shù)字軌跡的單元用1表示，空白部分用-1表示，如圖2所示。網(wǎng)絡(luò)對(duì)這2個(gè)穩(wěn)態(tài)即2個(gè)數(shù)字（點(diǎn)陣）具有聯(lián)想記憶的功能，當(dāng)有帶噪聲的數(shù)字點(diǎn)陣輸入到該網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)的輸出便可以得到最接近

5、的目標(biāo)向量(即2個(gè)穩(wěn)態(tài))，從而達(dá)到正確識(shí)別的效果。圖2 數(shù)字1和2的點(diǎn)陣2.2 設(shè)計(jì)步驟 按照上述思路，設(shè)計(jì)Hopfield 網(wǎng)絡(luò)需要經(jīng)過以下幾個(gè)步驟，如圖3所示。圖3 Hopfield 網(wǎng)絡(luò)設(shè)計(jì)流程圖2.3 matlab實(shí)現(xiàn)利用MATLAB提供的函數(shù)，可以按照Hopfield 網(wǎng)絡(luò)設(shè)計(jì)流程圖將設(shè)計(jì)步驟一一在MATLAB 環(huán)境下實(shí)現(xiàn)。2.3.1 輸入輸出設(shè)計(jì)如圖2所示，有數(shù)字的部分用1表示，空白部分用-1表示，即可得到1、2的點(diǎn)陣。將數(shù)字點(diǎn)陣以圖形的形式呈現(xiàn)出來，如圖4所示。圖4 數(shù)字點(diǎn)陣1、2的實(shí)現(xiàn)結(jié)果利用這兩個(gè)數(shù)字點(diǎn)陣構(gòu)成訓(xùn)練樣本T：T = array_one;array_two;2.3.

6、2 網(wǎng)絡(luò)建立利用newhop( )函數(shù)可以方便地創(chuàng)建一個(gè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)：net = newhop(T);2.3.3 產(chǎn)生噪聲的數(shù)字點(diǎn)陣常見的模擬產(chǎn)生帶噪聲數(shù)字的方法有兩種：固定噪聲法和隨機(jī)噪聲法。固定噪聲法指的是人工修改的方法改變數(shù)字點(diǎn)陣某些位置值，從而模擬產(chǎn)生帶噪聲的數(shù)字點(diǎn)陣。如果希望產(chǎn)生不同的帶噪聲的數(shù)字矩陣，需要人工做多次的修改，這無疑是比較麻煩的。隨機(jī)噪聲產(chǎn)生法是利用產(chǎn)生隨機(jī)數(shù)的方法來確定需要修改的點(diǎn)陣位置，進(jìn)而對(duì)數(shù)字點(diǎn)陣進(jìn)行修改。由于數(shù)字點(diǎn)陣中的值只有1和-1 兩種，所以這里的修改就是將1換成-1，-1換成1。2.3.4 網(wǎng)絡(luò)仿真利用sim()函數(shù)可對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真

7、。3 實(shí)驗(yàn)結(jié)果將帶噪聲的數(shù)字點(diǎn)陣輸入已創(chuàng)建好的Hopfield 網(wǎng)絡(luò)，便可對(duì)帶噪聲的數(shù)字點(diǎn)陣進(jìn)行識(shí)別，識(shí)別結(jié)果仍為數(shù)字點(diǎn)陣形式。實(shí)驗(yàn)結(jié)果如圖5所示圖5 數(shù)字識(shí)別結(jié)果實(shí)驗(yàn)程序如下：% Hopfield神經(jīng)網(wǎng)絡(luò)數(shù)字識(shí)別clear allclcload data1 array_oneload data2 array_two T = array_one;array_two; net = newhop(T); load data1_noisy noisy_array_oneload data2_noisy noisy_array_two % 產(chǎn)生隨機(jī)噪聲 noisy_array_one=array_on

8、e; noisy_array_two=array_two; for i = 1:100 a = rand; if a 0.1 noisy_array_one(i) = -array_one(i); noisy_array_two(i) = -array_two(i); end endnoisy_one = (noisy_array_one); identify_one = sim(net,10,10,noisy_one);identify_one10;noisy_two = (noisy_array_two);identify_two = sim(net,10,10,noisy_two);id

9、entify_two10;Array_one = imresize(array_one,20);subplot(3,2,1)imshow(Array_one)title(標(biāo)準(zhǔn)（數(shù)字1）) Array_two = imresize(array_two,20);subplot(3,2,2)imshow(Array_two)title(標(biāo)準(zhǔn)(數(shù)字2) subplot(3,2,3)Noisy_array_one = imresize(noisy_array_one,20);imshow(Noisy_array_one)title(噪聲(數(shù)字1) subplot(3,2,4)Noisy_array_two = imresize(noisy_array_two,20);imshow(Noisy_a