hejianhua神經(jīng)網(wǎng)絡(luò)講義part自組織網(wǎng)絡(luò)學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1hejianhua神經(jīng)網(wǎng)絡(luò)講義神經(jīng)網(wǎng)絡(luò)講義part自組織網(wǎng)絡(luò)自組織網(wǎng)絡(luò)第1頁(yè)/共41頁(yè)第2頁(yè)/共41頁(yè)圖8.1 格勞斯貝格內(nèi)星模型圖 內(nèi)星是通過(guò)聯(lián)接權(quán)矢量W接受一組輸入信號(hào)P 第3頁(yè)/共41頁(yè)圖82 格勞斯貝格外星模型圖 外星則是通過(guò)聯(lián)接權(quán)矢量向外輸出一組信號(hào)A。 它們之所以被稱為內(nèi)星和外星，主要是因?yàn)槠渚W(wǎng)絡(luò)的結(jié)構(gòu)像星形，且內(nèi)星的信號(hào)流向星的內(nèi)部；而外星的信號(hào)流向星的外部。 第4頁(yè)/共41頁(yè)單內(nèi)星中對(duì)權(quán)值修正的格勞斯貝格內(nèi)星學(xué)習(xí)規(guī)則為： (81) 由(81)式可見(jiàn)，內(nèi)星神經(jīng)元聯(lián)接強(qiáng)度的變化w1j是與輸出成正比的。如果內(nèi)星輸出a被某一外部方式而維護(hù)高值時(shí)，那么通過(guò)不斷反復(fù)地學(xué)習(xí)，權(quán)值將能

2、夠逐漸趨近于輸入矢量pj的值，并趨使w1j逐漸減少，直至最終達(dá)到w1jpj，從而使內(nèi)星權(quán)矢量學(xué)習(xí)了輸入矢量P，達(dá)到了用內(nèi)星來(lái)識(shí)別一個(gè)矢量的目的。另一方面，如果內(nèi)星輸出保持為低值時(shí)，網(wǎng)絡(luò)權(quán)矢量被學(xué)習(xí)的可能性較小，甚至不能被學(xué)習(xí)。 第5頁(yè)/共41頁(yè)因?yàn)檩斎胧噶康哪Ｒ驯粏挝换癁?，所以內(nèi)星的加權(quán)輸入和等于輸入矢量p1和p2之間夾角的余弦。 第6頁(yè)/共41頁(yè)第7頁(yè)/共41頁(yè)一層具有s個(gè)神經(jīng)元的內(nèi)星，可以用相似的方式進(jìn)行訓(xùn)練，權(quán)值修正公式為： MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中內(nèi)星學(xué)習(xí)規(guī)則的執(zhí)行是用函數(shù)learnis.m來(lái)完成上述權(quán)矢量的修正過(guò)程：dW1earnis(W，P，A，lr)； W=W十dW； 第8

3、頁(yè)/共41頁(yè)我們首先對(duì)網(wǎng)絡(luò)進(jìn)行初始化處理： R，Qsize(P)；S，Qsize(T)；Wzeros(S，R)；B-0.95* ones(S，1)；max-epoch10；lr0.7；第9頁(yè)/共41頁(yè)與內(nèi)星不同，外星聯(lián)接強(qiáng)度的變化w是與輸入矢量P成正比的。這意味著當(dāng)輸入矢量被保持高值，比如接近1時(shí)，每個(gè)權(quán)值wij將趨于輸出ai值，若pj1，則外星使權(quán)值產(chǎn)生輸出矢量。 當(dāng)輸入矢量pj為0時(shí)，網(wǎng)絡(luò)權(quán)值得不到任何學(xué)習(xí)與修正。 第10頁(yè)/共41頁(yè)其中：Wsr權(quán)值列矢量；lr學(xué)習(xí)速率；Asq外星輸出；Prq外星輸入。MATLAB工具箱中實(shí)現(xiàn)外星學(xué)習(xí)與設(shè)計(jì)的函數(shù)為learnos.m，其調(diào)用過(guò)程如下：dWl

4、earnos(W，A，P，lr)； WW十dW； 第11頁(yè)/共41頁(yè)第12頁(yè)/共41頁(yè)科荷倫學(xué)習(xí)規(guī)則實(shí)際上是內(nèi)星學(xué)習(xí)規(guī)則的一個(gè)特例，但它比采用內(nèi)星規(guī)則進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)要節(jié)省更多的學(xué)習(xí)，因而常常用來(lái)替代內(nèi)星學(xué)習(xí)規(guī)則。 第13頁(yè)/共41頁(yè)在MATLAB工具箱中，在調(diào)用科荷倫學(xué)習(xí)規(guī)則函數(shù)learnk.m時(shí)，一般通過(guò)先尋找輸出為1的行矢量i，然后僅對(duì)與i相連的權(quán)矩陣進(jìn)行修正。使用方法如下： ifind(A=1)；dWlearnk(W，P，i，1r)；WW十dW；一般情況下科荷倫學(xué)習(xí)規(guī)則比內(nèi)星學(xué)習(xí)規(guī)則能夠提高訓(xùn)練速度1到2個(gè)數(shù)量級(jí)。 第14頁(yè)/共41頁(yè)第15頁(yè)/共41頁(yè)第16頁(yè)/共41頁(yè)2)來(lái)自競(jìng)爭(zhēng)層內(nèi)互相

5、抑制的加權(quán)輸入和為： 第17頁(yè)/共41頁(yè)而其他所有節(jié)點(diǎn)的輸出均為零，即： 此時(shí) b)如果在競(jìng)爭(zhēng)后，第i個(gè)節(jié)點(diǎn)“輸”了，而“贏”的節(jié)點(diǎn)為l，則有： 此時(shí)第18頁(yè)/共41頁(yè)在判斷競(jìng)爭(zhēng)網(wǎng)絡(luò)節(jié)點(diǎn)勝負(fù)的結(jié)果時(shí)，可直接采用ni，即：第19頁(yè)/共41頁(yè)通過(guò)上面分析，可以將競(jìng)爭(zhēng)網(wǎng)絡(luò)的工作原理總結(jié)如下：競(jìng)爭(zhēng)網(wǎng)絡(luò)的激活函數(shù)使加權(quán)輸入和為最大的節(jié)點(diǎn)贏得輸出為1，而其他神經(jīng)元的輸出皆為0。這個(gè)競(jìng)爭(zhēng)過(guò)程可用MATLAB描述如下： 第20頁(yè)/共41頁(yè)nW*P；S，Qsize(n)；xn+b*ones(1，Q)；ymax(x)；for q1：Q找出最大加權(quán)輸入和y(q)所在的行； sfind(x(:, q)y(q)；令元素

6、a(z，q)1，其他值為零； a(z(1)，q)1； end這個(gè)競(jìng)爭(zhēng)過(guò)程的程序已被包含在競(jìng)爭(zhēng)激活函數(shù)compet.m之中， Acompet(W*P，B)； 第21頁(yè)/共41頁(yè)822競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則 競(jìng)爭(zhēng)網(wǎng)絡(luò)在經(jīng)過(guò)競(jìng)爭(zhēng)而求得獲勝節(jié)點(diǎn)后，則對(duì)與獲勝節(jié)點(diǎn)相連的權(quán)值進(jìn)行調(diào)整，調(diào)整權(quán)值的目的是為了使權(quán)值與其輸入矢量之間的差別越來(lái)越小，從而使訓(xùn)練后的競(jìng)爭(zhēng)網(wǎng)絡(luò)的權(quán)值能夠代表對(duì)應(yīng)輸入矢量的特征，把相似的輸入矢量分成了同一類，并由輸出來(lái)指示所代表的類別。 競(jìng)爭(zhēng)網(wǎng)絡(luò)修正權(quán)值的公式為： 式中l(wèi)r為學(xué)習(xí)速率，且0lr1，一般的取值范圍為0.01-0.3； pj為經(jīng)過(guò)歸一化處理后的輸入。 第22頁(yè)/共41頁(yè)用MATLAB工

7、具箱來(lái)實(shí)現(xiàn)上述公式的過(guò)程可以用內(nèi)星學(xué)習(xí)規(guī)則：Acompet(W*P)；dWlearnis(P，A，lr，W)；WW十dW；更省時(shí)地是采用科荷倫學(xué)習(xí)規(guī)則如下：Acompet(W*P)；ifind(A=1)；dWlearnis(P，i，lr，W)；WW十dW； 不論采用哪種學(xué)習(xí)方法，層中每個(gè)最接近輸入矢量的神經(jīng)元，通過(guò)每次權(quán)值調(diào)整而使權(quán)值矢量逐漸趨于這些輸入矢量。從而競(jìng)爭(zhēng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)而識(shí)別了在網(wǎng)絡(luò)輸入端所出現(xiàn)的矢量，并將其分為某一類。 第23頁(yè)/共41頁(yè)823競(jìng)爭(zhēng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程競(jìng)爭(zhēng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練過(guò)程，實(shí)際上是對(duì)輸入矢量的劃分聚類過(guò)程，使得獲勝節(jié)點(diǎn)與輸入矢量之間的權(quán)矢量代表獲勝輸入矢量。 這樣，當(dāng)

8、達(dá)到最大循環(huán)的值后，網(wǎng)絡(luò)已重復(fù)多次訓(xùn)練了P中的所有矢量，訓(xùn)練結(jié)束后，對(duì)于用于訓(xùn)練的模式P，其網(wǎng)絡(luò)輸出矢量中，其值為1的代表一種類型，而每類的典型模式值由該輸出節(jié)點(diǎn)與輸入節(jié)點(diǎn)相連的權(quán)矢量表示。 競(jìng)爭(zhēng)網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)r是由已知輸入矢量決定的，但競(jìng)爭(zhēng)層的神經(jīng)元數(shù)s是由設(shè)計(jì)者確定的，一般情況下，可以根據(jù)輸入矢量的維數(shù)及其估計(jì)，再適當(dāng)?shù)卦黾有?shù)目來(lái)確定。 第24頁(yè)/共41頁(yè)另外還要事先確定的參數(shù)有：學(xué)習(xí)速率和最大循環(huán)次數(shù)。競(jìng)爭(zhēng)網(wǎng)絡(luò)的訓(xùn)練是在達(dá)到最大循環(huán)次數(shù)后停止，這個(gè)數(shù)一般可取輸入矢量數(shù)組的1520倍，即使每組輸入矢量能夠在網(wǎng)絡(luò)重復(fù)出現(xiàn)1520次。競(jìng)爭(zhēng)網(wǎng)絡(luò)的權(quán)值要進(jìn)行隨機(jī)歸一化的初始化處理，這個(gè)過(guò)程在M

9、ATLAB中用函數(shù)randnr.m實(shí)現(xiàn)：wrandnr(S，R)；然后網(wǎng)絡(luò)則可以進(jìn)入競(jìng)爭(zhēng)以及權(quán)值的調(diào)整階段。 網(wǎng)絡(luò)的訓(xùn)練全過(guò)程完全由計(jì)算機(jī)去做，工具箱中的競(jìng)爭(zhēng)網(wǎng)絡(luò)訓(xùn)練函數(shù)為trainc.m，它的用法如下： 第25頁(yè)/共41頁(yè)競(jìng)爭(zhēng)網(wǎng)絡(luò)比較適合用于具有大批相似數(shù)組的分類問(wèn)題。競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)的局限性： 競(jìng)爭(zhēng)網(wǎng)絡(luò)適用于當(dāng)具有典型聚類特性的大量數(shù)據(jù)的辨識(shí)，但當(dāng)遇到大量的具有概率分布的輸入矢量時(shí)，競(jìng)爭(zhēng)網(wǎng)絡(luò)就無(wú)能為力了，這時(shí)可以采用科荷倫網(wǎng)絡(luò)來(lái)解決。 第26頁(yè)/共41頁(yè)第27頁(yè)/共41頁(yè)第28頁(yè)/共41頁(yè)圖8.6 二維科荷倫網(wǎng)絡(luò)結(jié)構(gòu)圖 第29頁(yè)/共41頁(yè)圖8.7 二維神經(jīng)元層示意圖 科荷倫網(wǎng)絡(luò)的激活函數(shù)為二值

10、型函數(shù)。一般情況下b值固定，其學(xué)習(xí)方法與普通的競(jìng)爭(zhēng)學(xué)習(xí)算法相同。在競(jìng)爭(zhēng)層，每個(gè)神經(jīng)元都有自己的鄰域。一個(gè)直徑為1的鄰域包括主神經(jīng)元及它的直接周圍神經(jīng)元所組成的區(qū)域；直徑為2的鄰域包括直徑1的神經(jīng)元以及它們的鄰域。 第30頁(yè)/共41頁(yè)圖88二維網(wǎng)絡(luò)鄰域形狀 在MATLAB工具箱中有一個(gè)求獲勝神經(jīng)元的鄰域的函數(shù)：在二維競(jìng)爭(zhēng)層中，鄰域函數(shù)為neighb2d.m。函數(shù)的用法如下：Np=x y；inneighb2d(i, Np, N)； 第31頁(yè)/共41頁(yè)對(duì)于一維競(jìng)爭(zhēng)層，其中的鄰層函數(shù)為叫neighb1d.m，確定競(jìng)爭(zhēng)層大小的參數(shù)就是神經(jīng)元數(shù)S，即Np=S；inneighb1d(i，Np，N)； 832

11、網(wǎng)絡(luò)的訓(xùn)練過(guò)程 訓(xùn)練設(shè)計(jì)步驟(適用于輸入矢量P具有某種概率分布的數(shù)組)： (1)初始化1) 由輸入矢量確定網(wǎng)絡(luò)結(jié)構(gòu)：R, Qsize(P)；2) 設(shè)置網(wǎng)絡(luò)競(jìng)爭(zhēng)層神經(jīng)元節(jié)點(diǎn)：一維S或二維的寬X和高Y，SX*Y；3) 將輸入模式P作歸一化處理：Pnormc(P);4) 歸一隨機(jī)化處理初始權(quán)值：Wrands(S, R)*0.1；并設(shè)置：第32頁(yè)/共41頁(yè)5) 最大循環(huán)次數(shù)(此數(shù)根據(jù)輸入數(shù)據(jù)的數(shù)目而乘一個(gè)倍數(shù)所得)：max_cycle6) 基本學(xué)習(xí)速率lr：一般取0.010.3，視具體情況而定；7)最大鄰層數(shù)max_neighb: 一維max_neighbS-1；二維max_neighbmax(X Y

12、)-1； (2)循環(huán)訓(xùn)練for cycle=1:max_cycle1)學(xué)習(xí)速率是線性下降的：xcycle/max_cycle;LR(1x)*lr；這使得學(xué)習(xí)速率隨著循環(huán)次數(shù)的增加，從lr*(max_cycle-1)/max_cycle逐漸降至0；2)鄰層數(shù)也是遞減的：n=max(ceil(max_neighb*(1-x*4) 1)；第33頁(yè)/共41頁(yè)3)計(jì)算輸入矢量加權(quán)和，并通過(guò)競(jìng)爭(zhēng)求出獲勝節(jié)點(diǎn)Acompet(W*P)；4)根據(jù)獲勝節(jié)點(diǎn)求出相鄰層(以二維為例)，并進(jìn)行權(quán)值修正：i=find(A1)；in=neighb2d(i, X, Y, n);dWlearn(W, P, in, LR)WW+dw；(3)輸出或顯示結(jié)果。MATLAB工具箱中用于訓(xùn)練設(shè)計(jì)科荷倫網(wǎng)絡(luò)權(quán)矢量的函數(shù)為trainfm.m，它能執(zhí)行上述的訓(xùn)練步驟的全過(guò)程。第34頁(yè)/共41頁(yè)最大鄰域數(shù)應(yīng)設(shè)置為層的最大直徑數(shù)減去l。例如，對(duì)一維特性圖max_neighb應(yīng)為S-1；對(duì)二維特性圖，其層神經(jīng)元寬為X高為Y時(shí)，max_neighb應(yīng)當(dāng)?shù)扔趦烧咧械妮^大值減去1。函數(shù)trainfm.m的訓(xùn)練開(kāi)始于學(xué)習(xí)速度lr和最大鄰域max_neighb，然后，其學(xué)習(xí)速率線性地遞減，以致于最后的訓(xùn)練周期里的學(xué)習(xí)速率為0。鄰域數(shù)也是線性地減少，但在達(dá)到四分之一訓(xùn)練周期后，其值保持為最大值1直到最終訓(xùn)練結(jié)束。 給定一個(gè)特