自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座

第五章自組織競爭神經(jīng)網(wǎng)絡(luò)自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第1頁第五章自組織競爭神經(jīng)網(wǎng)絡(luò)5.1概述

5.2自組織特征映射網(wǎng)絡(luò)5.3自適應(yīng)共振理論模型5.4神經(jīng)認知機自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第2頁5.1概述在實際神經(jīng)網(wǎng)絡(luò)中，存在一個側(cè)抑制現(xiàn)象，即一個神經(jīng)細胞興奮后，經(jīng)過它分支會對周圍其它神經(jīng)細胞產(chǎn)生抑制這種側(cè)抑制在脊髓和海馬中存在，在人眼視網(wǎng)膜中也存在。另外，在認知過程中除了從教師那兒得到知識外，還有一個不需要教師指導學習，這種直接依靠外界刺激，“無師自通”到達功效有時也稱為自學習、自組織學習方法。自組織競爭人工神經(jīng)網(wǎng)絡(luò)就是基于上述兩種生物結(jié)構(gòu)和現(xiàn)象基礎(chǔ)上生成，它權(quán)是經(jīng)過Hebb規(guī)則或類似Hebb規(guī)則學習后得到。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第3頁5.2自組織特征映射網(wǎng)絡(luò)

5.2.1網(wǎng)絡(luò)拓撲結(jié)構(gòu)及工作過程5.2.2自組織映射學習算法5.2.3自組織映射網(wǎng)絡(luò)工作原理5.2.4網(wǎng)絡(luò)應(yīng)用實例

自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第4頁芬蘭學者Kohonen認為一個神經(jīng)網(wǎng)絡(luò)接收外界輸入模式時，將會分成不一樣區(qū)域，各區(qū)域?qū)斎肽Ｊ綄胁灰粯禹憫?yīng)特征，最臨近神經(jīng)元相互激勵，而較遠神經(jīng)元之間相互抑制，而更遠神經(jīng)元之間又有較弱激勵作用。在受到外界刺激時，刺激最強地方形成一個Bubble（墨西哥帽），在此Bubble區(qū)中，神經(jīng)元權(quán)向量會自動調(diào)整，直到與輸入向量某一最大分量方向相重合為止。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第5頁圖5.1神經(jīng)元作用分布曲線圖5.2網(wǎng)絡(luò)結(jié)構(gòu)

自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第6頁5.2.1網(wǎng)絡(luò)拓撲結(jié)構(gòu)及工作過程圖5.3Nj(t)形狀改變情況

自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第7頁對于任意一個輸入節(jié)點i和輸出節(jié)點j有：

i{1,2,..,n},j{1,2,..,n}且：自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第8頁5.2.2自組織映射學習算法

①連接權(quán)值初始化。

t=0:0<Wij<1,i{1,2,…,n},j{1,2,…,m}

②對網(wǎng)絡(luò)輸入一個樣本模式。

XK=(X1,X2,…,Xn)

③計算與全部輸出節(jié)點間權(quán)值向量距離

j{1,2,…,m}(5.2.2)

④選擇有最小距離節(jié)點為競爭獲勝節(jié)點

j{1,2,…,m}

自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第9頁

⑤調(diào)整權(quán)值 (5.2.3)其中，0<

(t)<1，衰減函數(shù)，伴隨時間t而遞減；

(Nj,Nj*)限界函數(shù)，伴隨Nj*距離遞減。

⑥若還有輸入樣本則轉(zhuǎn)②，當全部樣本輸入完，且滿足：

i{1,2,..,n},j{1,2,…,m} (5.2.4)或者完成指定學習次數(shù)后算法結(jié)束，不然轉(zhuǎn)②。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第10頁

(t)和Nj*有普通化數(shù)學方法，憑經(jīng)驗選取。初始時，Nj*選取較大，后逐步變小，

(t)開始時較大，后逐步變?yōu)?。

從自組織映射網(wǎng)絡(luò)算法來看，該網(wǎng)絡(luò)有以下特點：

(1)網(wǎng)絡(luò)中權(quán)值是輸入樣本記憶。假如輸出節(jié)點j與輸入層n個節(jié)點連接權(quán)值向量用Wj表示，對應(yīng)某一類樣本XK輸入，使j節(jié)點到達匹配最大，那么Wj經(jīng)過學習以后十分靠近XK，所以以后當XK再次輸入時，j節(jié)點必定興奮，j節(jié)點是樣本XK代表。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第11頁

(2)網(wǎng)絡(luò)學習時對權(quán)值調(diào)整，不只是對興奮節(jié)點所對應(yīng)權(quán)值進行調(diào)整，而對其周圍區(qū)域Nj內(nèi)節(jié)點同時進行調(diào)整，所以對于在Nj內(nèi)節(jié)點能夠代表不只是一個樣本XK，而是與XK比較相近樣本都能夠在Nj內(nèi)得到反應(yīng)，所以這種網(wǎng)絡(luò)對于樣本畸變和噪聲容限大。

(3)網(wǎng)絡(luò)學習結(jié)果使比較相近輸入樣本在輸出二維平面上位置也比較靠近。

(4)可實現(xiàn)在線學習，已修改權(quán)值將保留。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第12頁5.3自適應(yīng)共振理論模型5.3.1自適應(yīng)共振理論(ART)5.3.2ART1神經(jīng)網(wǎng)絡(luò)5.3.3ART1網(wǎng)絡(luò)學習算法改進5.3.4ART2神經(jīng)網(wǎng)絡(luò)5.3.5ART神經(jīng)網(wǎng)絡(luò)在人像識別中應(yīng)用

自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第13頁5.3.1自適應(yīng)共振理論(ART)自適應(yīng)共振理論(AdaptiveResonanceTheory，簡稱)是由美國Boston大學S.Grossberg和A.Carpenter提出。這一理論包含ART1和ART2兩種模型，能夠?qū)θ我舛嗪腿我鈴碗s二維模式進行自組織、自穩(wěn)定和大規(guī)模并行處理。前者用于二進制輸入，后者用于連續(xù)信號輸入。如圖5.8所表示，它由兩個相繼連接存放單元STM-F1和STM-F2組成，分成注意子系統(tǒng)和取向子系統(tǒng)。F1和F2之間連接通路為自適應(yīng)長久記憶(LTM)。

自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第14頁 圖5.8ART原理圖自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第15頁

ART主要優(yōu)點：

1、可完成實時學習，且可適應(yīng)非平穩(wěn)環(huán)境；2、對已學習過對象含有穩(wěn)定快速識別能力，同時又能快速適應(yīng)學習新對象；3、含有自歸一能力，依據(jù)一些特征在全體中所占百分比，有時作為關(guān)鍵特征，有時又被看成噪聲處理；4、不需要事先已知樣本結(jié)果，可非監(jiān)督學習；5、容量不受輸入通道數(shù)限制，存放對象也不要求是正交；6、此系統(tǒng)能夠完全防止陷入局部極小點問題。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第16頁5.3.2ART1神經(jīng)網(wǎng)絡(luò)一、ART1神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

圖5.9ART1網(wǎng)絡(luò)基本結(jié)構(gòu)

自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第17頁網(wǎng)絡(luò)基本結(jié)構(gòu)由兩層神經(jīng)網(wǎng)節(jié)點組成兩個子系統(tǒng)，分別稱比較層(Compare，簡稱C層)和識別(Recognition，簡稱R層)。另外還有三種控制信號，即復位信號(簡稱Reset)及兩種邏輯控制信號G1和G2。

1.C層結(jié)構(gòu)：含有n個節(jié)點，每個節(jié)點接收來自三個方面信號。 信號1：輸入X第i個分量Xi。

信號2：R層第j個單元自上而下返回信號Rj。 信號3：G1控制信號。設(shè)C層第i個單元輸出為Ci。Ci依據(jù)“2/3規(guī)則”產(chǎn)生，即Ci含有三個信號中多數(shù)相同值。網(wǎng)絡(luò)開始運行時，G1

=1，R層反饋信號為0。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第18頁

2.R層結(jié)構(gòu)：

R層功效結(jié)構(gòu)相當于一個前向競爭網(wǎng)絡(luò)，假設(shè)輸出層有m個節(jié)點，m類輸入模式。輸出層節(jié)點能動態(tài)增加，以滿足設(shè)置新模式類需要。設(shè)由C層自下而上連接到R層第j個節(jié)點權(quán)向量用Wj={w1j,w2j,..,wnj}表示。C層輸出向量C沿Wj向前饋送，經(jīng)過競爭在R層輸出端產(chǎn)生獲勝節(jié)點，指示此次輸入向量類別。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第19頁

3.控制信號（1）G1：設(shè)輸入模式X各元素邏輯“或”為X0，R各元素邏輯“或非”為R0，則G1=X0R0，即只有在R層輸出向量R為全0，而輸入X不為全0時，G1=1，其它情況下G1=0。（2）G2是輸入模式X各元素邏輯“或”，即X為全0時，G2是0。其它情況下G2是1。（3）Reset：設(shè)預先設(shè)定相同性度量為

。如按某種事先設(shè)定測量標準，C與X并非充分靠近且到達

，則發(fā)出Reset信號，以使R層競爭獲勝節(jié)點無效。這表示此次選擇模式代表類不能滿足要求。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第20頁二、ART1網(wǎng)絡(luò)運行原理

1.識別階段：在網(wǎng)絡(luò)沒有輸入模式之前，網(wǎng)絡(luò)處于等候狀態(tài)。此時，輸入端X=0，并置控制信號G2=0。所以，R層單元輸出全為0，在競爭中有同等獲勝機會。當網(wǎng)絡(luò)輸入不全為0時，置G2=1。信息自下而上流動。由“2/3規(guī)則”可知，此時C層輸出C=X，且C向上饋送，與向上權(quán)向量W進行作用，產(chǎn)生向量T。T向上送入R層，使R層內(nèi)部開始競爭。假設(shè)獲勝節(jié)點為j*，則R層輸Rj*=1而其它節(jié)點輸出為0。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第21頁2.比較階段：

R層輸出信息自上而下返回C層。Rj*=1使R層j*節(jié)點所連接自上而下W'j*被激活，并向下返回C層。此時，R層輸出不為全0，而且G1=0。所以，C層下一次輸出C'取決于由R層自上而下權(quán)向量W’j*及網(wǎng)絡(luò)輸入模式X。即：C'i=W'j*iXi。其中

表示邏輯與。新狀態(tài)C'就反應(yīng)了輸入向量X與其所激活節(jié)點j*經(jīng)典向量之間相同度。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第22頁用事先指定門限對相同度進行測試，若C'給出了足夠相同信息，則表示競爭結(jié)果正確。反之，則表示競爭結(jié)果不符合要求，就發(fā)Reset信號以置上次獲勝節(jié)點無效，并使其在此次模式匹配過程中不能再獲勝。然后進入搜索階段。 在比較階段，網(wǎng)絡(luò)信息流向是自上而下。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第23頁3.搜索階段：由Reset信號置獲勝階段無效開始，網(wǎng)絡(luò)進入搜索階段。此時R為全0，G1=1，在C層輸出端又得到了此次輸入模式X。所以，網(wǎng)絡(luò)又進入識別及比較階段，得到新獲勝節(jié)點（以前獲勝節(jié)點不參加競爭）。這么重復直至搜索到某一個獲勝節(jié)點K，它與輸入向量X充分匹配到達滿足要求為止。模式X編制到R層K節(jié)點所連模式類別中，即按一定方法修改K節(jié)點自下而上和自上而下權(quán)向量，使網(wǎng)絡(luò)以后再碰到X或與X相近模式時，R層K節(jié)點能很快取得競爭勝利。若搜索了全部R層輸出節(jié)點而沒有發(fā)覺有與X充分靠近模式，則增設(shè)一個R層節(jié)點以表示X或與X相近模式。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第24頁三、ART1網(wǎng)絡(luò)學習算法

ART1訓練算法(ART1)：

①初始化。自下而上權(quán)向量W賦予較小且相同初值，自上而下權(quán)向量W‘賦予初值1。相同度門限0<

<1。

②給網(wǎng)絡(luò)輸入模式X={x1,x2,…,xn},xi{0,1}

③若X不為全0，由“2/3規(guī)則”可知C層輸出C=X。信息向上送，由自下而上權(quán)向量W進行加權(quán)，得輸出為：uj=CWj,j{1,2,..,m}。

④R層競爭開始運行，若有uj*=max{uj,j{1,2,..,m}}，則R層j*節(jié)點取得競爭勝利。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第25頁

⑤信息反送，由R層獲勝節(jié)點j*送回自上而下權(quán)向量W'j*。此時G1=0，由“2/3規(guī)則”可得到C層新輸出向量C'各個元素滿足：C'j=W'j*iXi。

⑥警戒線檢測。設(shè)向量X中不為0個數(shù)用||X||表示，可有 (5.3.1) (5.3.2)若||C||/||X||>

成立，則接收j*為獲勝節(jié)點，轉(zhuǎn)⑦。不然發(fā)Reset信號，置j*為0（不允許其再參加競爭），開始搜索階段，轉(zhuǎn)③。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第26頁⑦修改R層節(jié)點自下而上及自上而下權(quán)向量，使其以后對與X相同輸入更輕易獲勝，且含有更高相同性。 (5.3.3) (5.3.4)其中l(wèi)為大于1常數(shù)。

⑧恢復由Reset信號抑制R層節(jié)點，轉(zhuǎn)到②以迎接下一次輸入。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第27頁5.3.5ART神經(jīng)網(wǎng)絡(luò)在人像識別中應(yīng)用它包含五層和六個控制節(jié)點，其功效以下：第一層：輸入層，輸入信號X={x1,x2,…,xn}為n維向量，其輸出信號O1=X。O2為由“2/3規(guī)則”產(chǎn)生信號，記為n維向量S*，S*為記憶模式與輸入模式綜合模式：S*

=Z*X(Z在后面介紹)第二層：歸一化層，輸入為第一層輸出O1，輸出為n維向量S。該層作用是使輸入矢量規(guī)格化；

自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第28頁第二層和第三層之間為自下而上全互連前向網(wǎng)絡(luò)，其連接權(quán)矩陣為W，第三層輸入為S，輸出為m維向量T：第四層：競爭網(wǎng)絡(luò)層。輸入為T，輸出為m維向量Y，經(jīng)過該層競爭，產(chǎn)生出勝者，只有獲勝者輸出為1，其它為0：自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第29頁 圖5.11ART1人像識別神經(jīng)網(wǎng)絡(luò)

自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第30頁第四層到第五層為自上而下反饋層，其連接權(quán)矩陣為W'，第五層輸入為Y，輸出為n維向量Z：

因為Y只有獲勝者I輸出為1，其它為0，所以：

n維向量Z為該獲勝模式所記憶向量；控制節(jié)點G1：獲勝記憶模式Z“或非”。即只有當Z全為0時，G1=1，其它情況為0；控制節(jié)點G2：輸入模式X“或”。即只有當X全為0時，G2=0，其它情況為1；自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第31頁控制節(jié)點SUMZ：計算獲勝記憶模式Z非零分量個數(shù)。控制節(jié)點SUMS’：計算綜合模式S*非零分量個數(shù)?？刂乒?jié)點SUMX：計算輸入模式X非零分量個數(shù)。自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第32頁控制節(jié)點Reset：輸入為SUMZ、SUMS’、SUMX，輸出為R：

函數(shù)f如上式定義，當R=1時，Reset向第四層發(fā)重置波。網(wǎng)絡(luò)訓練及識別算法(FER)：

(1)初始化輸入模式X=0、輸出模式Y(jié)=0、連接權(quán)值W、W'、控制信號G1=1、G2=0、Reset=0，已訓練類別數(shù)為premode，網(wǎng)絡(luò)容量為summode；

(2)輸入一新模式Xi={x0,x1,…,xN}，Reset=0，計算G2；自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第33頁

(3)假如G2=0，則轉(zhuǎn)(2)；

(4)由公式計算S、T；

(5)由公式計算I、Y、Z，計算G1；

(6)假如G1=1，則轉(zhuǎn)(2)；

(7)由公式計算S*、SUMZ、SUMX、SUMS’和Reset；

(8)假如Reset=0，則轉(zhuǎn)(13)；

(9)搜索記數(shù)NUM+1，置YI、TI為0；

(10)NUM小于等于premode，則進入搜索階段，轉(zhuǎn)(5)；

(11)增加新類別premode+1，連接權(quán)值Wpremode,j、W’premode,，0j<N，賦初值；自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第34頁

(12)由公式重新計算T，轉(zhuǎn)(5)；

(13)由公式調(diào)整連接權(quán)值Wj、W'，NUM=0，轉(zhuǎn)(2)；自組織競爭神經(jīng)網(wǎng)絡(luò)專家講座第35頁5.4神經(jīng)認知機認知機及神經(jīng)認知機是由日本學者Fukishima（福島邦邦彥）提出，它是一含有自組織功效多層神經(jīng)網(wǎng)絡(luò)模型，用于結(jié)構(gòu)化字符識別。

神經(jīng)認知機對可塑性突觸形成作以下假設(shè)：

①從神經(jīng)元x到神經(jīng)元y突觸連接，只有在神經(jīng)元x處于激活情況下才被強化；

②假如在神經(jīng)元y近旁存在有比y更強激活神經(jīng)元y‘，則從x至y突觸連接就不進行強化。這也就是說，這種突觸連接強化應(yīng)符合“最大值檢出假說”，即在某一小區(qū)域（稱之為鄰域）內(nèi)存在一神經(jīng)元集合中，只有輸出最大神經(jīng)元才發(fā)生輸入突觸強化。這么，對某一鄰域內(nèi)神經(jīng)元，其輸入突觸都可能