人工神經(jīng)網(wǎng)絡(luò)3課件

第5章

對(duì)傳網(wǎng)

5.1網(wǎng)絡(luò)結(jié)構(gòu)

5.2網(wǎng)絡(luò)的運(yùn)行

5.3Kohonen層的訓(xùn)練

5.4Kohonen層聯(lián)接權(quán)的初始化方法

5.5Grossberg層的訓(xùn)練

5.6補(bǔ)充說明

4/2/2023第5章

對(duì)傳網(wǎng)RobertHecht-Nielson在1987年提出了對(duì)向傳播神經(jīng)網(wǎng)絡(luò)(CounterpropagationNetworks，CPN)，簡(jiǎn)稱對(duì)傳網(wǎng)。CPN為異構(gòu)網(wǎng)：Kohonen1981年提出的自組織映射(Self-organizationmap，SOM)算法—Kohonen層;Grossberg1969年提出的散射星(Outstar)算法——Grossberg層。4/2/2023第5章

對(duì)傳網(wǎng)Kohonen層—無導(dǎo)師學(xué)習(xí)算法，解決網(wǎng)絡(luò)隱含層的理想輸出未知問題；Grossberg層—有導(dǎo)師學(xué)習(xí)算法，解決輸出層按系統(tǒng)要求給出指定輸出結(jié)果的問題。訓(xùn)練時(shí)間短：BP的1%；應(yīng)用面：比較窄。讓網(wǎng)絡(luò)的隱藏層執(zhí)行無導(dǎo)師學(xué)習(xí)，是解決多級(jí)網(wǎng)絡(luò)訓(xùn)練的另一個(gè)思路。4/2/20235.1網(wǎng)絡(luò)結(jié)構(gòu)以Kohonen層的神經(jīng)元為“中心”討論問題K1W1=(w11，w21，…，wn1)TV1=(v11，v12，…，v1m)K2 W2=(w12，w22，…，wn2)TV2=(v21，v22，…，v2m) ……KhWh=(w1h，w2h，…，wnh)TVh=(vh1，vh2，…，vhm)4/2/20235.2網(wǎng)絡(luò)的運(yùn)行除拓?fù)浣Y(jié)構(gòu)外，網(wǎng)絡(luò)的運(yùn)行機(jī)制也是確定網(wǎng)絡(luò)結(jié)構(gòu)（同構(gòu)、異構(gòu)）和性能的重要因素。CPN是采用競(jìng)爭(zhēng)型網(wǎng)絡(luò)學(xué)習(xí)規(guī)則的異構(gòu)網(wǎng)。競(jìng)爭(zhēng)學(xué)習(xí)：同一層次的神經(jīng)元相互競(jìng)爭(zhēng)，勝利的神經(jīng)元修改與其連接的權(quán)值－模式分類。4/2/20235.2網(wǎng)絡(luò)的運(yùn)行

5.2.1Kohonen層

“強(qiáng)者占先、弱者退出”

（thewinnertakesall）knetj=XWj=(x1，x2，…，xn)(w1j，w2j，…，wnj)T=w1jx1+w2jx2+…+wnjxn 向量形式KNET=(knet1，knet2，…，kneth)

4/2/2023上式等價(jià)于幾何意義：學(xué)習(xí)目的：尋找與輸入向量X最大相似度（最接近）的Wo4/2/20235.2.2Grossberg層

Grossberg層的每個(gè)神經(jīng)元Gj

（1≦j≦m）gnetj=K(v1j，v2j，…，vhj)T =(k1，k2，…，kh)(v1j，v2j，…，vhj)T =k1v1j+k2v2j+…+khvhj

唯一輸出1的神經(jīng)元為Ko

gnetj=k1v1j+k2v2j+…+khvhj =voj

4/2/20235.2.2Grossberg層

GNET=(gnet1

，gnet2

，…，gnetm) =(vo1，vo2，…，vom)=Vo散射星：Vo的各個(gè)分量是從Ko到Grossberg層各神經(jīng)元的聯(lián)接權(quán)

4/2/20235.3Kohonen層的訓(xùn)練

5.3.1輸入向量的預(yù)處理

單位化處理X=(x1，x2，…，xn)X′=(x1′，x2′，…，xn′) =(x1/‖X‖，x2/‖X‖，…，xn/‖X‖)

即：xj′＝xj/‖X‖,4/2/2023算法5-1Kohonen層訓(xùn)練算法

對(duì)所有的輸入向量，進(jìn)行單位化處理；對(duì)每個(gè)樣本（X，Y）執(zhí)行下列過程

2.1forj=1tohdo根據(jù)相應(yīng)式子計(jì)算knetj；

2.2求出最大的kneto: 2.2.1max=knet1；o=1 2.2.2forj=1tohdo

ifknetj>maxthen{max=knetj；o=j}；

4/2/2023算法5-1Kohonen層訓(xùn)練算法2.3計(jì)算K

2.3.1forj=1tohdokj=0；

2.3.2ko=1；2.4使Wo更接近X：Wo(new)=Wo(old)+α(X-Wo(old));2.5對(duì)Wo(new)進(jìn)行單位化處理

4/2/2023o單位圓Wo(new)=Wo(old)+α(X-Wo(old))Wo(old)(1-α)(X-Wo(old))Wo(new)(X-Wo(old))X(X-Wo(old))-Wo(old)4/2/2023學(xué)習(xí)率α

訓(xùn)練初期，α一般取0.7左右，它將隨著訓(xùn)練進(jìn)展不斷變小，一個(gè)典型的調(diào)整公式為a(t)=a(0)*(1-t/Num)其中，a(0)為初始學(xué)習(xí)速率，t為學(xué)習(xí)次數(shù)，Num是終止的迭代次數(shù)。顯然，a(t)是關(guān)于學(xué)習(xí)次數(shù)t的單調(diào)下降函數(shù)。如果α單一，會(huì)過大而導(dǎo)致有的X被放入錯(cuò)誤的類中；使訓(xùn)練陷入抖動(dòng)。4/2/20235.4Kohonen層聯(lián)接權(quán)初始化事先給問題一個(gè)粗略分類，并從這個(gè)分類中提取一個(gè)較有代表性的向量構(gòu)成樣本集。根據(jù)X的分布決定W的初值，防止類過小和過大。啟發(fā)我們采用訓(xùn)練和直接設(shè)定權(quán)向量的方式來完成該層的訓(xùn)練。4/2/2023o單位圓Xi的非均勻分布要求Wi非均勻分布X2X1X34/2/2023凸?fàn)罱M合法

取wij=將輸入向量X=(x1，x2，…，xn)變換為X′=(x1′，x2′，…，xn′)其中

4/2/2023凸?fàn)罱M合法隨著訓(xùn)練的進(jìn)行，λ趨近于1，從而使X′趨近于X，進(jìn)而Wj趨近于一組X的平均值。在訓(xùn)練的初期階段，λ的值非常小，使得W需要追蹤一個(gè)變化的目標(biāo)4/2/2023X在加噪音后變成均勻分布的o單位圓4/2/2023初期全調(diào)法

Kohonen層訓(xùn)練的初期，對(duì)應(yīng)一個(gè)輸入向量，允許多個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)。逐漸減少被激發(fā)的神經(jīng)元的最大個(gè)數(shù)或者逐漸提高閾值，最后達(dá)到對(duì)一個(gè)輸入向量，只有一個(gè)神經(jīng)元激發(fā)

要解決的問題問題調(diào)整的范圍的度量。4/2/20235.5Grossberg層的訓(xùn)練

訓(xùn)練標(biāo)量形式 voj=voj+α(yj-voj)向量形式 Vo(new)=Vo(old)+α(Y-Vo(old))比較

Wo(new)=Wo(old)+α(X-Wo(old))

Kohonen層4/2/2023算法5-2CPN訓(xùn)練算法一

0對(duì)W、V進(jìn)行初始化；1對(duì)所有的輸入向量，進(jìn)行單位化處理；2對(duì)每個(gè)樣本（X，Y）執(zhí)行下列過程 2.1forj=1tohdo根據(jù)knetj=XWj計(jì)算knetj； 2.2求出最大的kneto： 2.2.1max=knet1；o=1; 2.2.2forj=1tohdo 2.2.2.1ifknetj>maxthen{max=knetj；o=j}；4/2/2023算法5-2CPN訓(xùn)練算法一2.3計(jì)算K： 2.3.1forj=1tohdokj=0； 2.3.2ko=1；2.4使Wo更接近X： Wo(new)=Wo(old)+α(X-Wo(old))；2.5對(duì)Wo(new)進(jìn)行單位化處理；2.6使Vo更接近Y： Vo(new)=Vo(old)+α(Y-Vo(old))。

4/2/2023算法5-3CPN訓(xùn)練算法二對(duì)應(yīng)Kohonen的每一個(gè)Ki，它將代表一組輸入向量，所以希望這個(gè)Ki對(duì)應(yīng)的Vi能代表這組輸入向量對(duì)應(yīng)的輸出向量的平均值。0

對(duì)W、V進(jìn)行初始化；0′清空Kohonen層各神經(jīng)元對(duì)應(yīng)的紀(jì)錄表： forj=1tohdoSKj=Φ；1對(duì)所有的輸入向量，進(jìn)行單位化處理；4/2/2023算法5-3CPN訓(xùn)練算法二

2對(duì)每個(gè)樣本（Xs，Ys）執(zhí)行下列過程 2.1forj=1tohdo 2.1.1根據(jù)相應(yīng)式子計(jì)算knetj； 2.2求出最大的kneto： 2.2.1max=knet1；o=1; 2.2.2forj=1tohdo 2.2.2.1ifknetj>maxthen {max=knetj；o=j}；

4/2/2023算法5-3CPN訓(xùn)練算法二

2.3計(jì)算K： 2.3.1forj=1tohdokj=0； 2.3.2ko=1； 2.4使Wo更接近Xs： Wo(new)=Wo(old)+α(Xs-Wo(old))； 2.5對(duì)Wo(new)進(jìn)行單位化處理； 2.6將Ys放入SKo： SKo=SKo∪{Ys}；3forj=1tohdo Vj=SKj中各向量的平均值

4/2/2023算法的進(jìn)一步優(yōu)化集合變量SK1，SK2

，…，SKh改為其它存儲(chǔ)量更小，而且更容易實(shí)現(xiàn)的變量在Xs激發(fā)Ko時(shí)，Ys被放入到SKo中會(huì)出現(xiàn)一個(gè)向量被放入多個(gè)SK中的問題

4/2/20235.6補(bǔ)充說明