第四章人工神經(jīng)網(wǎng)絡(luò)課件

第四章自組織神經(jīng)網(wǎng)絡(luò)4.1競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理4.2自組織特征映射神經(jīng)網(wǎng)絡(luò)第四章自組織神經(jīng)網(wǎng)絡(luò)4.1競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理1自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)第四章自組織神經(jīng)網(wǎng)絡(luò)競(jìng)爭(zhēng)層輸入層自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)第四章自組織神經(jīng)網(wǎng)絡(luò)競(jìng)爭(zhēng)層輸入層2第四章自組織神經(jīng)網(wǎng)絡(luò)自組織學(xué)習(xí)(self-organizedlearning)：

通過(guò)自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。自組織網(wǎng)絡(luò)的自組織功能是通過(guò)競(jìng)爭(zhēng)學(xué)習(xí)（competitivelearning）實(shí)現(xiàn)的。

第四章自組織神經(jīng)網(wǎng)絡(luò)自組織學(xué)習(xí)(self-organize34.1競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理4.1.1基本概念分類——分類是在類別知識(shí)等導(dǎo)師信號(hào)的指導(dǎo)下，將待識(shí)別的輸入模式分配到各自的模式類中去。聚類——無(wú)導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類，而將不相似的分離開(kāi)。4.1競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理4.1.1基本概念4相似性測(cè)量＿歐式距離法4.1.1基本概念相似性測(cè)量＿歐式距離法4.1.1基本概念5相似性測(cè)量＿余弦法4.1.1基本概念相似性測(cè)量＿余弦法4.1.1基本概念64.1.2競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活，結(jié)果在每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活。這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為WinnerTakeAll。4.1.2競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Tak7競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All1.向量歸一化

首先將當(dāng)前輸入模式向量X和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星向量Wj全部進(jìn)行歸一化處理；(j=1,2,…,m)競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All1.向量歸一化8向量歸一化之前向量歸一化之前9向量歸一化之后向量歸一化之后10競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All2.尋找獲勝神經(jīng)元

當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，競(jìng)爭(zhēng)層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神經(jīng)元。欲使兩單位向量最相似，須使其點(diǎn)積最大。即：競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All211從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點(diǎn)積最大。即：競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——Winner-Take-All從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩12競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——?jiǎng)僬邽橥?Winner-Take-All)3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整j

j*

步驟3完成后回到步驟1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0。競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則——?jiǎng)僬邽橥?Winner-Take-All)313競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義?競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義?14競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義

*

1W?

*?jW

*

)](?)(?)[()(*ttttjpWXW-=hD

*┆

)(?*1tj+W

)(?tpX

jW?

mW?

*

…

***競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義15競(jìng)爭(zhēng)學(xué)習(xí)游戲?qū)⒁痪S樣本空間的12個(gè)樣本分為3類競(jìng)爭(zhēng)學(xué)習(xí)游戲?qū)⒁痪S樣本空間的12個(gè)樣本分為3類16競(jìng)爭(zhēng)學(xué)習(xí)游戲w1w2w3x訓(xùn)練樣本集o1o1o1競(jìng)爭(zhēng)學(xué)習(xí)游戲w1w2w3x訓(xùn)練樣本集o1o1o117例4.1用競(jìng)爭(zhēng)學(xué)習(xí)算法將下列各模式分為2類：解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標(biāo)形式：競(jìng)爭(zhēng)層設(shè)兩個(gè)權(quán)向量，隨機(jī)初始化為單位向量：例4.1用競(jìng)爭(zhēng)學(xué)習(xí)算法將下列各模式分為2類：解：為作圖方便18第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件19第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件20第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件21第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件22第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件23第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件24第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件25第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件26第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件27第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件28第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件294.2自組織特征映射神經(jīng)網(wǎng)絡(luò)

（Self-OrganizingfeatureMap）1981年芬蘭Helsink大學(xué)的T.Kohonen教授提出一種自組織特征映射網(wǎng)，簡(jiǎn)稱SOM網(wǎng)，又稱Kohonen網(wǎng)。Kohonen認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個(gè)過(guò)程是自動(dòng)完成的。自組織特征映射正是根據(jù)這一看法提出來(lái)的，其特點(diǎn)與人腦的自組織特性相類似。4.2自組織特征映射神經(jīng)網(wǎng)絡(luò)

（Self-Organizi30SOM網(wǎng)的生物學(xué)基礎(chǔ)

生物學(xué)研究的事實(shí)表明，在人腦的感覺(jué)通道上，神經(jīng)元的組織原理是有序排列。因此當(dāng)人腦通過(guò)感官接受外界的特定時(shí)空信息時(shí)，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對(duì)應(yīng)區(qū)域是連續(xù)映象的。對(duì)于某一圖形或某一頻率的特定興奮過(guò)程，神經(jīng)元的有序排列以及對(duì)外界信息的連續(xù)映象是自組織特征映射網(wǎng)中競(jìng)爭(zhēng)機(jī)制的生物學(xué)基礎(chǔ)。SOM網(wǎng)的生物學(xué)基礎(chǔ)生物學(xué)研究的事實(shí)表明，在人腦31SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu)

SOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出響應(yīng)的大腦皮層。

SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu)SOM網(wǎng)共有兩層，輸入層模擬感32SOM網(wǎng)的權(quán)值調(diào)整域

SOM網(wǎng)的獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元的影響是由近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种疲虼似鋵W(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示：SOM網(wǎng)的權(quán)值調(diào)整域SOM網(wǎng)的獲勝神經(jīng)元對(duì)其鄰近33第四章人工神經(jīng)網(wǎng)絡(luò)ppt課件34SOM網(wǎng)的權(quán)值調(diào)整域

以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學(xué)習(xí)算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開(kāi)獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。

優(yōu)勝鄰域開(kāi)始定得很大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮，最終收縮到半徑為零。SOM網(wǎng)的權(quán)值調(diào)整域以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰35SOM網(wǎng)的運(yùn)行原理訓(xùn)練階段w1w2w3

w4

w5SOM網(wǎng)的運(yùn)行原理訓(xùn)練階段w1w236SOM網(wǎng)的運(yùn)行原理工作階段SOM網(wǎng)的運(yùn)行原理工作階段37SOM網(wǎng)的學(xué)習(xí)算法(1)初始化對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)行歸一化處理，得到，j=1,2,…m；建立初始優(yōu)勝鄰域Nj*(0)；學(xué)習(xí)率

賦初始值。(2)接受輸入從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并進(jìn)行歸一化處理，得到，p

{1,2,…,P}。(3)尋找獲勝節(jié)點(diǎn)計(jì)算與的點(diǎn)積，j=1,2,…m，從中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)j*。(4)定義優(yōu)勝鄰域Nj*(t)以j*為中心確定t時(shí)刻的權(quán)值調(diào)整域，一般初始鄰域Nj*(0)較大，訓(xùn)練過(guò)程中Nj*(t)隨訓(xùn)練時(shí)間逐漸收縮。Kohonen學(xué)習(xí)算法SOM網(wǎng)的學(xué)習(xí)算法(1)初始化對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并38Kohonen學(xué)習(xí)算法SOM網(wǎng)的學(xué)習(xí)算法Kohonen學(xué)習(xí)算法SOM網(wǎng)的學(xué)習(xí)算法39(5)調(diào)整權(quán)值對(duì)優(yōu)勝鄰域Nj*(t)內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值：

i=1,2,…n

j

Nj*(t)式中，是訓(xùn)練時(shí)間t和鄰域內(nèi)第j個(gè)神經(jīng)元與獲勝神經(jīng)元j*之間的拓?fù)渚嚯xN

的函數(shù)，該函數(shù)一般有以下規(guī)律：Kohonen學(xué)習(xí)算法SOM網(wǎng)的學(xué)習(xí)算法(5)調(diào)整權(quán)值對(duì)優(yōu)勝鄰域Nj*(t)內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值40(5)調(diào)整權(quán)值(6)結(jié)束檢查學(xué)習(xí)率是否衰減到零或某個(gè)預(yù)定的正小數(shù)？Kohonen學(xué)習(xí)算法SOM網(wǎng)的學(xué)習(xí)算法(5)調(diào)整權(quán)值(6)結(jié)束檢查學(xué)習(xí)率是否衰減到零或某個(gè)預(yù)定41Kohonen學(xué)習(xí)算法程序流程Kohonen學(xué)習(xí)算法程序流程42功能分析(1)保序映射——將輸入空間的樣本模式類有序地