《神經(jīng)網(wǎng)絡(luò)分類器》ppt課件

1、第五章第五章 神經(jīng)網(wǎng)絡(luò)分類器神經(jīng)網(wǎng)絡(luò)分類器5.1 感知器算法感知器算法5.2 神經(jīng)網(wǎng)絡(luò)分類器神經(jīng)網(wǎng)絡(luò)分類器5.1 感知器算法感知器算法一、引言一、引言方式識(shí)別與人工智能是研討如何利用計(jì)算機(jī)實(shí)現(xiàn)人腦的一些方式識(shí)別與人工智能是研討如何利用計(jì)算機(jī)實(shí)現(xiàn)人腦的一些功能。功能。人工神經(jīng)網(wǎng)絡(luò)研討的開展：人工神經(jīng)網(wǎng)絡(luò)研討的開展：1943年，提出方式神經(jīng)元的數(shù)學(xué)模型，人工神經(jīng)網(wǎng)絡(luò)研討的開年，提出方式神經(jīng)元的數(shù)學(xué)模型，人工神經(jīng)網(wǎng)絡(luò)研討的開端。端。1949年，提出神經(jīng)元的學(xué)習(xí)準(zhǔn)那么，為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠年，提出神經(jīng)元的學(xué)習(xí)準(zhǔn)那么，為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了根底。定了根底。50年代，研討類似于神經(jīng)網(wǎng)絡(luò)的分布系統(tǒng)。年

2、代，研討類似于神經(jīng)網(wǎng)絡(luò)的分布系統(tǒng)。50年代末提出感知模型，把神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)付諸工程實(shí)際。年代末提出感知模型，把神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)付諸工程實(shí)際。1982年，提出神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，引入了才干的概念，研討年，提出神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，引入了才干的概念，研討了網(wǎng)絡(luò)的動(dòng)力學(xué)特性；設(shè)計(jì)出用電子線路實(shí)現(xiàn)網(wǎng)絡(luò)的方案，了網(wǎng)絡(luò)的動(dòng)力學(xué)特性；設(shè)計(jì)出用電子線路實(shí)現(xiàn)網(wǎng)絡(luò)的方案，大大促進(jìn)了神經(jīng)網(wǎng)絡(luò)的研討。大大促進(jìn)了神經(jīng)網(wǎng)絡(luò)的研討。1986年，提出多層感知器的反向傳播算法。年，提出多層感知器的反向傳播算法。如今神經(jīng)網(wǎng)絡(luò)的運(yùn)用已浸透到智能控制、信號(hào)處置、優(yōu)化計(jì)算、如今神經(jīng)網(wǎng)絡(luò)的運(yùn)用已浸透到智能控制、信號(hào)處置、優(yōu)化計(jì)算、生物醫(yī)學(xué)工

3、程等領(lǐng)域。生物醫(yī)學(xué)工程等領(lǐng)域。二、人工神經(jīng)元二、人工神經(jīng)元1、生物神經(jīng)元、生物神經(jīng)元典型的神經(jīng)元，即神經(jīng)細(xì)胞構(gòu)造：胞體、樹突、軸突、突觸典型的神經(jīng)元，即神經(jīng)細(xì)胞構(gòu)造：胞體、樹突、軸突、突觸胞體：神經(jīng)細(xì)胞的本體，完成普通細(xì)胞的生存功能。胞體：神經(jīng)細(xì)胞的本體，完成普通細(xì)胞的生存功能。樹突：有大量的分枝，接受來自其他神經(jīng)元的信號(hào)。樹突：有大量的分枝，接受來自其他神經(jīng)元的信號(hào)。軸突：用以輸出信號(hào)。軸突：用以輸出信號(hào)。突觸：神經(jīng)元相聯(lián)絡(luò)的部位，對(duì)樹突的突觸為興奮性的，使突觸：神經(jīng)元相聯(lián)絡(luò)的部位，對(duì)樹突的突觸為興奮性的，使下一個(gè)神經(jīng)元興奮；對(duì)胞體的突觸為抑制性的，阻止下一個(gè)下一個(gè)神經(jīng)元興奮；對(duì)胞體的突觸為

4、抑制性的，阻止下一個(gè)神經(jīng)元興奮。神經(jīng)元興奮。神經(jīng)元的根本任務(wù)機(jī)制：神經(jīng)元的根本任務(wù)機(jī)制：u神經(jīng)元的兩種任務(wù)形狀：興奮和抑制。神經(jīng)元的兩種任務(wù)形狀：興奮和抑制。u動(dòng)態(tài)極化原那么：在每一個(gè)神經(jīng)元中，信息以預(yù)知確實(shí)定動(dòng)態(tài)極化原那么：在每一個(gè)神經(jīng)元中，信息以預(yù)知確實(shí)定方向流動(dòng)，即從神經(jīng)元的接納信息部分傳到軸突的電脈沖方向流動(dòng)，即從神經(jīng)元的接納信息部分傳到軸突的電脈沖起始部分，再傳到軸突終端的突觸，以與其它神經(jīng)元通訊。起始部分，再傳到軸突終端的突觸，以與其它神經(jīng)元通訊。u銜接的專注性原那么：神經(jīng)元之間無細(xì)胞質(zhì)的延續(xù)，神經(jīng)銜接的專注性原那么：神經(jīng)元之間無細(xì)胞質(zhì)的延續(xù)，神經(jīng)元不構(gòu)成隨機(jī)網(wǎng)絡(luò)，每一個(gè)神經(jīng)元與另

5、一些神經(jīng)元構(gòu)成準(zhǔn)元不構(gòu)成隨機(jī)網(wǎng)絡(luò)，每一個(gè)神經(jīng)元與另一些神經(jīng)元構(gòu)成準(zhǔn)確的聯(lián)接。確的聯(lián)接。信號(hào)的傳送過程：信號(hào)的傳送過程：接受興奮電位；接受興奮電位；信號(hào)的聚集和傳導(dǎo)；信號(hào)的聚集和傳導(dǎo)；信號(hào)的輸出。信號(hào)的輸出。2、人工神經(jīng)元、人工神經(jīng)元1niiinetw x人工神經(jīng)元模型：人工神經(jīng)元模型：xi：輸入，神經(jīng)元的輸入值：輸入，神經(jīng)元的輸入值i：權(quán)值，突觸的銜接強(qiáng)度：權(quán)值，突觸的銜接強(qiáng)度f ：輸出函數(shù)，非線性函數(shù)：輸出函數(shù)，非線性函數(shù)y ：輸出：輸出神經(jīng)元?jiǎng)幼鳎荷窠?jīng)元?jiǎng)幼鳎?)yf net常用輸出函數(shù)：常用輸出函數(shù)：閾值函數(shù)：閾值函數(shù)：)sgn()(xxf22( )( )11xf xth xe雙曲正切函

6、數(shù)：雙曲正切函數(shù)：非線性，單調(diào)性非線性，單調(diào)性無限次可微無限次可微權(quán)值很大時(shí)權(quán)值很大時(shí)接近閾值函接近閾值函數(shù)數(shù)權(quán)值很小時(shí)接權(quán)值很小時(shí)接近線性函數(shù)近線性函數(shù)階躍函數(shù)：階躍函數(shù)：)()(xstepxf)(1niiixwfy f 為閾值函數(shù)：為閾值函數(shù)：3、感知器模型、感知器模型)sgn(1niiixwy那么：那么：y=sgn (WTX) 即：即： y =f (WTX) 這種神經(jīng)元沒有內(nèi)部形狀的轉(zhuǎn)變，而且函數(shù)為閾值型。因此，這種神經(jīng)元沒有內(nèi)部形狀的轉(zhuǎn)變，而且函數(shù)為閾值型。因此，它本質(zhì)上是一種線性閾值計(jì)算單元。它本質(zhì)上是一種線性閾值計(jì)算單元。感知器是一個(gè)具有單層計(jì)算單元的人工神經(jīng)網(wǎng)絡(luò)。感知器訓(xùn)感知器是

7、一個(gè)具有單層計(jì)算單元的人工神經(jīng)網(wǎng)絡(luò)。感知器訓(xùn)練算法就是由這種神經(jīng)網(wǎng)絡(luò)演化來的。練算法就是由這種神經(jīng)網(wǎng)絡(luò)演化來的。設(shè)閾值：設(shè)閾值：=-0W=(1,2, ,n,0)TX=(x1, x2, , xn, 1)TjiTTxxWxW0101感知器算法可以經(jīng)過對(duì)訓(xùn)練方式樣本集的感知器算法可以經(jīng)過對(duì)訓(xùn)練方式樣本集的“學(xué)習(xí)得出判別函學(xué)習(xí)得出判別函數(shù)的系數(shù)解。數(shù)的系數(shù)解。算法描畫算法描畫用樣本訓(xùn)練時(shí)，假設(shè)用樣本訓(xùn)練時(shí)，假設(shè)xi，g(x)0，那么，那么w不變。不變。 假設(shè)假設(shè)g(x)0，分別賦予初始增，分別賦予初始增廣權(quán)矢量廣權(quán)矢量w(1)的各分量較小的恣意值。的各分量較小的恣意值。u輸入訓(xùn)練方式輸入訓(xùn)練方式xk，

8、計(jì)算判別函數(shù)值，計(jì)算判別函數(shù)值wT(k)xk u調(diào)整增廣權(quán)矢量，規(guī)那么是：調(diào)整增廣權(quán)矢量，規(guī)那么是：假設(shè)假設(shè)wT(k)xk0, 那么那么w(k+1)=w(k)+ Cxk假設(shè)假設(shè)wT(k)xk0, 那么那么w(k+1)=w(k)u假設(shè)假設(shè)kdj(x) 恣意恣意 j i ，那么判，那么判xi(1)賦初值，分別給賦初值，分別給c個(gè)權(quán)矢量個(gè)權(quán)矢量wi(1)i=1,2,c賦恣意賦恣意的初值，選擇正常數(shù)的初值，選擇正常數(shù) ，置步數(shù)，置步數(shù)k=1.(2)輸入符號(hào)未規(guī)范化的增廣訓(xùn)練方式輸入符號(hào)未規(guī)范化的增廣訓(xùn)練方式xk, xkx1, x2 xN ,計(jì)算計(jì)算c個(gè)判別函數(shù)：個(gè)判別函數(shù)：di(xk) =wi(k)

9、xk(i=1,2,c)(3)調(diào)整增廣權(quán)矢量，規(guī)那么是：調(diào)整增廣權(quán)矢量，規(guī)那么是：u假設(shè)假設(shè)xki和和di(xk) dj(xk) (恣意恣意j i)，那么：那么：uwi(k+1)=wi(k) (i=1,2,c)算法步驟：算法步驟：u假設(shè)假設(shè)xki和和dl(xk) di(xk) (l i)那么：那么：u wi(k+1)=wi(k)+xku wl(k+1)=wl(k)-xk u wj(k+1)=wi(k)(恣意恣意j l, i) (4)假設(shè)假設(shè)kN,令令k=k+1,返至返至(2)。假設(shè)。假設(shè)k=N，那么檢驗(yàn)判，那么檢驗(yàn)判別函數(shù)別函數(shù)wix對(duì)對(duì)x1, x2 xN,能否都能正確分類。假設(shè)是，能否都能正確

10、分類。假設(shè)是，終了；假設(shè)不是，令終了；假設(shè)不是，令k=1,返至返至(2)例例2：知訓(xùn)練樣本：知訓(xùn)練樣本(0，0)屬于屬于1類，類，(1，1)屬于屬于2類，類，( -1，1)屬于屬于3類，試求解向量類，試求解向量w1*, w2* , w3*實(shí)驗(yàn)四：實(shí)驗(yàn)所用樣本數(shù)據(jù)如表給出，編制程序?qū)崿F(xiàn)實(shí)驗(yàn)四：實(shí)驗(yàn)所用樣本數(shù)據(jù)如表給出，編制程序?qū)崿F(xiàn)1、2、3、4類的分類。類的分類。 7、感知器算法推行、感知器算法推行0)()(0)()() 1(kTkkTxkwxckwxkwkwkw由感知器算法：由感知器算法：進(jìn)一步：將進(jìn)一步：將cxk變?yōu)閷?duì)分類錯(cuò)誤敏感的準(zhǔn)那么函數(shù)變?yōu)閷?duì)分類錯(cuò)誤敏感的準(zhǔn)那么函數(shù)J(w, x)定義：

11、定義：)(),()()() 1(kwwwxwJckwJckwkw梯度下降準(zhǔn)那么梯度下降準(zhǔn)那么u感知機(jī)感知機(jī)Perceptron (Rosenblatt 1958) Adaline(Widrow and Hoff)u (Minsky & Papert, 1969)uHopfield模型模型 (Hopfield，1982)u多層感知機(jī)多層感知機(jī)MLP與反向傳播算法與反向傳播算法BP (Rumelhart, 1986)5.2 神經(jīng)網(wǎng)絡(luò)分類器神經(jīng)網(wǎng)絡(luò)分類器神經(jīng)網(wǎng)絡(luò)的特點(diǎn)神經(jīng)網(wǎng)絡(luò)的特點(diǎn)u自學(xué)習(xí)自學(xué)習(xí)u自順應(yīng)自順應(yīng)u并行處置并行處置u分布表達(dá)與計(jì)算分布表達(dá)與計(jì)算神經(jīng)網(wǎng)絡(luò)本質(zhì)上可以了解為函數(shù)逼近，可

12、以運(yùn)用到眾多領(lǐng)域：神經(jīng)網(wǎng)絡(luò)本質(zhì)上可以了解為函數(shù)逼近，可以運(yùn)用到眾多領(lǐng)域：優(yōu)化計(jì)算優(yōu)化計(jì)算信號(hào)處置信號(hào)處置智能控制智能控制方式識(shí)別方式識(shí)別機(jī)器視覺等機(jī)器視覺等神經(jīng)網(wǎng)絡(luò)的運(yùn)用神經(jīng)網(wǎng)絡(luò)的運(yùn)用常用輸出函數(shù)：常用輸出函數(shù)：線性輸出函數(shù)：線性輸出函數(shù)：a=f (x)=xSigmoid 函數(shù)：函數(shù)：xexfa11)(Hebb學(xué)習(xí)規(guī)那么：學(xué)習(xí)規(guī)那么：假設(shè)神經(jīng)元假設(shè)神經(jīng)元ui接納來自另一神經(jīng)元接納來自另一神經(jīng)元uj的輸出，那么當(dāng)這兩個(gè)的輸出，那么當(dāng)這兩個(gè)神經(jīng)元同時(shí)興奮時(shí)，從神經(jīng)元同時(shí)興奮時(shí)，從uj到到ui的權(quán)值的權(quán)值wij就得到加強(qiáng)，可寫成：就得到加強(qiáng)，可寫成：神經(jīng)元的學(xué)習(xí)算法神經(jīng)元的學(xué)習(xí)算法ijixyw式中式

13、中wij為到為到uj的第的第i個(gè)權(quán)值的修正量，個(gè)權(quán)值的修正量，為控制修正速度的系為控制修正速度的系數(shù)。數(shù)?！靶拚秊樾拚秊椤凹訌?qiáng)或加強(qiáng)或“減弱的概念，不局限于代數(shù)的減弱的概念，不局限于代數(shù)的“加或加或“減。減。u前饋神經(jīng)網(wǎng)絡(luò)：各神經(jīng)元接受前級(jí)輸入，并輸出到下一級(jí)，前饋神經(jīng)網(wǎng)絡(luò)：各神經(jīng)元接受前級(jí)輸入，并輸出到下一級(jí)，無反響，可用一有向無環(huán)圖表示。無反響，可用一有向無環(huán)圖表示。u前饋網(wǎng)絡(luò)通常分為不同的層，第前饋網(wǎng)絡(luò)通常分為不同的層，第i層的輸入只與第層的輸入只與第i-1層的輸層的輸出聯(lián)接。出聯(lián)接。u可見層：輸入層和輸出層可見層：輸入層和輸出層u隱層：中間層隱層：中間層5.2.1 前饋神經(jīng)網(wǎng)絡(luò)及其主要

14、方法前饋神經(jīng)網(wǎng)絡(luò)及其主要方法例：感知器例：感知器u雙層神經(jīng)網(wǎng)絡(luò)：一層為輸入層，另雙層神經(jīng)網(wǎng)絡(luò)：一層為輸入層，另一層有計(jì)算單元；一層有計(jì)算單元；u修正權(quán)值修正權(quán)值w：)()()()() 1(kxkykykwkwiiiijji式中式中k為迭代次數(shù)。為迭代次數(shù)。i=1,2,n j=1,2,mu反復(fù)依次輸入訓(xùn)練集中的特征向量反復(fù)依次輸入訓(xùn)練集中的特征向量x，計(jì)算實(shí)踐輸出值，并修正，計(jì)算實(shí)踐輸出值，并修正權(quán)向量權(quán)向量u與線性判別函數(shù)等價(jià)，只處理線性可分問題，收斂速度快與線性判別函數(shù)等價(jià)，只處理線性可分問題，收斂速度快三層前饋神經(jīng)網(wǎng)絡(luò)三層前饋神經(jīng)網(wǎng)絡(luò)用三層前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)邏輯門用三層前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)邏輯門

15、例：與非門例：與非門(NAND)x1, x2-1,10101)sgn()(xwxwxwxwfTTTTy-1,1用前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)用前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)“與非門，可組成任何邏輯函數(shù)與非門，可組成任何邏輯函數(shù)三層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)非線性分類三層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)非線性分類例：異或例：異或(XOR)任何一個(gè)邏輯電路都可以只用任何一個(gè)邏輯電路都可以只用XOR門來實(shí)現(xiàn)，門來實(shí)現(xiàn)， XOR是通用門是通用門實(shí)線：實(shí)線：+虛線：虛線：-數(shù)字：權(quán)值數(shù)字：權(quán)值單個(gè)閾值神經(jīng)元可實(shí)現(xiàn)恣意多輸入的與、或、與非、或非門單個(gè)閾值神經(jīng)元可實(shí)現(xiàn)恣意多輸入的與、或、與非、或非門任何邏輯函數(shù)可用一個(gè)三層前饋網(wǎng)絡(luò)實(shí)現(xiàn)任何邏輯函數(shù)可用一個(gè)三層前饋網(wǎng)絡(luò)

16、實(shí)現(xiàn)有有4個(gè)方式，要分為個(gè)方式，要分為2類：類：u適中選取神經(jīng)元的輸出函數(shù)，兩層前饋神經(jīng)網(wǎng)絡(luò)可以逼近適中選取神經(jīng)元的輸出函數(shù)，兩層前饋神經(jīng)網(wǎng)絡(luò)可以逼近恣意的多元非線性函數(shù)恣意的多元非線性函數(shù)u假設(shè)有足夠多的隱單元，任何從輸入到輸出的延續(xù)函數(shù)都假設(shè)有足夠多的隱單元，任何從輸入到輸出的延續(xù)函數(shù)都可以用一個(gè)這樣的三層網(wǎng)絡(luò)恣意精度近似可以用一個(gè)這樣的三層網(wǎng)絡(luò)恣意精度近似u三層或三層以上的前饋網(wǎng)絡(luò)通常被叫做多層感知器三層或三層以上的前饋網(wǎng)絡(luò)通常被叫做多層感知器(MLP)uMLP的適用范圍大大超越單層網(wǎng)絡(luò)的適用范圍大大超越單層網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)雙層網(wǎng)絡(luò)雙層網(wǎng)絡(luò)一個(gè)線性邊境一個(gè)線性邊境三層或三層以

17、上三層或三層以上恣意決恣意決策邊境策邊境存在問題：存在問題：未給出隱單元數(shù)目未給出隱單元數(shù)目未給出權(quán)值未給出權(quán)值僅根據(jù)訓(xùn)練樣本，很難知僅根據(jù)訓(xùn)練樣本，很難知道應(yīng)該有什么方式的界道應(yīng)該有什么方式的界面函數(shù)面函數(shù)實(shí)踐設(shè)計(jì)過程中還有很多實(shí)踐設(shè)計(jì)過程中還有很多問題問題u三層前饋網(wǎng)絡(luò)的運(yùn)用范圍大大超越二層前饋網(wǎng)絡(luò)，但學(xué)習(xí)三層前饋網(wǎng)絡(luò)的運(yùn)用范圍大大超越二層前饋網(wǎng)絡(luò)，但學(xué)習(xí)方法較為復(fù)雜，主要困難是中間的隱層不直接與外界銜接，方法較為復(fù)雜，主要困難是中間的隱層不直接與外界銜接，無法直接計(jì)算其誤差。無法直接計(jì)算其誤差。1、反向傳播算法、反向傳播算法u反向傳播算法：從后向前反向逐層反向傳播算法：從后向前反向逐層“

18、傳播輸出層的誤差，傳播輸出層的誤差，以間接算出隱層誤差。分兩個(gè)階段：以間接算出隱層誤差。分兩個(gè)階段：u正向過程：從輸入層經(jīng)隱層逐層正向計(jì)算各單元的輸出正向過程：從輸入層經(jīng)隱層逐層正向計(jì)算各單元的輸出u反向過程：由輸出層誤差逐層反向計(jì)算隱層各單元的誤反向過程：由輸出層誤差逐層反向計(jì)算隱層各單元的誤差，并用此誤差修正前層的權(quán)值差，并用此誤差修正前層的權(quán)值u用知類別的特征向量為訓(xùn)練集，當(dāng)輸入屬于第用知類別的特征向量為訓(xùn)練集，當(dāng)輸入屬于第j類的特征類的特征向量時(shí)，應(yīng)使輸出向量時(shí)，應(yīng)使輸出yj=1，其他輸出為，其他輸出為-1；設(shè)期望的輸出；設(shè)期望的輸出為：為：Y=y1,y2,ynT，實(shí)踐輸出為：，實(shí)踐輸

19、出為：TnyyyY,.,21某一層第某一層第j個(gè)計(jì)算單元：個(gè)計(jì)算單元：ui：前一層的第：前一層的第i個(gè)計(jì)算單元個(gè)計(jì)算單元uk：后一層的第：后一層的第k個(gè)計(jì)算單元個(gè)計(jì)算單元uOj：本層的第：本層的第j個(gè)計(jì)算單元的輸出個(gè)計(jì)算單元的輸出uwij：前一層第：前一層第i個(gè)單元到本層第個(gè)單元到本層第j個(gè)單元的權(quán)值個(gè)單元的權(quán)值正向過程：正向過程：輸入某樣本時(shí)，從前到后對(duì)每個(gè)神經(jīng)元計(jì)算：輸入某樣本時(shí)，從前到后對(duì)每個(gè)神經(jīng)元計(jì)算：iijijOwnet2)(11jjjyyNE對(duì)輸出層，對(duì)輸出層，是實(shí)踐輸出值，是實(shí)踐輸出值，yj是期望輸出值，誤差為：是期望輸出值，誤差為：定義部分梯度：定義部分梯度：jjnetE計(jì)算權(quán)

20、值對(duì)誤差的影響：計(jì)算權(quán)值對(duì)誤差的影響：ijijjjijOwnetnetEwEjjOy 利用梯度下降原理利用梯度下降原理為使誤差盡快減小，令修正量為：為使誤差盡快減小，令修正量為： wij=-jOi wij(t+1)=wij(t)+ wij(t) t為迭代次數(shù)為迭代次數(shù)jjOy假設(shè)單元假設(shè)單元j為輸出單元：為輸出單元：)( )(jjjjjjjnetfyynetyyE假設(shè)單元假設(shè)單元j不是輸出單元，那么不是輸出單元，那么Oj會(huì)影響后層一切單元，會(huì)影響后層一切單元，有：有：kjkkjjjkkkjjjkkkjjwnetfnetfwnetOOnetnetEnetE)( )( 誤差反向傳播原理表示圖誤差反

21、向傳播原理表示圖隱層單元隱層單元j的部分梯度的部分梯度j正比于輸出單元部分梯度的正比于輸出單元部分梯度的k加權(quán)和加權(quán)和由此，輸出單元的部分梯度就由此，輸出單元的部分梯度就“反向傳播回到隱層單元反向傳播回到隱層單元當(dāng)非線性函數(shù)當(dāng)非線性函數(shù)f為雙曲正切函數(shù)時(shí)：為雙曲正切函數(shù)時(shí)：112)(2 xexfy22221)1 (4)( yeexfxx反向傳播算法反向傳播算法iijijOwnetu設(shè)權(quán)值的隨機(jī)初始值設(shè)權(quán)值的隨機(jī)初始值(較小的隨機(jī)數(shù)較小的隨機(jī)數(shù))u反復(fù)執(zhí)行如下操作反復(fù)執(zhí)行如下操作(依次輸入如下樣本依次輸入如下樣本)，直到收斂，直到收斂l從前向后逐層計(jì)算每個(gè)單元的從前向后逐層計(jì)算每個(gè)單元的Oj，i

22、ijijjOwfnetfO)()(l計(jì)算每個(gè)輸出單元的部分梯度計(jì)算每個(gè)輸出單元的部分梯度j)1 ()()( )(jjjjjjjjjjjOOOynetfOynetyyEkkjkjjkkjkjjwOOwnetf)1 ()( l從后向前反向計(jì)算每個(gè)隱層單元從后向前反向計(jì)算每個(gè)隱層單元l計(jì)算并保管每個(gè)權(quán)值修正量計(jì)算并保管每個(gè)權(quán)值修正量) 1()(twOtwijijij)() 1() 1(twtwtwjiijijl修正權(quán)值修正權(quán)值可對(duì)各樣本修正權(quán)值，也可各樣本計(jì)算可對(duì)各樣本修正權(quán)值，也可各樣本計(jì)算j后按總誤差修正權(quán)值后按總誤差修正權(quán)值討論討論u梯度下降法求非線性函數(shù)極值，能夠部分極小，不能保證梯度下降法

23、求非線性函數(shù)極值，能夠部分極小，不能保證收斂到全局極小點(diǎn)收斂到全局極小點(diǎn)u三層或更多層網(wǎng)絡(luò)，初始權(quán)值不能全為零或都一樣，否那三層或更多層網(wǎng)絡(luò)，初始權(quán)值不能全為零或都一樣，否那么各隱層單元無差別，迭代無效果。通常采用小隨機(jī)數(shù)，么各隱層單元無差別，迭代無效果。通常采用小隨機(jī)數(shù)，如區(qū)間如區(qū)間-0.3，0.3u初始值影響收斂，不收斂時(shí)改動(dòng)初始值重新迭代初始值影響收斂，不收斂時(shí)改動(dòng)初始值重新迭代u步長參數(shù)步長參數(shù)對(duì)收斂影響大，不同問題最正確值不同，約對(duì)收斂影響大，不同問題最正確值不同，約0.13u慣性系數(shù)慣性系數(shù)影響收斂速度，常用影響收斂速度，常用0.91，1時(shí)不收斂時(shí)不收斂u輸入單元數(shù)輸入單元數(shù)=特征

24、向量維數(shù)，輸出單元數(shù)特征向量維數(shù)，輸出單元數(shù)=類別個(gè)數(shù)類別個(gè)數(shù) 徑向基函數(shù)：沿某種徑向?qū)ΨQ的標(biāo)量函數(shù)?？臻g中恣意一點(diǎn)徑向基函數(shù)：沿某種徑向?qū)ΨQ的標(biāo)量函數(shù)。空間中恣意一點(diǎn)x到某一中心到某一中心xc之間歐氏間隔的單調(diào)函數(shù)，記作：之間歐氏間隔的單調(diào)函數(shù)，記作：cxxk2、徑向基函數(shù)網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)最常用的徑向基函數(shù)是高斯核函數(shù)：最常用的徑向基函數(shù)是高斯核函數(shù)：)2exp()(22ccxxxxk xc：為核函數(shù)中心：為核函數(shù)中心：為函數(shù)的寬參數(shù)，控制了函數(shù)的徑向作用范圍，即：為函數(shù)的寬參數(shù)，控制了函數(shù)的徑向作用范圍，即x遠(yuǎn)離遠(yuǎn)離xc時(shí)函數(shù)取值很小時(shí)函數(shù)取值很小網(wǎng)絡(luò)特點(diǎn)：網(wǎng)絡(luò)特點(diǎn)：只需一個(gè)隱層，輸入

25、層到隱層之間的權(quán)值均固定為只需一個(gè)隱層，輸入層到隱層之間的權(quán)值均固定為1，隱層，隱層單元采用徑向基函數(shù)作為其輸出特性。單元采用徑向基函數(shù)作為其輸出特性。輸出節(jié)點(diǎn)為線性輸出單元，隱層到輸出節(jié)點(diǎn)之間的權(quán)值可調(diào)，輸出節(jié)點(diǎn)為線性輸出單元，隱層到輸出節(jié)點(diǎn)之間的權(quán)值可調(diào)，輸出為隱層的加權(quán)求和。輸出為隱層的加權(quán)求和。徑向基函數(shù)網(wǎng)絡(luò)的作用徑向基函數(shù)網(wǎng)絡(luò)的作用對(duì)未知函數(shù)對(duì)未知函數(shù)f(x)的逼近器。輸出為隱層的線性加權(quán)求和，采的逼近器。輸出為隱層的線性加權(quán)求和，采用基函數(shù)的加權(quán)和來實(shí)現(xiàn)對(duì)函數(shù)的逼近用基函數(shù)的加權(quán)和來實(shí)現(xiàn)對(duì)函數(shù)的逼近隱層把原始的非線性可分的特征空間變換到另一個(gè)空間通隱層把原始的非線性可分的特征空間變

26、換到另一個(gè)空間通常是高維空間，使之可以線性可分。常是高維空間，使之可以線性可分?？烧{(diào)參數(shù)的選擇：可調(diào)參數(shù)的選擇：三種可調(diào)參數(shù)：隱層基函數(shù)中心、方差，輸出單元的權(quán)值三種可調(diào)參數(shù)：隱層基函數(shù)中心、方差，輸出單元的權(quán)值根據(jù)閱歷選擇函數(shù)中心及方差根據(jù)閱歷選擇函數(shù)中心及方差用聚類方法選擇基函數(shù)用聚類方法選擇基函數(shù)經(jīng)過訓(xùn)練樣本用誤差糾正算法求得經(jīng)過訓(xùn)練樣本用誤差糾正算法求得5.2.2 競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制上述前饋網(wǎng)絡(luò)屬于監(jiān)視學(xué)習(xí)，需求同時(shí)提供輸入樣本和相應(yīng)的上述前饋網(wǎng)絡(luò)屬于監(jiān)視學(xué)習(xí)，需求同時(shí)提供輸入樣本和相應(yīng)的理想輸出。引進(jìn)競(jìng)爭(zhēng)機(jī)制的前饋網(wǎng)絡(luò)可以實(shí)現(xiàn)無監(jiān)視學(xué)習(xí)，完理想輸出。引進(jìn)競(jìng)爭(zhēng)機(jī)制的前饋網(wǎng)

27、絡(luò)可以實(shí)現(xiàn)無監(jiān)視學(xué)習(xí)，完成聚類的義務(wù)。成聚類的義務(wù)。構(gòu)造構(gòu)造在二層前饋網(wǎng)絡(luò)的輸出層各單在二層前饋網(wǎng)絡(luò)的輸出層各單元之間相互用較大的負(fù)權(quán)值輸元之間相互用較大的負(fù)權(quán)值輸入對(duì)方的輸出，構(gòu)成正反響互入對(duì)方的輸出，構(gòu)成正反響互聯(lián)。競(jìng)爭(zhēng)的結(jié)果是：具有較大聯(lián)。競(jìng)爭(zhēng)的結(jié)果是：具有較大輸入的單元輸出為輸入的單元輸出為1，其他單，其他單元輸出都為元輸出都為0網(wǎng)絡(luò)功能網(wǎng)絡(luò)功能實(shí)現(xiàn)無監(jiān)視學(xué)習(xí)，完成聚類的義務(wù)實(shí)現(xiàn)無監(jiān)視學(xué)習(xí)，完成聚類的義務(wù)1jwXWxwnetTjiiijj其他0)(1kjnetnetykjj網(wǎng)絡(luò)動(dòng)作機(jī)制網(wǎng)絡(luò)動(dòng)作機(jī)制學(xué)習(xí)時(shí)先用隨機(jī)數(shù)作為權(quán)值初始值，整個(gè)學(xué)習(xí)過程隨時(shí)將權(quán)值學(xué)習(xí)時(shí)先用隨機(jī)數(shù)作為權(quán)值初始值，整個(gè)

28、學(xué)習(xí)過程隨時(shí)將權(quán)值進(jìn)展歸一化處置，即：進(jìn)展歸一化處置，即：ijiijijwww2使各權(quán)向量滿足：使各權(quán)向量滿足：當(dāng)樣本為歸一化樣本，學(xué)習(xí)可按如下算法進(jìn)展：當(dāng)樣本為歸一化樣本，學(xué)習(xí)可按如下算法進(jìn)展：ijjijxnetyw)(討論：討論：網(wǎng)絡(luò)不能夠收斂到修正量趨向于零的形狀，采用強(qiáng)迫收斂方網(wǎng)絡(luò)不能夠收斂到修正量趨向于零的形狀，采用強(qiáng)迫收斂方法，在學(xué)習(xí)過程中將步長參數(shù)法，在學(xué)習(xí)過程中將步長參數(shù)緩慢減小至零。緩慢減小至零。學(xué)習(xí)結(jié)果受初始值和學(xué)習(xí)樣本順序影響很大，聚類的結(jié)果不學(xué)習(xí)結(jié)果受初始值和學(xué)習(xí)樣本順序影響很大，聚類的結(jié)果不一定理想，需求參與適當(dāng)?shù)娜斯じ缮?。例：先選擇少量典一定理想，需求參與適當(dāng)?shù)娜斯?/p>

29、干涉。例：先選擇少量典型性好的樣本作為權(quán)向量初始值。型性好的樣本作為權(quán)向量初始值。帶反響的神經(jīng)網(wǎng)絡(luò)表示圖帶反響的神經(jīng)網(wǎng)絡(luò)表示圖輸入：外部輸入信號(hào)和同一區(qū)域的反響信號(hào)輸入：外部輸入信號(hào)和同一區(qū)域的反響信號(hào)5.2.3 自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)輸輸入入信信號(hào)號(hào)反反響響信信號(hào)號(hào)輸出信號(hào)輸出信號(hào)概念概念根據(jù)大腦對(duì)信號(hào)處置的特點(diǎn)，提出了一種神經(jīng)網(wǎng)絡(luò)模型根據(jù)大腦對(duì)信號(hào)處置的特點(diǎn)，提出了一種神經(jīng)網(wǎng)絡(luò)模型自組織特征映射模型，自組織特征映射模型是典型的自組自組織特征映射模型，自組織特征映射模型是典型的自組織系統(tǒng)，因此也有人稱其為織系統(tǒng)，因此也有人稱其為“自組織模型。自組織模型。由輸入層和競(jìng)爭(zhēng)層

30、構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間的各神經(jīng)元實(shí)由輸入層和競(jìng)爭(zhēng)層構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間的各神經(jīng)元實(shí)現(xiàn)雙向全銜接，網(wǎng)絡(luò)中沒有隱含層。現(xiàn)雙向全銜接，網(wǎng)絡(luò)中沒有隱含層。自組織的過程實(shí)踐上就是一種無指點(diǎn)的學(xué)習(xí)。它經(jīng)過本身訓(xùn)自組織的過程實(shí)踐上就是一種無指點(diǎn)的學(xué)習(xí)。它經(jīng)過本身訓(xùn)練，自動(dòng)對(duì)輸入方式進(jìn)展分類。練，自動(dòng)對(duì)輸入方式進(jìn)展分類。自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)構(gòu)造表示圖自組織特征映射神經(jīng)網(wǎng)絡(luò)構(gòu)造表示圖交互作用函數(shù)交互作用函數(shù)RdRdRdjFe01)(RdRdjFe01)(或或網(wǎng)絡(luò)功能：構(gòu)成認(rèn)知地圖，進(jìn)展聚類網(wǎng)絡(luò)功能：構(gòu)成認(rèn)知地圖，進(jìn)展聚類學(xué)習(xí)方法和學(xué)習(xí)過程學(xué)習(xí)方法和學(xué)習(xí)過程12

31、jwu用隨機(jī)數(shù)設(shè)定權(quán)值初始值，并一直進(jìn)展權(quán)向量歸一化，使用隨機(jī)數(shù)設(shè)定權(quán)值初始值，并一直進(jìn)展權(quán)向量歸一化，使其滿足：其滿足：u反復(fù)進(jìn)展以下運(yùn)算，直到到達(dá)預(yù)定的學(xué)習(xí)次數(shù)或每次學(xué)習(xí)反復(fù)進(jìn)展以下運(yùn)算，直到到達(dá)預(yù)定的學(xué)習(xí)次數(shù)或每次學(xué)習(xí)中權(quán)值改動(dòng)量小于某一閾值中權(quán)值改動(dòng)量小于某一閾值l輸入一個(gè)樣本計(jì)算各輸出單元的強(qiáng)度輸入一個(gè)樣本計(jì)算各輸出單元的強(qiáng)度l找出主興奮單元找出主興奮單元C，使，使iiijTjjxwXWnet)(maxjjcnetnet )( jFycjijjjixnetyw)(l確定各輸出單元興奮度確定各輸出單元興奮度l計(jì)算各權(quán)值修正量計(jì)算各權(quán)值修正量wij，修正權(quán)值，進(jìn)展歸一化，修正權(quán)值，進(jìn)展歸一化討論：討論：R的選擇，如：的選擇，如：NLR/L：輸出平面邊長：輸出平面邊長N：輸入向量維數(shù)：輸入向量維數(shù)u必要時(shí)根據(jù)學(xué)習(xí)次數(shù)更新學(xué)習(xí)步長和鄰域