第八章人工神經(jīng)網(wǎng)絡(luò)

1、 模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠(yuǎn)沒(méi)有達(dá)到人腦的境界。能力等方面還遠(yuǎn)沒(méi)有達(dá)到人腦的境界。人工神經(jīng)網(wǎng)絡(luò)從另一個(gè)角度出發(fā)，即從人工神經(jīng)網(wǎng)絡(luò)從另一個(gè)角度出發(fā)，即從人腦的生理學(xué)和心理學(xué)著手，通過(guò)人工人腦的生理學(xué)和心理學(xué)著手，通過(guò)人工模擬人腦的工作機(jī)理來(lái)實(shí)現(xiàn)機(jī)器的部分模擬人腦的工作機(jī)理來(lái)實(shí)現(xiàn)機(jī)器的部分智能行為。智能行為。 一、一、 iuijxnj, 1ijwisjx1 iw2iwinw)(iiugy jiijijisxwnet)(iinetfu iiuug)()(iinetfy 0001)(iiinetnetnetfiliiliiiiiinetnetfnetne

2、tnetknetnetnetnetfmax000)(irnetienetf11)( 神經(jīng)網(wǎng)絡(luò)由一些具有自適應(yīng)能力的簡(jiǎn)單單元及神經(jīng)網(wǎng)絡(luò)由一些具有自適應(yīng)能力的簡(jiǎn)單單元及其層次組織的大規(guī)模并行聯(lián)結(jié)構(gòu)造而成，它模仿生其層次組織的大規(guī)模并行聯(lián)結(jié)構(gòu)造而成，它模仿生物神經(jīng)系統(tǒng)進(jìn)行信息處理，是對(duì)人腦神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)物神經(jīng)系統(tǒng)進(jìn)行信息處理，是對(duì)人腦神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)化模擬。神經(jīng)網(wǎng)絡(luò)中的基本單元是神經(jīng)元。所謂神化模擬。神經(jīng)網(wǎng)絡(luò)中的基本單元是神經(jīng)元。所謂神經(jīng)元，就是多輸入、單輸出的信息處理單元。經(jīng)元，就是多輸入、單輸出的信息處理單元。 四、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)四、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)1x2xnx1kw2kwknwknikkikkxwfy

3、1第第 k 神經(jīng)元的神經(jīng)元的 n 個(gè)輸入個(gè)輸入神經(jīng)元的權(quán)值，第神經(jīng)元的權(quán)值，第1個(gè)神個(gè)神經(jīng)元與第經(jīng)元與第 k 個(gè)個(gè) 神經(jīng)元的神經(jīng)元的 連接強(qiáng)度，正為激活，負(fù)連接強(qiáng)度，正為激活，負(fù)為抑制。為抑制。神經(jīng)單元的閾值（門(mén)限神經(jīng)單元的閾值（門(mén)限值）值）神經(jīng)元的輸出神經(jīng)元的輸出神經(jīng)元的輸入總和神經(jīng)元的輸入總和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是指神經(jīng)網(wǎng)絡(luò)的聯(lián)結(jié)方式。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是指神經(jīng)網(wǎng)絡(luò)的聯(lián)結(jié)方式。 根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)上的區(qū)別，神根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)上的區(qū)別，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可分分層網(wǎng)絡(luò)和相互連接型網(wǎng)絡(luò)兩大類(lèi)。經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可分分層網(wǎng)絡(luò)和相互連接型網(wǎng)絡(luò)兩大類(lèi)。 分層網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)由若干層組

4、成，每層中有分層網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層間的神經(jīng)元單向連接，一定數(shù)量的神經(jīng)元，相鄰層間的神經(jīng)元單向連接，同一層內(nèi)的神經(jīng)元之間不連接；而相互連接型神經(jīng)同一層內(nèi)的神經(jīng)元之間不連接；而相互連接型神經(jīng)網(wǎng)絡(luò)的任何兩個(gè)神經(jīng)元之間都可能雙向連接。網(wǎng)絡(luò)的任何兩個(gè)神經(jīng)元之間都可能雙向連接。1x2xnx1y2y分層神經(jīng)網(wǎng)絡(luò)分層神經(jīng)網(wǎng)絡(luò) 相互連接型神經(jīng)網(wǎng)絡(luò)中任意兩個(gè)單元之間都可相互連接型神經(jīng)網(wǎng)絡(luò)中任意兩個(gè)單元之間都可能存在連接路徑，可以認(rèn)為是一種非線性動(dòng)力學(xué)系能存在連接路徑，可以認(rèn)為是一種非線性動(dòng)力學(xué)系統(tǒng)，因?yàn)閷?duì)于給定的某一輸入模式，由某一初始網(wǎng)統(tǒng)，因?yàn)閷?duì)于給定的某一輸入模式，由

5、某一初始網(wǎng)絡(luò)參數(shù)出發(fā)，在一段時(shí)間內(nèi)，網(wǎng)絡(luò)處于不斷改變輸絡(luò)參數(shù)出發(fā)，在一段時(shí)間內(nèi)，網(wǎng)絡(luò)處于不斷改變輸出模式的動(dòng)態(tài)變化中，最終，網(wǎng)絡(luò)有可能進(jìn)入周期出模式的動(dòng)態(tài)變化中，最終，網(wǎng)絡(luò)有可能進(jìn)入周期性振蕩模式，也有可能得到一個(gè)穩(wěn)定的輸出模式。性振蕩模式，也有可能得到一個(gè)穩(wěn)定的輸出模式。 nx2x1y2y1x 五、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與記憶五、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與記憶 5.1 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式 神經(jīng)網(wǎng)絡(luò)能夠通過(guò)訓(xùn)練，獲取環(huán)境知識(shí)，改變神經(jīng)網(wǎng)絡(luò)能夠通過(guò)訓(xùn)練，獲取環(huán)境知識(shí)，改變自身性能，使輸入自身性能，使輸入-輸出變換朝更好的方向發(fā)展。學(xué)輸出變換朝更好的方向發(fā)展。學(xué)習(xí)功能是神經(jīng)網(wǎng)絡(luò)最顯著的特征。神經(jīng)網(wǎng)

6、絡(luò)的學(xué)習(xí)習(xí)功能是神經(jīng)網(wǎng)絡(luò)最顯著的特征。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是通過(guò)調(diào)整連接權(quán)重實(shí)現(xiàn)的。是通過(guò)調(diào)整連接權(quán)重實(shí)現(xiàn)的。 按學(xué)習(xí)方式分，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可分為有導(dǎo)師按學(xué)習(xí)方式分，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可分為有導(dǎo)師學(xué)習(xí)和無(wú)導(dǎo)師學(xué)習(xí)兩大類(lèi)。學(xué)習(xí)和無(wú)導(dǎo)師學(xué)習(xí)兩大類(lèi)。 （1）有導(dǎo)師學(xué)習(xí)）有導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí)方式需要外界有導(dǎo)師學(xué)習(xí)方式需要外界“導(dǎo)師導(dǎo)師”，導(dǎo)師對(duì)神，導(dǎo)師對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程進(jìn)行示教，對(duì)每一組給定的輸入經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程進(jìn)行示教，對(duì)每一組給定的輸入提供應(yīng)有的輸出結(jié)果，即提供訓(xùn)練數(shù)據(jù)，組織一批提供應(yīng)有的輸出結(jié)果，即提供訓(xùn)練數(shù)據(jù)，組織一批正確的輸入正確的輸入輸出數(shù)據(jù)對(duì)，把網(wǎng)絡(luò)的實(shí)際響應(yīng)輸出輸出數(shù)據(jù)對(duì)，把網(wǎng)絡(luò)的實(shí)際響應(yīng)輸

7、出與應(yīng)有響應(yīng)輸出相比較，得到已知輸出與實(shí)際輸出與應(yīng)有響應(yīng)輸出相比較，得到已知輸出與實(shí)際輸出之間的差值，并據(jù)此來(lái)調(diào)節(jié)系統(tǒng)的參數(shù)（修改各連之間的差值，并據(jù)此來(lái)調(diào)節(jié)系統(tǒng)的參數(shù)（修改各連接權(quán)），使神經(jīng)網(wǎng)絡(luò)朝著能正常響應(yīng)的方向不斷變接權(quán)），使神經(jīng)網(wǎng)絡(luò)朝著能正常響應(yīng)的方向不斷變化，直到實(shí)際響應(yīng)的輸出與應(yīng)有響應(yīng)輸出的誤差在化，直到實(shí)際響應(yīng)的輸出與應(yīng)有響應(yīng)輸出的誤差在允許范圍內(nèi)，網(wǎng)絡(luò)能夠解決實(shí)際應(yīng)用中遇到的問(wèn)題。允許范圍內(nèi)，網(wǎng)絡(luò)能夠解決實(shí)際應(yīng)用中遇到的問(wèn)題。 這種學(xué)習(xí)方式也稱(chēng)誤差修正方式，訓(xùn)練過(guò)程中，這種學(xué)習(xí)方式也稱(chēng)誤差修正方式，訓(xùn)練過(guò)程中，導(dǎo)師還應(yīng)進(jìn)行監(jiān)督。導(dǎo)師還應(yīng)進(jìn)行監(jiān)督。 有導(dǎo)師學(xué)習(xí)方式比較簡(jiǎn)單，但要求

8、導(dǎo)師對(duì)環(huán)境有導(dǎo)師學(xué)習(xí)方式比較簡(jiǎn)單，但要求導(dǎo)師對(duì)環(huán)境和網(wǎng)絡(luò)的結(jié)構(gòu)要相當(dāng)熟悉，并有豐富的經(jīng)驗(yàn)知識(shí)。和網(wǎng)絡(luò)的結(jié)構(gòu)要相當(dāng)熟悉，并有豐富的經(jīng)驗(yàn)知識(shí)。事實(shí)上，如果環(huán)境變化較多，而系統(tǒng)又比較復(fù)雜時(shí)，事實(shí)上，如果環(huán)境變化較多，而系統(tǒng)又比較復(fù)雜時(shí)，環(huán)境變化要求不斷調(diào)整加權(quán)值，有導(dǎo)師學(xué)習(xí)就不太環(huán)境變化要求不斷調(diào)整加權(quán)值，有導(dǎo)師學(xué)習(xí)就不太適宜了。適宜了。 應(yīng)有應(yīng)有響應(yīng)響應(yīng)環(huán)境環(huán)境 教教 師師 學(xué)習(xí)系統(tǒng)學(xué)習(xí)系統(tǒng) 誤差信號(hào)誤差信號(hào) 環(huán)境狀態(tài)信號(hào)環(huán)境狀態(tài)信號(hào) 實(shí)際響應(yīng)實(shí)際響應(yīng) （2）無(wú)導(dǎo)師學(xué)習(xí) 無(wú)導(dǎo)師學(xué)習(xí)不存在外部導(dǎo)師，學(xué)習(xí)系統(tǒng)完全按無(wú)導(dǎo)師學(xué)習(xí)不存在外部導(dǎo)師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境所提供的數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律調(diào)節(jié)自身結(jié)構(gòu)照環(huán)

9、境所提供的數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律調(diào)節(jié)自身結(jié)構(gòu)與參數(shù)。與參數(shù)。 無(wú)導(dǎo)師學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集只有輸入，沒(méi)有輸出，無(wú)導(dǎo)師學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集只有輸入，沒(méi)有輸出，訓(xùn)練過(guò)程中神經(jīng)網(wǎng)絡(luò)自動(dòng)地將各輸入數(shù)據(jù)的特征提訓(xùn)練過(guò)程中神經(jīng)網(wǎng)絡(luò)自動(dòng)地將各輸入數(shù)據(jù)的特征提取出來(lái)，再分成若干類(lèi)。訓(xùn)練后的網(wǎng)絡(luò)能夠識(shí)別訓(xùn)取出來(lái)，再分成若干類(lèi)。訓(xùn)練后的網(wǎng)絡(luò)能夠識(shí)別訓(xùn)練數(shù)據(jù)集以外的新的輸入類(lèi)別，并獲得相應(yīng)的輸出。練數(shù)據(jù)集以外的新的輸入類(lèi)別，并獲得相應(yīng)的輸出。這種具有自組織、自學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)具有廣闊這種具有自組織、自學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)具有廣闊的應(yīng)用前景。的應(yīng)用前景。 5.2 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 學(xué)習(xí)算法也稱(chēng)學(xué)習(xí)規(guī)則。常用的神

10、經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)算法也稱(chēng)學(xué)習(xí)規(guī)則。常用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法主要有算法主要有hebb學(xué)習(xí)法、誤差糾正學(xué)習(xí)法和競(jìng)爭(zhēng)學(xué)習(xí)法、誤差糾正學(xué)習(xí)法和競(jìng)爭(zhēng)學(xué)習(xí)法等。學(xué)習(xí)法等。 （1）hebb學(xué)習(xí)法學(xué)習(xí)法 這種由心理學(xué)家基于對(duì)生理學(xué)和心理學(xué)的研究這種由心理學(xué)家基于對(duì)生理學(xué)和心理學(xué)的研究提出的學(xué)習(xí)行為的突觸聯(lián)系和神經(jīng)群理論，經(jīng)后來(lái)提出的學(xué)習(xí)行為的突觸聯(lián)系和神經(jīng)群理論，經(jīng)后來(lái)的學(xué)者引用、發(fā)展，成為一種經(jīng)典使用的學(xué)習(xí)算法：的學(xué)者引用、發(fā)展，成為一種經(jīng)典使用的學(xué)習(xí)算法： 當(dāng)某一突觸（連接）兩端的神經(jīng)元同為激活或當(dāng)某一突觸（連接）兩端的神經(jīng)元同為激活或同為抑制（稱(chēng)為激活同步）時(shí)，該連接的強(qiáng)度應(yīng)增同為抑制（稱(chēng)為激活同步）時(shí)，該

11、連接的強(qiáng)度應(yīng)增加；反之，則應(yīng)減弱。這一理論的數(shù)學(xué)描述為加；反之，則應(yīng)減弱。這一理論的數(shù)學(xué)描述為最常用的是最常用的是 nynyfnwjiij, nynynwjiij權(quán)權(quán)重重的的變變化化量量 兩端兩端神經(jīng)元的狀態(tài)神經(jīng)元的狀態(tài) nwij學(xué)習(xí)率常數(shù)，也稱(chēng)為步學(xué)習(xí)率常數(shù)，也稱(chēng)為步長(zhǎng)，長(zhǎng)， 0 （2）誤差糾正學(xué)習(xí)法）誤差糾正學(xué)習(xí)法 nyndnekkk誤差信號(hào)誤差信號(hào)神經(jīng)元神經(jīng)元 k 在在 n 時(shí)刻的實(shí)際輸出時(shí)刻的實(shí)際輸出 神經(jīng)元神經(jīng)元 k 在在 n 時(shí)刻的應(yīng)時(shí)刻的應(yīng)有輸出有輸出 誤差糾正學(xué)習(xí)法的目的是使某一基于誤差糾正學(xué)習(xí)法的目的是使某一基于 ek(n) 的目的目標(biāo)函數(shù)達(dá)到最小，從而使網(wǎng)絡(luò)中的每一輸出單元

12、的標(biāo)函數(shù)達(dá)到最小，從而使網(wǎng)絡(luò)中的每一輸出單元的實(shí)際輸出在一定的統(tǒng)計(jì)意義上逼近于應(yīng)有響應(yīng)，即實(shí)際輸出在一定的統(tǒng)計(jì)意義上逼近于應(yīng)有響應(yīng)，即應(yīng)有輸出。應(yīng)有輸出。 誤差糾正學(xué)習(xí)在選定目標(biāo)函數(shù)形式后，就成為誤差糾正學(xué)習(xí)在選定目標(biāo)函數(shù)形式后，就成為一個(gè)典型的最優(yōu)化問(wèn)題。而最常用的目標(biāo)函數(shù)是均一個(gè)典型的最優(yōu)化問(wèn)題。而最常用的目標(biāo)函數(shù)是均方根誤差判據(jù)：方根誤差判據(jù)： 即求期望算子運(yùn)算。其前提是學(xué)習(xí)的過(guò)程必須是寬即求期望算子運(yùn)算。其前提是學(xué)習(xí)的過(guò)程必須是寬平穩(wěn)的，具體方法可用平穩(wěn)的，具體方法可用 最陡梯度下降法。但直接用最陡梯度下降法。但直接用j 作為目標(biāo)函數(shù)需要知道整個(gè)過(guò)程的統(tǒng)計(jì)特性，這作為目標(biāo)函數(shù)需要知道整

13、個(gè)過(guò)程的統(tǒng)計(jì)特性，這樣較為困難，通常的解決方法是用樣較為困難，通常的解決方法是用 j 在時(shí)刻在時(shí)刻 n 的瞬的瞬時(shí)值時(shí)值 (n) 代替：代替： kkneej221 kknen221 利用最陡梯度下降法，可以求出利用最陡梯度下降法，可以求出 (n) 對(duì)權(quán)值對(duì)權(quán)值 w 的極小值的極小值 nxnenwjkkj學(xué)習(xí)步長(zhǎng)學(xué)習(xí)步長(zhǎng) （3）競(jìng)爭(zhēng)學(xué)習(xí)法）競(jìng)爭(zhēng)學(xué)習(xí)法 在學(xué)習(xí)過(guò)程中，網(wǎng)絡(luò)各輸出單元相互競(jìng)爭(zhēng)，最在學(xué)習(xí)過(guò)程中，網(wǎng)絡(luò)各輸出單元相互競(jìng)爭(zhēng)，最后達(dá)到只有一個(gè)最強(qiáng)者激活。后達(dá)到只有一個(gè)最強(qiáng)者激活。 最常見(jiàn)的一種情況是輸出神經(jīng)單元之間有側(cè)向最常見(jiàn)的一種情況是輸出神經(jīng)單元之間有側(cè)向抑制性連接，其中多輸出單元中如果有

14、某一單元較抑制性連接，其中多輸出單元中如果有某一單元較強(qiáng)，它將獲得最終勝利，并處于激活狀態(tài)，而其他強(qiáng)，它將獲得最終勝利，并處于激活狀態(tài)，而其他單元將被抑制。單元將被抑制。 1x2x3x4x輸入層輸入層 輸出層輸出層 最常用的學(xué)習(xí)規(guī)則為最常用的學(xué)習(xí)規(guī)則為 失敗獲勝jjwxnwijiij05.3 神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶 神經(jīng)網(wǎng)絡(luò)的記憶包括信息的存儲(chǔ)與回憶。神經(jīng)神經(jīng)網(wǎng)絡(luò)的記憶包括信息的存儲(chǔ)與回憶。神經(jīng)網(wǎng)絡(luò)可以通過(guò)學(xué)習(xí)將獲取的知識(shí)信息以分布式方式網(wǎng)絡(luò)可以通過(guò)學(xué)習(xí)將獲取的知識(shí)信息以分布式方式相對(duì)穩(wěn)定地存儲(chǔ)在連接權(quán)的變化上，這種記憶稱(chēng)為相對(duì)穩(wěn)定地存儲(chǔ)在連接權(quán)的變化上，這種記憶稱(chēng)為長(zhǎng)期記憶。而

15、學(xué)習(xí)期間的記憶則屬于短期記憶。長(zhǎng)期記憶。而學(xué)習(xí)期間的記憶則屬于短期記憶。 聯(lián)想記憶是指實(shí)現(xiàn)模式完善、恢復(fù)相關(guān)模式的聯(lián)想記憶是指實(shí)現(xiàn)模式完善、恢復(fù)相關(guān)模式的相互回憶。在人工神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)，如對(duì)模式進(jìn)行相互回憶。在人工神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)，如對(duì)模式進(jìn)行識(shí)別，是在已存貯的識(shí)別，是在已存貯的“知識(shí)知識(shí)”中尋找與該輸入匹配中尋找與該輸入匹配最好的存貯最好的存貯“知識(shí)知識(shí)”作為其解，是一種回憶過(guò)程。作為其解，是一種回憶過(guò)程。聯(lián)想記憶是人腦記憶的一種重要形式，可分為自聯(lián)聯(lián)想記憶是人腦記憶的一種重要形式，可分為自聯(lián)想和異聯(lián)想。想和異聯(lián)想。 （1）按內(nèi)容存取記憶，即信息的存取由信息本）按內(nèi)容存取記憶，即信息的存取由信

16、息本身的內(nèi)容來(lái)實(shí)現(xiàn)。而傳統(tǒng)的計(jì)算機(jī)信息存取是通過(guò)身的內(nèi)容來(lái)實(shí)現(xiàn)。而傳統(tǒng)的計(jì)算機(jī)信息存取是通過(guò)尋找存儲(chǔ)器的地址實(shí)現(xiàn)的。尋找存儲(chǔ)器的地址實(shí)現(xiàn)的。 （2）分布式存儲(chǔ)，即模仿人腦將記憶單元與處）分布式存儲(chǔ)，即模仿人腦將記憶單元與處理單元合一。而傳統(tǒng)的計(jì)算機(jī)信息存儲(chǔ)是集中地存理單元合一。而傳統(tǒng)的計(jì)算機(jī)信息存儲(chǔ)是集中地存儲(chǔ)在某些單元中的。儲(chǔ)在某些單元中的。 按照作用方式的不同，聯(lián)想可分為線性聯(lián)想和按照作用方式的不同，聯(lián)想可分為線性聯(lián)想和非線性聯(lián)想。線性聯(lián)想可表示為非線性聯(lián)想。線性聯(lián)想可表示為axy 輸出向量輸出向量 存儲(chǔ)矩陣存儲(chǔ)矩陣 輸入向量輸入向量 聯(lián)想記憶有兩個(gè)最突出的特點(diǎn)：聯(lián)想記憶有兩個(gè)最突出的特點(diǎn)

17、： 非線性聯(lián)想可表示為非線性函數(shù)非線性聯(lián)想可表示為非線性函數(shù) axfy 最簡(jiǎn)單的靜態(tài)聯(lián)想存儲(chǔ)可以用前饋網(wǎng)絡(luò)實(shí)現(xiàn)。最簡(jiǎn)單的靜態(tài)聯(lián)想存儲(chǔ)可以用前饋網(wǎng)絡(luò)實(shí)現(xiàn)。5.4 前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò) 從結(jié)構(gòu)上來(lái)區(qū)分，神經(jīng)網(wǎng)絡(luò)大多屬于前饋型神從結(jié)構(gòu)上來(lái)區(qū)分，神經(jīng)網(wǎng)絡(luò)大多屬于前饋型神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱(chēng)前饋網(wǎng)絡(luò)，也稱(chēng)前向網(wǎng)絡(luò)）。經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱(chēng)前饋網(wǎng)絡(luò)，也稱(chēng)前向網(wǎng)絡(luò)）。 前饋網(wǎng)絡(luò)是分層結(jié)構(gòu)，信息只能從輸入層單元前饋網(wǎng)絡(luò)是分層結(jié)構(gòu)，信息只能從輸入層單元到其上一層單元，即第一層的單元與第二層的所有到其上一層單元，即第一層的單元與第二層的所有單元連接單元連接。感知器網(wǎng)絡(luò)、。感知器網(wǎng)絡(luò)、bp網(wǎng)絡(luò)和競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)網(wǎng)絡(luò)和競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)是

18、三種典型的前饋網(wǎng)絡(luò)。絡(luò)是三種典型的前饋網(wǎng)絡(luò)。 感知器網(wǎng)絡(luò)感知器網(wǎng)絡(luò) （1）單層感知器網(wǎng)絡(luò)）單層感知器網(wǎng)絡(luò) 單層感知器網(wǎng)絡(luò)是一種最基本的兩層網(wǎng)絡(luò)，兩單層感知器網(wǎng)絡(luò)是一種最基本的兩層網(wǎng)絡(luò)，兩層即輸入層和輸出層，每層由多個(gè)處理單元構(gòu)成。層即輸入層和輸出層，每層由多個(gè)處理單元構(gòu)成。1x2xnx1y2ymyw11w12 nmw 單層感知器網(wǎng)絡(luò)的學(xué)習(xí)是典型的有導(dǎo)師學(xué)習(xí)，單層感知器網(wǎng)絡(luò)的學(xué)習(xí)是典型的有導(dǎo)師學(xué)習(xí)，其訓(xùn)練要素包括訓(xùn)練樣本和訓(xùn)練規(guī)則。給定一個(gè)訓(xùn)其訓(xùn)練要素包括訓(xùn)練樣本和訓(xùn)練規(guī)則。給定一個(gè)訓(xùn)練模式，輸出單元就會(huì)有一個(gè)相應(yīng)的輸出向量，可練模式，輸出單元就會(huì)有一個(gè)相應(yīng)的輸出向量，可以用期望輸出與實(shí)際輸出的

19、誤差來(lái)修正網(wǎng)絡(luò)的權(quán)值。以用期望輸出與實(shí)際輸出的誤差來(lái)修正網(wǎng)絡(luò)的權(quán)值。修正算法如下：修正算法如下： kxkydkwkwijjjiji1 nijijijxkwfky1取值區(qū)間為取值區(qū)間為( 0,1 權(quán)值取決于輸入狀態(tài)、輸出誤差以及學(xué)習(xí)因子。權(quán)值取決于輸入狀態(tài)、輸出誤差以及學(xué)習(xí)因子。由于輸入狀態(tài)為由于輸入狀態(tài)為 10或kxi期望輸出與實(shí)際輸出之差為期望輸出與實(shí)際輸出之差為 0, 1101, 01jjjjjjjjjdkydkydkykyde 則僅當(dāng)輸出單元?jiǎng)t僅當(dāng)輸出單元 j 有輸出誤差，且相連輸入狀有輸出誤差，且相連輸入狀態(tài)為態(tài)為 1 時(shí)，修正權(quán)值應(yīng)增加或減少一個(gè)量，修正量時(shí)，修正權(quán)值應(yīng)增加或減少一個(gè)

20、量，修正量由學(xué)習(xí)因子由學(xué)習(xí)因子 控制，控制， 的取值應(yīng)恰當(dāng)，的取值應(yīng)恰當(dāng)， 過(guò)大，影過(guò)大，影響學(xué)習(xí)的收斂性；響學(xué)習(xí)的收斂性； 過(guò)小，延長(zhǎng)訓(xùn)練時(shí)間，影響權(quán)過(guò)小，延長(zhǎng)訓(xùn)練時(shí)間，影響權(quán)值的收斂速度。值的收斂速度。 單層感知器網(wǎng)絡(luò)是一個(gè)前饋（正向傳輸）網(wǎng)絡(luò)，單層感知器網(wǎng)絡(luò)是一個(gè)前饋（正向傳輸）網(wǎng)絡(luò)，所有節(jié)點(diǎn)都是線性的。單層感知器網(wǎng)絡(luò)可以用來(lái)求所有節(jié)點(diǎn)都是線性的。單層感知器網(wǎng)絡(luò)可以用來(lái)求解線性決策函數(shù)，解決一階謂詞邏輯（如邏輯與、解線性決策函數(shù)，解決一階謂詞邏輯（如邏輯與、邏輯或等）問(wèn)題。邏輯或等）問(wèn)題。 （2）多層感知器網(wǎng)絡(luò)）多層感知器網(wǎng)絡(luò) 兩層感知器網(wǎng)絡(luò)兩層感知器網(wǎng)絡(luò) 1x2x3x1y2yh1h2h

21、3bp網(wǎng)絡(luò)網(wǎng)絡(luò)（1）bp網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型 bp（back-propagation）網(wǎng)絡(luò)即誤差向后傳播）網(wǎng)絡(luò)即誤差向后傳播神經(jīng)網(wǎng)絡(luò)，是神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛的一種模神經(jīng)網(wǎng)絡(luò)，是神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛的一種模型。型。bp網(wǎng)絡(luò)與感知器網(wǎng)絡(luò)的區(qū)別在于網(wǎng)絡(luò)節(jié)點(diǎn)具有網(wǎng)絡(luò)與感知器網(wǎng)絡(luò)的區(qū)別在于網(wǎng)絡(luò)節(jié)點(diǎn)具有非線性單元，采用了廣義非線性單元，采用了廣義 學(xué)習(xí)規(guī)則。學(xué)習(xí)規(guī)則。 bp網(wǎng)絡(luò)屬典型的多層網(wǎng)絡(luò)，包括一個(gè)輸入層、網(wǎng)絡(luò)屬典型的多層網(wǎng)絡(luò)，包括一個(gè)輸入層、一個(gè)或多個(gè)隱層和一個(gè)輸出層，每層都有多個(gè)節(jié)點(diǎn)。一個(gè)或多個(gè)隱層和一個(gè)輸出層，每層都有多個(gè)節(jié)點(diǎn)。bp網(wǎng)絡(luò)是正向網(wǎng)絡(luò)，層與層之間多采用全連接方式，網(wǎng)絡(luò)是正向網(wǎng)絡(luò)，

22、層與層之間多采用全連接方式，但同一層的單元之間不存在相互連接。但同一層的單元之間不存在相互連接。 1y2ymy1x2xnx輸入層輸入層 隱隱 層層 輸出層輸出層 對(duì)于輸入信號(hào)，要經(jīng)過(guò)輸入層，向前傳遞到隱對(duì)于輸入信號(hào)，要經(jīng)過(guò)輸入層，向前傳遞到隱層節(jié)點(diǎn)，經(jīng)過(guò)轉(zhuǎn)移函數(shù)作用后，從隱層節(jié)點(diǎn)輸出到層節(jié)點(diǎn)，經(jīng)過(guò)轉(zhuǎn)移函數(shù)作用后，從隱層節(jié)點(diǎn)輸出到輸出層節(jié)點(diǎn)輸出最終結(jié)果。輸出層節(jié)點(diǎn)輸出最終結(jié)果。 如果輸出響應(yīng)與期望值有誤差，且不滿足要求，如果輸出響應(yīng)與期望值有誤差，且不滿足要求，就轉(zhuǎn)入誤差后向傳播，將誤差值沿連接通路逐層向就轉(zhuǎn)入誤差后向傳播，將誤差值沿連接通路逐層向后傳送，同時(shí)修正連接權(quán)值。后傳送，同時(shí)修正連接權(quán)

23、值。 bp網(wǎng)絡(luò)的輸入、輸出可連續(xù)變化，隱層、輸出網(wǎng)絡(luò)的輸入、輸出可連續(xù)變化，隱層、輸出層的基本處理單元一般采用層的基本處理單元一般采用 s 型作用函數(shù)為輸入型作用函數(shù)為輸入輸出的非線性關(guān)系，即輸出的非線性關(guān)系，即 rxekxf1iiijjxwxjxjxjjexfx11)()1 (jjjjxxxx則輸出層神經(jīng)元的輸出：輸出層神經(jīng)元的輸出：jjjllxwx 。0lxlllxxe0nllpee1221l（2）jlwjljllljlpjlxewxewewjljljlwkwkw)() 1(其中 ijwnlijllijpijwxewew1ijjjlijjjlijjjjjlijlxxxwxxxwwxxxxx

24、wx)1 (ijijijwkwkw)() 1( 11kwkwwkwkwjljljljljl)1()()() 1(kwkwwkwkwijijijijij其中其中 為學(xué)習(xí)速率，為學(xué)習(xí)速率， 為動(dòng)量因子。為動(dòng)量因子。 1 , 01 , 05.5 反饋型神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò) 前饋型神經(jīng)網(wǎng)絡(luò)是單向連接的沒(méi)有反饋的靜態(tài)前饋型神經(jīng)網(wǎng)絡(luò)是單向連接的沒(méi)有反饋的靜態(tài)網(wǎng)絡(luò)，缺乏動(dòng)態(tài)性能。網(wǎng)絡(luò)，缺乏動(dòng)態(tài)性能。1982年，美國(guó)物理學(xué)家年，美國(guó)物理學(xué)家hopfield提出了一種由非線性元件構(gòu)成的單層反饋提出了一種由非線性元件構(gòu)成的單層反饋神經(jīng)網(wǎng)絡(luò)系統(tǒng)，后人稱(chēng)為神經(jīng)網(wǎng)絡(luò)系統(tǒng)，后人稱(chēng)為hopfield網(wǎng)絡(luò)。這種反饋網(wǎng)絡(luò)。這

25、種反饋型神經(jīng)網(wǎng)絡(luò)是一個(gè)反饋動(dòng)力學(xué)系統(tǒng)，通過(guò)神經(jīng)元的型神經(jīng)網(wǎng)絡(luò)是一個(gè)反饋動(dòng)力學(xué)系統(tǒng)，通過(guò)神經(jīng)元的狀態(tài)變遷，系統(tǒng)最終可穩(wěn)定在某一狀態(tài)。狀態(tài)變遷，系統(tǒng)最終可穩(wěn)定在某一狀態(tài)。 hopfield網(wǎng)絡(luò)是最常用的反饋式人工神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)是最常用的反饋式人工神經(jīng)網(wǎng)絡(luò)。 反饋神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)的的輸出輸出信號(hào)信號(hào)反饋到其輸入端反饋到其輸入端，因，因此此，在輸入的激勵(lì)下，會(huì)產(chǎn)生不斷的狀態(tài)變化。當(dāng)，在輸入的激勵(lì)下，會(huì)產(chǎn)生不斷的狀態(tài)變化。當(dāng)有輸入之后，可以求取有輸入之后，可以求取hopfield的輸出，這個(gè)輸出的輸出，這個(gè)輸出反饋到輸入從而產(chǎn)生新的輸出，反饋到輸入從而產(chǎn)生新的輸出，如此往復(fù)如此往復(fù)。 如果如果hop

26、field網(wǎng)絡(luò)是能收斂的穩(wěn)定網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)是能收斂的穩(wěn)定網(wǎng)絡(luò)，這個(gè)反饋與迭代的計(jì)算過(guò)程所產(chǎn)生的變化反饋與迭代的計(jì)算過(guò)程所產(chǎn)生的變化將將越來(lái)越小，越來(lái)越小，hopfield網(wǎng)絡(luò)會(huì)輸出一個(gè)穩(wěn)定的恒值。對(duì)于網(wǎng)絡(luò)會(huì)輸出一個(gè)穩(wěn)定的恒值。對(duì)于hopfield網(wǎng)絡(luò)，關(guān)鍵網(wǎng)絡(luò)，關(guān)鍵在于在于穩(wěn)定條件下的權(quán)系數(shù)。穩(wěn)定條件下的權(quán)系數(shù)。 反饋網(wǎng)絡(luò)有穩(wěn)定的，也有不穩(wěn)定的。對(duì)于反饋網(wǎng)絡(luò)有穩(wěn)定的，也有不穩(wěn)定的。對(duì)于hopfield網(wǎng)絡(luò)來(lái)說(shuō)，如何判別它是穩(wěn)定網(wǎng)絡(luò)網(wǎng)絡(luò)來(lái)說(shuō)，如何判別它是穩(wěn)定網(wǎng)絡(luò)？判別判別的的依據(jù)是什么依據(jù)是什么？ 反饋型神經(jīng)網(wǎng)絡(luò)的所有節(jié)點(diǎn)之間都可互相連接，反饋型神經(jīng)網(wǎng)絡(luò)的所有節(jié)點(diǎn)之間都可互相連接，一個(gè)節(jié)點(diǎn)在接受

27、其它節(jié)點(diǎn)的輸入的同時(shí)，也向其它一個(gè)節(jié)點(diǎn)在接受其它節(jié)點(diǎn)的輸入的同時(shí)，也向其它節(jié)點(diǎn)輸出。節(jié)點(diǎn)輸出。 hopfield網(wǎng)絡(luò)是一種網(wǎng)狀網(wǎng)絡(luò)，可分為離散型網(wǎng)絡(luò)是一種網(wǎng)狀網(wǎng)絡(luò)，可分為離散型與連續(xù)型兩種，兩種網(wǎng)絡(luò)的結(jié)構(gòu)相同。與連續(xù)型兩種，兩種網(wǎng)絡(luò)的結(jié)構(gòu)相同。離散型離散型hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出只取經(jīng)元的輸出只取1和和0這兩個(gè)值，也稱(chēng)離散這兩個(gè)值，也稱(chēng)離散hopfield神經(jīng)網(wǎng)絡(luò)。在離散神經(jīng)網(wǎng)絡(luò)。在離散hopfield網(wǎng)絡(luò)中，采用的神經(jīng)元網(wǎng)絡(luò)中，采用的神經(jīng)元是二值神經(jīng)元是二值神經(jīng)元，1和和0分別表示神經(jīng)元處于激活和抑分

28、別表示神經(jīng)元處于激活和抑制狀態(tài)。制狀態(tài)。 由三個(gè)神經(jīng)元組成的離散由三個(gè)神經(jīng)元組成的離散hopfield神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖所示。其結(jié)構(gòu)如圖所示。第第0層層第第1層層第第0層僅僅是作為網(wǎng)絡(luò)的輸入，它層僅僅是作為網(wǎng)絡(luò)的輸入，它不是實(shí)際神經(jīng)元，所以無(wú)計(jì)算功能不是實(shí)際神經(jīng)元，所以無(wú)計(jì)算功能第一層是實(shí)際神經(jīng)元，執(zhí)行對(duì)輸入第一層是實(shí)際神經(jīng)元，執(zhí)行對(duì)輸入信息和權(quán)系數(shù)乘積求累加和，并由信息和權(quán)系數(shù)乘積求累加和，并由非線性函數(shù)非線性函數(shù)f處理后產(chǎn)生輸出信息處理后產(chǎn)生輸出信息 f 是一個(gè)簡(jiǎn)單的閥值函效，如果神經(jīng)元的輸出是一個(gè)簡(jiǎn)單的閥值函效，如果神經(jīng)元的輸出信息大于閥值信息大于閥值，那么，神經(jīng)元的輸出就取

29、值為，那么，神經(jīng)元的輸出就取值為1；小于閥值小于閥值，則神經(jīng)元的輸出就取值為，則神經(jīng)元的輸出就取值為0。 對(duì)于二值神經(jīng)元，它的計(jì)算公式如下：對(duì)于二值神經(jīng)元，它的計(jì)算公式如下： 其中：其中： 為外部輸入。并且有：為外部輸入。并且有： yi=1,當(dāng)當(dāng)uii時(shí)時(shí) yi=0,當(dāng)當(dāng)ui0，經(jīng)過(guò)有限時(shí)刻，經(jīng)過(guò)有限時(shí)刻 t，有：，有：y(t+t)=y(t)則稱(chēng)網(wǎng)絡(luò)是穩(wěn)定的。則稱(chēng)網(wǎng)絡(luò)是穩(wěn)定的。 三個(gè)神經(jīng)元的離散三個(gè)神經(jīng)元的離散hopfield網(wǎng)絡(luò)的輸出層就是三網(wǎng)絡(luò)的輸出層就是三位二進(jìn)制數(shù)；每一個(gè)三位二進(jìn)制數(shù)就是一種網(wǎng)絡(luò)狀位二進(jìn)制數(shù)；每一個(gè)三位二進(jìn)制數(shù)就是一種網(wǎng)絡(luò)狀態(tài)，從而共有態(tài)，從而共有8個(gè)網(wǎng)絡(luò)狀態(tài)。這些網(wǎng)絡(luò)

30、狀態(tài)如圖所個(gè)網(wǎng)絡(luò)狀態(tài)。這些網(wǎng)絡(luò)狀態(tài)如圖所示。在圖中，立方體的每一個(gè)頂角表示一種網(wǎng)絡(luò)狀示。在圖中，立方體的每一個(gè)頂角表示一種網(wǎng)絡(luò)狀態(tài)。態(tài)。 同理，對(duì)于同理，對(duì)于n個(gè)神經(jīng)元的輸出層，它有個(gè)神經(jīng)元的輸出層，它有2n個(gè)網(wǎng)絡(luò)個(gè)網(wǎng)絡(luò)狀態(tài)，也和一個(gè)狀態(tài)，也和一個(gè)n維超立方體的頂角相對(duì)應(yīng)。維超立方體的頂角相對(duì)應(yīng)。 如果如果hopfield網(wǎng)絡(luò)是一個(gè)穩(wěn)定網(wǎng)絡(luò)，那么在網(wǎng)絡(luò)網(wǎng)絡(luò)是一個(gè)穩(wěn)定網(wǎng)絡(luò)，那么在網(wǎng)絡(luò)的輸入端加入一個(gè)輸入向量，則網(wǎng)絡(luò)的狀態(tài)會(huì)產(chǎn)生的輸入端加入一個(gè)輸入向量，則網(wǎng)絡(luò)的狀態(tài)會(huì)產(chǎn)生變化，也就是從超立方體的一個(gè)頂角轉(zhuǎn)移向另一個(gè)變化，也就是從超立方體的一個(gè)頂角轉(zhuǎn)移向另一個(gè)頂角，并且最終穩(wěn)定于一個(gè)特定的頂角。頂角

31、，并且最終穩(wěn)定于一個(gè)特定的頂角。 對(duì)于一個(gè)由對(duì)于一個(gè)由n個(gè)神經(jīng)元組成的離散個(gè)神經(jīng)元組成的離散hopfield網(wǎng)絡(luò)，網(wǎng)絡(luò)，則有則有 n * n 權(quán)系數(shù)矩陣權(quán)系數(shù)矩陣 w ：w=wij i=1,2,.,n j=1,2,.,n同時(shí)，有同時(shí)，有n維閥值向量維閥值向量：=1,2,.nt 一船一船而言，而言，w和和可以確定一個(gè)唯一的離散可以確定一個(gè)唯一的離散hopfield網(wǎng)絡(luò)。網(wǎng)絡(luò)。 考慮離散考慮離散hopfield網(wǎng)絡(luò)的一般節(jié)點(diǎn)狀態(tài)，用網(wǎng)絡(luò)的一般節(jié)點(diǎn)狀態(tài)，用yj(t)表示第表示第j個(gè)神經(jīng)元，即節(jié)點(diǎn)個(gè)神經(jīng)元，即節(jié)點(diǎn)j在時(shí)刻在時(shí)刻t的狀態(tài)，則節(jié)點(diǎn)的狀態(tài)，則節(jié)點(diǎn)的下一個(gè)時(shí)刻的下一個(gè)時(shí)刻(t+1)的狀態(tài)可以求

32、出如下：的狀態(tài)可以求出如下： 通過(guò)狀態(tài)不斷變化，最后狀態(tài)會(huì)穩(wěn)定下來(lái)最通過(guò)狀態(tài)不斷變化，最后狀態(tài)會(huì)穩(wěn)定下來(lái)最終的狀態(tài)是和給定向量終的狀態(tài)是和給定向量x最接近的樣本向量。所以，最接近的樣本向量。所以，hopfield網(wǎng)絡(luò)的最終輸出也就是給定向量聯(lián)想檢索網(wǎng)絡(luò)的最終輸出也就是給定向量聯(lián)想檢索結(jié)果。這個(gè)過(guò)程說(shuō)明，即使給定向量并不完全或部結(jié)果。這個(gè)過(guò)程說(shuō)明，即使給定向量并不完全或部分不正確，也能找到正確的分不正確，也能找到正確的結(jié)果。結(jié)果。 在本質(zhì)上，它也有濾波功能。在本質(zhì)上，它也有濾波功能。 連續(xù)連續(xù)hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 連續(xù)連續(xù)hopfield網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和離散網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和離散hopfield網(wǎng)網(wǎng)絡(luò)相同。連續(xù)絡(luò)相同。連續(xù)hopfield網(wǎng)絡(luò)和離散網(wǎng)絡(luò)和離散hopfield網(wǎng)絡(luò)一網(wǎng)絡(luò)一樣，其穩(wěn)定條件為樣，其穩(wěn)定條件為wij=wji。不同之處在于函數(shù)。不同之處在于函數(shù)g不不是階躍函數(shù)