第七章：多層神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì).ppt

1、第七章：多層神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì),北京工業(yè)大學(xué),Beijing University of Technology,2/54,2020/8/4,神經(jīng)網(wǎng)絡(luò)的性能主要取決于神經(jīng)元類型、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及相應(yīng)的學(xué)習(xí)算法。因此可以說神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)，其實(shí)質(zhì)就是如何選取神經(jīng)元及其連接形式、如何選擇學(xué)習(xí)算法，確保神經(jīng)網(wǎng)絡(luò)性能達(dá)到期望值。雖然神經(jīng)網(wǎng)絡(luò)的形式有許多種，但是用于控制系統(tǒng)的神經(jīng)網(wǎng)絡(luò)絕大部分屬層狀結(jié)構(gòu)。因此，這里著重討論多層神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)問題 。,第七章：多層神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì),Beijing University of Technology,3/54,2020/8/4,第七章多層神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì),多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

2、,Beijing University of Technology,4/54,2020/8/4,7.1多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)涉及到網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的個(gè)數(shù)及網(wǎng)絡(luò)的層數(shù)、神經(jīng)元的激活函數(shù)、初始值以及學(xué)習(xí)算法等。對(duì)于多層感知器網(wǎng)絡(luò)而言，輸入與輸出層的神經(jīng)元數(shù)可以根據(jù)需要求解的問題來確定。因此，多層感知器網(wǎng)絡(luò)的設(shè)計(jì)一般應(yīng)從網(wǎng)絡(luò)的層數(shù)、隱含層中的神經(jīng)元個(gè)數(shù)、神經(jīng)元的激活函數(shù)、初始值和學(xué)習(xí)速率等幾個(gè)方面來進(jìn)行考慮 。,在設(shè)計(jì)中應(yīng)當(dāng)盡可能地減小神經(jīng)網(wǎng)絡(luò)模型的規(guī)模，以便縮短網(wǎng)絡(luò)的訓(xùn)練時(shí)間。下面簡(jiǎn)要地討論一下各個(gè)環(huán)節(jié)的設(shè)計(jì)原則 。,Beijing University of Technology

3、,5/54,2020/8/4,7.1多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),7.1.1 訓(xùn)練數(shù)據(jù)的處理,一、獲取樣本數(shù)據(jù),設(shè)計(jì)有監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，獲取樣本數(shù)據(jù)集是第一步，也是十分重要和關(guān)鍵的一步。樣本數(shù)據(jù)的獲取包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預(yù)處理，只有經(jīng)過上述步驟的處理后，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練才更加有效。,二、輸入數(shù)據(jù)的變換,由于Sigmoid函數(shù)的導(dǎo)數(shù)計(jì)算十分方便，因此神經(jīng)元的作用函數(shù)多選Sigmoid型。若神經(jīng)元的作用函數(shù) 為一Sigmoid函,Beijing University of Technology,6/54,2020/8/4,7.1多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),數(shù)，根據(jù)Sigmoid

4、函數(shù)的導(dǎo)數(shù)可知， 隨著 的增大，其導(dǎo)數(shù) 迅速減小。當(dāng) 很大時(shí)， 趨于0。這時(shí)，若采用BP學(xué)習(xí)算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的權(quán)值調(diào)整量幾乎為零。因此，設(shè)計(jì)者總是希望神經(jīng)元工作在 較小的區(qū)域，這樣就需要對(duì)神經(jīng)網(wǎng)絡(luò)的輸入給予適當(dāng)?shù)靥幚?，一般?。,神經(jīng)網(wǎng)絡(luò)的輸入取決于實(shí)際，若實(shí)際數(shù)據(jù)很大，則需要做歸一化處理，以保證神經(jīng)元工作在 較小的區(qū)域。由于輸入數(shù)據(jù)發(fā)生了變化，那么對(duì)神經(jīng)網(wǎng)絡(luò)的輸出也要進(jìn)行相應(yīng)的處理。如將輸出放大 倍，的大小視實(shí)際而定，且需經(jīng)驗(yàn)知識(shí)的積累 。,Beijing University of Technology,7/54,2020/8/4,7.1多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),三、神經(jīng)網(wǎng)絡(luò)的泛化能力,

5、神經(jīng)網(wǎng)絡(luò)的泛化能力(Generalization Ability)也稱綜合能力或概括能力，是指用較少的樣本數(shù)據(jù)進(jìn)行訓(xùn)練，使神經(jīng)網(wǎng)絡(luò)能在給定的區(qū)域內(nèi)達(dá)到要求的精度?；蛘哒f，用較少的樣本數(shù)據(jù)進(jìn)行訓(xùn)練，使神經(jīng)網(wǎng)絡(luò)對(duì)樣本數(shù)據(jù)之外的輸入也能給出合適的輸出。為了提高神經(jīng)網(wǎng)絡(luò)的泛化能力，需要對(duì)數(shù)據(jù)進(jìn)行相關(guān)性分析，盡量用相關(guān)性較低的數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。,Beijing University of Technology,8/54,2020/8/4,7.1多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),四、神經(jīng)網(wǎng)絡(luò)的期望輸出,當(dāng)神經(jīng)元采用標(biāo)準(zhǔn)Sigmoid型作用函數(shù)時(shí)，由于神經(jīng)網(wǎng)絡(luò)輸出層各神經(jīng)元的輸出只能趨于1或0，而不能達(dá)到1或0。在設(shè)置

6、各訓(xùn)練樣本時(shí)，期望的輸出分量 不能設(shè)置為1或0。而將期望輸出設(shè)置為0.9或0.1較為適宜。否則，可能導(dǎo)致神經(jīng)網(wǎng)絡(luò)熟訓(xùn)練不收斂。,Beijing University of Technology,9/54,2020/8/4,7.1多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),7.1.2 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì),一、神經(jīng)網(wǎng)絡(luò)的層數(shù),對(duì)于可用單層神經(jīng)元網(wǎng)絡(luò)解決的問題，應(yīng)當(dāng)首先考慮用感知器或自適應(yīng)線性網(wǎng)絡(luò)來解決，盡量不用多層感知器網(wǎng)絡(luò)，因?yàn)樽赃m應(yīng)線性網(wǎng)絡(luò)的運(yùn)算速度更快。對(duì)于一些復(fù)雜的非線性問題，單層神經(jīng)網(wǎng)絡(luò)無法解決或精度不能達(dá)到要求，只有增加層數(shù)才能達(dá)到期望的結(jié)果。這是因?yàn)閱螌泳W(wǎng)絡(luò)的神經(jīng)元數(shù)被要解決的問題本身限制，不能發(fā)揮出非線

7、性作用函數(shù)的特長(zhǎng)。,Beijing University of Technology,10/54,2020/8/4,7.1多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),理論上已經(jīng)證明：隱含層采用Sigmoid函數(shù)，輸出采用線性函數(shù)的三層神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近任何非線性函數(shù)。雖然增加神經(jīng)網(wǎng)絡(luò)層數(shù)可以更進(jìn)一步降低誤差，提高精度，但同時(shí)也會(huì)使神經(jīng)網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。而誤差精度的提高實(shí)際上也可以通過增加隱含層中的神經(jīng)元數(shù)目來獲得，其訓(xùn)練效果也比增加層數(shù)更容易觀察和調(diào)整。所以一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。,Beijing University of Technology,11/54,2

8、020/8/4,7.1多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),二、隱含層的神經(jīng)元數(shù),神經(jīng)網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個(gè)隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層簡(jiǎn)單得多。那么究竟選取多少個(gè)隱含層節(jié)點(diǎn)才合適？這在理論上并沒有一個(gè)明確的規(guī)定。在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過對(duì)不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比，然后適當(dāng)?shù)募由弦稽c(diǎn)余量 。,Beijing University of Technology,12/54,2020/8/4,7.1多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),7.1.3 神經(jīng)網(wǎng)絡(luò)的參數(shù)選擇,一、初始權(quán)值的選取,初始值的選擇直接影響到學(xué)習(xí)能否收斂及訓(xùn)練時(shí)間的長(zhǎng)短。若初始權(quán)值太大，使得加權(quán)

9、后的凈輸入落在Sigmoid函數(shù)的飽和區(qū)，導(dǎo)致其導(dǎo)數(shù) 非常小，在權(quán)值修正中，因?yàn)?，當(dāng) 時(shí)，則有 。這使得 ，從而使權(quán)值調(diào)整幾乎停頓下來。所以，一般希望經(jīng)過初始加權(quán)后的每個(gè)神經(jīng)元的輸入值都接近于零，這樣可以保證神經(jīng)元的權(quán)值能夠得到比較大的調(diào)整，一般取初始權(quán)值為非常小的非零隨機(jī)數(shù)。,Beijing University of Technology,13/54,2020/8/4,7.1多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),二、學(xué)習(xí)速率,學(xué)習(xí)速率直接決定每一次循環(huán)訓(xùn)練中所產(chǎn)生權(quán)值的調(diào)整量。學(xué)習(xí)速率取得過大，可能導(dǎo)致學(xué)習(xí)算法不穩(wěn)定；但學(xué)習(xí)速率取得過小，將會(huì)導(dǎo)致學(xué)習(xí)算法收斂速度慢，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間過長(zhǎng)。一般情況下，傾

10、向于選取較小的學(xué)習(xí)速率以保證學(xué)習(xí)過程的穩(wěn)定性。,Beijing University of Technology,14/54,2020/8/4,7.1多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),二、學(xué)習(xí)速率,在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，不同的訓(xùn)練階段可以用不同的學(xué)習(xí)速率。通過觀察每一次訓(xùn)練后的誤差平方和 的下降速率，判斷所選定的學(xué)習(xí)速率是否合適。如果 下降很快，則說明學(xué)習(xí)速率合適，若 出現(xiàn)振蕩現(xiàn)象，則說明學(xué)習(xí)速率過大。對(duì)于每一個(gè)具體神經(jīng)網(wǎng)絡(luò)都存在一個(gè)合適的學(xué)習(xí)速率。對(duì)于比較復(fù)雜的神經(jīng)網(wǎng)絡(luò)，在誤差曲面的不同部位可能需要不同的學(xué)習(xí)速率。一般在學(xué)習(xí)初始階段，學(xué)習(xí)速率選擇較大的值以加快學(xué)習(xí)速度。當(dāng)學(xué)習(xí)過程快要結(jié)束時(shí)，學(xué)習(xí)速率必須

11、相當(dāng)小，否則權(quán)系數(shù)將產(chǎn)生振蕩而不收斂 。,Beijing University of Technology,15/54,2020/8/4,第七章多層神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì),徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),Beijing University of Technology,16/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),徑向基函數(shù)(RBFRedial Basis Function)神經(jīng)網(wǎng)絡(luò)，是由J. Moody和C. Darken于上世紀(jì)80年代末提出的一種神經(jīng)網(wǎng)絡(luò)模型，它是由輸入層、一個(gè)隱含層(徑向基層)和一個(gè)線性輸出層組成的前向神經(jīng)網(wǎng)絡(luò) 。,7.2.1 徑向基函數(shù)神經(jīng)元,RBF神經(jīng)網(wǎng)絡(luò)的主要特征是隱含層采

12、用徑向基函數(shù)作為神經(jīng)元的激活函數(shù)，它具有局部感受特性，徑向基函數(shù)有多種形式，其中高斯型函數(shù)是應(yīng)用較多的一種徑向基函數(shù) 。,Beijing University of Technology,17/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),一、RBF神經(jīng)元結(jié)構(gòu),圖7.2.1給出了RBF網(wǎng)絡(luò)隱含層的第 i 個(gè)徑向基神經(jīng)元結(jié)構(gòu)。,Beijing University of Technology,18/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),由圖可知，隱含層神經(jīng)元是將該層權(quán)值向量與輸入向量間的矢量距離與偏差相乘后作為該神經(jīng)元激活函數(shù)的輸入。即,若取徑向基函數(shù)為高斯函數(shù)，則神經(jīng)元的輸出為

13、：,(7.2.2),(7.2.1),可以看出，隨著 和間的距離減小，徑向基函數(shù)神經(jīng)元的輸出增加，在其輸入為0時(shí)，即和之間的距離為0時(shí)，輸出為最大值1。,Beijing University of Technology,19/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),徑向基層中的偏差 可以用來調(diào)節(jié)基函數(shù)的靈敏度，不過在實(shí)際應(yīng)用中，更直接使用的是另一個(gè)稱為伸展常數(shù) 的參數(shù)。用它來確定每一個(gè)徑向基層神經(jīng)元對(duì)其輸入矢量，也就是 與之間距離相對(duì)應(yīng)的徑向基函數(shù)的寬度。 值(或值)在實(shí)際應(yīng)用中有多種確定方式。,二、RBF神經(jīng)元工作過程,徑向基層神經(jīng)元的工作原理采用的是聚類功能。不失一般性，考慮 N

14、維空間的 n 個(gè)數(shù)據(jù)點(diǎn)()，假定數(shù)據(jù)已歸一化到一個(gè)超單立方體中。,Beijing University of Technology,20/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),由于每個(gè)數(shù)據(jù)點(diǎn)都是聚類中心的候選者，因此，數(shù)據(jù)點(diǎn) 處的密度指標(biāo)定義為：,這里， 是一個(gè)正數(shù)。顯然，如果一個(gè)數(shù)據(jù)點(diǎn)具有多個(gè)臨近的數(shù)據(jù)點(diǎn)，則該數(shù)據(jù)點(diǎn)具有高密度值。半徑定義了該點(diǎn)的一個(gè)鄰域，半徑以外的數(shù)據(jù)點(diǎn)對(duì)該點(diǎn)的密度指標(biāo)貢獻(xiàn)甚微。,(7.2.3),Beijing University of Technology,21/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),在計(jì)算每個(gè)數(shù)據(jù)點(diǎn)的密度指標(biāo)后，選擇具有最高密度

15、指標(biāo)的數(shù)據(jù)點(diǎn)為第一個(gè)聚類中心，令 為選中的點(diǎn)， 為其密度指標(biāo)那么剩余的每個(gè)數(shù)據(jù)點(diǎn) 的密度指標(biāo)可用下面的公式來修正。,其中，是一個(gè)密度指標(biāo)顯著減小的鄰域。顯然，靠近第一個(gè)聚類中心 的數(shù)據(jù)點(diǎn)密度指標(biāo)將顯著減小，使得這些點(diǎn)不可能成為下一個(gè)聚類中心。常數(shù) 通常大于，以避免出現(xiàn)相距很近的聚類中心。一般取 。此方法稱為減法聚類法。,(7.2.4),Beijing University of Technology,22/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),徑向基函數(shù)網(wǎng)絡(luò)中的徑向基層就是利用以上的聚類方法獲得徑向基函數(shù)的中心，然后計(jì)算出徑向基函數(shù)的輸出。在常用的MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中，和之

16、間的關(guān)系為：,將代入式(7.2.28)，有：,可行，當(dāng)時(shí)，有。,Beijing University of Technology,23/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),可見，當(dāng)取時(shí)，對(duì)任意給定的值，可使神經(jīng)元在加權(quán)輸入的處其輸出為0.5；那么，通過調(diào)整 值，可使得當(dāng)時(shí)，神經(jīng)元的輸出大于或等于0.5，從而直觀地達(dá)到了調(diào)整徑向基函數(shù)曲線寬度的目的。,Beijing University of Technology,24/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),與以及RBF神經(jīng)元輸出之間的關(guān)系如圖7.2.2(a)所示，其中圖7.2.2 (b)表示中心為，寬度為的RBF曲線

17、圖。,Beijing University of Technology,25/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),7.2.2 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),一、RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),RBF網(wǎng)絡(luò)結(jié)構(gòu)如圖，由一個(gè)徑向基層和一個(gè)線性輸出層組成。,Beijing University of Technology,26/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與設(shè)計(jì)分為兩步: 第一步是采用非監(jiān)督式的學(xué)習(xí)訓(xùn)練RBF層神經(jīng)元的權(quán)值 第二步是采用監(jiān)督式學(xué)習(xí)訓(xùn)練線性輸出層神經(jīng)元的權(quán)值 神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)仍需要用于訓(xùn)練的輸入向量矩陣以及目標(biāo)向量矩陣，另外還需要給出RBF層神經(jīng)元的伸展常

18、數(shù)。訓(xùn)練的目的是為了求得兩層神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的權(quán)值和及偏差 和 。,Beijing University of Technology,27/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),二、RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程,隱含層神經(jīng)元權(quán)值訓(xùn)練的實(shí)質(zhì)是通過調(diào)整 ，使 不斷地趨向于。最終使得每個(gè)神經(jīng)元工作在處時(shí)，RBF神經(jīng)元輸出為1。將任一輸入向量送給訓(xùn)練好神經(jīng)網(wǎng)絡(luò)，RBF層的每個(gè)神經(jīng)元都將根據(jù)輸入向量與權(quán)值向量的接近程度輸出結(jié)果。對(duì)于與輸入向量相離很遠(yuǎn)的權(quán)值向量，對(duì)應(yīng)的神經(jīng)元的輸出接近于0，這些很小的輸出對(duì)后面的線性層的影響可以忽略。而與輸入向量非常接近的權(quán)值向量，其對(duì)應(yīng)的神經(jīng)元輸出接近于1。若R

19、BF網(wǎng)絡(luò)輸出層的神經(jīng)元采用線性函數(shù)，那么神經(jīng)網(wǎng)絡(luò)的輸出就是RBF層神經(jīng)元輸出的加權(quán)求和。,Beijing University of Technology,28/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),理論證明，只要RBF層有足夠多的神經(jīng)元，一個(gè)RBF網(wǎng)絡(luò)可以任意期望的精度逼近任何函數(shù)。,隱含層至輸出層神經(jīng)元之間權(quán)系數(shù) 的具體學(xué)習(xí)算法。 設(shè)隱含層共有 個(gè)RBF神經(jīng)元，當(dāng)隱含層神經(jīng)元的權(quán)值 確定后，由圖7.2.3可知，神經(jīng)網(wǎng)絡(luò)的輸出為,(7.2.6),RBF神經(jīng)網(wǎng)絡(luò)輸出層權(quán)值的學(xué)習(xí)屬于有監(jiān)督學(xué)習(xí)，可以轉(zhuǎn)化成多元函數(shù)求極值的問題。因此，可利用各種線性優(yōu)化算法求得權(quán)值，如梯度下降法、遞推最

20、小二乘法等。,Beijing University of Technology,29/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),現(xiàn)在定義目標(biāo)函數(shù),按照負(fù)梯度方向調(diào)整網(wǎng)絡(luò)輸出層權(quán)系數(shù)，即,若按照遞推最小二乘法調(diào)整網(wǎng)絡(luò)隱含層到輸出層的權(quán)值，即通過調(diào)整(其中是隱含層節(jié)點(diǎn)數(shù)，)，使得,(7.2.8),(7.2.7),其中：。,Beijing University of Technology,30/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),于是可以得到最小二乘遞推算法如下,式中：。,(7.2.9),Beijing University of Technology,31/54,2020/8

21、/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),三、RBF神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì),通常RBF神經(jīng)網(wǎng)絡(luò)隱含層的節(jié)點(diǎn)數(shù)設(shè)定為與輸入 中的樣本組數(shù)相同的數(shù)目，且每個(gè)RBF層中的權(quán)值 被賦予一個(gè)不同輸入向量的轉(zhuǎn)置，以使得每個(gè)RBF神經(jīng)元都作為不同 的探測(cè)器對(duì)于有組輸入矢量，則RBF層中的神經(jīng)元數(shù)為。中的每個(gè)偏差都被置為，由此來確定輸入空間中每個(gè)RBF曲線寬度。例如， 取4，那么每個(gè)RBF神經(jīng)元對(duì)任何輸入向量與其對(duì)應(yīng)的權(quán)值向量之間的距離小于4的響應(yīng)為0.5以上。,Beijing University of Technology,32/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),一般而言，在RBF神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中，隨著 取值

22、的增大，RBF的響應(yīng)范圍擴(kuò)大，各神經(jīng)元函數(shù)之間的平滑度較好； 取值的減小，則使得函數(shù)形狀較窄，只有與權(quán)值矢量距離較近的輸入才有接近1的輸出，而對(duì)其他輸入的響應(yīng)不敏感。所以，當(dāng)采用與輸入數(shù)組相同數(shù)目的RBF層神經(jīng)元時(shí)， 值可以取的較小(比如)。但當(dāng)希望用較少的神經(jīng)元數(shù)去逼近較多輸入數(shù)組(即較大輸入范圍)時(shí)，應(yīng)當(dāng)取較大的值(比如)，以保證能使每個(gè)神經(jīng)元可同時(shí)對(duì)幾個(gè)輸入組都有較好的響應(yīng)。,Beijing University of Technology,33/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),在確定了 和 后，RBF層神經(jīng)元的輸出則可求出。這樣根據(jù)輸出層的輸入 以及神經(jīng)網(wǎng)絡(luò)的期望輸出

23、，通過適當(dāng)?shù)男阅芎瘮?shù)來求線性輸出層的權(quán)值 及其偏差 ，一般取 。這是因?yàn)椋覀兯蠼獾氖且粋€(gè)具有個(gè)限制(輸入輸出目標(biāo)對(duì))的解，而每個(gè)神經(jīng)元有 個(gè)變量(來自個(gè)神經(jīng)元的權(quán)值以及一個(gè)偏差 )，一個(gè)具有個(gè)限制和多于個(gè)變量的線性方程組將有無窮多個(gè)非零解。,Beijing University of Technology,34/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),前面所設(shè)計(jì)的RBF網(wǎng)絡(luò)隱含層中神經(jīng)元數(shù)目與輸入向量數(shù)據(jù)組數(shù)相同。當(dāng)需要許多組輸入數(shù)據(jù)來訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)時(shí)，這種設(shè)計(jì)RBF神經(jīng)網(wǎng)絡(luò)的方法是不可接受的。改進(jìn)思路是：在滿足目標(biāo)誤差的前提下，盡量減少RBF層中的神經(jīng)元數(shù)。其具體做法是：從一

24、個(gè)節(jié)點(diǎn)開始訓(xùn)練，通過檢查目標(biāo)誤差使神經(jīng)網(wǎng)絡(luò)自動(dòng)增加節(jié)點(diǎn)。每次循環(huán)用使神經(jīng)網(wǎng)絡(luò)產(chǎn)生最大誤差所對(duì)應(yīng)的輸入向量產(chǎn)生一個(gè)新的RBF層節(jié)點(diǎn)，然后檢查新神經(jīng)網(wǎng)絡(luò)的誤差，重復(fù)此過程，直到達(dá)到目標(biāo)誤差或達(dá)到最大神經(jīng)元數(shù)為止。,Beijing University of Technology,35/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),7.2.3 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)特點(diǎn),一、RBF神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元的作用函數(shù),RBF神經(jīng)網(wǎng)絡(luò)與多層前向神經(jīng)網(wǎng)絡(luò)在非線性映射上采用了不同的作用函數(shù)，分別為徑向基函數(shù)與S型函數(shù)，RBF網(wǎng)絡(luò)的作用函數(shù)是局部的，BP網(wǎng)絡(luò)的作用函數(shù)是全局的。,從結(jié)構(gòu)上看，RBF神經(jīng)網(wǎng)絡(luò)似乎就是

25、一個(gè)具有徑向基函數(shù)的多層前向神經(jīng)網(wǎng)絡(luò)，它們有著同樣的層狀結(jié)構(gòu)，即輸入層、隱含層和輸出層。輸出層都采用線性激活函數(shù)。但是，RBF神經(jīng)網(wǎng)絡(luò)不是BP網(wǎng)絡(luò)，其原因是：,Beijing University of Technology,36/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),它不是采用BP算法來訓(xùn)練網(wǎng)絡(luò)權(quán)值的； 其訓(xùn)練的算法不是梯度下降法。,雖然都是兩層網(wǎng)絡(luò)，但RBF神經(jīng)網(wǎng)絡(luò)的權(quán)值訓(xùn)練是一層一層進(jìn)行的。在對(duì)隱含層中徑向基函數(shù)權(quán)值進(jìn)行訓(xùn)練時(shí)，網(wǎng)絡(luò)訓(xùn)練的目的是使 (為訓(xùn)練樣本數(shù)， )。由于徑向基函數(shù)在將其輸入放置在原點(diǎn)時(shí)輸出為1，而對(duì)其他不同的輸入值的響應(yīng)均小于1，所以設(shè)計(jì)將每一組輸入值 作

26、為一個(gè)徑向基函數(shù)的原點(diǎn)，而權(quán)值 代表中心的位置。則通過令使每一個(gè)徑向基函數(shù)只對(duì)一組 響應(yīng)，從而迅速辨識(shí)出 的,Beijing University of Technology,37/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),大小。然后進(jìn)行輸出層的權(quán)值設(shè)計(jì)。由于輸出層是線性函數(shù)，網(wǎng)絡(luò)輸出是徑向基網(wǎng)絡(luò)輸出的線性組合，從而很容易地達(dá)到了從非線性輸入空間向輸出空間映射的目的。,二、RBF神經(jīng)網(wǎng)絡(luò)具有唯一最佳逼近的特性，無局部極小。,從功能上看RBF神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)一樣，可以用來逼近函數(shù)。但RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間要比BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練所花費(fèi)的時(shí)間快得多，且無局部極小值，這是該網(wǎng)絡(luò)最突出的優(yōu)

27、點(diǎn)。,RBF神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)：一般而言，RBF網(wǎng)絡(luò)中隱含層神經(jīng)元數(shù)比采用S型函數(shù)的前向神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)多許多。因?yàn)镾,Beijing University of Technology,38/54,2020/8/4,7.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),型神經(jīng)元輸入響應(yīng)范圍較大，而RBF型神經(jīng)元只對(duì)輸入空間中的一個(gè)較小的范圍產(chǎn)生響應(yīng)。結(jié)果是，輸入空間越大(即輸入的數(shù)組以及輸入的變化范圍越大)，所需要的RBF神經(jīng)元數(shù)越多。,三、RBF神經(jīng)網(wǎng)絡(luò)中徑向基函數(shù)的選取,RBF神經(jīng)網(wǎng)絡(luò)的徑向基函數(shù)有許多種，隱含層神經(jīng)元的徑向基函數(shù)的中心難求，是RBF神經(jīng)網(wǎng)絡(luò)難以廣泛應(yīng)用的原因之一。此外，如何選擇適合的徑向基函數(shù)、如

28、何確定隱含層神經(jīng)元的個(gè)數(shù)，使神經(jīng)網(wǎng)絡(luò)具有足夠的信息處理能力，也是尚未解決的問題。目前用試湊的方法選擇、設(shè)計(jì)、再檢驗(yàn)是常用的手段。,Beijing University of Technology,39/54,2020/8/4,第七章多層前向神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),遞歸神經(jīng)網(wǎng)絡(luò),Beijing University of Technology,40/54,2020/8/4,7.3遞歸神經(jīng)網(wǎng)絡(luò),遞歸型神經(jīng)網(wǎng)絡(luò)(RNNRecurrent Neural Networks)也稱互連型神經(jīng)網(wǎng)絡(luò)，是具有反饋的動(dòng)態(tài)網(wǎng)絡(luò)。RNN可分為全遞歸型與局部遞歸型兩種 。,7.3.1 全遞歸型神經(jīng)網(wǎng)絡(luò),若神經(jīng)網(wǎng)絡(luò)中每一個(gè)神經(jīng)元均與

29、網(wǎng)絡(luò)中所有神經(jīng)元有聯(lián)接(包括自身聯(lián)接)，這種RNN稱為全遞歸型(也稱全互連型)神經(jīng)網(wǎng)絡(luò)。若全遞歸型神經(jīng)網(wǎng)絡(luò)中有個(gè)神經(jīng)元，那么連接權(quán)數(shù)則有 。,Beijing University of Technology,41/54,2020/8/4,7.3遞歸神經(jīng)網(wǎng)絡(luò),全遞歸型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法有沿時(shí)間展開的BP算法(Back Propagation Through Time)和實(shí)時(shí)遞歸學(xué)習(xí)(Real Time Recurrent Learning)算法等。由于全遞歸型神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)多，網(wǎng)絡(luò)學(xué)習(xí)的穩(wěn)定性與收斂性很難保證，因此，在控制問題中很少應(yīng)用。,圖7.3.1給出的是由3個(gè)神經(jīng)元組成的全遞歸型神經(jīng)網(wǎng)絡(luò)結(jié)

30、構(gòu)。,Beijing University of Technology,42/54,2020/8/4,7.3遞歸神經(jīng)網(wǎng)絡(luò),7.3.2 局部遞歸型神經(jīng)網(wǎng)絡(luò),局部遞歸型神經(jīng)網(wǎng)絡(luò)可分為兩種：內(nèi)時(shí)延反饋型神經(jīng)網(wǎng)絡(luò)與外時(shí)延反饋型神經(jīng)網(wǎng)絡(luò) 。,一、內(nèi)時(shí)延反饋型神經(jīng)網(wǎng)絡(luò),內(nèi)時(shí)延反饋型神經(jīng)網(wǎng)絡(luò)有輸入、輸出和隱含層，隱含層節(jié)點(diǎn)具有時(shí)延反饋，結(jié)構(gòu)如圖7.3.2。,Beijing University of Technology,43/54,2020/8/4,7.3遞歸神經(jīng)網(wǎng)絡(luò),設(shè)神經(jīng)網(wǎng)絡(luò)外部輸入時(shí)間序列、隱含層輸出，網(wǎng)絡(luò)輸出 ，則局部遞歸型神經(jīng)網(wǎng)絡(luò)的前向計(jì)算為,(7.3.1),式中、分別為輸入層至隱含層神經(jīng)元、隱

31、含層神經(jīng)元間(包括神經(jīng)元自身)、隱含層至輸出層神經(jīng)元的連接權(quán)矩陣；、分別為隱含層、輸出層神經(jīng)元的作用函數(shù)。,Beijing University of Technology,44/54,2020/8/4,7.3遞歸神經(jīng)網(wǎng)絡(luò),(1) 動(dòng)態(tài)BP學(xué)習(xí)算法,給定神經(jīng)網(wǎng)絡(luò)目標(biāo)函數(shù)(為方便，神經(jīng)網(wǎng)絡(luò)為多輸入單輸出)為,式中，、分別為期望輸出和神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出。,按照負(fù)梯度方向調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)，使得式(7.3.2)達(dá)到最小。對(duì)于多輸入單輸出的內(nèi)時(shí)延局部遞歸神經(jīng)網(wǎng)絡(luò)，隱含層中第 j 個(gè)神經(jīng)元至輸出層的連接權(quán)系數(shù)的調(diào)整算法為,(7.3.2),Beijing University of Technology,45/54,2020/8/4,7.3遞歸神經(jīng)網(wǎng)絡(luò),令,隱含層第 j 個(gè)神經(jīng)元本身的聯(lián)接權(quán)系數(shù)的調(diào)整算法為,(7.3.3),(7.3.4),(7.3.5),Beijing University of Technology,46/54,2020/8/4,7.3遞歸神經(jīng)網(wǎng)絡(luò),式中,(7.3.6),(7.3.7),(7.3.8),Beijing University of Technology,47/54,2020/8/4,7.3遞歸神經(jīng)網(wǎng)絡(luò),輸入層第 i 個(gè)神經(jīng)元至隱含層第 j 個(gè)神經(jīng)元的權(quán)系數(shù),式中,(7.3.9),(7.3.10