神經(jīng)網(wǎng)絡(luò)講解與實(shí)例

神經(jīng)網(wǎng)絡(luò)講解與實(shí)例第一頁，共六十四頁，2022年，8月28日1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，ANN)：簡稱神經(jīng)網(wǎng)絡(luò)。模擬人腦神經(jīng)細(xì)胞的工作特點(diǎn)：*單元間的廣泛連接；*并行分布式的信息存貯與處理；*自適應(yīng)的學(xué)習(xí)能力等。優(yōu)點(diǎn)：(1)較強(qiáng)的容錯性;(2)很強(qiáng)的自適應(yīng)學(xué)習(xí)能力；(3)可將識別和若干預(yù)處理融為一體進(jìn)行；第二頁，共六十四頁，2022年，8月28日(4)并行工作方式；(5)對信息采用分布式記憶，具有魯棒性。四個發(fā)展階段：第一階段：啟蒙期，始于1943年。形式神經(jīng)元的數(shù)學(xué)模型提出。第二階段：低潮期，始于1969年。《感知器》(Perceptions)一書出版，指出局限性。第三階段：復(fù)興期，從1982年到1986年。Hopfield的兩篇論文提出新的神經(jīng)網(wǎng)絡(luò)模型；《并行分布處理》出版，提出反向傳播算法。第四個階段：1987年至今，趨于平穩(wěn)?；仡櫺跃C述文章“神經(jīng)網(wǎng)絡(luò)與人工智能”。第三頁，共六十四頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn)

（1）可處理非線性（2）并行結(jié)構(gòu)．對神經(jīng)網(wǎng)絡(luò)中的每一個神經(jīng)元來說；其運(yùn)算都是同樣的．這樣的結(jié)構(gòu)最便于計算機(jī)并行處理．

（3）具有學(xué)習(xí)和記憶能力．一個神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則．神經(jīng)網(wǎng)絡(luò)可以用于聯(lián)想記憶．（4）對數(shù)據(jù)的可容性大．在神經(jīng)網(wǎng)絡(luò)中可以同時使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）．（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實(shí)現(xiàn)．如美國用256個神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體的郵政編碼．第四頁，共六十四頁，2022年，8月28日1.2神經(jīng)網(wǎng)絡(luò)基本概念1.2.1生物神經(jīng)元1．生物神經(jīng)元的結(jié)構(gòu)細(xì)胞體、樹突、軸突和突觸。第五頁，共六十四頁，2022年，8月28日2．生物神經(jīng)元的工作機(jī)制興奮和抑制兩種狀態(tài)。抑制狀態(tài)的神經(jīng)元由樹突和細(xì)胞體接收傳來的興奮電位產(chǎn)生輸出脈沖輸入興奮總量超過閾值神經(jīng)元被激發(fā)進(jìn)入興奮狀態(tài)由突觸傳遞給其它神經(jīng)元第六頁，共六十四頁，2022年，8月28日1.2.2人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元：生物神經(jīng)元的簡化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹突的簡化；連接的權(quán)值：兩個互連的神經(jīng)元之間相互作用的強(qiáng)弱。圖8.2人工神經(jīng)元模型接收的信息(其它神經(jīng)元的輸出)

互連強(qiáng)度/權(quán)值

作比較的閾值n維輸入向量X

輸出輸出函數(shù)第七頁，共六十四頁，2022年，8月28日神經(jīng)元的動作：輸出函數(shù)f：也稱作用函數(shù)，非線性。閾值型S型偽線性型f為閾值型函數(shù)時：設(shè)，點(diǎn)積形式：式中，第八頁，共六十四頁，2022年，8月28日1.2.3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)：同一個訓(xùn)練集的樣本輸入輸出模式反復(fù)作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的訓(xùn)練規(guī)則自動調(diào)節(jié)神經(jīng)元之間的連接強(qiáng)度或拓?fù)浣Y(jié)構(gòu)，使實(shí)際輸出滿足期望的要求或者趨于穩(wěn)定。實(shí)質(zhì)：1．Hebb學(xué)習(xí)規(guī)則典型的權(quán)值修正方法：Hebb學(xué)習(xí)規(guī)則、δ誤差修正學(xué)習(xí)如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強(qiáng)度應(yīng)該加強(qiáng)。神經(jīng)網(wǎng)絡(luò)的最重要特征之一。第九頁，共六十四頁，2022年，8月28日wij(t+1)：修正一次后的某一權(quán)值；η：學(xué)習(xí)因子，表示學(xué)習(xí)速率的比例常數(shù)；yj(t)，yi(t)：分別表示t時刻第j個和第i個神經(jīng)元的狀態(tài)（輸出）。由有：神經(jīng)元間的連接第十頁，共六十四頁，2022年，8月28日2.δ學(xué)習(xí)規(guī)則（3）更新權(quán)值，閾值可視為輸入恒為（－1）的一個權(quán)值；（1）選擇一組初始權(quán)值wij(1)；（2）計算某一輸入模式對應(yīng)的實(shí)際輸出與期望輸出的誤差；式中，（4）返回(2)，直到對所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。dj，yj(t)：第j個神經(jīng)元的期望輸出與實(shí)際輸出；xi(t)：第j個神經(jīng)元的第i個輸入。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)體現(xiàn)在：權(quán)值變化；網(wǎng)絡(luò)結(jié)構(gòu)變化。η：學(xué)習(xí)因子；第十一頁，共六十四頁，2022年，8月28日1.3前饋神經(jīng)網(wǎng)絡(luò)1.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。感知器結(jié)構(gòu)示意圖*雙層（輸入層、輸出層）；*兩層單元之間為全互連；*連接權(quán)值可調(diào)。結(jié)構(gòu)特點(diǎn)：*輸出層神經(jīng)元個數(shù)等于類別數(shù)（兩類問題時輸出層為一個神經(jīng)元）。第十二頁，共六十四頁，2022年，8月28日設(shè)輸入模式向量，，共M類。輸出層第j個神經(jīng)元對應(yīng)第j個模式類，θj：第j個神經(jīng)元的閾值；wij：輸入模式第i個分量與輸出層第j個神經(jīng)元間的連接權(quán)。令。取

有輸出為輸出單元對所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù)產(chǎn)生一組輸出模式。第十三頁，共六十四頁，2022年，8月28日M類問題判決規(guī)則(神經(jīng)元的輸出函數(shù))為*正確判決的關(guān)鍵：輸出層每個神經(jīng)元必須有一組合適的權(quán)值。

*感知器采用監(jiān)督學(xué)習(xí)算法得到權(quán)值；*權(quán)值更新方法：δ學(xué)習(xí)規(guī)則。算法描述第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個神經(jīng)元的閾值。第二步：輸入新的模式向量。第三步：計算神經(jīng)元的實(shí)際輸出。第十四頁，共六十四頁，2022年，8月28日設(shè)第k次輸入的模式向量為Xk，與第j個神經(jīng)元相連的權(quán)向量為第j個神經(jīng)元的實(shí)際輸出為第四步：修正權(quán)值。dj：第j個神經(jīng)元的期望輸出。第五步：轉(zhuǎn)到第二步。當(dāng)全部學(xué)習(xí)樣本都能正確分類時，學(xué)習(xí)過程結(jié)束。經(jīng)驗(yàn)證明，當(dāng)η隨k的增加而減小時，算法一定收斂。第十五頁，共六十四頁，2022年，8月28日1.3.2BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)主要用于1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù)。2）模式識別：用一個特定的輸出向量將它與輸入向量聯(lián)系起來。3）分類：把輸入向量以所定義的合適方式進(jìn)行分類。4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲。目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，絕大部分的神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)和它的變化形式，它也是前饋網(wǎng)絡(luò)的核心部分，并體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。第十六頁，共六十四頁，2022年，8月28日BP網(wǎng)絡(luò)：采用BP算法（Back-PropagationTrainingAlgorithm）的多層感知器。誤差反向傳播算法認(rèn)識最清楚、應(yīng)用最廣泛。性能優(yōu)勢：識別、分類1．多層感知器針對感知器學(xué)習(xí)算法的局限性：模式類必須線性可分。輸入層第一隱層第二隱層輸出層中間層為一層或多層處理單元；前饋網(wǎng)絡(luò)；結(jié)構(gòu)：只允許一層連接權(quán)可調(diào)。第十七頁，共六十四頁，2022年，8月28日2．BP算法兩個階段正向傳播階段：逐層狀態(tài)更新反向傳播階段：誤差BP算法的學(xué)習(xí)過程設(shè)：某層任一神經(jīng)元j的輸入為netj，輸出為yj；相鄰低一層中任一神經(jīng)元i的輸出為yi。jiwij：神經(jīng)元i與j之間的連接權(quán)；f(?)：神經(jīng)元的輸出函數(shù)。第十八頁，共六十四頁，2022年，8月28日S型輸出函數(shù)：θj：神經(jīng)元閾值；h0：修改輸出函數(shù)形狀的參數(shù)。設(shè)：輸出層中第k個神經(jīng)元的實(shí)際輸出為yk，輸入為netk；與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。第十九頁，共六十四頁，2022年，8月28日對輸入模式Xp，若輸出層中第k個神經(jīng)元的期望輸出為dpk，實(shí)際輸出為ypk。輸出層的輸出方差：若輸入N個模式，網(wǎng)絡(luò)的系統(tǒng)均方差為：當(dāng)輸入Xp時，wjk的修正增量：其中，由式得到：第二十頁，共六十四頁，2022年，8月28日令，可得輸出單元的誤差：輸出單元的修正增量：對于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層中的神經(jīng)元i：輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對各層之間的權(quán)值進(jìn)行修正。第二十一頁，共六十四頁，2022年，8月28日BP算法建模步驟：第一步：對權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機(jī)數(shù)。第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值。第三步：依次計算每層神經(jīng)元的實(shí)際輸出，直到輸出層。第四步：從輸出層開始修正每個權(quán)值，直到第一隱層。若j是輸出層神經(jīng)元，則：若j是隱層神經(jīng)元，則：第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。第二十二頁，共六十四頁，2022年，8月28日改進(jìn)的權(quán)值修正：——收斂快、權(quán)值平滑變化α：平滑因子，0<α<1。BP算法存在問題：*存在局部極小值問題；*算法收斂速度慢；*隱層單元數(shù)目的選取無一般指導(dǎo)原則；*新加入的學(xué)習(xí)樣本影響已學(xué)完樣本的學(xué)習(xí)結(jié)果。第二十三頁，共六十四頁，2022年，8月28日第二十四頁，共六十四頁，2022年，8月28日第二十五頁，共六十四頁，2022年，8月28日3．應(yīng)用之例：蚊子的分類已知的兩類蚊子的數(shù)據(jù)如表1：

翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標(biāo)值0.90.90.90.10.90.90.90.1

翼長觸角長類別1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標(biāo)t0.10.10.10.10.10.10.1

第二十六頁，共六十四頁，2022年，8月28日輸入數(shù)據(jù)有15個，即,p=1,…,15;j=1,2;對應(yīng)15個輸出。建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個？）建立神經(jīng)網(wǎng)絡(luò)第二十七頁，共六十四頁，2022年，8月28日規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個權(quán)重系數(shù)矩陣為：為閾值

其中第二十八頁，共六十四頁，2022年，8月28日分析如下：

為第一層的輸出，同時作為第二層的輸入。其中，為閾值，為激勵函數(shù)若令

（作為一固定輸入）（閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)）

第二十九頁，共六十四頁，2022年，8月28日則有：取激勵函數(shù)為=則同樣，取

第三十頁，共六十四頁，2022年，8月28日（1）隨機(jī)給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

=第三十一頁，共六十四頁，2022年，8月28日?。?）計算因?yàn)樗?/p>

（4）取

（或其他正數(shù)，可調(diào)整大?。?/p>

第三十二頁，共六十四頁，2022年，8月28日(5)計算

和

j=1,2,3,i=1,2,3,計算

j=1,2,3j=1,2,3第三十三頁，共六十四頁，2022年，8月28日(6)p=p+1，轉(zhuǎn)（2）

注：僅計算一圈（p=1，2，…，15）是不夠的，直到當(dāng)各權(quán)重變化很小時停止，本例中，共計算了147圈，迭代了2205次。最后結(jié)果是：第三十四頁，共六十四頁，2022年，8月28日即網(wǎng)絡(luò)模型的解為：

=第三十五頁，共六十四頁，2022年，8月28日4.BP網(wǎng)絡(luò)建模特點(diǎn)：非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處理的，這使它具有很強(qiáng)的容錯性和很快的處理速度。自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù)（符號處理）。多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問題。第三十六頁，共六十四頁，2022年，8月28日2023/2/26375.BP神經(jīng)網(wǎng)絡(luò)的設(shè)計分析1、產(chǎn)生數(shù)據(jù)樣本集包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預(yù)處理

首先要在大量的原始測量數(shù)據(jù)中確定出最主要的輸入模式。

在確定了最重要的輸入量后，需進(jìn)行尺度變換和預(yù)處理。尺度變換常常將它們變換到[-1,1]或[0,1]的范圍。在進(jìn)行尺度變換前必須先檢查是否存在異常點(diǎn)（或稱野點(diǎn)），這些點(diǎn)必須刪除。通過對數(shù)據(jù)的預(yù)處理分析還可以檢驗(yàn)其是否存在周期性、固定變換趨勢或其它關(guān)系。對數(shù)據(jù)的預(yù)處理就是要使得經(jīng)變換后的數(shù)據(jù)對于神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)和訓(xùn)練。

第三十七頁，共六十四頁，2022年，8月28日2023/2/2638對于一個問題應(yīng)該選擇多少數(shù)據(jù)，這也是一個很關(guān)鍵的問題。系統(tǒng)的輸入輸出關(guān)系就包含在數(shù)據(jù)樣本中。一般來說，取的數(shù)據(jù)越多，學(xué)習(xí)和訓(xùn)練的結(jié)果便越能正確反映輸入輸出關(guān)系。但選太多的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡(luò)訓(xùn)練付出的代價選太少的數(shù)據(jù)則可能得不到正確的結(jié)果。事實(shí)上數(shù)據(jù)的多數(shù)取決于許多因素，如網(wǎng)絡(luò)的大小、網(wǎng)絡(luò)測試的需要以及輸入輸出的分布等。其中網(wǎng)絡(luò)的大小最關(guān)鍵。通常較大的網(wǎng)絡(luò)需要較多的訓(xùn)練數(shù)據(jù)。一個經(jīng)驗(yàn)規(guī)則是：訓(xùn)練模式應(yīng)是連接權(quán)總數(shù)的5至10倍。第三十八頁，共六十四頁，2022年，8月28日2023/2/2639最簡單的方法是：將收集到的可用數(shù)據(jù)隨機(jī)地分成兩部分，比如其中三分之二用于網(wǎng)絡(luò)的訓(xùn)練。另外三分之一用于將來的測試。隨機(jī)選取的目的是為了盡量減小這兩部分?jǐn)?shù)據(jù)的相關(guān)性。影響數(shù)據(jù)大小的另一個因素是輸入模式和輸出結(jié)果的分布，對數(shù)據(jù)預(yù)先加以分類可以減小所需的數(shù)據(jù)量。相反，數(shù)據(jù)稀薄不勻甚至覆蓋則勢必要增加數(shù)據(jù)量。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，需要有另外的測試數(shù)據(jù)來對網(wǎng)絡(luò)加以檢驗(yàn)，測試數(shù)據(jù)應(yīng)是獨(dú)立的數(shù)據(jù)集合。第三十九頁，共六十四頁，2022年，8月28日2023/2/26402、確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的類型很多，需根據(jù)問題的性質(zhì)和任務(wù)的要求來合適地選擇網(wǎng)絡(luò)類型。一般從已有的網(wǎng)絡(luò)類型中選用一種比較簡單而又能滿足要求的網(wǎng)絡(luò)，新設(shè)計一個網(wǎng)絡(luò)類型來滿足問題的要求往往比較困難。若主要用于模式分類，尤其是線性可分的情況，則可采用較為簡單的感知器網(wǎng)絡(luò)。若主要用于函數(shù)估計，則可應(yīng)用BP網(wǎng)絡(luò)在網(wǎng)絡(luò)的類型確定后，要是選擇網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)。以BP網(wǎng)絡(luò)為例，需選擇網(wǎng)絡(luò)的層數(shù)、每層的節(jié)點(diǎn)數(shù)、初始權(quán)值、閾值、學(xué)習(xí)算法、數(shù)值修改頻度、結(jié)點(diǎn)變換函數(shù)及參數(shù)、學(xué)習(xí)率等參數(shù)。第四十頁，共六十四頁，2022年，8月28日2023/2/2641對于網(wǎng)絡(luò)層數(shù)的選?。豪碚撋显缫炎C明：具有偏差和至少一個S型隱含層加上一個線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。增加層數(shù)主要可以更進(jìn)一步降低誤差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間。而誤差精度的提高實(shí)際上也可以通過增加隱含層中的神經(jīng)元數(shù)目來獲得，其訓(xùn)練效果也比增加層數(shù)更容易觀察和調(diào)整，所以，一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。第四十一頁，共六十四頁，2022年，8月28日2023/2/2642對于具體問題若確定了輸入和輸出變量后，網(wǎng)絡(luò)輸入層和輸出層的節(jié)點(diǎn)個數(shù)也便隨之確定了。

具體選擇可采用如下方法：先設(shè)較少的節(jié)點(diǎn)，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測試網(wǎng)絡(luò)的逼近誤差，然后逐漸增加節(jié)點(diǎn)數(shù)，直到測試的誤差不再有明顯的減少為止。

隱層節(jié)點(diǎn)數(shù)對網(wǎng)絡(luò)的泛化能力有很大的影響。節(jié)點(diǎn)數(shù)太多，傾向于記住所有的訓(xùn)練數(shù)據(jù)，包括噪聲的影響，反而降低了泛化能力；節(jié)點(diǎn)數(shù)太少，不能擬和樣本數(shù)據(jù)，沒有較好的泛化能力。原則：選擇盡量少的節(jié)點(diǎn)數(shù)以實(shí)現(xiàn)盡量好的泛化能力。

對于每層節(jié)點(diǎn)數(shù)的選?。旱谒氖?，共六十四頁，2022年，8月28日2023/2/2643由于系統(tǒng)是非線性的，初始值對于學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂以及訓(xùn)練時間的長短關(guān)系很大。初始權(quán)值的選取：如果初始值太大，使得加權(quán)后的輸入落到激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，而在計算權(quán)值的修正公式中，修正量正比與其導(dǎo)數(shù)，從而使調(diào)節(jié)過程幾乎停頓下來。一般總是希望經(jīng)過初始加權(quán)后的每個神經(jīng)元的輸出值都接近于零，這樣可以保證每個神經(jīng)元的權(quán)值都能夠在他們的S型激活函數(shù)變化最大之處進(jìn)行調(diào)節(jié)，所以，一般取初始權(quán)值在(-1,1)之間的隨機(jī)數(shù)。第四十三頁，共六十四頁，2022年，8月28日2023/2/2644學(xué)習(xí)速率的選?。簩W(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定小的學(xué)習(xí)速率會導(dǎo)致訓(xùn)練較長，收斂速度很慢。不過能保證網(wǎng)絡(luò)的誤差值不跳出表面的低谷而最終趨于最小誤差值。一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率一般的選取范圍為0.01－0.8。和初始權(quán)值的選取過程一樣，在一個神經(jīng)網(wǎng)絡(luò)的設(shè)計中，網(wǎng)絡(luò)要經(jīng)過幾個不同的學(xué)習(xí)速率的訓(xùn)練。通過觀察每一次訓(xùn)練后的誤差平方和的下降速率來判斷選定的學(xué)習(xí)速率是否合適。如果下降很快，說明學(xué)習(xí)速率合適。若出現(xiàn)振蕩，則說明學(xué)習(xí)速率過大。對于較復(fù)雜的網(wǎng)絡(luò)，為了減小尋找學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時間，比較合適的方法是采用自適應(yīng)學(xué)習(xí)速率。第四十四頁，共六十四頁，2022年，8月28日2023/2/26453、訓(xùn)練和測試對所有樣本數(shù)據(jù)正向運(yùn)行一次并反向修改連接權(quán)一次稱為一次訓(xùn)練(或一次學(xué)習(xí))。通常訓(xùn)練一個網(wǎng)絡(luò)需要成百上千次。并非訓(xùn)練的次數(shù)越多，越能得到正確的輸入輸出的映射關(guān)系。由于所收集的數(shù)據(jù)都是包含噪聲的，訓(xùn)練的次數(shù)過多，網(wǎng)絡(luò)將包含噪聲的數(shù)據(jù)都記錄了下來，在極端情況下，訓(xùn)練后的網(wǎng)絡(luò)可以實(shí)現(xiàn)相當(dāng)于查表的功能。但是對于新的輸入數(shù)據(jù)卻不能給出合適的輸出，即并不具備很好的泛化能力。訓(xùn)練網(wǎng)絡(luò)的目的在于找出蘊(yùn)含在樣本數(shù)據(jù)中的輸入和輸出之間的本質(zhì)聯(lián)系，從而對于未經(jīng)訓(xùn)練的輸入也能給出合適的輸出，即局部泛化能力。網(wǎng)絡(luò)的性能主要是用它的泛化能力來衡量，它不是用對訓(xùn)練數(shù)據(jù)的擬和程度來衡量，而是用一組獨(dú)立的數(shù)據(jù)來加以測試和檢驗(yàn)。第四十五頁，共六十四頁，2022年，8月28日2023/2/2646訓(xùn)練次數(shù)均方誤差訓(xùn)練數(shù)據(jù)測試數(shù)據(jù)實(shí)際操作時應(yīng)該訓(xùn)練和測試交替進(jìn)行，即每訓(xùn)練一次，同時用測試數(shù)據(jù)測試一遍，畫出均方誤差隨訓(xùn)練次數(shù)的變換曲線在用測試數(shù)據(jù)檢驗(yàn)時，均方誤差開始逐漸減小，當(dāng)訓(xùn)練次數(shù)再增加時，測試檢驗(yàn)誤差反而增加，誤差曲線上極小點(diǎn)所對應(yīng)的即為恰當(dāng)?shù)挠?xùn)練次數(shù)，若再訓(xùn)練即為“過渡訓(xùn)練”了。第四十六頁，共六十四頁，2022年，8月28日6.MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用在網(wǎng)絡(luò)訓(xùn)練過程中使用的是Matlab7.0forWindows軟件，對于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以使用NeuralNetworksToolboxforMatlab。美國的Mathwork公司推出的MATLAB軟件包既是一種非常實(shí)用有效的科研編程軟件環(huán)境，又是一種進(jìn)行科學(xué)和工程計算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以大大方便權(quán)值訓(xùn)練，減少訓(xùn)練程序工作量，有效的提高工作效率.第四十七頁，共六十四頁，2022年，8月28日7.BP網(wǎng)絡(luò)——應(yīng)用實(shí)例銀行數(shù)據(jù)如表1所示，要求根據(jù)存款金額、及時還貸情況、貸款次數(shù)，將這些記錄按信用分為“良好”和“差”兩類。步驟1：預(yù)處理在開始訓(xùn)練之前，先將各樣本的每一屬性值都限定在[0,1]上，并將信用類別重新編碼，用0表示“良好”，用1表示“差”規(guī)范化后的數(shù)據(jù)如表2所示。48第四十八頁，共六十四頁，2022年，8月28日步驟2：設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)分析，該例的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。步驟3：初始化該網(wǎng)絡(luò)的權(quán)值和偏差網(wǎng)絡(luò)的初始權(quán)值和偏差一般是用隨機(jī)函數(shù)生成的介于[-1,1]的小數(shù),該例的初始權(quán)值和偏差如表3所示49第四十九頁，共六十四頁，2022年，8月28日步驟4：進(jìn)行訓(xùn)練將學(xué)習(xí)效率（學(xué)習(xí)因子）η設(shè)為0.7依次將表2中的樣本輸入網(wǎng)絡(luò)，計算出個神經(jīng)元的輸入、輸出和誤差計算反向傳播所得誤差，更新權(quán)值和偏差，所有樣本輸入完畢后，判斷是否滿足終止條件，不滿足則進(jìn)行下一輪迭代，滿足則迭代結(jié)束。第1次掃描迭代中,計算出各神經(jīng)元的凈輸入、輸出、誤差、權(quán)值和偏差更新值如表4所示。步驟5：實(shí)現(xiàn)分類通過上述訓(xùn)練后，該BP網(wǎng)絡(luò)可提取關(guān)于輸入(存款金額、貸款次數(shù)、及時還貸率)和輸出類(信用等級)的關(guān)聯(lián)規(guī)則。利用這些規(guī)則即可實(shí)現(xiàn)對現(xiàn)有客戶信用等級的分類,并據(jù)此做出客戶貸款償付預(yù)測,進(jìn)行客戶信用政策分析。50第五十頁，共六十四頁，2022年，8月28日51第五十一頁，共六十四頁，2022年，8月28日結(jié)束第五十二頁，共六十四頁，2022年，8月28日例:BP神經(jīng)網(wǎng)絡(luò)水（處理）系統(tǒng)的模擬與預(yù)測等方面獲得了廣泛的應(yīng)用。光催化臭氧氧化處理自來水工藝神經(jīng)網(wǎng)絡(luò)模型應(yīng)用舉例第五十三頁，共六十四頁，2022年，8月28日樣本實(shí)驗(yàn)號臭氧濃度(mg/L)入口UV254UV254去除率(%)11.160.11650.221.350.10459.531.720.07858.841.860.10766.251.970.13665.562.150.08264.572.230.12573.682.480.07676.492.790.12278.5102.850.09279.2113.070.08181.4123.450.06890.3133.590.07793.1143.800.10898.2153.930.12897.3164.140.06398.1174.460.13597.3184.550.07098.8194.840.12696.9205.030.08798.6第五十四頁，共六十四頁，2022年，8月28日檢驗(yàn)樣本實(shí)驗(yàn)號臭氧濃度(mg/L)入口UV254UV254去除率(%)11.420.086?22.510.071?33.210.107?44.290.096?55.240.65?第五十五頁，共六十四頁，2022年，8月28日隱層神經(jīng)元數(shù)的選擇隱層神經(jīng)元數(shù)的選擇是一個十分復(fù)雜的問題。因?yàn)闆]有很好的解析式表示，可以說隱層神經(jīng)元數(shù)與問題的要求、輸入層與輸出層神經(jīng)元的數(shù)量、訓(xùn)練樣本的數(shù)量等都有直接關(guān)系。事實(shí)上隱層神經(jīng)元太少不可能將網(wǎng)絡(luò)訓(xùn)練出來，但太多又使學(xué)習(xí)時間過長，使網(wǎng)絡(luò)不“不強(qiáng)壯”，泛化能力下降，即不能識別以前沒有直接接收到的樣本，容錯性差。當(dāng)隱層數(shù)為20×10和8×4時的訓(xùn)練結(jié)果:隱層數(shù)為2節(jié)點(diǎn)數(shù)8×4隱層數(shù)為2節(jié)點(diǎn)數(shù)20×10圖6-2相同隱層數(shù)不同節(jié)點(diǎn)數(shù)訓(xùn)練誤差曲線第五十六頁，共六十四頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)模型的各層節(jié)點(diǎn)數(shù)分別為：輸入層2個；第一隱層12個；第二隱層6個；輸出層1個。綜合以上研究內(nèi)容，建立光催化臭氧氧化處理自來水工藝神經(jīng)網(wǎng)絡(luò)模型如圖6-3所示。輸入層輸出層隱層圖6-3BP網(wǎng)絡(luò)模型臭氧濃度入口UV254UV254去除率第五十七頁，共六十四頁，2022年，8月28日1．學(xué)習(xí)率η和動量因子αBP算法本質(zhì)上是優(yōu)化計算中的梯度下降法，利用誤差對于權(quán)、閥值的一階導(dǎo)數(shù)信息來指導(dǎo)下一步的權(quán)值調(diào)整方向，以求最終得到誤差最小。為了保證算法的收斂性，學(xué)習(xí)率η必須小于某一上限，一般取0<η<1而且越接近極小值，由于梯度變化值逐漸趨于零，算法的收斂就越來越慢。在網(wǎng)絡(luò)參數(shù)中，學(xué)習(xí)率η和動量因子α是很重要的，它們的取值直接影響到網(wǎng)絡(luò)的性能，主要是收斂速度。為提高學(xué)習(xí)速度，應(yīng)采用大的η。但η太大卻可能導(dǎo)致在穩(wěn)定點(diǎn)附近振蕩，乃至不收斂。針對具體的網(wǎng)絡(luò)結(jié)構(gòu)模型和學(xué)習(xí)樣本，都存在一個最佳的學(xué)習(xí)率門和動量因子α，它們的取值范圍一般0～1之間，視實(shí)際情況而定。在上述范圍內(nèi)通過對不同的η和α的取值進(jìn)行了考察，確定本文神經(jīng)網(wǎng)絡(luò)模型的參數(shù)為：η＝0.7，α＝0.9。第五十八頁，共六十四頁，2022年，8月28日2．初始權(quán)值的選擇在前饋多層神經(jīng)網(wǎng)絡(luò)的BP算法中，初始權(quán)、閾值一般是在一個固定范圍內(nèi)按均勻分布隨機(jī)產(chǎn)生的。一般文獻(xiàn)認(rèn)為初始權(quán)值范圍為-1～＋1之間，初始權(quán)值的選擇對于局部極小點(diǎn)的防止和網(wǎng)絡(luò)收斂速度的提高均有一定程度的影響，如果初始權(quán)值范圍選擇不當(dāng)，學(xué)習(xí)過程一開始就可能進(jìn)入“假飽和”現(xiàn)象，甚至進(jìn)入局部極小點(diǎn)，網(wǎng)絡(luò)根本不收斂。初始權(quán)、閾值的選擇因具體的網(wǎng)絡(luò)結(jié)構(gòu)模式和訓(xùn)練樣本不同而有所差別，一般應(yīng)視實(shí)際情況而