神經(jīng)網(wǎng)絡(luò)-課件

神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)1神經(jīng)網(wǎng)絡(luò)的概念 泛指生物神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò) 由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺、運(yùn)動(dòng)、交感等）所構(gòu)成的錯(cuò)綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)(ANN) 由大量簡單的處理單元廣泛地互相連接而形成地復(fù)雜網(wǎng)絡(luò)系統(tǒng)，以簡化，抽象，和模擬人腦神經(jīng)網(wǎng)絡(luò)。概述神經(jīng)網(wǎng)絡(luò)的概念概述2概述神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史初創(chuàng)（1943—1969）1943年，McCulloch和Pitts提出了M-P模型1949年，Hebb提出Hebb學(xué)習(xí)規(guī)則1957年，Rosenblatt提出感知器(perceptrons)1969年，Minsky和Papert發(fā)表“Perceptrons”概述神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史3過渡期（1970—1986）1980年，Kohonen提出自組織映射理論1982年，Hopfield提出離散的Hopfield網(wǎng)絡(luò)模型 1984年，又提出連續(xù)的Hopfield網(wǎng)絡(luò)模型，并用電子線路實(shí)現(xiàn)了該網(wǎng)路的仿真。1986年，Rumelhart等提出BP算法發(fā)展期（1987--）1993年創(chuàng)刊的“IEEETransactiononNeuralNetwork”過渡期（1970—1986）4生物神經(jīng)元 構(gòu)成神經(jīng)系統(tǒng)的基本單元，簡稱神經(jīng)元。包括細(xì)胞體、樹突、軸突。生物神經(jīng)元5

神經(jīng)元電鏡圖片

6軸突樹突突觸細(xì)胞體神經(jīng)末梢軸突樹突突觸細(xì)胞體神經(jīng)末梢7組成細(xì)胞體由細(xì)胞核，細(xì)胞質(zhì)，和細(xì)胞膜組成。膜內(nèi)外有電位差，膜外為正，膜內(nèi)為負(fù)。它是神經(jīng)元新陳代謝的中心，用于接收并處理從其它神經(jīng)元傳遞的信息。軸突由細(xì)胞體向外伸出的一條最長分支，長度可達(dá)1m。它通過尾部的神經(jīng)末梢向其它神經(jīng)元輸出神經(jīng)沖動(dòng)，相當(dāng)于神經(jīng)元的輸出電纜。組成8樹突除軸突外的其它分支。數(shù)目多，長度短。它用于接受從其它神經(jīng)元傳來的神經(jīng)沖動(dòng)，相當(dāng)于神經(jīng)元的輸入端。突觸一個(gè)神經(jīng)元的軸突末梢和另外一個(gè)神經(jīng)元的樹突相接觸的地方，相當(dāng)于神經(jīng)元之間的接口部分。大多數(shù)神經(jīng)元有103—104個(gè)突觸。

樹突9連接輻射 一個(gè)神經(jīng)元的軸突末梢與許多神經(jīng)元的樹突相連接。聚合 許多神經(jīng)元的軸突末梢與一個(gè)神經(jīng)元的樹突相連接。連接10特性信息以預(yù)知的確定方向傳遞

一個(gè)神經(jīng)元的樹突、細(xì)胞體－軸突－突觸－另一個(gè)神經(jīng)元樹突時(shí)空整合功能對(duì)不同時(shí)間通過同一突觸傳入的信息具有時(shí)間整合功能對(duì)同一時(shí)間通過不同突觸傳入的信息具有空間整合功能特性11工作狀態(tài)興奮狀態(tài)，對(duì)輸入信息整合后使細(xì)胞膜電位升高，當(dāng)高于動(dòng)作電位的閾值時(shí)，產(chǎn)生神經(jīng)沖動(dòng)，并由軸突輸出。抑制狀態(tài)，對(duì)輸入信息整合后使細(xì)胞膜電位降低，當(dāng)?shù)陀趧?dòng)作電位的閾值時(shí)，無神經(jīng)沖動(dòng)產(chǎn)生。結(jié)構(gòu)的可塑性神經(jīng)元之間的柔性連接。工作狀態(tài)12脈沖與電位轉(zhuǎn)換功能軸突與普通傳輸線路不同，對(duì)于小于閾值的信號(hào)在傳遞過程中會(huì)被濾除，而對(duì)于大于閾值的則有整形作用。即無論輸入脈沖的幅度與寬度，輸出波形恒定。信息傳遞的時(shí)延性和不應(yīng)期性在兩次輸入之間要有一定的時(shí)間間隔，即時(shí)延；而在此期間內(nèi)不響應(yīng)激勵(lì)，不傳遞信息，稱為不應(yīng)期。

脈沖與電位轉(zhuǎn)換功能13人工神經(jīng)元及其互連結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的基本處理單元－人工神經(jīng)元模擬主要考慮兩個(gè)特性：時(shí)空加權(quán)，閾值作用。其中對(duì)于時(shí)空加權(quán)，模型分為兩類，即考慮時(shí)間特性，不考慮時(shí)間特性。人工神經(jīng)元及其互連結(jié)構(gòu)14人工神經(jīng)元

M-P模型 最早由心理學(xué)家麥克羅奇（W.McLolloch）和數(shù)理邏輯學(xué)家皮茲（W.Pitts）于1943年提出。

θY輸出eeii興奮型輸入抑制型輸入閾值人工神經(jīng)元θY輸出ei興奮型輸入抑制型輸入閾值15M-P模型輸入輸出關(guān)系表輸入條件輸出 M-P模型對(duì)抑制型輸入賦予了“否決權(quán)”，只有當(dāng)，且時(shí)，才有y＝1，其它時(shí)候y＝0。M-P模型輸入輸出關(guān)系表輸入條件輸出 M-P模型對(duì)抑制型輸入16一種常見的不考慮時(shí)間特性的模型

θy輸出x1x2…xnwns控制符號(hào)f()－－特性函數(shù)/激發(fā)函數(shù)閾值連接權(quán)值w2w1輸入多輸入單輸出的非線性器件一種常見的不考慮時(shí)間特性的模型θy輸出x1wns17一些典型的特性函數(shù)

閾值型 線性 s型一些典型的特性函數(shù)18神經(jīng)元的連接

人工神經(jīng)網(wǎng)絡(luò)是由神經(jīng)元廣泛互聯(lián)構(gòu)成的，不同的連接方式構(gòu)成了不同的網(wǎng)絡(luò)模型神經(jīng)元的連接19前向網(wǎng)絡(luò)

神經(jīng)元分層排列(輸入層、隱層和輸出層)。各層之間的神經(jīng)元全互聯(lián)，各層內(nèi)的神經(jīng)元無連接。每一層只接受來自前一層的輸入。前向網(wǎng)絡(luò)20從輸出層到輸入層有反饋的網(wǎng)絡(luò)從輸出層到輸入層有反饋的網(wǎng)絡(luò)21層內(nèi)有互連接的網(wǎng)絡(luò)

同一層的神經(jīng)元可以互相連接.層內(nèi)有互連接的網(wǎng)絡(luò)22互連網(wǎng)絡(luò)

任意兩個(gè)神經(jīng)元之間可以互相連接。

互連網(wǎng)絡(luò)一直處于動(dòng)態(tài)變化之中，最后到達(dá)某種穩(wěn)定狀態(tài)，也可能進(jìn)入周期振蕩。

互連網(wǎng)絡(luò)23人工神經(jīng)網(wǎng)絡(luò)的特征及分類人工神經(jīng)網(wǎng)絡(luò)的特征能較好的模擬人的形象思維具有大規(guī)模并行協(xié)同處理能力具有較強(qiáng)的容錯(cuò)能力和聯(lián)想能力具有較強(qiáng)的學(xué)習(xí)能力大規(guī)模、自組織、自適應(yīng)的非線性動(dòng)力系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的特征及分類24人工神經(jīng)網(wǎng)絡(luò)的分類根據(jù)拓?fù)浣Y(jié)構(gòu)無反饋網(wǎng)絡(luò)有反饋網(wǎng)絡(luò)根據(jù)學(xué)習(xí)方法有教師的學(xué)習(xí)網(wǎng)絡(luò)無教師的學(xué)習(xí)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的分類25根據(jù)網(wǎng)絡(luò)的狀態(tài)靜態(tài)網(wǎng)絡(luò)動(dòng)態(tài)網(wǎng)絡(luò)根據(jù)處理的信息連續(xù)型網(wǎng)絡(luò) 離散型網(wǎng)絡(luò)根據(jù)網(wǎng)絡(luò)的狀態(tài)26感知器

羅森勃拉特(Rosenblatt)于1957年提出,把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了工程實(shí)踐。 感知器是只有單層計(jì)算單元的前向神經(jīng)網(wǎng)絡(luò),由線性閾值單元組成。1）線性閾值單元

1y=0或-1感知器272)單層感知器只有輸入層和輸出層組成，輸入層的每個(gè)處理單元均與輸出層互連，層內(nèi)各神經(jīng)元無連接，網(wǎng)絡(luò)無反饋。2)單層感知器28學(xué)習(xí)算法:假設(shè)只有一個(gè)輸出y(t)1.給wi(0)(i=1,2……n)及θ賦一個(gè)較小的非0隨機(jī)數(shù)作為初值2.輸入一個(gè)樣例X＝[x1,x2……xn]和期望的輸出d3.計(jì)算網(wǎng)絡(luò)的實(shí)際輸出4.調(diào)整權(quán)值0<η≤1：增益因子，控制調(diào)整速度5.轉(zhuǎn)第二步，直到wi對(duì)一切樣例穩(wěn)定為止學(xué)習(xí)算法:假設(shè)只有一個(gè)輸出y(t)1.給wi(0)(i=1293)多層感知器(MLP)在單層感知器的輸入和輸出層之間增加一個(gè)或多個(gè)隱層?？僧a(chǎn)生復(fù)雜的決策界面和任意的布爾函數(shù)。3)多層感知器(MLP)30

前向多層神經(jīng)網(wǎng)絡(luò)也即多層感知器(MLP)，也叫BP網(wǎng)。BP(Back-Propagation)算法，是用于前向多層神經(jīng)網(wǎng)絡(luò)的反傳學(xué)習(xí)算法，是目前應(yīng)用最廣泛且重要的訓(xùn)練前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。前向多層神經(jīng)網(wǎng)絡(luò) 前向多層神經(jīng)網(wǎng)絡(luò)也即多層感知器(MLP)，也叫BP網(wǎng)。BP31前向多層神經(jīng)網(wǎng)絡(luò)BP網(wǎng)除輸入，輸出層外，還有一個(gè)或多個(gè)隱層。各層之間的神經(jīng)元全互連，各層內(nèi)的神經(jīng)元無連接，網(wǎng)絡(luò)無反饋。前向多層神經(jīng)網(wǎng)絡(luò)BP網(wǎng)32節(jié)點(diǎn)的特性要求是可微的，通常選S型函數(shù)。

Sigmoid函數(shù)的特點(diǎn)：連續(xù)可微單調(diào)取值在[0,1]節(jié)點(diǎn)的特性要求是可微的，通常選S型函數(shù)。33B-P算法學(xué)習(xí)的目的：對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得對(duì)任一輸入都能得到所期望的輸出。學(xué)習(xí)的方法：用一組訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其中每一個(gè)樣例都包括輸入及期望的輸出兩部分。應(yīng)用：對(duì)待識(shí)別的樣本進(jìn)行模式識(shí)別。B-P算法34BP算法的具體步驟：從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。由網(wǎng)絡(luò)分別計(jì)算各層節(jié)點(diǎn)的輸出。計(jì)算網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的誤差。從輸出層反向計(jì)算到第—個(gè)隱層，按一定原則向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個(gè)連接權(quán)值－反向傳播。對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)以上步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。在訓(xùn)練時(shí)，需要反向傳播，而一旦訓(xùn)練結(jié)束，求解實(shí)際問題時(shí)，則只需正向傳播。BP算法的具體步驟：35具體算法：1)Oi：節(jié)點(diǎn)i的輸出；netj：節(jié)點(diǎn)j的輸入；wij：從節(jié)點(diǎn)i到節(jié)點(diǎn)j的連接權(quán)值。2)誤差函數(shù)分別表示輸出層上節(jié)點(diǎn)k的期望輸出與實(shí)際輸出

具體算法：363)連接權(quán)值的修正

wjk(t+1)和wjk(t)分別表示t+1和t時(shí)刻上從節(jié)點(diǎn)j到節(jié)點(diǎn)k的連接權(quán)值，?wjk為修正量。

3)連接權(quán)值的修正37為了使連接權(quán)值沿著e的梯度變化方向得以改善，網(wǎng)絡(luò)逐漸收斂，取

其中，為增益因子為了使連接權(quán)值沿著e的梯度變化方向得以改善，網(wǎng)絡(luò)逐38神經(jīng)網(wǎng)絡(luò)--課件39神經(jīng)網(wǎng)絡(luò)--課件40故先計(jì)算最高層（輸出層）上各節(jié)點(diǎn)δ值，再反傳到較低層上，計(jì)算各隱層節(jié)點(diǎn)的δ值。故先計(jì)算最高層（輸出層）上各節(jié)點(diǎn)δ值，再反傳到較低層41神經(jīng)網(wǎng)絡(luò)--課件42神經(jīng)網(wǎng)絡(luò)--課件43以上學(xué)習(xí)過程是按照樣本p的誤差ep減小最快的方式改變連接權(quán)值，直到獲得滿意的連接權(quán)值的。也可以基于E來完成在權(quán)值空間的梯度搜索。其中P為訓(xùn)練樣本的個(gè)數(shù)以上學(xué)習(xí)過程是按照樣本p的誤差ep減小最快的方式改變44此時(shí)，按反向傳播計(jì)算樣本p在各層的連接權(quán)值變化量?pwjk，但并不對(duì)各層神經(jīng)元的連接權(quán)值進(jìn)行修改，而是不斷重復(fù)這一過程，直至完成對(duì)訓(xùn)練樣本集中所有樣本的計(jì)算，并產(chǎn)生這一輪訓(xùn)練的各層連接權(quán)值的改變量?wjk此時(shí)才對(duì)網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值進(jìn)行調(diào)整，若正向傳播后重新計(jì)算的E仍不滿足要求，則開始下一輪權(quán)值修正。此時(shí)，按反向傳播計(jì)算樣本p在各層的連接權(quán)值變化量?p452023/1/346感知器模型中神經(jīng)元的變換函數(shù)采用的是符號(hào)函數(shù)，因此輸出的是二值量。它主要用于模式分類。多層前饋網(wǎng)具有相同的結(jié)構(gòu)，只是神經(jīng)元的變換函數(shù)采用S型函數(shù)，因此輸出量是0到1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射。由于連接權(quán)的調(diào)整采用的是反向傳播(BackPropagation)的學(xué)習(xí)算法，因此該網(wǎng)絡(luò)也稱為BP網(wǎng)絡(luò)。在多層前饋網(wǎng)絡(luò)中，第0層為輸入層，第Q層為輸出層，有nQ個(gè)輸出，中間層為隱層。設(shè)第q層(q=0,2,，Q)的神經(jīng)元個(gè)數(shù)為nq，輸入到第q層的第i個(gè)神經(jīng)元的連接權(quán)系統(tǒng)為：2022/12/2946感知器模型中神經(jīng)元的變換函數(shù)采用的是462023/1/347網(wǎng)絡(luò)的輸入輸出變化關(guān)系為：

2022/12/2947網(wǎng)絡(luò)的輸入輸出變化關(guān)系為：472023/1/3481、標(biāo)準(zhǔn)BP算法設(shè)給定P組輸入輸出樣本：

利用該樣本集首先對(duì)BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，也即對(duì)網(wǎng)絡(luò)的連接權(quán)系數(shù)進(jìn)行學(xué)習(xí)和調(diào)整，以使該網(wǎng)絡(luò)實(shí)現(xiàn)給定的輸入輸出映射關(guān)系。經(jīng)過訓(xùn)練的BP網(wǎng)絡(luò)，對(duì)于不是樣本集中的輸入也能給出合適的輸出。該性質(zhì)稱為泛化(generalization)功能。從函數(shù)擬和的角度，它說明BP網(wǎng)絡(luò)具有插值功能。2022/12/29481、標(biāo)準(zhǔn)BP算法設(shè)給定P組輸入輸出樣482023/1/349設(shè)取擬和誤差的代價(jià)函數(shù)為：如何調(diào)整連接權(quán)系數(shù)以使代價(jià)函數(shù)E最小。優(yōu)化計(jì)算的方法很多，比較典型的是采用一階梯度法，即最速下降法。2022/12/2949設(shè)取擬和誤差的代價(jià)函數(shù)為：如何調(diào)整492023/1/350一階梯度法尋優(yōu)的關(guān)鍵是計(jì)算優(yōu)化目標(biāo)函數(shù)(即本問題中的誤差代價(jià)函數(shù))E對(duì)尋優(yōu)參數(shù)的一階導(dǎo)數(shù)。對(duì)于第Q層有：

表示用第p組輸入樣本所算得的結(jié)果。

2022/12/2950一階梯度法尋優(yōu)的關(guān)鍵是計(jì)算優(yōu)化目標(biāo)函502023/1/351對(duì)于第Q－1層有：

顯然，它是反向遞推計(jì)算的公式2022/12/2951對(duì)于第Q－1層有：顯然，它是反向遞512023/1/352然后再由上式遞推計(jì)算出

依次類推，可繼續(xù)反向遞推計(jì)算出

和(q=Q－2，，1)的表達(dá)式中包含了導(dǎo)數(shù)項(xiàng)

假定f(·）為S形函數(shù)即首先計(jì)算出2022/12/2952然后再由上式遞推計(jì)算出依次類推，可522023/1/353最后可歸納出BP網(wǎng)絡(luò)的學(xué)習(xí)算法如下：

2022/12/2953最后可歸納出BP網(wǎng)絡(luò)的學(xué)習(xí)算法如下：532023/1/3542022/12/2954542023/1/355由于該算法式反向遞推(BackPropagation)計(jì)算出的，因而通常稱該多層前饋網(wǎng)絡(luò)為BP網(wǎng)絡(luò)。該網(wǎng)絡(luò)實(shí)質(zhì)上是對(duì)任意非線性映射關(guān)系的一種逼近，由于采用的是全局逼近的方法，因而BP網(wǎng)絡(luò)具有良好的泛化能力。真正的梯度下降是沿著梯度確定的方向以無窮小步長進(jìn)行的。很明顯，這是不切實(shí)際的，因此定義學(xué)習(xí)速率，確定了沿梯度方向的一個(gè)有限步長。這里是常數(shù)，它相當(dāng)于確定步長的增益。其中心思想就是選擇足夠大的，使得網(wǎng)絡(luò)迅速收斂，而不會(huì)因調(diào)整過渡而振蕩。2022/12/2955由于該算法式反向遞推(BackPr552023/1/3562、BP網(wǎng)絡(luò)的主要優(yōu)點(diǎn)

定理：只要隱層神經(jīng)元的個(gè)數(shù)充分多，則隱神經(jīng)元為S形神經(jīng)元而輸出元為線性元的二層網(wǎng)可逼近任何函數(shù)；BP網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近的方法，因而它具有較好的泛化能力。如果用M個(gè)隱神經(jīng)元的網(wǎng)絡(luò)逼近函數(shù)h(x)，則必然存在一個(gè)殘量誤差，Jones(1990,1992)和Barron(1993)證明了這一誤差以速度O(1/M)隨M的增大而減小。2022/12/29562、BP網(wǎng)絡(luò)的主要優(yōu)點(diǎn)定理：562023/1/357BP網(wǎng)絡(luò)能夠?qū)崿F(xiàn)輸入輸出的非線性映射關(guān)系，但它并不依賴于模型。其輸入與輸出之間的關(guān)聯(lián)信息分布地存儲(chǔ)于連接權(quán)中。由于連接權(quán)的個(gè)數(shù)很多，個(gè)別神經(jīng)元的損壞只對(duì)輸入輸出關(guān)系有較小的影響，因此BP網(wǎng)絡(luò)顯示了較好的容錯(cuò)性。BP網(wǎng)絡(luò)由于其很好的逼近非線性映射的能力，因而它可應(yīng)用于信息處理、圖象識(shí)別、模型辨識(shí)、系統(tǒng)控制等多個(gè)方面。對(duì)于控制方面的應(yīng)用，其很好的逼近特性和泛化能力是一個(gè)很好的性質(zhì)。而收斂速度慢卻是一個(gè)很大的缺點(diǎn)，這一點(diǎn)難以滿足實(shí)時(shí)控制的要求。2022/12/2957BP網(wǎng)絡(luò)能夠?qū)崿F(xiàn)輸入輸出的非572023/1/358對(duì)于給定的樣本集，目標(biāo)函數(shù)E是全體連接權(quán)系數(shù)的函數(shù)。因此，要尋優(yōu)的參數(shù)的個(gè)數(shù)比較多，也就是說，目標(biāo)函數(shù)E是關(guān)于連接權(quán)的一個(gè)非常復(fù)雜的超曲面，這就給尋優(yōu)計(jì)算帶來一系列的問題。其中一個(gè)最多的問題是收斂速度慢。由于待尋優(yōu)的參數(shù)太多，必然導(dǎo)致收斂速度慢的缺點(diǎn)。第二個(gè)嚴(yán)重缺陷是局部極值問題，即E的超曲面可能存在多個(gè)極值點(diǎn)。第三是難以確定隱層和隱結(jié)點(diǎn)的個(gè)數(shù)。從原理上，只要有足夠多的隱層和隱結(jié)點(diǎn)，即可實(shí)現(xiàn)復(fù)雜的映射關(guān)系，但是如何根據(jù)特定的問題來具體確定網(wǎng)絡(luò)的結(jié)構(gòu)尚無很好的方法，仍需要憑借經(jīng)驗(yàn)和試湊。按照上面的尋優(yōu)算法，它一般收斂到初值附近的局部極值。3、BP改進(jìn)算法2022/12/2958對(duì)于給定的樣本集，目標(biāo)函數(shù)E是全體連582023/1/359從本質(zhì)上講，BP網(wǎng)絡(luò)的求解訓(xùn)練過程本質(zhì)上是一種非線性優(yōu)化問題，這就不可避免地存在局部極小，在用它解決一些稍微復(fù)雜的問題時(shí)，往往不能保證達(dá)到全局最小，致使學(xué)習(xí)過程失效；當(dāng)誤差變小時(shí)，特別是快接近最小點(diǎn)時(shí)，學(xué)習(xí)收斂緩慢。2022/12/2959從本質(zhì)上講，BP網(wǎng)絡(luò)的求解訓(xùn)練過程本592023/1/3601、引入動(dòng)量法附加動(dòng)量法使網(wǎng)絡(luò)在修正權(quán)值時(shí)不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響。標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)算法，在修正權(quán)值w(k)時(shí)，只是按k時(shí)刻的負(fù)梯度方向進(jìn)行修正，沒有考慮積累的經(jīng)驗(yàn)，即以前的梯度方向，從而使學(xué)習(xí)過程振蕩，收斂緩慢。改進(jìn)BP算法的措施D(k)為k時(shí)刻的負(fù)梯度，D(k-1)為k-1時(shí)刻的負(fù)梯度。為學(xué)習(xí)率，>0為動(dòng)量項(xiàng)因子，0<1所加入的動(dòng)量項(xiàng)實(shí)質(zhì)上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過程的振蕩趨勢，改善了收斂性，是一種應(yīng)用比較廣泛的改進(jìn)算法。2022/12/29601、引入動(dòng)量法附加動(dòng)量法使網(wǎng)絡(luò)在修正602023/1/3612、變尺度法標(biāo)準(zhǔn)BP學(xué)習(xí)算法采用的是一階梯度法，因而收斂較慢。若采用二階梯度法，則可以大大提高收斂性。雖然二階梯度法具有較好的收斂性，但是需要計(jì)算E對(duì)w的二階導(dǎo)數(shù)，這個(gè)計(jì)算量很大。所以一般不直接采用二階梯度法，而常常采用變尺度法或共軛梯度法，它們具有如二階梯度法收斂較快的優(yōu)點(diǎn)，又無需直接計(jì)算二階梯度。2022/12/29612、變尺度法標(biāo)準(zhǔn)BP學(xué)習(xí)算法采用的是612023/1/362變尺度算法：2022/12/2962變尺度算法：622023/1/3633、自適應(yīng)學(xué)習(xí)率調(diào)整法在BP算法中，網(wǎng)絡(luò)權(quán)值的調(diào)整取決于學(xué)習(xí)速率和梯度。自適應(yīng)學(xué)習(xí)率調(diào)整準(zhǔn)則是：檢查權(quán)值的修正是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說明所選的學(xué)習(xí)率小了，可對(duì)其增加一個(gè)量；若還是則說明產(chǎn)生了過調(diào)，那么就應(yīng)減小學(xué)習(xí)速率的值。當(dāng)連續(xù)兩次迭代其梯度方向相同時(shí)，表明下降太慢，這時(shí)可使步長加倍；當(dāng)連續(xù)兩次迭代其梯度方向相反時(shí)，表明下降過頭，這時(shí)可使步長減半。2022/12/29633、自適應(yīng)學(xué)習(xí)率調(diào)整法在BP算法中，632023/1/364四、BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練1、產(chǎn)生數(shù)據(jù)樣本集包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預(yù)處理

首先要在大量的原始測量數(shù)據(jù)中確定出最主要的輸入模式。

在確定了最重要的輸入量后，需進(jìn)行尺度變換和預(yù)處理。尺度變換常常將它們變換到[-1,1]或[0,1]的范圍。在進(jìn)行尺度變換前必須先檢查是否存在異常點(diǎn)（或稱野點(diǎn)），這些點(diǎn)必須刪除。通過對(duì)數(shù)據(jù)的預(yù)處理分析還可以檢驗(yàn)其是否存在周期性、固定變換趨勢或其它關(guān)系。對(duì)數(shù)據(jù)的預(yù)處理就是要使得經(jīng)變換后的數(shù)據(jù)對(duì)于神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)和訓(xùn)練。2022/12/2964四、BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練1、產(chǎn)生數(shù)據(jù)樣642023/1/365對(duì)于一個(gè)問題應(yīng)該選擇多少數(shù)據(jù)，這也是一個(gè)很關(guān)鍵的問題。系統(tǒng)的輸入輸出關(guān)系就包含在數(shù)據(jù)樣本中。一般來說，取的數(shù)據(jù)越多，學(xué)習(xí)和訓(xùn)練的結(jié)果便越能正確反映輸入輸出關(guān)系。但選太多的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡(luò)訓(xùn)練付出的代價(jià)選太少的數(shù)據(jù)則可能得不到正確的結(jié)果。事實(shí)上數(shù)據(jù)的多數(shù)取決于許多因素，如網(wǎng)絡(luò)的大小、網(wǎng)絡(luò)測試的需要以及輸入輸出的分布等。其中網(wǎng)絡(luò)的大小最關(guān)鍵。通常較大的網(wǎng)絡(luò)需要較多的訓(xùn)練數(shù)據(jù)。一個(gè)經(jīng)驗(yàn)規(guī)則是：訓(xùn)練模式應(yīng)是連接權(quán)總數(shù)的5至10倍。2022/12/2965對(duì)于一個(gè)問題應(yīng)該選擇多少數(shù)據(jù)，這也是652023/1/366最簡單的方法是：將收集到的可用數(shù)據(jù)隨機(jī)地分成兩部分，比如其中三分之二用于網(wǎng)絡(luò)的訓(xùn)練。另外三分之一用于將來的測試。隨機(jī)選取的目的是為了盡量減小這兩部分?jǐn)?shù)據(jù)的相關(guān)性。影響數(shù)據(jù)大小的另一個(gè)因素是輸入模式和輸出結(jié)果的分布，對(duì)數(shù)據(jù)預(yù)先加以分類可以減小所需的數(shù)據(jù)量。相反，數(shù)據(jù)稀薄不勻甚至覆蓋則勢必要增加數(shù)據(jù)量。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，需要有另外的測試數(shù)據(jù)來對(duì)網(wǎng)絡(luò)加以檢驗(yàn)，測試數(shù)據(jù)應(yīng)是獨(dú)立的數(shù)據(jù)集合。2022/12/2966最簡單的方法是：將收集到的可用數(shù)據(jù)隨662023/1/3672、確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的類型很多，需根據(jù)問題的性質(zhì)和任務(wù)的要求來合適地選擇網(wǎng)絡(luò)類型。一般從已有的網(wǎng)絡(luò)類型中選用一種比較簡單而又能滿足要求的網(wǎng)絡(luò)，新設(shè)計(jì)一個(gè)網(wǎng)絡(luò)類型來滿足問題的要求往往比較困難。若主要用于模式分類，尤其是線性可分的情況，則可采用較為簡單的感知器網(wǎng)絡(luò)。若主要用于函數(shù)估計(jì)，則可應(yīng)用BP網(wǎng)絡(luò)在網(wǎng)絡(luò)的類型確定后，要是選擇網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)。以BP網(wǎng)絡(luò)為例，需選擇網(wǎng)絡(luò)的層數(shù)、每層的節(jié)點(diǎn)數(shù)、初始權(quán)值、閾值、學(xué)習(xí)算法、數(shù)值修改頻度、結(jié)點(diǎn)變換函數(shù)及參數(shù)、學(xué)習(xí)率等參數(shù)。2022/12/29672、確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的類672023/1/368有些項(xiàng)的選擇有一些指導(dǎo)原則，但更多的是靠經(jīng)驗(yàn)和試湊。對(duì)于網(wǎng)絡(luò)層數(shù)的選?。豪碚撋显缫炎C明：具有偏差和至少一個(gè)S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。增加層數(shù)主要可以更進(jìn)一步降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。而誤差精度的提高實(shí)際上也可以通過增加隱含層中的神經(jīng)元數(shù)目來獲得，其訓(xùn)練效果也比增加層數(shù)更容易觀察和調(diào)整，所以，一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。2022/12/2968有些項(xiàng)的選擇有一些指導(dǎo)原則，但更多的682023/1/369對(duì)于具體問題若確定了輸入和輸出變量后，網(wǎng)絡(luò)輸入層和輸出層的節(jié)點(diǎn)個(gè)數(shù)也便隨之確定了。具體選擇可采用如下方法：先設(shè)較少的節(jié)點(diǎn)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測試網(wǎng)絡(luò)的逼近誤差，然后逐漸增加節(jié)點(diǎn)數(shù)，直到測試的誤差不再有明顯的減少為止。隱層節(jié)點(diǎn)數(shù)對(duì)網(wǎng)絡(luò)的泛化能力有很大的影響。節(jié)點(diǎn)數(shù)太多，傾向于記住所有的訓(xùn)練數(shù)據(jù)，包括噪聲的影響，反而降低了泛化能力；節(jié)點(diǎn)數(shù)太少，不能擬和樣本數(shù)據(jù)，沒有較好的泛化能力。原則：選擇盡量少的節(jié)點(diǎn)數(shù)以實(shí)現(xiàn)盡量好的泛化能力。對(duì)于每層節(jié)點(diǎn)數(shù)的選?。?022/12/2969對(duì)于具體問題若確定了輸入和輸出變量后692023/1/370由于系統(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂以及訓(xùn)練時(shí)間的長短關(guān)系很大。初始權(quán)值的選?。喝绻跏贾堤?，使得加權(quán)后的輸入落到激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，而在計(jì)算權(quán)值的修正公式中，修正量正比與其導(dǎo)數(shù)，從而使調(diào)節(jié)過程幾乎停頓下來。一般總是希望經(jīng)過初始加權(quán)后的每個(gè)神經(jīng)元的輸出值都接近于零，這樣可以保證每個(gè)神經(jīng)元的權(quán)值都能夠在他們的S型激活函數(shù)變化最大之處進(jìn)行調(diào)節(jié)，所以，一般取初始權(quán)值在(-1,1)之間的隨機(jī)數(shù)。2022/12/2970由于系統(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)是702023/1/371學(xué)習(xí)速率的選?。簩W(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定小的學(xué)習(xí)速率會(huì)導(dǎo)致訓(xùn)練較長，收斂速度很慢。不過能保證網(wǎng)絡(luò)的誤差值不跳出表面的低谷而最終趨于最小誤差值。一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率一般的選取范圍為0.01－0.8和初始權(quán)值的選取過程一樣，在一個(gè)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)中，網(wǎng)絡(luò)要經(jīng)過幾個(gè)不同的學(xué)習(xí)速率的訓(xùn)練。通過觀察每一次訓(xùn)練后的誤差平方和的下降速率來判斷選定的學(xué)習(xí)速率是否合適。如果下降很快，說明學(xué)習(xí)速率合適。若出現(xiàn)振蕩，則說明學(xué)習(xí)速率過大。對(duì)于較復(fù)雜的網(wǎng)絡(luò)，為了減小尋找學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時(shí)間，比較合適的方法是采用自適應(yīng)學(xué)習(xí)速率。2022/12/2971學(xué)習(xí)速率的選?。簩W(xué)習(xí)速率決定每一次循712023/1/3723、訓(xùn)練和測試對(duì)所有樣本數(shù)據(jù)正向運(yùn)行一次并反向修改連接權(quán)一次稱為一次訓(xùn)練(或一次學(xué)習(xí))。通常訓(xùn)練一個(gè)網(wǎng)絡(luò)需要成百上千次。并非訓(xùn)練的次數(shù)越多，越能得到正確的輸入輸出的映射關(guān)系。由于所收集的數(shù)據(jù)都是包含噪聲的，訓(xùn)練的次數(shù)過多，網(wǎng)絡(luò)將包含噪聲的數(shù)據(jù)都記錄了下來，在極端情況下，訓(xùn)練后的網(wǎng)絡(luò)可以實(shí)現(xiàn)相當(dāng)于查表的功能。但是對(duì)于新的輸入數(shù)據(jù)卻不能給出合適的輸出，即并不具備很好的泛化能力。訓(xùn)練網(wǎng)絡(luò)的目的在于找出蘊(yùn)含在樣本數(shù)據(jù)中的輸入和輸出之間的本質(zhì)聯(lián)系，從而對(duì)于未經(jīng)訓(xùn)練的輸入也能給出合適的輸出，即局部泛化能力。網(wǎng)絡(luò)的性能主要是用它的泛化能力來衡量，它不是用對(duì)訓(xùn)練數(shù)據(jù)的擬和程度來衡量，而是用一組獨(dú)立的數(shù)據(jù)來加以測試和檢驗(yàn)。2022/12/29723、訓(xùn)練和測試對(duì)所有樣本數(shù)據(jù)正向運(yùn)行722023/1/373訓(xùn)練次數(shù)均方誤差訓(xùn)練數(shù)據(jù)測試數(shù)據(jù)實(shí)際操作時(shí)應(yīng)該訓(xùn)練和測試交替進(jìn)行，即每訓(xùn)練一次，同時(shí)用測試數(shù)據(jù)測試一遍，畫出均方誤差隨訓(xùn)練次數(shù)的變換曲線在用測試數(shù)據(jù)檢驗(yàn)時(shí)，均方誤差開始逐漸減小，當(dāng)訓(xùn)練次數(shù)再增加時(shí)，測試檢驗(yàn)誤差反而增加，誤差曲線上極小點(diǎn)所對(duì)應(yīng)的即為恰當(dāng)?shù)挠?xùn)練次數(shù)，若再訓(xùn)練即為“過渡訓(xùn)練”了。2022/12/2973訓(xùn)練次數(shù)均方誤差訓(xùn)練數(shù)據(jù)測試數(shù)據(jù)實(shí)際732023/1/374五、BP網(wǎng)絡(luò)應(yīng)用舉例BP網(wǎng)絡(luò)的本質(zhì)功能是通過對(duì)簡單非線性函數(shù)(S型函數(shù))的數(shù)次復(fù)合來實(shí)現(xiàn)輸入到輸出的高度非線性映射，隱含表達(dá)現(xiàn)實(shí)物理世界存在的及其復(fù)雜的非線性函數(shù)關(guān)系。工程中存在的許多實(shí)際問題，如模式識(shí)別、特征壓縮、圖形處理、預(yù)測預(yù)報(bào)、控制、決策、函數(shù)擬和等都可歸結(jié)為求解輸入到輸出的高度非線性映射，因而可用BP網(wǎng)絡(luò)有效地求解。下面以水凈化控制決策系統(tǒng)(WCCD)為例說明BP網(wǎng)絡(luò)的應(yīng)用。2022/12/2974五、BP網(wǎng)絡(luò)應(yīng)用舉例BP網(wǎng)絡(luò)的本質(zhì)742023/1/3751、WCCD系統(tǒng)結(jié)構(gòu)

混合池沉淀池過濾池PAC河水混合水已沉淀水清潔水水凈化系統(tǒng)是保障人們生活用水的重要系統(tǒng)，其凈化過程是：先把污濁的河水引到混合儲(chǔ)水池，并投入稱為PAC的化學(xué)制劑及用于消毒的氯；再把混合水引到沉淀池，使水中的污濁成分再PAC的作用下深入水底；沉淀大約35小時(shí)后，把水引到過濾池備用。以上過程可用如圖示意。在水凈化系統(tǒng)中主要的控制問題使確定要投入的PAC的量，以確保處理水的污濁度保持在一定水平之下。2022/12/29751、WCCD系統(tǒng)結(jié)構(gòu)混合池沉淀池過752023/1/376此控制問題的主要困難是水凈化過程很難用一個(gè)數(shù)學(xué)模型或物理模型來描述，而且河水的污濁度變換很大(如雨季河水的污濁度可能增大1000倍)，其變換規(guī)律也無法清楚地定義。BP神經(jīng)網(wǎng)絡(luò)WCCDTUB1TUB2TEALPHPAC在水凈化控制系統(tǒng)中，操作員的經(jīng)驗(yàn)成為關(guān)鍵的因素，以操作員的經(jīng)驗(yàn)和大量歷史數(shù)據(jù)為基礎(chǔ)構(gòu)造水凈化控制決策是非常適宜的為此提出一個(gè)基于BP神經(jīng)網(wǎng)絡(luò)的水凈化控制決策系統(tǒng)結(jié)構(gòu)2022/12/2976此控制問題的主要困難是水凈化過程很難762023/1/377神經(jīng)網(wǎng)絡(luò)的輸出是要投入的PAC的量，輸入是來自過程的反饋?zhàn)兞?，其含義如下：

神經(jīng)網(wǎng)絡(luò)的主要功能是根據(jù)訓(xùn)練樣本確定輸入輸出變量之間存在的復(fù)雜非線性函數(shù)關(guān)系，作出有關(guān)投放PAC量的決策。TUB1：水源的污濁度TUB2：已沉淀水的污濁度TE：水溫PH：水的PH值A(chǔ)L：水中的堿值2022/12/2977神經(jīng)網(wǎng)絡(luò)的輸出是要投入的PAC的量，772023/1/3782、網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)據(jù)規(guī)格化

該網(wǎng)絡(luò)為三層BP網(wǎng)絡(luò)，具有5個(gè)輸入點(diǎn)(對(duì)應(yīng)5個(gè)輸入變量)，1個(gè)輸出節(jié)點(diǎn)(對(duì)應(yīng)系統(tǒng)的1個(gè)輸出變量)。從現(xiàn)場收集到的操作員進(jìn)行PAC投入量決策的部分歷史數(shù)據(jù)如表。這些數(shù)據(jù)可用作網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。由于選擇的輸出函數(shù)為S型函數(shù)，要求其輸入范圍在[0，1]之間的實(shí)數(shù)，而表的數(shù)據(jù)范圍大大超出[0，1]區(qū)間，所以必須把它們規(guī)格化為[0，1]之間的實(shí)數(shù)，再送到數(shù)據(jù)網(wǎng)絡(luò)處理。X，Y分別是變換前后的數(shù)據(jù)，因?yàn)樵摫砻恳涣械臄?shù)據(jù)范圍不同，所以應(yīng)分別進(jìn)行變換。2022/12/29782、網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)據(jù)規(guī)格化該網(wǎng)絡(luò)為三782023/1/37911007.142.019.33.016.012007.042.017.71.535.010007.250.018.01.58.09007.255.018.83.012.011007.040.016.61.020.09007.253.023.64.014.09007.348.023.34.09.014007.140.019.51.050.014007.346.019.42.022.013007.153.018.81.010.0PACPHALTETUB2TUB12022/12/297911007.142.019.33.0792023/1/3803、仿真結(jié)果

在仿真試驗(yàn)中，對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，達(dá)到了比較理想的學(xué)習(xí)精度(訓(xùn)練誤差小于0.095)。經(jīng)對(duì)比，訓(xùn)練后的系統(tǒng)作出的關(guān)于PAC投放量的決策輸出與操作員的決策幾乎完全相同。換言之，該決策系統(tǒng)準(zhǔn)確地模擬了經(jīng)驗(yàn)豐富的人類操作員的控制決策功能，且其性能明顯高于基于統(tǒng)計(jì)模型的系統(tǒng)，很好地解決了水凈化過程很難用數(shù)學(xué)模型或物理模型來精確描述，使用常規(guī)控制系統(tǒng)性能不佳的難題。2022/12/29803、仿真結(jié)果在仿真試驗(yàn)中，對(duì)該網(wǎng)絡(luò)80BP算法存在的問題：該學(xué)習(xí)算法的收斂速度非常慢?？赡艹霈F(xiàn)局部極小問題。故B-P算法是不完備的。網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取尚無理論上的指導(dǎo)。對(duì)新樣例的學(xué)習(xí)會(huì)影響已學(xué)習(xí)過的樣例。BP算法存在的問題：81以上介紹的多層前向反饋網(wǎng)是無反饋的網(wǎng)絡(luò)，且是靜態(tài)網(wǎng)絡(luò)。所以它不存在穩(wěn)定性問題，通常只能用于解決與時(shí)間無關(guān)的模式識(shí)別、函數(shù)擬合等問題。對(duì)與時(shí)間有關(guān)的問題如飛行器控制、語音處理等則需要引入動(dòng)態(tài)系統(tǒng)。其中，一種是單元信息的處理引入時(shí)間參量；一種是網(wǎng)絡(luò)結(jié)構(gòu)中引入反饋。從而形成動(dòng)態(tài)網(wǎng)絡(luò)。以上介紹的多層前向反饋網(wǎng)是無反饋的網(wǎng)絡(luò)，且是靜82前饋網(wǎng)（動(dòng)態(tài)網(wǎng)）反饋網(wǎng)（靜態(tài)網(wǎng)）信號(hào)方向只有向前既向前，也向后訓(xùn)練階段動(dòng)態(tài)，反復(fù)迭代搜索確定權(quán)矩陣靜態(tài)，一次性計(jì)算權(quán)矩陣應(yīng)用階段靜態(tài)，一次性輸出結(jié)果動(dòng)態(tài)，反復(fù)迭代后穩(wěn)定在某個(gè)輸出結(jié)果上前饋網(wǎng)反饋網(wǎng)信號(hào)方向只有向前既向前，也向后訓(xùn)練階段動(dòng)態(tài)，反復(fù)832023/1/384模型名稱有師或無師學(xué)習(xí)規(guī)則正向或方向傳播應(yīng)用領(lǐng)域AG無Hebb律反向數(shù)據(jù)分類SG無Hebb律反向信息處理ART-1無競爭律反向模式分類DH無Hebb律反向語音處理CH無Hebb律/競爭律反向組合優(yōu)化BAM無Hebb律/競爭律反向圖像處理AM無Hebb律反向模式存儲(chǔ)ABZM無Hebb律反向信號(hào)處理2022/12/2984模型名稱有師或無師學(xué)習(xí)規(guī)則正向或方向842023/1/385模型名稱有師或無師學(xué)習(xí)規(guī)則正向或方向傳播應(yīng)用領(lǐng)域CABAM無Hebb律反向組合優(yōu)化FCM無Hebb律反向組合優(yōu)化LM有Hebb律正向過程監(jiān)控DR有Hebb律正向過程預(yù)測、控制LAM有Hebb律正向系統(tǒng)控制OLAM有Hebb律正向信號(hào)處理FAM有Hebb律正向知識(shí)處理BSB有誤差修正正向?qū)崟r(shí)分類2022/12/2985模型名稱有師或無師學(xué)習(xí)規(guī)則正向或方向852023/1/386模型名稱有師或無師學(xué)習(xí)規(guī)則正向或方向傳播應(yīng)用領(lǐng)域Perceptron有誤差修正正向線性分類、預(yù)測Adaline/Madaline有誤差修正反向分類、噪聲抑制BP有誤差修正反向分類AVQ有誤差修正反向數(shù)據(jù)自組織CPN有Hebb律反向自組織映射BM有Hebb律/模擬退火反向組合優(yōu)化CM有Hebb律/模擬退火反向組合優(yōu)化AHC有誤差修正反向控制2022/12/2986模型名稱有師或無師學(xué)習(xí)規(guī)則正向或方向862023/1/387模型名稱有師或無師學(xué)習(xí)規(guī)則正向或方向傳播應(yīng)用領(lǐng)域ARP有隨機(jī)增大反向模式匹配、控制SNMF有Hebb律反向語音/圖像處理2022/12/2987模型名稱有師或無師學(xué)習(xí)規(guī)則正向或方向87神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)88神經(jīng)網(wǎng)絡(luò)的概念 泛指生物神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò) 由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺、運(yùn)動(dòng)、交感等）所構(gòu)成的錯(cuò)綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)(ANN) 由大量簡單的處理單元廣泛地互相連接而形成地復(fù)雜網(wǎng)絡(luò)系統(tǒng)，以簡化，抽象，和模擬人腦神經(jīng)網(wǎng)絡(luò)。概述神經(jīng)網(wǎng)絡(luò)的概念概述89概述神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史初創(chuàng)（1943—1969）1943年，McCulloch和Pitts提出了M-P模型1949年，Hebb提出Hebb學(xué)習(xí)規(guī)則1957年，Rosenblatt提出感知器(perceptrons)1969年，Minsky和Papert發(fā)表“Perceptrons”概述神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史90過渡期（1970—1986）1980年，Kohonen提出自組織映射理論1982年，Hopfield提出離散的Hopfield網(wǎng)絡(luò)模型 1984年，又提出連續(xù)的Hopfield網(wǎng)絡(luò)模型，并用電子線路實(shí)現(xiàn)了該網(wǎng)路的仿真。1986年，Rumelhart等提出BP算法發(fā)展期（1987--）1993年創(chuàng)刊的“IEEETransactiononNeuralNetwork”過渡期（1970—1986）91生物神經(jīng)元 構(gòu)成神經(jīng)系統(tǒng)的基本單元，簡稱神經(jīng)元。包括細(xì)胞體、樹突、軸突。生物神經(jīng)元92

神經(jīng)元電鏡圖片

93軸突樹突突觸細(xì)胞體神經(jīng)末梢軸突樹突突觸細(xì)胞體神經(jīng)末梢94組成細(xì)胞體由細(xì)胞核，細(xì)胞質(zhì)，和細(xì)胞膜組成。膜內(nèi)外有電位差，膜外為正，膜內(nèi)為負(fù)。它是神經(jīng)元新陳代謝的中心，用于接收并處理從其它神經(jīng)元傳遞的信息。軸突由細(xì)胞體向外伸出的一條最長分支，長度可達(dá)1m。它通過尾部的神經(jīng)末梢向其它神經(jīng)元輸出神經(jīng)沖動(dòng)，相當(dāng)于神經(jīng)元的輸出電纜。組成95樹突除軸突外的其它分支。數(shù)目多，長度短。它用于接受從其它神經(jīng)元傳來的神經(jīng)沖動(dòng)，相當(dāng)于神經(jīng)元的輸入端。突觸一個(gè)神經(jīng)元的軸突末梢和另外一個(gè)神經(jīng)元的樹突相接觸的地方，相當(dāng)于神經(jīng)元之間的接口部分。大多數(shù)神經(jīng)元有103—104個(gè)突觸。

樹突96連接輻射 一個(gè)神經(jīng)元的軸突末梢與許多神經(jīng)元的樹突相連接。聚合 許多神經(jīng)元的軸突末梢與一個(gè)神經(jīng)元的樹突相連接。連接97特性信息以預(yù)知的確定方向傳遞

一個(gè)神經(jīng)元的樹突、細(xì)胞體－軸突－突觸－另一個(gè)神經(jīng)元樹突時(shí)空整合功能對(duì)不同時(shí)間通過同一突觸傳入的信息具有時(shí)間整合功能對(duì)同一時(shí)間通過不同突觸傳入的信息具有空間整合功能特性98工作狀態(tài)興奮狀態(tài)，對(duì)輸入信息整合后使細(xì)胞膜電位升高，當(dāng)高于動(dòng)作電位的閾值時(shí)，產(chǎn)生神經(jīng)沖動(dòng)，并由軸突輸出。抑制狀態(tài)，對(duì)輸入信息整合后使細(xì)胞膜電位降低，當(dāng)?shù)陀趧?dòng)作電位的閾值時(shí)，無神經(jīng)沖動(dòng)產(chǎn)生。結(jié)構(gòu)的可塑性神經(jīng)元之間的柔性連接。工作狀態(tài)99脈沖與電位轉(zhuǎn)換功能軸突與普通傳輸線路不同，對(duì)于小于閾值的信號(hào)在傳遞過程中會(huì)被濾除，而對(duì)于大于閾值的則有整形作用。即無論輸入脈沖的幅度與寬度，輸出波形恒定。信息傳遞的時(shí)延性和不應(yīng)期性在兩次輸入之間要有一定的時(shí)間間隔，即時(shí)延；而在此期間內(nèi)不響應(yīng)激勵(lì)，不傳遞信息，稱為不應(yīng)期。

脈沖與電位轉(zhuǎn)換功能100人工神經(jīng)元及其互連結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的基本處理單元－人工神經(jīng)元模擬主要考慮兩個(gè)特性：時(shí)空加權(quán)，閾值作用。其中對(duì)于時(shí)空加權(quán)，模型分為兩類，即考慮時(shí)間特性，不考慮時(shí)間特性。人工神經(jīng)元及其互連結(jié)構(gòu)101人工神經(jīng)元

M-P模型 最早由心理學(xué)家麥克羅奇（W.McLolloch）和數(shù)理邏輯學(xué)家皮茲（W.Pitts）于1943年提出。

θY輸出eeii興奮型輸入抑制型輸入閾值人工神經(jīng)元θY輸出ei興奮型輸入抑制型輸入閾值102M-P模型輸入輸出關(guān)系表輸入條件輸出 M-P模型對(duì)抑制型輸入賦予了“否決權(quán)”，只有當(dāng)，且時(shí)，才有y＝1，其它時(shí)候y＝0。M-P模型輸入輸出關(guān)系表輸入條件輸出 M-P模型對(duì)抑制型輸入103一種常見的不考慮時(shí)間特性的模型

θy輸出x1x2…xnwns控制符號(hào)f()－－特性函數(shù)/激發(fā)函數(shù)閾值連接權(quán)值w2w1輸入多輸入單輸出的非線性器件一種常見的不考慮時(shí)間特性的模型θy輸出x1wns104一些典型的特性函數(shù)

閾值型 線性 s型一些典型的特性函數(shù)105神經(jīng)元的連接

人工神經(jīng)網(wǎng)絡(luò)是由神經(jīng)元廣泛互聯(lián)構(gòu)成的，不同的連接方式構(gòu)成了不同的網(wǎng)絡(luò)模型神經(jīng)元的連接106前向網(wǎng)絡(luò)

神經(jīng)元分層排列(輸入層、隱層和輸出層)。各層之間的神經(jīng)元全互聯(lián)，各層內(nèi)的神經(jīng)元無連接。每一層只接受來自前一層的輸入。前向網(wǎng)絡(luò)107從輸出層到輸入層有反饋的網(wǎng)絡(luò)從輸出層到輸入層有反饋的網(wǎng)絡(luò)108層內(nèi)有互連接的網(wǎng)絡(luò)

同一層的神經(jīng)元可以互相連接.層內(nèi)有互連接的網(wǎng)絡(luò)109互連網(wǎng)絡(luò)

任意兩個(gè)神經(jīng)元之間可以互相連接。

互連網(wǎng)絡(luò)一直處于動(dòng)態(tài)變化之中，最后到達(dá)某種穩(wěn)定狀態(tài)，也可能進(jìn)入周期振蕩。

互連網(wǎng)絡(luò)110人工神經(jīng)網(wǎng)絡(luò)的特征及分類人工神經(jīng)網(wǎng)絡(luò)的特征能較好的模擬人的形象思維具有大規(guī)模并行協(xié)同處理能力具有較強(qiáng)的容錯(cuò)能力和聯(lián)想能力具有較強(qiáng)的學(xué)習(xí)能力大規(guī)模、自組織、自適應(yīng)的非線性動(dòng)力系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的特征及分類111人工神經(jīng)網(wǎng)絡(luò)的分類根據(jù)拓?fù)浣Y(jié)構(gòu)無反饋網(wǎng)絡(luò)有反饋網(wǎng)絡(luò)根據(jù)學(xué)習(xí)方法有教師的學(xué)習(xí)網(wǎng)絡(luò)無教師的學(xué)習(xí)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的分類112根據(jù)網(wǎng)絡(luò)的狀態(tài)靜態(tài)網(wǎng)絡(luò)動(dòng)態(tài)網(wǎng)絡(luò)根據(jù)處理的信息連續(xù)型網(wǎng)絡(luò) 離散型網(wǎng)絡(luò)根據(jù)網(wǎng)絡(luò)的狀態(tài)113感知器

羅森勃拉特(Rosenblatt)于1957年提出,把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了工程實(shí)踐。 感知器是只有單層計(jì)算單元的前向神經(jīng)網(wǎng)絡(luò),由線性閾值單元組成。1）線性閾值單元

1y=0或-1感知器1142)單層感知器只有輸入層和輸出層組成，輸入層的每個(gè)處理單元均與輸出層互連，層內(nèi)各神經(jīng)元無連接，網(wǎng)絡(luò)無反饋。2)單層感知器115學(xué)習(xí)算法:假設(shè)只有一個(gè)輸出y(t)1.給wi(0)(i=1,2……n)及θ賦一個(gè)較小的非0隨機(jī)數(shù)作為初值2.輸入一個(gè)樣例X＝[x1,x2……xn]和期望的輸出d3.計(jì)算網(wǎng)絡(luò)的實(shí)際輸出4.調(diào)整權(quán)值0<η≤1：增益因子，控制調(diào)整速度5.轉(zhuǎn)第二步，直到wi對(duì)一切樣例穩(wěn)定為止學(xué)習(xí)算法:假設(shè)只有一個(gè)輸出y(t)1.給wi(0)(i=11163)多層感知器(MLP)在單層感知器的輸入和輸出層之間增加一個(gè)或多個(gè)隱層?？僧a(chǎn)生復(fù)雜的決策界面和任意的布爾函數(shù)。3)多層感知器(MLP)117

前向多層神經(jīng)網(wǎng)絡(luò)也即多層感知器(MLP)，也叫BP網(wǎng)。BP(Back-Propagation)算法，是用于前向多層神經(jīng)網(wǎng)絡(luò)的反傳學(xué)習(xí)算法，是目前應(yīng)用最廣泛且重要的訓(xùn)練前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。前向多層神經(jīng)網(wǎng)絡(luò) 前向多層神經(jīng)網(wǎng)絡(luò)也即多層感知器(MLP)，也叫BP網(wǎng)。BP118前向多層神經(jīng)網(wǎng)絡(luò)BP網(wǎng)除輸入，輸出層外，還有一個(gè)或多個(gè)隱層。各層之間的神經(jīng)元全互連，各層內(nèi)的神經(jīng)元無連接，網(wǎng)絡(luò)無反饋。前向多層神經(jīng)網(wǎng)絡(luò)BP網(wǎng)119節(jié)點(diǎn)的特性要求是可微的，通常選S型函數(shù)。

Sigmoid函數(shù)的特點(diǎn)：連續(xù)可微單調(diào)取值在[0,1]節(jié)點(diǎn)的特性要求是可微的，通常選S型函數(shù)。120B-P算法學(xué)習(xí)的目的：對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得對(duì)任一輸入都能得到所期望的輸出。學(xué)習(xí)的方法：用一組訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其中每一個(gè)樣例都包括輸入及期望的輸出兩部分。應(yīng)用：對(duì)待識(shí)別的樣本進(jìn)行模式識(shí)別。B-P算法121BP算法的具體步驟：從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。由網(wǎng)絡(luò)分別計(jì)算各層節(jié)點(diǎn)的輸出。計(jì)算網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的誤差。從輸出層反向計(jì)算到第—個(gè)隱層，按一定原則向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個(gè)連接權(quán)值－反向傳播。對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)以上步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。在訓(xùn)練時(shí)，需要反向傳播，而一旦訓(xùn)練結(jié)束，求解實(shí)際問題時(shí)，則只需正向傳播。BP算法的具體步驟：122具體算法：1)Oi：節(jié)點(diǎn)i的輸出；netj：節(jié)點(diǎn)j的輸入；wij：從節(jié)點(diǎn)i到節(jié)點(diǎn)j的連接權(quán)值。2)誤差函數(shù)分別表示輸出層上節(jié)點(diǎn)k的期望輸出與實(shí)際輸出

具體算法：1233)連接權(quán)值的修正

wjk(t+1)和wjk(t)分別表示t+1和t時(shí)刻上從節(jié)點(diǎn)j到節(jié)點(diǎn)k的連接權(quán)值，?wjk為修正量。

3)連接權(quán)值的修正124為了使連接權(quán)值沿著e的梯度變化方向得以改善，網(wǎng)絡(luò)逐漸收斂，取

其中，為增益因子為了使連接權(quán)值沿著e的梯度變化方向得以改善，網(wǎng)絡(luò)逐125神經(jīng)網(wǎng)絡(luò)--課件126神經(jīng)網(wǎng)絡(luò)--課件127故先計(jì)算最高層（輸出層）上各節(jié)點(diǎn)δ值，再反傳到較低層上，計(jì)算各隱層節(jié)點(diǎn)的δ值。故先計(jì)算最高層（輸出層）上各節(jié)點(diǎn)δ值，再反傳到較低層128神經(jīng)網(wǎng)絡(luò)--課件129神經(jīng)網(wǎng)絡(luò)--課件130以上學(xué)習(xí)過程是按照樣本p的誤差ep減小最快的方式改變連接權(quán)值，直到獲得滿意的連接權(quán)值的。也可以基于E來完成在權(quán)值空間的梯度搜索。其中P為訓(xùn)練樣本的個(gè)數(shù)以上學(xué)習(xí)過程是按照樣本p的誤差ep減小最快的方式改變131此時(shí)，按反向傳播計(jì)算樣本p在各層的連接權(quán)值變化量?pwjk，但并不對(duì)各層神經(jīng)元的連接權(quán)值進(jìn)行修改，而是不斷重復(fù)這一過程，直至完成對(duì)訓(xùn)練樣本集中所有樣本的計(jì)算，并產(chǎn)生這一輪訓(xùn)練的各層連接權(quán)值的改變量?wjk此時(shí)才對(duì)網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值進(jìn)行調(diào)整，若正向傳播后重新計(jì)算的E仍不滿足要求，則開始下一輪權(quán)值修正。此時(shí)，按反向傳播計(jì)算樣本p在各層的連接權(quán)值變化量?p1322023/1/3133感知器模型中神經(jīng)元的變換函數(shù)采用的是符號(hào)函數(shù)，因此輸出的是二值量。它主要用于模式分類。多層前饋網(wǎng)具有相同的結(jié)構(gòu)，只是神經(jīng)元的變換函數(shù)采用S型函數(shù)，因此輸出量是0到1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射。由于連接權(quán)的調(diào)整采用的是反向傳播(BackPropagation)的學(xué)習(xí)算法，因此該網(wǎng)絡(luò)也稱為BP網(wǎng)絡(luò)。在多層前饋網(wǎng)絡(luò)中，第0層為輸入層，第Q層為輸出層，有nQ個(gè)輸出，中間層為隱層。設(shè)第q層(q=0,2,，Q)的神經(jīng)元個(gè)數(shù)為nq，輸入到第q層的第i個(gè)神經(jīng)元的連接權(quán)系統(tǒng)為：2022/12/2946感知器模型中神經(jīng)元的變換函數(shù)采用的是1332023/1/3134網(wǎng)絡(luò)的輸入輸出變化關(guān)系為：

2022/12/2947網(wǎng)絡(luò)的輸入輸出變化關(guān)系為：1342023/1/31351、標(biāo)準(zhǔn)BP算法設(shè)給定P組輸入輸出樣本：

利用該樣本集首先對(duì)BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，也即對(duì)網(wǎng)絡(luò)的連接權(quán)系數(shù)進(jìn)行學(xué)習(xí)和調(diào)整，以使該網(wǎng)絡(luò)實(shí)現(xiàn)給定的輸入輸出映射關(guān)系。經(jīng)過訓(xùn)練的BP網(wǎng)絡(luò)，對(duì)于不是樣本集中的輸入也能給出合適的輸出。該性質(zhì)稱為泛化(generalization)功能。從函數(shù)擬和的角度，它說明BP網(wǎng)絡(luò)具有插值功能。2022/12/29481、標(biāo)準(zhǔn)BP算法設(shè)給定P組輸入輸出樣1352023/1/3136設(shè)取擬和誤差的代價(jià)函數(shù)為：如何調(diào)整連接權(quán)系數(shù)以使代價(jià)函數(shù)E最小。優(yōu)化計(jì)算的方法很多，比較典型的是采用一階梯度法，即最速下降法。2022/12/2949設(shè)取擬和誤差的代價(jià)函數(shù)為：如何調(diào)整1362023/1/3137一階梯度法尋優(yōu)的關(guān)鍵是計(jì)算優(yōu)化目標(biāo)函數(shù)(即本問題中的誤差代價(jià)函數(shù))E對(duì)尋優(yōu)參數(shù)的一階導(dǎo)數(shù)。對(duì)于第Q層有：

表示用第p組輸入樣本所算得的結(jié)果。

2022/12/2950一階梯度法尋優(yōu)的關(guān)鍵是計(jì)算優(yōu)化目標(biāo)函1372023/1/3138對(duì)于第Q－1層有：

顯然，它是反向遞推計(jì)算的公式2022/12/2951對(duì)于第Q－1層有：顯然，它是反向遞1382023/1/3139然后再由上式遞推計(jì)算出

依次類推，可繼續(xù)反向遞推計(jì)算出

和(q=Q－2，，1)的表達(dá)式中包含了導(dǎo)數(shù)項(xiàng)

假定f(·）為S形函數(shù)即首先計(jì)算出2022/12/2952然后再由上式遞推計(jì)算出依次類推，可1392023/1/3140最后可歸納出BP網(wǎng)絡(luò)的學(xué)習(xí)算法如下：

2022/12/2953最后可歸納出BP網(wǎng)絡(luò)的學(xué)習(xí)算法如下：1402023/1/31412022/12/29541412023/1/3142由于該算法式反向遞推(BackPropagation)計(jì)算出的，因而通常稱該多層前饋網(wǎng)絡(luò)為BP網(wǎng)絡(luò)。該網(wǎng)絡(luò)實(shí)質(zhì)上是對(duì)任意非線性映射關(guān)系的一種逼近，由于采用的是全局逼近的方法，因而BP網(wǎng)絡(luò)具有良好的泛化能力。真正的梯度下降是沿著梯度確定的方向以無窮小步長進(jìn)行的。很明顯，這是不切實(shí)際的，因此定義學(xué)習(xí)速率，確定了沿梯度方向的一個(gè)有限步長。這里是常數(shù)，它相當(dāng)于確定步長的增益。其中心思想就是選擇足夠大的，使得網(wǎng)絡(luò)迅速收斂，而不會(huì)因調(diào)整過渡而振蕩。2022/12/2955由于該算法式反向遞推(BackPr1422023/1/31432、BP網(wǎng)絡(luò)的主要優(yōu)點(diǎn)

定理：只要隱層神經(jīng)元的個(gè)數(shù)充分多，則隱神經(jīng)元為S形神經(jīng)元而輸出元為線性元的二層網(wǎng)可逼近任何函數(shù)；BP網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近的方法，因而它具有較好的泛化能力。如果用M個(gè)隱神經(jīng)元的網(wǎng)絡(luò)逼近函數(shù)h(x)，則必然存在一個(gè)殘量誤差，Jones(1990,1992)和Barron(1993)證明了這一誤差以速度O(1/M)隨M的增大而減小。2022/12/29562、BP網(wǎng)絡(luò)的主要優(yōu)點(diǎn)定理：1432023/1/3144BP網(wǎng)絡(luò)能夠?qū)崿F(xiàn)輸入輸出的非線性映射關(guān)系，但它并不依賴于模型。其輸入與輸出之間的關(guān)聯(lián)信息分布地存儲(chǔ)于連接權(quán)中。由于連接權(quán)的個(gè)數(shù)很多，個(gè)別神經(jīng)元的損壞只對(duì)輸入輸出關(guān)系有較小的影響，因此BP網(wǎng)絡(luò)顯示了較好的容錯(cuò)性。BP網(wǎng)絡(luò)由于其很好的逼近非線性映射的能力，因而它可應(yīng)用于信息處理、圖象識(shí)別、模型辨識(shí)、系統(tǒng)控制等多個(gè)方面。對(duì)于控制方面的應(yīng)用，其很好的逼近特性和泛化能力是一個(gè)很好的性質(zhì)。而收斂速度慢卻是一個(gè)很大的缺點(diǎn)，這一點(diǎn)難以滿足實(shí)時(shí)控制的要求。2022/12/2957BP網(wǎng)絡(luò)能夠?qū)崿F(xiàn)輸入輸出的非1442023/1/3145對(duì)于給定的樣本集，目標(biāo)函數(shù)E是全體連接權(quán)系數(shù)的函數(shù)。因此，要尋優(yōu)的參數(shù)的個(gè)數(shù)比較多，也就是說，目標(biāo)函數(shù)E是關(guān)于連接權(quán)的一個(gè)非常復(fù)雜的超曲面，這就給尋優(yōu)計(jì)算帶來一系列的問題。其中一個(gè)最多的問題是收斂速度慢。由于待尋優(yōu)的參數(shù)太多，必然導(dǎo)致收斂速度慢的缺點(diǎn)。第二個(gè)嚴(yán)重缺陷是局部極值問題，即E的超曲面可能存在多個(gè)極值點(diǎn)。第三是難以確定隱層和隱結(jié)點(diǎn)的個(gè)數(shù)。從原理上，只要有足夠多的隱層和隱結(jié)點(diǎn)，即可實(shí)現(xiàn)復(fù)雜的映射關(guān)系，但是如何根據(jù)特定的問題來具體確定網(wǎng)絡(luò)的結(jié)構(gòu)尚無很好的方法，仍需要憑借經(jīng)驗(yàn)和試湊。按照上面的尋優(yōu)算法，它一般收斂到初值附近的局部極值。3、BP改進(jìn)算法2022/12/2958對(duì)于給定的樣本集，目標(biāo)函數(shù)E是全體連1452023/1/3146從本質(zhì)上講，BP網(wǎng)絡(luò)的求解訓(xùn)練過程本質(zhì)上是一種非線性優(yōu)化問題，這就不可避免地存在局部極小，在用它解決一些稍微復(fù)雜的問題時(shí)，往往不能保證達(dá)到全局最小，致使學(xué)習(xí)過程失效；當(dāng)誤差變小時(shí)，特別是快接近最小點(diǎn)時(shí)，學(xué)習(xí)收斂緩慢。2022/12/2959從本質(zhì)上講，BP網(wǎng)絡(luò)的求解訓(xùn)練過程本1462023/1/31471、引入動(dòng)量法附加動(dòng)量法使網(wǎng)絡(luò)在修正權(quán)值時(shí)不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響。標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)算法，在修正權(quán)值w(k)時(shí)，只是按k時(shí)刻的負(fù)梯度方向進(jìn)行修正，沒有考慮積累的經(jīng)驗(yàn)，即以前的梯度方向，從而使學(xué)習(xí)過程振蕩，收斂緩慢。改進(jìn)BP算法的措施D(k)為k時(shí)刻的負(fù)梯度，D(k-1)為k-1時(shí)刻的負(fù)梯度。為學(xué)習(xí)率，>0為動(dòng)量項(xiàng)因子，0<1所加入的動(dòng)量項(xiàng)實(shí)質(zhì)上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過程的振蕩趨勢，改善了收斂性，是一種應(yīng)用比較廣泛的改進(jìn)算法。2022/12/29601、引入動(dòng)量法附加動(dòng)量法使網(wǎng)絡(luò)在修正1472023/1/31482、變尺度法標(biāo)準(zhǔn)BP學(xué)習(xí)算法采用的是一階梯度法，因而收斂較慢。若采用二階梯度法，則可以大大提高收斂性。雖然二階梯度法具有較好的收斂性，但是需要計(jì)算E對(duì)w的二階導(dǎo)數(shù)，這個(gè)計(jì)算量很大。所以一般不直接采用二階梯度法，而常常采用變尺度法或共軛梯度法，它們具有如二階梯度法收斂較快的優(yōu)點(diǎn)，又無需直接計(jì)算二階梯度。2022/12/29612、變尺度法標(biāo)準(zhǔn)BP學(xué)習(xí)算法采用的是1482023/1/3149變尺度算法：2022/12/2962變尺度算法：1492023/1/31503、自適應(yīng)學(xué)習(xí)率調(diào)整法在BP算法中，網(wǎng)絡(luò)權(quán)值的調(diào)整取決于學(xué)習(xí)速率和梯度。自適應(yīng)學(xué)習(xí)率調(diào)整準(zhǔn)則是：檢查權(quán)值的修正是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說明所選的學(xué)習(xí)率小了，可對(duì)其增加一個(gè)量；若還是則說明產(chǎn)生了過調(diào)，那么就應(yīng)減小學(xué)習(xí)速率的值。當(dāng)連續(xù)兩次迭代其梯度方向相同時(shí)，表明下降太慢，這時(shí)可使步長加倍；當(dāng)連續(xù)兩次迭代其梯度方向相反時(shí)，表明下降過頭，這時(shí)可使步長減半。2022/12/29633、自適應(yīng)學(xué)習(xí)率調(diào)整法在BP算法中，1502023/1/3151四、BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練1、產(chǎn)生數(shù)據(jù)樣本集包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預(yù)處理

首先要在大量的原始測量數(shù)據(jù)中確定出最主要的輸入模式。

在確定了最重要的輸入量后，需進(jìn)行尺度變換和預(yù)處理。尺度變換常常將它們變換到[-1,1]或[0,1]的范圍。在進(jìn)行尺度變換前必須先檢查是否存在異常點(diǎn)（或稱野點(diǎn)），這些點(diǎn)必須刪除。通過對(duì)數(shù)據(jù)的預(yù)處理分析還可以檢驗(yàn)其是否存在周期性、固定變換趨勢或其它關(guān)系。對(duì)數(shù)據(jù)的預(yù)處理就是要使得經(jīng)變換后的數(shù)據(jù)對(duì)于神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)和訓(xùn)練。2022/12/2964四、BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練1、產(chǎn)生數(shù)據(jù)樣1512023/1/3152對(duì)于一個(gè)問題應(yīng)該選擇多少數(shù)據(jù)，這也是一個(gè)很關(guān)鍵的問題。系統(tǒng)的輸入輸出關(guān)系就包含在數(shù)據(jù)樣本中。一般來說，取的數(shù)據(jù)越多，學(xué)習(xí)和訓(xùn)練的結(jié)果便越能正確反映輸入輸出關(guān)系。但選太多的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡(luò)訓(xùn)練付出的代價(jià)選太少的數(shù)據(jù)則可能得不到正確的結(jié)果。事實(shí)上數(shù)據(jù)的多數(shù)取決于許多因素，如網(wǎng)絡(luò)的大小、網(wǎng)絡(luò)測試的需要以及輸入輸出的分布等。其中網(wǎng)絡(luò)的大小最關(guān)鍵。通常較大的網(wǎng)絡(luò)需要較多的訓(xùn)練數(shù)據(jù)。一個(gè)經(jīng)驗(yàn)規(guī)則是：訓(xùn)練模式應(yīng)是連接權(quán)總數(shù)的5至10倍。2022/12/2965對(duì)于一個(gè)問題應(yīng)該選擇多少數(shù)據(jù)，這也是1522023/1/3153最簡單的方法是：將收集到的可用數(shù)據(jù)隨機(jī)地分成兩部分，比如其中三分之二用于網(wǎng)絡(luò)的訓(xùn)練。另外三分之一用于將來的測試。隨機(jī)選取的目的是為了盡量減小這兩部分?jǐn)?shù)據(jù)的相關(guān)性。影響數(shù)據(jù)大小的另一個(gè)因素是輸入模式和輸出結(jié)果的分布，對(duì)數(shù)據(jù)預(yù)先加以分類可以減小所需的數(shù)據(jù)量。相反，數(shù)據(jù)稀薄不勻甚至覆蓋則勢必要增加數(shù)據(jù)量。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，需要有另外的測試數(shù)據(jù)來對(duì)網(wǎng)絡(luò)加以檢驗(yàn)，測試數(shù)據(jù)應(yīng)是獨(dú)立的數(shù)據(jù)集合。2022/12/2966最簡單的方法是：將收集到的可用數(shù)據(jù)隨1532023/1/31542、確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的類型很多，需根據(jù)問題的性質(zhì)和任務(wù)的要求來合適地選擇網(wǎng)絡(luò)類型。一般從已有的網(wǎng)絡(luò)類型中選用一種比較簡單而又能滿足要求的網(wǎng)絡(luò)，新設(shè)計(jì)一個(gè)網(wǎng)絡(luò)類型來滿足問題的要求往往比較困難。若主要用于模式分類，尤其是線性可分的情況，則可采用較為簡單的感知器網(wǎng)絡(luò)。若主要用于函數(shù)估計(jì)，則可應(yīng)用BP網(wǎng)絡(luò)在網(wǎng)絡(luò)的類型確定后，要是選擇網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)。以BP網(wǎng)絡(luò)為例，需選擇網(wǎng)絡(luò)的層數(shù)、每層的節(jié)點(diǎn)數(shù)、初始權(quán)值、閾值、學(xué)習(xí)算法、數(shù)值修改頻度、結(jié)點(diǎn)變換函數(shù)及參數(shù)、學(xué)習(xí)率等參數(shù)。2022/12/29672、確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的類1542023/1/3155有些項(xiàng)的選擇有一些指導(dǎo)原則，但更多的是靠經(jīng)驗(yàn)和試湊。對(duì)于網(wǎng)絡(luò)層數(shù)的選?。豪碚撋显缫炎C明：具有偏差和至少一個(gè)S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。增加層數(shù)主要可以更進(jìn)一步降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。而誤差精度的提高實(shí)際上也可以通過增加隱含層中的神經(jīng)元數(shù)目來獲得，其訓(xùn)練效果也比增加層數(shù)更容易觀察和調(diào)整，所以，一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。2022/12/2968有些項(xiàng)的選擇有一些指導(dǎo)原則，但更多的1552023/1/3156對(duì)于具體問題若確定了輸入和輸出變量后，網(wǎng)絡(luò)輸入層和輸出層的節(jié)點(diǎn)個(gè)數(shù)也便隨之確定了。具體選擇可采用如下方法：先設(shè)較少的節(jié)點(diǎn)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測試網(wǎng)絡(luò)的逼近誤差，然后逐漸增加節(jié)點(diǎn)數(shù)，直到測試的誤差不再有明顯的減少為止。隱層節(jié)點(diǎn)數(shù)對(duì)網(wǎng)絡(luò)的泛化能力有很大的影響。節(jié)點(diǎn)數(shù)太多，傾向于記住所有的訓(xùn)練數(shù)據(jù)，包括噪聲的影響，反而降低了泛化能力；節(jié)點(diǎn)數(shù)太少，不能擬和樣本數(shù)據(jù)，沒有較好的泛化能力。原則：選擇盡量少的節(jié)點(diǎn)數(shù)以實(shí)現(xiàn)盡量好的泛化能力。對(duì)于每層節(jié)點(diǎn)數(shù)的選?。?022/12/2969對(duì)于具體問題若確定了輸入和輸出變量后1562023/1/3157由于系統(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂以及訓(xùn)練時(shí)間的長短關(guān)系很大。初始權(quán)值的選?。喝绻跏贾堤?，使得加權(quán)后的輸入落到激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，而在計(jì)算權(quán)值的修正公式中，修正量正比與其導(dǎo)數(shù)，從而使調(diào)節(jié)過程幾乎停頓下來。一般總是希望經(jīng)過初始加權(quán)后的每個(gè)神經(jīng)元的輸出值都接近于零，這樣可以保證每個(gè)神經(jīng)元的權(quán)值都能夠在他們的S型激活函數(shù)變化最大之處進(jìn)行調(diào)節(jié)，所以，一般取初始權(quán)值在(-1,1)之間的隨機(jī)數(shù)。2022/12/2970由于系統(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)是1572023/1/3158學(xué)習(xí)速率的選?。簩W(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定小的學(xué)習(xí)速率會(huì)導(dǎo)致訓(xùn)練較長，收斂速度很慢。不過能保證網(wǎng)絡(luò)的誤差值不跳出表面的低谷而最終趨于最小誤差值。一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率一般的選取范圍為0.01－0.8和初始權(quán)值的選取過程一樣，在一個(gè)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)中，網(wǎng)絡(luò)要經(jīng)過幾個(gè)不同的學(xué)習(xí)速率的訓(xùn)練。通過觀察每一次訓(xùn)練后的誤差平方和的下降速率來判斷選定的學(xué)習(xí)速率是否合適。如果下降很快，說明學(xué)習(xí)速率合適。若出現(xiàn)振蕩，則說明學(xué)習(xí)速率過大。對(duì)于較復(fù)雜的網(wǎng)絡(luò)，為了減小尋找學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時(shí)間，比較合適的方法是采用自適應(yīng)學(xué)習(xí)速率。2022/12/2971學(xué)習(xí)速率的選?。簩W(xué)習(xí)速率決定每一次循1582023/1/31593、訓(xùn)練和測試對(duì)所有樣本數(shù)據(jù)正向運(yùn)行一次并反向修改連接權(quán)一次稱為一次訓(xùn)練(或一次學(xué)習(xí))。通常訓(xùn)練一個(gè)網(wǎng)絡(luò)需要成百上千次。并非訓(xùn)練的次數(shù)越多，越能得到正確的輸入輸出的映射關(guān)系。由于所收集的數(shù)據(jù)都是包含噪聲的，訓(xùn)練的次數(shù)過多，網(wǎng)絡(luò)將包含噪聲的數(shù)據(jù)都記錄了下來，在極端情況下，訓(xùn)練后的網(wǎng)絡(luò)可以實(shí)現(xiàn)相當(dāng)于查表的功能。但是對(duì)于新的輸入數(shù)據(jù)卻不能給出合適的輸出，即并不具備很好的泛化能力。訓(xùn)練網(wǎng)絡(luò)的目的在于找出蘊(yùn)含在樣本數(shù)據(jù)中的輸入和輸出之間的本質(zhì)聯(lián)系，從而對(duì)于未經(jīng)訓(xùn)練的輸入也能給出合適的輸出，即局部泛化能力。網(wǎng)絡(luò)的性能主要是用它的泛化能力來衡量，它不是用對(duì)訓(xùn)練數(shù)據(jù)的擬和程度來衡量，而是用一組獨(dú)立的數(shù)據(jù)來加以測試和檢驗(yàn)。2022/12/29723、訓(xùn)練和測試對(duì)所有樣本數(shù)據(jù)正向運(yùn)行1592023/1/3160訓(xùn)練次數(shù)均方誤差訓(xùn)練數(shù)據(jù)測試數(shù)據(jù)實(shí)際操作時(shí)應(yīng)該訓(xùn)練和測試交替進(jìn)行，即每訓(xùn)練一次，同時(shí)用測試數(shù)據(jù)測試一遍，畫出均方誤差隨訓(xùn)練次數(shù)的變換曲線在用測試數(shù)據(jù)檢驗(yàn)時(shí)，均方誤差開始逐漸減小，當(dāng)訓(xùn)練次數(shù)再增加時(shí)，測試檢驗(yàn)誤差反而增加，誤差曲線上極小點(diǎn)所對(duì)應(yīng)的即為恰當(dāng)?shù)挠?xùn)練次數(shù)，若再訓(xùn)練即為“過渡訓(xùn)練”了。2022/12/2973訓(xùn)練次數(shù)均方誤差訓(xùn)練數(shù)據(jù)測試數(shù)據(jù)實(shí)際1602023/1/3161五、BP網(wǎng)絡(luò)應(yīng)用舉例BP網(wǎng)絡(luò)的本質(zhì)功能是通過對(duì)簡單非線性函數(shù)(S型函數(shù))的數(shù)次復(fù)合來實(shí)現(xiàn)輸入到輸出的高度非線性映射，隱含表達(dá)現(xiàn)實(shí)物理世界存在的及其復(fù)雜的非線性函數(shù)關(guān)系。工程中存在的許多實(shí)際問題，如模式識(shí)別、特征壓縮、圖形處理、預(yù)測預(yù)報(bào)、控制、決策、函數(shù)擬和等都可歸結(jié)為求解輸入到輸出的高度非線性映射，因而可用BP網(wǎng)絡(luò)有效地求解。下面以水凈化控制決策系統(tǒng)(WCCD)為例說明BP網(wǎng)絡(luò)的應(yīng)用。2022/12/2974五、BP網(wǎng)絡(luò)應(yīng)用舉例BP網(wǎng)絡(luò)的本質(zhì)1612023/1/31621、WCCD系統(tǒng)結(jié)構(gòu)

混合池沉淀池過濾池PAC河水混合水已沉淀水清潔水水凈化系統(tǒng)是保障人們生活用水的重要系統(tǒng)，其凈化過程是：先把污濁的河水引到混合儲(chǔ)水池，并投入稱為PAC的化學(xué)制劑及用于消毒的氯；再把混合水引到沉淀池，使水中的污濁成分再PAC的作用下深入水底；沉淀大約3