人工神經(jīng)網(wǎng)絡(luò)講稿

人工神經(jīng)網(wǎng)絡(luò)講稿目前一頁\總數(shù)四十五頁\編于十二點(diǎn)1、引言工業(yè)革命以來，人類大量采用機(jī)器來減輕人們的體力勞動(dòng)，并獲得巨大效益。同樣，人類為了通過使用某種機(jī)器來減輕腦力勞動(dòng)，也一直進(jìn)行著不懈努力。20世紀(jì)40年代，由于計(jì)算機(jī)的發(fā)明和使用，使人類的文明進(jìn)入計(jì)算機(jī)時(shí)代，在一定程度上減輕了人們的腦力勞動(dòng)神經(jīng)元網(wǎng)絡(luò)作為人工智能的一個(gè)分支，在近幾十年來，受到人們的廣泛重視。智能計(jì)算的核心問題是關(guān)于人腦功能的模擬問題。目前認(rèn)為，人類的大腦中的神經(jīng)元對(duì)于人腦的智能起著關(guān)鍵的作用，這些神經(jīng)元的數(shù)量非常多，組成了十分復(fù)雜的神經(jīng)網(wǎng)絡(luò)。目前二頁\總數(shù)四十五頁\編于十二點(diǎn)1、引言智能的定義眾所周知人類是具有智能的，因?yàn)槿祟惸軌蛴洃浭挛?，能夠有目地進(jìn)行一些活動(dòng)，能夠通過學(xué)習(xí)獲得知識(shí)，并能在后續(xù)的學(xué)習(xí)中不斷地豐富知識(shí)，還有一定的能力運(yùn)用這些知識(shí)去探索未知的東西，去發(fā)現(xiàn)、去創(chuàng)新。

粗略地講，智能是個(gè)體有目的的行為，合理的思維，以及有效的適應(yīng)環(huán)境的綜合能力。也可以說，智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問題的能力。

目前三頁\總數(shù)四十五頁\編于十二點(diǎn)1、引言1感知和認(rèn)識(shí)客觀事物、客觀世界和自我的能力——感知是智能的基礎(chǔ)——最基本的能力2通過學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力——這是人類在世界中能夠不斷發(fā)展的最基本能力4聯(lián)想、推理、判斷、決策語言的能力3理解知識(shí)，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問題的能力——這一能力可以算作是智能的高級(jí)形式——是人類對(duì)世界進(jìn)行適當(dāng)改造、推動(dòng)社會(huì)不斷發(fā)展的能力——這是智能高級(jí)形式的又一方面——主動(dòng)與被動(dòng)之分。聯(lián)想、推理、判斷、決策的能力是主動(dòng)的基礎(chǔ)。按照上面的描述，人類個(gè)體的智能是一種綜合能力。具體來講，可以包括一下八個(gè)方面的能力：目前四頁\總數(shù)四十五頁\編于十二點(diǎn)1、引言5通過學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力6發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力7實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力8預(yù)測，洞察事物發(fā)展、變化的能力人工智能的定義

人工智能（ArtificialIntelligence，AI）最初是在1956年被引入的。它研究怎樣讓計(jì)算機(jī)模仿人腦從事推理、設(shè)計(jì)、思考、學(xué)習(xí)等思維活動(dòng)，以解決和處理較復(fù)雜的問題，簡單地來說，人工智能就是研究如何讓計(jì)算機(jī)模仿人腦進(jìn)行工作。

目前五頁\總數(shù)四十五頁\編于十二點(diǎn)2、生物神經(jīng)元

圖2-1

神經(jīng)元的解剖

在人體內(nèi)，神經(jīng)元的結(jié)構(gòu)形式并非是完全相同的；但是，無論結(jié)構(gòu)形式如何，神經(jīng)元都是由一些基本的成份組成的。從圖中可以看出：神經(jīng)元是由細(xì)胞體，樹突和軸突三部分組成目前六頁\總數(shù)四十五頁\編于十二點(diǎn)2、生物神經(jīng)元突觸，是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元之間相聯(lián)系并進(jìn)行信息傳送的結(jié)構(gòu)。突觸的存在說明：兩個(gè)神經(jīng)元的細(xì)胞質(zhì)并不直接連通，兩者彼此聯(lián)系是通過突觸這種結(jié)構(gòu)接口的。有時(shí)．也把突觸看作是神經(jīng)元之間的連接。

圖2-2

突觸結(jié)構(gòu)目前七頁\總數(shù)四十五頁\編于十二點(diǎn)2生物神經(jīng)元目前，根據(jù)神經(jīng)生理學(xué)的研究，已經(jīng)發(fā)現(xiàn)神經(jīng)元及其間的突觸有4種不同的行為。神經(jīng)元的4種生物行為有：能處于抑制或興奮狀態(tài)；能產(chǎn)生爆發(fā)和平臺(tái)兩種情況能產(chǎn)生抑制后的反沖具有適應(yīng)性。突觸的4種生物行為有：能進(jìn)行信息綜合能產(chǎn)生漸次變化的傳送有電接觸和化學(xué)接觸等多種連接方式會(huì)產(chǎn)生延時(shí)激發(fā)。目前，人工神經(jīng)網(wǎng)絡(luò)的研究僅僅是對(duì)神經(jīng)元的第一種行為和突觸的第一種行為進(jìn)行模擬，其它行為尚未考慮。目前八頁\總數(shù)四十五頁\編于十二點(diǎn)2生物神經(jīng)元2.1神經(jīng)元的興奮與抑制2.2神經(jīng)元的信息傳遞及閥值特性

2.3神經(jīng)元的信息綜合特性圖2-3.神經(jīng)元的興奮過程電位變化目前九頁\總數(shù)四十五頁\編于十二點(diǎn)3神經(jīng)元的數(shù)學(xué)模型從神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個(gè)多輸入單輸出的信息處理單元，而且，它對(duì)信息的處理是非線性的。根據(jù)神經(jīng)元的特性和功能，可以把神經(jīng)元抽象為一個(gè)簡單的數(shù)學(xué)模型。目前十頁\總數(shù)四十五頁\編于十二點(diǎn)3神經(jīng)元的數(shù)學(xué)模型W—權(quán)矢量（weightvector）X—輸入矢量（inputvector）目前十一頁\總數(shù)四十五頁\編于十二點(diǎn)3神經(jīng)元的數(shù)學(xué)模型比較常用的是激活函數(shù)可歸結(jié)為三種形式：閥值型、S型和線性型。激活函數(shù)：閾值型：目前十二頁\總數(shù)四十五頁\編于十二點(diǎn)3神經(jīng)元的數(shù)學(xué)模型S型（Sigmoid）激活函數(shù)目前十三頁\總數(shù)四十五頁\編于十二點(diǎn)3神經(jīng)元的數(shù)學(xué)模型線性型激活函數(shù)神經(jīng)元的特點(diǎn)：是一多輸入、單輸出元件具有非線性的輸入輸出特性具有可塑性，其塑性變化的變化部分主要是權(quán)值（Wi）的變化，這相當(dāng)于生物神經(jīng)元的突觸變化部分神經(jīng)元的輸出響應(yīng)是各個(gè)輸入值的綜合作用結(jié)果輸入分為興奮型（正值）和抑制型（負(fù)值）兩種。目前十四頁\總數(shù)四十五頁\編于十二點(diǎn)4.人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworkANN）是對(duì)人類大腦系統(tǒng)的一階特性的一種描述，簡單地講，它是一個(gè)數(shù)學(xué)模型．可以用電子線路來實(shí)現(xiàn)．也可以用計(jì)算機(jī)程序來模擬，是人工智能研究的一種方法。人工神經(jīng)網(wǎng)絡(luò)的提出：信息的分布表示運(yùn)算的全局并行和局部操作處理的非線性

人工神經(jīng)網(wǎng)絡(luò)的三大特點(diǎn)：目前十五頁\總數(shù)四十五頁\編于十二點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的定義：

人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行，分布處理結(jié)構(gòu)，它由處理單元及稱為聯(lián)接的無向信號(hào)通道互連而成。這些處理單元(PE——ProcessingElement)具有局部內(nèi)存，并可以完成局部操作、每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分支成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化，處理單元的輸出信號(hào)可以是任何需要的數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部內(nèi)存中的值。

4.人工神經(jīng)網(wǎng)絡(luò)目前十六頁\總數(shù)四十五頁\編于十二點(diǎn)4.人工神經(jīng)網(wǎng)絡(luò)按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分，則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)按照學(xué)習(xí)方式區(qū)分，則有有教師學(xué)習(xí)和無教師學(xué)習(xí)網(wǎng)絡(luò)按照網(wǎng)絡(luò)性能區(qū)分，則有連續(xù)型和離散性網(wǎng)絡(luò)，隨機(jī)型和確定型網(wǎng)絡(luò)按照突觸性質(zhì)區(qū)分，則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)按對(duì)生物神經(jīng)系統(tǒng)的層次模擬區(qū)分，則有神經(jīng)元層次模型，組合式模型，網(wǎng)絡(luò)層次模型，神經(jīng)系統(tǒng)層次模型和智能型模型。人工神經(jīng)網(wǎng)絡(luò)的分類：目前十七頁\總數(shù)四十五頁\編于十二點(diǎn)4.人工神經(jīng)網(wǎng)絡(luò)第一種：前饋網(wǎng)絡(luò)（FeedforwardNetwork）下面介紹幾種常見的神經(jīng)網(wǎng)絡(luò)。目前十八頁\總數(shù)四十五頁\編于十二點(diǎn)—表示一個(gè)非線性激活函數(shù)，每個(gè)神經(jīng)元的激活函數(shù)是算子的分量，激活函數(shù)是標(biāo)量，是輸入矢量和權(quán)矢量之積。前饋網(wǎng)絡(luò)沒有反饋，可以連成多層網(wǎng)，前饋網(wǎng)絡(luò)通常是有教師提供信息，提供期望值，可以從誤差信號(hào)來修正權(quán)值，直到誤差小于允許范圍。4.人工神經(jīng)網(wǎng)絡(luò)目前十九頁\總數(shù)四十五頁\編于十二點(diǎn)對(duì)于輸入X（t）僅在初始時(shí)刻不為零的情況，這種網(wǎng)絡(luò)也可以保持有輸出信號(hào)。所以，即在t>0時(shí)，輸入可以取消或被系統(tǒng)自動(dòng)保持。如果我們這里只考慮，則在t>0時(shí)，沒有輸入的情況，可將下一時(shí)刻的輸出寫成：，為方便起見，也可將網(wǎng)絡(luò)的輸出狀態(tài)表示成：第二種：反饋網(wǎng)絡(luò)4.人工神經(jīng)網(wǎng)絡(luò)目前二十頁\總數(shù)四十五頁\編于十二點(diǎn)第三種：相互結(jié)合型網(wǎng)絡(luò)相互結(jié)合型網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示，它是網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)，構(gòu)成網(wǎng)絡(luò)中的各個(gè)神經(jīng)元都可能相互雙相聯(lián)接，所有的神經(jīng)元即作輸入，同時(shí)也用輸出。這種網(wǎng)絡(luò)如果在某一時(shí)刻從外部加一個(gè)輸入信號(hào)，各個(gè)神經(jīng)元一邊相互作用，一邊進(jìn)行信息處理，直到收斂于某個(gè)穩(wěn)定值為止。4.人工神經(jīng)網(wǎng)絡(luò)目前二十一頁\總數(shù)四十五頁\編于十二點(diǎn)第四種：混合型網(wǎng)絡(luò)前面所講的前饋網(wǎng)絡(luò)和上述的相互結(jié)合型網(wǎng)絡(luò)分別是典型的層狀解構(gòu)網(wǎng)絡(luò)和網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)，介于兩種網(wǎng)絡(luò)中間的一種連接方式，如圖所示：它是在前饋網(wǎng)絡(luò)的同一層間各神經(jīng)元又有互聯(lián)的結(jié)構(gòu)，所以稱為混合型網(wǎng)絡(luò)。這種在同一層內(nèi)互聯(lián)的目的是為了限制同層內(nèi)神經(jīng)元同時(shí)興奮或抑制的數(shù)目，已完成特定功能。例如：視網(wǎng)膜的神經(jīng)元網(wǎng)絡(luò)就有許多這種連接形式。4.人工神經(jīng)網(wǎng)絡(luò)目前二十二頁\總數(shù)四十五頁\編于十二點(diǎn)學(xué)習(xí)是神經(jīng)系統(tǒng)的本能，人的神經(jīng)系統(tǒng)是最發(fā)達(dá)的，所以人的學(xué)習(xí)能力也最強(qiáng)。模仿人的學(xué)習(xí)過程人們提出多種神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法。有教師學(xué)習(xí)無教師學(xué)習(xí)

4.人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程：目前二十三頁\總數(shù)四十五頁\編于十二點(diǎn)4.人工神經(jīng)網(wǎng)絡(luò)關(guān)于綜合誤差有各種不同的定義，但本質(zhì)上都是一致的。這里介紹兩種：第一種：均方根標(biāo)準(zhǔn)誤差（Root-mean-squarenormalizederror,RMS誤差）式中：——模式k第j個(gè)輸出單元的期望值；——模式k第j個(gè)輸出單元的實(shí)際值；M——樣本模式對(duì)個(gè)數(shù)；Q——輸出單元個(gè)數(shù)。第二種：誤差平方和式中：M——樣本模式對(duì)個(gè)數(shù)；Q——輸出單元個(gè)數(shù)。目前二十四頁\總數(shù)四十五頁\編于十二點(diǎn)神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

神經(jīng)元網(wǎng)絡(luò)的最大特點(diǎn)就是它具有學(xué)習(xí)的能力，在學(xué)習(xí)過程中，主要是網(wǎng)絡(luò)的連接權(quán)的值產(chǎn)生了相應(yīng)的變化，學(xué)習(xí)到的內(nèi)容也是記憶在連接權(quán)之中。令為Wij第i個(gè)神經(jīng)元的第j個(gè)輸入連接權(quán)，這個(gè)輸入可以是外來的輸入信號(hào)，也可以試來自其他神經(jīng)元的輸出。學(xué)習(xí)信號(hào)r是Wi和X的函數(shù)，有時(shí)也包括教師信號(hào)di，所以有權(quán)矢量的變化是由學(xué)習(xí)步驟按時(shí)間t，t+1，…，一步一步進(jìn)行計(jì)算的。在時(shí)刻t連接權(quán)的變化量為：其中c是一個(gè)正數(shù)，稱為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)的速率。目前二十五頁\總數(shù)四十五頁\編于十二點(diǎn)神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則離散學(xué)習(xí)步驟可寫成：從時(shí)刻t到下一個(gè)時(shí)刻（t+1），連接權(quán)按下式計(jì)算:其中c是一個(gè)正的常數(shù)，稱為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)的速率。目前二十六頁\總數(shù)四十五頁\編于十二點(diǎn)Hebb學(xué)習(xí)規(guī)則權(quán)分量用下式調(diào)整：或當(dāng)兩個(gè)神經(jīng)元同時(shí)興奮時(shí)，突觸的傳遞效率加強(qiáng)，那么在人工神經(jīng)網(wǎng)絡(luò)中就表現(xiàn)為連接權(quán)的增加。以a表示神經(jīng)元A的激活值（輸出），b表示神經(jīng)元B的激活值，Wab表示兩個(gè)神經(jīng)元的連接權(quán)，則Hebb學(xué)習(xí)規(guī)則的數(shù)學(xué)表達(dá)式為：根據(jù)Hebb學(xué)習(xí)規(guī)則，學(xué)習(xí)信號(hào)r等于神經(jīng)元的輸出：目前二十七頁\總數(shù)四十五頁\編于十二點(diǎn)感知機(jī)（Perceptron）學(xué)習(xí)規(guī)則這一規(guī)則是有監(jiān)督學(xué)習(xí)，學(xué)習(xí)信號(hào)是期望值與神經(jīng)元實(shí)際響應(yīng)之差學(xué)習(xí)規(guī)則如下圖所示。注意：這個(gè)規(guī)則僅能用于雙極二進(jìn)制神經(jīng)響應(yīng)。目前二十八頁\總數(shù)四十五頁\編于十二點(diǎn)感知機(jī)（Perceptron）學(xué)習(xí)規(guī)則在這一規(guī)則下，Oi僅當(dāng)不正確的情況下才進(jìn)行權(quán)調(diào)整，誤差是學(xué)習(xí)的必要條件。由于期望值（di）與響應(yīng)值（Oi）均為+1或者-1，所以權(quán)調(diào)整量為：這里“＋”號(hào)，“－”號(hào)，當(dāng)權(quán)值無變化。初始權(quán)可為任意值。目前二十九頁\總數(shù)四十五頁\編于十二點(diǎn)Delta學(xué)習(xí)規(guī)則僅對(duì)連續(xù)激活函數(shù)，并只對(duì)有監(jiān)督學(xué)習(xí)模型有效。學(xué)習(xí)信號(hào)為：

誤差梯度矢量：這個(gè)學(xué)習(xí)規(guī)則可從Oi與di最小方差得出。方差：目前三十頁\總數(shù)四十五頁\編于十二點(diǎn)Delta學(xué)習(xí)規(guī)則這個(gè)規(guī)則是與離散感知器學(xué)習(xí)規(guī)則是并行的，可以稱為連續(xù)感知器訓(xùn)練規(guī)則，它可以進(jìn)一步推廣到多層。一般要求c取較小的值，是在權(quán)空間，按負(fù)的方向轉(zhuǎn)動(dòng)權(quán)矢量。梯度矢量分量：由于最小誤差要求權(quán)變換是負(fù)梯度方向，所以取式中c——正常數(shù)。目前三十一頁\總數(shù)四十五頁\編于十二點(diǎn)神經(jīng)元網(wǎng)絡(luò)的工作過程：這里主要介紹兩種最常用的形式：第一種：回想（recall）——自動(dòng)聯(lián)想——異聯(lián)想第二種：分類（classification）——異聯(lián)想的一種特殊情況——識(shí)別自動(dòng)聯(lián)想過程

異聯(lián)想過程分類過程

識(shí)別過程目前三十二頁\總數(shù)四十五頁\編于十二點(diǎn)5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ㄕ`差逆?zhèn)鞑バＵ椒ㄊ抢脤?shí)際輸出與期望輸出之差對(duì)網(wǎng)絡(luò)的各層連接權(quán)由后向前進(jìn)行校正的一種計(jì)算方法。理論上講，這種方法可以適用于任意多層的網(wǎng)絡(luò)。目前三十三頁\總數(shù)四十五頁\編于十二點(diǎn)5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒橛?jì)算方便，我們首先把網(wǎng)絡(luò)的變量設(shè)置如下：輸入模式向量：希望輸出向量：中間層各單元輸入激活值向量：中間層各單元輸出向量：輸出層各單元輸入激活值向量：輸出實(shí)際值向量：輸入層至中間層的連接權(quán)：中間層至輸出層的連接權(quán)：中間層各單元的閾值：輸出層各單元的閾值：其中目前三十四頁\總數(shù)四十五頁\編于十二點(diǎn)5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒せ詈瘮?shù)才用S型函數(shù)：激活函數(shù)的導(dǎo)數(shù)為：這里的學(xué)習(xí)規(guī)則實(shí)際上是一種Delta學(xué)習(xí)規(guī)則，即利用誤差的負(fù)梯度來調(diào)整連接權(quán)，使其輸出誤差單調(diào)減少。利用Delta學(xué)習(xí)規(guī)則，應(yīng)該先求出誤差函數(shù)的梯度，因此有以下推導(dǎo)過程：對(duì)第k個(gè)學(xué)習(xí)模式，網(wǎng)絡(luò)的希望輸出與實(shí)際輸出的偏差設(shè)為：目前三十五頁\總數(shù)四十五頁\編于十二點(diǎn)5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ú捎闷椒胶驼`差進(jìn)行計(jì)算：按梯度下降原則，中間層至輸出層連接權(quán)的調(diào)整量應(yīng)為：展開：目前三十六頁\總數(shù)四十五頁\編于十二點(diǎn)5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ɡ茫?）式可得：因?yàn)檩敵鰧拥趖個(gè)單元的激活值為：輸出層第t個(gè)單元的輸出值為：由式（2）可得對(duì)于輸出函數(shù)的導(dǎo)數(shù)：目前三十七頁\總數(shù)四十五頁\編于十二點(diǎn)5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ㄋ裕阂虼?，由式?）（7）和（11）可得：為進(jìn)一步簡化，

所以：

目前三十八頁\總數(shù)四十五頁\編于十二點(diǎn)5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒ㄍ?，由輸入層至中間層連接權(quán)的調(diào)整，仍按梯度下降法的原則進(jìn)行：同樣也可求出閾值的調(diào)整量：

為中間層各單元的校正誤差

以上的推導(dǎo)僅是針對(duì)某一組學(xué)習(xí)模式進(jìn)行的，其誤差也是某一組的誤差。對(duì)于全部的輸入模式，我們有網(wǎng)絡(luò)的全局誤差E：目前三十九頁\總數(shù)四十五頁\編于十二點(diǎn)BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則與計(jì)算方法輸入模式順傳播（輸入模式由輸入層經(jīng)中間層向輸出層傳播計(jì)算），這一過程主要是利用輸入模式求出它所對(duì)應(yīng)的實(shí)際輸出

輸出誤差逆?zhèn)鞑ィㄝ敵龅恼`差由輸出層經(jīng)中間層傳向輸入層），當(dāng)這些實(shí)際的輸出值與希望的輸出值不一樣時(shí)或者說其誤差大雨所限定的數(shù)值時(shí)，就要對(duì)網(wǎng)絡(luò)進(jìn)行校正。循環(huán)記憶訓(xùn)練（模式順傳播與誤差逆?zhèn)鞑サ挠?jì)算過程反復(fù)交替循環(huán)進(jìn)行）學(xué)習(xí)結(jié)果判別（判定全局誤差是否趨向極小值）。BP網(wǎng)的學(xué)習(xí)過程利用前面求得的對(duì)各個(gè)連接權(quán)和閥值進(jìn)行校正的數(shù)學(xué)表達(dá)式，可構(gòu)成BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則。目前四十頁\總數(shù)四十五頁\編于十二點(diǎn)BP網(wǎng)絡(luò)的應(yīng)用舉例“異或”（XOR）問題：例如有一個(gè)BP網(wǎng)絡(luò)，它由輸入、中間和輸出層這三層構(gòu)成，如圖所示。輸入層和中間層各有兩個(gè)神經(jīng)元，輸出層有一個(gè)神經(jīng)元。先要求訓(xùn)練這一網(wǎng)絡(luò)，使其具有解決“異或”問題的能力。首先給網(wǎng)絡(luò)的連接權(quán)及其閾值賦予[-0.1,0.1]區(qū)間的隨機(jī)數(shù)，如上圖所示。在初始狀態(tài)下的輸入、輸出結(jié)果如下表所示X1X2希望輸出實(shí)際輸出全局誤差0000.50.50110.50.51010.50.51100.50.5X2X1X10.08010.06050.05430.0579-0.02910.0999目前四十一頁\總數(shù)四十五頁\編于十二點(diǎn)BP網(wǎng)絡(luò)的應(yīng)用舉例X1X2希望輸出實(shí)際輸出全局誤差0000.1190.1