第六講神經(jīng)網(wǎng)絡(luò)

一、引例

1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)．他們測(cè)量了這兩類蚊子每個(gè)個(gè)體的翼長(zhǎng)和觸角長(zhǎng)，數(shù)據(jù)如下：翼長(zhǎng)觸角長(zhǎng)類別1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長(zhǎng)觸角長(zhǎng)類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af現(xiàn)在是1頁(yè)\一共有56頁(yè)\編輯于星期四問：如果抓到三只新的蚊子，它們的觸角長(zhǎng)和翼長(zhǎng)分別為(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．問它們應(yīng)分別屬于哪一個(gè)種類？

解法一：把翼長(zhǎng)作縱坐標(biāo)，觸角長(zhǎng)作橫坐標(biāo)；那么每個(gè)蚊子的翼長(zhǎng)和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中6個(gè)蚊子屬于APf類；用黑點(diǎn)“·”表示；9個(gè)蚊子屬Af類；用小圓圈“?！北硎荆玫降慕Y(jié)果見圖1圖1飛蠓的觸角長(zhǎng)和翼長(zhǎng)一、引例

現(xiàn)在是2頁(yè)\一共有56頁(yè)\編輯于星期四思路：作一直線將兩類飛蠓分開

例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點(diǎn)作一條直線：y＝1.47x-0.017其中X表示觸角長(zhǎng)；y表示翼長(zhǎng)．

分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x,y）如果y≥1.47x-0.017，則判斷蚊子屬Apf類；

如果y＜1.47x-0.017；則判斷蚊子屬Af類．

一、引例

現(xiàn)在是3頁(yè)\一共有56頁(yè)\編輯于星期四分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．圖2分類直線圖

一、引例

現(xiàn)在是4頁(yè)\一共有56頁(yè)\編輯于星期四?缺陷：根據(jù)什么原則確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?1.24,1.80)，(1.40,2.04)屬于Apf類；(1.28,1.84)屬于Af類

哪一分類直線才是正確的呢？

因此如何來(lái)確定這個(gè)判別直線是一個(gè)值得研究的問題．一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來(lái)確定判別直線．一、引例

現(xiàn)在是5頁(yè)\一共有56頁(yè)\編輯于星期四再如，如下的情形已經(jīng)不能用分類直線的辦法：

新思路：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。一、引例

現(xiàn)在是6頁(yè)\一共有56頁(yè)\編輯于星期四二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)人類大腦大約包含有1.41011個(gè)神經(jīng)元，每個(gè)神經(jīng)元與大約103～105個(gè)其它神經(jīng)元相連接，構(gòu)成一個(gè)極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)?，F(xiàn)在是7頁(yè)\一共有56頁(yè)\編輯于星期四二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元是腦組織的基本單元，是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單位?，F(xiàn)在是8頁(yè)\一共有56頁(yè)\編輯于星期四二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)生物神經(jīng)元在結(jié)構(gòu)上由：

細(xì)胞體(Cellbody)樹突(Dendrite)

軸突(Axon)突觸(Synapse)四部分組成。用來(lái)完成神經(jīng)元間信息的接收、傳遞和處理?，F(xiàn)在是9頁(yè)\一共有56頁(yè)\編輯于星期四二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)生物神經(jīng)元的信息處理機(jī)理

神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。信息的傳遞與接收現(xiàn)在是10頁(yè)\一共有56頁(yè)\編輯于星期四二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)信息的整合空間整合：同一時(shí)刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。時(shí)間整合：各輸入脈沖抵達(dá)神經(jīng)元的時(shí)間先后不一樣?？偟耐挥|后膜電位為一段時(shí)間內(nèi)的累積?，F(xiàn)在是11頁(yè)\一共有56頁(yè)\編輯于星期四二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)信息輸入信息傳播與處理信息傳播與處理（整合）信息傳播與處理結(jié)果：興奮與抑制信息輸出現(xiàn)在是12頁(yè)\一共有56頁(yè)\編輯于星期四二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)

突觸是神經(jīng)元之間相互連接的接口部分，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。突觸是軸突的終端。

神經(jīng)元的功能特性（1）時(shí)空整合功能。（2）神經(jīng)元的動(dòng)態(tài)極化性。（3）興奮與抑制狀態(tài)。（4）結(jié)構(gòu)的可塑性。（5）脈沖與電位信號(hào)的轉(zhuǎn)換。（6）突觸延期和不應(yīng)期。（7）學(xué)習(xí)、遺忘和疲勞?，F(xiàn)在是13頁(yè)\一共有56頁(yè)\編輯于星期四二、人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)生物神經(jīng)網(wǎng)絡(luò)

由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。

生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息處理功能的簡(jiǎn)單疊加。神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力?，F(xiàn)在是14頁(yè)\一共有56頁(yè)\編輯于星期四人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域，是近年來(lái)高科技領(lǐng)域的一個(gè)研究熱點(diǎn)。它的研究目標(biāo)是通過研究人腦的組成機(jī)理和思維方式，探索人類智能的奧秘，進(jìn)而通過模擬人腦的結(jié)構(gòu)和工作模式，使機(jī)器具有類似人類的智能。它已在模式識(shí)別、機(jī)器學(xué)習(xí)、專家系統(tǒng)等多個(gè)方面得到應(yīng)用，成為人工智能研究中的活躍領(lǐng)域。三、人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)元

模擬生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)模擬生物神經(jīng)網(wǎng)絡(luò)現(xiàn)在是15頁(yè)\一共有56頁(yè)\編輯于星期四人工神經(jīng)網(wǎng)絡(luò)研究的興起與發(fā)展人工神經(jīng)網(wǎng)絡(luò)的研究經(jīng)歷了不少的曲折，大體上可分為四個(gè)階段:

產(chǎn)生時(shí)期(20世紀(jì)50年代中期之前)

高潮時(shí)期(20世紀(jì)50年代中期到20世紀(jì)60年代末期)

低潮時(shí)期(20世紀(jì)60年代末到20世紀(jì)80年代初期)

蓬勃發(fā)展時(shí)期(20世紀(jì)80年代以后)

現(xiàn)在是16頁(yè)\一共有56頁(yè)\編輯于星期四神經(jīng)網(wǎng)絡(luò)的作用（1）螞蟻群

一個(gè)螞蟻有50個(gè)神經(jīng)元，單獨(dú)的一個(gè)螞蟻不能做太多的事；甚至于不能很好活下去．但是一窩螞蟻；設(shè)有10萬(wàn)個(gè)體，那么這個(gè)群體相當(dāng)于500萬(wàn)個(gè)神經(jīng)元（當(dāng)然不是簡(jiǎn)單相加，這里只為說明方便而言）；那么它們可以覓食、搬家、圍攻敵人等等．（2）網(wǎng)絡(luò)說話人們把一本教科書用網(wǎng)絡(luò)把它讀出來(lái)（當(dāng)然需要通過光電，電聲的信號(hào)轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學(xué)語(yǔ)那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過B－P算法長(zhǎng)時(shí)間的訓(xùn)練竟能正確讀出英語(yǔ)課本中90％的詞匯．從此用神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別語(yǔ)言和圖象形成一個(gè)新的熱潮?，F(xiàn)在是17頁(yè)\一共有56頁(yè)\編輯于星期四神經(jīng)元的人工模型人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的組成人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱ANN）是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來(lái)模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱作人工神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)（ANN）可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來(lái)的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突—突觸—樹突對(duì)的模擬。有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。

現(xiàn)在是18頁(yè)\一共有56頁(yè)\編輯于星期四神經(jīng)元的人工模型現(xiàn)在是19頁(yè)\一共有56頁(yè)\編輯于星期四人工神經(jīng)元的工作過程對(duì)于某個(gè)處理單元（神經(jīng)元）來(lái)說，假設(shè)來(lái)自其他處理單元（神經(jīng)元）i的信息為Xi，它們與本處理單元的互相作用強(qiáng)度即連接權(quán)值為Wi,i=0,1,…,n-1,。那么本處理單元（神經(jīng)元）的輸入為而處理單元的輸出為式中，xi為第i個(gè)元素的輸入，wi為第i個(gè)處理單元與本處理單元的互聯(lián)權(quán)重。f稱為激發(fā)函數(shù)或傳遞函數(shù)，它決定節(jié)點(diǎn)（神經(jīng)元）的輸出。神經(jīng)元的人工模型現(xiàn)在是20頁(yè)\一共有56頁(yè)\編輯于星期四神經(jīng)元的傳遞函數(shù)(1)閾值型傳遞函數(shù) 1x≥0 f(x)=

0x＜0 閾值型函數(shù)又稱階躍函數(shù)，它表示激活值σ和其輸出f(σ)之間的關(guān)系。閾值型函數(shù)為激發(fā)函數(shù)的神經(jīng)元是一種最簡(jiǎn)單的人工神經(jīng)元?，F(xiàn)在是21頁(yè)\一共有56頁(yè)\編輯于星期四神經(jīng)元的傳遞函數(shù)(2)S型傳遞函數(shù)S型函數(shù)是一個(gè)有最大輸出值的非線性函數(shù)，其輸出值是在某個(gè)范圍內(nèi)連續(xù)取值的。以它為傳遞函數(shù)的神經(jīng)元也具有飽和特性?，F(xiàn)在是22頁(yè)\一共有56頁(yè)\編輯于星期四神經(jīng)元的傳遞函數(shù)(3)分段線性轉(zhuǎn)移函數(shù) 0x≤0 f(x)= cx0＜x≤xc 1xc＜x

線性分段函數(shù)可以看作是一種最簡(jiǎn)單的非線性函數(shù)，它的特點(diǎn)是將函數(shù)的值域限制在一定的范圍內(nèi)，其輸入、輸出之間在一定范圍內(nèi)滿足線性關(guān)系，一直延續(xù)到輸出為最大域值為止。但當(dāng)達(dá)到最大值后，輸出就不再增大?，F(xiàn)在是23頁(yè)\一共有56頁(yè)\編輯于星期四(4)概率型轉(zhuǎn)移函數(shù)溫度參數(shù)神經(jīng)元的傳遞函數(shù)現(xiàn)在是24頁(yè)\一共有56頁(yè)\編輯于星期四人工神經(jīng)元－信息處理單元現(xiàn)在是25頁(yè)\一共有56頁(yè)\編輯于星期四人工神經(jīng)元－信息處理單元信息輸入現(xiàn)在是26頁(yè)\一共有56頁(yè)\編輯于星期四人工神經(jīng)元－信息處理單元信息傳播與處理：加權(quán)求和現(xiàn)在是27頁(yè)\一共有56頁(yè)\編輯于星期四人工神經(jīng)元－信息處理單元信息傳播現(xiàn)在是28頁(yè)\一共有56頁(yè)\編輯于星期四人工神經(jīng)元－信息處理單元信息傳播與處理：非線性現(xiàn)在是29頁(yè)\一共有56頁(yè)\編輯于星期四人工神經(jīng)元－信息處理單元信息輸出現(xiàn)在是30頁(yè)\一共有56頁(yè)\編輯于星期四人工神經(jīng)網(wǎng)絡(luò)的分類按性能分：連續(xù)型和離散型網(wǎng)絡(luò)，或確定型和隨機(jī)型網(wǎng)絡(luò)。按拓?fù)浣Y(jié)構(gòu)分：有反饋網(wǎng)絡(luò)和無(wú)反饋網(wǎng)絡(luò)。按學(xué)習(xí)方法分：有教師的學(xué)習(xí)網(wǎng)絡(luò)和無(wú)教師的學(xué)習(xí)網(wǎng)絡(luò)。按連接突觸性質(zhì)分：一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)?，F(xiàn)在是31頁(yè)\一共有56頁(yè)\編輯于星期四人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn)

（1）可處理非線性

（2）并行結(jié)構(gòu)．對(duì)神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元來(lái)說；其運(yùn)算都是同樣的．這樣的結(jié)構(gòu)最便于計(jì)算機(jī)并行處理．

（3）具有學(xué)習(xí)和記憶能力．一個(gè)神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則．神經(jīng)網(wǎng)絡(luò)可以用于聯(lián)想記憶．（4）對(duì)數(shù)據(jù)的可容性大．在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）．（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來(lái)實(shí)現(xiàn)．如美國(guó)用256個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識(shí)別手寫體的郵政編碼．(6)容錯(cuò)特性?，F(xiàn)在是32頁(yè)\一共有56頁(yè)\編輯于星期四網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型

——層次型結(jié)構(gòu)單純層次型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)模型現(xiàn)在是33頁(yè)\一共有56頁(yè)\編輯于星期四網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型

——層次型結(jié)構(gòu)輸出層到輸入層有連接人工神經(jīng)網(wǎng)絡(luò)模型現(xiàn)在是34頁(yè)\一共有56頁(yè)\編輯于星期四網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型

——層次型結(jié)構(gòu)層內(nèi)有連接層次型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)模型現(xiàn)在是35頁(yè)\一共有56頁(yè)\編輯于星期四網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型

——互連型結(jié)構(gòu)全互連型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)模型現(xiàn)在是36頁(yè)\一共有56頁(yè)\編輯于星期四網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型

——互連型結(jié)構(gòu)局部互連型網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)模型現(xiàn)在是37頁(yè)\一共有56頁(yè)\編輯于星期四網(wǎng)絡(luò)信息流向類型前饋型網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型現(xiàn)在是38頁(yè)\一共有56頁(yè)\編輯于星期四網(wǎng)絡(luò)信息流向類型反饋型網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型現(xiàn)在是39頁(yè)\一共有56頁(yè)\編輯于星期四神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)能夠通過對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整?，F(xiàn)在是40頁(yè)\一共有56頁(yè)\編輯于星期四

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))無(wú)導(dǎo)師學(xué)習(xí)(無(wú)監(jiān)督學(xué)習(xí))死記式學(xué)習(xí)現(xiàn)在是41頁(yè)\一共有56頁(yè)\編輯于星期四神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)現(xiàn)在是42頁(yè)\一共有56頁(yè)\編輯于星期四反向傳播模型及其網(wǎng)絡(luò)結(jié)構(gòu)反向傳播模型也稱B-P模型，是一種用于前向多層的反向傳播學(xué)習(xí)算法。之所以稱它是一種學(xué)習(xí)方法，是因?yàn)橛盟梢詫?duì)組成前向多層網(wǎng)絡(luò)的各人工神經(jīng)元之間的連接權(quán)值進(jìn)行不斷的修改，從而使該前向多層網(wǎng)絡(luò)能夠?qū)⑤斎胨男畔⒆儞Q成所期望的輸出信息。之所以將其稱作為反向?qū)W習(xí)算法，是因?yàn)樵谛薷母魅斯ど窠?jīng)元的連接權(quán)值時(shí)，所依據(jù)的是該網(wǎng)絡(luò)的實(shí)際輸出與其期望的輸出之差，將這一差值反向一層一層的向回傳播，來(lái)決定連接權(quán)值的修改。四、反向傳播模型及其學(xué)習(xí)算法現(xiàn)在是43頁(yè)\一共有56頁(yè)\編輯于星期四B-P算法的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)前向多層網(wǎng)絡(luò)，如圖所示。

四、反向傳播模型及其學(xué)習(xí)算法現(xiàn)在是44頁(yè)\一共有56頁(yè)\編輯于星期四現(xiàn)在是45頁(yè)\一共有56頁(yè)\編輯于星期四反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法B-P算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。學(xué)習(xí)過程由正向傳播和反向傳播組成。正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入信息，經(jīng)過網(wǎng)絡(luò)計(jì)算后求出它的輸出結(jié)果。反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)輸入信息經(jīng)過計(jì)算后所得到的輸出能達(dá)到期望的誤差要求。四、反向傳播模型及其學(xué)習(xí)算法現(xiàn)在是46頁(yè)\一共有56頁(yè)\編輯于星期四B-P算法的學(xué)習(xí)過程如下：（1）選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。（5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)（3）—（5）的步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。四、反向傳播模型及其學(xué)習(xí)算法現(xiàn)在是47頁(yè)\一共有56頁(yè)\編輯于星期四在以上的學(xué)習(xí)過程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問題。四、反向傳播模型及其學(xué)習(xí)算法現(xiàn)在是48頁(yè)\一共有56頁(yè)\編輯于星期四B-P算法的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：理論基礎(chǔ)牢固，推導(dǎo)過程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來(lái)訓(xùn)練前向多層網(wǎng)絡(luò)較好的算法。缺點(diǎn)：（1）該學(xué)習(xí)算法的收斂速度慢；（2）網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取尚無(wú)理論上的指導(dǎo)；（3）從數(shù)學(xué)角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問題。當(dāng)出現(xiàn)局部極小時(shí)，從表面上看