湘潭大學(xué)人工智能機(jī)器學(xué)習(xí)學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1第一頁(yè)，共76頁(yè)。第七章：機(jī)器學(xué)習(xí)第七章：機(jī)器學(xué)習(xí)(xux)(xux)系統(tǒng)系統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識(shí)發(fā)現(xiàn)知識(shí)發(fā)現(xiàn)第1頁(yè)/共75頁(yè)第二頁(yè)，共76頁(yè)。 阿法狗通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所有高水平圍棋棋譜，大概是歷史上有的20萬(wàn)個(gè)左右職業(yè)(zhy)棋譜，從而獲得了在盤(pán)面上如何落子的直覺(jué)。第2頁(yè)/共75頁(yè)第三頁(yè)，共76頁(yè)。 類似的深度學(xué)習(xí)是在近幾年出現(xiàn)的，目前，這項(xiàng)科技也有了一些應(yīng)

2、用，最簡(jiǎn)單的例子就是通過(guò)深度學(xué)習(xí)識(shí)別貓。通過(guò)這項(xiàng)識(shí)別驗(yàn)證，已經(jīng)引申出了更多具有實(shí)際意義的應(yīng)用，比如識(shí)別某一個(gè)圖片中是否有癌細(xì)胞，某一個(gè)鐵路沿線上的軌道是否存在磨損，甚至(shnzh)軍事作戰(zhàn)中，對(duì)方的視線中是否有坦克，都可以通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)。谷歌的自動(dòng)駕駛，其中很重要的就是識(shí)別道路、交通信號(hào)燈、路標(biāo)等，這都是通過(guò)深度學(xué)習(xí)獲得。第3頁(yè)/共75頁(yè)第四頁(yè)，共76頁(yè)。 阿法狗走的是通用學(xué)習(xí)的道路。它的估值函數(shù)，不是專家攻關(guān)搗哧出來(lái)的。它的作者只是搭了一個(gè)基本的框架（一個(gè)多層的神經(jīng)網(wǎng)絡(luò)），除了圍棋最基本的規(guī)則外，沒(méi)有任何先驗(yàn)知識(shí)。你可以把它想象成一個(gè)新生兒的大腦，一張白紙。然后，直接用人類高手對(duì)局的30

3、00萬(wàn)個(gè)局面訓(xùn)練它，自動(dòng)調(diào)節(jié)它的神經(jīng)網(wǎng)絡(luò)參數(shù)，讓它的行為和人類高手接近。這樣，阿法狗就具有了基本的棋感，看到一個(gè)局面大致就能知道好還是不好(b ho)。 阿法狗的核心技術(shù)還包括策略網(wǎng)絡(luò)的訓(xùn)練和蒙特卡洛樹(shù)搜索。第4頁(yè)/共75頁(yè)第五頁(yè)，共76頁(yè)。第七章：機(jī)器學(xué)習(xí)第七章：機(jī)器學(xué)習(xí)(xux)(xux)系統(tǒng)系統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識(shí)發(fā)現(xiàn)知識(shí)發(fā)現(xiàn)第5頁(yè)/共75頁(yè)第六頁(yè)，共76頁(yè)。 機(jī)

4、器學(xué)習(xí)是人工智能的核心，通過(guò)使機(jī)器模擬人類學(xué)習(xí)行為，智能化地從過(guò)去的經(jīng)歷中獲得經(jīng)驗(yàn)，從而改善其整體性能，重組內(nèi)在知識(shí)結(jié)構(gòu)，并對(duì)未知事件進(jìn)行準(zhǔn)確的推斷。機(jī)器學(xué)習(xí)在科學(xué)和工程諸多領(lǐng)域都有著非常廣泛(gungfn)的應(yīng)用，例如金融分析、數(shù)據(jù)挖掘、生物信息學(xué)、醫(yī)學(xué)診斷等。生活中常見(jiàn)的一些智能系統(tǒng)也廣泛(gungfn)使用機(jī)器學(xué)習(xí)算法，例如電子商務(wù)、手寫(xiě)輸入、郵件過(guò)濾等。第6頁(yè)/共75頁(yè)第七頁(yè)，共76頁(yè)。 人類的未來(lái)生活和工作，還將有機(jī)器人參與。機(jī)器人的自主(zzh)學(xué)習(xí)，更離不開(kāi)人臉識(shí)別技術(shù)。 2015年3月16日，馬云在德國(guó)參加活動(dòng)時(shí)，為嘉賓演示了一項(xiàng)“SmiletoPay”的掃臉技術(shù)。在網(wǎng)購(gòu)后的支

5、付(zhf)認(rèn)證階段，通過(guò)掃臉取代傳統(tǒng)的密碼，實(shí)現(xiàn)“刷臉支付(zhf)”。第7頁(yè)/共75頁(yè)第八頁(yè)，共76頁(yè)。第8頁(yè)/共75頁(yè)第九頁(yè)，共76頁(yè)。第9頁(yè)/共75頁(yè)第十頁(yè)，共76頁(yè)。第10頁(yè)/共75頁(yè)第十一頁(yè)，共76頁(yè)。第11頁(yè)/共75頁(yè)第十二頁(yè)，共76頁(yè)。第七章：機(jī)器學(xué)習(xí)第七章：機(jī)器學(xué)習(xí)(xux)(xux)系系統(tǒng)統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識(shí)發(fā)現(xiàn)知識(shí)發(fā)現(xiàn)第12頁(yè)/共75頁(yè)第十三頁(yè)，

6、共76頁(yè)。第13頁(yè)/共75頁(yè)第十四頁(yè)，共76頁(yè)。環(huán)環(huán) 境境學(xué)學(xué) 習(xí)習(xí)知識(shí)庫(kù)知識(shí)庫(kù)執(zhí)執(zhí) 行行第14頁(yè)/共75頁(yè)第十五頁(yè)，共76頁(yè)。第七章：機(jī)器學(xué)習(xí)第七章：機(jī)器學(xué)習(xí)(xux)(xux)系統(tǒng)系統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識(shí)發(fā)現(xiàn)知識(shí)發(fā)現(xiàn)第15頁(yè)/共75頁(yè)第十六頁(yè)，共76頁(yè)。 解釋過(guò)程 實(shí)例空間 規(guī)則空間 規(guī)劃過(guò)程 實(shí)驗(yàn)規(guī)劃過(guò)程通過(guò)對(duì)實(shí)例空間的搜索完成實(shí)例選擇，并將這些選中實(shí)驗(yàn)規(guī)劃過(guò)程通

7、過(guò)對(duì)實(shí)例空間的搜索完成實(shí)例選擇，并將這些選中拿到的活躍實(shí)例提交給解釋拿到的活躍實(shí)例提交給解釋(jish)過(guò)程。解釋過(guò)程。解釋(jish)過(guò)程對(duì)實(shí)例加以適當(dāng)轉(zhuǎn)換，把活過(guò)程對(duì)實(shí)例加以適當(dāng)轉(zhuǎn)換，把活躍實(shí)例變換為規(guī)則空間中的特定概念，以引導(dǎo)規(guī)則空間的搜索。躍實(shí)例變換為規(guī)則空間中的特定概念，以引導(dǎo)規(guī)則空間的搜索。第16頁(yè)/共75頁(yè)第十七頁(yè)，共76頁(yè)。第17頁(yè)/共75頁(yè)第十八頁(yè)，共76頁(yè)。第七章：機(jī)器學(xué)習(xí)第七章：機(jī)器學(xué)習(xí)(xux)(xux)系系統(tǒng)統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比

8、學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識(shí)發(fā)現(xiàn)知識(shí)發(fā)現(xiàn)第18頁(yè)/共75頁(yè)第十九頁(yè)，共76頁(yè)。第19頁(yè)/共75頁(yè)第二十頁(yè)，共76頁(yè)。第20頁(yè)/共75頁(yè)第二十一頁(yè)，共76頁(yè)。第21頁(yè)/共75頁(yè)第二十二頁(yè)，共76頁(yè)。第七章：機(jī)器第七章：機(jī)器(j q)(j q)學(xué)習(xí)學(xué)習(xí)系統(tǒng)系統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識(shí)發(fā)現(xiàn)知識(shí)發(fā)現(xiàn)第22頁(yè)/共75頁(yè)第二十

9、三頁(yè)，共76頁(yè)。第23頁(yè)/共75頁(yè)第二十四頁(yè)，共76頁(yè)。目標(biāo)概念目標(biāo)概念新規(guī)則新規(guī)則操作準(zhǔn)則操作準(zhǔn)則訓(xùn)練例子訓(xùn)練例子知識(shí)庫(kù)知識(shí)庫(kù)第24頁(yè)/共75頁(yè)第二十五頁(yè)，共76頁(yè)。第25頁(yè)/共75頁(yè)第二十六頁(yè)，共76頁(yè)。第26頁(yè)/共75頁(yè)第二十七頁(yè)，共76頁(yè)。Safe-To-Stack(Obj1,obj2)Lighter(Obj1,obj2)Weight(Obj1,0.1)Weight(Obj2,15)Smaller(0.1,15)Isa(Obj2,table)Voume(Obj1,1)Density(Obj1,0.1)*(1,0.1,0.1)第27頁(yè)/共75頁(yè)第二十八頁(yè)，共76頁(yè)。第28頁(yè)/共75頁(yè)第二

10、十九頁(yè)，共76頁(yè)。Safe-To-Stack(O1,O2)Lighter(O1,O2)Weight(O1,w1)Weight(O2,15)Smaller(w1,15)Isa(O2,table)Voume(O1,v1)Density(O1,d1)*(v1,d1,w1)以后求解類似問(wèn)題時(shí)，就可以直接利用這個(gè)知識(shí)以后求解類似問(wèn)題時(shí)，就可以直接利用這個(gè)知識(shí)(zh shi)進(jìn)行求解，提到了系統(tǒng)求解問(wèn)題的效率。進(jìn)行求解，提到了系統(tǒng)求解問(wèn)題的效率。第29頁(yè)/共75頁(yè)第三十頁(yè)，共76頁(yè)。第七章：機(jī)器第七章：機(jī)器(j q)(j q)學(xué)習(xí)系統(tǒng)學(xué)習(xí)系統(tǒng)1.1.機(jī)器機(jī)器(j q)(j q)學(xué)習(xí)的基本概念學(xué)習(xí)的基本概念

11、2.2.機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)機(jī)器學(xué)習(xí)策略與基本結(jié)構(gòu)3.3.歸納學(xué)習(xí)歸納學(xué)習(xí)4.4.類比學(xué)習(xí)類比學(xué)習(xí)5.5.解釋學(xué)習(xí)解釋學(xué)習(xí)6.6.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)8.8.其他其他7.7.知識(shí)發(fā)現(xiàn)知識(shí)發(fā)現(xiàn)第30頁(yè)/共75頁(yè)第三十一頁(yè)，共76頁(yè)。第31頁(yè)/共75頁(yè)第三十二頁(yè)，共76頁(yè)。n突觸修正學(xué)派認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)突觸修正學(xué)派認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是一個(gè)不斷調(diào)整網(wǎng)絡(luò)連接權(quán)值的過(guò)過(guò)程就是一個(gè)不斷調(diào)整網(wǎng)絡(luò)連接權(quán)值的過(guò)程。程。n按照學(xué)習(xí)規(guī)則，神經(jīng)學(xué)習(xí)可分為：按照學(xué)習(xí)規(guī)則，神經(jīng)學(xué)習(xí)可分為：Hebb學(xué)學(xué)習(xí)、糾錯(cuò)學(xué)習(xí)、競(jìng)爭(zhēng)學(xué)習(xí)及隨機(jī)學(xué)習(xí)等。習(xí)、糾錯(cuò)學(xué)習(xí)、競(jìng)爭(zhēng)學(xué)習(xí)及隨機(jī)學(xué)習(xí)等。第32頁(yè)/共75頁(yè)第三十

12、三頁(yè)，共76頁(yè)。)()()() 1(txtxtwtwjiijij第33頁(yè)/共75頁(yè)第三十四頁(yè)，共76頁(yè)。)()()()() 1(txtytdtwtwijjijij第34頁(yè)/共75頁(yè)第三十五頁(yè)，共76頁(yè)。第35頁(yè)/共75頁(yè)第三十六頁(yè)，共76頁(yè)。第36頁(yè)/共75頁(yè)第三十七頁(yè)，共76頁(yè)。 單層感知器學(xué)習(xí)實(shí)際上是一種基于糾錯(cuò)學(xué)習(xí)規(guī)則，采用迭代的思想對(duì)連單層感知器學(xué)習(xí)實(shí)際上是一種基于糾錯(cuò)學(xué)習(xí)規(guī)則，采用迭代的思想對(duì)連接權(quán)值和閾值進(jìn)行不斷調(diào)整，直到滿足結(jié)束條件為止的學(xué)習(xí)算法。接權(quán)值和閾值進(jìn)行不斷調(diào)整，直到滿足結(jié)束條件為止的學(xué)習(xí)算法。 假設(shè)假設(shè)X(k)和和W(k)分別表示學(xué)習(xí)算法在第分別表示學(xué)習(xí)算法在第k次迭

13、代時(shí)輸入向量和權(quán)值向量，次迭代時(shí)輸入向量和權(quán)值向量，為方便，把閾值為方便，把閾值作為權(quán)值向量作為權(quán)值向量W(k)中的第一個(gè)分量中的第一個(gè)分量(fn ling)，對(duì)應(yīng)地把，對(duì)應(yīng)地把“-1”固定地作為輸入向量固定地作為輸入向量X(k)中的第一個(gè)分量中的第一個(gè)分量(fn ling)。即。即W(k)和和X(k)可可分別表示如下：分別表示如下： X(k)=-1, x1(k), x2(k), , xn(k) W(k)=(k),w1(k), w2(k), ,wn(k)即即x0(k)=-1，w0(k)=(k)。 單層感知器學(xué)習(xí)是一種有導(dǎo)師學(xué)習(xí)，它需要給出輸入樣本的期望輸出。單層感知器學(xué)習(xí)是一種有導(dǎo)師學(xué)習(xí)，它需

14、要給出輸入樣本的期望輸出。 假設(shè)一個(gè)樣本空間可以被劃分為假設(shè)一個(gè)樣本空間可以被劃分為A、B兩類，定義兩類，定義: 功能函數(shù)：若輸入樣本屬于功能函數(shù)：若輸入樣本屬于A類，輸出為類，輸出為+1，否則其輸出為，否則其輸出為-1。 期望輸出：若輸入樣本屬于期望輸出：若輸入樣本屬于A類，期望輸出為類，期望輸出為+1，否則為，否則為-1。 單層感知器學(xué)習(xí)單層感知器學(xué)習(xí)(xux)算法算法算法思想算法思想第37頁(yè)/共75頁(yè)第三十八頁(yè)，共76頁(yè)。 單層感知器學(xué)習(xí)算法可描述如下：?jiǎn)螌痈兄鲗W(xué)習(xí)算法可描述如下： (1) 設(shè)設(shè)t=0，初始化連接權(quán)和閾值。即給，初始化連接權(quán)和閾值。即給wi(0)(i=1, 2, ,n)

15、及及(0)分別賦予一個(gè)較小的非零分別賦予一個(gè)較小的非零隨機(jī)數(shù)，作為初值。其中，隨機(jī)數(shù)，作為初值。其中，wi(0)是第是第0次迭代時(shí)輸入向量中第次迭代時(shí)輸入向量中第i個(gè)輸入的連接權(quán)值；個(gè)輸入的連接權(quán)值；(0)是第是第0次迭代時(shí)輸出節(jié)點(diǎn)的閾值；次迭代時(shí)輸出節(jié)點(diǎn)的閾值； (2) 提供提供(tgng)新的樣本輸入新的樣本輸入xi(t)(i=1, 2, , n)和期望輸出和期望輸出d(t)； (3) 計(jì)算網(wǎng)絡(luò)的實(shí)際輸出：計(jì)算網(wǎng)絡(luò)的實(shí)際輸出： nittxtwftyniii,.,2 , 1)()()()(1單層感知器學(xué)習(xí)單層感知器學(xué)習(xí)(xux)算法算法算法描述算法描述第38頁(yè)/共75頁(yè)第三十九頁(yè)，共76頁(yè)。

16、 (4) (4) 若若y(t)=d(t)y(t)=d(t)，不需要，不需要(xyo)(xyo)調(diào)整連接權(quán)值，轉(zhuǎn)調(diào)整連接權(quán)值，轉(zhuǎn)(6)(6)。否則，需要否則，需要(xyo)(xyo)調(diào)整權(quán)值調(diào)整權(quán)值 (5) (5) 調(diào)整連接權(quán)值調(diào)整連接權(quán)值其中，其中，是一個(gè)增益因子，用于控制修改速度，其值如果太大是一個(gè)增益因子，用于控制修改速度，其值如果太大，會(huì)影響，會(huì)影響wi(t)wi(t)的收斂性；如果太小，又會(huì)使的收斂性；如果太小，又會(huì)使wi(t)wi(t)的收斂速度的收斂速度太慢太慢; ; (6) (6) 判斷是否滿足結(jié)束條件，若滿足，算法結(jié)束；否則，將判斷是否滿足結(jié)束條件，若滿足，算法結(jié)束；否則，將t

17、 t值加值加1 1，轉(zhuǎn)，轉(zhuǎn)(2)(2)重新執(zhí)行。這里的結(jié)束條件一般是指重新執(zhí)行。這里的結(jié)束條件一般是指wi(t)wi(t)對(duì)一對(duì)一切樣本均穩(wěn)定不變。切樣本均穩(wěn)定不變。 若輸入的兩類樣本是線性可分的，則該算法就一定會(huì)收斂若輸入的兩類樣本是線性可分的，則該算法就一定會(huì)收斂。否則，不收斂。否則，不收斂。nitxtytdtwtwiii,.,2 , 1)()()()() 1(單層感知器學(xué)習(xí)算法單層感知器學(xué)習(xí)算法(sun f)算法算法(sun f)描述描述第39頁(yè)/共75頁(yè)第四十頁(yè)，共76頁(yè)。 例例 用單層感知器實(shí)現(xiàn)邏輯用單層感知器實(shí)現(xiàn)邏輯“與與”運(yùn)算。運(yùn)算。 解：根據(jù)解：根據(jù)“與與”運(yùn)算的邏輯關(guān)系，可將

18、問(wèn)題轉(zhuǎn)換為：輸入向量：運(yùn)算的邏輯關(guān)系，可將問(wèn)題轉(zhuǎn)換為：輸入向量： X1=0, 0, 1, 1 X2=0, 1, 0, 1輸出向量：輸出向量： Y=0, 0, 0, 1 為減少算法的迭代次數(shù)，設(shè)初始連接權(quán)值和閾值為減少算法的迭代次數(shù)，設(shè)初始連接權(quán)值和閾值(y zh)取值如下：取值如下： w1(0)=0.5, w2(0)=0.7, (0)=0.6并取增益因子并取增益因子=0.4。 算法的學(xué)習(xí)過(guò)程如下：算法的學(xué)習(xí)過(guò)程如下： 設(shè)兩個(gè)輸入為設(shè)兩個(gè)輸入為x1(0)=0和和x2(0)=0，其期望輸出為，其期望輸出為d(0)=0，實(shí)際輸出為：，實(shí)際輸出為： y(0)=f(w1(0)x1(0)+ w2(0)x2

19、(0)-(0) =f(0.5*0+0.7*0-0.6)=f(-0.6)=0實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。單層感知器學(xué)習(xí)單層感知器學(xué)習(xí)(xux)的例子的例子學(xué)習(xí)學(xué)習(xí)(xux)例子例子(1/4)第40頁(yè)/共75頁(yè)第四十一頁(yè)，共76頁(yè)。 再取下一組輸入再取下一組輸入(shr)：x1(0)=0和和x2(0)=1， 期望輸出期望輸出d(0)=0，實(shí)際輸出：，實(shí)際輸出： y(0)=f(w1(0) x1(0)+ w2(0) x2(0)-(0) =f(0.5*0+0.7*1-0.6)=f(0.1)=1實(shí)際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下：實(shí)際輸出與

20、期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下： (1)=(0)+(d(0)- y(0)*(-1)=0.6+0.4*(0-1)*(-1)=1 w1(1)=w1(0)+(d(0)- y(0)x1(0)=0.5+0.4*(0-1)*0=0.5 w2(1)=w2(0)+(d(0)- y(0)x2(0)=0.7+0.4*(0-1)*1=0.3取下一組輸入取下一組輸入(shr)：x1(1)=1和和x2(1)=0，其期望輸出為，其期望輸出為d(1)=0，實(shí)際輸出為：，實(shí)際輸出為： y(1)=f(w1(1) x1(1)+ w2(1) x2(1)-(1) =f(0.5*1+0.3*0-1)=f(-0.51)=0實(shí)際輸

21、出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。 單層感知器學(xué)習(xí)單層感知器學(xué)習(xí)(xux)的例子的例子學(xué)習(xí)學(xué)習(xí)(xux)例子例子(2/4)第41頁(yè)/共75頁(yè)第四十二頁(yè)，共76頁(yè)。 再取下一組輸入：再取下一組輸入：x1(1)=1和和x2(1)=1，其期望，其期望(qwng)輸出為輸出為d(1)=1，實(shí)際輸，實(shí)際輸出為：出為： y(1)=f(w1(1) x1(1)+ w2(1) x2(1)-(1) =f(0.5*1+0.3*1-1)=f(-0.2)=0 實(shí)際輸出與期望實(shí)際輸出與期望(qwng)輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下：輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下： (2)=

22、(1)+(d(1)- y(1)*(-1)=1+0.4*(1-0)*(-1)=0.6 w1(2)=w1(1)+(d(1)- y(1)x1(1)=0.5+0.4*(1-0)*1=0.9 w2(2)=w2(1)+(d(1)- y(1)x2(1)=0.3+0.4*(1-0)*1=0.7 取下一組輸入：取下一組輸入：x1(2)=0和和x2(2)=0，其期望，其期望(qwng)輸出為輸出為d(2)=0，實(shí)際輸出為：，實(shí)際輸出為： y(2)=f(0.9*0+0.7*0-0.6)=f(-0.6)=0實(shí)際輸出與期望實(shí)際輸出與期望(qwng)輸出相同，不需要調(diào)節(jié)權(quán)值輸出相同，不需要調(diào)節(jié)權(quán)值. 單層感知器學(xué)習(xí)單層感

23、知器學(xué)習(xí)(xux)的例子的例子學(xué)習(xí)學(xué)習(xí)(xux)例子例子(3/4)第42頁(yè)/共75頁(yè)第四十三頁(yè)，共76頁(yè)。 再取下一組輸入：再取下一組輸入：x1(2)=0和和x2(2)=1，期望輸出為，期望輸出為d(2)=0，實(shí)際輸出為：，實(shí)際輸出為： y(2)=f(0.9*0+0.7*1-0.6)=f(0.1)=1 實(shí)際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下：實(shí)際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下： (3)=(2)+(d(2)- y(2)*(-1)=0.6+0.4*(0-1)*(-1)=1 w1(3)=w1(2)+(d(2)- y(2)x1(2)=0.9+0.4*(0-1)*0=0.9 w2

24、(3)=w2(2)+(d(2)- y(2)x2(2)=0.7+0.4*(0-1)*1=0.3 實(shí)際上，由與運(yùn)算的閾值條件可知，此時(shí)的閾值和連接權(quán)值以滿足結(jié)束條件，算法可以實(shí)際上，由與運(yùn)算的閾值條件可知，此時(shí)的閾值和連接權(quán)值以滿足結(jié)束條件，算法可以(ky)結(jié)束。結(jié)束。 對(duì)此，可檢驗(yàn)如下：對(duì)此，可檢驗(yàn)如下： 對(duì)輸入：對(duì)輸入：“0 0”有有y=f(0.9*0+0.3*0-1)=f(-1)=0 對(duì)輸入：對(duì)輸入：“0 1”有有y=f(0.9*0+0.3*0.1-1)=f(-0.7)=0 對(duì)輸入：對(duì)輸入：“1 0”有有y=f(0.9*1+0.3*0-1)=f(-0.1)=0 對(duì)輸入：對(duì)輸入：“1 1”有有

25、y=f(0.9*1+0.3*1-1)=f(0.2)=1單層感知器學(xué)習(xí)單層感知器學(xué)習(xí)(xux)的例子的例子學(xué)習(xí)學(xué)習(xí)(xux)例子例子(4/4)第43頁(yè)/共75頁(yè)第四十四頁(yè)，共76頁(yè)。 多層感知器可以解決非線性可分問(wèn)題，但其隱層神經(jīng)元的期望輸出多層感知器可以解決非線性可分問(wèn)題，但其隱層神經(jīng)元的期望輸出(shch)卻不卻不易給出。易給出。 而單層感知器學(xué)習(xí)是一種有導(dǎo)師指導(dǎo)的學(xué)習(xí)過(guò)程，因此其學(xué)習(xí)算法無(wú)法直接用于而單層感知器學(xué)習(xí)是一種有導(dǎo)師指導(dǎo)的學(xué)習(xí)過(guò)程，因此其學(xué)習(xí)算法無(wú)法直接用于多層感知器。多層感知器。 由于多層感知器和由于多層感知器和BP網(wǎng)絡(luò)都屬于前向網(wǎng)絡(luò)，并能較好解決多層前饋網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)網(wǎng)絡(luò)都屬于

26、前向網(wǎng)絡(luò)，并能較好解決多層前饋網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題題. 因此，可用因此，可用BP學(xué)習(xí)來(lái)解決多層感知器學(xué)習(xí)問(wèn)題。學(xué)習(xí)來(lái)解決多層感知器學(xué)習(xí)問(wèn)題。多層感知器學(xué)習(xí)多層感知器學(xué)習(xí)(xux)問(wèn)題問(wèn)題第44頁(yè)/共75頁(yè)第四十五頁(yè)，共76頁(yè)。 BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)的網(wǎng)絡(luò)學(xué)習(xí)的網(wǎng)絡(luò)(wnglu)基礎(chǔ)是具有多層前饋基礎(chǔ)是具有多層前饋結(jié)構(gòu)的結(jié)構(gòu)的BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)。為討論方便，采用如下圖所示的三層。為討論方便，采用如下圖所示的三層BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)。BP網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)(xux)的基礎(chǔ)的基礎(chǔ)1. 三層三層BP網(wǎng)絡(luò)網(wǎng)絡(luò)x1xny1yl12mwijwjkijk1nl1三層三層BP網(wǎng)絡(luò)網(wǎng)絡(luò)工作信號(hào)工作

27、信號(hào)的的正向傳播正向傳播誤差誤差的的反向反向傳播傳播第45頁(yè)/共75頁(yè)第四十六頁(yè)，共76頁(yè)。 對(duì)上述三層對(duì)上述三層BP網(wǎng)絡(luò)，分別用網(wǎng)絡(luò)，分別用I,j,k表示表示(biosh)輸入層、隱含層、輸輸入層、隱含層、輸出層節(jié)點(diǎn)，且以以下符號(hào)表示出層節(jié)點(diǎn)，且以以下符號(hào)表示(biosh)： Oi, Oj, Ok分別表示分別表示(biosh)輸入層節(jié)點(diǎn)輸入層節(jié)點(diǎn)i、隱含層節(jié)點(diǎn)、隱含層節(jié)點(diǎn)j，輸出層節(jié)，輸出層節(jié)點(diǎn)點(diǎn)k的輸出；的輸出； Ii , Ij ,Ik,分別表示分別表示(biosh)輸入層節(jié)點(diǎn)輸入層節(jié)點(diǎn)i、隱含層節(jié)點(diǎn)、隱含層節(jié)點(diǎn)j，輸出層節(jié)點(diǎn)，輸出層節(jié)點(diǎn)k的輸入；的輸入； wij, wjk分別表示分別表示

28、(biosh)從輸入層節(jié)點(diǎn)從輸入層節(jié)點(diǎn)i到隱含層節(jié)點(diǎn)到隱含層節(jié)點(diǎn)j，從隱含層，從隱含層節(jié)點(diǎn)節(jié)點(diǎn)j輸出層節(jié)點(diǎn)輸出層節(jié)點(diǎn)k的輸入節(jié)點(diǎn)的輸入節(jié)點(diǎn)j的連接權(quán)值；的連接權(quán)值； j 、 k分別表示分別表示(biosh)隱含層節(jié)點(diǎn)隱含層節(jié)點(diǎn)j、輸出層節(jié)點(diǎn)、輸出層節(jié)點(diǎn)k的閾值；的閾值； 對(duì)輸入層節(jié)點(diǎn)對(duì)輸入層節(jié)點(diǎn)i有：有： BP網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)2. 網(wǎng)絡(luò)節(jié)點(diǎn)的輸入網(wǎng)絡(luò)節(jié)點(diǎn)的輸入/輸出輸出(shch)關(guān)系關(guān)系(1/2),.,2 , 1(nixOIiii（7.1）第46頁(yè)/共75頁(yè)第四十七頁(yè)，共76頁(yè)。 對(duì)輸出對(duì)輸出(shch)層節(jié)點(diǎn)層節(jié)點(diǎn)有：有：BP網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)2. 網(wǎng)絡(luò)節(jié)點(diǎn)網(wǎng)絡(luò)節(jié)點(diǎn)(

29、ji din)的輸入的輸入/輸出關(guān)系輸出關(guān)系(2/2)mjkjjkklkOwI1,.,2 , 1lkIfOkk,.,2 , 1)(（7.5）（7.4）mjxwOwIjniiijjiniijj,.,2 , 111()1,2,.,jjOf Ijm 對(duì)隱含對(duì)隱含(yn hn)層節(jié)點(diǎn)有：層節(jié)點(diǎn)有：（7.2）（7.3）第47頁(yè)/共75頁(yè)第四十八頁(yè)，共76頁(yè)。BP網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)(xux)的方的方式式BP網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)網(wǎng)絡(luò)學(xué)習(xí)的基礎(chǔ)BP網(wǎng)絡(luò)的激發(fā)網(wǎng)絡(luò)的激發(fā)(jf)函數(shù)和學(xué)習(xí)方式函數(shù)和學(xué)習(xí)方式mjkjjkklkOwI1,.,2 , 1lkIfOkk,.,2 , 1)(（7.5）（7.4）mjxwOwIjni

30、iijjiniijj,.,2 , 111()1,2,.,jjOf IjmBP網(wǎng)絡(luò)的激發(fā)網(wǎng)絡(luò)的激發(fā)(jf)函數(shù)函數(shù)（7.3） 通常采用連續(xù)可微的通常采用連續(xù)可微的S函數(shù)，包括單極函數(shù)，包括單極第48頁(yè)/共75頁(yè)第四十九頁(yè)，共76頁(yè)。 BP網(wǎng)絡(luò)學(xué)習(xí)過(guò)程是一個(gè)對(duì)給定訓(xùn)練模式，利用傳播公式，沿著減小誤差網(wǎng)絡(luò)學(xué)習(xí)過(guò)程是一個(gè)對(duì)給定訓(xùn)練模式，利用傳播公式，沿著減小誤差(wch)的方向不的方向不斷調(diào)整網(wǎng)絡(luò)聯(lián)結(jié)權(quán)值和閾值的過(guò)程。斷調(diào)整網(wǎng)絡(luò)聯(lián)結(jié)權(quán)值和閾值的過(guò)程。 設(shè)樣本集中的第設(shè)樣本集中的第r個(gè)樣本，其輸出層結(jié)點(diǎn)個(gè)樣本，其輸出層結(jié)點(diǎn)k的期望輸出用的期望輸出用drk表示，實(shí)際輸出用表示，實(shí)際輸出用yrk表示。其表示

31、。其中，中，drk由訓(xùn)練模式給出，由訓(xùn)練模式給出，yrk由由7.5式計(jì)算得出。即有式計(jì)算得出。即有 yrk = Ork 如果僅針對(duì)單個(gè)輸入樣本，其實(shí)際輸出與期望輸出的誤差如果僅針對(duì)單個(gè)輸入樣本，其實(shí)際輸出與期望輸出的誤差(wch)為為 BP算法的傳播公式算法的傳播公式(gngsh)誤差誤差 上述誤差定義是針對(duì)單個(gè)訓(xùn)練樣本的誤差計(jì)算公式，它適用于網(wǎng)絡(luò)的順序上述誤差定義是針對(duì)單個(gè)訓(xùn)練樣本的誤差計(jì)算公式，它適用于網(wǎng)絡(luò)的順序(shnx)學(xué)習(xí)方式。若采用批處理學(xué)習(xí)方式，需要定義其總體誤差。假設(shè)樣本集中有學(xué)習(xí)方式。若采用批處理學(xué)習(xí)方式，需要定義其總體誤差。假設(shè)樣本集中有R個(gè)樣本，個(gè)樣本，則對(duì)整個(gè)樣本集的總

32、體誤差定義為則對(duì)整個(gè)樣本集的總體誤差定義為lkkkydE12)(21RrlkrkrkRrrRydEE1121)(21（7.6）（7.7）第49頁(yè)/共75頁(yè)第五十頁(yè)，共76頁(yè)。針對(duì)順序針對(duì)順序(shnx)學(xué)習(xí)方式，其聯(lián)結(jié)權(quán)值的調(diào)整公式為學(xué)習(xí)方式，其聯(lián)結(jié)權(quán)值的調(diào)整公式為 BP算法的傳播公式算法的傳播公式(gngsh)權(quán)值變化量權(quán)值變化量(1/2)（7.8）（7.9）式中，式中，為增益因子，取為增益因子，取0, 1區(qū)間的一個(gè)正數(shù)，其取值與算法的收斂區(qū)間的一個(gè)正數(shù)，其取值與算法的收斂(shulin)速度有關(guān)；速度有關(guān)； 由下式計(jì)算由下式計(jì)算jkjkjkwtwtw)() 1(式中，式中，wjk (t)和

33、和wjk(t+1)分別是第分別是第t次迭代和次迭代和t+1次迭代時(shí)，從結(jié)點(diǎn)次迭代時(shí)，從結(jié)點(diǎn)j到結(jié)點(diǎn)到結(jié)點(diǎn)k的聯(lián)結(jié)權(quán)值；的聯(lián)結(jié)權(quán)值； wjk是聯(lián)結(jié)權(quán)值的變化量。是聯(lián)結(jié)權(quán)值的變化量。 為了使聯(lián)結(jié)權(quán)值能沿著為了使聯(lián)結(jié)權(quán)值能沿著E的梯度下降的方向逐漸改善，網(wǎng)絡(luò)逐漸收斂，權(quán)值變化量的梯度下降的方向逐漸改善，網(wǎng)絡(luò)逐漸收斂，權(quán)值變化量 wjk的計(jì)算公式如下：的計(jì)算公式如下：jkjkwEwjkwEjkkkjkwIIEwE（7.10）第50頁(yè)/共75頁(yè)第五十一頁(yè)，共76頁(yè)。根據(jù)根據(jù)(gnj)7.2式，可得到輸出層節(jié)點(diǎn)式，可得到輸出層節(jié)點(diǎn)k的的Ik為為 BP算法的傳播算法的傳播(chunb)公式公式權(quán)值變化量權(quán)值

34、變化量(1/2)（7.11）（7.12）令局部令局部(jb)梯度梯度（7.13）jmjjkkOwI1jjmjjkjkjkkOOwwwI1對(duì)該式求偏導(dǎo)數(shù)有對(duì)該式求偏導(dǎo)數(shù)有kkIE將將7.10式、式、7.11式和式和7.12式代入式代入7.9式有式有jkjkkkjkjkOwIIEwEw 對(duì)對(duì)k的計(jì)算，須區(qū)分的計(jì)算，須區(qū)分k是輸出層上還是隱含層上的結(jié)點(diǎn)。下面分別討論。是輸出層上還是隱含層上的結(jié)點(diǎn)。下面分別討論。第51頁(yè)/共75頁(yè)第五十二頁(yè)，共76頁(yè)。如果如果(rgu)結(jié)點(diǎn)結(jié)點(diǎn)k是輸出層上的結(jié)點(diǎn)，則有是輸出層上的結(jié)點(diǎn)，則有Ok=yk，因此，因此 BP算法的傳播公式算法的傳播公式節(jié)點(diǎn)節(jié)點(diǎn)(ji din)

35、k是輸出層節(jié)點(diǎn)是輸出層節(jié)點(diǎn)(ji din)(1/3)（7.14）（7.15）由由7.6式，有式，有即即而而kkkkkIyyEIE)()()(221)(21(12kkkkkkklkkkkydyyydyydyE)(kkkydyEkkkyfII（7.16）第52頁(yè)/共75頁(yè)第五十三頁(yè)，共76頁(yè)。將將7.15式和式和7.16式代入式代入7.14式，有式，有BP算法的傳播公式算法的傳播公式節(jié)點(diǎn)節(jié)點(diǎn)(ji din)k是輸出層節(jié)點(diǎn)是輸出層節(jié)點(diǎn)(ji din)(2/3)（7.17）（7.15）由于由于(yuy)f(Ik) = f(Ik)1-f(Ik)，且，且f(Ik)=yk，因此有，因此有再將再將7.18式代

36、入式代入7.13式，有式，有根據(jù)根據(jù)(gnj)7.8，對(duì)輸出層有，對(duì)輸出層有（7.20）)()(kkkkIfyd )1 ()(kkkkkyyyd（7.18）jkkkkjkOyyydw)1)(1)( )( )()(1)jkjkjkjkkkkkjwtwtwwtdyyy O第53頁(yè)/共75頁(yè)第五十四頁(yè)，共76頁(yè)。 如果如果k不是輸出層結(jié)點(diǎn)它表示聯(lián)結(jié)權(quán)值是作用不是輸出層結(jié)點(diǎn)它表示聯(lián)結(jié)權(quán)值是作用(zuyng)于隱含層上的結(jié)點(diǎn)，于隱含層上的結(jié)點(diǎn)，此時(shí)，有此時(shí)，有k=j ，j按下式計(jì)算按下式計(jì)算 BP算法的傳播算法的傳播(chunb)公式公式節(jié)點(diǎn)節(jié)點(diǎn)k是隱含層節(jié)點(diǎn)是隱含層節(jié)點(diǎn)(1/3)（7.22）由由7.3

37、式，式，Oj=f (Ij-j)，因此，因此(ync)有有式中，式中，（7.21）jjjjjIOOEIE)(jjjIfOE是一個(gè)隱函數(shù)求導(dǎo)問(wèn)題，其推導(dǎo)過(guò)程為是一個(gè)隱函數(shù)求導(dǎo)問(wèn)題，其推導(dǎo)過(guò)程為jOEmjjjkjlkkjklkkjOwOIEOIIEOE111)(jklkkwIE)(1第54頁(yè)/共75頁(yè)第五十五頁(yè)，共76頁(yè)。由由7.12式有式有 BP算法的傳播公式算法的傳播公式節(jié)點(diǎn)節(jié)點(diǎn)(ji din)k是隱含層節(jié)點(diǎn)是隱含層節(jié)點(diǎn)(ji din)(2/3)（7.24）將將7.23式代入式代入7.22式，有式，有 它說(shuō)明，低層結(jié)點(diǎn)的它說(shuō)明，低層結(jié)點(diǎn)的值是通過(guò)上一層結(jié)點(diǎn)的值是通過(guò)上一層結(jié)點(diǎn)的值來(lái)計(jì)算的。這樣，

38、我們就可以值來(lái)計(jì)算的。這樣，我們就可以(ky)先計(jì)先計(jì)算出輸出層上的算出輸出層上的值，然后把它返回到較低層上，并計(jì)算出各較低層上結(jié)點(diǎn)的值，然后把它返回到較低層上，并計(jì)算出各較低層上結(jié)點(diǎn)的值。值。 由于由于f (Ij) = f(Ij) 1-f (Ij) ，故由，故由7.24可得可得（7.23）lkjkkjwOE1lkjkkjjwIf1)(lkjkkjjjwIfIf1)(1)(（7.25）第55頁(yè)/共75頁(yè)第五十六頁(yè)，共76頁(yè)。再將再將7.25式代入式代入7.13式，并將其轉(zhuǎn)化為隱函數(shù)式，并將其轉(zhuǎn)化為隱函數(shù)(hnsh)的變化量，有的變化量，有7.3.2 BP算法的傳播算法的傳播(chunb)公式公

39、式節(jié)點(diǎn)節(jié)點(diǎn)k是隱含層節(jié)點(diǎn)是隱含層節(jié)點(diǎn)(3/3)再由再由7.1式和式和7.3式，有式，有根據(jù)根據(jù)(gnj)7.8，對(duì)隱含層有，對(duì)隱含層有（7.26）（7.28）ilkjkkjjijOwIfIfw)(1)(1ilkjkkjjijxwOOw)(1 (1ilkjkkjjijijijijxwOOtwwtwtw)(1 ()()() 1(1（7.27）第56頁(yè)/共75頁(yè)第五十七頁(yè)，共76頁(yè)。 對(duì)三層對(duì)三層BP網(wǎng)絡(luò)，設(shè)網(wǎng)絡(luò)，設(shè)wij是輸入層到隱層，是輸入層到隱層，wjk是隱層到輸出層的聯(lián)結(jié)權(quán)值；是隱層到輸出層的聯(lián)結(jié)權(quán)值；R是是樣本個(gè)數(shù)，其計(jì)數(shù)器為樣本個(gè)數(shù)，其計(jì)數(shù)器為r；T是訓(xùn)練過(guò)程的最大迭代數(shù)，其計(jì)數(shù)器為是訓(xùn)

40、練過(guò)程的最大迭代數(shù)，其計(jì)數(shù)器為t。 (1) 初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)：將初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)：將wij、wjk、j、k均賦以較小的隨機(jī)數(shù)；設(shè)置均賦以較小的隨機(jī)數(shù)；設(shè)置為為0,1區(qū)間的數(shù)；置訓(xùn)練樣本計(jì)數(shù)器區(qū)間的數(shù)；置訓(xùn)練樣本計(jì)數(shù)器r=0，誤差，誤差E=0、誤差閾值、誤差閾值為很小的正數(shù)。為很小的正數(shù)。 (2) 隨機(jī)輸入一個(gè)訓(xùn)練樣本，隨機(jī)輸入一個(gè)訓(xùn)練樣本，r=r+1，t=0。 (3) 按按7.1-7.5式計(jì)算隱層神經(jīng)元的狀態(tài)和輸出層每個(gè)節(jié)點(diǎn)式計(jì)算隱層神經(jīng)元的狀態(tài)和輸出層每個(gè)節(jié)點(diǎn)(ji din)的實(shí)際輸出的實(shí)際輸出yk，按按7.6式計(jì)算該樣本的誤差式計(jì)算該樣本的誤差E。 BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)算

41、法學(xué)習(xí)算法算法描述算法描述第57頁(yè)/共75頁(yè)第五十八頁(yè)，共76頁(yè)。 (4) 檢查檢查E ? 若是，執(zhí)行下一步；否則，轉(zhuǎn)（若是，執(zhí)行下一步；否則，轉(zhuǎn)（8）。）。 (5) t=t+1。 (6) 檢查檢查t T ？若是，執(zhí)行下一步；否則，轉(zhuǎn)（？若是，執(zhí)行下一步；否則，轉(zhuǎn)（8）。）。 (7) 按按7.18式計(jì)算輸出層結(jié)點(diǎn)式計(jì)算輸出層結(jié)點(diǎn)k的的k，按，按7.25式計(jì)算隱層結(jié)點(diǎn)式計(jì)算隱層結(jié)點(diǎn)j的的j，按，按 7.20式計(jì)算式計(jì)算wjk(t+1)，按，按 7.28式計(jì)算式計(jì)算wij(t+1)，返回，返回(3)。其中，對(duì)閾值按聯(lián)結(jié)權(quán)值的學(xué)習(xí)方式。其中，對(duì)閾值按聯(lián)結(jié)權(quán)值的學(xué)習(xí)方式(fngsh)修正，即把閾值設(shè)想

42、為神經(jīng)元的聯(lián)結(jié)權(quán)值，并假定其輸入信號(hào)值總是為修正，即把閾值設(shè)想為神經(jīng)元的聯(lián)結(jié)權(quán)值，并假定其輸入信號(hào)值總是為1。 (8) 檢查檢查r = R ? 若是，執(zhí)行下一步；否則，轉(zhuǎn)若是，執(zhí)行下一步；否則，轉(zhuǎn)(2)。 (9) 結(jié)束。結(jié)束。BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)算法學(xué)習(xí)算法算法描述算法描述第58頁(yè)/共75頁(yè)第五十九頁(yè)，共76頁(yè)。 BP網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)(xux)算法算法算法流程算法流程隨機(jī)隨機(jī)(su j)輸入一個(gè)訓(xùn)練樣本，置輸入一個(gè)訓(xùn)練樣本，置r=r+1,t=0初始化網(wǎng)絡(luò)初始化網(wǎng)絡(luò)(wnglu)及學(xué)習(xí)參數(shù)及學(xué)習(xí)參數(shù)wij,wjk,j,k,R,T,置置E=0,r=0 對(duì)輸入樣本，計(jì)算該樣本的每一個(gè)對(duì)輸入

43、樣本，計(jì)算該樣本的每一個(gè)yk，計(jì)算該樣本的誤差計(jì)算該樣本的誤差EE？ t=t+1tT ？計(jì)算輸出層結(jié)點(diǎn)計(jì)算輸出層結(jié)點(diǎn)k的的k修正各層的修正各層的wjk(t),wij(t)E？ 結(jié)束結(jié)束是是否否是是否否否否是是第59頁(yè)/共75頁(yè)第六十頁(yè)，共76頁(yè)。 BP網(wǎng)絡(luò)模型是目前使用較多的一種神經(jīng)網(wǎng)絡(luò)，其主要優(yōu)、缺點(diǎn)網(wǎng)絡(luò)模型是目前使用較多的一種神經(jīng)網(wǎng)絡(luò)，其主要優(yōu)、缺點(diǎn)(qudin)如下。如下。 優(yōu)點(diǎn)優(yōu)點(diǎn) （1）算法的優(yōu)點(diǎn)是算法推導(dǎo)清楚，學(xué)習(xí)精度較高；）算法的優(yōu)點(diǎn)是算法推導(dǎo)清楚，學(xué)習(xí)精度較高； （2）從理論上說(shuō)，多層前饋網(wǎng)絡(luò)可學(xué)會(huì)任何可學(xué)習(xí)的東西；）從理論上說(shuō)，多層前饋網(wǎng)絡(luò)可學(xué)會(huì)任何可學(xué)習(xí)的東西； （3）經(jīng)過(guò)

44、訓(xùn)練后的）經(jīng)過(guò)訓(xùn)練后的BP網(wǎng)絡(luò)，運(yùn)行速度極快，可用于實(shí)時(shí)處理。網(wǎng)絡(luò)，運(yùn)行速度極快，可用于實(shí)時(shí)處理。 缺點(diǎn)缺點(diǎn)(qudin) （1）由于其數(shù)學(xué)基礎(chǔ)是非線性優(yōu)化問(wèn)題，因此可能陷入局部最小區(qū)域；）由于其數(shù)學(xué)基礎(chǔ)是非線性優(yōu)化問(wèn)題，因此可能陷入局部最小區(qū)域； （2）算法收斂速度很慢，通常需要數(shù)千步或更長(zhǎng)，甚至還可能不收斂；）算法收斂速度很慢，通常需要數(shù)千步或更長(zhǎng)，甚至還可能不收斂； （3）網(wǎng)絡(luò)中隱含結(jié)點(diǎn)的設(shè)置無(wú)理論指導(dǎo)。）網(wǎng)絡(luò)中隱含結(jié)點(diǎn)的設(shè)置無(wú)理論指導(dǎo)。 上述缺點(diǎn)上述缺點(diǎn)(qudin)的解決辦法的解決辦法 對(duì)于局部最小區(qū)域問(wèn)題，通常需要采用模擬退火算法或遺傳算法。對(duì)于局部最小區(qū)域問(wèn)題，通常需要采用模擬退

45、火算法或遺傳算法。 對(duì)于算法收斂慢的問(wèn)題，其主要原因在于誤差是時(shí)間的復(fù)雜非線性函數(shù)。為提對(duì)于算法收斂慢的問(wèn)題，其主要原因在于誤差是時(shí)間的復(fù)雜非線性函數(shù)。為提高算法收斂速度，可采用逐次自動(dòng)調(diào)整增益因子高算法收斂速度，可采用逐次自動(dòng)調(diào)整增益因子，或修改激活函數(shù)，或修改激活函數(shù)f(x)的方法來(lái)的方法來(lái)解決。解決。BP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)的討論學(xué)習(xí)的討論第60頁(yè)/共75頁(yè)第六十一頁(yè)，共76頁(yè)。Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)學(xué)習(xí) Hopfield網(wǎng)絡(luò)學(xué)習(xí)的過(guò)程實(shí)際上是一個(gè)從網(wǎng)絡(luò)初始狀態(tài)向其穩(wěn)網(wǎng)絡(luò)學(xué)習(xí)的過(guò)程實(shí)際上是一個(gè)從網(wǎng)絡(luò)初始狀態(tài)向其穩(wěn)定狀態(tài)過(guò)渡定狀態(tài)過(guò)渡(gud)的過(guò)程。而網(wǎng)絡(luò)的穩(wěn)定

46、性又是通過(guò)能量函數(shù)來(lái)的過(guò)程。而網(wǎng)絡(luò)的穩(wěn)定性又是通過(guò)能量函數(shù)來(lái)描述的。這里主要針對(duì)離散描述的。這里主要針對(duì)離散Hopfield網(wǎng)絡(luò)討論其能量函數(shù)和學(xué)習(xí)網(wǎng)絡(luò)討論其能量函數(shù)和學(xué)習(xí)算法。算法。u Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)的能量函數(shù)的能量函數(shù)u Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)學(xué)習(xí)算法學(xué)習(xí)算法第61頁(yè)/共75頁(yè)第六十二頁(yè)，共76頁(yè)。式中，式中，n是網(wǎng)絡(luò)中的神經(jīng)元個(gè)數(shù)，是網(wǎng)絡(luò)中的神經(jīng)元個(gè)數(shù)，wij是神經(jīng)元是神經(jīng)元i和神經(jīng)元和神經(jīng)元j之間的連接權(quán)值，且有之間的連接權(quán)值，且有wij=wji； vi和和vj分別是神經(jīng)元分別是神經(jīng)元i和神經(jīng)元和神經(jīng)元j的輸出；的輸出；i是神經(jīng)元是神經(jīng)元i的閾值

47、。的閾值。 可以證明可以證明(zhngmng)，對(duì)，對(duì)Hopfield網(wǎng)絡(luò)，無(wú)論其神經(jīng)元的狀態(tài)由網(wǎng)絡(luò)，無(wú)論其神經(jīng)元的狀態(tài)由“0”變?yōu)樽優(yōu)椤?”，還是由，還是由“1”變?yōu)樽優(yōu)椤?”，始終有其網(wǎng)絡(luò)能量的變化：，始終有其網(wǎng)絡(luò)能量的變化： E 0因此：因此：nkjjkkjkkjnkjjkkjkkjktvvtvwtvvtvwE11)()() 1() 1()(011nkjjkjkjnkjjkjkjvwvw0kE第66頁(yè)/共75頁(yè)第六十七頁(yè)，共76頁(yè)。 Hopfield的能量的能量(nngling)函數(shù)函數(shù)能量能量(nngling)函數(shù)定義及性質(zhì)函數(shù)定義及性質(zhì)(6/7)當(dāng)神經(jīng)元當(dāng)神經(jīng)元k的輸出的輸出(shch)vk由由0變變1時(shí)，有時(shí)，有此時(shí)此時(shí)(c sh)，由于神經(jīng)元，由于神經(jīng)元k的輸出為的輸出為0，即有：，即有：01knkjjjkjvw因此：因此：nkjjkkjkkjnkjjkkjkkjktvvtvwtvvtvwE11)()() 1() 1()()(011nkjjkjkjnkjjkjkjvwvw0kE第67頁(yè)/共75頁(yè)第六十八頁(yè)，共76頁(yè)。 Hopfield的能量函數(shù)的能量函數(shù)能量函數(shù)定義能量函數(shù)定義(dngy)及性質(zhì)及性質(zhì)(7/7) 可見(jiàn)，無(wú)論神經(jīng)元k的狀態(tài)(zhungti)由“1”變?yōu)椤?” 時(shí)，還是由“0”變?yōu)椤?” 時(shí)，都總有： 它說(shuō)明離散它說(shuō)明離散Hopfield網(wǎng)絡(luò)在運(yùn)行中，其