神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)課件

1、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第第6.6節(jié)節(jié) 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)計(jì)算機(jī)科學(xué)與技術(shù)系計(jì)算機(jī)科學(xué)與技術(shù)系2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n公元前公元前400年左右，柏拉圖和亞里士多德就曾對(duì)年左右，柏拉圖和亞里士多德就曾對(duì)人類(lèi)認(rèn)知、記憶、思維進(jìn)行過(guò)研究；人類(lèi)認(rèn)知、記憶、思維進(jìn)行過(guò)研究；n19世紀(jì)末，出現(xiàn)了世紀(jì)末，出現(xiàn)了神經(jīng)元神經(jīng)元學(xué)說(shuō)；美國(guó)生物學(xué)家學(xué)說(shuō)；美國(guó)生物學(xué)家W. James在在Physiology一書(shū)中提到，一書(shū)中提到，“人腦中人腦中兩個(gè)基本單元靠得較近時(shí)，一個(gè)單元的興奮會(huì)傳兩個(gè)基本單元靠得較近時(shí)，一個(gè)單元的興奮會(huì)傳到另一個(gè)單元；到另一個(gè)單元；n20世

2、紀(jì)世紀(jì)40年代，神經(jīng)解剖學(xué)、神經(jīng)生理學(xué)、神經(jīng)年代，神經(jīng)解剖學(xué)、神經(jīng)生理學(xué)、神經(jīng)元的電生理過(guò)程等有了突破性進(jìn)展。元的電生理過(guò)程等有了突破性進(jìn)展。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)Nucleus：核核 Cell body：細(xì)胞體細(xì)胞體 Dentrite：樹(shù)突樹(shù)突 Axon：軸突軸突2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)軸突后部裂出軸突后部裂出許多許多分枝，分枝末端有突觸，突觸與樹(shù)突連接；分枝，分枝末端有突觸，突觸與樹(shù)突連接；軸突中的信號(hào)經(jīng)突觸轉(zhuǎn)換為軸突中的信號(hào)經(jīng)突觸轉(zhuǎn)換為“阻止阻止”或或“激活激活”信號(hào)；信號(hào)；當(dāng)神經(jīng)元的當(dāng)神經(jīng)元的“凈輸入凈輸入”超過(guò)閾值時(shí)，其沿軸突發(fā)出信號(hào)；超過(guò)閾值時(shí)

3、，其沿軸突發(fā)出信號(hào)；改變突觸的效能，神經(jīng)元之間的影響隨之改變，學(xué)習(xí)就發(fā)生了。改變突觸的效能，神經(jīng)元之間的影響隨之改變，學(xué)習(xí)就發(fā)生了。突觸（神經(jīng)鍵）突觸（神經(jīng)鍵）2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)摘自張仰森摘自張仰森人工智能原理與應(yīng)用人工智能原理與應(yīng)用隨書(shū)課件隨書(shū)課件2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n1943年，年，W.S. McCulloch和和W.A. Pitts合作提出了第一個(gè)合作提出了第一個(gè)人工神經(jīng)元模型（人工神經(jīng)元模型（M-P模型）；模型）； NiiiSumfyWISum1)( Sumy0 T1f是閾值為是閾值為T(mén)的階躍函數(shù)的階躍函數(shù)I1I2INW1W2WNyM-P模

4、型中輸入、輸出的關(guān)系模型中輸入、輸出的關(guān)系摘自摘自2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)樹(shù)突樹(shù)突加和加和細(xì)胞體細(xì)胞體閾值閾值軸突軸突參考：參考：突觸突觸2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n1949年，年，Donala U. Hebb在在“The Organization of Behavior”一書(shū)中認(rèn)為一書(shū)中認(rèn)為q學(xué)習(xí)的過(guò)程最終發(fā)生在神經(jīng)元之間的學(xué)習(xí)的過(guò)程最終發(fā)生在神經(jīng)元之間的突觸突觸部位，突觸的部位，突觸的連接強(qiáng)度隨著突觸前后神經(jīng)元的活動(dòng)而變化；連接強(qiáng)度隨著突觸前后神經(jīng)元的活動(dòng)而變化；q連接權(quán)的學(xué)習(xí)律連接權(quán)的學(xué)習(xí)律正比于正比于突觸前后兩個(gè)神經(jīng)元的活動(dòng)狀態(tài)突觸前后兩個(gè)神經(jīng)元的活動(dòng)

5、狀態(tài)值的乘積；值的乘積；q可假設(shè)權(quán)是對(duì)稱(chēng)的，細(xì)胞的互連結(jié)構(gòu)是通過(guò)改變彼此的可假設(shè)權(quán)是對(duì)稱(chēng)的，細(xì)胞的互連結(jié)構(gòu)是通過(guò)改變彼此的連接權(quán)創(chuàng)造出來(lái)的。連接權(quán)創(chuàng)造出來(lái)的。突觸連接強(qiáng)度的可變性是學(xué)習(xí)和記憶的基礎(chǔ)突觸連接強(qiáng)度的可變性是學(xué)習(xí)和記憶的基礎(chǔ)2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n這是神經(jīng)網(wǎng)絡(luò)的第這是神經(jīng)網(wǎng)絡(luò)的第1個(gè)學(xué)習(xí)算法；個(gè)學(xué)習(xí)算法；n神經(jīng)元的輸出神經(jīng)元的輸出n連接權(quán)值的調(diào)整公式連接權(quán)值的調(diào)整公式)(1 niiijjxwfyijijijxytwtw )()1(學(xué)習(xí)率學(xué)習(xí)率凈輸入凈輸入2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n1957年，年，F(xiàn)rank Rosenblatt在在M-P模型基礎(chǔ)上

6、，定義了模型基礎(chǔ)上，定義了一個(gè)具有一個(gè)具有單層單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取名為計(jì)算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取名為“感知感知器器”。輸入層輸入層計(jì)算層計(jì)算層(輸出層輸出層)x1x2xixny1yjymw1jwnj2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)模型，設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)模型，q除了明確網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的傳輸函數(shù)（除了明確網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的傳輸函數(shù)（f）；）；q還要給出還要給出學(xué)習(xí)算法學(xué)習(xí)算法。n學(xué)習(xí)算法用于得出神經(jīng)網(wǎng)絡(luò)中的各個(gè)參數(shù)。學(xué)習(xí)算法用于得出神經(jīng)網(wǎng)絡(luò)中的各個(gè)參數(shù)。q學(xué)習(xí)算法通常是學(xué)習(xí)算法通常是迭代迭代算法，對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的算法，對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的演變演變過(guò)程；過(guò)程；q算

7、法收斂到一個(gè)穩(wěn)定狀態(tài)時(shí)，神經(jīng)網(wǎng)絡(luò)的各參數(shù)（連接算法收斂到一個(gè)穩(wěn)定狀態(tài)時(shí)，神經(jīng)網(wǎng)絡(luò)的各參數(shù)（連接權(quán)值、閾值等）就基本不變了；權(quán)值、閾值等）就基本不變了；q這個(gè)過(guò)程稱(chēng)為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練。這個(gè)過(guò)程稱(chēng)為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n訓(xùn)練模式（訓(xùn)練模式（training mode）q準(zhǔn)備大量的有教師指導(dǎo)的（或無(wú)教師指導(dǎo)的）的訓(xùn)練樣準(zhǔn)備大量的有教師指導(dǎo)的（或無(wú)教師指導(dǎo)的）的訓(xùn)練樣本（即實(shí)例），對(duì)本（即實(shí)例），對(duì)ANN進(jìn)行訓(xùn)練，確定進(jìn)行訓(xùn)練，確定ANN的內(nèi)部參的內(nèi)部參數(shù)（甚至結(jié)構(gòu)）。數(shù)（甚至結(jié)構(gòu)）。n使用模式（使用模式（using mode）q輸入一個(gè)實(shí)際例子，讓輸入

8、一個(gè)實(shí)際例子，讓ANN分析并給出結(jié)果。分析并給出結(jié)果。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n假設(shè)每個(gè)樣本含假設(shè)每個(gè)樣本含 n 個(gè)屬性，用向量個(gè)屬性，用向量(x1, x2, , xn)表示；若表示；若X 為樣本變量，為樣本變量， XRn；nwij 是是 xi 到神經(jīng)元到神經(jīng)元 j 的連接權(quán)值，的連接權(quán)值， Wj 是神經(jīng)元是神經(jīng)元 j 的輸入連的輸入連接的權(quán)值向量，即接的權(quán)值向量，即Wj =(w1j , w2j , , wnj )；n先隨機(jī)設(shè)置先隨機(jī)設(shè)置wij和和j ，j 是神經(jīng)元是神經(jīng)元 j 的閾值；的閾值；n不同神經(jīng)元的參數(shù)（包括連接權(quán)值和閾值）的學(xué)習(xí)是相互不同神經(jīng)元的參數(shù)（包括連接權(quán)值

9、和閾值）的學(xué)習(xí)是相互獨(dú)立的，故只需給出一個(gè)神經(jīng)元的學(xué)習(xí)算法。獨(dú)立的，故只需給出一個(gè)神經(jīng)元的學(xué)習(xí)算法。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n樣本必須是樣本必須是有教師指導(dǎo)有教師指導(dǎo)的，即預(yù)先知道其分類(lèi)；的，即預(yù)先知道其分類(lèi)；q輸入輸入(x1, x2, , xn)時(shí)，神經(jīng)元時(shí)，神經(jīng)元j的輸出應(yīng)為的輸出應(yīng)為 dj 。n對(duì)于離散感知器，對(duì)于離散感知器，yj 按下式計(jì)算。按下式計(jì)算。n 則則wij 的調(diào)整規(guī)則是的調(diào)整規(guī)則是 wij(t +1) = wij(t) + (dj - yj) xi 0 1-0 1)(sgn)(XWXWXWXWfyTjTjTjTjj為調(diào)整步幅系數(shù)，為調(diào)整步幅系數(shù)，02008

10、-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n“感知器感知器”對(duì)對(duì)線性可分線性可分問(wèn)題具有分類(lèi)能力問(wèn)題具有分類(lèi)能力q若樣本空間為若樣本空間為Rn，存在，存在n-1維的維的超平面超平面可將樣本分為兩可將樣本分為兩類(lèi)，則稱(chēng)線性可分。類(lèi)，則稱(chēng)線性可分。21212221121)(),(wxwwxxwxwfyxxXT 存在至少一組存在至少一組wij和和j ，使，使得對(duì)應(yīng)兩個(gè)子空間的神經(jīng)得對(duì)應(yīng)兩個(gè)子空間的神經(jīng)元輸出分別為元輸出分別為0和和1。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)t樣本樣本X期望期望輸出輸出dW(t)實(shí)際輸出實(shí)際輸出y=W(t)TXW(t+1)=W(t)+(dy)X0(1, -1, -1)-1(

11、0, 0, 0)0(-0.4, 0.4, 0.4)1(1, 1, -1)1(-0.4, 0.4, 0.4)-0.4(0.16, 0.96, -0.16)2(1, -1, -1)-1(0.16, 0.96, -0.16)-0.64(0.016, 1.104, -0.016)3(1, 1, -1)1(0.016, 1.104, -0.016)1.136(0.038, 1.050, -0.038)(0, 1, 0)驗(yàn)證：驗(yàn)證： (0, 1, 0)T(1, -1, -1) = -1 (0, 1, 0)T(1, 1, -1) = 1 2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n“感知器感知器”無(wú)法解決無(wú)

12、法解決線性不可分線性不可分問(wèn)題；問(wèn)題；n1969年，年，Minsky和和Papert指出了指出了“感知器感知器”的的這種局限性，例如，這種局限性，例如，“感知器感知器”無(wú)法實(shí)現(xiàn)無(wú)法實(shí)現(xiàn)“異或異或”邏輯。邏輯。邏輯邏輯“與與”邏輯邏輯“異或異或”x1x2yx1x2y0000000100111001011111102008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n設(shè)輸入向量設(shè)輸入向量X=(x1, x2)，神經(jīng)元，神經(jīng)元j的輸出為：的輸出為：n學(xué)習(xí)邏輯學(xué)習(xí)邏輯“與與”時(shí)，有時(shí)，有n至少存在一組至少存在一組w1j 、w2j 和和滿(mǎn)足上述方程組，即單結(jié)點(diǎn)感知滿(mǎn)足上述方程組，即單結(jié)點(diǎn)感知器對(duì)器對(duì)2輸入的邏輯輸入

13、的邏輯“與與” 問(wèn)題有分類(lèi)能力。問(wèn)題有分類(lèi)能力。 0- 00- 122112211xwxwxwxwyjjjjj 2000-110-010-100-0021211221212121 jjjjjjjjjjjjjjwwwwwwwwwwwwww2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n學(xué)習(xí)邏輯學(xué)習(xí)邏輯“異或異或”時(shí)，有時(shí)，有n不存在任何一組不存在任何一組w1j 、w2j 和和滿(mǎn)足上述方程組，即單結(jié)點(diǎn)感滿(mǎn)足上述方程組，即單結(jié)點(diǎn)感知器不能對(duì)知器不能對(duì)2輸入的邏輯輸入的邏輯“異或異或” 問(wèn)題求解。問(wèn)題求解。 0200-110-010-100-002121211221212121wwwwwwwwwwwwww

14、wwjjjjjjjjjjjjjjjj0 11x1x20 11x1x221212wxwwx 2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n采用采用二層或多層感知器；二層或多層感知器；n只允許某一層的連接權(quán)值可調(diào)，因?yàn)闊o(wú)法知道網(wǎng)只允許某一層的連接權(quán)值可調(diào)，因?yàn)闊o(wú)法知道網(wǎng)絡(luò)絡(luò)隱層隱層的神經(jīng)元的理想輸出；的神經(jīng)元的理想輸出；q要允許各層的連接權(quán)值可調(diào)，需要用要允許各層的連接權(quán)值可調(diào)，需要用1986年提出的誤年提出的誤差反向傳播（即差反向傳播（即BP）學(xué)習(xí)算法。）學(xué)習(xí)算法。n多層感知器可解決單層感知器無(wú)法解決的某些問(wèn)多層感知器可解決單層感知器無(wú)法解決的某些問(wèn)題，例如，用二層感知器就可解決異或問(wèn)題。題，例如

15、，用二層感知器就可解決異或問(wèn)題。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n70年代，集成電路使計(jì)算機(jī)快速發(fā)展；年代，集成電路使計(jì)算機(jī)快速發(fā)展；n在在“感知器感知器”局限性的困擾下，機(jī)器學(xué)習(xí)的熱點(diǎn)局限性的困擾下，機(jī)器學(xué)習(xí)的熱點(diǎn)由連接主義（即神經(jīng)網(wǎng)絡(luò)）轉(zhuǎn)向符號(hào)主義；由連接主義（即神經(jīng)網(wǎng)絡(luò)）轉(zhuǎn)向符號(hào)主義；n70年代被認(rèn)為是年代被認(rèn)為是ANN的研究低潮期，但仍有的研究低潮期，但仍有ANN的一些重要成果出現(xiàn)。的一些重要成果出現(xiàn)。q72年，芬蘭年，芬蘭T. Kohonen教授提出了無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)教授提出了無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)SOM（Self-Organizing feature Map）;q76年，美國(guó)年，美

16、國(guó)Grossberg教授提出了教授提出了ART（Adaptive Resonnance Theory）。）。自組織競(jìng)爭(zhēng)網(wǎng)絡(luò)模型自組織競(jìng)爭(zhēng)網(wǎng)絡(luò)模型2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n生物神經(jīng)網(wǎng)絡(luò)中，有生物神經(jīng)網(wǎng)絡(luò)中，有側(cè)抑制側(cè)抑制現(xiàn)象；現(xiàn)象；q一個(gè)神經(jīng)元興奮，通過(guò)突觸一個(gè)神經(jīng)元興奮，通過(guò)突觸抑制抑制相鄰神經(jīng)元；相鄰神經(jīng)元；q它越興奮，對(duì)周?chē)窠?jīng)元的抑制作用越強(qiáng)。它越興奮，對(duì)周?chē)窠?jīng)元的抑制作用越強(qiáng)。n抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競(jìng)爭(zhēng)；抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競(jìng)爭(zhēng)；q起初，各神經(jīng)元都處于（起初，各神經(jīng)元都處于（不同程度不同程度）興奮狀態(tài)，最后）興奮狀態(tài)，最后“勝者為王勝者為王”。n自組織特征映

17、射（自組織特征映射（SOM）和自適應(yīng)共振理論）和自適應(yīng)共振理論（ART）都屬于這類(lèi)神經(jīng)網(wǎng)絡(luò)模型。）都屬于這類(lèi)神經(jīng)網(wǎng)絡(luò)模型。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入層輸入層競(jìng)爭(zhēng)層競(jìng)爭(zhēng)層(輸出層輸出層)x1x2xixny1yjymw1jwnj2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)nSOM可實(shí)現(xiàn)聚類(lèi)分析可實(shí)現(xiàn)聚類(lèi)分析q聚類(lèi)聚類(lèi)n在在沒(méi)有沒(méi)有教師指導(dǎo)的情況下，自動(dòng)尋找樣本的屬性關(guān)教師指導(dǎo)的情況下，自動(dòng)尋找樣本的屬性關(guān)系，將相似的樣本劃歸為一類(lèi)。系，將相似的樣本劃歸為一類(lèi)。q分類(lèi)分類(lèi)n已知各樣本的類(lèi)別，在類(lèi)別知識(shí)（即教師信號(hào)）的已知各樣本的類(lèi)別，在類(lèi)別知識(shí)（即教師信號(hào)）的指導(dǎo)下指導(dǎo)下，形成分類(lèi)

18、規(guī)則，將各樣本分到各自的類(lèi)中。，形成分類(lèi)規(guī)則，將各樣本分到各自的類(lèi)中。q共同點(diǎn)：尋找共同點(diǎn)：尋找樣本樣本-類(lèi)類(lèi)的映射函數(shù)。的映射函數(shù)。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n設(shè)設(shè) X1 和和 X2 是表示兩個(gè)樣本的向量；是表示兩個(gè)樣本的向量；n歐式距離法歐式距離法n余弦法（向量夾角法）余弦法（向量夾角法）T-XXXX|X|Xd)(212121 |X|XXXT2121cos X1X2X1 X2 2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n對(duì)樣本對(duì)樣本 X 和各神經(jīng)元的連接權(quán)值向量和各神經(jīng)元的連接權(quán)值向量 Wj 規(guī)一化規(guī)一化n尋找獲勝的神經(jīng)元尋找獲勝的神經(jīng)元 |WWW |X|XXjjj )(m

19、ax )1(2)( min 2 1TjjTj*Tj*Tj*j*j*jn.,jj*XWXWXWWXWX|WX|WX|WX| jX1XiXnw1jwijwnjyj2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n網(wǎng)絡(luò)輸出與權(quán)值調(diào)整網(wǎng)絡(luò)輸出與權(quán)值調(diào)整n對(duì)對(duì)Wj*(t +1)進(jìn)行進(jìn)行歸一化歸一化n如果如果足夠小則退出；否則足夠小則退出；否則衰減衰減，轉(zhuǎn)轉(zhuǎn) j* jj* jyj01時(shí)時(shí)j*jtWtWWXtWWtWtWjjj*jj*jj* )()1()()()()1(* 2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n1982年，美國(guó)物理學(xué)家年，美國(guó)物理學(xué)家John J. Hopfield提出了提出了一種一種全連接

20、全連接神經(jīng)網(wǎng)絡(luò)模型（即神經(jīng)網(wǎng)絡(luò)模型（即Hopfield模型）；模型）；q這是一種這是一種離散型離散型反饋式反饋式神經(jīng)網(wǎng)絡(luò)（英縮寫(xiě)神經(jīng)網(wǎng)絡(luò)（英縮寫(xiě)DHNN）；）；q引入了引入了“能量函數(shù)能量函數(shù)”概念，支持對(duì)神經(jīng)網(wǎng)絡(luò)運(yùn)行穩(wěn)定概念，支持對(duì)神經(jīng)網(wǎng)絡(luò)運(yùn)行穩(wěn)定性進(jìn)行判定；性進(jìn)行判定；q成功求解旅行商問(wèn)題（成功求解旅行商問(wèn)題（Traveling Salesman Problems）。）。n1984年，他又提出了連續(xù)型年，他又提出了連續(xù)型Hopfield網(wǎng)絡(luò)（英網(wǎng)絡(luò)（英縮寫(xiě)縮寫(xiě)CHNN） 。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一般有一般有wii=0，wij=wjiy1y2yjyn12jnw2jx1x2

21、xjxnwj22008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n神經(jīng)元的神經(jīng)元的輸出輸出也稱(chēng)神經(jīng)元的也稱(chēng)神經(jīng)元的狀態(tài)狀態(tài)；n所有神經(jīng)元的狀態(tài)構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)所有神經(jīng)元的狀態(tài)構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài) Y； Y = (y1, y2, , yn)n網(wǎng)絡(luò)輸入就是網(wǎng)絡(luò)狀態(tài)的初始值網(wǎng)絡(luò)輸入就是網(wǎng)絡(luò)狀態(tài)的初始值 Y(0)； Y(0)= (x1(0), x2(0), , xn(0)n由初始狀態(tài)，網(wǎng)絡(luò)開(kāi)始演化。由初始狀態(tài)，網(wǎng)絡(luò)開(kāi)始演化。 yj(t+1) = f (netj) 這里，這里，netj為神經(jīng)元為神經(jīng)元 j 的的凈輸入凈輸入， f ()為神經(jīng)為神經(jīng)元的元的特性函數(shù)特性函數(shù)（也稱(chēng)作用、傳遞或轉(zhuǎn)移函（也稱(chēng)作用、傳遞或

22、轉(zhuǎn)移函數(shù)）。數(shù)）。y1y2yjynnx1x2xjxn2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 0 00 1)(uuufyueufy 11)(10fu 10 0 0)(uuuuKuuufykk10fu10fuuk閾值型閾值型S狀狀(如如sigmoid函數(shù)函數(shù))分段線性分段線性(飽和線性飽和線性)2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n對(duì)于對(duì)于DHNN，特性函數(shù)，特性函數(shù) f 可以是閾值型可以是閾值型q也可以是分段線性型也可以是分段線性型n凈輸入凈輸入netj 的計(jì)算的計(jì)算 1 110 0 0)()1(jjjjjjnetnetnetnetnetfty 0 00 1)()1(jjjjnetne

23、tnetfty nijiijjywnet1 2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n串行方式（也稱(chēng)異步方式）串行方式（也稱(chēng)異步方式）q每次調(diào)整，只有一個(gè)神經(jīng)元按其每次調(diào)整，只有一個(gè)神經(jīng)元按其凈凈輸入輸入調(diào)整輸出（即狀態(tài)），而其他調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；神經(jīng)元保持狀態(tài)不變；q神經(jīng)元狀態(tài)的調(diào)整次序可按神經(jīng)元狀態(tài)的調(diào)整次序可按某種某種規(guī)規(guī)定次序進(jìn)行，也可隨機(jī)選定。定次序進(jìn)行，也可隨機(jī)選定。n并行方式（也稱(chēng)同步方式）并行方式（也稱(chēng)同步方式）q每次調(diào)整，各神經(jīng)元每次調(diào)整，各神經(jīng)元都都按其凈輸入按其凈輸入調(diào)整各自的狀態(tài)。調(diào)整各自的狀態(tài)。 y1y2yjynnx1x2xjxn2008

24、-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)nDHNN可能可能收斂于收斂于某個(gè)穩(wěn)定狀態(tài)，也可某個(gè)穩(wěn)定狀態(tài)，也可能能產(chǎn)生振蕩產(chǎn)生振蕩構(gòu)成構(gòu)成極限環(huán)極限環(huán)；n在串行方式下，為使網(wǎng)絡(luò)收斂，在串行方式下，為使網(wǎng)絡(luò)收斂，W 應(yīng)為應(yīng)為對(duì)稱(chēng)陣對(duì)稱(chēng)陣；n在并行方式下，為使網(wǎng)絡(luò)收斂，在并行方式下，為使網(wǎng)絡(luò)收斂，W 應(yīng)為應(yīng)為非負(fù)定非負(fù)定對(duì)稱(chēng)陣；對(duì)稱(chēng)陣；n保證給定的樣本是網(wǎng)絡(luò)的保證給定的樣本是網(wǎng)絡(luò)的吸引子吸引子，且有，且有一定的一定的吸引域吸引域。參考：朱大奇參考：朱大奇, , 史慧史慧. . 人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用. . 第第3 3章章. . 科學(xué)出版社科學(xué)出版社, 2006, 2006年年3 3月第

25、月第1 1版版. .y1y2yjynnx1x2xjxn2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n連續(xù)型連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型q該模型可表示為下列的非線性微分方程組：該模型可表示為下列的非線性微分方程組：qui 是神經(jīng)元是神經(jīng)元i的膜電位，的膜電位，Ci 和和 Ri 分別是輸入電容和電分別是輸入電容和電阻，阻，Ii 是電路外的輸入電流，是電路外的輸入電流，wij 是神經(jīng)元是神經(jīng)元i 到神經(jīng)元到神經(jīng)元j的連接強(qiáng)度，的連接強(qiáng)度，f(u) 是是u的的非線性函數(shù)。非線性函數(shù)。 Niiiijjijii，.，N，, iIRu)(ufwdtduC121這是一個(gè)這是一個(gè)N輸入、輸入、N

26、輸出的有輸出的有N組運(yùn)算放大器的電路，組運(yùn)算放大器的電路，每個(gè)運(yùn)放輸出有到各運(yùn)放輸入的每個(gè)運(yùn)放輸出有到各運(yùn)放輸入的反饋反饋通路。通路。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)VjVjujCjViRij = 1/wijRjVj 可對(duì)應(yīng)可對(duì)應(yīng)0至至1之之間的任意實(shí)數(shù)間的任意實(shí)數(shù)2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)nHopfield網(wǎng)絡(luò)是一種非線性的動(dòng)力網(wǎng)絡(luò)；網(wǎng)絡(luò)是一種非線性的動(dòng)力網(wǎng)絡(luò)；n可通過(guò)反復(fù)的網(wǎng)絡(luò)動(dòng)態(tài)迭代來(lái)求解問(wèn)題，這是符可通過(guò)反復(fù)的網(wǎng)絡(luò)動(dòng)態(tài)迭代來(lái)求解問(wèn)題，這是符號(hào)邏輯方法所不具有的特性；號(hào)邏輯方法所不具有的特性；n在求解某些問(wèn)題時(shí)，其求解方法與人類(lèi)的求解方在求解某些問(wèn)題時(shí)，其求解方

27、法與人類(lèi)的求解方法很相似；法很相似；n所求得的解可能不是最佳解，但其求解速度快。所求得的解可能不是最佳解，但其求解速度快。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n1986年，年，MIT出版社（出版社（Cambridge）出版了）出版了J.L. Rumelhart和和D.E. McClelland主編的主編的“Parallel Distributed Processing: Exploration in the Microstructures of Cognition”一書(shū)；一書(shū)；n其中，詳細(xì)分析了其中，詳細(xì)分析了多層前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)中的中的誤差反向傳誤差反向傳播播（Error Back

28、 Propagation）算法，即）算法，即BP算法，算法，它很好地解決了感知器局限性問(wèn)題。它很好地解決了感知器局限性問(wèn)題。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)輸入層輸入層輸出層輸出層隱層隱層x1xixN1y1yiyNm2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n正向傳播正向傳播n從輸入層到輸出層，逐層計(jì)算結(jié)點(diǎn)狀態(tài)；從輸入層到輸出層，逐層計(jì)算結(jié)點(diǎn)狀態(tài)；q每一層結(jié)點(diǎn)的狀態(tài)只影響下一層結(jié)點(diǎn)的狀態(tài)。每一層結(jié)點(diǎn)的狀態(tài)只影響下一層結(jié)點(diǎn)的狀態(tài)。n如輸出層沒(méi)有得到期望輸出（即有誤差），轉(zhuǎn)入反向如輸出層沒(méi)有得到期望輸出（即有誤差），轉(zhuǎn)入反向傳播過(guò)程。傳播過(guò)程。n反向傳播反向

29、傳播n將誤差信號(hào)沿原路返回，通過(guò)修改各層的連接權(quán)值，將誤差信號(hào)沿原路返回，通過(guò)修改各層的連接權(quán)值，使誤差信號(hào)遞減直到最小。使誤差信號(hào)遞減直到最小。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是是還有樣本嗎還有樣本嗎初始化初始化給定輸入向量和期望輸出給定輸入向量和期望輸出求隱層、輸出層各結(jié)點(diǎn)輸出求隱層、輸出層各結(jié)點(diǎn)輸出求輸出與期望輸出的誤差求輸出與期望輸出的誤差e求誤差梯度求誤差梯度權(quán)值學(xué)習(xí)權(quán)值學(xué)習(xí)計(jì)算隱層結(jié)點(diǎn)誤差計(jì)算隱層結(jié)點(diǎn)誤差否否設(shè)置連接權(quán)和閾的初值設(shè)置連接權(quán)和閾的初值有有e足夠小足夠小結(jié)束結(jié)束無(wú)無(wú)2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)nxi：樣本的第：樣本的第 i 個(gè)屬性個(gè)屬性nyi：輸

30、出層輸出層神經(jīng)元神經(jīng)元 i 的輸出的輸出ndi：輸出層神經(jīng)元：輸出層神經(jīng)元 i 的期望輸出的期望輸出nwijk：第：第i層神經(jīng)元層神經(jīng)元 j 到第到第 i +1層神經(jīng)元層神經(jīng)元 k 的連接權(quán)值的連接權(quán)值noij：第：第 i 層神經(jīng)元層神經(jīng)元 j 的輸出的輸出nij：第：第 i 層神經(jīng)元層神經(jīng)元 j 的閾值的閾值nnetij：第：第 i 層神經(jīng)元層神經(jīng)元 j 的凈輸入的凈輸入nNi：第：第 i 層神經(jīng)元的數(shù)目層神經(jīng)元的數(shù)目2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 1111iNk)kj(i)k(iijwonet)(11)(ijijnetijijenetfo 特征函數(shù)必須是有界連續(xù)可微的，如特征函

31、數(shù)必須是有界連續(xù)可微的，如sigmoid函數(shù)函數(shù)2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) jjj-yde2)(21ijkijkijkijkijkwtwtwwew)()1( 輸出層神經(jīng)元輸出層神經(jīng)元 j 的狀態(tài)誤差的狀態(tài)誤差jjjyde 網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)函數(shù)網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)函數(shù)wijk 的調(diào)整量的調(diào)整量2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 層為隱層層為輸出層1)(1( 1)1()(21)1()1()1()1( iwoo iyyydiNhkhihikikikkkkik 層為隱層層為輸出層1)(1( 1)1()(21)1()1()1()1( iowoo ioyyydwij Nhkhihikikiijkkkkijki 層為隱層層為輸出層1)(1( 1)1()(21)1()1()1()1( iwoo iyyydeiNhkhihikikikkkkikik 2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)n特性函數(shù)是連續(xù)可微的，通過(guò)學(xué)習(xí)可得到特性函數(shù)是連續(xù)可微的，通過(guò)學(xué)習(xí)可得到超曲面超曲面來(lái)劃分樣本空間；來(lái)劃分樣本空間；n對(duì)于對(duì)于n層網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)后可得到層網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)后可得到n-1個(gè)超曲面，個(gè)超曲面，組成組成復(fù)合曲面復(fù)合曲面，從而實(shí)現(xiàn)，從而實(shí)現(xiàn)復(fù)雜的復(fù)雜的分類(lèi)任務(wù)；分類(lèi)任務(wù)；n