第-章人工神經(jīng)網(wǎng)絡(luò)ppt課件

1、第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)第7 章 計(jì)算智能 v 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)v 遺傳算法遺傳算法v 螞蟻算法螞蟻算法v 專家系統(tǒng)專家系統(tǒng)第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)7.1 7.1 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ANN)(ANN) 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)Artificial Neural Netwroks，就是，就是基于模擬生物大腦的構(gòu)造和功能，經(jīng)過一定的籠統(tǒng)、簡化與基于模擬生物大腦的構(gòu)造和功能，經(jīng)過一定的籠統(tǒng)、簡化與模擬的人工信息處置模型。模擬的人工信息處置模型。 人工神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)、方式識別、組合優(yōu)化和決策人工神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)、方式識別、組合優(yōu)化和決策判別等方面獲得廣泛運(yùn)用，是傳

2、統(tǒng)計(jì)算機(jī)所難以到達(dá)的效果。判別等方面獲得廣泛運(yùn)用，是傳統(tǒng)計(jì)算機(jī)所難以到達(dá)的效果。 本節(jié)簡介人工神經(jīng)網(wǎng)絡(luò)的根本模型、算法流程及其運(yùn)用。本節(jié)簡介人工神經(jīng)網(wǎng)絡(luò)的根本模型、算法流程及其運(yùn)用。經(jīng)過學(xué)習(xí)，會用人工神經(jīng)網(wǎng)絡(luò)求解優(yōu)化問題如經(jīng)過學(xué)習(xí)，會用人工神經(jīng)網(wǎng)絡(luò)求解優(yōu)化問題如TSP、方、方式識別如手寫漢字。式識別如手寫漢字。第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)本節(jié)主要內(nèi)容本節(jié)主要內(nèi)容v 人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底v 人工神經(jīng)元人工神經(jīng)元v 人工神經(jīng)網(wǎng)絡(luò)根本模型人工神經(jīng)網(wǎng)絡(luò)根本模型v 人工神經(jīng)網(wǎng)絡(luò)求解人工神經(jīng)網(wǎng)絡(luò)求解TSPTSP第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)源于人腦神經(jīng)網(wǎng)

3、絡(luò)。了解人腦神經(jīng)網(wǎng)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)源于人腦神經(jīng)網(wǎng)絡(luò)。了解人腦神經(jīng)網(wǎng)絡(luò)的組成和原理，有助于對人工神經(jīng)網(wǎng)絡(luò)的了解。絡(luò)的組成和原理，有助于對人工神經(jīng)網(wǎng)絡(luò)的了解。(1)(1)人腦神經(jīng)構(gòu)造人腦神經(jīng)構(gòu)造 1 11011-121011-12個神經(jīng)元個神經(jīng)元/ /人腦人腦 2 2104104個銜接個銜接/ /神經(jīng)元神經(jīng)元 3 3神經(jīng)元間傳送信號神經(jīng)元間傳送信號7.1.1 7.1.1 人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)1 1神經(jīng)元構(gòu)成：神經(jīng)元構(gòu)成：細(xì)胞體：直徑在細(xì)胞體：直徑在5 5至至100100微米，含細(xì)胞核，細(xì)胞質(zhì)和細(xì)胞膜；微米，含細(xì)胞核，細(xì)胞質(zhì)和細(xì)胞膜；軸軸

4、突：是細(xì)胞體伸出的最長一條分支突：是細(xì)胞體伸出的最長一條分支( (細(xì)胞的輸出細(xì)胞的輸出) )；樹樹 突：是細(xì)胞體伸出的較短的樹狀分支突：是細(xì)胞體伸出的較短的樹狀分支( (細(xì)胞的輸入細(xì)胞的輸入) )；突突 觸：是神經(jīng)元之間銜接的接口。觸：是神經(jīng)元之間銜接的接口。2生物神經(jīng)元生物神經(jīng)元第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)2 2神經(jīng)元的任務(wù)機(jī)制神經(jīng)元的任務(wù)機(jī)制 神經(jīng)元與神經(jīng)纖維構(gòu)成的神經(jīng)組織具有兩種根本特性，神經(jīng)元與神經(jīng)纖維構(gòu)成的神經(jīng)組織具有兩種根本特性，即興奮與傳導(dǎo)。當(dāng)神經(jīng)元的某一部分遭到某種刺激時，在受即興奮與傳導(dǎo)。當(dāng)神經(jīng)元的某一部分遭到某種刺激時，在受刺激的部位就產(chǎn)生興奮。當(dāng)這種興奮到達(dá)一定程度閾

5、值刺激的部位就產(chǎn)生興奮。當(dāng)這種興奮到達(dá)一定程度閾值就會沿著神經(jīng)元分散開來，并在一定的條件下經(jīng)過突觸傳到就會沿著神經(jīng)元分散開來，并在一定的條件下經(jīng)過突觸傳到達(dá)相連的神經(jīng)細(xì)胞。達(dá)相連的神經(jīng)細(xì)胞。細(xì)胞體突觸軸突樹突圖 12.2 生物神經(jīng)元功能模型輸入輸出信息處理電脈沖形成傳輸?shù)?7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)3人腦的任務(wù)機(jī)制人腦的任務(wù)機(jī)制1記憶生理機(jī)制記憶生理機(jī)制 研討結(jié)果闡明，在腦細(xì)胞經(jīng)受多次某個對象的刺激而堅(jiān)持延研討結(jié)果闡明，在腦細(xì)胞經(jīng)受多次某個對象的刺激而堅(jiān)持延續(xù)興奮形狀時，只需當(dāng)這種刺激到達(dá)一定強(qiáng)度續(xù)興奮形狀時，只需當(dāng)這種刺激到達(dá)一定強(qiáng)度(閥值閥值)之后，腦之后，腦細(xì)胞里才會留下痕跡。而且當(dāng)這

6、個對象刺激的頻率提高，記憶細(xì)胞里才會留下痕跡。而且當(dāng)這個對象刺激的頻率提高，記憶更加結(jié)實(shí)。更加結(jié)實(shí)。2 2信息傳送信息傳送 突觸是神經(jīng)細(xì)胞間傳送信突觸是神經(jīng)細(xì)胞間傳送信息的構(gòu)造，突觸由三部分構(gòu)息的構(gòu)造，突觸由三部分構(gòu)成，即突觸前，突觸間隙和成，即突觸前，突觸間隙和突觸后。突觸后。第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò) 突觸前的活動不直接引起突觸后成分的活動，突觸的信息傳突觸前的活動不直接引起突觸后成分的活動，突觸的信息傳送只能由突觸前到突觸后，不存在反向活動的機(jī)制。因此突觸傳送只能由突觸前到突觸后，不存在反向活動的機(jī)制。因此突觸傳送是一方向的。根據(jù)突觸后電位的反響，將突觸分為兩種：興奮送是一方向的。

7、根據(jù)突觸后電位的反響，將突觸分為兩種：興奮性突觸和抑制性突觸。性突觸和抑制性突觸。3 3腦神經(jīng)信息活動的特征腦神經(jīng)信息活動的特征 巨量并行性。巨量并行性。 信息處置和存儲單元結(jié)合在一同。信息處置和存儲單元結(jié)合在一同。 自組織自學(xué)習(xí)功能。自組織自學(xué)習(xí)功能。第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)7.1.2 人工神經(jīng)元人工神經(jīng)元(1)模型模型MP模型模型 MP模型屬于一種閾值元件模型，它是由美國模型屬于一種閾值元件模型，它是由美國Mc Culloch和和Pitts提出的最早神經(jīng)元模型之一。提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的根底。模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的根底。 第 7章 計(jì)算智能 人

8、工神經(jīng)網(wǎng)絡(luò)wij 代表神經(jīng)元i與神經(jīng)元j之間的銜接強(qiáng)度銜接權(quán)；Ui 代表神經(jīng)元i的活潑值，即神經(jīng)元形狀；Vj 代表神經(jīng)元j的輸出，即是神經(jīng)元i的一個輸入；i 代表神經(jīng)元i的閾值。 假設(shè)把閾值i看作為一個特殊的權(quán)值，那么可改寫： 其中，w0i-i，v01 中函數(shù)f表達(dá)神經(jīng)元的輸入輸出特性，稱激發(fā)函數(shù)。 第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)2常用激發(fā)函數(shù)常用激發(fā)函數(shù)階躍型階躍型 線性型激發(fā)函數(shù)線性型激發(fā)函數(shù) f(ui)=k*uiS型激發(fā)函數(shù)型激發(fā)函數(shù) 0,00,1iiiuuviuieuf11)(第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)3學(xué)習(xí)規(guī)那么學(xué)習(xí)規(guī)那么 MP模型并沒有給出一個學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的銜模

9、型并沒有給出一個學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的銜接權(quán)。根據(jù)需求，調(diào)整神經(jīng)元銜接權(quán)，才干到達(dá)學(xué)習(xí)目的。接權(quán)。根據(jù)需求，調(diào)整神經(jīng)元銜接權(quán)，才干到達(dá)學(xué)習(xí)目的。Hebb學(xué)習(xí)規(guī)那么就是一個常見學(xué)習(xí)算法。學(xué)習(xí)規(guī)那么就是一個常見學(xué)習(xí)算法。 Hebb學(xué)習(xí)規(guī)那么學(xué)習(xí)規(guī)那么:調(diào)整神經(jīng)元銜接權(quán)的變化調(diào)整神經(jīng)元銜接權(quán)的變化wij的原那么為：的原那么為：假設(shè)第假設(shè)第i和第和第j個神經(jīng)元同時處于興奮形狀，那么它們之間的銜個神經(jīng)元同時處于興奮形狀，那么它們之間的銜接該當(dāng)加強(qiáng)，即：接該當(dāng)加強(qiáng)，即： wijuivj 這一規(guī)那么與這一規(guī)那么與“條件反射學(xué)說一致，并已得到神經(jīng)細(xì)胞學(xué)條件反射學(xué)說一致，并已得到神經(jīng)細(xì)胞學(xué)說的證明。說的證明

10、。 是表示學(xué)習(xí)速率的比例常數(shù)。是表示學(xué)習(xí)速率的比例常數(shù)。第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò) 圖 神經(jīng)網(wǎng)絡(luò)構(gòu)造模型 分層前向網(wǎng)絡(luò)分層前向網(wǎng)絡(luò)反響前向網(wǎng)絡(luò)互連前向網(wǎng)絡(luò)廣泛互連網(wǎng)絡(luò)廣泛互連網(wǎng)絡(luò)7.1.3 人工神經(jīng)網(wǎng)絡(luò)根本模型人工神經(jīng)網(wǎng)絡(luò)根本模型(1)人工神經(jīng)網(wǎng)絡(luò)構(gòu)造人工神經(jīng)網(wǎng)絡(luò)構(gòu)造第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)2Hopfield網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型 1模型模型 Hopfield模型是霍普菲爾德于模型是霍普菲爾德于1982年離散型及年離散型及1984年年延續(xù)型提出的兩個神經(jīng)網(wǎng)絡(luò)模型。它們都是反響網(wǎng)絡(luò)構(gòu)造。延續(xù)型提出的兩個神經(jīng)網(wǎng)絡(luò)模型。它們都是反響網(wǎng)絡(luò)構(gòu)造。 i ij jwijwji第 7章 計(jì)算智能 人工

11、神經(jīng)網(wǎng)絡(luò)2 2特點(diǎn)特點(diǎn)循環(huán)網(wǎng)絡(luò)循環(huán)網(wǎng)絡(luò)Wij=wji Wij=wji Wii=0Wii=0激發(fā)函數(shù)激發(fā)函數(shù)f:f: 離散型離散型HopfieldHopfield模型模型-階躍型激發(fā)函數(shù)階躍型激發(fā)函數(shù)延續(xù)型延續(xù)型HopfieldHopfield模型模型-S-S型激發(fā)函數(shù)型激發(fā)函數(shù)第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)3)穩(wěn)定性 由于在反響網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)具有了由于在反響網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)具有了動態(tài)性，網(wǎng)絡(luò)的形狀在不斷的改動之中，因此就提出了網(wǎng)絡(luò)的穩(wěn)定性問題。所謂一個網(wǎng)絡(luò)是穩(wěn)動態(tài)性，網(wǎng)絡(luò)的形狀在不斷的改動之中，因此就提

12、出了網(wǎng)絡(luò)的穩(wěn)定性問題。所謂一個網(wǎng)絡(luò)是穩(wěn)定的是指從某一時辰開場，網(wǎng)絡(luò)的形狀不再改動。定的是指從某一時辰開場，網(wǎng)絡(luò)的形狀不再改動。 設(shè)用設(shè)用X(t)X(t)表示網(wǎng)絡(luò)在時辰表示網(wǎng)絡(luò)在時辰t t的形狀，假設(shè)從的形狀，假設(shè)從t=t=的任一初態(tài)的任一初態(tài)X(0)X(0)開場，存在一個有限的開場，存在一個有限的時辰時辰t t，使得從此時辰開場神經(jīng)網(wǎng)絡(luò)的形狀不再發(fā)生變化，即，使得從此時辰開場神經(jīng)網(wǎng)絡(luò)的形狀不再發(fā)生變化，即 就稱此網(wǎng)絡(luò)是穩(wěn)定的。就稱此網(wǎng)絡(luò)是穩(wěn)定的。 第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)4權(quán)矩陣權(quán)矩陣 離散網(wǎng)絡(luò)模型是一個離散時間系統(tǒng)，每個神經(jīng)元只需兩個離散網(wǎng)絡(luò)模型是一個離散時間系統(tǒng)，每個神經(jīng)元只需兩個

13、形狀，可以用形狀，可以用1 1和和0 0來表示。由銜接權(quán)值來表示。由銜接權(quán)值ijij所構(gòu)成的矩陣，所構(gòu)成的矩陣，是一個對角線為是一個對角線為0 0的對稱矩陣。的對稱矩陣。即：即：如：如： 已證明：上述銜接權(quán)值構(gòu)成的矩陣的網(wǎng)絡(luò)，就具有穩(wěn)定性。第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)5 5神經(jīng)元的形狀表示神經(jīng)元的形狀表示 假設(shè)用x(t)表示整個網(wǎng)絡(luò)在時辰的形狀，那么X是一個向量，它包含每個神經(jīng)元的形狀。所以，形狀向量X中的分量個數(shù)就是網(wǎng)絡(luò)中人工神經(jīng)元的個數(shù)。向量X的構(gòu)成如下： Xi(t) Xi(t)表示節(jié)點(diǎn)表示節(jié)點(diǎn)i i第個第個i i神經(jīng)元在時辰神經(jīng)元在時辰t t的形狀，該節(jié)的形狀，該節(jié)點(diǎn)在時辰點(diǎn)在時辰t

14、+1t+1的形狀由下式?jīng)Q議：的形狀由下式?jīng)Q議：第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)6 6形狀變化方式形狀變化方式 離散型有兩種任務(wù)方式：離散型有兩種任務(wù)方式：1 1串行方式，是指在任一時辰串行方式，是指在任一時辰t t，只需一個神經(jīng)元，只需一個神經(jīng)元i i發(fā)生形發(fā)生形狀變化，而其他的神經(jīng)元堅(jiān)持形狀不變。狀變化，而其他的神經(jīng)元堅(jiān)持形狀不變。2 2并行方式，是指在任一時辰并行方式，是指在任一時辰t t，都有部分或全體神經(jīng)元同，都有部分或全體神經(jīng)元同時改動形狀。時改動形狀。 延續(xù)型有一種任務(wù)方式：延續(xù)型有一種任務(wù)方式： 并行方式：是指在任一時辰并行方式：是指在任一時辰t t，都有部分或全體神經(jīng)元同，都有

15、部分或全體神經(jīng)元同時改動形狀。時改動形狀。 第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)7學(xué)習(xí)算法學(xué)習(xí)算法 設(shè)置互連權(quán)值。設(shè)置互連權(quán)值。 其中，其中， 是是s s樣例的第樣例的第i i個分量，它可以為個分量，它可以為1 1或或0 0，樣例，樣例類別數(shù)為類別數(shù)為m m，節(jié)點(diǎn)數(shù)為，節(jié)點(diǎn)數(shù)為n n。 ji0jixxW1m0ssjsiijsix未知類別樣本初始化。未知類別樣本初始化。 用用yi(t)yi(t)為節(jié)點(diǎn)為節(jié)點(diǎn)i i在在t t時辰的輸出。當(dāng)時辰的輸出。當(dāng)t=0t=0時，時，yi(0)yi(0)就是就是節(jié)點(diǎn)節(jié)點(diǎn)i i的初始值，的初始值，xixi為輸入樣本的第為輸入樣本的第i i個分量。個分量。1nix)0

16、(yii第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)迭代直到收斂。迭代直到收斂。 式中式中f f為閾值型激發(fā)函數(shù)。該過程不斷迭代到不再改動節(jié)為閾值型激發(fā)函數(shù)。該過程不斷迭代到不再改動節(jié)點(diǎn)的輸出為止。這時各節(jié)點(diǎn)的輸出與輸入樣例到達(dá)最正確匹配。點(diǎn)的輸出為止。這時各節(jié)點(diǎn)的輸出與輸入樣例到達(dá)最正確匹配。否那么否那么轉(zhuǎn)繼續(xù)。轉(zhuǎn)繼續(xù)。10)() 1(10njtyWftyniiijj第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)8)8)能量函數(shù)能量函數(shù)里阿普諾夫函數(shù)里阿普諾夫函數(shù)LyapunovLyapunov函數(shù)函數(shù), ,研討它的正定性及其對時間的全導(dǎo)數(shù)的研討它的正定性及其對時間的全導(dǎo)數(shù)的負(fù)定或半負(fù)定負(fù)定或半負(fù)定, ,來得到穩(wěn)定性的結(jié)論來得到穩(wěn)定性的結(jié)論. . 第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)3BP網(wǎng)絡(luò)網(wǎng)絡(luò) BP BP網(wǎng)絡(luò)是反向傳播網(wǎng)絡(luò)是反向傳播(Back Propagation)(Back Propagation)網(wǎng)絡(luò)。它是一種多網(wǎng)絡(luò)。它是一種多層前向網(wǎng)絡(luò)，采用最小均方差學(xué)習(xí)方式。這是一種最廣泛運(yùn)用層前向網(wǎng)絡(luò)，采用最小均方差學(xué)習(xí)方式。這是一種最廣泛運(yùn)用的網(wǎng)絡(luò)。的網(wǎng)絡(luò)。BPBP網(wǎng)路需有教師訓(xùn)練。網(wǎng)路需有教師訓(xùn)練。1)1)模型構(gòu)造模型構(gòu)造第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)2 2神經(jīng)元的輸入、輸出神經(jīng)元的輸入、輸出第 7章 計(jì)算智能 人工神經(jīng)網(wǎng)絡(luò)3 3輸出函數(shù)分析輸出函數(shù)分析第 7章 計(jì)算智能 人工神