第-章人工神經(jīng)網(wǎng)絡ppt課件

1、第 7章 計算智能 人工神經(jīng)網(wǎng)絡第7 章 計算智能 v 人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡v 遺傳算法遺傳算法v 螞蟻算法螞蟻算法v 專家系統(tǒng)專家系統(tǒng)第 7章 計算智能 人工神經(jīng)網(wǎng)絡7.1 7.1 人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡(ANN)(ANN) 人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡Artificial Neural Netwroks，就是，就是基于模擬生物大腦的構(gòu)造和功能，經(jīng)過一定的籠統(tǒng)、簡化與基于模擬生物大腦的構(gòu)造和功能，經(jīng)過一定的籠統(tǒng)、簡化與模擬的人工信息處置模型。模擬的人工信息處置模型。 人工神經(jīng)網(wǎng)絡在機器學習、方式識別、組合優(yōu)化和決策人工神經(jīng)網(wǎng)絡在機器學習、方式識別、組合優(yōu)化和決策判別等方面獲得廣泛運用，是傳

2、統(tǒng)計算機所難以到達的效果。判別等方面獲得廣泛運用，是傳統(tǒng)計算機所難以到達的效果。 本節(jié)簡介人工神經(jīng)網(wǎng)絡的根本模型、算法流程及其運用。本節(jié)簡介人工神經(jīng)網(wǎng)絡的根本模型、算法流程及其運用。經(jīng)過學習，會用人工神經(jīng)網(wǎng)絡求解優(yōu)化問題如經(jīng)過學習，會用人工神經(jīng)網(wǎng)絡求解優(yōu)化問題如TSP、方、方式識別如手寫漢字。式識別如手寫漢字。第 7章 計算智能 人工神經(jīng)網(wǎng)絡本節(jié)主要內(nèi)容本節(jié)主要內(nèi)容v 人工神經(jīng)網(wǎng)絡的生物學根底人工神經(jīng)網(wǎng)絡的生物學根底v 人工神經(jīng)元人工神經(jīng)元v 人工神經(jīng)網(wǎng)絡根本模型人工神經(jīng)網(wǎng)絡根本模型v 人工神經(jīng)網(wǎng)絡求解人工神經(jīng)網(wǎng)絡求解TSPTSP第 7章 計算智能 人工神經(jīng)網(wǎng)絡 人工神經(jīng)網(wǎng)絡系統(tǒng)源于人腦神經(jīng)網(wǎng)

3、絡。了解人腦神經(jīng)網(wǎng)人工神經(jīng)網(wǎng)絡系統(tǒng)源于人腦神經(jīng)網(wǎng)絡。了解人腦神經(jīng)網(wǎng)絡的組成和原理，有助于對人工神經(jīng)網(wǎng)絡的了解。絡的組成和原理，有助于對人工神經(jīng)網(wǎng)絡的了解。(1)(1)人腦神經(jīng)構(gòu)造人腦神經(jīng)構(gòu)造 1 11011-121011-12個神經(jīng)元個神經(jīng)元/ /人腦人腦 2 2104104個銜接個銜接/ /神經(jīng)元神經(jīng)元 3 3神經(jīng)元間傳送信號神經(jīng)元間傳送信號7.1.1 7.1.1 人工神經(jīng)網(wǎng)絡的生物學根底人工神經(jīng)網(wǎng)絡的生物學根底第 7章 計算智能 人工神經(jīng)網(wǎng)絡1 1神經(jīng)元構(gòu)成：神經(jīng)元構(gòu)成：細胞體：直徑在細胞體：直徑在5 5至至100100微米，含細胞核，細胞質(zhì)和細胞膜；微米，含細胞核，細胞質(zhì)和細胞膜；軸軸

4、突：是細胞體伸出的最長一條分支突：是細胞體伸出的最長一條分支( (細胞的輸出細胞的輸出) )；樹樹 突：是細胞體伸出的較短的樹狀分支突：是細胞體伸出的較短的樹狀分支( (細胞的輸入細胞的輸入) )；突突 觸：是神經(jīng)元之間銜接的接口。觸：是神經(jīng)元之間銜接的接口。2生物神經(jīng)元生物神經(jīng)元第 7章 計算智能 人工神經(jīng)網(wǎng)絡2 2神經(jīng)元的任務機制神經(jīng)元的任務機制 神經(jīng)元與神經(jīng)纖維構(gòu)成的神經(jīng)組織具有兩種根本特性，神經(jīng)元與神經(jīng)纖維構(gòu)成的神經(jīng)組織具有兩種根本特性，即興奮與傳導。當神經(jīng)元的某一部分遭到某種刺激時，在受即興奮與傳導。當神經(jīng)元的某一部分遭到某種刺激時，在受刺激的部位就產(chǎn)生興奮。當這種興奮到達一定程度閾

5、值刺激的部位就產(chǎn)生興奮。當這種興奮到達一定程度閾值就會沿著神經(jīng)元分散開來，并在一定的條件下經(jīng)過突觸傳到就會沿著神經(jīng)元分散開來，并在一定的條件下經(jīng)過突觸傳到達相連的神經(jīng)細胞。達相連的神經(jīng)細胞。細胞體突觸軸突樹突圖 12.2 生物神經(jīng)元功能模型輸入輸出信息處理電脈沖形成傳輸?shù)?7章 計算智能 人工神經(jīng)網(wǎng)絡3人腦的任務機制人腦的任務機制1記憶生理機制記憶生理機制 研討結(jié)果闡明，在腦細胞經(jīng)受多次某個對象的刺激而堅持延研討結(jié)果闡明，在腦細胞經(jīng)受多次某個對象的刺激而堅持延續(xù)興奮形狀時，只需當這種刺激到達一定強度續(xù)興奮形狀時，只需當這種刺激到達一定強度(閥值閥值)之后，腦之后，腦細胞里才會留下痕跡。而且當這

6、個對象刺激的頻率提高，記憶細胞里才會留下痕跡。而且當這個對象刺激的頻率提高，記憶更加結(jié)實。更加結(jié)實。2 2信息傳送信息傳送 突觸是神經(jīng)細胞間傳送信突觸是神經(jīng)細胞間傳送信息的構(gòu)造，突觸由三部分構(gòu)息的構(gòu)造，突觸由三部分構(gòu)成，即突觸前，突觸間隙和成，即突觸前，突觸間隙和突觸后。突觸后。第 7章 計算智能 人工神經(jīng)網(wǎng)絡 突觸前的活動不直接引起突觸后成分的活動，突觸的信息傳突觸前的活動不直接引起突觸后成分的活動，突觸的信息傳送只能由突觸前到突觸后，不存在反向活動的機制。因此突觸傳送只能由突觸前到突觸后，不存在反向活動的機制。因此突觸傳送是一方向的。根據(jù)突觸后電位的反響，將突觸分為兩種：興奮送是一方向的。

7、根據(jù)突觸后電位的反響，將突觸分為兩種：興奮性突觸和抑制性突觸。性突觸和抑制性突觸。3 3腦神經(jīng)信息活動的特征腦神經(jīng)信息活動的特征 巨量并行性。巨量并行性。 信息處置和存儲單元結(jié)合在一同。信息處置和存儲單元結(jié)合在一同。 自組織自學習功能。自組織自學習功能。第 7章 計算智能 人工神經(jīng)網(wǎng)絡7.1.2 人工神經(jīng)元人工神經(jīng)元(1)模型模型MP模型模型 MP模型屬于一種閾值元件模型，它是由美國模型屬于一種閾值元件模型，它是由美國Mc Culloch和和Pitts提出的最早神經(jīng)元模型之一。提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡模型的根底。模型是大多數(shù)神經(jīng)網(wǎng)絡模型的根底。 第 7章 計算智能 人

8、工神經(jīng)網(wǎng)絡wij 代表神經(jīng)元i與神經(jīng)元j之間的銜接強度銜接權；Ui 代表神經(jīng)元i的活潑值，即神經(jīng)元形狀；Vj 代表神經(jīng)元j的輸出，即是神經(jīng)元i的一個輸入；i 代表神經(jīng)元i的閾值。 假設把閾值i看作為一個特殊的權值，那么可改寫： 其中，w0i-i，v01 中函數(shù)f表達神經(jīng)元的輸入輸出特性，稱激發(fā)函數(shù)。 第 7章 計算智能 人工神經(jīng)網(wǎng)絡2常用激發(fā)函數(shù)常用激發(fā)函數(shù)階躍型階躍型 線性型激發(fā)函數(shù)線性型激發(fā)函數(shù) f(ui)=k*uiS型激發(fā)函數(shù)型激發(fā)函數(shù) 0,00,1iiiuuviuieuf11)(第 7章 計算智能 人工神經(jīng)網(wǎng)絡3學習規(guī)那么學習規(guī)那么 MP模型并沒有給出一個學習算法來調(diào)整神經(jīng)元之間的銜模

9、型并沒有給出一個學習算法來調(diào)整神經(jīng)元之間的銜接權。根據(jù)需求，調(diào)整神經(jīng)元銜接權，才干到達學習目的。接權。根據(jù)需求，調(diào)整神經(jīng)元銜接權，才干到達學習目的。Hebb學習規(guī)那么就是一個常見學習算法。學習規(guī)那么就是一個常見學習算法。 Hebb學習規(guī)那么學習規(guī)那么:調(diào)整神經(jīng)元銜接權的變化調(diào)整神經(jīng)元銜接權的變化wij的原那么為：的原那么為：假設第假設第i和第和第j個神經(jīng)元同時處于興奮形狀，那么它們之間的銜個神經(jīng)元同時處于興奮形狀，那么它們之間的銜接該當加強，即：接該當加強，即： wijuivj 這一規(guī)那么與這一規(guī)那么與“條件反射學說一致，并已得到神經(jīng)細胞學條件反射學說一致，并已得到神經(jīng)細胞學說的證明。說的證明

10、。 是表示學習速率的比例常數(shù)。是表示學習速率的比例常數(shù)。第 7章 計算智能 人工神經(jīng)網(wǎng)絡 圖 神經(jīng)網(wǎng)絡構(gòu)造模型 分層前向網(wǎng)絡分層前向網(wǎng)絡反響前向網(wǎng)絡互連前向網(wǎng)絡廣泛互連網(wǎng)絡廣泛互連網(wǎng)絡7.1.3 人工神經(jīng)網(wǎng)絡根本模型人工神經(jīng)網(wǎng)絡根本模型(1)人工神經(jīng)網(wǎng)絡構(gòu)造人工神經(jīng)網(wǎng)絡構(gòu)造第 7章 計算智能 人工神經(jīng)網(wǎng)絡2Hopfield網(wǎng)絡模型網(wǎng)絡模型 1模型模型 Hopfield模型是霍普菲爾德于模型是霍普菲爾德于1982年離散型及年離散型及1984年年延續(xù)型提出的兩個神經(jīng)網(wǎng)絡模型。它們都是反響網(wǎng)絡構(gòu)造。延續(xù)型提出的兩個神經(jīng)網(wǎng)絡模型。它們都是反響網(wǎng)絡構(gòu)造。 i ij jwijwji第 7章 計算智能 人工

11、神經(jīng)網(wǎng)絡2 2特點特點循環(huán)網(wǎng)絡循環(huán)網(wǎng)絡Wij=wji Wij=wji Wii=0Wii=0激發(fā)函數(shù)激發(fā)函數(shù)f:f: 離散型離散型HopfieldHopfield模型模型-階躍型激發(fā)函數(shù)階躍型激發(fā)函數(shù)延續(xù)型延續(xù)型HopfieldHopfield模型模型-S-S型激發(fā)函數(shù)型激發(fā)函數(shù)第 7章 計算智能 人工神經(jīng)網(wǎng)絡3)穩(wěn)定性 由于在反響網(wǎng)絡中，網(wǎng)絡的輸出要反復地作為輸入再送入網(wǎng)絡中，這就使得網(wǎng)絡具有了由于在反響網(wǎng)絡中，網(wǎng)絡的輸出要反復地作為輸入再送入網(wǎng)絡中，這就使得網(wǎng)絡具有了動態(tài)性，網(wǎng)絡的形狀在不斷的改動之中，因此就提出了網(wǎng)絡的穩(wěn)定性問題。所謂一個網(wǎng)絡是穩(wěn)動態(tài)性，網(wǎng)絡的形狀在不斷的改動之中，因此就提

12、出了網(wǎng)絡的穩(wěn)定性問題。所謂一個網(wǎng)絡是穩(wěn)定的是指從某一時辰開場，網(wǎng)絡的形狀不再改動。定的是指從某一時辰開場，網(wǎng)絡的形狀不再改動。 設用設用X(t)X(t)表示網(wǎng)絡在時辰表示網(wǎng)絡在時辰t t的形狀，假設從的形狀，假設從t=t=的任一初態(tài)的任一初態(tài)X(0)X(0)開場，存在一個有限的開場，存在一個有限的時辰時辰t t，使得從此時辰開場神經(jīng)網(wǎng)絡的形狀不再發(fā)生變化，即，使得從此時辰開場神經(jīng)網(wǎng)絡的形狀不再發(fā)生變化，即 就稱此網(wǎng)絡是穩(wěn)定的。就稱此網(wǎng)絡是穩(wěn)定的。 第 7章 計算智能 人工神經(jīng)網(wǎng)絡4權矩陣權矩陣 離散網(wǎng)絡模型是一個離散時間系統(tǒng)，每個神經(jīng)元只需兩個離散網(wǎng)絡模型是一個離散時間系統(tǒng)，每個神經(jīng)元只需兩個

13、形狀，可以用形狀，可以用1 1和和0 0來表示。由銜接權值來表示。由銜接權值ijij所構(gòu)成的矩陣，所構(gòu)成的矩陣，是一個對角線為是一個對角線為0 0的對稱矩陣。的對稱矩陣。即：即：如：如： 已證明：上述銜接權值構(gòu)成的矩陣的網(wǎng)絡，就具有穩(wěn)定性。第 7章 計算智能 人工神經(jīng)網(wǎng)絡5 5神經(jīng)元的形狀表示神經(jīng)元的形狀表示 假設用x(t)表示整個網(wǎng)絡在時辰的形狀，那么X是一個向量，它包含每個神經(jīng)元的形狀。所以，形狀向量X中的分量個數(shù)就是網(wǎng)絡中人工神經(jīng)元的個數(shù)。向量X的構(gòu)成如下： Xi(t) Xi(t)表示節(jié)點表示節(jié)點i i第個第個i i神經(jīng)元在時辰神經(jīng)元在時辰t t的形狀，該節(jié)的形狀，該節(jié)點在時辰點在時辰t

14、+1t+1的形狀由下式?jīng)Q議：的形狀由下式?jīng)Q議：第 7章 計算智能 人工神經(jīng)網(wǎng)絡6 6形狀變化方式形狀變化方式 離散型有兩種任務方式：離散型有兩種任務方式：1 1串行方式，是指在任一時辰串行方式，是指在任一時辰t t，只需一個神經(jīng)元，只需一個神經(jīng)元i i發(fā)生形發(fā)生形狀變化，而其他的神經(jīng)元堅持形狀不變。狀變化，而其他的神經(jīng)元堅持形狀不變。2 2并行方式，是指在任一時辰并行方式，是指在任一時辰t t，都有部分或全體神經(jīng)元同，都有部分或全體神經(jīng)元同時改動形狀。時改動形狀。 延續(xù)型有一種任務方式：延續(xù)型有一種任務方式： 并行方式：是指在任一時辰并行方式：是指在任一時辰t t，都有部分或全體神經(jīng)元同，都有

15、部分或全體神經(jīng)元同時改動形狀。時改動形狀。 第 7章 計算智能 人工神經(jīng)網(wǎng)絡7學習算法學習算法 設置互連權值。設置互連權值。 其中，其中， 是是s s樣例的第樣例的第i i個分量，它可以為個分量，它可以為1 1或或0 0，樣例，樣例類別數(shù)為類別數(shù)為m m，節(jié)點數(shù)為，節(jié)點數(shù)為n n。 ji0jixxW1m0ssjsiijsix未知類別樣本初始化。未知類別樣本初始化。 用用yi(t)yi(t)為節(jié)點為節(jié)點i i在在t t時辰的輸出。當時辰的輸出。當t=0t=0時，時，yi(0)yi(0)就是就是節(jié)點節(jié)點i i的初始值，的初始值，xixi為輸入樣本的第為輸入樣本的第i i個分量。個分量。1nix)0

16、(yii第 7章 計算智能 人工神經(jīng)網(wǎng)絡迭代直到收斂。迭代直到收斂。 式中式中f f為閾值型激發(fā)函數(shù)。該過程不斷迭代到不再改動節(jié)為閾值型激發(fā)函數(shù)。該過程不斷迭代到不再改動節(jié)點的輸出為止。這時各節(jié)點的輸出與輸入樣例到達最正確匹配。點的輸出為止。這時各節(jié)點的輸出與輸入樣例到達最正確匹配。否那么否那么轉(zhuǎn)繼續(xù)。轉(zhuǎn)繼續(xù)。10)() 1(10njtyWftyniiijj第 7章 計算智能 人工神經(jīng)網(wǎng)絡8)8)能量函數(shù)能量函數(shù)里阿普諾夫函數(shù)里阿普諾夫函數(shù)LyapunovLyapunov函數(shù)函數(shù), ,研討它的正定性及其對時間的全導數(shù)的研討它的正定性及其對時間的全導數(shù)的負定或半負定負定或半負定, ,來得到穩(wěn)定性的結(jié)論來得到穩(wěn)定性的結(jié)論. . 第 7章 計算智能 人工神經(jīng)網(wǎng)絡3BP網(wǎng)絡網(wǎng)絡 BP BP網(wǎng)絡是反向傳播網(wǎng)絡是反向傳播(Back Propagation)(Back Propagation)網(wǎng)絡。它是一種多網(wǎng)絡。它是一種多層前向網(wǎng)絡，采用最小均方差學習方式。這是一種最廣泛運用層前向網(wǎng)絡，采用最小均方差學習方式。這是一種最廣泛運用的網(wǎng)絡。的網(wǎng)絡。BPBP網(wǎng)路需有教師訓練。網(wǎng)路需有教師訓練。1)1)模型構(gòu)造模型構(gòu)造第 7章 計算智能 人工神經(jīng)網(wǎng)絡2 2神經(jīng)元的輸入、輸出神經(jīng)元的輸入、輸出第 7章 計算智能 人工神經(jīng)網(wǎng)絡3 3輸出函數(shù)分析輸出函數(shù)分析第 7章 計算智能 人工神