51人工神經(jīng)網(wǎng)絡課件

1、5.1 人工神經(jīng)網(wǎng)絡簡介Artificial Neural Network第1頁，共111頁。生物神經(jīng)網(wǎng)絡人類的大腦大約有1.41011個神經(jīng)細胞，亦稱為神經(jīng)元。每個神經(jīng)元有數(shù)以千計的通道同其它神經(jīng)元廣泛相互連接，形成復雜的生物神經(jīng)網(wǎng)絡。第2頁，共111頁。神經(jīng)元由細胞體及其發(fā)出的許多突起構成。生物神經(jīng)元第3頁，共111頁。（1）細胞體：由細胞核、細胞質(zhì)和細胞膜組成。（2）樹突：胞體上短而多分枝的突起。相當于神經(jīng)元的輸入端，接收傳入的神經(jīng)沖動。 （3）軸突：胞體上最長枝的突起，端部有很多神經(jīng)末稍傳出神經(jīng)沖動。 突觸 神經(jīng)末梢 樹突 細胞膜 細胞核 軸突 細胞質(zhì) 第4頁，共111頁。（4）突觸：

2、神經(jīng)元間的連接接口，每個神經(jīng)元約有1萬10萬個突觸。 神經(jīng)元通過其軸突的神經(jīng)末稍，經(jīng)突觸與另一神經(jīng)元的樹突聯(lián)接，實現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔性，稱為結構的可塑性。 突觸 神經(jīng)末梢 樹突 細胞膜 細胞核 軸突 細胞質(zhì) 第5頁，共111頁。（5）細胞膜電位：神經(jīng)細胞在受到電的、化學的、機械的刺激后，能產(chǎn)生興奮，此時，細胞膜內(nèi)外有電位差，稱膜電位。 電位膜內(nèi)為正，膜外為負。第6頁，共111頁。神經(jīng)元功能興奮與抑制當傳入神經(jīng)元的沖動，經(jīng)整和，使細胞膜電位升高，超過動作電位的閾值時，為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末稍傳出。當傳入神經(jīng)元的沖動，經(jīng)整和，使細

3、胞膜電位降低，低于閾值時，為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。第7頁，共111頁。生物神經(jīng)元信息處理單元第8頁，共111頁。生物神經(jīng)元信息處理單元第9頁，共111頁。生物神經(jīng)元信息處理單元第10頁，共111頁。生物神經(jīng)元信息處理單元第11頁，共111頁。生物神經(jīng)元信息處理單元第12頁，共111頁。生物神經(jīng)元信息處理單元第13頁，共111頁。 神經(jīng)元及其聯(lián)結； 神經(jīng)元之間的聯(lián)結強度決定信號傳遞的強弱； 神經(jīng)元之間的聯(lián)結強度可以改變； 信號分為興奮型和抑制型； 一個神經(jīng)元接受的信號的累計效果決定該神經(jīng)元的狀態(tài)； 每個神經(jīng)元有一個閾值。生物神經(jīng)元的基本特征第14頁，共111頁。人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡的基

4、本要素是人工神經(jīng)元。人工神經(jīng)元只模擬了生物神經(jīng)元的三個基本功能：（1）對每個輸入信號進行處理，以確定其強度（權值）；（2）確定所有輸入信號的組合（加權和）；（3）確定其輸出（轉(zhuǎn)移特性）。第15頁，共111頁。上面已指出，一個生物神經(jīng)元的基本功能是將輸入量加權后相加，當加權和超過某一閾值后就產(chǎn)生一定輸出。這點是模擬神經(jīng)元時所應抓住的基本特征。第16頁，共111頁。 突觸 神經(jīng)末梢 樹突 細胞膜 細胞核 軸突 細胞質(zhì) 軸突突觸樹突內(nèi)核軸突第17頁，共111頁。模擬神經(jīng)元的首要目標：輸入信號的加權和。人工神經(jīng)元可以接受一組來自系統(tǒng)中其它神經(jīng)元的輸入信號，每個輸入對應一個權，所有輸入的加權和決定該神經(jīng)

5、元的激活狀態(tài)。每個權就相當于突觸的聯(lián)結強度。w1wi xiw2wnx1x2xn人工神經(jīng)元數(shù)學模型第18頁，共111頁。設X = (x1, x2, , xn)表示n個輸入，W = (w1, w2, , wn)表示它們對應的聯(lián)結權重。故神經(jīng)元所獲得的輸入信號累計效果為：w1wi xiw2wnx1x2xn第19頁，共111頁。信息輸入第20頁，共111頁。信息傳播與處理：積與和第21頁，共111頁。信息傳播第22頁，共111頁。信息傳播與處理：非線性第23頁，共111頁。信息輸出第24頁，共111頁。神經(jīng)元獲得網(wǎng)絡輸入信號后，信號累計效果整合函數(shù)u(x)大于某閾值 時，神經(jīng)元處于激發(fā)狀態(tài)；反之，神經(jīng)

6、元處于抑制狀態(tài)。構造作用函數(shù)，用于表示這一轉(zhuǎn)換過程。要求是-1, 1之間的單調(diào)遞增函數(shù)。作用函數(shù)通常為3種類型，由此決定了神經(jīng)元的輸出特征。第25頁，共111頁。符號函數(shù)1-1u第26頁，共111頁。分段線性函數(shù)1-1u第27頁，共111頁。Sigmoid函數(shù)1-1u其特點是單調(diào)遞增、光滑且具有漸近值，具有解析上的優(yōu)點。第28頁，共111頁。M-P模型將人工神經(jīng)元的基本模型與激活函數(shù)結合，即McCulloch Pitts模型。w1 u=wixiw2wnx1x2xny= (u(x)- )第29頁，共111頁?；舅枷耄褐鸩綄⒂柧毤械臉颖据斎氲骄W(wǎng)絡中，根據(jù)輸出結果和理想輸出之間的差別來調(diào)整網(wǎng)絡中

7、的權重值。學習的問題歸結為求權重系數(shù)W = (w1, w2, , wn)和閾值的問題。w1 u=wixiw2wnx1x2xny= (u(x)- )基本思想第30頁，共111頁。單層感知器不能表達的問題被稱為線性不可分問題。1969年，Minsky(明斯基)證明了“異或”問題是線性不可分問題：“異或”（XOR）運算的定義如下：線性不可分問題第31頁，共111頁。異或問題從幾何意義上講，相當于一個正方形有四個頂點，不存在一條直線能將和分開的，所以，簡單感知器無法實現(xiàn)異或問題。第32頁，共111頁。相關研究表明，線性不可分函數(shù)的數(shù)量隨著輸入變量個數(shù)的增加而快速增加，甚至遠遠超過了線性可分函數(shù)的個數(shù)。

8、也就是說，單層感知器不能表達的問題的數(shù)量遠遠超過了它所能表達的問題的數(shù)量。當Minsky給出單層感知器的這一致命缺陷時，人工神經(jīng)網(wǎng)絡的研究跌入漫長的黑暗期。第33頁，共111頁。解決途徑多層網(wǎng)絡多層感知器與單層感知器在結構上的區(qū)別在于，多層感知器含有隱層。x1z0 xnz1zn二層感知器第34頁，共111頁。假設輸入向量為二維的，可分為兩類：一類輸人向量全在凸集合R1內(nèi)；另一類全在R1外?？梢宰C明，如果應用如圖所示的二層感知器網(wǎng)絡，則可完成對它們的正確分類。第35頁，共111頁。2、三層感知器 具有兩個隱層的三層感知器，可以證明，它可完成對任何非交集合進行分類。更準確地說，它可對任何由直線邊所

9、構成的非交集合進行分類。第36頁，共111頁?，F(xiàn)以下圖所示的二維輸入空間的非凸集合R為例。第37頁，共111頁。圖中所示的非凸集合R，若添加一條虛線lc，則R可分解為2個凸集合R1和R2。第38頁，共111頁。第39頁，共111頁。誤差反向傳播神經(jīng)網(wǎng)絡（Back-Propagation Networks）BP網(wǎng)絡第40頁，共111頁。BP算法誤差反向傳播的BP算法簡稱BP算法。其基本思想是最小二乘算法。它采用梯度搜索技術，以期使網(wǎng)絡的實際輸出值與期望輸出值的誤差均方值為最小。第41頁，共111頁。第一階段：正向傳播在正向傳播過程中，輸入信息從輸入層經(jīng)隱層逐層處理，并傳向輸出層，獲得各個單元的實

10、際輸出。正向傳播第42頁，共111頁。 第二階段：反向傳播如果在輸出層未能得到期望的輸出，則轉(zhuǎn)入反向傳播，計算出輸出層各單元的一般化誤差，然后將這些誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權值，使得誤差信號最小。反向傳播第43頁，共111頁。網(wǎng)絡結構第44頁，共111頁。網(wǎng)絡結構第45頁，共111頁。網(wǎng)絡結構第46頁，共111頁。正向反向反向傳播(BP)學習算法第47頁，共111頁。正向第48頁，共111頁。正向第49頁，共111頁。正向第50頁，共111頁。正向第51頁，共111頁。正向第52頁，共111頁。正向第53頁，共111頁。正向第54頁，共111頁。正向第55頁，共111

11、頁。反向第56頁，共111頁。反向第57頁，共111頁。BP網(wǎng)絡的優(yōu)點（1）網(wǎng)絡實質(zhì)上實現(xiàn)了一個從輸入到輸出的映射功能，而數(shù)學理論已證明它具有實現(xiàn)任何復雜非線性映射的功能。（2） 網(wǎng)絡能通過學習帶正確答案的實例集自動提取“合理的”求解規(guī)則，即具有自學習能力； 第58頁，共111頁。 (1)BP算法的學習速度很慢； (2)網(wǎng)絡訓練失敗的可能性較大； (3)難以解決應用問題的實例規(guī)模和網(wǎng)絡規(guī)模間的矛盾； (4)網(wǎng)絡結構的選擇尚無一種統(tǒng)一而完整的理論指導，一般只能由經(jīng)驗選定；BP網(wǎng)絡的問題第59頁，共111頁。致命問題第60頁，共111頁。J(W)第61頁，共111頁。J(W)局部極小點全局極小點第

12、62頁，共111頁。J(W)初始狀態(tài)第63頁，共111頁。梯度下降搜索第64頁，共111頁。梯度下降搜索第65頁，共111頁。梯度下降搜索第66頁，共111頁。梯度下降搜索第67頁，共111頁。梯度下降搜索第68頁，共111頁。梯度下降搜索第69頁，共111頁。梯度下降搜索第70頁，共111頁。J(W)局部極小點第71頁，共111頁。J(W)局部極小點第72頁，共111頁。J(W)局部極小點第73頁，共111頁。J(W)局部極小點第74頁，共111頁。改進算法第75頁，共111頁。J(W)第76頁，共111頁。J(W)初始狀態(tài)第77頁，共111頁。J(W)初始狀態(tài)第78頁，共111頁。改進算法

13、第79頁，共111頁。改進算法第80頁，共111頁。改進算法第81頁，共111頁。改進算法第82頁，共111頁。改進算法第83頁，共111頁。改進算法第84頁，共111頁。改進算法第85頁，共111頁。改進算法第86頁，共111頁。改進算法第87頁，共111頁。改進算法搜索第88頁，共111頁。改進算法第89頁，共111頁。改進算法第90頁，共111頁。改進算法第91頁，共111頁。改進算法第92頁，共111頁。改進算法第93頁，共111頁。改進算法第94頁，共111頁。改進算法第95頁，共111頁。改進算法第96頁，共111頁。改進算法第97頁，共111頁。改進算法第98頁，共111頁。改進

14、算法第99頁，共111頁。改進算法第100頁，共111頁。改進算法第101頁，共111頁。改進算法第102頁，共111頁。改進算法第103頁，共111頁。全局極小點第104頁，共111頁。 人工神經(jīng)網(wǎng)絡的發(fā)展簡史1.初始發(fā)展期（1890-1968） （1）1890，James（美國生理學家）在其著作生理學中首次較系統(tǒng)地闡明了大腦的結構和功能、神經(jīng)元的功能與連接、信息的傳遞等，并將大腦看作一個神經(jīng)網(wǎng)絡。為進一步認識大腦的功能奠定了基礎。 （2）1943年，McCulloch 和Pitts（美國心理學家和數(shù)學家）提出了神經(jīng)元的數(shù)學模型，現(xiàn)稱為M-P模型。 第105頁，共111頁。 （3）1949年

15、，Hebb在其著作行為自組織中提出了改變神經(jīng)元連接強度的學習規(guī)則（現(xiàn)稱Hebb規(guī)則。（4）1958, Rosenblatt 發(fā)展了M-P模型，提出了感知機（Perceptron）及其學習算法，它是歷史上第一個人工神經(jīng)網(wǎng)絡和學習算法。它的出現(xiàn)掀起了神經(jīng)網(wǎng)絡研究的第一高潮。第106頁，共111頁。 1969，Minsky和Papert在論著感知機中指出了感知機的局限性，即只能作線性分類，對于非線性分類，感知機無法解決。大批學者便離開這一領域，出現(xiàn)人工神經(jīng)網(wǎng)絡的研究的低潮。2. 低潮時期（1969-1982）第107頁，共111頁。 1982-1984，Hopfield提出一種互連反饋網(wǎng)絡，現(xiàn)稱之為 Hopfield 網(wǎng)絡。引入了一種能量函數(shù)，證明了網(wǎng)絡的穩(wěn)定性。（2）1986，Rumelhart和Hinton等提出了多層前向網(wǎng)絡的誤差反向傳播（BP)算法，使得網(wǎng)絡可以任意逼近一個連續(xù)系統(tǒng)，并得到廣泛的應用。Hopfield網(wǎng)絡和BP算法的出現(xiàn)，使得人工神經(jīng)的研究出現(xiàn)了復興。3. 復興時期（1982-1986）第108頁，共111頁。 由