數(shù)學(xué)建模-神經(jīng)網(wǎng)絡(luò)算法ppt課件

1、數(shù)學(xué)建模古典算法，陳旺虎，神經(jīng)網(wǎng)絡(luò)和拓展神經(jīng)網(wǎng)絡(luò)算法、1、學(xué)習(xí)目的、視野感覺神經(jīng)網(wǎng)絡(luò)算法的應(yīng)用背景，在神經(jīng)網(wǎng)絡(luò)算法解決了一些簡(jiǎn)單問題，奠定了詳細(xì)的理論基礎(chǔ)； 2人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)的基本功能人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史人工神經(jīng)網(wǎng)絡(luò)的生物科學(xué)基礎(chǔ)M-P模型前饋神經(jīng)網(wǎng)絡(luò)單層探測(cè)器多層探測(cè)器BP算法BP網(wǎng)絡(luò)應(yīng)用實(shí)例(MATLAB修訂算)，3， 人工神經(jīng)網(wǎng)絡(luò)概述各神經(jīng)元上千條通道與其他神經(jīng)元廣泛相連，形成復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。 人工神經(jīng)網(wǎng)絡(luò)從數(shù)學(xué)、物理方法和信息處理的角度抽象人類的顱神經(jīng)網(wǎng)絡(luò)，建構(gòu)某些簡(jiǎn)化模型，稱為人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN )。 描述了人

2、腦系統(tǒng)的一次特性。 (大姨媽角度的仿真)，4，基本原理存在一些輸入和相應(yīng)的輸出，但是如何從輸入得到輸出的反應(yīng)歷程把輸入和輸出之間的未知過程看作是“網(wǎng)絡(luò)”，通過給該網(wǎng)絡(luò)提供輸入和相應(yīng)的輸出，“訓(xùn)練”這一網(wǎng)絡(luò)將輸入和輸出切斷5、嚴(yán)格定義ANN的最典型的定義是，Simpson在1987年認(rèn)為人工神經(jīng)網(wǎng)絡(luò)是非線性有向圖，通過改變權(quán)重大小可以儲(chǔ)存模式的加權(quán)邊緣，其在不完全或未知的輸入端可找出模式。 ANN算法是基于人類認(rèn)識(shí)過程化學(xué)基研制的算法，6，2 .人工神經(jīng)網(wǎng)絡(luò)的基本功能，(1)聯(lián)想記憶功能由于神經(jīng)網(wǎng)絡(luò)具有分散記憶信息并進(jìn)行修正的功能，因此具有聯(lián)想記憶外界刺激信息和輸入模式的能力。 聯(lián)想存儲(chǔ)有兩種基

3、本形式的自聯(lián)想存儲(chǔ)異聯(lián)想存儲(chǔ)，7、關(guān)于預(yù)先存儲(chǔ)(存儲(chǔ))在自聯(lián)想存儲(chǔ)網(wǎng)絡(luò)中的多種模式信息，當(dāng)輸入某存儲(chǔ)模式的部分信息或有噪聲干擾作用的信息時(shí)， 即使網(wǎng)絡(luò)在動(dòng)態(tài)聯(lián)想過程中預(yù)先存儲(chǔ)在存儲(chǔ)該模式的所有信息異聯(lián)想存儲(chǔ)網(wǎng)絡(luò)中的輸入信息缺失或者噪聲重日式榻榻米，網(wǎng)絡(luò)也能夠想起與其對(duì)應(yīng)的另一部分，8， 不完整模式的自聯(lián)想神經(jīng)網(wǎng)絡(luò)通過預(yù)先存儲(chǔ)信息和學(xué)習(xí)反應(yīng)歷程進(jìn)行適應(yīng)性訓(xùn)練，能夠從不完全信息和噪聲干擾作用中恢復(fù)原始完整信息的能力在圖像恢復(fù)、圖像和語(yǔ)音處理、模式識(shí)別、分類等方面具有很大的潛在應(yīng)用價(jià)值2 .人工神經(jīng)網(wǎng)絡(luò)的基本功能(續(xù)) (2)非線性映射功能，10，非線性映射功能在客觀世界中，許多系統(tǒng)的輸入與輸出之間

4、存在復(fù)雜的非線性關(guān)系，并且難以用傳統(tǒng)數(shù)學(xué)方法針對(duì)這種系統(tǒng)建構(gòu)其數(shù)學(xué)模型。 通過建立和修正合理的神經(jīng)網(wǎng)絡(luò)以及自動(dòng)學(xué)習(xí)系統(tǒng)投入產(chǎn)出樣本對(duì)，可以實(shí)現(xiàn)任意精度的任何復(fù)雜非線性映射。 神經(jīng)網(wǎng)絡(luò)的這種優(yōu)良性能使其能夠作為多維非線形函數(shù)的通用數(shù)學(xué)模型。 該模型的表現(xiàn)是非解析的，投入產(chǎn)出數(shù)據(jù)間的映射規(guī)則由神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)階段自動(dòng)提取，分散存儲(chǔ)在網(wǎng)絡(luò)的所有連接中。 具有非線性映射功能的神經(jīng)網(wǎng)絡(luò)應(yīng)用一盞茶廣泛，幾乎涉及所有領(lǐng)域。11，2 .人工神經(jīng)網(wǎng)絡(luò)的基本功能(續(xù))、(3)分類和識(shí)別功能、12，分類和識(shí)別功能神經(jīng)網(wǎng)絡(luò)對(duì)外部輸入樣本具有較強(qiáng)的識(shí)別和分類能力。 輸入樣本的分類實(shí)際上找到了樣本空間中滿足分類請(qǐng)求的分割區(qū)

5、域，每區(qū)域中樣本屬于類。傳統(tǒng)的分類方法只適用于解決同類聚會(huì)、異類分離的識(shí)別和分類問題。 然而，客觀世界上的許多樣本空間分割曲面(例如，不同圖像、聲音、字符等)是非常復(fù)雜的，其中接近樣本可屬于不同類別，而遠(yuǎn)的樣本可屬于相同類別。 神經(jīng)網(wǎng)絡(luò)能很好地解決非線性曲面的近似，因此分類和識(shí)別能力比傳統(tǒng)分類器高。 人工神經(jīng)網(wǎng)絡(luò)的基本功能(接下來的)、(4)優(yōu)化校正算術(shù)功能、14、以及優(yōu)化校正算術(shù)功能優(yōu)化校正算術(shù)是指，在已知的約束下尋找關(guān)殘奧儀表的組合，以使得由它們的組合確定的目標(biāo)函數(shù)最小化。 一些神經(jīng)網(wǎng)絡(luò)可修改要解決的問題的可變殘奧儀表作為網(wǎng)絡(luò)狀態(tài)，并且修改目的函數(shù)作為網(wǎng)絡(luò)的能量函數(shù)。 神經(jīng)網(wǎng)絡(luò)經(jīng)過動(dòng)態(tài)進(jìn)化

6、過程達(dá)到穩(wěn)定狀態(tài)時(shí)對(duì)應(yīng)的能量函數(shù)最小，其穩(wěn)定狀態(tài)成為問題的最優(yōu)解。 這種優(yōu)化校正算法不需要推導(dǎo)目標(biāo)函數(shù)，其結(jié)果是網(wǎng)絡(luò)被自動(dòng)給定。 15，2 .人工神經(jīng)網(wǎng)絡(luò)的基本功能(續(xù))，(5)知識(shí)處理功能，16，知識(shí)處理功能知識(shí)是人們從客觀世界的大量信息及其自身實(shí)踐中總結(jié)出來的經(jīng)驗(yàn)、規(guī)則和判斷標(biāo)準(zhǔn)。 神經(jīng)網(wǎng)絡(luò)獲取知識(shí)的途徑類似于人，從對(duì)象的投入產(chǎn)出信息中提取規(guī)則獲取有關(guān)對(duì)象的知識(shí)，并將知識(shí)分布存儲(chǔ)在網(wǎng)絡(luò)的連接上。 神經(jīng)網(wǎng)絡(luò)的知識(shí)提取能力可以建構(gòu)為即使沒有先驗(yàn)知識(shí)也能自動(dòng)從輸入數(shù)據(jù)中提取特征，發(fā)現(xiàn)規(guī)則，通過自組織過程表現(xiàn)發(fā)現(xiàn)自個(gè)兒的規(guī)則。 另一方面，人類的先驗(yàn)知識(shí)可以大大提高神經(jīng)網(wǎng)絡(luò)的知識(shí)處理能力，將兩者組合

7、起來可以進(jìn)一步提高神經(jīng)網(wǎng)絡(luò)的智能。 神經(jīng)網(wǎng)絡(luò)的發(fā)展過程經(jīng)歷了4個(gè)階段。 (1)啟蒙時(shí)期(1890-1969年) 1890年，W.James發(fā)表了專業(yè)心理學(xué)，探討了其大腦結(jié)構(gòu)和功能。 1943年，心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了描述顱神經(jīng)細(xì)胞球運(yùn)動(dòng)的數(shù)學(xué)模型，即M-P模型(最初的神經(jīng)網(wǎng)絡(luò)模型)。 1949年，心理學(xué)家Hebb實(shí)現(xiàn)了對(duì)腦細(xì)胞間相互影響的數(shù)學(xué)描述，從心理學(xué)的角度提出了至今仍對(duì)神經(jīng)網(wǎng)絡(luò)理論有重要影響的Hebb學(xué)習(xí)規(guī)律。 1958年，E.Rosenblatt提出了在人腦中保存和記憶信息的數(shù)學(xué)模型，即萩名的感知器模型(Perceptron )。 1962年，W

8、idrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，網(wǎng)絡(luò)學(xué)習(xí)新知識(shí)的方法，即Widrow和Hoff學(xué)習(xí)規(guī)則(即學(xué)習(xí)規(guī)則)，并在電路上進(jìn)行了硬件設(shè)置修訂。 3、神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，18，3 .神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史(續(xù))，(2)低潮期(1969-1982 )受當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)理論研究水平的限制，以及馮諾依曼式計(jì)算機(jī)發(fā)展的沖擊等因素的影響日等國(guó)有少數(shù)學(xué)者繼續(xù)研究神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法，提出了許多有意義的理論和方法。 例如，在1969年，S.Groisberg和A.Carpentet提出了迄今為止最復(fù)雜的ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以對(duì)任何復(fù)雜的二維模型進(jìn)行自組織、自穩(wěn)定作用和大規(guī)模并行處理。 19

9、72年，Kohonen提出了自組織映射的SOM模型。19，3 .神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史(續(xù))，(3)復(fù)興期(1982-1986) 1982年，物理學(xué)家霍普貝德提出了霍普貝德神經(jīng)網(wǎng)絡(luò)模型，該模型通過引入能量函數(shù)，實(shí)現(xiàn)了問題的最優(yōu)解。 1986年，在Rumelhart和McCelland等出版了名為并行分布式處理的書，提出了著名的多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)。 這個(gè)網(wǎng)絡(luò)是至今為止最普遍使用的神經(jīng)網(wǎng)絡(luò)。 20，3 .神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史(續(xù))，(4)新連接機(jī)制時(shí)期(1986-現(xiàn)在)神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計(jì)算機(jī)。神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用領(lǐng)域有模式識(shí)別和圖片處理(語(yǔ)音、指紋、故障檢測(cè)和

10、圖像壓縮等)控制與優(yōu)化預(yù)測(cè)和管理(市場(chǎng)預(yù)測(cè)、風(fēng)險(xiǎn)分析)等，21，根據(jù)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果，神經(jīng)元是腦組織的基本針織面料，是腦信息處理系統(tǒng)的最小， 4 .人工神經(jīng)網(wǎng)絡(luò)的生物科學(xué)基礎(chǔ)，22，神經(jīng)元與其連接神經(jīng)元之間的鍵強(qiáng)度決定信號(hào)轉(zhuǎn)導(dǎo)的強(qiáng)弱神經(jīng)元之間的聯(lián)系強(qiáng)度隨訓(xùn)練而變化信號(hào)可刺激也可抑制的一個(gè)神經(jīng)元所接受的信號(hào)累積效應(yīng)， 決定其神經(jīng)元的狀態(tài)各神經(jīng)元是一個(gè)“閾值”，23，4.1生物神經(jīng)元的信息處理反應(yīng)歷程，(1)信息的生成，神經(jīng)元間信息的生成，傳達(dá)和處理是電化學(xué)活動(dòng)。 神經(jīng)元狀態(tài)的靜態(tài)興奮抑制、膜電位極化去極化超極化、24、25、4.1生物神經(jīng)元的信息處理反應(yīng)歷程(續(xù))、(2)信息的傳

11、遞和接收、26、4.1生物神經(jīng)元的信息處理反應(yīng)歷程(續(xù))、總突觸后膜電位是一定期間的累積，是27、4.2神經(jīng)元的人工模型因此，生物神經(jīng)網(wǎng)絡(luò)首先模擬生物神經(jīng)網(wǎng)絡(luò)的人工神經(jīng)元(節(jié)點(diǎn))，從三個(gè)方面模擬(通過學(xué)習(xí)調(diào)整) :節(jié)點(diǎn)自身的信息處理能力(數(shù)學(xué)模型)節(jié)點(diǎn)與節(jié)點(diǎn)之間的連接(拓?fù)浞治?互聯(lián)互通的強(qiáng)度， 應(yīng)決定整個(gè)人工神經(jīng)網(wǎng)絡(luò)的性能，(2)神經(jīng)輸入分為興奮性輸入和抑制性輸入兩種，(6)神經(jīng)本身是非時(shí)變的，突觸延遲和突觸強(qiáng)度都是恒定的。 (3)神經(jīng)元具有空間匹配特性和閾值特性，(4)神經(jīng)元輸入和輸出之間有一定的時(shí)滯，主要依賴于突觸延長(zhǎng)，(5)忽略時(shí)間匹配作用，模型的6點(diǎn)假設(shè)：29，假設(shè)1 :多輸入單輸出

12、，就像生物神經(jīng)元有很多激勵(lì)輸入一樣， 人工神經(jīng)元也應(yīng)該有很多輸入信號(hào)圖，各個(gè)輸入的大小用確定數(shù)值xi表示，它們向云同步輸入神經(jīng)元j，神經(jīng)元的單輸出用oj表示。 30、假設(shè)2 :輸入類型的興奮性和抑制性，生物神經(jīng)元具有不同的突觸強(qiáng)度，它對(duì)輸入的影響是一些輸入在神經(jīng)元的脈沖輸出過程中發(fā)揮的作用比其他輸入更重要。 在圖中，每個(gè)神經(jīng)元的輸入都有權(quán)重系數(shù)wij，稱為權(quán)重值，其正負(fù)模擬生物神經(jīng)元中突觸的興奮和抑制，其大小表示突觸不同的連接強(qiáng)度。31、假設(shè)3 :作為空間匹配特性和閾值特性、ANN的基本處理單元針織面料，所有輸入信號(hào)都被匹配，并且在每個(gè)輸入的作用總效果圖中，組合輸入信號(hào)的“總和”被示出，以對(duì)應(yīng)

13、于生物神經(jīng)元的膜電位。 神經(jīng)元是否被激活取決于某一閾值水平。 即，僅當(dāng)其輸入總和超過閾值時(shí)，神經(jīng)元被激活而產(chǎn)生脈沖，否則神經(jīng)元不產(chǎn)生輸出信號(hào)。 神經(jīng)元的輸出，圖中人工神經(jīng)元的輸出也和生物神經(jīng)元一樣只有一個(gè)，如果用oj表示神經(jīng)元的輸出，輸出和輸入的對(duì)應(yīng)關(guān)系可以用圖中某些非線形函數(shù)表示。、33、神經(jīng)元模型圖、34、4.2.1人工神經(jīng)元的數(shù)學(xué)模型、人工神經(jīng)元模擬生物神經(jīng)元的一次特性，具有生物神經(jīng)元的6個(gè)特征，一個(gè)人工神經(jīng)元一般有多個(gè)輸入和一個(gè)輸出，一個(gè)人工神經(jīng)元具有一個(gè)轉(zhuǎn)移函數(shù)(不同的轉(zhuǎn)移函數(shù)對(duì)應(yīng)于不同的網(wǎng)絡(luò)，也決定了網(wǎng)絡(luò)的用途的Tj神經(jīng)元j的從閾值wij神經(jīng)元I到j(luò)的突觸耦合系數(shù)或權(quán)重值f ()神

14、經(jīng)元轉(zhuǎn)移函數(shù)。 為了簡(jiǎn)化，(4. 1)、36，設(shè)4. 1上式中的沖觸延遲為單位時(shí)間，式(4. 1)可以寫成4.2式。 上式所述的神經(jīng)元數(shù)學(xué)模型全面表現(xiàn)了神經(jīng)元模型的6點(diǎn)假設(shè)。 在此，輸入xi的下標(biāo)I=1，2，n，輸出oj的下標(biāo)j表示神經(jīng)元模型假定(1)中的“多輸入單輸出”。加權(quán)wij的正負(fù)表示假定(2)中的“突觸的興奮和抑制”。 Tj表示假設(shè)(3)中神經(jīng)元的“閾值”的“輸入總和”多被稱為神經(jīng)元在時(shí)刻t的網(wǎng)絡(luò)輸入，用(4. 2)、37、(4.3)、netj=WjTX、wj=(w1w2wn)tx=(x1w2wn )這樣的式子表示netj(t )體現(xiàn)了神經(jīng)元j的空間匹配特性，不考慮時(shí)間匹配，netj

15、-Tj0時(shí)，神經(jīng)元被激活。 oj(t 1)和xI(t之間的單位時(shí)差表示所有神經(jīng)元具有相同的一定的動(dòng)作節(jié)奏，與假設(shè)(4)的“突觸延長(zhǎng)”對(duì)應(yīng)的wij表示假設(shè)(6)中神經(jīng)元的“非時(shí)變”，而與時(shí)間無(wú)關(guān)。 為了簡(jiǎn)單起見，在以后使用式(2.3)的情況下，大多省略其中的(t )。 式(2.3)還可以表示為權(quán)向量Wj和輸入向量x之間的點(diǎn)乘積WTX。 其中，Wj和x都是列向量，被定義為Wj=(w1 w2 wn)T、X=(x1 x2 xn)T，如果設(shè)x0=-1、w0=Tj，則-Tj=x0w0 神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用不同的轉(zhuǎn)變函數(shù)使神經(jīng)元具有不同的信息處理特性。 神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三個(gè)因素之一，反映了神經(jīng)元輸出與其活性狀態(tài)的關(guān)系，最常用的轉(zhuǎn)變函數(shù)有四種形式。 41，(1)閾值型轉(zhuǎn)移函數(shù)，1 x0 f(x)=(4.7) 0 x0，人工神經(jīng)元的轉(zhuǎn)移函數(shù)，單位階梯函數(shù)，硬切片函數(shù)，42，(2)非線性轉(zhuǎn)移函數(shù)，還被稱為人工神經(jīng)元的轉(zhuǎn)移函數(shù)的非線性轉(zhuǎn)移函數(shù)，也被稱為sigmoid，簡(jiǎn)稱為s型特征是由于函數(shù)本身及其導(dǎo)函數(shù)連續(xù)，在處理上十分便利。 s型函數(shù)分為單極性和雙極性兩種。44、(3)段線性轉(zhuǎn)移函數(shù)、0 x0 f(x)=cx 0 xxc