數(shù)學(xué)建模-神經(jīng)網(wǎng)絡(luò)算法ppt課件_第1頁(yè)
數(shù)學(xué)建模-神經(jīng)網(wǎng)絡(luò)算法ppt課件_第2頁(yè)
數(shù)學(xué)建模-神經(jīng)網(wǎng)絡(luò)算法ppt課件_第3頁(yè)
數(shù)學(xué)建模-神經(jīng)網(wǎng)絡(luò)算法ppt課件_第4頁(yè)
數(shù)學(xué)建模-神經(jīng)網(wǎng)絡(luò)算法ppt課件_第5頁(yè)
已閱讀5頁(yè),還剩198頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、數(shù)學(xué)建模古典算法,陳旺虎,神經(jīng)網(wǎng)絡(luò)和拓展神經(jīng)網(wǎng)絡(luò)算法、1、學(xué)習(xí)目的、視野感覺神經(jīng)網(wǎng)絡(luò)算法的應(yīng)用背景,在神經(jīng)網(wǎng)絡(luò)算法解決了一些簡(jiǎn)單問題,奠定了詳細(xì)的理論基礎(chǔ); 2人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)的基本功能人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史人工神經(jīng)網(wǎng)絡(luò)的生物科學(xué)基礎(chǔ)M-P模型前饋神經(jīng)網(wǎng)絡(luò)單層探測(cè)器多層探測(cè)器BP算法BP網(wǎng)絡(luò)應(yīng)用實(shí)例(MATLAB修訂算),3, 人工神經(jīng)網(wǎng)絡(luò)概述各神經(jīng)元上千條通道與其他神經(jīng)元廣泛相連,形成復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。 人工神經(jīng)網(wǎng)絡(luò)從數(shù)學(xué)、物理方法和信息處理的角度抽象人類的顱神經(jīng)網(wǎng)絡(luò),建構(gòu)某些簡(jiǎn)化模型,稱為人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN )。 描述了人

2、腦系統(tǒng)的一次特性。 (大姨媽角度的仿真),4,基本原理存在一些輸入和相應(yīng)的輸出,但是如何從輸入得到輸出的反應(yīng)歷程把輸入和輸出之間的未知過程看作是“網(wǎng)絡(luò)”,通過給該網(wǎng)絡(luò)提供輸入和相應(yīng)的輸出,“訓(xùn)練”這一網(wǎng)絡(luò)將輸入和輸出切斷5、嚴(yán)格定義ANN的最典型的定義是,Simpson在1987年認(rèn)為人工神經(jīng)網(wǎng)絡(luò)是非線性有向圖,通過改變權(quán)重大小可以儲(chǔ)存模式的加權(quán)邊緣,其在不完全或未知的輸入端可找出模式。 ANN算法是基于人類認(rèn)識(shí)過程化學(xué)基研制的算法,6,2 .人工神經(jīng)網(wǎng)絡(luò)的基本功能,(1)聯(lián)想記憶功能由于神經(jīng)網(wǎng)絡(luò)具有分散記憶信息并進(jìn)行修正的功能,因此具有聯(lián)想記憶外界刺激信息和輸入模式的能力。 聯(lián)想存儲(chǔ)有兩種基

3、本形式的自聯(lián)想存儲(chǔ)異聯(lián)想存儲(chǔ),7、關(guān)于預(yù)先存儲(chǔ)(存儲(chǔ))在自聯(lián)想存儲(chǔ)網(wǎng)絡(luò)中的多種模式信息,當(dāng)輸入某存儲(chǔ)模式的部分信息或有噪聲干擾作用的信息時(shí), 即使網(wǎng)絡(luò)在動(dòng)態(tài)聯(lián)想過程中預(yù)先存儲(chǔ)在存儲(chǔ)該模式的所有信息異聯(lián)想存儲(chǔ)網(wǎng)絡(luò)中的輸入信息缺失或者噪聲重日式榻榻米,網(wǎng)絡(luò)也能夠想起與其對(duì)應(yīng)的另一部分,8, 不完整模式的自聯(lián)想神經(jīng)網(wǎng)絡(luò)通過預(yù)先存儲(chǔ)信息和學(xué)習(xí)反應(yīng)歷程進(jìn)行適應(yīng)性訓(xùn)練,能夠從不完全信息和噪聲干擾作用中恢復(fù)原始完整信息的能力在圖像恢復(fù)、圖像和語(yǔ)音處理、模式識(shí)別、分類等方面具有很大的潛在應(yīng)用價(jià)值2 .人工神經(jīng)網(wǎng)絡(luò)的基本功能(續(xù)) (2)非線性映射功能,10,非線性映射功能在客觀世界中,許多系統(tǒng)的輸入與輸出之間

4、存在復(fù)雜的非線性關(guān)系,并且難以用傳統(tǒng)數(shù)學(xué)方法針對(duì)這種系統(tǒng)建構(gòu)其數(shù)學(xué)模型。 通過建立和修正合理的神經(jīng)網(wǎng)絡(luò)以及自動(dòng)學(xué)習(xí)系統(tǒng)投入產(chǎn)出樣本對(duì),可以實(shí)現(xiàn)任意精度的任何復(fù)雜非線性映射。 神經(jīng)網(wǎng)絡(luò)的這種優(yōu)良性能使其能夠作為多維非線形函數(shù)的通用數(shù)學(xué)模型。 該模型的表現(xiàn)是非解析的,投入產(chǎn)出數(shù)據(jù)間的映射規(guī)則由神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)階段自動(dòng)提取,分散存儲(chǔ)在網(wǎng)絡(luò)的所有連接中。 具有非線性映射功能的神經(jīng)網(wǎng)絡(luò)應(yīng)用一盞茶廣泛,幾乎涉及所有領(lǐng)域。11,2 .人工神經(jīng)網(wǎng)絡(luò)的基本功能(續(xù))、(3)分類和識(shí)別功能、12,分類和識(shí)別功能神經(jīng)網(wǎng)絡(luò)對(duì)外部輸入樣本具有較強(qiáng)的識(shí)別和分類能力。 輸入樣本的分類實(shí)際上找到了樣本空間中滿足分類請(qǐng)求的分割區(qū)

5、域,每區(qū)域中樣本屬于類。傳統(tǒng)的分類方法只適用于解決同類聚會(huì)、異類分離的識(shí)別和分類問題。 然而,客觀世界上的許多樣本空間分割曲面(例如,不同圖像、聲音、字符等)是非常復(fù)雜的,其中接近樣本可屬于不同類別,而遠(yuǎn)的樣本可屬于相同類別。 神經(jīng)網(wǎng)絡(luò)能很好地解決非線性曲面的近似,因此分類和識(shí)別能力比傳統(tǒng)分類器高。 人工神經(jīng)網(wǎng)絡(luò)的基本功能(接下來的)、(4)優(yōu)化校正算術(shù)功能、14、以及優(yōu)化校正算術(shù)功能優(yōu)化校正算術(shù)是指,在已知的約束下尋找關(guān)殘奧儀表的組合,以使得由它們的組合確定的目標(biāo)函數(shù)最小化。 一些神經(jīng)網(wǎng)絡(luò)可修改要解決的問題的可變殘奧儀表作為網(wǎng)絡(luò)狀態(tài),并且修改目的函數(shù)作為網(wǎng)絡(luò)的能量函數(shù)。 神經(jīng)網(wǎng)絡(luò)經(jīng)過動(dòng)態(tài)進(jìn)化

6、過程達(dá)到穩(wěn)定狀態(tài)時(shí)對(duì)應(yīng)的能量函數(shù)最小,其穩(wěn)定狀態(tài)成為問題的最優(yōu)解。 這種優(yōu)化校正算法不需要推導(dǎo)目標(biāo)函數(shù),其結(jié)果是網(wǎng)絡(luò)被自動(dòng)給定。 15,2 .人工神經(jīng)網(wǎng)絡(luò)的基本功能(續(xù)),(5)知識(shí)處理功能,16,知識(shí)處理功能知識(shí)是人們從客觀世界的大量信息及其自身實(shí)踐中總結(jié)出來的經(jīng)驗(yàn)、規(guī)則和判斷標(biāo)準(zhǔn)。 神經(jīng)網(wǎng)絡(luò)獲取知識(shí)的途徑類似于人,從對(duì)象的投入產(chǎn)出信息中提取規(guī)則獲取有關(guān)對(duì)象的知識(shí),并將知識(shí)分布存儲(chǔ)在網(wǎng)絡(luò)的連接上。 神經(jīng)網(wǎng)絡(luò)的知識(shí)提取能力可以建構(gòu)為即使沒有先驗(yàn)知識(shí)也能自動(dòng)從輸入數(shù)據(jù)中提取特征,發(fā)現(xiàn)規(guī)則,通過自組織過程表現(xiàn)發(fā)現(xiàn)自個(gè)兒的規(guī)則。 另一方面,人類的先驗(yàn)知識(shí)可以大大提高神經(jīng)網(wǎng)絡(luò)的知識(shí)處理能力,將兩者組合

7、起來可以進(jìn)一步提高神經(jīng)網(wǎng)絡(luò)的智能。 神經(jīng)網(wǎng)絡(luò)的發(fā)展過程經(jīng)歷了4個(gè)階段。 (1)啟蒙時(shí)期(1890-1969年) 1890年,W.James發(fā)表了專業(yè)心理學(xué),探討了其大腦結(jié)構(gòu)和功能。 1943年,心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了描述顱神經(jīng)細(xì)胞球運(yùn)動(dòng)的數(shù)學(xué)模型,即M-P模型(最初的神經(jīng)網(wǎng)絡(luò)模型)。 1949年,心理學(xué)家Hebb實(shí)現(xiàn)了對(duì)腦細(xì)胞間相互影響的數(shù)學(xué)描述,從心理學(xué)的角度提出了至今仍對(duì)神經(jīng)網(wǎng)絡(luò)理論有重要影響的Hebb學(xué)習(xí)規(guī)律。 1958年,E.Rosenblatt提出了在人腦中保存和記憶信息的數(shù)學(xué)模型,即萩名的感知器模型(Perceptron )。 1962年,W

8、idrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò),即Adaline網(wǎng)絡(luò),網(wǎng)絡(luò)學(xué)習(xí)新知識(shí)的方法,即Widrow和Hoff學(xué)習(xí)規(guī)則(即學(xué)習(xí)規(guī)則),并在電路上進(jìn)行了硬件設(shè)置修訂。 3、神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史,18,3 .神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史(續(xù)),(2)低潮期(1969-1982 )受當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)理論研究水平的限制,以及馮諾依曼式計(jì)算機(jī)發(fā)展的沖擊等因素的影響日等國(guó)有少數(shù)學(xué)者繼續(xù)研究神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法,提出了許多有意義的理論和方法。 例如,在1969年,S.Groisberg和A.Carpentet提出了迄今為止最復(fù)雜的ART網(wǎng)絡(luò),該網(wǎng)絡(luò)可以對(duì)任何復(fù)雜的二維模型進(jìn)行自組織、自穩(wěn)定作用和大規(guī)模并行處理。 19

9、72年,Kohonen提出了自組織映射的SOM模型。19,3 .神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史(續(xù)),(3)復(fù)興期(1982-1986) 1982年,物理學(xué)家霍普貝德提出了霍普貝德神經(jīng)網(wǎng)絡(luò)模型,該模型通過引入能量函數(shù),實(shí)現(xiàn)了問題的最優(yōu)解。 1986年,在Rumelhart和McCelland等出版了名為并行分布式處理的書,提出了著名的多層神經(jīng)網(wǎng)絡(luò)模型,即BP網(wǎng)絡(luò)。 這個(gè)網(wǎng)絡(luò)是至今為止最普遍使用的神經(jīng)網(wǎng)絡(luò)。 20,3 .神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史(續(xù)),(4)新連接機(jī)制時(shí)期(1986-現(xiàn)在)神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域,出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計(jì)算機(jī)。神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用領(lǐng)域有模式識(shí)別和圖片處理(語(yǔ)音、指紋、故障檢測(cè)和

10、圖像壓縮等)控制與優(yōu)化預(yù)測(cè)和管理(市場(chǎng)預(yù)測(cè)、風(fēng)險(xiǎn)分析)等,21,根據(jù)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果,神經(jīng)元是腦組織的基本針織面料,是腦信息處理系統(tǒng)的最小, 4 .人工神經(jīng)網(wǎng)絡(luò)的生物科學(xué)基礎(chǔ),22,神經(jīng)元與其連接神經(jīng)元之間的鍵強(qiáng)度決定信號(hào)轉(zhuǎn)導(dǎo)的強(qiáng)弱神經(jīng)元之間的聯(lián)系強(qiáng)度隨訓(xùn)練而變化信號(hào)可刺激也可抑制的一個(gè)神經(jīng)元所接受的信號(hào)累積效應(yīng), 決定其神經(jīng)元的狀態(tài)各神經(jīng)元是一個(gè)“閾值”,23,4.1生物神經(jīng)元的信息處理反應(yīng)歷程,(1)信息的生成,神經(jīng)元間信息的生成,傳達(dá)和處理是電化學(xué)活動(dòng)。 神經(jīng)元狀態(tài)的靜態(tài)興奮抑制、膜電位極化去極化超極化、24、25、4.1生物神經(jīng)元的信息處理反應(yīng)歷程(續(xù))、(2)信息的傳

11、遞和接收、26、4.1生物神經(jīng)元的信息處理反應(yīng)歷程(續(xù))、總突觸后膜電位是一定期間的累積,是27、4.2神經(jīng)元的人工模型因此,生物神經(jīng)網(wǎng)絡(luò)首先模擬生物神經(jīng)網(wǎng)絡(luò)的人工神經(jīng)元(節(jié)點(diǎn)),從三個(gè)方面模擬(通過學(xué)習(xí)調(diào)整) :節(jié)點(diǎn)自身的信息處理能力(數(shù)學(xué)模型)節(jié)點(diǎn)與節(jié)點(diǎn)之間的連接(拓?fù)浞治?互聯(lián)互通的強(qiáng)度, 應(yīng)決定整個(gè)人工神經(jīng)網(wǎng)絡(luò)的性能,(2)神經(jīng)輸入分為興奮性輸入和抑制性輸入兩種,(6)神經(jīng)本身是非時(shí)變的,突觸延遲和突觸強(qiáng)度都是恒定的。 (3)神經(jīng)元具有空間匹配特性和閾值特性,(4)神經(jīng)元輸入和輸出之間有一定的時(shí)滯,主要依賴于突觸延長(zhǎng),(5)忽略時(shí)間匹配作用,模型的6點(diǎn)假設(shè):29,假設(shè)1 :多輸入單輸出

12、,就像生物神經(jīng)元有很多激勵(lì)輸入一樣, 人工神經(jīng)元也應(yīng)該有很多輸入信號(hào)圖,各個(gè)輸入的大小用確定數(shù)值xi表示,它們向云同步輸入神經(jīng)元j,神經(jīng)元的單輸出用oj表示。 30、假設(shè)2 :輸入類型的興奮性和抑制性,生物神經(jīng)元具有不同的突觸強(qiáng)度,它對(duì)輸入的影響是一些輸入在神經(jīng)元的脈沖輸出過程中發(fā)揮的作用比其他輸入更重要。 在圖中,每個(gè)神經(jīng)元的輸入都有權(quán)重系數(shù)wij,稱為權(quán)重值,其正負(fù)模擬生物神經(jīng)元中突觸的興奮和抑制,其大小表示突觸不同的連接強(qiáng)度。31、假設(shè)3 :作為空間匹配特性和閾值特性、ANN的基本處理單元針織面料,所有輸入信號(hào)都被匹配,并且在每個(gè)輸入的作用總效果圖中,組合輸入信號(hào)的“總和”被示出,以對(duì)應(yīng)

13、于生物神經(jīng)元的膜電位。 神經(jīng)元是否被激活取決于某一閾值水平。 即,僅當(dāng)其輸入總和超過閾值時(shí),神經(jīng)元被激活而產(chǎn)生脈沖,否則神經(jīng)元不產(chǎn)生輸出信號(hào)。 神經(jīng)元的輸出,圖中人工神經(jīng)元的輸出也和生物神經(jīng)元一樣只有一個(gè),如果用oj表示神經(jīng)元的輸出,輸出和輸入的對(duì)應(yīng)關(guān)系可以用圖中某些非線形函數(shù)表示。、33、神經(jīng)元模型圖、34、4.2.1人工神經(jīng)元的數(shù)學(xué)模型、人工神經(jīng)元模擬生物神經(jīng)元的一次特性,具有生物神經(jīng)元的6個(gè)特征,一個(gè)人工神經(jīng)元一般有多個(gè)輸入和一個(gè)輸出,一個(gè)人工神經(jīng)元具有一個(gè)轉(zhuǎn)移函數(shù)(不同的轉(zhuǎn)移函數(shù)對(duì)應(yīng)于不同的網(wǎng)絡(luò),也決定了網(wǎng)絡(luò)的用途的Tj神經(jīng)元j的從閾值wij神經(jīng)元I到j(luò)的突觸耦合系數(shù)或權(quán)重值f ()神

14、經(jīng)元轉(zhuǎn)移函數(shù)。 為了簡(jiǎn)化,(4. 1)、36,設(shè)4. 1上式中的沖觸延遲為單位時(shí)間,式(4. 1)可以寫成4.2式。 上式所述的神經(jīng)元數(shù)學(xué)模型全面表現(xiàn)了神經(jīng)元模型的6點(diǎn)假設(shè)。 在此,輸入xi的下標(biāo)I=1,2,n,輸出oj的下標(biāo)j表示神經(jīng)元模型假定(1)中的“多輸入單輸出”。加權(quán)wij的正負(fù)表示假定(2)中的“突觸的興奮和抑制”。 Tj表示假設(shè)(3)中神經(jīng)元的“閾值”的“輸入總和”多被稱為神經(jīng)元在時(shí)刻t的網(wǎng)絡(luò)輸入,用(4. 2)、37、(4.3)、netj=WjTX、wj=(w1w2wn)tx=(x1w2wn )這樣的式子表示netj(t )體現(xiàn)了神經(jīng)元j的空間匹配特性,不考慮時(shí)間匹配,netj

15、-Tj0時(shí),神經(jīng)元被激活。 oj(t 1)和xI(t之間的單位時(shí)差表示所有神經(jīng)元具有相同的一定的動(dòng)作節(jié)奏,與假設(shè)(4)的“突觸延長(zhǎng)”對(duì)應(yīng)的wij表示假設(shè)(6)中神經(jīng)元的“非時(shí)變”,而與時(shí)間無(wú)關(guān)。 為了簡(jiǎn)單起見,在以后使用式(2.3)的情況下,大多省略其中的(t )。 式(2.3)還可以表示為權(quán)向量Wj和輸入向量x之間的點(diǎn)乘積WTX。 其中,Wj和x都是列向量,被定義為Wj=(w1 w2 wn)T、X=(x1 x2 xn)T,如果設(shè)x0=-1、w0=Tj,則-Tj=x0w0 神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用不同的轉(zhuǎn)變函數(shù)使神經(jīng)元具有不同的信息處理特性。 神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三個(gè)因素之一,反映了神經(jīng)元輸出與其活性狀態(tài)的關(guān)系,最常用的轉(zhuǎn)變函數(shù)有四種形式。 41,(1)閾值型轉(zhuǎn)移函數(shù),1 x0 f(x)=(4.7) 0 x0,人工神經(jīng)元的轉(zhuǎn)移函數(shù),單位階梯函數(shù),硬切片函數(shù),42,(2)非線性轉(zhuǎn)移函數(shù),還被稱為人工神經(jīng)元的轉(zhuǎn)移函數(shù)的非線性轉(zhuǎn)移函數(shù),也被稱為sigmoid,簡(jiǎn)稱為s型特征是由于函數(shù)本身及其導(dǎo)函數(shù)連續(xù),在處理上十分便利。 s型函數(shù)分為單極性和雙極性兩種。44、(3)段線性轉(zhuǎn)移函數(shù)、0 x0 f(x)=cx 0 xxc

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論