版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、關(guān)于神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)建模模型及算法簡介第一張,PPT共九十七頁,創(chuàng)作于2022年6月一、引例 1981年生物學(xué)家格若根(W Grogan)和維什(WWirth)發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)他們測(cè)量了這兩類蚊子每個(gè)個(gè)體的翼長和觸角長,數(shù)據(jù)如下:翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼長 觸角長 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00
2、 1.28 Apf1.96 1.30 Apf1.74 1.36 Af第二張,PPT共九十七頁,創(chuàng)作于2022年6月問:若抓到三只新的蚊子,它們的觸角長和翼長分別為(1.24,1.80); (1.28,1.84);(1.40,2.04)問它們應(yīng)分別屬于哪一個(gè)種類? 把翼長作縱坐標(biāo),觸角長作橫坐標(biāo);那么每個(gè)蚊子的翼長和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中 6個(gè)蚊子屬于 APf類;用黑點(diǎn)“”表示;9個(gè)蚊子屬 Af類;用小圓圈“?!北硎镜玫降慕Y(jié)果見圖1 圖1飛蠓的觸角長和翼長 一、引例 1989年美國大學(xué)生數(shù)學(xué)建模問題第三張,PPT共九十七頁,創(chuàng)作于2022年6月思路:例如;取A(1.44,2.10)和
3、B(1.10,1.16),過A B兩點(diǎn)作一條直線: y 1.47x - 0.017其中x表示觸角長;y表示翼長 分類規(guī)則:設(shè)一個(gè)蚊子的數(shù)據(jù)為(x, y) 如果y1.47x - 0.017,則判斷蚊子屬Apf類; 如果y1.47x - 0.017;則判斷蚊子屬Af類 一、引例 作一直線將兩類飛蠓分開第四張,PPT共九十七頁,創(chuàng)作于2022年6月分類結(jié)果:(1.24,1.80),(1.28,1.84)屬于Af類;(1.40,2.04)屬于 Apf類圖2 分類直線圖 一、引例 第五張,PPT共九十七頁,創(chuàng)作于2022年6月缺陷:根據(jù)什么原則確定分類直線? 若取A=(1.46,2.10), B=(1.
4、1,1.6)不變,則分類直線變?yōu)?y=1.39x+0.071分類結(jié)果變?yōu)椋?(1.24,1.80), (1.40,2.04) 屬于Apf類; (1.28,1.84)屬于Af類 哪一分類直線才是正確的呢? 一、引例 A(1.44,2.10)第六張,PPT共九十七頁,創(chuàng)作于2022年6月再如,如下的情形能不能用分類直線的辦法呢? 新思路:將問題看作一個(gè)系統(tǒng),飛蠓的數(shù)據(jù)作為輸入,飛蠓的類型作為輸出,研究輸入與輸出的關(guān)系。一、引例 方法:馬氏距離判別法、Bayes判別法等第七張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)模型第八張,PPT共九十七頁,創(chuàng)作于2022年6月前言 所謂人工神經(jīng)網(wǎng)絡(luò)就
5、是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。 粗略地講,大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。每個(gè)神經(jīng)元可看作是一個(gè)小的處理單元,這些神經(jīng)元按某種方式連接起來,形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。 這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱,按外部的激勵(lì)信號(hào)做自適應(yīng)變化,而每個(gè)神經(jīng)元又隨著所接收到的多個(gè)接收信號(hào)的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。第九張,PPT共九十七頁,創(chuàng)作于2022年6月生物神經(jīng)網(wǎng)基本工作機(jī)制:一個(gè)神經(jīng)元有兩種狀態(tài)興奮和抑制平時(shí)處于抑制狀態(tài)的神經(jīng)元,當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號(hào)時(shí),多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號(hào)會(huì)被加權(quán),起興奮作用的信號(hào)為正,起
6、抑制作用的信號(hào)為負(fù)。如果疊加總量超過某個(gè)閾值,神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài),發(fā)出輸出脈沖,并由軸突的突觸傳遞給其它神經(jīng)元。第十張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)第十一張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)信息輸入信息傳播與處理信息傳播與處理(整合)信息傳播與處理結(jié)果:興奮與抑制信息輸出第十二張,PPT共九十七頁,創(chuàng)作于2022年6月神經(jīng)網(wǎng)絡(luò)的基本思想人工神經(jīng)元的基本構(gòu)成:第十三張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元第十四張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元信息輸入第十五張,PPT共
7、九十七頁,創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元信息傳播與處理:加權(quán)求和第十六張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元信息傳播第十七張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元信息傳播與處理第十八張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)元信息處理單元信息輸出第十九張,PPT共九十七頁,創(chuàng)作于2022年6月神經(jīng)元的傳遞函數(shù)f(X)是激發(fā)函數(shù);它可以是線性函數(shù),也可以是非線性函數(shù)例如,若取激發(fā)函數(shù)為符號(hào)函數(shù) 第二十張,PPT共九十七頁,創(chuàng)作于2022年6月神經(jīng)元的傳遞函數(shù)S型傳遞函數(shù)第二十一張,PPT共九十七頁,創(chuàng)作于2022年6月注:一個(gè)
8、神經(jīng)元含有與輸入向量維數(shù)相同個(gè)數(shù)的權(quán)系數(shù),若將閾值看作是一個(gè)權(quán)系數(shù),-1是一個(gè)固定的輸入,另有n-1個(gè)正常的輸入,則式也可表示為: 參數(shù)識(shí)別:假設(shè)函數(shù)形式已知,則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。 ojx1-1x2第二十二張,PPT共九十七頁,創(chuàng)作于2022年6月簡單原理 人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認(rèn)識(shí)過程而開發(fā)出的一種算法。 假如我們現(xiàn)在只有一些輸入和相應(yīng)的輸出,而對(duì)如何由輸入得到輸出的機(jī)理并不清楚,那么我們可以把輸入與輸出之間的未知過程看成是一個(gè)“網(wǎng)絡(luò)”,通過不斷地給這個(gè)網(wǎng)絡(luò)輸入和相應(yīng)的輸出來“訓(xùn)練”這個(gè)網(wǎng)絡(luò),網(wǎng)絡(luò)根據(jù)輸入和輸出不斷地調(diào)節(jié)自己的各節(jié)點(diǎn)之間的權(quán)值來滿足輸入和輸出。這樣,
9、當(dāng)訓(xùn)練結(jié)束后,我們給定一個(gè)輸入,網(wǎng)絡(luò)便會(huì)根據(jù)自己已調(diào)節(jié)好的權(quán)值計(jì)算出一個(gè)輸出。這就是神經(jīng)網(wǎng)絡(luò)的簡單原理。第二十三張,PPT共九十七頁,創(chuàng)作于2022年6月神經(jīng)網(wǎng)絡(luò)的作用網(wǎng)絡(luò)說話人們把一本教科書用網(wǎng)絡(luò)把它讀出來(當(dāng)然需要通過光電,電聲的信號(hào)轉(zhuǎn)換);開始網(wǎng)絡(luò)說的話像嬰兒學(xué)語那樣發(fā)出“巴、巴、巴”的聲響;但經(jīng)過BP算法長時(shí)間的訓(xùn)練竟能正確讀出英語課本中 90的詞匯從此用神經(jīng)網(wǎng)絡(luò)來識(shí)別語言和圖象形成一個(gè)新的熱潮。第二十四張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)基本特點(diǎn) (1)可處理非線性 (2)并行結(jié)構(gòu)對(duì)神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元來說;其運(yùn)算都是同樣的這樣的結(jié)構(gòu)最便于計(jì)算機(jī)并行處理 (3)
10、具有學(xué)習(xí)和記憶能力一個(gè)神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物;學(xué)習(xí)某一種規(guī)律或規(guī)則(4)對(duì)數(shù)據(jù)的可容性大在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)(如好、中、差、及格、不及格等)(5)神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實(shí)現(xiàn)如美國用 256個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識(shí)別手寫體的郵政編碼第二十五張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類:層次型結(jié)構(gòu):將神經(jīng)元按功能分成若干層,如輸入層、中間層(隱層)和輸出層,各層順序相連單純型層次型結(jié)構(gòu)第二十六張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)內(nèi)部的信息流向分類:前饋型網(wǎng)絡(luò):網(wǎng)絡(luò)信息處理的方向
11、是從輸入層到各隱層再到輸出層逐層進(jìn)行前饋型網(wǎng)絡(luò)第二十七張,PPT共九十七頁,創(chuàng)作于2022年6月神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 關(guān)鍵在于如何決定每一神經(jīng)元的權(quán)值。 常用的學(xué)習(xí)規(guī)則有以下幾種:Hebb規(guī)則Delta規(guī)則 (最小均方差規(guī)則 )反向傳播學(xué)習(xí)方法Kohonen學(xué)習(xí)規(guī)則(用于無指導(dǎo)訓(xùn)練網(wǎng)絡(luò) )Grosberg學(xué)習(xí)方法第二十八張,PPT共九十七頁,創(chuàng)作于2022年6月神經(jīng)網(wǎng)絡(luò)常用模型共70多種,具有代表性的有:(1)感知器(Perceptron) (2)多層前饋(BP)網(wǎng)絡(luò) (3)Hopfield網(wǎng)絡(luò) (優(yōu)化)(4)Boltzmann機(jī)(在BP中加入噪聲) (5)雙向聯(lián)想記憶網(wǎng)絡(luò)(快速存儲(chǔ)) 第二十九
12、張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的,我們可以從一個(gè)最簡單的網(wǎng)絡(luò)來剖析,一定程度上打開這個(gè)黑匣子。1958年,美國心理學(xué)家Frank Rosenblatt提出一種具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò),稱為Perceptron,即感知器。感知器是模擬人的視覺接受環(huán)境信息,并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。單層感知器的結(jié)構(gòu)與功能都非常簡單,以至于在解決實(shí)際問題時(shí)很少采用,但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義,是研究其它網(wǎng)絡(luò)的基礎(chǔ),常作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點(diǎn)。第三十張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型(單
13、層前向神經(jīng)網(wǎng)絡(luò))j=1,2,m 輸出類別指示輸入樣本第三十一張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型凈輸入:輸出為:Tj為閥值,sgn為符號(hào)函數(shù)第三十二張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的:設(shè)輸入向量X=(x1 ,x2)T輸出:則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線ojx1-1x2第三十三張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的:則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線(Why?) w1j x1+w2j x2 T
14、j = 0 w1j x1 = Tj - w2j x2 x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c第三十四張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的:這樣的話,我們就可以得到 第三十五張,PPT共九十七頁,創(chuàng)作于2022年6月思路:例如;取A(1.44,2.10)和 B(1.10,1.16),過A B兩點(diǎn)作一條直線: y 1.47x - 0.017其中x表示觸角長;y表示翼長 分類規(guī)則:設(shè)一個(gè)蚊子的數(shù)據(jù)為(x, y) 如果y1.47x - 0.017,則判斷蚊子屬Apf類;
15、如果y1.47x - 0.017;則判斷蚊子屬Af類 一、引例 作一直線將兩類飛蠓分開第三十六張,PPT共九十七頁,創(chuàng)作于2022年6月人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型一個(gè)最簡單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量(包含了閾值)中,由權(quán)向量確定的分類判決界面將輸入模式分為兩類。ojx1-1x2單層感知器的局限性是:僅對(duì)線性可分問題具有分類能力。第三十七張,PPT共九十七頁,創(chuàng)作于2022年6月神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)第一次熱潮(40-60年代未) 1943年,美國心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitt 在提出了一個(gè)簡單的神經(jīng)元模型,即MP模型。
16、1958年,F(xiàn).Rosenblatt等研制出了感知機(jī)(Perceptron)。(2)低潮(70-80年代初):(3)第二次熱潮 1982年,美國物理學(xué)家J.J.Hopfield提出Hopfield模型,它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò),他解決問題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過程,這是符號(hào)邏輯處理方法所不具備的性質(zhì). 1987年首屆國際ANN大會(huì)在圣地亞哥召開,國際ANN聯(lián)合會(huì)成立,創(chuàng)辦了多種ANN國際刊物。第三十八張,PPT共九十七頁,創(chuàng)作于2022年6月經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP (Error Back Proragation,BP)誤差反向傳播算法它是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)訓(xùn)練算法,
17、是靠調(diào)節(jié)各層的加權(quán),使網(wǎng)絡(luò)學(xué)會(huì)由輸入輸出對(duì)組成的訓(xùn)練組執(zhí)行優(yōu)化的方法是梯度下降法BP算法是使用非常廣泛的一種算法,最常用的轉(zhuǎn)移函數(shù)是Sigmoid函數(shù)第三十九張,PPT共九十七頁,創(chuàng)作于2022年6月梯度法考慮無約束問題, 其中函數(shù)f(x)一階連續(xù)可導(dǎo),梯度指對(duì)各個(gè)自變量的偏導(dǎo)數(shù)依次排列所成的向量。梯度法就是在點(diǎn)x處以f(x)的負(fù)梯度方向進(jìn)行搜索的一種優(yōu)化方法,其迭代公式,其中, 是從 出發(fā)的搜索方向,取最速下降方向第四十張,PPT共九十七頁,創(chuàng)作于2022年6月經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP 網(wǎng)絡(luò)模型輸入層隱層輸出層第四十一張,PPT共九十七頁,創(chuàng)作于2022年6月 網(wǎng)絡(luò)學(xué)習(xí)的目的是要使
18、網(wǎng)絡(luò)產(chǎn)生盡可能逼近理想的反應(yīng)。網(wǎng)絡(luò)受訓(xùn)練時(shí),不斷將網(wǎng)絡(luò)的輸出數(shù)據(jù)與理想數(shù)據(jù)相比較,并按學(xué)習(xí)規(guī)格改變權(quán)重,直到網(wǎng)絡(luò)的輸出數(shù)據(jù)對(duì)所有訓(xùn)練數(shù)據(jù)與理想輸出數(shù)據(jù)之差在要求的誤差范圍之內(nèi)。BP神經(jīng)網(wǎng)絡(luò)模型 簡單網(wǎng)絡(luò)第四十二張,PPT共九十七頁,創(chuàng)作于2022年6月經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法學(xué)習(xí)的過程:正向傳播:輸入樣本輸入層各隱層輸出層判斷是否轉(zhuǎn)入反向傳播階段:若輸出層的實(shí)際輸出與期望的輸出(教師信號(hào))不符誤差反傳誤差以某種形式在各層表示修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度 進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止第四十三張,PPT共九十七頁,創(chuàng)作于2022年6月假設(shè)有P個(gè)訓(xùn)練樣本,即有P個(gè)輸入輸出
19、對(duì)(Ip, Tp),p=1,P, 其中輸入向量為 目標(biāo)輸出向量為(理論上的) 網(wǎng)絡(luò)輸出向量為 (實(shí)際上的) 簡單網(wǎng)絡(luò)的B-P算法第四十四張,PPT共九十七頁,創(chuàng)作于2022年6月(p=1,P) (2) 通常理論與實(shí)際有誤差,網(wǎng)絡(luò)學(xué)習(xí)則是指不斷比較,并根據(jù)極小原則修改參數(shù)wij,使誤差平方和達(dá)最小:記Delta學(xué)習(xí)規(guī)則: (4) (3) 表示遞推一次的修改量,則有稱為學(xué)習(xí)的速率一般取值為0.10.3 簡單網(wǎng)絡(luò)的B-P算法記wij為從輸入向量的第j (j=1,m) 個(gè)分量到輸出向量的第i (i=1,n)個(gè)分量的權(quán)重。第四十五張,PPT共九十七頁,創(chuàng)作于2022年6月ipm= -1 , wim= (
20、第i個(gè)神經(jīng)元的閾值) (5)注:由(1) 式,第i個(gè)神經(jīng)元的輸出可表示為特別當(dāng)f是線性函數(shù)時(shí) (6)簡單網(wǎng)絡(luò)的B-P算法第四十六張,PPT共九十七頁,創(chuàng)作于2022年6月訓(xùn)練用的性能指標(biāo)為最小求E的最小值,只需考慮EP達(dá)到最小的遞推算法第四十七張,PPT共九十七頁,創(chuàng)作于2022年6月求E的最小值的梯度下降法就是Delta學(xué)習(xí)規(guī)則。第四十八張,PPT共九十七頁,創(chuàng)作于2022年6月多層前饋網(wǎng)絡(luò) (l)輸入層不計(jì)在層數(shù)之內(nèi),它有N0個(gè)神經(jīng)元設(shè)網(wǎng)絡(luò)共有L層;輸出層為第L層;第 k層有Nk個(gè)神經(jīng)元假設(shè): (2) 設(shè)表示第k層第i神經(jīng)元所接收的信息 wk(i,j) 表示從第k-1層第j個(gè)元到第k層第i
21、個(gè)元的權(quán)重, 表第k層第i個(gè)元的輸出 有些文獻(xiàn)將輸入層作為一層第四十九張,PPT共九十七頁,創(chuàng)作于2022年6月(3)設(shè)層與層間的神經(jīng)元都有信息交換(否則,可設(shè)它們之間的權(quán)重為零);但同一層的神經(jīng)元之間無信息傳輸 (4) 設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较颍灰虼朔Q為前向網(wǎng)絡(luò)沒有反向傳播信息 (5) 表示輸入的第j個(gè)分量 假設(shè): 第五十張,PPT共九十七頁,創(chuàng)作于2022年6月在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為:(7) 其中k(i)表示第k層第i個(gè)元的閾值. ,f為S函數(shù)第五十一張,PPT共九十七頁,創(chuàng)作于2022年6月定理 對(duì)于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò);設(shè)激發(fā)函數(shù)為S函數(shù);且指標(biāo)函
22、數(shù)取 則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí);其權(quán)重迭代公式為其中第五十二張,PPT共九十七頁,創(chuàng)作于2022年6月證明思路與簡單模型相同。不同的是這里具有隱層第五十三張,PPT共九十七頁,創(chuàng)作于2022年6月2層前饋神經(jīng)網(wǎng)絡(luò)單個(gè)神經(jīng)元節(jié)點(diǎn)第五十四張,PPT共九十七頁,創(chuàng)作于2022年6月反向一層傳播第五十五張,PPT共九十七頁,創(chuàng)作于2022年6月反向二層傳播某一隱層節(jié)點(diǎn)受所有輸出層節(jié)點(diǎn)影響第五十六張,PPT共九十七頁,創(chuàng)作于2022年6月B-P算法的學(xué)習(xí)過程如下:(1)選擇一組訓(xùn)練樣例,每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。(2)從訓(xùn)練樣例集中取一樣例,把輸入信息輸入到網(wǎng)絡(luò)中。(3)分別計(jì)
23、算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。(4)計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。反向傳播模型及其學(xué)習(xí)算法第五十七張,PPT共九十七頁,創(chuàng)作于2022年6月(5)從輸出層反向計(jì)算到第一個(gè)隱層,并按照某種能使誤差向減小方向發(fā)展的原則,調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。(6)對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)35的步驟,直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。 在以上的學(xué)習(xí)過程中,第(5)步是最重要的,如何確定一種調(diào)整連接權(quán)值的原則,使誤差沿著減小的方向發(fā)展,是B-P學(xué)習(xí)算法必須解決的問題。 反向傳播模型及其學(xué)習(xí)算法第五十八張,PPT共九十七頁,創(chuàng)作于2022年6月應(yīng)用 已知的兩類蚊子的數(shù)據(jù)如表1: 翼長 觸
24、角長 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af目標(biāo)值0.90.90.90.10.90.90.90.1 翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af目標(biāo)t0.10.10.10.10.10.10.1 BP采用S函數(shù),輸出不宜設(shè)為1或0,可設(shè)為0.9或0.1。第五十九張,PPT共九
25、十七頁,創(chuàng)作于2022年6月輸入數(shù)據(jù)有15個(gè)建模:兩層神經(jīng)網(wǎng)絡(luò)建立神經(jīng)網(wǎng)絡(luò)第六十張,PPT共九十七頁,創(chuàng)作于2022年6月規(guī)定目標(biāo)為: 當(dāng)t(1)=0.9 時(shí)表示屬于Apf類,t(2)=0.1表示屬于Af類。設(shè)兩個(gè)權(quán)重系數(shù)矩陣為:為閾值 其中第六十一張,PPT共九十七頁,創(chuàng)作于2022年6月分析如下: 為第一層的輸出,同時(shí)作為第二層的輸入。其中, 為閾值, 為傳遞函數(shù)若令 (作為一固定輸入) (閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)) 第六十二張,PPT共九十七頁,創(chuàng)作于2022年6月則有: 取傳遞函數(shù)為= 則同樣,取 第六十三張,PPT共九十七頁,創(chuàng)作于2022年6月(1)隨機(jī)給出兩個(gè)權(quán)矩陣的初
26、值;例如用MATLAB軟件時(shí)可以用以下語句: 令p=0具體算法如下: =rand(2,3); =rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 =第六十四張,PPT共九十七頁,創(chuàng)作于2022年6月?。?)計(jì)算 因?yàn)?所以 L=2計(jì)算 第六十五張,PPT共九十七頁,創(chuàng)作于2022年6月(5) 計(jì)算 和 j=1,2,3, i=1,2,3, j=1,2,3(4)取 (或其他正數(shù),可調(diào)整大?。?第六十六張,PPT共九十七頁,創(chuàng)作于2022年6月(6) p=p+1,轉(zhuǎn)(2) 注:僅計(jì)算一圈(p=1,2,15)是不夠的,直到當(dāng)各權(quán)重變化很小時(shí)停止,本例中,共計(jì)算了147圈,迭代了2205
27、次。最后結(jié)果是:第六十七張,PPT共九十七頁,創(chuàng)作于2022年6月如何分類?規(guī)定目標(biāo)為: 當(dāng)t(1)=0.9 時(shí)表示屬于叉類,t(2)=0.1表示屬于圓點(diǎn)類。22對(duì)訓(xùn)練樣本第六十八張,PPT共九十七頁,創(chuàng)作于2022年6月(1)隨機(jī)給出兩個(gè)權(quán)矩陣的初值;例如用MATLAB軟件時(shí)可以用以下語句: 令p=0具體算法如下: =rand(2,3); =rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 =第六十九張,PPT共九十七頁,創(chuàng)作于2022年6月?。?)計(jì)算 因?yàn)?所以 L=2計(jì)算 第七十張,PPT共九十七頁,創(chuàng)作于2022年6月(5) 計(jì)算 和 j=1,2,3, i=1,2,3
28、, j=1,2,3(4)取 (或其他正數(shù),可調(diào)整大小) 第七十一張,PPT共九十七頁,創(chuàng)作于2022年6月直到當(dāng)各權(quán)重變化很小時(shí)停止,本例中,共計(jì)算了200圈,迭代了4400次。最后結(jié)果是:第七十二張,PPT共九十七頁,創(chuàng)作于2022年6月 數(shù)學(xué)建模中有很多題目都可以用神經(jīng)網(wǎng)絡(luò)加以解決。 比較典型的題目有:DNA序列分類題(2000年全國賽A題),癌癥判斷題(2001年北京大學(xué)數(shù)學(xué)建模競賽),乳房癌的診斷題(2001年全國大學(xué)生數(shù)學(xué)建模夏令營C題)神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用第七十三張,PPT共九十七頁,創(chuàng)作于2022年6月 DNA序列模式分類問題 假定已知兩組人工已分類的DNA序列(20個(gè)已知
29、類別的人工制造的序列),其中序列標(biāo)號(hào)110 為A類,11-20為B類。要求我們從中提取已經(jīng)分類了的DNA序列片段的特征和構(gòu)造分類方法,并且還要衡量所用分類方法的好壞,從而構(gòu)造或選擇一種較好的分類方法。測(cè)試對(duì)象是20個(gè)未標(biāo)明類別的人工序列(標(biāo)號(hào)2140)和182個(gè)自然DNA序列。例如A類: 第七十四張,PPT共九十七頁,創(chuàng)作于2022年6月a1=aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg;b1=gttagatttaac
30、gttttttatggaatttatggaattataaatttaaaaatttatattttttaggtaagtaatccaacgtttttattactttttaaaattaaatatttatt;我們用前20組數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,再用訓(xùn)練好的網(wǎng)絡(luò)來計(jì)算未知數(shù)據(jù),便能得到分類的結(jié)果。第七十五張,PPT共九十七頁,創(chuàng)作于2022年6月 文件給出了一個(gè)114個(gè)基因, 60個(gè)人的基因表達(dá)水平的樣本. 其中前20個(gè)是癌癥病人的基因表達(dá)水平的樣本(其中還可能有子類), 其后的是20個(gè)正常人的基因表達(dá)信息樣本, 其余的20個(gè)是待檢測(cè)的樣本(未知它們是否正常). (1).試設(shè)法找出描述癌癥與正常樣本在基因表
31、達(dá)水平上的區(qū)別, 建立數(shù)學(xué)模型,及識(shí)別方法,去預(yù)測(cè)待檢測(cè)樣本是癌癥還是正常樣本. 癌癥判斷題(2001年北京大學(xué)數(shù)學(xué)建模競賽)我們用前40組數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,再用訓(xùn)練好的網(wǎng)絡(luò)來計(jì)算后20組數(shù)據(jù),便能得到分類的結(jié)果。第七十六張,PPT共九十七頁,創(chuàng)作于2022年6月神經(jīng)的網(wǎng)絡(luò)應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 語音識(shí)別語音識(shí)別娃娃圖像識(shí)別與理解人臉檢測(cè)第七十七張,PPT共九十七頁,創(chuàng)作于2022年6月(1)采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且,為監(jiān)控訓(xùn)練(學(xué)習(xí))過程使之不發(fā)生“過擬合”和評(píng)價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化能力,必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣
32、本(10%以上)和測(cè)試樣本(10%以上)3部分。(2) 盡量獲取足夠多的樣本,它的多少直接關(guān)系到所建模型的可靠性。建議第七十八張,PPT共九十七頁,創(chuàng)作于2022年6月(3) 建模時(shí)盡量減少隱含層神經(jīng)元的個(gè)數(shù)。由于隱含層神經(jīng)元個(gè)數(shù)的確定是憑經(jīng)驗(yàn)的,而個(gè)數(shù)的多少直接關(guān)系到網(wǎng)絡(luò)的性能。個(gè)數(shù)太少,網(wǎng)絡(luò)容易陷入局部極小值;太多,則網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果不穩(wěn)定。為此隱含層神經(jīng)元個(gè)數(shù)的確定利用“試錯(cuò)法”來實(shí)現(xiàn),即先給定一個(gè)較小的值,根據(jù)訓(xùn)練的結(jié)果逐漸增加,這樣可找到適合該模型隱含層神經(jīng)元個(gè)數(shù)的最小值,從而提高了網(wǎng)絡(luò)的穩(wěn)定性。(4) 將神經(jīng)網(wǎng)絡(luò)與其它方法(如遺傳算法)相結(jié)合。由于每種方法都有其各自的特點(diǎn),多種方法的
33、結(jié)合可改善單一方法所存在的缺陷。第七十九張,PPT共九十七頁,創(chuàng)作于2022年6月前饋網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)經(jīng)驗(yàn)公式 分類數(shù)特征向量維數(shù)+1/2分類數(shù)(特征向量維數(shù)2+特征向量維數(shù))-1隱層節(jié)點(diǎn)數(shù)= 分類數(shù)+特征向量維數(shù)第八十張,PPT共九十七頁,創(chuàng)作于2022年6月遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類1、學(xué)習(xí)樣本的獲取2、網(wǎng)絡(luò)系統(tǒng)的確定3、網(wǎng)絡(luò)的訓(xùn)練4、圖像的分類第八十一張,PPT共九十七頁,創(chuàng)作于2022年6月遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)樣本的獲取 類別:森林、峽谷、河流 學(xué)習(xí)樣本:每個(gè)類別人工選取64個(gè) 特征向量:第八十二張,PPT共九十七頁,創(chuàng)作于2022年6月遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)系統(tǒng)的確定
34、 網(wǎng)絡(luò)層數(shù):一般取為2層 輸入節(jié)點(diǎn):與特征個(gè)數(shù)相同,取3 隱節(jié)點(diǎn)數(shù)量:根據(jù)經(jīng)驗(yàn)公式取為5 輸出節(jié)點(diǎn):分為3類,取3第八十三張,PPT共九十七頁,創(chuàng)作于2022年6月遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類隱層節(jié)點(diǎn)數(shù)的計(jì)算 分類數(shù)特征向量維數(shù)+1/2分類數(shù)(特征向量維數(shù)2+特征向量維數(shù))-1隱層節(jié)點(diǎn)數(shù)= 分類數(shù)+特征向量維數(shù)向上取整,保證分類性能!第八十四張,PPT共九十七頁,創(chuàng)作于2022年6月遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類圖像信息圖像變換與特征提取特征數(shù)據(jù)規(guī)格化分類判決圖像分類結(jié)果神經(jīng)網(wǎng)絡(luò)圖像分類過程經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)第八十五張,PPT共九十七頁,創(chuàng)作于2022年6月MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用 在網(wǎng)絡(luò)訓(xùn)
35、練過程中使用的是Matlab 7.0 for Windows軟件,對(duì)于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以使用Neural Networks Toolbox for Matlab。美國的Mathwork公司推出的MATLAB軟件包既是一種非常實(shí)用有效的科研編程軟件環(huán)境,又是一種進(jìn)行科學(xué)和工程計(jì)算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱,可以大大方便權(quán)值訓(xùn)練,減少訓(xùn)練程序工作量,有效的提高工作效率. 第八十六張,PPT共九十七頁,創(chuàng)作于2022年6月MATLAB交互界面第八十七張,PPT共九十七頁,創(chuàng)作于2022年6月BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本
36、功能 函 數(shù) 名功 能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對(duì)數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)第八十八張,PPT共九十七頁,創(chuàng)作于2022年6月 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能 建立一個(gè)前向BP網(wǎng)絡(luò)格式 net = newff(PR,S1 S2.SN1,TF1 TF2.TFN1,BTF,BLF,PF)說明 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò);PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣;S1 S2SNl表示網(wǎng)絡(luò)隱含層和輸
37、出層神經(jīng)元的個(gè)數(shù);TFl TF2TFN1表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù),默認(rèn)為tansig;BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù),默認(rèn)為trainlm;BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù),默認(rèn)為learngdm;PF表示性能數(shù)默認(rèn)為mse ,誤差 。 第八十九張,PPT共九十七頁,創(chuàng)作于2022年6月 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)給定4組學(xué)習(xí)數(shù)據(jù)為輸入-1 -1 2 2;0 5 0 5,理想輸出-1 -1 1 1,試建立一個(gè)2層前向神經(jīng)網(wǎng)絡(luò),第一層(隱層)由3個(gè)神經(jīng)元組成且用tansig函數(shù),第二層用purelin函數(shù)。學(xué)習(xí)規(guī)則為traind。輸入數(shù)據(jù)得PR= -1 2;0 5,隱層和輸出層分別有3
38、個(gè)和1個(gè)神經(jīng)元, S1 S2= 3 1,Net=newff(PR,S1 S2,tansig,purelin,traingd)P= -1 -1 2 2;0 5 0 5,t= -1 -1 1 1net,tr=train(net,p,t); a=sim(net,p)輸出命令第九十張,PPT共九十七頁,創(chuàng)作于2022年6月輸入向量 P = 0 1 2 3 4 5 6 7 8 9 10;期望輸出 T = 0 1 2 3 4 3 2 1 2 3 4;例:net = newff ( 0 10, 5 1, tansig, purelin );Y = sim(net,P);plot(P,T,P,Y,o)創(chuàng)建兩層的BP網(wǎng)絡(luò)第九十一張,PPT共九十七頁,創(chuàng)作于2022年6月Y = -2.3431 -2.7532 -2.4510 -1.2784 -0.8590 -0.2981 0.2495 0.4811 1.0375 1.2268 1.4232T = 0 1 2 3 4 3 2 1 2 3 4; % 期望輸出第一種情況的輸出結(jié)果:誤差很大!未訓(xùn)練,非線性映射能力差。
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 《手機(jī)怎么看電影》課件
- 單位管理制度展示合集【人力資源管理篇】十篇
- 消防安全知識(shí)培訓(xùn)課件
- 2025關(guān)于大件運(yùn)輸合同
- 中國房地產(chǎn)+金融行業(yè)發(fā)展前景預(yù)測(cè)及投資戰(zhàn)略規(guī)劃研究報(bào)告
- 機(jī)動(dòng)車綜合性能檢測(cè)站項(xiàng)目可行性研究報(bào)告之歐陽德創(chuàng)編-圖文
- 楔塊行業(yè)行業(yè)發(fā)展趨勢(shì)及投資戰(zhàn)略研究分析報(bào)告
- 2025公司與公司借款合同書
- 無水級(jí)磷酸二氫鉀行業(yè)行業(yè)發(fā)展趨勢(shì)及投資戰(zhàn)略研究分析報(bào)告
- 鈑金金屬鍛件項(xiàng)目可行性研究報(bào)告
- 2024年執(zhí)業(yè)醫(yī)師考試-中醫(yī)執(zhí)業(yè)醫(yī)師考試近5年真題集錦(頻考類試題)帶答案
- 2024-2030年中國真空滅弧室行業(yè)市場(chǎng)發(fā)展趨勢(shì)與前景展望戰(zhàn)略分析報(bào)告
- 全國計(jì)算機(jī)一級(jí)考試題庫(附答案)
- 【飛科電器公司基于杜邦分析法的財(cái)務(wù)分析案例(7700字論文)】
- 廣東省深圳市(2024年-2025年小學(xué)四年級(jí)語文)統(tǒng)編版期末考試(上學(xué)期)試卷及答案
- 兒童呼吸道合胞病毒感染臨床診治試題
- 2021-2022學(xué)年廣東省廣州市花都區(qū)六年級(jí)(上)期末英語試卷
- 服務(wù)基層行資料(藥品管理)
- 2024年中考數(shù)學(xué)壓軸題:圓與相似及三角函數(shù)綜合問題(教師版含解析)
- 安徽省2023-2024學(xué)年七年級(jí)上學(xué)期期末數(shù)學(xué)試題(原卷版)
- A股上市與借殼上市詳細(xì)流程圖
評(píng)論
0/150
提交評(píng)論