神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)建模模型及算法簡介

關(guān)于神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)建模模型及算法簡介第一頁，共九十七頁，2022年，8月28日一、引例

1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)．他們測量了這兩類蚊子每個(gè)個(gè)體的翼長和觸角長，數(shù)據(jù)如下：翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af第二頁，共九十七頁，2022年，8月28日問：若抓到三只新的蚊子，它們的觸角長和翼長分別為(1.24,1.80);

(1.28，1.84)；（1.40，2.04）．問它們應(yīng)分別屬于哪一個(gè)種類？

把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個(gè)蚊子的翼長和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中6個(gè)蚊子屬于APf類；用黑點(diǎn)“·”表示；9個(gè)蚊子屬Af類；用小圓圈“。”表示．得到的結(jié)果見圖1圖1飛蠓的觸角長和翼長一、引例

1989年美國大學(xué)生數(shù)學(xué)建模問題第三頁，共九十七頁，2022年，8月28日思路：例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點(diǎn)作一條直線：

y＝1.47x-0.017其中x表示觸角長；y表示翼長．

分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x,y）如果y≥1.47x-0.017，則判斷蚊子屬Apf類；

如果y＜1.47x-0.017；則判斷蚊子屬Af類．

一、引例

作一直線將兩類飛蠓分開第四頁，共九十七頁，2022年，8月28日分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．圖2分類直線圖

一、引例

第五頁，共九十七頁，2022年，8月28日?缺陷：根據(jù)什么原則確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?/p>

(1.24,1.80)，

(1.40,2.04)屬于Apf類；

(1.28,1.84)屬于Af類

哪一分類直線才是正確的呢？

一、引例

A＝（1.44，2.10）第六頁，共九十七頁，2022年，8月28日再如，如下的情形能不能用分類直線的辦法呢？

新思路：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。一、引例

方法：馬氏距離判別法、Bayes判別法等第七頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)模型第八頁，共九十七頁，2022年，8月28日前言

所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。每個(gè)神經(jīng)元可看作是一個(gè)小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵(lì)信號(hào)做自適應(yīng)變化，而每個(gè)神經(jīng)元又隨著所接收到的多個(gè)接收信號(hào)的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。第九頁，共九十七頁，2022年，8月28日生物神經(jīng)網(wǎng)基本工作機(jī)制：一個(gè)神經(jīng)元有兩種狀態(tài)——興奮和抑制平時(shí)處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號(hào)時(shí)，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號(hào)會(huì)被加權(quán)，起興奮作用的信號(hào)為正，起抑制作用的信號(hào)為負(fù)。如果疊加總量超過某個(gè)閾值，神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。第十頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)第十一頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)信息輸入信息傳播與處理信息傳播與處理（整合）信息傳播與處理結(jié)果：興奮與抑制信息輸出第十二頁，共九十七頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)的基本思想人工神經(jīng)元的基本構(gòu)成：第十三頁，共九十七頁，2022年，8月28日人工神經(jīng)元－信息處理單元第十四頁，共九十七頁，2022年，8月28日人工神經(jīng)元－信息處理單元信息輸入第十五頁，共九十七頁，2022年，8月28日人工神經(jīng)元－信息處理單元信息傳播與處理：加權(quán)求和第十六頁，共九十七頁，2022年，8月28日人工神經(jīng)元－信息處理單元信息傳播第十七頁，共九十七頁，2022年，8月28日人工神經(jīng)元－信息處理單元信息傳播與處理第十八頁，共九十七頁，2022年，8月28日人工神經(jīng)元－信息處理單元信息輸出第十九頁，共九十七頁，2022年，8月28日神經(jīng)元的傳遞函數(shù)f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)．例如，若取激發(fā)函數(shù)為符號(hào)函數(shù)

第二十頁，共九十七頁，2022年，8月28日神經(jīng)元的傳遞函數(shù)S型傳遞函數(shù)第二十一頁，共九十七頁，2022年，8月28日注：一個(gè)神經(jīng)元含有與輸入向量維數(shù)相同個(gè)數(shù)的權(quán)系數(shù)，若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的輸入，另有n-1個(gè)正常的輸入，則式也可表示為：

‘

參數(shù)識(shí)別：假設(shè)函數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。

ojx1-1x2第二十二頁，共九十七頁，2022年，8月28日簡單原理

人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認(rèn)識(shí)過程而開發(fā)出的一種算法。假如我們現(xiàn)在只有一些輸入和相應(yīng)的輸出，而對如何由輸入得到輸出的機(jī)理并不清楚，那么我們可以把輸入與輸出之間的未知過程看成是一個(gè)“網(wǎng)絡(luò)”，通過不斷地給這個(gè)網(wǎng)絡(luò)輸入和相應(yīng)的輸出來“訓(xùn)練”這個(gè)網(wǎng)絡(luò)，網(wǎng)絡(luò)根據(jù)輸入和輸出不斷地調(diào)節(jié)自己的各節(jié)點(diǎn)之間的權(quán)值來滿足輸入和輸出。這樣，當(dāng)訓(xùn)練結(jié)束后，我們給定一個(gè)輸入，網(wǎng)絡(luò)便會(huì)根據(jù)自己已調(diào)節(jié)好的權(quán)值計(jì)算出一個(gè)輸出。這就是神經(jīng)網(wǎng)絡(luò)的簡單原理。第二十三頁，共九十七頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)的作用網(wǎng)絡(luò)說話人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要通過光電，電聲的信號(hào)轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學(xué)語那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過B－P算法長時(shí)間的訓(xùn)練竟能正確讀出英語課本中90％的詞匯．從此用神經(jīng)網(wǎng)絡(luò)來識(shí)別語言和圖象形成一個(gè)新的熱潮。第二十四頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)基本特點(diǎn)

（1）可處理非線性

（2）并行結(jié)構(gòu)．對神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元來說；其運(yùn)算都是同樣的．這樣的結(jié)構(gòu)最便于計(jì)算機(jī)并行處理．

（3）具有學(xué)習(xí)和記憶能力．一個(gè)神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則．（4）對數(shù)據(jù)的可容性大．在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）．（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實(shí)現(xiàn)．如美國用256個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識(shí)別手寫體的郵政編碼．第二十五頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連單純型層次型結(jié)構(gòu)第二十六頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行前饋型網(wǎng)絡(luò)第二十七頁，共九十七頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

關(guān)鍵在于如何決定每一神經(jīng)元的權(quán)值。

常用的學(xué)習(xí)規(guī)則有以下幾種：Hebb規(guī)則Delta規(guī)則(最小均方差規(guī)則

)反向傳播學(xué)習(xí)方法Kohonen學(xué)習(xí)規(guī)則(用于無指導(dǎo)訓(xùn)練網(wǎng)絡(luò))Grosberg學(xué)習(xí)方法第二十八頁，共九十七頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)常用模型共70多種，具有代表性的有：（1）感知器（Perceptron）

（2）多層前饋（BP）網(wǎng)絡(luò)

（3）Hopfield網(wǎng)絡(luò)(優(yōu)化)（4）Boltzmann機(jī)（在BP中加入噪聲）（5）雙向聯(lián)想記憶網(wǎng)絡(luò)（快速存儲(chǔ)）……第二十九頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的，我們可以從一個(gè)最簡單的網(wǎng)絡(luò)來剖析，一定程度上打開這個(gè)黑匣子。1958年，美國心理學(xué)家FrankRosenblatt提出一種具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。單層感知器的結(jié)構(gòu)與功能都非常簡單，以至于在解決實(shí)際問題時(shí)很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，常作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點(diǎn)。第三十頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型(單層前向神經(jīng)網(wǎng)絡(luò)）j=1,2,…,m

輸出類別指示輸入樣本第三十一頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型凈輸入：輸出為：Tj為閥值，sgn為符號(hào)函數(shù)第三十二頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：設(shè)輸入向量X=(x1,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線ojx1-1x2第三十三頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線(Why?)w1jx1+w2jx2–Tj=0w1jx1=Tj-w2jx2x1=(Tj-w2jx2)/w1j

=-(w2j/w1j)x2+Tj/w1j=a

x2+c第三十四頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：這樣的話，我們就可以得到

第三十五頁，共九十七頁，2022年，8月28日思路：例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點(diǎn)作一條直線：

y＝1.47x-0.017其中x表示觸角長；y表示翼長．

分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x,y）如果y≥1.47x-0.017，則判斷蚊子屬Apf類；

如果y＜1.47x-0.017；則判斷蚊子屬Af類．

一、引例

作一直線將兩類飛蠓分開第三十六頁，共九十七頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型一個(gè)最簡單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。ojx1-1x2單層感知器的局限性是：僅對線性可分問題具有分類能力。第三十七頁，共九十七頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)第一次熱潮(40-60年代未)1943年,美國心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitt

在提出了一個(gè)簡單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(jī)(Perceptron）。(2)低潮(70-80年代初):(3)第二次熱潮

1982年，美國物理學(xué)家提出Hopfield模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò),他解決問題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過程,這是符號(hào)邏輯處理方法所不具備的性質(zhì).1987年首屆國際ANN大會(huì)在圣地亞哥召開，國際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國際刊物。第三十八頁，共九十七頁，2022年，8月28日經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP(ErrorBackProragation，BP)誤差反向傳播算法它是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)訓(xùn)練算法，是靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學(xué)會(huì)由輸入輸出對組成的訓(xùn)練組執(zhí)行優(yōu)化的方法是梯度下降法BP算法是使用非常廣泛的一種算法，最常用的轉(zhuǎn)移函數(shù)是Sigmoid函數(shù)第三十九頁，共九十七頁，2022年，8月28日梯度法考慮無約束問題，其中函數(shù)f(x)一階連續(xù)可導(dǎo)，梯度指對各個(gè)自變量的偏導(dǎo)數(shù)依次排列所成的向量。梯度法就是在點(diǎn)x處以f(x)的負(fù)梯度方向進(jìn)行搜索的一種優(yōu)化方法，其迭代公式，其中，是從出發(fā)的搜索方向，取最速下降方向第四十頁，共九十七頁，2022年，8月28日經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP網(wǎng)絡(luò)模型輸入層隱層輸出層第四十一頁，共九十七頁，2022年，8月28日

網(wǎng)絡(luò)學(xué)習(xí)的目的是要使網(wǎng)絡(luò)產(chǎn)生盡可能逼近理想的反應(yīng)。網(wǎng)絡(luò)受訓(xùn)練時(shí)，不斷將網(wǎng)絡(luò)的輸出數(shù)據(jù)與理想數(shù)據(jù)相比較，并按學(xué)習(xí)規(guī)格改變權(quán)重，直到網(wǎng)絡(luò)的輸出數(shù)據(jù)對所有訓(xùn)練數(shù)據(jù)與理想輸出數(shù)據(jù)之差在要求的誤差范圍之內(nèi)。BP神經(jīng)網(wǎng)絡(luò)模型

簡單網(wǎng)絡(luò)第四十二頁，共九十七頁，2022年，8月28日經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法學(xué)習(xí)的過程：正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符誤差反傳誤差以某種形式在各層表示－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止第四十三頁，共九十七頁，2022年，8月28日假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對（Ip,Tp）,p=1,…,P,其中輸入向量為目標(biāo)輸出向量為（理論上的）

網(wǎng)絡(luò)輸出向量為

（實(shí)際上的）

簡單網(wǎng)絡(luò)的B-P算法第四十四頁，共九十七頁，2022年，8月28日（p=1,…,P）

（2）

通常理論與實(shí)際有誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最?。河汥elta學(xué)習(xí)規(guī)則:

（4）

（3）

表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率一般取值為0.1~0.3

簡單網(wǎng)絡(luò)的B-P算法記wij為從輸入向量的第j(j=1,…,m)個(gè)分量到輸出向量的第i(i=1,…,n)個(gè)分量的權(quán)重。第四十五頁，共九十七頁，2022年，8月28日ipm=-1,wim=(第i個(gè)神經(jīng)元的閾值)（5）注：由（1）式，第i個(gè)神經(jīng)元的輸出可表示為特別當(dāng)f是線性函數(shù)時(shí)

（6）簡單網(wǎng)絡(luò)的B-P算法第四十六頁，共九十七頁，2022年，8月28日訓(xùn)練用的性能指標(biāo)為最小求E的最小值，只需考慮EP達(dá)到最小的遞推算法第四十七頁，共九十七頁，2022年，8月28日求E的最小值的梯度下降法就是Delta學(xué)習(xí)規(guī)則。第四十八頁，共九十七頁，2022年，8月28日多層前饋網(wǎng)絡(luò)

（l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元．設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第k層有Nk個(gè)神經(jīng)元．假設(shè)：(2)

設(shè)表示第k層第i神經(jīng)元所接收的信息

wk(i,j)表示從第k-1層第j個(gè)元到第k層第i個(gè)元的權(quán)重，

表第k層第i個(gè)元的輸出

有些文獻(xiàn)將輸入層作為一層第四十九頁，共九十七頁，2022年，8月28日（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳輸．(4)設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱為前向網(wǎng)絡(luò)．沒有反向傳播信息．

（5）表示輸入的第j個(gè)分量．假設(shè)：第五十頁，共九十七頁，2022年，8月28日在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：（7）

其中θk(i)表示第k層第i個(gè)元的閾值.，f為S函數(shù)第五十一頁，共九十七頁，2022年，8月28日定理

對于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標(biāo)函數(shù)取

則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為其中第五十二頁，共九十七頁，2022年，8月28日證明思路與簡單模型相同。不同的是這里具有隱層第五十三頁，共九十七頁，2022年，8月28日2層前饋神經(jīng)網(wǎng)絡(luò)單個(gè)神經(jīng)元節(jié)點(diǎn)第五十四頁，共九十七頁，2022年，8月28日反向一層傳播第五十五頁，共九十七頁，2022年，8月28日反向二層傳播某一隱層節(jié)點(diǎn)受所有輸出層節(jié)點(diǎn)影響第五十六頁，共九十七頁，2022年，8月28日B-P算法的學(xué)習(xí)過程如下：（1）選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。反向傳播模型及其學(xué)習(xí)算法第五十七頁，共九十七頁，2022年，8月28日（5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)3—5的步驟，直到對整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。在以上的學(xué)習(xí)過程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問題。

反向傳播模型及其學(xué)習(xí)算法第五十八頁，共九十七頁，2022年，8月28日應(yīng)用

已知的兩類蚊子的數(shù)據(jù)如表1：

翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標(biāo)值0.90.90.90.10.90.90.90.1

翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標(biāo)t0.10.10.10.10.10.10.1

BP采用S函數(shù)，輸出不宜設(shè)為1或0，可設(shè)為0.9或0.1。第五十九頁，共九十七頁，2022年，8月28日輸入數(shù)據(jù)有15個(gè)建模：兩層神經(jīng)網(wǎng)絡(luò)建立神經(jīng)網(wǎng)絡(luò)第六十頁，共九十七頁，2022年，8月28日規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時(shí)表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：為閾值

其中第六十一頁，共九十七頁，2022年，8月28日分析如下：

為第一層的輸出，同時(shí)作為第二層的輸入。其中，為閾值，為傳遞函數(shù)若令

（作為一固定輸入）（閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)）

第六十二頁，共九十七頁，2022年，8月28日則有：取傳遞函數(shù)為=則同樣，取

第六十三頁，共九十七頁，2022年，8月28日（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可以用以下語句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

=第六十四頁，共九十七頁，2022年，8月28日取（3）計(jì)算因?yàn)樗?/p>

L=2計(jì)算

第六十五頁，共九十七頁，2022年，8月28日(5)計(jì)算

和

j=1,2,3,i=1,2,3,j=1,2,3（4）取

（或其他正數(shù)，可調(diào)整大?。?/p>

第六十六頁，共九十七頁，2022年，8月28日(6)p=p+1，轉(zhuǎn)（2）

注：僅計(jì)算一圈（p=1，2，…，15）是不夠的，直到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了147圈，迭代了2205次。最后結(jié)果是：第六十七頁，共九十七頁，2022年，8月28日如何分類？規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時(shí)表示屬于叉類，t(2)=0.1表示屬于圓點(diǎn)類。22對訓(xùn)練樣本第六十八頁，共九十七頁，2022年，8月28日（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可以用以下語句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

=第六十九頁，共九十七頁，2022年，8月28日取（3）計(jì)算因?yàn)樗?/p>

L=2計(jì)算

第七十頁，共九十七頁，2022年，8月28日(5)計(jì)算

和

j=1,2,3,i=1,2,3,j=1,2,3（4）取

（或其他正數(shù)，可調(diào)整大?。?/p>

第七十一頁，共九十七頁，2022年，8月28日直到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了200圈，迭代了4400次。最后結(jié)果是：第七十二頁，共九十七頁，2022年，8月28日

數(shù)學(xué)建模中有很多題目都可以用神經(jīng)網(wǎng)絡(luò)加以解決。比較典型的題目有：DNA序列分類題（2000年全國賽A題），癌癥判斷題（2001年北京大學(xué)數(shù)學(xué)建模競賽），乳房癌的診斷題（2001年全國大學(xué)生數(shù)學(xué)建模夏令營C題）神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用第七十三頁，共九十七頁，2022年，8月28日DNA序列模式分類問題

假定已知兩組人工已分類的DNA序列（20個(gè)已知類別的人工制造的序列），其中序列標(biāo)號(hào)1—10為A類，11-20為B類。要求我們從中提取已經(jīng)分類了的DNA序列片段的特征和構(gòu)造分類方法，并且還要衡量所用分類方法的好壞，從而構(gòu)造或選擇一種較好的分類方法。測試對象是20個(gè)未標(biāo)明類別的人工序列（標(biāo)號(hào)21—40）和182個(gè)自然DNA序列。例如A類：第七十四頁，共九十七頁，2022年，8月28日a1='aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg';b1='gttagatttaacgttttttatggaatttatggaattataaatttaaaaatttatattttttaggtaagtaatccaacgtttttattactttttaaaattaaatatttatt';……我們用前20組數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再用訓(xùn)練好的網(wǎng)絡(luò)來計(jì)算未知數(shù)據(jù)，便能得到分類的結(jié)果。第七十五頁，共九十七頁，2022年，8月28日

文件給出了一個(gè)114個(gè)基因,60個(gè)人的基因表達(dá)水平的樣本.其中前20個(gè)是癌癥病人的基因表達(dá)水平的樣本(其中還可能有子類),其后的是20個(gè)正常人的基因表達(dá)信息樣本,其余的20個(gè)是待檢測的樣本(未知它們是否正常).(1).試設(shè)法找出描述癌癥與正常樣本在基因表達(dá)水平上的區(qū)別,建立數(shù)學(xué)模型,及識(shí)別方法,去預(yù)測待檢測樣本是癌癥還是正常樣本.癌癥判斷題（2001年北京大學(xué)數(shù)學(xué)建模競賽）我們用前40組數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再用訓(xùn)練好的網(wǎng)絡(luò)來計(jì)算后20組數(shù)據(jù)，便能得到分類的結(jié)果。第七十六頁，共九十七頁，2022年，8月28日神經(jīng)的網(wǎng)絡(luò)應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域語音識(shí)別語音識(shí)別娃娃圖像識(shí)別與理解人臉檢測第七十七頁，共九十七頁，2022年，8月28日(1)采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練（學(xué)習(xí)）過程使之不發(fā)生“過擬合”和評價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本（10%以上）和測試樣本（10%以上）3部分。(2)盡量獲取足夠多的樣本，它的多少直接關(guān)系到所建模型的可靠性。建議第七十八頁，共九十七頁，2022年，8月28日(3)建模時(shí)盡量減少隱含層神經(jīng)元的個(gè)數(shù)。由于隱含層神經(jīng)元個(gè)數(shù)的確定是憑經(jīng)驗(yàn)的，而個(gè)數(shù)的多少直接關(guān)系到網(wǎng)絡(luò)的性能。個(gè)數(shù)太少，網(wǎng)絡(luò)容易陷入局部極小值；太多，則網(wǎng)絡(luò)的預(yù)測結(jié)果不穩(wěn)定。為此隱含層神經(jīng)元個(gè)數(shù)的確定利用“試錯(cuò)法”來實(shí)現(xiàn)，即先給定一個(gè)較小的值，根據(jù)訓(xùn)練的結(jié)果逐漸增加，這樣可找到適合該模型隱含層神經(jīng)元個(gè)數(shù)的最小值，從而提高了網(wǎng)絡(luò)的穩(wěn)定性。(4)將神經(jīng)網(wǎng)絡(luò)與其它方法(如遺傳算法)相結(jié)合。由于每種方法都有其各自的特點(diǎn)，多種方法的結(jié)合可改善單一方法所存在的缺陷。第七十九頁，共九十七頁，2022年，8月28日前饋網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)經(jīng)驗(yàn)公式

分類數(shù)×特征向量維數(shù)+1/2分類數(shù)×（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點(diǎn)數(shù)=

分類數(shù)+特征向量維數(shù)第八十頁，共九十七頁，2022年，8月28日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類1、學(xué)習(xí)樣本的獲取2、網(wǎng)絡(luò)系統(tǒng)的確定3、網(wǎng)絡(luò)的訓(xùn)練4、圖像的分類第八十一頁，共九十七頁，2022年，8月28日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)樣本的獲取類別：森林、峽谷、河流學(xué)習(xí)樣本：每個(gè)類別人工選取64個(gè)特征向量：第八十二頁，共九十七頁，2022年，8月28日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)系統(tǒng)的確定網(wǎng)絡(luò)層數(shù)：一般取為2層輸入節(jié)點(diǎn)：與特征個(gè)數(shù)相同，取3

隱節(jié)點(diǎn)數(shù)量：根據(jù)經(jīng)驗(yàn)公式取為5

輸出節(jié)點(diǎn)：分為3類，取3第八十三頁，共九十七頁，2022年，8月28日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類隱層節(jié)點(diǎn)數(shù)的計(jì)算

分類數(shù)×特征向量維數(shù)+1/2分類數(shù)×（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點(diǎn)數(shù)=

分類數(shù)+特征向量維數(shù)向上取整，保證分類性能！第八十四頁，共九十七頁，2022年，8月28日遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類圖像信息圖像變換與特征提取特征數(shù)據(jù)規(guī)格化分類判決圖像分類結(jié)果神經(jīng)網(wǎng)絡(luò)圖像分類過程經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)第八十五頁，共九十七頁，2022年，8月28日MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用在網(wǎng)絡(luò)訓(xùn)練過程中使用的是Matlab7.0forWindows軟件，對于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以使用NeuralNetworksToolboxforMatlab。美國的Mathwork公司推出的MATLAB軟件包既是一種非常實(shí)用有效的科研編程軟件環(huán)境，又是一種進(jìn)行科學(xué)和工程計(jì)算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以大大方便權(quán)值訓(xùn)練，減少訓(xùn)練程序工作量，有效的提高工作效率.第八十六頁，共九十七頁，2022年，8月28日MATLAB交互界面第八十七頁，共九十七頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)

MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)第八十八頁，共九十七頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能建立一個(gè)前向BP網(wǎng)絡(luò)格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；[S1S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為‘tansig’；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為‘trainlm’；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為‘learngdm’；PF表示性能數(shù)默認(rèn)為‘mse’，誤差。第八十九頁，共九十七頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)給定4組學(xué)習(xí)數(shù)據(jù)為輸入[-1-122;0505],理想輸出[-1-111]，試建立一個(gè)2層前向神經(jīng)網(wǎng)絡(luò)，第一層（隱層）由3個(gè)神經(jīng)元組成且用tansig函數(shù)，第二層用purelin函數(shù)。學(xué)習(xí)規(guī)則為traind。輸入數(shù)據(jù)得PR=[-12;05],隱層和輸出層分別有3個(gè)和1個(gè)神經(jīng)元，[S1S2]=[31],Net=newff(PR，[S1S2]，{‘tansig’,’purelin’}，’traingd’)P=[-1-122;0505],t=[-1-111][net,tr]=train(net,p,t);

a=sim(net,p)輸出命令第九十頁，共九十七頁，2022年，8月28日輸入向量P=[012345678910];期望輸出T=[01234321234];例：net=newff([010],[51],{'tansig','purelin'});Y=sim(net,P);plot(P,T,P,Y,'o')創(chuàng)建兩層的BP網(wǎng)絡(luò)第九十一頁，共九十七頁，2022年，8月28日Y=-2.3431-2.7532-2.4510-1.2784-0.8590-0.29810.24950.48111.03751.22681.4232T=[01234321234];%期望輸出第一種情況的輸出結(jié)果：誤差很大！