神經(jīng)網(wǎng)絡(luò)數(shù)學建模模型及算法簡介

關(guān)于神經(jīng)網(wǎng)絡(luò)數(shù)學建模模型及算法簡介一、引例

1981年生物學家格若根（W．Grogan）和維什（W．Wirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)．他們測量了這兩類蚊子每個個體的翼長和觸角長，數(shù)據(jù)如下：翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af第2頁,共97頁，2024年2月25日，星期天問：若抓到三只新的蚊子，它們的觸角長和翼長分別為(1.24,1.80);

(1.28，1.84)；（1.40，2.04）．問它們應分別屬于哪一個種類？

把翼長作縱坐標，觸角長作橫坐標；那么每個蚊子的翼長和觸角決定了坐標平面的一個點.其中6個蚊子屬于APf類；用黑點“·”表示；9個蚊子屬Af類；用小圓圈“?！北硎荆玫降慕Y(jié)果見圖1圖1飛蠓的觸角長和翼長一、引例

1989年美國大學生數(shù)學建模問題第3頁,共97頁，2024年2月25日，星期天思路：例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點作一條直線：

y＝1.47x-0.017其中x表示觸角長；y表示翼長．

分類規(guī)則：設(shè)一個蚊子的數(shù)據(jù)為（x,y）如果y≥1.47x-0.017，則判斷蚊子屬Apf類；

如果y＜1.47x-0.017；則判斷蚊子屬Af類．

一、引例

作一直線將兩類飛蠓分開第4頁,共97頁，2024年2月25日，星期天分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．圖2分類直線圖

一、引例

第5頁,共97頁，2024年2月25日，星期天?缺陷：根據(jù)什么原則確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?/p>

(1.24,1.80)，

(1.40,2.04)屬于Apf類；

(1.28,1.84)屬于Af類

哪一分類直線才是正確的呢？

一、引例

A＝（1.44，2.10）第6頁,共97頁，2024年2月25日，星期天再如，如下的情形能不能用分類直線的辦法呢？

新思路：將問題看作一個系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。一、引例

方法：馬氏距離判別法、Bayes判別法等第7頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)模型第8頁,共97頁，2024年2月25日，星期天前言

所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。粗略地講，大腦是由大量神經(jīng)細胞或神經(jīng)元組成的。每個神經(jīng)元可看作是一個小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強弱，按外部的激勵信號做自適應變化，而每個神經(jīng)元又隨著所接收到的多個接收信號的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。第9頁,共97頁，2024年2月25日，星期天生物神經(jīng)網(wǎng)基本工作機制：一個神經(jīng)元有兩種狀態(tài)——興奮和抑制平時處于抑制狀態(tài)的神經(jīng)元，當接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號時，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。進入突觸的信號會被加權(quán)，起興奮作用的信號為正，起抑制作用的信號為負。如果疊加總量超過某個閾值，神經(jīng)元就會被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。第10頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)的生物學基礎(chǔ)第11頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)的生物學基礎(chǔ)信息輸入信息傳播與處理信息傳播與處理（整合）信息傳播與處理結(jié)果：興奮與抑制信息輸出第12頁,共97頁，2024年2月25日，星期天神經(jīng)網(wǎng)絡(luò)的基本思想人工神經(jīng)元的基本構(gòu)成：第13頁,共97頁，2024年2月25日，星期天人工神經(jīng)元－信息處理單元第14頁,共97頁，2024年2月25日，星期天人工神經(jīng)元－信息處理單元信息輸入第15頁,共97頁，2024年2月25日，星期天人工神經(jīng)元－信息處理單元信息傳播與處理：加權(quán)求和第16頁,共97頁，2024年2月25日，星期天人工神經(jīng)元－信息處理單元信息傳播第17頁,共97頁，2024年2月25日，星期天人工神經(jīng)元－信息處理單元信息傳播與處理第18頁,共97頁，2024年2月25日，星期天人工神經(jīng)元－信息處理單元信息輸出第19頁,共97頁，2024年2月25日，星期天神經(jīng)元的傳遞函數(shù)f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)．例如，若取激發(fā)函數(shù)為符號函數(shù)

第20頁,共97頁，2024年2月25日，星期天神經(jīng)元的傳遞函數(shù)S型傳遞函數(shù)第21頁,共97頁，2024年2月25日，星期天注：一個神經(jīng)元含有與輸入向量維數(shù)相同個數(shù)的權(quán)系數(shù)，若將閾值看作是一個權(quán)系數(shù)，-1是一個固定的輸入，另有n-1個正常的輸入，則式也可表示為：

‘

參數(shù)識別：假設(shè)函數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。

ojx1-1x2第22頁,共97頁，2024年2月25日，星期天簡單原理

人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認識過程而開發(fā)出的一種算法。假如我們現(xiàn)在只有一些輸入和相應的輸出，而對如何由輸入得到輸出的機理并不清楚，那么我們可以把輸入與輸出之間的未知過程看成是一個“網(wǎng)絡(luò)”，通過不斷地給這個網(wǎng)絡(luò)輸入和相應的輸出來“訓練”這個網(wǎng)絡(luò)，網(wǎng)絡(luò)根據(jù)輸入和輸出不斷地調(diào)節(jié)自己的各節(jié)點之間的權(quán)值來滿足輸入和輸出。這樣，當訓練結(jié)束后，我們給定一個輸入，網(wǎng)絡(luò)便會根據(jù)自己已調(diào)節(jié)好的權(quán)值計算出一個輸出。這就是神經(jīng)網(wǎng)絡(luò)的簡單原理。第23頁,共97頁，2024年2月25日，星期天神經(jīng)網(wǎng)絡(luò)的作用網(wǎng)絡(luò)說話人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當然需要通過光電，電聲的信號轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學語那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過B－P算法長時間的訓練竟能正確讀出英語課本中90％的詞匯．從此用神經(jīng)網(wǎng)絡(luò)來識別語言和圖象形成一個新的熱潮。第24頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)基本特點

（1）可處理非線性

（2）并行結(jié)構(gòu)．對神經(jīng)網(wǎng)絡(luò)中的每一個神經(jīng)元來說；其運算都是同樣的．這樣的結(jié)構(gòu)最便于計算機并行處理．

（3）具有學習和記憶能力．一個神經(jīng)網(wǎng)絡(luò)可以通過訓練學習判別事物；學習某一種規(guī)律或規(guī)則．（4）對數(shù)據(jù)的可容性大．在神經(jīng)網(wǎng)絡(luò)中可以同時使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）．（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實現(xiàn)．如美國用256個神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體的郵政編碼．第25頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓撲結(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連單純型層次型結(jié)構(gòu)第26頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進行前饋型網(wǎng)絡(luò)第27頁,共97頁，2024年2月25日，星期天神經(jīng)網(wǎng)絡(luò)的學習規(guī)則

關(guān)鍵在于如何決定每一神經(jīng)元的權(quán)值。

常用的學習規(guī)則有以下幾種：Hebb規(guī)則Delta規(guī)則(最小均方差規(guī)則

)反向傳播學習方法Kohonen學習規(guī)則(用于無指導訓練網(wǎng)絡(luò))Grosberg學習方法第28頁,共97頁，2024年2月25日，星期天神經(jīng)網(wǎng)絡(luò)常用模型共70多種，具有代表性的有：（1）感知器（Perceptron）

（2）多層前饋（BP）網(wǎng)絡(luò)

（3）Hopfield網(wǎng)絡(luò)(優(yōu)化)（4）Boltzmann機（在BP中加入噪聲）（5）雙向聯(lián)想記憶網(wǎng)絡(luò)（快速存儲）……第29頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的，我們可以從一個最簡單的網(wǎng)絡(luò)來剖析，一定程度上打開這個黑匣子。1958年，美國心理學家FrankRosenblatt提出一種具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動進行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。單層感知器的結(jié)構(gòu)與功能都非常簡單，以至于在解決實際問題時很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，常作為學習神經(jīng)網(wǎng)絡(luò)的起點。第30頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型(單層前向神經(jīng)網(wǎng)絡(luò)）j=1,2,…,m

輸出類別指示輸入樣本第31頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型凈輸入：輸出為：Tj為閥值，sgn為符號函數(shù)第32頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：設(shè)輸入向量X=(x1,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線ojx1-1x2第33頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線(Why?)w1jx1+w2jx2–Tj=0w1jx1=Tj-w2jx2x1=(Tj-w2jx2)/w1j

=-(w2j/w1j)x2+Tj/w1j=a

x2+c第34頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：這樣的話，我們就可以得到

第35頁,共97頁，2024年2月25日，星期天思路：例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點作一條直線：

y＝1.47x-0.017其中x表示觸角長；y表示翼長．

分類規(guī)則：設(shè)一個蚊子的數(shù)據(jù)為（x,y）如果y≥1.47x-0.017，則判斷蚊子屬Apf類；

如果y＜1.47x-0.017；則判斷蚊子屬Af類．

一、引例

作一直線將兩類飛蠓分開第36頁,共97頁，2024年2月25日，星期天人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型一個最簡單的單計算節(jié)點感知器具有分類功能。其分類原理是將分類知識存儲于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。ojx1-1x2單層感知器的局限性是：僅對線性可分問題具有分類能力。第37頁,共97頁，2024年2月25日，星期天神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)第一次熱潮(40-60年代未)1943年,美國心理學家W.McCulloch和數(shù)學家W.Pitt

在提出了一個簡單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(Perceptron）。(2)低潮(70-80年代初):(3)第二次熱潮

1982年，美國物理學家J.J.Hopfield提出Hopfield模型，它是一個互聯(lián)的非線性動力學網(wǎng)絡(luò),他解決問題的方法是一種反復運算的動態(tài)過程,這是符號邏輯處理方法所不具備的性質(zhì).1987年首屆國際ANN大會在圣地亞哥召開，國際ANN聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物。第38頁,共97頁，2024年2月25日，星期天經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP(ErrorBackProragation，BP)誤差反向傳播算法它是有指導訓練的前饋多層網(wǎng)絡(luò)訓練算法，是靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學會由輸入輸出對組成的訓練組執(zhí)行優(yōu)化的方法是梯度下降法BP算法是使用非常廣泛的一種算法，最常用的轉(zhuǎn)移函數(shù)是Sigmoid函數(shù)第39頁,共97頁，2024年2月25日，星期天梯度法考慮無約束問題，其中函數(shù)f(x)一階連續(xù)可導，梯度指對各個自變量的偏導數(shù)依次排列所成的向量。梯度法就是在點x處以f(x)的負梯度方向進行搜索的一種優(yōu)化方法，其迭代公式，其中，是從出發(fā)的搜索方向，取最速下降方向第40頁,共97頁，2024年2月25日，星期天經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP網(wǎng)絡(luò)模型輸入層隱層輸出層第41頁,共97頁，2024年2月25日，星期天

網(wǎng)絡(luò)學習的目的是要使網(wǎng)絡(luò)產(chǎn)生盡可能逼近理想的反應。網(wǎng)絡(luò)受訓練時，不斷將網(wǎng)絡(luò)的輸出數(shù)據(jù)與理想數(shù)據(jù)相比較，并按學習規(guī)格改變權(quán)重，直到網(wǎng)絡(luò)的輸出數(shù)據(jù)對所有訓練數(shù)據(jù)與理想輸出數(shù)據(jù)之差在要求的誤差范圍之內(nèi)。BP神經(jīng)網(wǎng)絡(luò)模型

簡單網(wǎng)絡(luò)第42頁,共97頁，2024年2月25日，星期天經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法學習的過程：正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進行到預先設(shè)定的學習次數(shù)為止第43頁,共97頁，2024年2月25日，星期天假設(shè)有P個訓練樣本，即有P個輸入輸出對（Ip,Tp）,p=1,…,P,其中輸入向量為目標輸出向量為（理論上的）

網(wǎng)絡(luò)輸出向量為

（實際上的）

簡單網(wǎng)絡(luò)的B-P算法第44頁,共97頁，2024年2月25日，星期天（p=1,…,P）

（2）

通常理論與實際有誤差，網(wǎng)絡(luò)學習則是指不斷比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達最?。河汥elta學習規(guī)則:

（4）

（3）

表示遞推一次的修改量，則有稱為學習的速率一般取值為0.1~0.3

簡單網(wǎng)絡(luò)的B-P算法記wij為從輸入向量的第j(j=1,…,m)個分量到輸出向量的第i(i=1,…,n)個分量的權(quán)重。第45頁,共97頁，2024年2月25日，星期天ipm=-1,wim=(第i個神經(jīng)元的閾值)（5）注：由（1）式，第i個神經(jīng)元的輸出可表示為特別當f是線性函數(shù)時

（6）簡單網(wǎng)絡(luò)的B-P算法第46頁,共97頁，2024年2月25日，星期天訓練用的性能指標為最小求E的最小值，只需考慮EP達到最小的遞推算法第47頁,共97頁，2024年2月25日，星期天求E的最小值的梯度下降法就是Delta學習規(guī)則。第48頁,共97頁，2024年2月25日，星期天多層前饋網(wǎng)絡(luò)

（l）輸入層不計在層數(shù)之內(nèi)，它有N0個神經(jīng)元．設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第k層有Nk個神經(jīng)元．假設(shè)：(2)

設(shè)表示第k層第i神經(jīng)元所接收的信息

wk(i,j)表示從第k-1層第j個元到第k層第i個元的權(quán)重，

表第k層第i個元的輸出

有些文獻將輸入層作為一層第49頁,共97頁，2024年2月25日，星期天（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳輸．(4)設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较颍灰虼朔Q為前向網(wǎng)絡(luò)．沒有反向傳播信息．

（5）表示輸入的第j個分量．假設(shè)：第50頁,共97頁，2024年2月25日，星期天在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：（7）

其中θk(i)表示第k層第i個元的閾值.，f為S函數(shù)第51頁,共97頁，2024年2月25日，星期天定理

對于具有多個隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標函數(shù)取

則每個訓練循環(huán)中按梯度下降時；其權(quán)重迭代公式為其中第52頁,共97頁，2024年2月25日，星期天證明思路與簡單模型相同。不同的是這里具有隱層第53頁,共97頁，2024年2月25日，星期天2層前饋神經(jīng)網(wǎng)絡(luò)單個神經(jīng)元節(jié)點第54頁,共97頁，2024年2月25日，星期天反向一層傳播第55頁,共97頁，2024年2月25日，星期天反向二層傳播某一隱層節(jié)點受所有輸出層節(jié)點影響第56頁,共97頁，2024年2月25日，星期天B-P算法的學習過程如下：（1）選擇一組訓練樣例，每一個樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計算經(jīng)神經(jīng)元處理后的各層節(jié)點的輸出。（4）計算網(wǎng)絡(luò)的實際輸出和期望輸出的誤差。反向傳播模型及其學習算法第57頁,共97頁，2024年2月25日，星期天（5）從輸出層反向計算到第一個隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對訓練樣例集中的每一個樣例重復3—5的步驟，直到對整個訓練樣例集的誤差達到要求時為止。在以上的學習過程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學習算法必須解決的問題。

反向傳播模型及其學習算法第58頁,共97頁，2024年2月25日，星期天應用

已知的兩類蚊子的數(shù)據(jù)如表1：

翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標值0.90.90.90.10.90.90.90.1

翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標t0.10.10.10.10.10.10.1

BP采用S函數(shù)，輸出不宜設(shè)為1或0，可設(shè)為0.9或0.1。第59頁,共97頁，2024年2月25日，星期天輸入數(shù)據(jù)有15個建模：兩層神經(jīng)網(wǎng)絡(luò)建立神經(jīng)網(wǎng)絡(luò)第60頁,共97頁，2024年2月25日，星期天規(guī)定目標為：當t(1)=0.9時表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個權(quán)重系數(shù)矩陣為：為閾值

其中第61頁,共97頁，2024年2月25日，星期天分析如下：

為第一層的輸出，同時作為第二層的輸入。其中，為閾值，為傳遞函數(shù)若令

（作為一固定輸入）（閾值作為固定輸入神經(jīng)元相應的權(quán)系數(shù)）

第62頁,共97頁，2024年2月25日，星期天則有：取傳遞函數(shù)為=則同樣，取

第63頁,共97頁，2024年2月25日，星期天（1）隨機給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

=第64頁,共97頁，2024年2月25日，星期天?。?）計算因為所以

L=2計算

第65頁,共97頁，2024年2月25日，星期天(5)計算

和

j=1,2,3,i=1,2,3,j=1,2,3（4）取

（或其他正數(shù)，可調(diào)整大?。?/p>

第66頁,共97頁，2024年2月25日，星期天(6)p=p+1，轉(zhuǎn)（2）

注：僅計算一圈（p=1，2，…，15）是不夠的，直到當各權(quán)重變化很小時停止，本例中，共計算了147圈，迭代了2205次。最后結(jié)果是：第67頁,共97頁，2024年2月25日，星期天如何分類？規(guī)定目標為：當t(1)=0.9時表示屬于叉類，t(2)=0.1表示屬于圓點類。22對訓練樣本第68頁,共97頁，2024年2月25日，星期天（1）隨機給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

=第69頁,共97頁，2024年2月25日，星期天?。?）計算因為所以

L=2計算

第70頁,共97頁，2024年2月25日，星期天(5)計算

和

j=1,2,3,i=1,2,3,j=1,2,3（4）取

（或其他正數(shù)，可調(diào)整大?。?/p>

第71頁,共97頁，2024年2月25日，星期天直到當各權(quán)重變化很小時停止，本例中，共計算了200圈，迭代了4400次。最后結(jié)果是：第72頁,共97頁，2024年2月25日，星期天

數(shù)學建模中有很多題目都可以用神經(jīng)網(wǎng)絡(luò)加以解決。比較典型的題目有：DNA序列分類題（2000年全國賽A題），癌癥判斷題（2001年北京大學數(shù)學建模競賽），乳房癌的診斷題（2001年全國大學生數(shù)學建模夏令營C題）神經(jīng)網(wǎng)絡(luò)在數(shù)學建模中的應用第73頁,共97頁，2024年2月25日，星期天DNA序列模式分類問題

假定已知兩組人工已分類的DNA序列（20個已知類別的人工制造的序列），其中序列標號1—10為A類，11-20為B類。要求我們從中提取已經(jīng)分類了的DNA序列片段的特征和構(gòu)造分類方法，并且還要衡量所用分類方法的好壞，從而構(gòu)造或選擇一種較好的分類方法。測試對象是20個未標明類別的人工序列（標號21—40）和182個自然DNA序列。例如A類：第74頁,共97頁，2024年2月25日，星期天a1='aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg';b1='gttagatttaacgttttttatggaatttatggaattataaatttaaaaatttatattttttaggtaagtaatccaacgtttttattactttttaaaattaaatatttatt';……我們用前20組數(shù)據(jù)對網(wǎng)絡(luò)進行訓練，再用訓練好的網(wǎng)絡(luò)來計算未知數(shù)據(jù)，便能得到分類的結(jié)果。第75頁,共97頁，2024年2月25日，星期天

文件給出了一個114個基因,60個人的基因表達水平的樣本.其中前20個是癌癥病人的基因表達水平的樣本(其中還可能有子類),其后的是20個正常人的基因表達信息樣本,其余的20個是待檢測的樣本(未知它們是否正常).(1).試設(shè)法找出描述癌癥與正常樣本在基因表達水平上的區(qū)別,建立數(shù)學模型,及識別方法,去預測待檢測樣本是癌癥還是正常樣本.癌癥判斷題（2001年北京大學數(shù)學建模競賽）我們用前40組數(shù)據(jù)對網(wǎng)絡(luò)進行訓練，再用訓練好的網(wǎng)絡(luò)來計算后20組數(shù)據(jù)，便能得到分類的結(jié)果。第76頁,共97頁，2024年2月25日，星期天神經(jīng)的網(wǎng)絡(luò)應用神經(jīng)網(wǎng)絡(luò)的應用領(lǐng)域語音識別語音識別娃娃圖像識別與理解人臉檢測第77頁,共97頁，2024年2月25日，星期天(1)采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓練（學習）過程使之不發(fā)生“過擬合”和評價建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機分成訓練樣本、檢驗樣本（10%以上）和測試樣本（10%以上）3部分。(2)盡量獲取足夠多的樣本，它的多少直接關(guān)系到所建模型的可靠性。建議第78頁,共97頁，2024年2月25日，星期天(3)建模時盡量減少隱含層神經(jīng)元的個數(shù)。由于隱含層神經(jīng)元個數(shù)的確定是憑經(jīng)驗的，而個數(shù)的多少直接關(guān)系到網(wǎng)絡(luò)的性能。個數(shù)太少，網(wǎng)絡(luò)容易陷入局部極小值；太多，則網(wǎng)絡(luò)的預測結(jié)果不穩(wěn)定。為此隱含層神經(jīng)元個數(shù)的確定利用“試錯法”來實現(xiàn)，即先給定一個較小的值，根據(jù)訓練的結(jié)果逐漸增加，這樣可找到適合該模型隱含層神經(jīng)元個數(shù)的最小值，從而提高了網(wǎng)絡(luò)的穩(wěn)定性。(4)將神經(jīng)網(wǎng)絡(luò)與其它方法(如遺傳算法)相結(jié)合。由于每種方法都有其各自的特點，多種方法的結(jié)合可改善單一方法所存在的缺陷。第79頁,共97頁，2024年2月25日，星期天前饋網(wǎng)絡(luò)隱層節(jié)點數(shù)經(jīng)驗公式

分類數(shù)×特征向量維數(shù)+1/2分類數(shù)×（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點數(shù)=

分類數(shù)+特征向量維數(shù)第80頁,共97頁，2024年2月25日，星期天遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類1、學習樣本的獲取2、網(wǎng)絡(luò)系統(tǒng)的確定3、網(wǎng)絡(luò)的訓練4、圖像的分類第81頁,共97頁，2024年2月25日，星期天遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類學習樣本的獲取類別：森林、峽谷、河流學習樣本：每個類別人工選取64個特征向量：第82頁,共97頁，2024年2月25日，星期天遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類網(wǎng)絡(luò)系統(tǒng)的確定網(wǎng)絡(luò)層數(shù)：一般取為2層輸入節(jié)點：與特征個數(shù)相同，取3

隱節(jié)點數(shù)量：根據(jù)經(jīng)驗公式取為5

輸出節(jié)點：分為3類，取3第83頁,共97頁，2024年2月25日，星期天遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類隱層節(jié)點數(shù)的計算

分類數(shù)×特征向量維數(shù)+1/2分類數(shù)×（特征向量維數(shù)2+特征向量維數(shù)）-1隱層節(jié)點數(shù)=

分類數(shù)+特征向量維數(shù)向上取整，保證分類性能！第84頁,共97頁，2024年2月25日，星期天遙感圖像的BP神經(jīng)網(wǎng)絡(luò)分類圖像信息圖像變換與特征提取特征數(shù)據(jù)規(guī)格化分類判決圖像分類結(jié)果神經(jīng)網(wǎng)絡(luò)圖像分類過程經(jīng)過訓練的神經(jīng)網(wǎng)絡(luò)第85頁,共97頁，2024年2月25日，星期天MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應用在網(wǎng)絡(luò)訓練過程中使用的是Matlab7.0forWindows軟件，對于BP神經(jīng)元網(wǎng)絡(luò)的訓練可以使用NeuralNetworksToolboxforMatlab。美國的Mathwork公司推出的MATLAB軟件包既是一種非常實用有效的科研編程軟件環(huán)境，又是一種進行科學和工程計算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以大大方便權(quán)值訓練，減少訓練程序工作量，有效的提高工作效率.第86頁,共97頁，2024年2月25日，星期天MATLAB交互界面第87頁,共97頁，2024年2月25日，星期天BP神經(jīng)網(wǎng)絡(luò)學習算法的MATLAB實現(xiàn)

MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓練函數(shù)第88頁,共97頁，2024年2月25日，星期天BP神經(jīng)網(wǎng)絡(luò)學習算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能建立一個前向BP網(wǎng)絡(luò)格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；[S1S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認為‘tansig’；BTF表示網(wǎng)絡(luò)的訓練函數(shù)，默認為‘trainlm’；BLF表示網(wǎng)絡(luò)的權(quán)值學習函數(shù)，默認為‘learngdm’；PF表示性能數(shù)默認為‘mse’，誤差。第89頁,共97頁，2024年2月25日，星期天BP神經(jīng)網(wǎng)絡(luò)學習算法的MATLAB實現(xiàn)給定4組學習數(shù)據(jù)為輸入[-1-122;0505],理想輸出[-1-111]，試建立一個2層前向神經(jīng)網(wǎng)絡(luò)，第一層（隱層）由3個神經(jīng)元組成且用tansig函數(shù)，第二層用purelin函數(shù)。學習規(guī)則為traind。輸入數(shù)據(jù)得PR=[-12;05],隱層和輸出層分別有3個和1個神經(jīng)元，[S1S2]=[31],Net=newff(PR，[S1S2]，{‘tansig’,’purelin’}，’traingd’)P=[-1-122;0505],t=[-1-111][net,tr]=train(net,p,t);

a=sim(net,p)輸出命令第90頁,共97頁，2024年2月25日，星期天輸入向量P=[012345678910];期望輸出T=[01234321234];例：net=newff([010],[51],{'tansig','purelin'});Y=sim(net,P);plot(P,T,P,Y,'o')創(chuàng)建兩層的BP網(wǎng)絡(luò)第91頁,共97頁，2024年2月25日，星期天Y=-2.3431-2.7532-2.4510-1.2784-0.8590-0.29810.24950.48111.03751.22681.4232T=[01