暑期數(shù)學建模培訓-神經(jīng)網(wǎng)絡-12

人工神經(jīng)網(wǎng)絡

ArtificialNeuralNetworks平頂山學院數(shù)學建模暑期培訓2015.7.202023/2/412023/2/42人類對人工智能的研究可以分成兩種方式對應著兩種不同的技術(shù)：傳統(tǒng)的人工智能技術(shù)——心理的角度模擬基于人工神經(jīng)網(wǎng)絡的技術(shù)——生理的角度模擬2023/2/43學習駕駛汽車的人工神經(jīng)網(wǎng)絡摘自《機器學習》，T.M.Mitchell2023/2/44人臉識別2023/2/45手寫數(shù)字識別2023/2/46人工神經(jīng)網(wǎng)絡的概念1、定義

(1)Hecht—Nielsen（1988年）人工神經(jīng)網(wǎng)絡是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元（PE—ProcessingElement）具有局部內(nèi)存，并可以完成局部操作。每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據(jù)需要被分枝成希望個數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號，即相應處理單元的信號，信號的大小不因分支的多少而變化。2023/2/47人工神經(jīng)網(wǎng)絡的概念別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡（NN）自適應系統(tǒng)（AdaptiveSystems）、自適應網(wǎng)（AdaptiveNetworks）聯(lián)接模型（Connectionism）神經(jīng)計算機（Neurocomputer）2023/2/48人工神經(jīng)網(wǎng)絡的研究始于本世紀40年代。1943年，心理學家McCulloch和數(shù)學家Pitts合作，融合了生物物理學和數(shù)學，提出了第一個神經(jīng)元計算模型—MP模型。這種單個神經(jīng)元模型功能較弱，但連接而成的網(wǎng)絡記憶能力巨大。這種巨大的記憶能力存儲在網(wǎng)絡中足夠多的神經(jīng)元之間豐富的連接強度上。

MP模型雖然簡單，但它開創(chuàng)了神經(jīng)網(wǎng)絡模型的理論研究，為各種神經(jīng)元模型及網(wǎng)絡模型的研究打下了基礎。歷史總結(jié)2023/2/491949年心理學家Hebb提出神經(jīng)元之間突觸聯(lián)系強度可變的假設。他認為學習過程是在突觸上發(fā)生的，突觸的聯(lián)系強度隨其前后神經(jīng)元的活動而變化。根據(jù)這一假說提出了改變神經(jīng)元連接強度的Hebb規(guī)則。它對以后人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)及算法都有很大影響。直到現(xiàn)在，Hebb的學習算法仍在不少人工神經(jīng)網(wǎng)絡中應用。歷史總結(jié)2023/2/41050年代末，Rosenblatt提出感知器模型，第一次把神經(jīng)網(wǎng)絡的研究付諸工程實踐。這是一種學習和自組織的心理學模型，它基本上符合神經(jīng)生理學的知識，模型的學習環(huán)境是有噪聲的，網(wǎng)絡構(gòu)造中存在隨機連接，這符合動物學習的自然環(huán)境。這是第一個真正的人工神經(jīng)網(wǎng)絡，他給出了兩層感知器的收斂定理。后來的一大類神經(jīng)網(wǎng)絡模型都是感知器模型的變形。

歷史總結(jié)2023/2/41160年代末，美國著名人工智能學者Minsky和Papart對Rosenblatt的工作進行了深入的研究，寫了很有影響的《感知器》一書，指出感知器的處理能力有限，單層感知器只能作線性劃分，對于非線性或其他分類會遇到很大的困難。這時應采用含有隱單元的多層神經(jīng)網(wǎng)絡，但引入隱單元后找到一個有效的學習算法非常困難，Minsky斷言這種感知器無科學研究價值可言，包括多層的也沒有什么意義。歷史總結(jié)2023/2/412這個結(jié)論對當時的神經(jīng)網(wǎng)絡研究無疑是一個沉重的打擊，客觀上對神經(jīng)網(wǎng)絡的研究起了一定的消極作用。同時當時的微電子技術(shù)也無法為神經(jīng)網(wǎng)絡的研究提供有效的技術(shù)保障。故在其后的十幾年內(nèi)，從事神經(jīng)網(wǎng)絡研究的人數(shù)及經(jīng)費支持大大下降，神經(jīng)網(wǎng)絡研究處于低潮。歷史總結(jié)2023/2/413然而在此期間，仍有為數(shù)不多的學者致力于神經(jīng)網(wǎng)絡的研究，1969年Grossberg等提出了自適應共振理論模型。1972年Kohenen提出自組織映射的理論模型，并稱神經(jīng)網(wǎng)絡為聯(lián)想存貯器。所有這些理論為神經(jīng)網(wǎng)絡的進一步發(fā)展奠定了理論基礎。歷史總結(jié)2023/2/4141982年，美國加州工程學院物理學家Hopfield提出了一個用于聯(lián)想記憶及優(yōu)化計算的新途徑—Hopfield模型，并于1984年進行修改，提出了利用模擬電路的基礎元件構(gòu)成了人工神經(jīng)網(wǎng)絡的硬件原理模型，為實現(xiàn)硬件奠定了基礎。1985年Hopfield和Tank提出用神經(jīng)網(wǎng)絡解決優(yōu)化問題。歷史總結(jié)2023/2/415這一時期還有一個以Rumelhart和McClelland為首的并行分布處理（PDP）的研究小組，他們提出了多層網(wǎng)絡學習的誤差反向傳播學習算法（BP算法），解決了多層網(wǎng)絡的學習問題，從實踐上證實了人工神經(jīng)網(wǎng)絡具有很強的學習能力，并不象Minsky等人預料的那樣弱，相反它可以完成許多學習任務，解決許多實際問題，也因此推動了前饋式神經(jīng)網(wǎng)絡的研究。BP算法目前已成為迄今為止應用最普遍的神經(jīng)網(wǎng)絡學習算法。歷史總結(jié)2023/2/416或稱神經(jīng)細胞，是生物神經(jīng)系統(tǒng)的最基本單元。從組成結(jié)構(gòu)看，各種神經(jīng)元具有共性，它由細胞體（Soma）、軸突（Axon）和樹突（Dendrite）三個主要部分組成。生物神經(jīng)網(wǎng)

生物神經(jīng)元（Neuron）時空整合功能興奮與抑制狀態(tài)脈沖與電位轉(zhuǎn)換突觸延時與不應期2023/2/417生物神經(jīng)網(wǎng)1、構(gòu)成胞體(Soma)枝蔓（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）2、工作過程2023/2/418生物神經(jīng)網(wǎng)3、六個基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；3）神經(jīng)元之間的聯(lián)接強度是可以隨訓練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；6)每個神經(jīng)元可以有一個“閾值”。2023/2/419人工神經(jīng)元的基本構(gòu)成

人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡輸入：

net=∑xiwi向量形式：

net=XWxn

wn∑x1w1x2w2net=XW…2023/2/4202.2.2激活函數(shù)(ActivationFunction)

激活函數(shù)——執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)：o=f（net）

1、線性函數(shù)（LinerFunction）

f（net）=k*net+c

netooc2023/2/4212、非線性斜面函數(shù)(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

2023/2/4223、閾值函數(shù)（ThresholdFunction）階躍函數(shù)

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負實數(shù)，θ為閾值二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf（net）= -1 ifnet≤θ

2023/2/4233、閾值函數(shù)（ThresholdFunction）階躍函數(shù)β

-γθonet02023/2/4244、S形函數(shù)

壓縮函數(shù)（SquashingFunction）和邏輯斯特函數(shù)（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))

函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制

2023/2/4254、S形函數(shù)

a+b

o(0,c)netac=a+b/22023/2/426M-P模型

x2w2

∑fo=f（net）xn

wn…net=XWx1w1McCulloch—Pitts（M—P）模型，也稱為處理單元（PE）

2023/2/427層次劃分

信號只被允許從較低層流向較高層。層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負責接收來自網(wǎng)絡外部的信息輸出層隱藏層輸入層o1o2om…x1x2xn………………2023/2/428第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。輸出層：它是網(wǎng)絡的最后一層，具有該網(wǎng)絡的最大層號，負責輸出網(wǎng)絡的計算結(jié)果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號輸出層隱藏層輸入層o1o2om…x1x2xn………………2023/2/429約定

:輸出層的層號為該網(wǎng)絡的層數(shù)：n層網(wǎng)絡，或n級網(wǎng)絡。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時候，一般我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2023/2/430多級網(wǎng)——h層網(wǎng)絡輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2023/2/431多級網(wǎng)非線性激活函數(shù)

F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))2023/2/432BP網(wǎng)絡

主要內(nèi)容：BP網(wǎng)絡的構(gòu)成隱藏層權(quán)的調(diào)整分析Delta規(guī)則理論推導算法的收斂速度及其改進討論BP網(wǎng)絡中的幾個重要問題

重點：BP算法難點：Delta規(guī)則的理論推導

2023/2/433BP網(wǎng)絡1概述

2基本BP算法

3算法的改進

4算法的實現(xiàn)

5算法的理論基礎

6幾個問題的討論

2023/2/434概述

1、BP算法的出現(xiàn)非循環(huán)多級網(wǎng)絡的訓練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點的逃離問題、算法不一定收斂。3、優(yōu)點：廣泛的適應性和有效性。2023/2/435基本BP算法

網(wǎng)絡的構(gòu)成

神經(jīng)元的網(wǎng)絡輸入：

neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：2023/2/436輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應該將net的值盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導的2023/2/437網(wǎng)絡的拓撲結(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)2023/2/438網(wǎng)絡的拓撲結(jié)構(gòu)

BP網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定實驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡精度和表達能力。BP網(wǎng)一般都選用二級網(wǎng)絡。2023/2/439網(wǎng)絡的拓撲結(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………WV2023/2/440訓練過程概述

樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡可以學。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡；（2）計算相應的實際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))2023/2/441訓練過程概述

2、向后傳播階段——誤差傳播階段：（1）計算實際輸出Op與相應的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡關(guān)于第p個樣本的誤差測度：（4）網(wǎng)絡關(guān)于整個樣本集的誤差測度：2023/2/442誤差傳播分析

1、輸出層權(quán)的調(diào)整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq2023/2/443隱藏層權(quán)的調(diào)整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……2023/2/444隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk

有關(guān)不妨認為δpk-1通過權(quán)wp1對δ1k做出貢獻，通過權(quán)wp2對δ2k做出貢獻，……通過權(quán)wpm對δmk做出貢獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)2023/2/445隱藏層權(quán)的調(diào)整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……2023/2/446內(nèi)容回顧基本BP算法neti=x1w1i+x2w2i+…+xnwni

2023/2/447內(nèi)容回顧x1o1輸出層隱藏層輸入層x2o2omxn…………WV2023/2/448內(nèi)容回顧樣本權(quán)初始化向前傳播階段Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))誤差測度2023/2/449內(nèi)容回顧向后傳播階段——誤差傳播階段輸出層權(quán)的調(diào)整?wpq=αδqop=αfn′(netq)(yq-oq)op

=αoq(1-oq)(yq-oq)op隱藏層權(quán)的調(diào)整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk……?vhp=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-22023/2/450基本的BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)

，W(2)

，…，W(L)各做一次調(diào)整，重復這個循環(huán)，直到∑Ep<ε。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程

2023/2/451基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo

4.1E=0;

2023/2/452基本BP算法4.2對S中的每一個樣本（Xp,Yp）：

4.2.1計算出Xp對應的實際輸出Op；

4.2.2計算出Ep；

4.2.3E=E+Ep；

4.2.4根據(jù)相應式子調(diào)整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do 4.2.6.1根據(jù)相應式子調(diào)整W(k)；

4.2.6.2k=k-1

4.3E=E/2.0

2023/2/453算法的主要實現(xiàn)步驟

用不同的小偽隨機數(shù)初始化W，V；初始化精度控制參數(shù)ε；學習率α；

循環(huán)控制參數(shù)E=ε+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2對每一個樣本(X,Y)，執(zhí)行如下操作

2023/2/4544.2對每一個樣本(X,Y)，執(zhí)行的操作

4.2.1計算：O1=F1(XV)；O2=F2(O1W)；4.2.2計算輸出層的權(quán)修改量

fori=1tom 4.2.2.1?o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計算輸出誤差：fori=1tom4.2.3.1E=E+(Y[i]-O2[i])2；2023/2/4554.2對每一個樣本(X，Y)，執(zhí)行的操作4.2.4計算隱藏層的權(quán)修改量：fori=1toH 4.2.4.1Z=0；

4.2.4.2forj=1tomdoZ=Z+W[i,j]*?o[j]；

4.2.4.3Δh[i]=Z*O1[i](1-O1[i])

；4.2.5修改輸出層權(quán)矩陣：fork=1toH&i=1tom 4.2.5.1W[k,i]=W[k,i]+α*O1[k]*?o[i]；4.2.5修改隱藏層權(quán)矩陣：fork=1ton&i=1toH 4.2.5.1V[k,i]=V[k,i]+α*X[k]*?h[i]；2023/2/456建議

隱藏層的神經(jīng)元的個數(shù)H作為一個輸入?yún)?shù)同時將ε、循環(huán)最大次數(shù)M等，作為算法的輸入?yún)?shù)在調(diào)試階段，最外層循環(huán)內(nèi)，加一層控制，以探測網(wǎng)絡是否陷入了局部極小點

2023/2/4