人工神經(jīng)網(wǎng)絡(luò)

1、2021/4/261主要內(nèi)容 生物神經(jīng)元生物神經(jīng)元 人工神經(jīng)元人工神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練2021/4/262什么是人工神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡記作簡記作ANN），是對人類大腦系統(tǒng)的一階），是對人類大腦系統(tǒng)的一階特性的一種描述。簡單地講，它是一個特性的一種描述。簡單地講，它是一個數(shù)數(shù)學(xué)模型學(xué)模型，可以用，可以用電子線路電子線路來實現(xiàn)，也可以來實現(xiàn)，也可以用用計算機程序計算機程序來模擬，是人工智能研究的來模擬，是人工智能研究的一種方法。一種方法

2、。2021/4/263人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念 1） 一組處理單元一組處理單元（PE或或AN）；）； 2） 處理單元的處理單元的激活狀態(tài)激活狀態(tài)（ai）；）； 3） 每個處理單元的每個處理單元的輸出函數(shù)輸出函數(shù)（fi）；）； 4） 處理單元之間的處理單元之間的聯(lián)接模式聯(lián)接模式； 5） 傳遞規(guī)則傳遞規(guī)則（wijoi）；）； 6） 把處理單元的輸入及當前狀態(tài)結(jié)合起來產(chǎn)生把處理單元的輸入及當前狀態(tài)結(jié)合起來產(chǎn)生激活值的激活值的激活規(guī)則激活規(guī)則（Fi）；）； 7） 通過經(jīng)驗修改聯(lián)接強度的通過經(jīng)驗修改聯(lián)接強度的學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則； 8） 系統(tǒng)運行的環(huán)境（系統(tǒng)運行的環(huán)境（樣本樣本集合）。集合）。

3、2021/4/264人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念 Simpson（1987年）年） 人工神經(jīng)網(wǎng)絡(luò)是一個非線性的有向圖，圖人工神經(jīng)網(wǎng)絡(luò)是一個非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。入找到模式。 2021/4/265生物神經(jīng)元模型2021/4/266神經(jīng)元的生物學(xué)解剖2021/4/267神經(jīng)元模型1 細胞體 細胞體是由很多分子形成的綜合體，內(nèi)部含有一個細胞核、核糖體、原生質(zhì)網(wǎng)狀結(jié)構(gòu)等，它是神經(jīng)網(wǎng)絡(luò)活動的能量供應(yīng)地，并進行新陳代謝等各種生化過程。2 樹突 細胞

4、體的伸延部分產(chǎn)生的分支稱為樹突，樹突是接受從其他神經(jīng)元傳入信息的入口。2021/4/268神經(jīng)元模型3 軸突 細胞體突起的最長的外伸管狀纖維稱為軸突，最長可達1m以上。軸突是將神經(jīng)元興奮的信息傳到其他神經(jīng)元的出口。4 突觸 一個神經(jīng)元與另一個神經(jīng)元之間相聯(lián)系并進行信息傳送的結(jié)構(gòu)稱為突觸。神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。件）。2021/4/269生物神經(jīng)網(wǎng)生物神經(jīng)網(wǎng) 六個基本特征：六個基本特征： 1）神經(jīng)元及其聯(lián)接）神經(jīng)元及其聯(lián)接； 2）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱； 3）神經(jīng)元之間的聯(lián)接強度是可以

5、隨訓(xùn)練改變的；）神經(jīng)元之間的聯(lián)接強度是可以隨訓(xùn)練改變的； 4）信號可以是起刺激作用的，也可以是起抑制作）信號可以是起刺激作用的，也可以是起抑制作用的；用的； 5）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；元的狀態(tài)； 6) 每個神經(jīng)元可以有一個每個神經(jīng)元可以有一個“閾值閾值”。2021/4/2610人工神經(jīng)元9、 人的價值，在招收誘惑的一瞬間被決定。2022-3-62022-3-6Sunday, March 06, 202210、低頭要有勇氣，抬頭要有低氣。2022-3-62022-3-62022-3-63/6/2022 8:07:54 PM11

6、、人總是珍惜為得到。2022-3-62022-3-62022-3-6Mar-226-Mar-2212、人亂于心，不寬余請。2022-3-62022-3-62022-3-6Sunday, March 06, 202213、生氣是拿別人做錯的事來懲罰自己。2022-3-62022-3-62022-3-62022-3-63/6/202214、抱最大的希望，作最大的努力。2022年3月6日星期日2022-3-62022-3-62022-3-615、一個人炫耀什么，說明他內(nèi)心缺少什么。2022年3月2022-3-62022-3-62022-3-63/6/202216、業(yè)余生活要有意義，不要越軌。2022

7、-3-62022-3-6March 6, 202217、一個人即使已登上頂峰，也仍要自強不息。2022-3-62022-3-62022-3-62022-3-62021/4/2612人工神經(jīng)元人工神經(jīng)元 人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個基本特性。個基本特性。xn wnx1 w1x2 w2net=XW2021/4/2613人工神經(jīng)元的基本構(gòu)成人工神經(jīng)元的基本構(gòu)成 人工神經(jīng)元模擬生物神經(jīng)元的人工神經(jīng)元模擬生物神經(jīng)元的一階特性一階特性。輸入：輸入：X=（x1，x2，xn）聯(lián)接權(quán)：聯(lián)接權(quán)：W=（w1，w2，wn）T網(wǎng)絡(luò)輸入：網(wǎng)絡(luò)輸入： net=xiwi向量形式：

8、向量形式： net=XWxn wnx1 w1x2 w2net=XW2021/4/2614激活函數(shù)激活函數(shù)(Activation Function) 激活函數(shù)激活函數(shù)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)：化函數(shù)： o=f（net） 1、線性函數(shù)（、線性函數(shù)（Liner Function） f（net）=k*net+c netooc2021/4/26152、非線性斜面函數(shù)、非線性斜面函數(shù)(Ramp Function) if netf（net）= k*netif |net|0為一常數(shù)，被稱為飽和值，為該神經(jīng)元為

9、一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。的最大輸出。 2021/4/26162、非線性斜面函數(shù)（、非線性斜面函數(shù)（Ramp Function） - - net o 2021/4/26173、閾值函數(shù)（、閾值函數(shù)（Threshold Function）階躍函數(shù)）階躍函數(shù)if netf（net）=-if net 、均為非負實數(shù)，均為非負實數(shù)，為閾值為閾值二值形式：二值形式：1if netf（net）=0if net 雙極形式：雙極形式：1if netf（net）=-1if net 2021/4/26183、閾值函數(shù)（、閾值函數(shù)（Threshold Function）階躍函數(shù)）階躍函數(shù) -one

10、t02021/4/26194、S形函數(shù)形函數(shù) 壓縮函數(shù)（壓縮函數(shù)（Squashing Function）和邏輯斯特）和邏輯斯特函數(shù)（函數(shù)（Logistic Function）。）。f（net）=a+b/(1+exp(-d*net)a，b，d為常數(shù)。它的飽和值為為常數(shù)。它的飽和值為a和和a+b。最簡單形式為：最簡單形式為：f（net）= 1/(1+exp(-d*net) 函數(shù)的飽和值為函數(shù)的飽和值為0和和1。 S形函數(shù)有較好的增益控制形函數(shù)有較好的增益控制 2021/4/26204、S形函數(shù)形函數(shù) a+b o(0,c)netac=a+b/22021/4/2621聯(lián)接模式2021/4/2622聯(lián)接

11、模式 層次層次（又稱為（又稱為“級級”）的劃分，導(dǎo)致了神）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的經(jīng)元之間的三種不同的互連模式互連模式： 1、 層（級）內(nèi)聯(lián)接層（級）內(nèi)聯(lián)接層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)）聯(lián)接或側(cè)聯(lián)接（接或側(cè)聯(lián)接（Lateral）。）。用來加強和完成層內(nèi)神經(jīng)元之間的競爭用來加強和完成層內(nèi)神經(jīng)元之間的競爭 2 2、 循環(huán)聯(lián)接循環(huán)聯(lián)接反饋信號。反饋信號。 2021/4/2623聯(lián)接模式聯(lián)接模式 3、層（級）間聯(lián)接、層（級）間聯(lián)接 層間（層間（Inter-field）聯(lián)接指不同層中的神）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來實現(xiàn)層經(jīng)元之間的

12、聯(lián)接。這種聯(lián)接用來實現(xiàn)層間的信號傳遞間的信號傳遞2021/4/2624ANN的網(wǎng)絡(luò)結(jié)構(gòu)2021/4/2625網(wǎng)絡(luò)的分層結(jié)構(gòu)網(wǎng)絡(luò)的分層結(jié)構(gòu) 簡單單級網(wǎng)簡單單級網(wǎng) x1x2xno1o2omwnmw11w1mw2mwn1輸出層輸出層輸入層輸入層2021/4/2626簡單單級網(wǎng)簡單單級網(wǎng) W=（wij）輸出層的第輸出層的第j個神經(jīng)元的網(wǎng)絡(luò)輸入記為個神經(jīng)元的網(wǎng)絡(luò)輸入記為netj： netj=x1w1j+x2w2j+xnwnj其中其中, 1 j m。取。取 NET=（net1，net2，netm） NET=XW O=F（NET）2021/4/2627單級橫向反饋網(wǎng)單級橫向反饋網(wǎng)輸出層輸出層x1o1w11w

13、1mx2o2w2mxnomwn1輸入層輸入層V2021/4/2628單級橫向反饋網(wǎng)單級橫向反饋網(wǎng) V=（vij） NET=XW+OV O=F（NET） 時間參數(shù)時間參數(shù)神經(jīng)元的狀態(tài)在主時鐘的控制下同神經(jīng)元的狀態(tài)在主時鐘的控制下同步變化步變化 考慮考慮X總加在網(wǎng)上的情況總加在網(wǎng)上的情況 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1) O（0）=0 考慮僅在考慮僅在t=0時加時加X的情況。的情況。 穩(wěn)定性判定穩(wěn)定性判定2021/4/2629多級網(wǎng)多級網(wǎng)輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn2021/4/2630 層次劃分層次劃分 信號只被允許從較

14、低層流向較高層。信號只被允許從較低層流向較高層。層號確定層的高低：層號較小者，層次層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。較低，層號較大者，層次較高。 輸入層輸入層：被記作第：被記作第0層。該層負責接收來層。該層負責接收來自網(wǎng)絡(luò)外部的信息自網(wǎng)絡(luò)外部的信息輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn2021/4/2631 第第j層層：第：第j-1層的直接后繼層（層的直接后繼層（j0），它直接），它直接接受第接受第j-1層的輸出。層的輸出。 輸出層輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號，負責輸出網(wǎng)絡(luò)的計算結(jié)果。最大層

15、號，負責輸出網(wǎng)絡(luò)的計算結(jié)果。 隱藏層隱藏層：除輸入層和輸出層以外的其它各層叫：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號直接向外界發(fā)送信號輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn2021/4/2632 約定約定 :輸出層的層號為該網(wǎng)絡(luò)的層數(shù)：輸出層的層號為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或?qū)泳W(wǎng)絡(luò)，或n級級網(wǎng)絡(luò)。網(wǎng)絡(luò)。第第j-1層到第層到第j層的聯(lián)接矩陣為第層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸層聯(lián)接矩陣，輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時候，一

16、般我們用要的時候，一般我們用W（j）表示第表示第j層矩陣層矩陣。輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)2021/4/2633多級網(wǎng)多級網(wǎng)h層網(wǎng)絡(luò)層網(wǎng)絡(luò)輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)2021/4/2634循環(huán)網(wǎng)循環(huán)網(wǎng)x1o1輸出層輸出層隱藏層隱藏層輸入層輸入層x2o2omxn2021/4/2635循環(huán)網(wǎng)循環(huán)網(wǎng) 如果將輸出信號反饋到輸入端如果將輸出信號反饋到輸入端,就可構(gòu)成一個多層就可構(gòu)成一個多層的循環(huán)網(wǎng)絡(luò)。的循環(huán)網(wǎng)絡(luò)。 輸入的原始信號被逐步地輸入的原始信號被逐步地“加強加強”、被、

17、被“修復(fù)修復(fù)”。 大腦的大腦的短期記憶特征短期記憶特征看到的東西不是一下子看到的東西不是一下子就從腦海里消失的。就從腦海里消失的。 穩(wěn)定穩(wěn)定：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。我：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當們希望這種變化逐漸減小，并且最后能消失。當變化最后消失時，網(wǎng)絡(luò)達到了平衡狀態(tài)。如果這變化最后消失時，網(wǎng)絡(luò)達到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。 2021/4/2636人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練2021/4/2637人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 人工神經(jīng)網(wǎng)絡(luò)最具有吸

18、引力的特點是它的人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學(xué)習(xí)能力。學(xué)習(xí)能力。 1962年，年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它可以表達的任何東西?？梢员磉_的任何東西。 人工神經(jīng)網(wǎng)絡(luò)的表達能力大大地限制了它人工神經(jīng)網(wǎng)絡(luò)的表達能力大大地限制了它的學(xué)習(xí)能力。的學(xué)習(xí)能力。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程過程2021/4/2638無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí) 無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)(Unsupervised Learning)與無導(dǎo)與無導(dǎo)師訓(xùn)練師訓(xùn)練(Unsupervise

19、d Training)相對應(yīng)相對應(yīng) 無導(dǎo)師訓(xùn)練方法不需要目標，其訓(xùn)練集中無導(dǎo)師訓(xùn)練方法不需要目標，其訓(xùn)練集中只含一些輸入向量，訓(xùn)練算法致力于修改只含一些輸入向量，訓(xùn)練算法致力于修改權(quán)矩陣，以使網(wǎng)絡(luò)對一個輸入能夠給出相權(quán)矩陣，以使網(wǎng)絡(luò)對一個輸入能夠給出相容的輸出，即相似的輸入向量可以得到相容的輸出，即相似的輸入向量可以得到相似的輸出向量。似的輸出向量。 抽取樣本集合中蘊含的統(tǒng)計特性抽取樣本集合中蘊含的統(tǒng)計特性，并以神，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。2021/4/2639無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí) Hebb學(xué)習(xí)律、競爭與協(xié)同（學(xué)習(xí)律、競爭與協(xié)同（Competi

20、tive and Cooperative）學(xué)習(xí)、隨機聯(lián)接系統(tǒng)）學(xué)習(xí)、隨機聯(lián)接系統(tǒng)（Randomly Connected Learning）等。）等。 Hebb算法算法D. O. Hebb在在1961年年的核心：的核心：當兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加當兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加強，否則被減弱。強，否則被減弱。數(shù)學(xué)表達式表示：數(shù)學(xué)表達式表示： Wij（t+1）=Wij（t）+oi（t）oj（t）2021/4/2640有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(Supervised Learning)與有導(dǎo)師訓(xùn)練與有導(dǎo)師訓(xùn)練(Supervised Training)相對應(yīng)。相對應(yīng)。 輸入向

21、量與其對應(yīng)的輸出向量構(gòu)成一個輸入向量與其對應(yīng)的輸出向量構(gòu)成一個“訓(xùn)練訓(xùn)練對對”。 有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：1） 從樣本集合中取一個樣本（從樣本集合中取一個樣本（Ai，Bi）；）；2） 計算出網(wǎng)絡(luò)的實際輸出計算出網(wǎng)絡(luò)的實際輸出O； 3） 求求D=Bi-O；4） 根據(jù)根據(jù)D調(diào)整權(quán)矩陣調(diào)整權(quán)矩陣W； 5 5） 對每個樣本重復(fù)上述過程，直到對整個樣本集來對每個樣本重復(fù)上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍。說，誤差不超過規(guī)定范圍。 2021/4/2641Delta規(guī)則規(guī)則 Widrow和和Hoff的寫法的寫法：Wij( (t+1) )=Wij

22、( (t) )+( (yj- aj( (t)oi( (t) )也可以寫成：也可以寫成：Wij( (t+1) )=Wij( (t) )+ Wij( (t) ) Wij(t)(t)=joi(t)(t)j=yj- aj(t)(t)Grossberg的寫法為：的寫法為： Wij(t)=a(t)=ai i(t)(o(t)(oj j(t)-W(t)-Wijij(t)(t)更一般的更一般的Delta規(guī)則為：規(guī)則為： Wij( (t) )=g( (ai(t)，yj，oj( (t) )，Wij( (t)2021/4/2642相關(guān)參數(shù) 上述式子中，上述式子中， Wij( (t+1) )、Wij( (t) )分別表

23、示神分別表示神經(jīng)元經(jīng)元ANANi i到到ANANj j的聯(lián)結(jié)在時刻的聯(lián)結(jié)在時刻t+1t+1和時刻和時刻t t的強的強度，度， oi( (t) ) 、 oj( (t) )為這兩個神經(jīng)元在時刻為這兩個神經(jīng)元在時刻t t的輸出，的輸出，yj為神經(jīng)元為神經(jīng)元ANANj j 的理想輸出，的理想輸出，aj( (t) )、aj( (t) )分別為神經(jīng)元分別為神經(jīng)元ANANi i 和和ANANj j 的激活狀態(tài)，的激活狀態(tài)，為給定的學(xué)習(xí)率。為給定的學(xué)習(xí)率。9、 人的價值，在招收誘惑的一瞬間被決定。22.3.622.3.6Sunday, March 06, 202210、低頭要有勇氣，抬頭要有低氣。*3/6/2022 8:07:55 PM11、人總是珍惜為得到。