神經(jīng)網(wǎng)絡(luò)2PPT課件

1、12021-11-16類神經(jīng)網(wǎng)絡(luò)，類似人類神經(jīng)元結(jié)構(gòu)。神經(jīng)元的主要功能是接受刺激和傳遞信息。神經(jīng)元通過傳入神經(jīng)接受來自體內(nèi)外環(huán)境變化的刺激信息，并對這些信息加以分析、綜合和儲存，再經(jīng)過傳出神經(jīng)把指令傳到所支配的器官和組織，產(chǎn)生調(diào)節(jié)和控制效應(yīng)。第1頁/共39頁22021-11-16yVj第2頁/共39頁3 類神經(jīng)網(wǎng)絡(luò)和回歸分析不同，沒有任何假設(shè)的概率分布，是模式識別和誤差最小化的過程，在每一次經(jīng)驗中提取和學(xué)習(xí)信息。 類神經(jīng)網(wǎng)絡(luò)可以處理連續(xù)型和類別型的數(shù)據(jù)，對數(shù)據(jù)進行預(yù)測。 神經(jīng)網(wǎng)絡(luò)是有監(jiān)督學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)的特點：神經(jīng)網(wǎng)絡(luò)的特點：第3頁/共39頁二、類神經(jīng)網(wǎng)絡(luò)的架構(gòu)二、類神經(jīng)網(wǎng)絡(luò)的架構(gòu) 類神經(jīng)網(wǎng)絡(luò)主

2、要結(jié)構(gòu)是由神經(jīng)元（neuron）、層（layer）和網(wǎng)絡(luò)（network）三個部份所組成。 整個類神經(jīng)網(wǎng)絡(luò)包含一系列基本的神經(jīng)元，通過權(quán)重（weight）相互連接。 這些單元以層的方式組織，每一層的每個神經(jīng)元和前一層、后一層的神經(jīng)元連接。4第4頁/共39頁后向傳播神經(jīng)網(wǎng)絡(luò)后向傳播神經(jīng)網(wǎng)絡(luò)輸入層輸入層隱藏層隱藏層(可多層可多層)輸出層輸出層(決策層決策層)5神經(jīng)元第5頁/共39頁什么是后向傳播？什么是后向傳播？ 后向傳播是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)的學(xué)習(xí)算法。這個神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層。 這種學(xué)習(xí)算法下的神經(jīng)網(wǎng)絡(luò)是一組連接的輸入/輸出單元，其中每個連接都與一個權(quán)相連。它的

3、學(xué)習(xí)規(guī)則是使用最速下降法，按照誤差糾正規(guī)則反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小，從而使得能夠預(yù)測輸入樣本的正確類標(biāo)號。 前向傳播：在前向傳播過程中，神經(jīng)網(wǎng)絡(luò)中的所有突觸的權(quán)重都是固定不變的。6第6頁/共39頁 不同的信息流向?qū)е虏煌愋偷木W(wǎng)絡(luò)，可區(qū)分為”前饋神經(jīng)網(wǎng)絡(luò)”（feed forward neural network）和”反饋式神經(jīng)網(wǎng)絡(luò)”（feedback neural network）。7什么是前饋神經(jīng)網(wǎng)絡(luò)：什么是前饋神經(jīng)網(wǎng)絡(luò)：第7頁/共39頁 前饋神經(jīng)網(wǎng)絡(luò)是指信息只朝一個方向流動，也就是數(shù)據(jù)在神經(jīng)元之間的流動方向是單向的，沒有循環(huán)。 這種網(wǎng)絡(luò)而在分類過程中數(shù)據(jù)只

4、能向前傳送，直到到達(dá)輸出層，層間沒有向后的反饋信號，因此被稱為前饋網(wǎng)絡(luò)。 后向傳播是在多層前饋神經(jīng)網(wǎng)絡(luò)上學(xué)習(xí)的。8第8頁/共39頁 反饋式神經(jīng)網(wǎng)絡(luò)是指數(shù)據(jù)在神經(jīng)元之間的流動方向是雙向關(guān)系，神經(jīng)元會輸出到其他所有的神經(jīng)元，也會接收其他神經(jīng)元的輸出成為輸入。9什么是反饋式神經(jīng)網(wǎng)絡(luò)？第9頁/共39頁什么是自組織網(wǎng)絡(luò) ( SOM ,Self-Organizing Neural Networks ) 自組織神經(jīng)網(wǎng)絡(luò)是一種無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)。它通過自動尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。10第10頁/共39頁11 類神經(jīng)網(wǎng)絡(luò)的分為輸入層、輸出層和隱藏層，三層連結(jié)形成一個神經(jīng)網(wǎng)絡(luò)

5、。 輸入層只從外部環(huán)境接收信息，該層的每個神經(jīng)元相當(dāng)于自變量，不完成任何計算，只為下一層傳遞信息。 輸出層生成最終結(jié)果，為網(wǎng)絡(luò)送給外部系統(tǒng)的結(jié)果值。什么是層？什么是層？第11頁/共39頁12 隱藏層介于輸入層和輸出層之間，這些層完全用于分析，其函數(shù)聯(lián)系輸入層變量和輸出層變量，使其更擬合(fit)資料。 隱藏層的功能主要是增加類神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，以能夠模擬復(fù)雜的非線性關(guān)系。 隱藏層的多少要適當(dāng)，過多容易過度擬合。 一層加權(quán)神經(jīng)元的網(wǎng)絡(luò)稱單層感知器，多層加權(quán)神經(jīng)元的網(wǎng)絡(luò)稱多層感知器（multi-layer perceptrons）。第12頁/共39頁一一個輸個輸出元出元的兩的兩層神層神經(jīng)網(wǎng)經(jīng)網(wǎng)絡(luò)絡(luò)

6、13神經(jīng)網(wǎng)絡(luò)的形式：神經(jīng)網(wǎng)絡(luò)的形式：第13頁/共39頁14一個輸出元的三層神經(jīng)網(wǎng)絡(luò)第14頁/共39頁多個輸出元的三層神經(jīng)網(wǎng)絡(luò)多個輸出元的三層神經(jīng)網(wǎng)絡(luò)15第15頁/共39頁三、神經(jīng)元的結(jié)構(gòu)三、神經(jīng)元的結(jié)構(gòu)16 一個神經(jīng)元 j，有閾值，從上一層連接的神經(jīng)元得到n個輸入變量X，每個輸入變量附加一個鏈接權(quán)重w。 輸入變量將依照不同權(quán)重加以合并（一般是加權(quán)總和），鏈接成組合函數(shù)（combination function），組合函數(shù)的值稱為電位（potential）；然后，啟動（轉(zhuǎn)換、激活、賦活)函數(shù)（activation function）將電位轉(zhuǎn)換成輸出信號。第16頁/共39頁j1njijijiIw

7、o n表示變量的個數(shù) Oi表示第i個輸入值(X) Wij表示第j個神經(jīng)元的第i個輸入值的權(quán)重：o1o2onw1jw2jwnjOjIjf(Ij)ixix17 是第j個神經(jīng)元的偏置（偏差）：偏差有增大或者減小激活函數(shù)的凈輸入的作用，取決于該偏差是負(fù)值還是正值。 表示第j個神經(jīng)元的輸入值(組合函數(shù))。f（）是神經(jīng)元的啟動（激活或賦活）函數(shù)Oj=f(Ij)是第j個神經(jīng)元的輸出值(Y)。jjI第17頁/共39頁四、四、啟動函數(shù)啟動函數(shù)f()類型類型 181、線性啟動函數(shù)：啟動函數(shù)就是負(fù)責(zé)將神經(jīng)元接受的輸入脈沖總和，轉(zhuǎn)換成輸出脈沖，但是人類神經(jīng)在處理外部刺激時，輸出信號是有極限的，否則可能會因為輸出信號過

8、強而造成對神經(jīng)元的傷害。因此，類神經(jīng)網(wǎng)絡(luò)在選取啟動函數(shù)時，不能夠使用傳統(tǒng)的線性函數(shù)，通常來說會選擇兼具正向收斂與負(fù)向收斂的函數(shù)。jjfII第18頁/共39頁191,1 1,00,0jjjIf II 1,01,0jjjIf II ,0,0jjjIf II0, 12.階梯（step）啟動函數(shù)的一般形式：階梯啟動函數(shù)又稱閾值（threshold）啟動函數(shù)。當(dāng) 時，得到當(dāng) 時，得到對稱階梯函數(shù)。即：第19頁/共39頁對稱階梯函數(shù)+1-10階梯函數(shù)120第20頁/共39頁3.Sigmoid（或稱S型）啟動函數(shù)Sigmoid啟動函數(shù)輸出值界于-1和1，或是0和1之間，是單調(diào)遞增函數(shù)，函數(shù)型數(shù)有許多種，最常

9、用的是Logistic函數(shù)。式中是正常數(shù)（一般為零），Sigmoid啟動函數(shù)是最常用啟動函數(shù)，非線性函數(shù)，但是易于微分和了解。2111jjIfIe第21頁/共39頁+1S 函數(shù)022第22頁/共39頁4、分段線性啟動函數(shù)、分段線性啟動函數(shù)23 1,1,010,0jjjjjIf IIII分段線性函數(shù)+10第23頁/共39頁242jIVjfIejI5、高斯啟動函數(shù)鐘型曲線（bell-shaped curve），輸出值在0和1之間，其中， 是均值，V是函數(shù)事先定義的方差。第24頁/共39頁五、類神經(jīng)網(wǎng)絡(luò)的訓(xùn)練五、類神經(jīng)網(wǎng)絡(luò)的訓(xùn)練25 類神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)前，必須建立出一個訓(xùn)練樣本（training pat

10、tern）使類神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)的過程中有一個參考，訓(xùn)練樣本的建立來自于實際系統(tǒng)輸入與輸出或是以往的經(jīng)驗。 例如：洗衣機洗凈衣服的時間，與衣服的質(zhì)料、數(shù)量、骯臟的程度有關(guān)，因此我們必須先針對不同質(zhì)料、數(shù)量、骯臟的程度的衣服統(tǒng)計出洗衣所需的時間，建立訓(xùn)練樣本。不同衣服的質(zhì)料、數(shù)量、骯臟程度就是類神經(jīng)網(wǎng)絡(luò)的輸入，而洗衣所需的時間則為類神經(jīng)網(wǎng)絡(luò)的目標(biāo)值（target），也就是類神經(jīng)網(wǎng)絡(luò)的參考輸出。第25頁/共39頁26 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)就是不斷調(diào)整權(quán)重的過程。 訓(xùn)練之前，必須將數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，將權(quán)重指定給第一層的神經(jīng)元。 大多數(shù)軟件包使用向后傳播方法(Back propagation)，任

11、何一種后向傳播算法的最重要部分都是使用誤差度量來調(diào)整權(quán)重。第26頁/共39頁 后向傳播神經(jīng)網(wǎng)絡(luò)通過更新權(quán)重和偏置使得網(wǎng)絡(luò)預(yù)測的誤差達(dá)到最小。具體步驟如下： 通過輸入節(jié)點將輸入變量加以標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化后的變量數(shù)值落在0和1之間，或者是-1和1之間。 將網(wǎng)絡(luò)權(quán)重初始值設(shè)定為0（或隨機產(chǎn)生）。通過各節(jié)點的函數(shù)，估計數(shù)據(jù)的目標(biāo)變量值。27六、六、權(quán)重和偏置的調(diào)整權(quán)重和偏置的調(diào)整第27頁/共39頁 比較實際值和估計值之間的誤差，并根據(jù)誤差值重新調(diào)整各權(quán)重和偏置。 重新執(zhí)行第二步驟，反復(fù)執(zhí)行，一直到實際值和估計值之間的誤差值最小，此時才停止學(xué)習(xí)，此時獲得最佳權(quán)重。28第28頁/共39頁29舉例說明舉例說明權(quán)

12、重和偏置的調(diào)整過程權(quán)重和偏置的調(diào)整過程第29頁/共39頁 1、首先利用隨機的方式，產(chǎn)生各神經(jīng)元間的權(quán)重，以及隱藏層與輸出層神經(jīng)元的偏置。30w14w15w24w25w34w35w46w560.2--0.50.2-0.3-0.2456-第30頁/共39頁2、根據(jù)輸入信號，計算各隱藏層神經(jīng)元的輸出信號，假設(shè)輸入的樣本是(X1,X2,X3,Y)=(1,0,1,1)。 神經(jīng)元4： 神經(jīng)元5：314441*0.20*0.4 1*( 0.5)0.40.7iiiIw O 總輸入信號：440.711=0.3321+1+IOee轉(zhuǎn)換輸出信號：5551*( 0.3)0*0.1

13、1*iiiIw O總輸入信號：550.111=0.5251+1+IOee轉(zhuǎn)換輸出信號：jijijiIw O總輸入信號：1=1+jjIOe轉(zhuǎn)換輸出信號：第31頁/共39頁3、根據(jù)隱藏層輸出信號，計算輸入層神經(jīng)元的輸出信號。 神經(jīng)元632566640.332*( 0.3)0.525*( 0.2)0.10.105iiiIw O 總輸入信號：660.10511=0.4741+1+IOee轉(zhuǎn)換輸出信號：第32頁/共39頁4、此時，輸出值0.474與真值1不一致，我們可以計算神經(jīng)元6的誤差項。 神經(jīng)元6的誤差項：5、將此誤差項反饋至隱藏層，此時可以計算隱藏層神經(jīng)元誤差值。 神經(jīng)元4誤差項

14、： 神經(jīng)元5誤差項：3366666=(1)()0.474(1 0.474)(1 0.474)0.1311ErrorOOTO4444=(1)0.332(1 0.332)*0.1311*( 0.3)0.0087iiiErrorOOErrorw5555=(1)0.525(1 0.525)*0.1311*( 0.2)0.0065kkkErrorOOError w=(1)()jjjjjkErrorOOTOError=(1)jjjkjkkErrorOOError w第33頁/共39頁6、最后根據(jù)神經(jīng)元誤差項，更新各神經(jīng)元的權(quán)重以及偏置，假設(shè)學(xué)習(xí)速率為0.9。34*14*15*24*25*34*35*460

15、.20.9(0.0087)*10.2080.30.9(0.0065)*10.2940.40.9(0.0087)*00.40.1 0.9(0.0065)*0(0.0087)*10.4920.20.9(0.0065)*10.2060.30.9(0.1311)*0.3320.339wwwwwww *56*4*5*60.20.9(0.1311)*0.5250.1380.40.9(0.0087)0.3920.20.9(0.0065)0.2060.1 0.9(0.1311)0.218w *ijjiijijijjjjjjwError OwwwError學(xué)習(xí)速率：通常是介于01之間，當(dāng)其數(shù)值

16、越大，每次權(quán)數(shù)的修正量就越大。不能太小或太大。經(jīng)驗設(shè)置為1/t，t為迭代次數(shù)。目前調(diào)整權(quán)重的方法是一種最陡坡降法。第34頁/共39頁 如此，即達(dá)成一個學(xué)習(xí)循環(huán)的類神經(jīng)網(wǎng)絡(luò)權(quán)重修正，接下來持續(xù)此步驟，使得輸出值越來越接近真值，從而達(dá)到建立模型的目的。 另外，根據(jù)理論當(dāng)學(xué)習(xí)時間無限長時，誤差應(yīng)該會無限接近于零。但事實上，如果當(dāng)模型訓(xùn)練越久，就有可能出現(xiàn)過度擬合的問題，因此一般有兩種方法來處理： 設(shè)定閥值。 使用測試樣本。一般，測試組誤差一開始會隨著上述誤差的減小而減小，但當(dāng)過度擬合現(xiàn)象發(fā)生時，測試組的誤差會開始從小到大變化。35第35頁/共39頁七、類神經(jīng)網(wǎng)絡(luò)的優(yōu)點七、類神經(jīng)網(wǎng)絡(luò)的優(yōu)點 類神經(jīng)網(wǎng)絡(luò)可以建構(gòu)非線性的模型，模型的準(zhǔn)確度高。 類神經(jīng)網(wǎng)絡(luò)有良好的推廣性，對于未知的輸入亦可得到正確的輸出。 類神經(jīng)網(wǎng)絡(luò)可以接受不同種類的變量作為輸入，適應(yīng)性強。 類神經(jīng)網(wǎng)絡(luò)可應(yīng)用的領(lǐng)域相當(dāng)廣泛，模型建構(gòu)能力強。 類