人工神經(jīng)元模型及學(xué)習(xí)方法.ppt

1、人工神經(jīng)元模型、MP模型、感知器模型及其訓(xùn)練和學(xué)習(xí)算法、M-P模型，目前人們提出了許多神經(jīng)元模型，其中M-P模型最早是由心理學(xué)家麥卡洛克和數(shù)學(xué)家W .皮茨在1943年分析和總結(jié)神經(jīng)元基本特征的基礎(chǔ)上提出的。本文指出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)的方法，并證明了單個神經(jīng)元可以執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時代。該模型在簡化的基礎(chǔ)上，提出以下六個假設(shè)來描述神經(jīng)元的信息處理機制：每個神經(jīng)元是一個多輸入單輸出的信息處理單元，神經(jīng)元輸入分為兩種類型：興奮性輸入和一致性輸入，具有空間整合特性和閾值特性，神經(jīng)元輸入和輸出之間存在固定的時滯。這主要取決于突觸延遲對時間整合的忽視和不應(yīng)期的非事件

2、神經(jīng)元，即它們的突觸延遲和突觸強度是恒定的。假設(shè)1:多輸入單輸出，圖(a)表明，正如生物神經(jīng)元有許多激勵輸入，人工神經(jīng)元也應(yīng)該有許多輸入信號。圖中每個輸入的大小用某個值xi表示，該值同時輸入到神經(jīng)元J，神經(jīng)元的單個輸出用oj表示。假設(shè)2:輸入類型：興奮性和抑制性，生物神經(jīng)元具有不同的突觸特性和突觸強度，它們對輸入的影響是使一些輸入在神經(jīng)元產(chǎn)生脈沖輸出的過程中發(fā)揮比其他輸入更重要的作用。在圖(b)中，神經(jīng)元的每個輸入都有一個加權(quán)系數(shù)wij，稱為加權(quán)值。它的正值和負值模擬了生物神經(jīng)元中突觸的刺激和抑制，它的大小代表了突觸的不同連接強度。假設(shè)3:空間整合特征和閾值特征。作為人工神經(jīng)網(wǎng)絡(luò)的基本處理單元

3、，必須對所有輸入信號進行積分，以確定各種輸入的總效果。圖(c)顯示了組合輸入信號的“和值”，其對應(yīng)于生物神經(jīng)元的膜電位。神經(jīng)元是否被激活取決于一定的閾值水平，也就是說，只有當它們的輸入之和超過閾值時，神經(jīng)元才會被激活發(fā)出脈沖，否則神經(jīng)元將不會產(chǎn)生輸出信號。像生物神經(jīng)元一樣，圖(d)中只有一個人工神經(jīng)元的輸出。如果oj用于表示神經(jīng)元輸出，輸出和輸入之間的對應(yīng)關(guān)系可以用圖(d)中的一些非線性函數(shù)來表示，這通常是非線性的。神經(jīng)元模型示意圖、神經(jīng)元數(shù)學(xué)模型、ij輸入和輸出之間的突觸延遲；Tj神經(jīng)元的閾值；wij神經(jīng)元至j的突觸連接系數(shù)或權(quán)值；f()神經(jīng)元傳遞函數(shù)。神經(jīng)元的數(shù)學(xué)模型，netj=wjtx，

4、wj=(w1w2wn) t x=(x1x2xn) t，設(shè)x0=-1，w0=Tj有-Tj=x0w0，神經(jīng)元的數(shù)學(xué)模型，凈輸入與閾值之差可以表示為：而神經(jīng)元模型可以簡化為：OJ。神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大因素之一，反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系。有四種常用的傳遞函數(shù)。神經(jīng)元傳遞函數(shù)，(1)閾值傳遞函數(shù)，1 x0 f(x)=0 x0，顯示為單極性閾值傳遞函數(shù)。具有這種動作模式的神經(jīng)元成為閾值神經(jīng)元，這是最簡單的神經(jīng)元模型之一，而MP模型屬于這一類。，神經(jīng)元傳遞函數(shù)，(2)非線性傳遞函數(shù)，神經(jīng)元傳遞函數(shù)，(3)分段線性傳遞函數(shù)，0x0f (x)=cx0x1c1xc x

5、，神經(jīng)元傳遞函數(shù)，(4)概率傳遞函數(shù)，溫度參數(shù)，MP模型神經(jīng)元特征函數(shù)可表示為，u的輸入-輸出關(guān)系見表：et，I0 0 E0 0=1 MP模型的邏輯表示MP模型能表示布爾邏輯關(guān)系(與或否)，如邏輯與：設(shè)T=2，I=0， 當x1=1，x2=1，E=1 1=2時，E=x1W x2W=x1 x2，當x1=1，x2=0，E=1 0=1時，觸發(fā)y=1，邏輯or:當x1=1，x2=1，E=x1 x2(兩個激勵輸入)，當x1=1，x2=1=2時，觸發(fā)y=1，當x1=1，x2=0，E=1 0=1時，觸發(fā)y=1，當x1=0，x2=如果y=0未被觸發(fā)，它滿足邏輯OR 邏輯非：當x=1時，讓T=0，E=0，I=xW

6、=x(一個抑制性輸入)，當x=1時，I=10，y=0，當x=0，I=0時，觸發(fā)y=1滿足邏輯非關(guān)系，MP模型，它可以構(gòu)成邏輯MP模型是最簡單的網(wǎng)絡(luò)，但由于生物神經(jīng)元本質(zhì)上是模擬過程，過早地將物理量抽象為0和1會丟失很多有用的信息，所以神經(jīng)計算應(yīng)該將模擬和數(shù)字技術(shù)結(jié)合起來。從最簡單的角度來看，它仍然具有一定的指導(dǎo)意義。MP模型應(yīng)用，MP模型應(yīng)用：可用于實現(xiàn)分類、模式識別等。目前，許多基于M-P神經(jīng)元模型的成功神經(jīng)網(wǎng)絡(luò)已經(jīng)得到應(yīng)用，如BP算法，它是實現(xiàn)人臉識別的主要算法之一。1958年，美國心理學(xué)家弗蘭克羅森布拉特(Frank Rosenblatt)提出了一種具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，稱為感知器

7、，即感知器。感知器是一種前饋網(wǎng)絡(luò)，它在同一層沒有互連，不同層之間沒有反饋，并從下層向上層傳輸。它的輸入和輸出都是離散值，在對輸入進行加權(quán)和求和后，神經(jīng)元通過閾值函數(shù)確定其輸出。單層傳感器的結(jié)構(gòu)和功能非常簡單，但它是其他網(wǎng)絡(luò)的基礎(chǔ)。感知器模型，j=1，2，m，感知器模型，凈輸入：輸出：感知器函數(shù)，感知器是一個簡單的非線性神經(jīng)網(wǎng)絡(luò)，它給線性神經(jīng)元增加了閾值函數(shù)，也稱為線性閾值元素。它可以接受真實信號并輸出二進制離散量(0，1)。它可以用于模式分類。傳感器的功能，模式識別的一個簡單問題：一個小販有一個倉庫，用來存放各種水果和蔬菜。當把水果放入倉庫時，不同種類的水果可能會混合在一起，所以小販渴望有一臺

8、機器來幫助他自動分類和放置水果。當每個水果通過這些傳感器時，它可以用一個三維向量來表示。一個標準的橙色可以表示為：一個標準的蘋果可以表示為：例如，邏輯與函數(shù)是用一個感知器實現(xiàn)的，感知器的結(jié)構(gòu)wix1w2x2-t=0.0.5x10.5x2-0.75=0，感知器的學(xué)習(xí)算法，感知器的學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1)對于每個權(quán)重W0J (0 (2)輸入樣本對XP和dp，其中Xp=(-1，x1p，x2p，xnp)，DP是上標p表示樣本對的模式號，如果樣本集中樣本的總數(shù)是p，那么p=1，2，p； (3)計算實際輸出OJP (t)=SGNWJT (t) XP，j=1，2，m；(4)調(diào)整每個節(jié)點對應(yīng)的權(quán)重，wj (t 1)=wj (t) djp-ojp (t) xp，j=1，2，m，其中學(xué)習(xí)率用于控制調(diào)整速度，過大會影響訓(xùn)練的穩(wěn)定性，過小會減慢訓(xùn)練的收斂速度，一般取01；(5)返回步驟(2)并輸入下一對樣本，重復(fù)上述操作，直到傳感器的實際輸出等于所有樣本的預(yù)期輸出。感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1)初始化