人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用 第2章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí).ppt

1、第二章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí),生物神經(jīng)元 人工神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)模型,神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron)是腦組織的基本單元，是人腦信息處理系統(tǒng)的最小單元。 生物神經(jīng)元 生物神經(jīng)網(wǎng)絡(luò),2.1人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),2.1.1生物神經(jīng)元,生物神經(jīng)元在結(jié)構(gòu)上由: 細(xì)胞體(Cell body)、 樹突(Dendrite)、 軸突(Axon)、 突觸(Synapse) 四部分組成。用來完成神經(jīng)元間信息的接收、傳遞和處理。,人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),2.1.2 生物神經(jīng)元的信息處理機(jī)理,一、信息的產(chǎn)生,神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。

2、,神經(jīng)元狀態(tài)： 靜息 興奮 抑制,膜電位： 極 化 去極化 超極化,人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),2.1.2 生物神經(jīng)元的信息處理機(jī)理,二信息的傳遞與接收,人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),2.1.2 生物神經(jīng)元的信息處理機(jī)理,三、信息的整合,空間整合：同一時(shí)刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。,時(shí)間整合：各輸入脈沖抵達(dá)神經(jīng)元的時(shí)間先后不一樣?？偟耐挥|后膜電位為一段時(shí)間內(nèi)的累積。,人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),2.1.3 生物神經(jīng)網(wǎng)絡(luò),由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu) 相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。,生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息 處理

3、功能的簡(jiǎn)單疊加。,神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不 同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀 呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。,人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ),2.2神經(jīng)元的人工模型,神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元 人工神經(jīng)元(節(jié)點(diǎn)) 從三個(gè)方面進(jìn)行模擬: 節(jié)點(diǎn)本身的信息處理能力 節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu)) 相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整),決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素,節(jié)點(diǎn)本身的信息處理能力(數(shù)學(xué)模型) 節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu)) 相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整),神經(jīng)元的人工模型,2.2.1神經(jīng)元的建模,(1) 每個(gè)神經(jīng)元都是一個(gè)

4、多輸入單輸出的信息處理單元；,(2) 神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；,(6) 神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度 均為常數(shù)。,(3) 神經(jīng)元具有空間整合特性和閾值特性；,(4)神經(jīng)元輸入與輸出間有固定的時(shí)滯, 主要取決于突觸延擱；,(5) 忽略時(shí)間整合作用和不應(yīng)期；,模型的六點(diǎn)假設(shè)：,神經(jīng)元的人工模型,假設(shè)1：多輸入單輸出,圖(a) 表明，正如生物神經(jīng)元有許多激勵(lì)輸入一祥，人工神經(jīng)元也應(yīng)該有許多的輸入信號(hào)，圖中每個(gè)輸入的大小用確定數(shù)值xi表示，它們同時(shí)輸入神經(jīng)元j，神經(jīng)元的單輸出用oj表示。,神經(jīng)元的人工模型,假設(shè)2：輸入類型：興奮性和抑制性,生物神經(jīng)元具有不同的突觸性

5、質(zhì)和突觸強(qiáng)度，其對(duì)輸入的影響是使有些輸入在神經(jīng)元產(chǎn)生脈沖輸出過程中所起的作用比另外一些輸入更為重要。圖(b)中對(duì)神經(jīng)元的每一個(gè)輸入都有一個(gè)加權(quán)系數(shù)wij，稱為權(quán)重值，其正負(fù)模擬了生物神經(jīng)元中突觸的興奮和抑制，其大小則代表了突觸的不同連接強(qiáng)度。,神經(jīng)元的人工模型,假設(shè)3：空間整合特性和閾值特性,作為ANN的基本處理單元，必須對(duì)全部輸入信號(hào)進(jìn)行整合，以確定各類輸入的作用總效果，圖(c)表示組合輸人信號(hào)的“總和值”，相應(yīng)于生物神經(jīng)元的膜電位。神經(jīng)元激活與否取決于某一閾值電平，即只有當(dāng)其輸入總和超過閾值時(shí), 神經(jīng)元才被激活而發(fā)放脈沖, 否則神經(jīng)元不會(huì)產(chǎn)生輸出信號(hào)。,神經(jīng)元的人工模型,神經(jīng)元的輸出,圖(

6、d) 人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個(gè)，如用oj表示神經(jīng)元輸出，則輸出與輸入之間的對(duì)應(yīng)關(guān)系可用圖(d)中的某種非線性函數(shù)來表示，這種函數(shù)一般都是非線性的。,神經(jīng)元的人工模型,神經(jīng)元模型示意圖,神經(jīng)元的人工模型,2.2.2神經(jīng)元的數(shù)學(xué)模型,ij 輸入輸出間的突觸時(shí)延； Tj 神經(jīng)元j的閾值； wij 神經(jīng)元i到 j 的突觸連接系數(shù)或稱 權(quán)重值； f ()神經(jīng)元轉(zhuǎn)移函數(shù)。,(2. 1),(2. 2),神經(jīng)元的人工模型,(2.3),netj=WjTX,Wj=(w1 w2 wn)T X=(x1 x2 xn)T,令 x0=-1，w0=Tj 則有 -Tj=x0w0,(2.4),2.2.2神經(jīng)元的

7、數(shù)學(xué)模型,神經(jīng)元的人工模型,(2.5),oj=f(netj)=f (WjTX),(2.6),2.2.2神經(jīng)元的數(shù)學(xué)模型,神經(jīng)元的人工模型,2.2.3神經(jīng)元的轉(zhuǎn)移函數(shù),神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系，最常用的轉(zhuǎn)移函數(shù)有4種形式。,神經(jīng)元的人工模型,(1)閾值型轉(zhuǎn)移函數(shù),1 x0 f(x)= (2.7) 0 x0,2.2.3神經(jīng)元的轉(zhuǎn)移函數(shù),神經(jīng)元的人工模型,(2)非線性轉(zhuǎn)移函數(shù),2.2.3神經(jīng)元的轉(zhuǎn)移函數(shù),神經(jīng)元的人工模型,(3)分段

8、線性轉(zhuǎn)移函數(shù),0 x0 f(x)= cx 0 xxc (2.9) 1 xc x,2.2.3神經(jīng)元的轉(zhuǎn)移函數(shù),神經(jīng)元的人工模型,(4)概率型轉(zhuǎn)移函數(shù),溫度參數(shù),2.2.3神經(jīng)元的轉(zhuǎn)移函數(shù),神經(jīng)元的人工模型,節(jié)點(diǎn)本身的信息處理能力(數(shù)學(xué)模型) 節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu)) 相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整),人工神經(jīng)網(wǎng)絡(luò)模型,2.3人工神經(jīng)網(wǎng)絡(luò)模型,分類： 按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類 層次型結(jié)構(gòu) 互連型網(wǎng)絡(luò)結(jié)構(gòu) 按網(wǎng)絡(luò)內(nèi)部的信息流向分類 前饋型網(wǎng)絡(luò) 反饋型網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)模型,2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 ：,層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連。 互

9、連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑.,人工神經(jīng)網(wǎng)絡(luò)模型,2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型,層次型結(jié)構(gòu),2.3人工神經(jīng)網(wǎng)絡(luò)模型,人工神經(jīng)網(wǎng)絡(luò)模型,輸出層到輸入層有連接,人工神經(jīng)網(wǎng)絡(luò)模型,2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型,層內(nèi)有連接層次型結(jié)構(gòu),2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型,人工神經(jīng)網(wǎng)絡(luò)模型,全互連型結(jié)構(gòu),2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型,人工神經(jīng)網(wǎng)絡(luò)模型,局部互連型網(wǎng)絡(luò)結(jié)構(gòu),2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型,人工神經(jīng)網(wǎng)絡(luò)模型,2.3.2網(wǎng)絡(luò)信息流向類型,前饋型網(wǎng)絡(luò) 前饋:網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行 反饋型網(wǎng)絡(luò) 在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接

10、收輸入，同時(shí)又可以向外界輸出。,人工神經(jīng)網(wǎng)絡(luò)模型,前饋型網(wǎng)絡(luò),2.3.2網(wǎng)絡(luò)信息流向類型,人工神經(jīng)網(wǎng)絡(luò)模型,反饋型網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)模型,2.3.2網(wǎng)絡(luò)信息流向類型,節(jié)點(diǎn)本身的信息處理能力(數(shù)學(xué)模型) 節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu)) 相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整),神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)能夠通過對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。,2.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型：,有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí)),無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí)),死記式學(xué)習(xí),2.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),學(xué)習(xí)的過程（權(quán)值調(diào)整的一般情況 ）,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),2.4神經(jīng)