《神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)》ppt課件

1、第二節(jié)第二節(jié) 神經(jīng)網(wǎng)絡(luò)根底知識(shí)神經(jīng)網(wǎng)絡(luò)根底知識(shí)p生物神經(jīng)元p人工神經(jīng)元模型p人工神經(jīng)網(wǎng)絡(luò)模型神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研討結(jié)果神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研討結(jié)果闡明，神經(jīng)元闡明，神經(jīng)元(Neuron)(Neuron)是腦組織的根本單是腦組織的根本單元，是人腦信息處置系統(tǒng)的最小單元。元，是人腦信息處置系統(tǒng)的最小單元。生物神經(jīng)元生物神經(jīng)元生物神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò)2.12.1人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底.1生物神經(jīng)元生物神經(jīng)元 生物神經(jīng)元在構(gòu)造上由生物神經(jīng)元在構(gòu)造上由: 細(xì)胞體細(xì)胞體(Cell body)、 樹突樹突(Dendrite)、軸突軸突(Axon)、突觸突觸

2、(Synapse) 四部分組成。用來完成四部分組成。用來完成神經(jīng)元間信息的接納、神經(jīng)元間信息的接納、傳送和處置。傳送和處置。人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底2.1.2 2.1.2 生物神經(jīng)元的信息處置機(jī)理生物神經(jīng)元的信息處置機(jī)理二二信信息息的的傳傳送送與與接接納納人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底2.1.3 2.1.3 生物神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò) 由多個(gè)生物神經(jīng)元以確定方式和拓由多個(gè)生物神經(jīng)元以確定方式和拓?fù)錁?gòu)造撲構(gòu)造 相互銜接即構(gòu)成生物神經(jīng)網(wǎng)絡(luò)。相互銜接即構(gòu)成生物神經(jīng)網(wǎng)絡(luò)。 生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息 處置

3、功能的簡(jiǎn)單疊加。 神經(jīng)元之間的突觸銜接方式和銜接神經(jīng)元之間的突觸銜接方式和銜接強(qiáng)度不強(qiáng)度不 同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀在宏觀 呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處置呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處置才干。才干。人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)根底2.22.2人工神經(jīng)元模型人工神經(jīng)元模型.1神經(jīng)元的建模神經(jīng)元的建模神經(jīng)元的人工模型神經(jīng)元的人工模型假設(shè)假設(shè)1 1：多輸入單輸出：多輸入單輸出p圖(a) 闡明，正如生物神經(jīng)元有許多鼓勵(lì)輸入一祥，人工神經(jīng)元也應(yīng)該有許多的輸入信號(hào)，圖中每個(gè)輸入的大小用確定數(shù)值xi表示，它們同時(shí)輸入神經(jīng)元j，神經(jīng)元的單

4、輸出用oj表示。神經(jīng)元的人工模型神經(jīng)元的人工模型假設(shè)假設(shè)2 2：輸入類型：興奮性和抑制性：輸入類型：興奮性和抑制性p生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強(qiáng)度，其對(duì)輸入的影響是使有些生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強(qiáng)度，其對(duì)輸入的影響是使有些輸入在神經(jīng)元產(chǎn)生脈沖輸出過程中所起的作用比另外一些輸入更為重要。輸入在神經(jīng)元產(chǎn)生脈沖輸出過程中所起的作用比另外一些輸入更為重要。圖圖(b)(b)中對(duì)神經(jīng)元的每一個(gè)輸入都有一個(gè)加權(quán)系數(shù)中對(duì)神經(jīng)元的每一個(gè)輸入都有一個(gè)加權(quán)系數(shù)wijwij，稱為權(quán)重值，其，稱為權(quán)重值，其正負(fù)模擬了生物神經(jīng)元中突觸的興奮和抑制，其大小那么代表了突觸的正負(fù)模擬了生物神經(jīng)元中突觸的興奮和

5、抑制，其大小那么代表了突觸的不同銜接強(qiáng)度。不同銜接強(qiáng)度。神經(jīng)元的人工模型神經(jīng)元的人工模型假設(shè)假設(shè)3 3：空間整合特性和閾值特性：空間整合特性和閾值特性p作為ANN的根本處置單元，必需對(duì)全部輸入信號(hào)進(jìn)展整合，以確定各類輸入的作用總效果，圖(c)表示組合輸人信號(hào)的“總和值，相應(yīng)于生物神經(jīng)元的膜電位。神經(jīng)元激活與否取決于某一閾值電平，即只需當(dāng)其輸入總和超越閾值時(shí), 神經(jīng)元才被激活而發(fā)放脈沖, 否那么神經(jīng)元不會(huì)產(chǎn)生輸出信號(hào)。神經(jīng)元的人工模型神經(jīng)元的人工模型神經(jīng)元的輸出神經(jīng)元的輸出p 圖圖(d) (d) 人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個(gè)，如用人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個(gè)，如用oj

6、oj表示神表示神經(jīng)元輸出，那么輸出與輸入之間的對(duì)應(yīng)關(guān)系可用圖經(jīng)元輸出，那么輸出與輸入之間的對(duì)應(yīng)關(guān)系可用圖(d)(d)中的某種非線性函中的某種非線性函數(shù)來表示，這種函數(shù)普通都是非線性的。數(shù)來表示，這種函數(shù)普通都是非線性的。神經(jīng)元的人工模型神經(jīng)元的人工模型神經(jīng)元模型表示圖神經(jīng)元模型表示圖神經(jīng)元的人工模型神經(jīng)元的人工模型2.2.2神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型ij 輸入輸出間的突觸時(shí)延；輸入輸出間的突觸時(shí)延； Tj 神經(jīng)元神經(jīng)元j的閾值；的閾值； wij 神經(jīng)元神經(jīng)元i到到 j 的突觸銜接系數(shù)或稱的突觸銜接系數(shù)或稱 權(quán)重值；權(quán)重值； f ()神經(jīng)元轉(zhuǎn)移函數(shù)。神經(jīng)元轉(zhuǎn)移函數(shù)。)()(jn1iiijj

7、Ttxwf1to(2. 2)神經(jīng)元的人工模型神經(jīng)元的人工模型(2. 1)n1iiijjtxwttne)()(2.3) netj=WjTX netj=WjTX Wj=(w1 w2 wn)T Wj=(w1 w2 wn)T X=(x1 x2 xn)T X=(x1 x2 xn)T 令令 x0=-1，w0=Tj 那么有那么有 -Tj=x0w0(2.4).2神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的人工模型神經(jīng)元的人工模型XWTjn0iiijjjjxwnetTtne(2.5) oj=f(netj)=f (WjTX)(2.6).2神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的人工模型

8、神經(jīng)元的人工模型.3神經(jīng)元的轉(zhuǎn)移函數(shù)神經(jīng)元的轉(zhuǎn)移函數(shù) 神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處置特性。最常神經(jīng)元具有不同的信息處置特性。最常用的轉(zhuǎn)移函數(shù)有用的轉(zhuǎn)移函數(shù)有4 4種方式。種方式。神經(jīng)元的人工模型神經(jīng)元的人工模型(1)閾值型轉(zhuǎn)移函數(shù)閾值型轉(zhuǎn)移函數(shù) 1 x0f(x)= (2.7) 0 x0 f (x) 1.0 x0.3神經(jīng)元的轉(zhuǎn)移函數(shù)神經(jīng)元的轉(zhuǎn)移函數(shù)神經(jīng)元的人工模型神經(jīng)元的人工模型(2)非線性轉(zhuǎn)移函數(shù)非線性轉(zhuǎn)移函數(shù)xe11f(x)xxxe1e11

9、e12f(x) f (x) 1.0 0.5x0 f (x) 1.0 0 x-1.0.3神經(jīng)元的轉(zhuǎn)移函數(shù)神經(jīng)元的轉(zhuǎn)移函數(shù)神經(jīng)元的人工模型神經(jīng)元的人工模型 Log-sigmoid對(duì)數(shù)正切S型傳送函數(shù) tansigmoid雙正切S型傳送函數(shù) 2.32.3人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型p分類：分類：p按網(wǎng)絡(luò)銜接的拓?fù)錁?gòu)造分類按網(wǎng)絡(luò)銜接的拓?fù)錁?gòu)造分類p層次型構(gòu)造層次型構(gòu)造p互連型網(wǎng)絡(luò)構(gòu)造互連型網(wǎng)絡(luò)構(gòu)造p按網(wǎng)絡(luò)內(nèi)部的信息流向分類按網(wǎng)絡(luò)內(nèi)部的信息流向分類p前饋型網(wǎng)絡(luò)前饋型網(wǎng)絡(luò)p反響型網(wǎng)絡(luò)反響型網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型.1網(wǎng)絡(luò)拓?fù)錁?gòu)造類型網(wǎng)絡(luò)拓?fù)錁?gòu)造類型 ：p層次

10、型構(gòu)造：將神經(jīng)元按功能分成假設(shè)干層次型構(gòu)造：將神經(jīng)元按功能分成假設(shè)干層，如輸入層、中間層隱層和輸出層，層，如輸入層、中間層隱層和輸出層，各層順序相連。各層順序相連。p互連型網(wǎng)絡(luò)構(gòu)造：網(wǎng)絡(luò)中恣意兩個(gè)節(jié)點(diǎn)之互連型網(wǎng)絡(luò)構(gòu)造：網(wǎng)絡(luò)中恣意兩個(gè)節(jié)點(diǎn)之間都能夠存在銜接途徑間都能夠存在銜接途徑. .人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型2.3.1網(wǎng)絡(luò)拓?fù)錁?gòu)造類型網(wǎng)絡(luò)拓?fù)錁?gòu)造類型 1. 單單純純型型層層次次型型構(gòu)構(gòu)造造 2.32.3人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型層次型構(gòu)造：層次型構(gòu)造：2.輸輸出出層層到到輸輸入入層層有有銜銜接接 人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型.1網(wǎng)

11、絡(luò)拓?fù)錁?gòu)造類型網(wǎng)絡(luò)拓?fù)錁?gòu)造類型 3.層層內(nèi)內(nèi)有有銜銜接接層層次次型型構(gòu)構(gòu)造造 .1網(wǎng)絡(luò)拓?fù)錁?gòu)造類型網(wǎng)絡(luò)拓?fù)錁?gòu)造類型 人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型1.全互連型構(gòu)造全互連型構(gòu)造 .1網(wǎng)絡(luò)拓?fù)錁?gòu)造類型網(wǎng)絡(luò)拓?fù)錁?gòu)造類型 人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型互連型網(wǎng)絡(luò)構(gòu)造：互連型網(wǎng)絡(luò)構(gòu)造：2.部部分分互互連連型型網(wǎng)網(wǎng)絡(luò)絡(luò)構(gòu)構(gòu)造造 .1網(wǎng)絡(luò)拓?fù)錁?gòu)造類型網(wǎng)絡(luò)拓?fù)錁?gòu)造類型 人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型前前饋饋型型網(wǎng)網(wǎng)絡(luò)絡(luò) .2網(wǎng)絡(luò)信息流向類型網(wǎng)絡(luò)信息流向類型人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)可以經(jīng)過對(duì)樣本的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可以經(jīng)過對(duì)樣本的

12、學(xué)習(xí)訓(xùn)練，不斷改動(dòng)網(wǎng)絡(luò)的銜接權(quán)值以及訓(xùn)練，不斷改動(dòng)網(wǎng)絡(luò)的銜接權(quán)值以及拓?fù)錁?gòu)造，以使網(wǎng)絡(luò)的輸出不斷地接拓?fù)錁?gòu)造，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。的動(dòng)態(tài)調(diào)整。2.42.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型：有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(有監(jiān)視學(xué)習(xí)有監(jiān)視學(xué)習(xí))無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)(無監(jiān)視學(xué)習(xí)無監(jiān)視學(xué)習(xí))死記式學(xué)習(xí)死記式學(xué)習(xí)2.42.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)p有關(guān)學(xué)習(xí)的研討在神經(jīng)網(wǎng)絡(luò)研討中具有重要位置。有

13、關(guān)學(xué)習(xí)的研討在神經(jīng)網(wǎng)絡(luò)研討中具有重要位置。p改動(dòng)權(quán)值的規(guī)那么稱為學(xué)習(xí)規(guī)那么或?qū)W習(xí)算法亦稱訓(xùn)練規(guī)那么或改動(dòng)權(quán)值的規(guī)那么稱為學(xué)習(xí)規(guī)那么或?qū)W習(xí)算法亦稱訓(xùn)練規(guī)那么或訓(xùn)練算法。訓(xùn)練算法。2.42.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)( (有監(jiān)視學(xué)習(xí)有監(jiān)視學(xué)習(xí)) )有導(dǎo)師學(xué)習(xí)也稱為有監(jiān)視學(xué)習(xí)，這種學(xué)有導(dǎo)師學(xué)習(xí)也稱為有監(jiān)視學(xué)習(xí)，這種學(xué)習(xí)方式采用的是糾錯(cuò)規(guī)那么。在學(xué)習(xí)訓(xùn)練習(xí)方式采用的是糾錯(cuò)規(guī)那么。在學(xué)習(xí)訓(xùn)練過程中需求不斷給網(wǎng)絡(luò)成對(duì)提供一個(gè)輸入過程中需求不斷給網(wǎng)絡(luò)成對(duì)提供一個(gè)輸入方式和一個(gè)期望網(wǎng)絡(luò)正確輸出的方式，稱方式和一個(gè)期望網(wǎng)絡(luò)正確輸出的方式，稱為為“教師信號(hào)。將神經(jīng)網(wǎng)絡(luò)的實(shí)踐輸出教師信號(hào)。將神經(jīng)

14、網(wǎng)絡(luò)的實(shí)踐輸出同期望輸出進(jìn)展比較，當(dāng)網(wǎng)絡(luò)的輸出與期同期望輸出進(jìn)展比較，當(dāng)網(wǎng)絡(luò)的輸出與期望的教師信號(hào)不符時(shí)，根據(jù)過失的方向和望的教師信號(hào)不符時(shí)，根據(jù)過失的方向和大小按一定的規(guī)那么調(diào)整權(quán)值。當(dāng)網(wǎng)絡(luò)對(duì)大小按一定的規(guī)那么調(diào)整權(quán)值。當(dāng)網(wǎng)絡(luò)對(duì)于各種給定的輸入均能產(chǎn)生所期望的輸出于各種給定的輸入均能產(chǎn)生所期望的輸出時(shí)，即以為網(wǎng)絡(luò)曾經(jīng)在導(dǎo)師的訓(xùn)練下時(shí)，即以為網(wǎng)絡(luò)曾經(jīng)在導(dǎo)師的訓(xùn)練下“學(xué)學(xué)會(huì)了訓(xùn)練數(shù)據(jù)集中包含的知識(shí)和規(guī)那么會(huì)了訓(xùn)練數(shù)據(jù)集中包含的知識(shí)和規(guī)那么，可以用來進(jìn)展任務(wù)了。，可以用來進(jìn)展任務(wù)了。2.42.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)( (無監(jiān)視學(xué)習(xí)無監(jiān)視學(xué)習(xí)) ) 無導(dǎo)師學(xué)習(xí)也稱為無監(jiān)視學(xué)習(xí)

15、，學(xué)習(xí)無導(dǎo)師學(xué)習(xí)也稱為無監(jiān)視學(xué)習(xí)，學(xué)習(xí)過程中，需求不斷給網(wǎng)絡(luò)提供動(dòng)態(tài)輸入信過程中，需求不斷給網(wǎng)絡(luò)提供動(dòng)態(tài)輸入信息，網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部構(gòu)造和學(xué)習(xí)規(guī)息，網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部構(gòu)造和學(xué)習(xí)規(guī)那么，在輸入信息流中發(fā)現(xiàn)任何能夠存在那么，在輸入信息流中發(fā)現(xiàn)任何能夠存在的方式和規(guī)律，同時(shí)能根據(jù)網(wǎng)絡(luò)的功能和的方式和規(guī)律，同時(shí)能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)值，這個(gè)過程稱為網(wǎng)絡(luò)的輸入信息調(diào)整權(quán)值，這個(gè)過程稱為網(wǎng)絡(luò)的自組織，其結(jié)果是使網(wǎng)絡(luò)能對(duì)屬于同一類自組織，其結(jié)果是使網(wǎng)絡(luò)能對(duì)屬于同一類的方式進(jìn)展自動(dòng)分類。在這種學(xué)習(xí)方式中的方式進(jìn)展自動(dòng)分類。在這種學(xué)習(xí)方式中，網(wǎng)絡(luò)的權(quán)值調(diào)整不取決于外來教師信號(hào)，網(wǎng)絡(luò)的權(quán)值調(diào)整不取決

16、于外來教師信號(hào)的影響，可以以為網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)規(guī)范隱的影響，可以以為網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)規(guī)范隱含于網(wǎng)絡(luò)的內(nèi)部。含于網(wǎng)絡(luò)的內(nèi)部。學(xué)習(xí)的過程權(quán)值調(diào)整的普通情況學(xué)習(xí)的過程權(quán)值調(diào)整的普通情況 w0j -1 w1j x1 X wij j oj xj xn wnj Wj r (Wj , X ，dj) 學(xué)習(xí)信號(hào) X 生成器 dj )()()()(ttd,t,trjjjXXWW)()()()()()(ttd ,t,trt1tjjjjXXWWW神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)2.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)表2.1常用學(xué)習(xí)規(guī)則一覽表權(quán)值調(diào)整學(xué)習(xí)規(guī)則向量式元素式權(quán) 值初始化學(xué)習(xí)方式轉(zhuǎn)移函數(shù)HebbianXXWW)(Tjjfi)(xfwTjijXW0無導(dǎo)師任意PerceptronXXWW)(Tjjjsgn-di)(xsgn-dwTjjijXW任意有導(dǎo)師二進(jìn)制DeltaXW)()(jjjjnetf-odijjjijxnetf-odw)()(任意有導(dǎo)師連續(xù)Widrow-HoffXXWW)(Tjjj-diTjjijx-dw)(XW任意有導(dǎo)師任意相關(guān)XWjjdijijxdw0有導(dǎo)師任意Winner-take-all)(mmWXW)(iimmwx W隨機(jī)、歸一化無導(dǎo)師連續(xù)Outstar)(jjWdW)(kjkkjwdw0有導(dǎo)師連續(xù)第二節(jié)小結(jié)第二節(jié)小結(jié) 重點(diǎn)引見了生物神經(jīng)元的構(gòu)造及其信息處置機(jī)制