人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用

人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用第一頁(yè)，共五十二頁(yè)，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)7.1生物神經(jīng)元及人工神經(jīng)元的組成7.2人工神經(jīng)網(wǎng)絡(luò)的模型

7.2.1人工神經(jīng)元的模型

7.2.2常用的激活轉(zhuǎn)移函數(shù)

7.2.3MP模型神經(jīng)元第二頁(yè)，共五十二頁(yè)，2022年，8月28日2.1生物神經(jīng)元及人工神經(jīng)元的組成

神經(jīng)元也稱(chēng)神經(jīng)細(xì)胞，它是生物神經(jīng)系統(tǒng)的最基本單元，它和人體中其他細(xì)胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號(hào)的功能。每個(gè)神經(jīng)元都包括三個(gè)主要部分：細(xì)胞體、樹(shù)突和軸突，見(jiàn)圖2.1（a）。

(a)簡(jiǎn)單神經(jīng)元網(wǎng)絡(luò)圖(b)簡(jiǎn)化后的網(wǎng)絡(luò)示意圖

(1)細(xì)胞體；(2)樹(shù)突；(3)軸突；(4)突觸圖7.1簡(jiǎn)單神經(jīng)元網(wǎng)絡(luò)及其簡(jiǎn)化結(jié)構(gòu)圖第三頁(yè)，共五十二頁(yè)，2022年，8月28日神經(jīng)元結(jié)構(gòu)與功能細(xì)胞體由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜等組成，其直徑大約為0.5--100μm，大小不等。細(xì)胞體是神經(jīng)元的主體，用于處理由樹(shù)突接受的其它神經(jīng)元傳來(lái)的信號(hào)；軸突是由細(xì)胞體向外延伸出的所有纖維中最長(zhǎng)的一條分枝，用來(lái)向外傳遞神經(jīng)元產(chǎn)生的輸出電信號(hào)。每個(gè)神經(jīng)元都有一條軸突，其最大長(zhǎng)度可達(dá)1m以上。在軸突的末端形成了許多很細(xì)的分枝，這些分支叫神經(jīng)末梢。每一條神經(jīng)末梢可以與其它神經(jīng)元形成功能性接觸，該接觸部位稱(chēng)為突觸。所謂功能性接觸，是指非永久性的接觸，這正是神經(jīng)元之間傳遞信息的奧秘之處。第四頁(yè)，共五十二頁(yè)，2022年，8月28日神經(jīng)元結(jié)構(gòu)與功能樹(shù)突是指由細(xì)胞體向外延伸的除軸突以外的其它所有分支。樹(shù)突的長(zhǎng)度一般較短，但數(shù)量很多，它是神經(jīng)元的輸入端，用于接受從其它神經(jīng)元的突觸傳來(lái)的信號(hào)。神經(jīng)元中的細(xì)胞體相當(dāng)于一個(gè)初等處理器，它對(duì)來(lái)自其它各個(gè)神經(jīng)元的信號(hào)進(jìn)行總體求和，并產(chǎn)生一個(gè)神經(jīng)輸出信號(hào)。細(xì)胞膜內(nèi)外的電位之差被稱(chēng)為膜電位。在無(wú)信號(hào)輸入時(shí)的膜電位稱(chēng)為靜止膜電位。當(dāng)一個(gè)神經(jīng)元的所有輸入總效應(yīng)達(dá)到某個(gè)閾值電位時(shí)，該細(xì)胞變?yōu)榛钚约?xì)胞。第五頁(yè)，共五十二頁(yè)，2022年，8月28日生物神經(jīng)元的功能與特征(1) 時(shí)空整合功能神經(jīng)元對(duì)不同時(shí)間通過(guò)同一突觸傳入的神經(jīng)沖動(dòng)，具有時(shí)間整合功能。對(duì)于同一時(shí)間通過(guò)不同突觸傳入的神經(jīng)沖動(dòng)，具有空間整合功能。兩種功能相互結(jié)合，使生物神經(jīng)元對(duì)由突觸傳入的神經(jīng)沖動(dòng)具有時(shí)空整合的功能。(2) 興奮與抑制狀態(tài)神經(jīng)元具有興奮和抑制兩種常規(guī)的工作狀態(tài)。當(dāng)傳入沖動(dòng)的時(shí)空整合結(jié)果使細(xì)胞膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)。相反，當(dāng)傳入沖動(dòng)的時(shí)空整合結(jié)果使細(xì)胞膜電位低于動(dòng)作電位的閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，無(wú)神經(jīng)沖動(dòng)輸出。第六頁(yè)，共五十二頁(yè)，2022年，8月28日生物神經(jīng)元的功能與特征(3) 脈沖與電位轉(zhuǎn)換突觸界面具有脈沖/電位信號(hào)轉(zhuǎn)化功能。沿神經(jīng)纖維傳遞的信號(hào)為離散的電脈沖信號(hào)，而細(xì)胞膜電位的變化為連續(xù)的電位信號(hào)。這種在突觸接口處進(jìn)行的“數(shù)/?！鞭D(zhuǎn)換，是通過(guò)神經(jīng)介質(zhì)以量子化學(xué)方式實(shí)現(xiàn)的如下過(guò)程：電脈沖----神經(jīng)化學(xué)物質(zhì)----膜電位(4) 神經(jīng)纖維傳導(dǎo)速率神經(jīng)沖動(dòng)沿神經(jīng)纖維傳導(dǎo)的速度在1---150m/s之間。其速度差異與纖維的粗細(xì)、髓鞘的有無(wú)有關(guān)。一般來(lái)說(shuō)，有髓鞘的纖維，其傳導(dǎo)速度在100m/s以上，無(wú)髓鞘的纖維，其傳導(dǎo)速度可低至每秒數(shù)米。(5) 突觸延時(shí)和不應(yīng)期突觸對(duì)相鄰兩次神經(jīng)沖動(dòng)的響應(yīng)需要有一定的時(shí)間間隔，在這個(gè)時(shí)間間隔內(nèi)不響應(yīng)激勵(lì)，也不傳遞神經(jīng)沖動(dòng)，這個(gè)時(shí)間間隔稱(chēng)為不應(yīng)期。第七頁(yè)，共五十二頁(yè)，2022年，8月28日人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)與特征神經(jīng)生理學(xué)的研究結(jié)果表明，人腦的神經(jīng)系統(tǒng)是一個(gè)由大量生物神經(jīng)元并行互連所形成的一個(gè)網(wǎng)絡(luò)系統(tǒng)。每個(gè)人的大腦大約有1011---1012個(gè)神經(jīng)元，每個(gè)神經(jīng)元大約有103---104個(gè)突觸，即與其它103---104個(gè)神經(jīng)元相連。(1) 記憶和存儲(chǔ)功能人腦神經(jīng)系統(tǒng)的記憶和處理功能是有機(jī)的結(jié)合在一起的。神經(jīng)元既有存儲(chǔ)功能，又有處理功能，它在進(jìn)行回憶時(shí)不僅不需要先找到存儲(chǔ)地址再調(diào)出所存內(nèi)容，而且還可以由一部分內(nèi)容恢復(fù)全部?jī)?nèi)容。尤其是當(dāng)一部分神經(jīng)元受到損壞（例如腦部受傷等）時(shí)，它只會(huì)丟失損壞最嚴(yán)重部分的那些信息，而不會(huì)丟失全部存儲(chǔ)信息。(2) 高度并行性（為什么計(jì)算機(jī)無(wú)法模擬更多的神經(jīng)元，如果有100個(gè)神經(jīng)元，兩兩互連，則會(huì)出現(xiàn)100＊99/2=5000個(gè)N元一次方程。如何計(jì)算如此復(fù)雜的方程組？）提供了非常巨大的存儲(chǔ)容量和并行度。例如，人可以非常迅速地識(shí)別出一幅十分復(fù)雜的圖像。第八頁(yè)，共五十二頁(yè)，2022年，8月28日人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)與特征(3) 分布式功能人們通過(guò)對(duì)腦損壞病人所做的神經(jīng)心理學(xué)研究，沒(méi)有發(fā)現(xiàn)大腦中的哪一部分可以決定其余所有各部分的活動(dòng)，也沒(méi)有發(fā)現(xiàn)在大腦中存在有用于驅(qū)動(dòng)和管理整個(gè)智能處理過(guò)程的任何中央控制部分。人類(lèi)大腦的各個(gè)部分是協(xié)同工作、相互影響的，并沒(méi)有哪一部分神經(jīng)元能對(duì)智能活動(dòng)的整個(gè)過(guò)程負(fù)有特別重要的責(zé)任?？梢?jiàn)，在大腦中，不僅知識(shí)的存儲(chǔ)是分散的，而且其控制和決策也是分散的。因此，大腦是一種分布式系統(tǒng)。(4) 容錯(cuò)功能容錯(cuò)性是指根據(jù)不完全的、有錯(cuò)誤的信息仍能做出正確、完整結(jié)論的能力。大腦的容錯(cuò)性是非常強(qiáng)的。例如，我們往往能夠僅由某個(gè)人的一雙眼睛、一個(gè)背影、一個(gè)動(dòng)作或一句話(huà)的音調(diào)，就能辨認(rèn)出來(lái)這個(gè)人是誰(shuí)。第九頁(yè)，共五十二頁(yè)，2022年，8月28日人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)與特征(5) 聯(lián)想功能人腦不僅具有很強(qiáng)的容錯(cuò)功能，還有聯(lián)想功能。善于將不同領(lǐng)域的知識(shí)結(jié)合起來(lái)靈活運(yùn)用，善于概括、類(lèi)比和推理。例如，一個(gè)人能很快認(rèn)出多年不見(jiàn)、面貌變化較大的老朋友。(6) 自組織和自學(xué)習(xí)功能人腦能夠通過(guò)內(nèi)部自組織、自學(xué)習(xí)能力不斷適應(yīng)外界環(huán)境，從而可以有效地處理各種模擬的、模糊的或隨機(jī)的問(wèn)題。第十頁(yè)，共五十二頁(yè)，2022年，8月28日人工神經(jīng)元的主要結(jié)構(gòu)單元是信號(hào)的輸入、綜合處理和輸出輸出信號(hào)強(qiáng)度大小反映了該神經(jīng)元對(duì)相鄰神經(jīng)元影響的強(qiáng)弱人工神經(jīng)元之間通過(guò)互相聯(lián)接形成網(wǎng)絡(luò)，稱(chēng)為人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元之間相互聯(lián)接的方式稱(chēng)為聯(lián)接模式相互之間的聯(lián)接強(qiáng)度由聯(lián)接權(quán)值體現(xiàn)。在人工神經(jīng)網(wǎng)絡(luò)中，改變信息處理及能力的過(guò)程，就是修改網(wǎng)絡(luò)權(quán)值的過(guò)程。第十一頁(yè)，共五十二頁(yè)，2022年，8月28日目前多數(shù)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造大體上都采用如下的一些原則：由一定數(shù)量的基本神經(jīng)元分層聯(lián)接；每個(gè)神經(jīng)元的輸入、輸出信號(hào)以及綜合處理內(nèi)容都比較簡(jiǎn)單；網(wǎng)絡(luò)的學(xué)習(xí)和知識(shí)存儲(chǔ)體現(xiàn)在各神經(jīng)元之間的聯(lián)接強(qiáng)度上。第十二頁(yè)，共五十二頁(yè)，2022年，8月28日

7.2人工神經(jīng)網(wǎng)絡(luò)的模型

7.2.1人工神經(jīng)元的模型

神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個(gè)多輸入/單輸出的非線(xiàn)性元件。神經(jīng)元輸出除受輸入信號(hào)的影響外，同時(shí)也受到神經(jīng)元內(nèi)部因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個(gè)額外輸入信號(hào)，稱(chēng)為偏差，有時(shí)也稱(chēng)為閾值或門(mén)限值。第十三頁(yè)，共五十二頁(yè)，2022年，8月28日

神經(jīng)元的輸出矢量可以表示為：

A=f(W*P+b)=f(∑wjpj+b)(7.2)

可以看出偏差被簡(jiǎn)單地加在W*P上作為激活函數(shù)的另一個(gè)輸入分量。實(shí)際上偏差也是一個(gè)權(quán)值，只是它具有固定常數(shù)為1的輸入。在網(wǎng)絡(luò)的設(shè)計(jì)中，偏差起著重要的作用，它使得激活函數(shù)的圖形可以左右移動(dòng)，從而增加了解決問(wèn)題的可能性。第十四頁(yè)，共五十二頁(yè)，2022年，8月28日7.2.2激活轉(zhuǎn)移函數(shù)

激活轉(zhuǎn)移函數(shù)（Activationtransferfunction）簡(jiǎn)稱(chēng)激活函數(shù)，它是一個(gè)神經(jīng)元及神經(jīng)網(wǎng)絡(luò)的核心之一。神經(jīng)網(wǎng)絡(luò)解決問(wèn)題的能力與功效除了與網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)外，在很大程度上取決于網(wǎng)絡(luò)激活函數(shù)。第十五頁(yè)，共五十二頁(yè)，2022年，8月28日

激活函數(shù)的基本作用是：

控制輸入對(duì)輸出的激活作用；對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出。

下面是幾種常用的激活函數(shù)：第十六頁(yè)，共五十二頁(yè)，2022年，8月28日

（l）閥值型（硬限制型）

具有此激活函數(shù)的神經(jīng)元的輸入/輸出關(guān)系為：

(a)沒(méi)有偏差的閾值型激活函數(shù)(b)帶有偏差的閾值型激活函數(shù)圖7.3閾值型激活函數(shù)

(7.3)第十七頁(yè)，共五十二頁(yè)，2022年，8月28日

（2）線(xiàn)性型

具有此激活函數(shù)的神經(jīng)元的輸入/輸出關(guān)系為：

(a)沒(méi)有偏差的線(xiàn)性激活函數(shù)(b)帶有偏差的線(xiàn)性激活函數(shù)圖7.4線(xiàn)性型激活函數(shù)A=f(W*P+b)=W*P+b(7.4)第十八頁(yè)，共五十二頁(yè)，2022年，8月28日

（3）S型(Sigmoid)

對(duì)數(shù)S型激活函數(shù)見(jiàn)圖7.5(a)，其神經(jīng)元的輸入/輸出關(guān)系為：

(a)帶有偏差的對(duì)數(shù)S型激活函數(shù)(b)帶有偏差的雙曲正切S型激活函數(shù)圖7.5S型激活函數(shù)(7.5)第十九頁(yè)，共五十二頁(yè)，2022年，8月28日

（3）S型(Sigmoid)

雙曲正切S型激活函數(shù)見(jiàn)圖7.5(b)，其神經(jīng)元的輸入/輸出關(guān)系為：

(a)帶有偏差的對(duì)數(shù)S型激活函數(shù)(b)帶有偏差的雙曲正切S型激活函數(shù)圖7.5S型激活函數(shù)(7.6)第二十頁(yè)，共五十二頁(yè)，2022年，8月28日

一般地，稱(chēng)一個(gè)神經(jīng)網(wǎng)絡(luò)是線(xiàn)性或非線(xiàn)性是由網(wǎng)絡(luò)神經(jīng)元中所具有的激活函數(shù)的線(xiàn)性或非線(xiàn)性來(lái)決定的。

第二十一頁(yè)，共五十二頁(yè)，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是對(duì)人類(lèi)神經(jīng)系統(tǒng)的一種模擬。盡管人類(lèi)神經(jīng)系統(tǒng)規(guī)模宏大、結(jié)構(gòu)復(fù)雜、功能神奇，但其最基本的處理單元卻只有神經(jīng)元。人工神經(jīng)系統(tǒng)的功能實(shí)際上是通過(guò)大量神經(jīng)元的廣泛互連，以規(guī)模宏偉的并行運(yùn)算來(lái)實(shí)現(xiàn)的。基于對(duì)人類(lèi)生物系統(tǒng)的這一認(rèn)識(shí)，人們也試圖通過(guò)對(duì)人工神經(jīng)元的廣泛互連來(lái)模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。人工神經(jīng)元之間通過(guò)互連形成的網(wǎng)絡(luò)稱(chēng)為人工神經(jīng)網(wǎng)絡(luò)。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元之間互連的方式稱(chēng)為連接模式或連接模型。它不僅決定了神經(jīng)元網(wǎng)絡(luò)的互連結(jié)構(gòu)，同時(shí)也決定了神經(jīng)網(wǎng)絡(luò)的信號(hào)處理方式。第二十二頁(yè)，共五十二頁(yè)，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的分類(lèi)目前，已有的人工神經(jīng)網(wǎng)絡(luò)模型至少有幾十種，其分類(lèi)方法也有多種。例如，若按網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，可分為無(wú)反饋網(wǎng)絡(luò)與有反饋網(wǎng)絡(luò)；若按網(wǎng)絡(luò)的學(xué)習(xí)方法，可分為有教師的學(xué)習(xí)網(wǎng)絡(luò)和無(wú)教師的學(xué)習(xí)網(wǎng)絡(luò)；若按網(wǎng)絡(luò)的性能，可分為連續(xù)型網(wǎng)絡(luò)與離散型網(wǎng)絡(luò)，或分為確定性網(wǎng)絡(luò)與隨機(jī)型網(wǎng)絡(luò)；若按突觸連接的性質(zhì)，可分為一階線(xiàn)性關(guān)聯(lián)網(wǎng)絡(luò)與高階非線(xiàn)性關(guān)聯(lián)網(wǎng)絡(luò)。第二十三頁(yè)，共五十二頁(yè)，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)是一個(gè)新興學(xué)科，因此還存在許多問(wèn)題。其主要表現(xiàn)有：(1) 受到腦科學(xué)研究的限制：由于生理實(shí)驗(yàn)的困難性，因此目前人類(lèi)對(duì)思維和記憶機(jī)制的認(rèn)識(shí)還很膚淺，還有很多問(wèn)題需要解決；(2) 還沒(méi)有完整成熟的理論體系；(3) 還帶有濃厚的策略和經(jīng)驗(yàn)色彩；(4) 與傳統(tǒng)技術(shù)的接口不成熟。上述問(wèn)題的存在，制約了人工神經(jīng)網(wǎng)絡(luò)研究的發(fā)展。第二十四頁(yè)，共五十二頁(yè)，2022年，8月28日7.2.3MP神經(jīng)元模型

MP神經(jīng)元模型是由美國(guó)心理學(xué)家McClloch和數(shù)學(xué)家Pitts共同提出的，因此，常稱(chēng)為MP模型。MP神經(jīng)元模型是典型的閾值型神經(jīng)元，見(jiàn)圖7.6，它相當(dāng)于一個(gè)多輸入單輸出的閾值器件。．．．w1w2wrp1p2pr∑b圖7.6MP模型神經(jīng)元第二十五頁(yè)，共五十二頁(yè)，2022年，8月28日

如圖(7.6)所示，假定p1，p2，…，pn表示神經(jīng)元的n個(gè)輸入；wi表示神經(jīng)元的突觸連接強(qiáng)度，其值稱(chēng)為權(quán)值；n表示神經(jīng)元的輸入總和，f(n)

即為激活函數(shù)；a表示神經(jīng)元的輸出，b表示神經(jīng)元的閾值，那么MP模型神經(jīng)元的輸出可描述為(7.7)式所示：．．．w1w2wrp1p2pr∑b圖7.6MP模型神經(jīng)元(7.7)第二十六頁(yè)，共五十二頁(yè)，2022年，8月28日

MP模型神經(jīng)元是二值型神經(jīng)元，其輸出狀態(tài)取值為1或0，分別代表神經(jīng)元的興奮和抑制狀態(tài)。如果n＞0，即神經(jīng)元輸入加權(quán)總和超過(guò)某個(gè)閾值，那么該神經(jīng)元興奮，狀態(tài)為1；如果n≤0，那么該神經(jīng)元受到抑制，狀態(tài)為0。通常，將這個(gè)規(guī)定稱(chēng)為MP模型神經(jīng)元的點(diǎn)火規(guī)則。用一數(shù)學(xué)表達(dá)式表示為：對(duì)于MP模型神經(jīng)元，權(quán)值w在（－1，＋1）區(qū)間連續(xù)取值。取負(fù)值表示抑制兩神經(jīng)元間的連接強(qiáng)度，正值表示加強(qiáng)。(7.8)第二十七頁(yè)，共五十二頁(yè)，2022年，8月28日MP模型神經(jīng)元

具有什么特性？

能完成什么功能？為了回答這個(gè)問(wèn)題，我們以簡(jiǎn)單的邏輯代數(shù)運(yùn)算為例來(lái)說(shuō)明。

第二十八頁(yè)，共五十二頁(yè)，2022年，8月28日

例1假設(shè)一個(gè)MP模型神經(jīng)元有2個(gè)輸入：p1和p2，其目標(biāo)輸出記為t，試問(wèn)它能否完成下列真值表功能？

解：根據(jù)要求，神經(jīng)元的權(quán)值和閾值必須滿(mǎn)足如下不等式組：若取b值為0.5,W1和W2取0.7?？梢则?yàn)證用這組權(quán)值和閾值構(gòu)成的2輸入MP模型神經(jīng)元能夠完成該邏輯“或”運(yùn)算。(1)(2)(3)(4)不等式組真值表

p1p2t111101011000第二十九頁(yè)，共五十二頁(yè)，2022年，8月28日如同許多代數(shù)方程一樣，由MP模型激活函數(shù)得出的不等式具有一定的幾何意義，所有輸入樣本構(gòu)成樣本輸入空間。對(duì)于任意特定W和P的值都規(guī)定了一個(gè)超平面（決策平面），其方程為：它把超平面Rn（X∈Rn）分成了兩部分：WX-b<0部分和WX-b≥0部分。第三十頁(yè)，共五十二頁(yè)，2022年，8月28日

一般地，N輸入的MP模型神經(jīng)元有2n個(gè)輸入樣本，幾何上分別位于N維超立方體的各頂點(diǎn)處。第三十一頁(yè)，共五十二頁(yè)，2022年，8月28日7.3人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與學(xué)習(xí)

7.3.1人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

如果將大量功能簡(jiǎn)單的形式神經(jīng)元通過(guò)一定的拓?fù)浣Y(jié)構(gòu)組織起來(lái)，構(gòu)成群體并行分布式處理的計(jì)算結(jié)構(gòu)，那么這種結(jié)構(gòu)就是人工神經(jīng)網(wǎng)絡(luò)，在不引起混淆的情況下，統(tǒng)稱(chēng)為神經(jīng)網(wǎng)絡(luò)。第三十二頁(yè)，共五十二頁(yè)，2022年，8月28日

根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)上的不同，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類(lèi)：

分層網(wǎng)絡(luò)相互連接型網(wǎng)絡(luò)

第三十三頁(yè)，共五十二頁(yè)，2022年，8月28日1．分層結(jié)構(gòu)

分層網(wǎng)絡(luò)將一個(gè)神經(jīng)網(wǎng)絡(luò)模型中的所有神經(jīng)元按功能分成若干層，一般有輸入層、隱層（又稱(chēng)中間層）和輸出層各層順序連接，如圖7.7所示。

輸出層

中間層

輸入層輸入輸出圖7.7分層網(wǎng)絡(luò)的功能層次第三十四頁(yè)，共五十二頁(yè)，2022年，8月28日

簡(jiǎn)單的前向網(wǎng)絡(luò)；具有反饋的前向網(wǎng)絡(luò)；層內(nèi)有相互連接的前向網(wǎng)絡(luò)。分層網(wǎng)絡(luò)可以細(xì)分為三種互連形式：

第三十五頁(yè)，共五十二頁(yè)，2022年，8月28日?qǐng)D7.8（a）簡(jiǎn)單的前向網(wǎng)絡(luò)形狀；圖7.8（b）輸出層到輸入層具有反饋的前向網(wǎng)絡(luò)；圖7.8（c）層內(nèi)有相互連接的前向網(wǎng)絡(luò)。第三十六頁(yè)，共五十二頁(yè)，2022年，8月28日

所謂相互連接型網(wǎng)絡(luò)是指網(wǎng)絡(luò)中任意兩個(gè)神經(jīng)元之間是可達(dá)的，即存在連接路徑，如圖7.8（d）所示。

2．相互連接型結(jié)構(gòu)第三十七頁(yè)，共五十二頁(yè)，2022年，8月28日

權(quán)值修正學(xué)派認(rèn)為：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是不斷調(diào)整網(wǎng)絡(luò)的連接權(quán)，以獲得期望的輸出的過(guò)程。7.3.2人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)第三十八頁(yè)，共五十二頁(yè)，2022年，8月28日相關(guān)學(xué)習(xí)法誤差修正學(xué)習(xí)法

典型的權(quán)值修正方法有兩類(lèi)第三十九頁(yè)，共五十二頁(yè)，2022年，8月28日

式中，wji(t+1)表示修正一次后的某一權(quán)值；η稱(chēng)為學(xué)習(xí)因子，決定每次權(quán)值的修正量，xi（t）、xj（t）分別表示t時(shí)刻第i、第j個(gè)神經(jīng)元的狀態(tài)。

相關(guān)學(xué)習(xí)法

如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時(shí)處于興奮狀態(tài)，那么這兩個(gè)神經(jīng)元間的連接強(qiáng)度應(yīng)該加強(qiáng)。相關(guān)學(xué)習(xí)法是根據(jù)連接間的激活水平改變權(quán)值的，相關(guān)學(xué)習(xí)法也稱(chēng)Hebb學(xué)習(xí)規(guī)則，可用一數(shù)學(xué)表達(dá)式表示為：(7.9)第四十頁(yè)，共五十二頁(yè)，2022年，8月28日

（1）選擇一組初始權(quán)值和偏差值；（2）計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差（3）更新權(quán)值（偏差值可視為輸入恒為-1的一個(gè)權(quán)值）

式中，η為學(xué)習(xí)因子；yje(t)、yj(t)

分別表示第j個(gè)神經(jīng)元的期望輸出與實(shí)際輸出；xi為第i個(gè)神經(jīng)元的輸入；（4）返回步驟（2），直到對(duì)所有訓(xùn)練模式，網(wǎng)絡(luò)輸出均能滿(mǎn)足要求。誤差修正學(xué)習(xí)法

根據(jù)期望輸出與實(shí)際輸出之間的誤差大小來(lái)修正權(quán)值。誤差修正學(xué)習(xí)法也稱(chēng)δ學(xué)習(xí)規(guī)則，可由如下四步來(lái)描述；(7.10)第四十一頁(yè)，共五十二頁(yè)，2022年，8月28日例2．考慮一個(gè)2輸入MP模型神經(jīng)元的學(xué)習(xí)。假設(shè)初始參數(shù)為：

w1=0.2，w2=-0.5，b=0.1

要求該神經(jīng)元能實(shí)現(xiàn)下列邏輯真值表：

邏輯真值表

x1：0011x2：0101ye：1100

第四十二頁(yè)，共五十二頁(yè)，2022年，8月28日解：神經(jīng)元輸入和的表達(dá)式為：

n=w1x1+w2x2-b

滿(mǎn)足所給邏輯真值表的激活函數(shù)不等式組為：

x1x2ye

不等式組

00

1-b＞0b＜001

1

w2-b＞0b＜w2100

w1

-b≤0b≥w1110w1+w2-b≤0b≥w1+w2

在初始參數(shù)設(shè)置下，神經(jīng)元的實(shí)際輸出為：

n1=0.2*0–0.5*0–0.1=-0.1＜0y1=0n2=0.2*0–0.5*1–0.1=-0.6＜0y2=0n3=0.2*1–0.5*0–0.1=0.1＞0y3=1n4=0.2*1–0.5*1–0.1=-0.4＜0y4=0可見(jiàn)，有3個(gè)輸入模式相應(yīng)的輸出都與期望輸出不符，即有誤差。下面我們看如何使用δ學(xué)習(xí)規(guī)則進(jìn)行學(xué)習(xí)。第四十三頁(yè)，共五十二頁(yè)，2022年，8月28日首先，確定學(xué)習(xí)因子η，即確定每次誤差修正量的多少。假如學(xué)習(xí)因子η采用下式確定：式中,α為一個(gè)正的常數(shù)，通常在0-1之間取值。為簡(jiǎn)便起見(jiàn)，這里取值為0.1。

(7.11)第四十四頁(yè)，共五十二頁(yè)，2022年，8月28日

1.當(dāng)輸入x1x2=00時(shí)：

要使實(shí)際輸出y=1，必須滿(mǎn)足激活函數(shù)大于0，即：

n1=-b＞0b＜0

閾值b需取負(fù)值

根據(jù)（2.11）式得學(xué)習(xí)因子η的值為：修正后的權(quán)、閾值為：

由于x1=x2=0，所以權(quán)值不變。第一次學(xué)習(xí)結(jié)束后，MP模型神