神經網(wǎng)絡 第二章神經網(wǎng)絡基礎.ppt

1、第二章 神經網(wǎng)絡基礎,本章簡單地介紹生物神經元、神經元模型、人工神經網(wǎng)絡模型及其學習算法。,2,第二章 神經網(wǎng)絡基礎,2.1 生物神經元模型 2.2 人工神經元模型 2.3 網(wǎng)絡拓撲結構類型 2.4 人工神經網(wǎng)絡模型 2.5 神經網(wǎng)絡的學習 2.6 小結,3,2.1 生物神經元模型,神經元是腦組織的基本單元，是神經系統(tǒng)結構與功能的單元。據(jù)統(tǒng)計大腦大約包含 個神經元，每個神經元于大約 個其他的神經元相連接，構成一個極為龐大而復雜的網(wǎng)絡，即生物神經元網(wǎng)絡。生物神經元網(wǎng)絡中各神經元之間連接的強弱，按照外部的刺激信號做自適應變化，而每個神經元又隨著所接受的的多個激勵信號的綜合結果呈現(xiàn)出興奮與抑制狀態(tài)。

2、大腦的學習過程就是神經元之間連接強度隨外部刺激信息做自適應變化的過程，大腦處理星系的結果有個圣經元狀態(tài)的整體效果確定。,4,生物神經元基本結構 細胞體（Cell body） 樹突 (Dendrite) 軸突 （Axon） 突觸 （Synapse） 每一個神經元都通過突觸與其他神經元聯(lián)系，突觸的“連接強度”可隨系統(tǒng)受到訓練的強度而改變。,生物神經元結構,5,生物神經元功能 興奮與抑制 傳入神經元的沖動經整和后使細胞膜電位升高，超過動作電位的閾值時即為興奮狀態(tài)，產生神經沖動，由軸突經神經末梢傳出。傳入神經元的沖動經整和后使細胞膜電位降低，低于閾值時即為抑制狀態(tài)，不產生神經沖動。 學習與遺忘 由于神

3、經元結構的可塑性，突觸的傳遞作用可增強與減弱，因此神經元具有學習和遺忘的功能。,返回,6,2.2 人工神經元模型,人工神經網(wǎng)絡是在現(xiàn)代神經生物學研究基礎上提出的模擬生物過程以反應人腦某些特性的計算結構。它不是人腦神經系統(tǒng)的真實描寫，只是特的某種抽象、簡化和模擬。 人工神經元是對生物圣經元的一種形式化描述，他對生物神經元的信息處理過程進行抽象，應用數(shù)序語言予以描述，對生物神經元的結構與功能進行模擬，并用模型圖予以表達。,7,1943年，McCulloch-Pitts(麥克洛奇皮茲) 根據(jù)生物 神經元的動作原理提出了神經元模型，即M-P模型， 經過不斷改進，形成目前廣泛應用的形式神經元模型。 對于

4、神經元的處理機制，該模型在簡化的基礎上提出 以下6點 假設進行描述： 1. 每個神經元都是一個多輸入單輸出的信息處理單元 2. 突觸分興奮性和抑制性兩種類型 3. 神經元具有空間整合特性和閾值特性 4. 神經元輸入與輸出間有固定的時滯，主要取決于突 觸的延遲 5. 忽略時間整合作用和不應期 6. 神經元本身是非時變的，即其突觸時延和突觸強度 均為常數(shù),8,人工神經元是對生物神經元的一種模擬與簡化。它是神經網(wǎng)絡的基本處理單元。下圖顯示了一種簡化的人工神經元結構。它是一個多輸入、單輸出的非線性元件。,人工神經元結構模型,9,人工神經元輸入輸出關系可描述為,其中xj (j = 1,2, n)是從其它

5、神經元傳來的輸入信號 wji表示從神經元j到神經元i的連接權值 i 為閾值 f()稱為激發(fā)函數(shù)或作用函數(shù),(2-1),有時為了方便起見，常把 看成是恒等于1的輸入x0的權值，這時式(2-1)的和式可寫成,10,輸出激發(fā)函數(shù)f()又稱為變換函數(shù)，它決定神經元(節(jié)點)的輸出。該輸出為1或0，取決于其輸入之和大于或小于內部閾值。函數(shù)一般具有非線性特征。下面幾個圖表示了幾種常見的激發(fā)函數(shù)。,(1) 閾值函數(shù)(見圖(a),(b) 當yi取0或1時，f(x)為圖(a)所示的階躍函數(shù)：,11,當yi取-1或1時，f(x)為圖 (b)所示的sgn函數(shù)：,(2) 飽和型函數(shù)(見圖 (c),12,(4)雙曲函數(shù)(

6、見圖(d),(5)S型函數(shù)(見圖(e) 神經元的狀態(tài)與輸入作用之間的關系是在(0, 1)內連續(xù)取值的單調可微函數(shù)，稱為Sigmoid函數(shù)，簡稱S型函數(shù)。當 趨于無窮時，S型曲線趨于階躍函數(shù)，通常情況下， 取值為1。,13,(6)高斯型函數(shù)(見圖(f),在徑向基函數(shù)構成的神經網(wǎng)絡中，神經元的結構可用高斯函數(shù)描述如下：,返回,14,2.3 網(wǎng)絡拓撲結構類型,層次型結構,互聯(lián)型結構,網(wǎng)絡的學習算法將在今后的小節(jié)中介紹。,15,神經網(wǎng)絡的連接模式,層內連接 本層內部神經元之間的連接，可用來加強層內神經元之間的競爭。 循環(huán)連接 指神經元到自身的連接。用于不斷增強自身的激活值，使本次的輸出與上次的輸出相關

7、。 層間連接 指不同層之間的連接。這種連接用來實現(xiàn)信號傳遞。可以是前向的也可以是反向的。,返回,16,2.4人工神經網(wǎng)絡模型,人工神經網(wǎng)絡是以工程技術手段來模擬人腦神經網(wǎng)絡的結構與特征的系統(tǒng)。 利用人工神經元，可以構成各種不同拓撲結構的神經網(wǎng)絡。 就神經網(wǎng)絡的主要連接形式而言，目前已有數(shù)十種不同的神經網(wǎng)絡模型，其中前饋網(wǎng)絡和反饋網(wǎng)絡是兩種典型的結構模型。,17,(1)前饋神經網(wǎng)絡 前饋神經網(wǎng)絡，又稱前向網(wǎng)絡。如下圖所示，神經元分層排列，有輸入層、隱層(亦稱中間層，可有若干層)和輸出層，每一層的神經元只接受前一層神經元的輸入。,18,目前，大部分前饋網(wǎng)絡都是學習網(wǎng)絡，它們的分類能力和模式識別能力

8、一般都強于反饋網(wǎng)絡，典型的前饋網(wǎng)絡有感知器網(wǎng)絡、誤差反向傳播(BP)網(wǎng)絡等。,19,(2)反饋型神經網(wǎng)絡 反饋神經網(wǎng)絡的結構如圖所示。若總節(jié)點（神經元）數(shù)為N，則每個節(jié)點有N個輸入和一個輸出，即所有節(jié)點都是一樣的，它們之間都可相互連接。,20,Hopfield神經網(wǎng)絡是反饋網(wǎng)絡中最簡單且應用廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經網(wǎng)絡還可以用來解決快速尋優(yōu)問題。,返回,21,2.5 神經網(wǎng)絡的學習,人工神經網(wǎng)絡最有吸引力的特點就是它的學習能力。學習方法是體現(xiàn)人工神經網(wǎng)絡智能特征的主要指標，離開了學習算法，人工神經網(wǎng)絡就失去了自適應、自組織

9、和自學習的能力。 人工神經網(wǎng)絡的學習過程就是對它的訓練過程。所謂訓練，就是在將由樣本向量構成的樣本集合輸入到人工神經網(wǎng)路的過程中，按照一定方式去調整神經元之間的連接權。使網(wǎng)絡能將樣本集的內涵以連接權矩陣的方式存儲起來，從而使網(wǎng)絡在數(shù)據(jù)輸入時可以給出適當?shù)妮敵觥?22,目前神經網(wǎng)絡的學習方法有多種，按有無教師信號來分類，可分為有教師學習、無教師學習和再勵學習等幾大類。在有教師的學習方式中，網(wǎng)絡的輸出和期望的輸出（即教師信號）進行比較，然后根據(jù)兩者之間的差異調整網(wǎng)絡的權值，最終使差異變小。在無教師的學習方式中，輸入模式進入網(wǎng)絡后，網(wǎng)絡按照預先設定的規(guī)則（如競爭規(guī)則）自動調整權值，使網(wǎng)絡最終具有模式

10、分類等功能。再勵學習是介于上述兩者之間的一種學習方式。,23,有教師學習,有教師學習，也稱有監(jiān)督學習，假設教師和神經網(wǎng)絡同時要對從周圍環(huán)境中抽取出來的訓練向量（即例子）做出判斷，教師可以根據(jù)自身掌握的一些知識為神經網(wǎng)絡提供期望響應。 期望響應一般都代表著神經網(wǎng)絡完成的最優(yōu)動作。神經網(wǎng)絡的參數(shù)可以在訓練向量和誤差信號的綜合影響下進行調整。誤差信號可以定義為神經網(wǎng)絡實際響應與預期響應之差。這種調整可以逐步而又反復地進行，其最終目的就是要讓神經網(wǎng)絡模擬教師信號。,24,有教師學習,25,利用這種手段，教師對環(huán)境掌握的知識就可以通過訓練最大限度的傳授給神經網(wǎng)絡。當條件成熟時，就可以將教師信號排除在外，

11、讓網(wǎng)絡完全自主地應對環(huán)境。 可以采用訓練樣本的平方誤差作為性能測試標準，它可以定義為系統(tǒng)的一個帶自由參數(shù)的函數(shù)，該函數(shù)可以看作一個多維誤差-性能曲面，簡稱誤差曲面。 后面將要討論的Delta學習算法屬于有教師學習。它是一種閉環(huán)反饋系統(tǒng)，但未知的環(huán)境不包含在循環(huán)中。,26,實際誤差曲面是所有可能的輸入輸出的平均。有教師學習系統(tǒng)能夠處理有用信息，根據(jù)系統(tǒng)當前的行為計算出誤差曲面的梯度。誤差曲面上任何一點的梯度指的是指向最速下降方向的向量。 給定一個設計好的算法來使代價函數(shù)最小，而且有足夠的輸入-輸出數(shù)據(jù)集，那么有教師學習往往可以很好地完成諸如模式分類、函數(shù)逼近等任務。,27,無教師學習,在無教師學

12、習范例中，沒有教師監(jiān)視學習過程，即神經網(wǎng)絡沒有任何例子可以學習。無教師學習又可分為兩類： 自組織學習 無監(jiān)督競爭學習,28,無教師學習,29,(1) 自組織學習,即網(wǎng)絡的學習過程完全是一種自我學習的過程，不存在外部教師的示教，也不存在來自外部環(huán)境的反饋指示網(wǎng)絡應該輸出什么或者是否正確。 自組織學習過程中，網(wǎng)絡根據(jù)某種規(guī)則反復地調整連接權以響應輸入模式的激勵，直到網(wǎng)絡最后形成某種有序狀態(tài)。也就是說，自組織學習是靠神經元本身對輸入模式的不斷適應，抽取輸入信號的規(guī)律(如統(tǒng)計規(guī)律)。一旦網(wǎng)絡顯現(xiàn)出輸入數(shù)據(jù)的統(tǒng)計特征，則網(wǎng)絡就實現(xiàn)了對輸入特征的編碼，即把輸入特征“記憶”下來。而且在記憶之后，當它再出現(xiàn)時

13、，能把它識別出來。,30,自組織學習能對網(wǎng)絡的學習過程進行度量，并優(yōu)化其中的自由參數(shù)。可以認為，這種學習的評價準則隱含于網(wǎng)絡內部。神經網(wǎng)絡的這種自組織特性來源于其結構的可塑性。,(1) 自組織學習,31,(2) 無監(jiān)督競爭學習,在無監(jiān)督競爭學習系統(tǒng)中，沒有外部的教師或則評價來監(jiān)督學習的過程。要求網(wǎng)絡學習該度量而且自由參數(shù)將根據(jù)這個度量來逐步優(yōu)化。 為了完成無監(jiān)督競爭學習規(guī)則，神經網(wǎng)絡包括兩層：輸入層和競爭層。輸入層接受有用的數(shù)據(jù)。競爭層由相互競爭的神經元組成，采用“勝者全得”的策略，具有最大總輸入的神經元的輸出置1，贏得競爭而被激活，其它神經元置0，連接權的調整僅在獲勝神經元與輸入之間進行，其

14、他皆不變。,32,再勵學習,把學習看作試探評價（獎或懲）過程，學習機選擇一個動作（輸出）作用于環(huán)境之后，使環(huán)境的狀態(tài)改變，并產生一個再勵信號（獎或懲）反饋至學習機。學習機依據(jù)再勵信號與環(huán)境當前的狀態(tài)選擇下一動作作用于環(huán)境，選擇的原則是使受到獎勵的可能性增大。,33,常用學習規(guī)則,Hebb規(guī)則 Delta規(guī)則（最小均方差規(guī)則） 概率式學習規(guī)則 競爭式學習規(guī)則 梯度下降規(guī)則 Kohonen(克豪南)學習規(guī)則 逆誤差傳播規(guī)則,34,(1) Hebb學習規(guī)則,Hebb學習規(guī)則是一種聯(lián)想式學習方法 1949年生物學家D.O. Hebbian基于對生物學和心理學的研究，提出了學習行為的突觸聯(lián)系和神經群理論

15、。認為突觸前與突觸后二者同時興奮，即兩個神經元同時處于激發(fā)狀態(tài)時，它們之間的連接強度將得到加強，這一論述的數(shù)學描述被稱為Hebb學習規(guī)則 Hebb學習規(guī)則是一種無教師的學習算法，它只根據(jù)神經元連接間的激活水平改變權值，因此這種方法又稱為相關學習或并聯(lián)學習,35,Hebb學習規(guī)則,權向量的調整公式為,權值的調整量與輸入輸出的乘積成正比。經常出現(xiàn) 的模式對權向量有最大的影響。為此，Hebb學習規(guī) 則需預先設定權飽和值，以防止輸入和輸出正負始 終一致時出現(xiàn)權值無限制增長。,學習信號簡單的等于神經元的輸出,36,Hebb學習過程框圖,37,(2) Delta規(guī)則（最小均方差規(guī)則）,由美國Standfo

16、rd大學的Windrow教授于60年代提出 常用的規(guī)則之一 改變單元間的連接權重來減小系統(tǒng)實際輸出與期望輸出之間的誤差，也稱為最小方差規(guī)則 適用于自適應信號處理、非線性系統(tǒng)控制、線性系統(tǒng)辨識等,38,39,現(xiàn)在的問題是如何調整權值W ，使準則函數(shù)最小。可用梯度下降法來求解，其基本思想是沿著E的負梯度方向不斷修正W值，直到E達到最小，這種方法的數(shù)學表達式為,其中,40,用 表示 , 則有,W的修正規(guī)則為,上式稱為 學習規(guī)則，又稱誤差修正規(guī)則。,41,定義誤差傳播函數(shù) 為,規(guī)則實現(xiàn)了E中的梯度下降，因此使誤差函數(shù)達到最小值。但 學習規(guī)則只適用于線性可分函數(shù)，無法用于多層網(wǎng)絡。誤差反向傳播(Back

17、 Propagation, 簡寫為BP ) 網(wǎng)絡的學習算法稱為BP算法，是在 規(guī)則基礎上發(fā)展起來的，可在多層網(wǎng)絡上有效地學習。,42,概率式學習的典型代表是Boltzmann機學習規(guī)則。它是基于模擬退火的統(tǒng)計優(yōu)化方法，因此又稱模擬退火算法 Boltzmann機模型是一個包括輸入、輸出和隱層的多層網(wǎng)絡，但隱層間存在互聯(lián)結構且網(wǎng)絡層次不明顯 由于模擬退火過程要求高溫使系統(tǒng)達到平衡狀態(tài)，而冷卻（即退火）過程又必須緩慢地進行，否則容易造成局部最小，所以這種學習規(guī)律的算法收斂速度較慢。,(3)概率式學習規(guī)則,43,Boltzmann機的訓練過程，就是根據(jù)規(guī)則：,對神經元i，j 間的連接權值進行調整的過程

18、。 式中， 為學習速率 pij 表示網(wǎng)絡受到學習樣本的約束且系統(tǒng)達到 平衡狀態(tài)時第i個和第j個神經元同時為1的 概率 表示系統(tǒng)為自由運轉狀態(tài)且達到平衡狀態(tài) 時第i個和第j個神經元同時為1的概率,44,調整權值的原則是：當 時，則權值增加，否則減少權值。這種權值調整公式稱為Boltzmann機學習規(guī)則，即,當 小于一定值時，學習結束。,45,競爭學習屬于無教師學習方式。這種學習方式利用不同層間的神經元發(fā)生興奮性聯(lián)接，以及同一層內距離很近的神經元間發(fā)生同樣的興奮性聯(lián)接，而距離較遠的神經元產生抑制性聯(lián)接。 在這種聯(lián)接機制中引入競爭機制的學習方式稱為競爭式學習。它的本質在于神經網(wǎng)絡中高層次的神經元對低層次神經元的輸入模式進行競爭識別。,(4) 競爭式學習規(guī)則,46,競爭式學習的思想來源于人腦的自組織能力。大腦能夠及時地調整自身結構，自動地向環(huán)境學習，完成所需執(zhí)行的功能而并不需要教師訓練。競爭式神經網(wǎng)絡亦是如此，所以又把這一類神經網(wǎng)