人工智能：第9章-神經計算

1、8.1人工神經元模型1 概述2 神經網絡基礎3神經網絡的學習方法4 常用神經網絡模型1 概述生物神經網絡(biological neural network, BNN)，特別是人腦人工神經網絡(artificial neural network, ANN)：由大量神經元經廣泛互聯組成的非線性網絡（功能模塊，數學模型）。實現人腦的一些功能。神經網絡發(fā)展歷史簡介M-P神經元模型 (心理學家McCulloch & 數學家Pitts 1943)Hebb神經元學習準則 (心理學家Hebb, 1949)分布式系統(tǒng)方面的研究(如Von Neumann)Perceptron感知機模型(Rosenblatt 1

2、958)Adaline(Widrow and Hoff)Perceptron (Minsky & Papert, 1969)Hopfield模型 (Hopfield，1982)多層感知機MLP與反向傳播算法BP (Rumelhart, 1986)脈沖耦合神經網絡(PCNN , 1991)神經網絡的特點神經網絡的應用NN從計算模型的角度本質上可以理解為函數逼近，可以應用到眾多領域。2 神經網絡基礎生物神經網絡：Biological Neural Network (BNN)神經元：neuron （結構見圖示）神經元經突觸傳遞信號給其他神經元（胞體或樹突）1011個神經元/人腦104個連接/神經元神

3、經元基本工作機制：狀態(tài)：興奮與抑制互聯，激勵，處理，閾值神經元模型Neuron Model： 多輸入，單輸出，帶偏置R個輸入piR，即R維輸入矢量pn: net input, n=wp+b。R個權值wiR，即R維權矢量w閾值b輸出a=f(n), f: transfer function常用輸出函數aWp-b1-1閾值函數：線性輸出函數Purelin Transfer Function ：anSigmoid函數Sigmoid Function ：特性：值域a(0,1)非線性，單調性無限次可微|n|較小時可近似線性函數|n|較大時可近似閾值函數3 神經網絡的學習方法神經網絡的學習：從環(huán)境中獲取知識

4、并改進自身性能，主要指調節(jié)網絡參數使網絡達到某種度量，又稱為網絡的訓練學習方式：監(jiān)督學習非監(jiān)督學習再勵學習監(jiān)督學習對訓練樣本集中的每一組輸入能提供一組目標輸出。樣本數據(p, t)。網絡根據目標輸出與實際輸出的誤差信號來調節(jié)網絡參數教師神經網絡比較環(huán)境實際輸出輸入期望輸出誤差信號p(n)t(n)a(n)e(n)非監(jiān)督學習與再勵學習非監(jiān)督學習：不存在教師，網絡根據外部數據的統(tǒng)計規(guī)律來調節(jié)系統(tǒng)參數，以使網絡輸出能反映數據的某種特性再勵學習：外部環(huán)境對網絡輸出只給出評價信息而非正確答案，網絡通過強化受獎勵的動作來改善自身的性能神經網絡環(huán)境輸入神經網絡環(huán)境輸入輸出評價信息學習方法4 常見神經網絡模型感

5、知器BP神經網絡徑向基函數神經網絡（ RBFNN）自組織映射神經網絡（ SOMNN）Hopfield神經網絡脈沖耦合神經網絡（PCNN）小結神經網絡概述神經網絡基礎神經網絡的學習方法常用神經網絡模型8.2 感知器感知器概述感知器工作原理感知器的學習算法感知器的MATLAB實現1 感知器概述概述由美國學者Rosenblatt在1957年首次提出學習算法是Rosenblatt在1958年提出的 包含一個突觸權值可調的神經元 屬于前向神經網絡類型 只能區(qū)分線性可分的模式 IEEE設立以其名字命名的獎項 感知器模型2 感知器工作原理感知器可將外部輸入分為兩類和。當感知器的輸出為+1時，輸入屬于 類，當

6、感知器的輸出為-1時，輸入屬于 類，從而實現兩類目標的識別。在維空間，單層感知器進行模式識別的判決超平面由下式決定： 對于只有兩個輸入的判別邊界是直線（如下式所示）,選擇合適的學習算法可訓練出滿意的 和 ，當它用于兩類模式的分類時，相當于在高維樣本空間中，用一個超平面將兩類樣本分開。基于迭代的思想，通常是采用誤差校正學習規(guī)則的學習算法?？梢詫⑵钭鳛樯窠浽挥|權值向量的第一個分量加到權值向量中 輸入向量和權值向量可分別寫成如下的形式：令上式等于零，可得到在維空間的單層感知器的判別超平面。 3 感知器學習算法第一步,設置變量和參量。 為激活函數, 為網絡實際輸出， 為期望輸出， 為學習速率， 為

7、迭代次數， 為實際輸出與期望輸出的誤差。 第二步,初始化 給權值向量 的各個分量賦一個較小的隨機非零值，置 第三步,輸入一組樣本 ，并給出 它的期望輸出 。 第四步,計算實際輸出:第五步,求出期望輸出和實際輸出求出差根據誤差判斷目前輸出是否滿足條件，一般為對所有樣本誤差為零或者均小于預設的值，則算法結束，否則將值增加1，并用下式調整權值：然后轉到第三步，進入下一輪計算過程 4 感知器的MATLAB實現 MATLAB中單層感知器常用工具函數名稱和基本功能 函 數 名功 能newp()生成一個感知器hardlim()硬限幅激活函數learnp()感知器的學習函數train()神經網絡訓練函數sim

8、()神經網絡仿真函數mae()平均絕對誤差性能函數plotpv()在坐標圖上繪出樣本點plotpc()在已繪制的圖上加分類線newp()功能：創(chuàng)建一個感知器神經網絡的函數格式：net = newp(PR，S，TF，LF)說明：net為生成的感知機神經網絡；PR為一個R2的矩陣，由R組輸入向量中的最大值和最小值組成；S表示神經元的個數；TF表示感知器的激活函數，缺省值為硬限幅激活函數hardlim；LF表示網絡的學習函數，缺省值為learnp hardlim()功能 硬限幅激活函數格式 A = hardlim(N) 說明 函數hardlim(N)在給定網絡的輸入矢量矩陣N時，返回該層的輸出矢量矩

9、陣A。當N中的元素大于等于零時，返回的值為l；否則為0。也就是說，如果網絡的輸入達到閾值，則硬限幅傳輸函數的輸出為1；否則，為0。 learnp()功能 感知機的權值和閾值學習函數 train()功能 神經網絡訓練函數格式 net，tr，Y，E，Pf，Af = train(NET，P，T，Pi，Ai，VV，TV)說明 net為訓練后的網絡；tr為訓練記錄；Y為網絡輸出矢量；E為誤差矢量；Pf為訓練終止時的輸入延遲狀態(tài)；Af為訓練終止時的層延遲狀態(tài)；NET為訓練前的網絡；P為網絡的輸入向量矩陣；T表示網絡的目標矩陣，缺省值為0；Pi表示初始輸入延時，缺省值為0；Ai表示初始的層延時，缺省值為0；

10、 VV為驗證矢量（可省略）；TV為測試矢量（可省略）。網絡訓練函數是一種通用的學習函數，訓練函數重復地把一組輸入向量應用到一個網絡上，每次都更新網絡，直到達到了某種準則，停止準則可能是達到最大的學習步數、最小的誤差梯度或誤差目標等。sim()功能 對網絡進行仿真格式 (1) Y，Pf，Af，E，perf = sim(NET，P，Pi，Ai，T) (2) Y，Pf，Af，E，perf = sim(NET，Q TS，Pi，Ai，T) (3) Y，Pf，Af，E，perf = sim(NET，Q，Pi，Ai，T)說明 Y為網絡的輸出；Pf表示最終的輸入延時狀態(tài)；Af表示最終的層延時狀態(tài)；E為實際輸出

11、與目標矢量之間的誤差；perf為網絡的性能值；NET為要測試的網絡對象；P為網絡的輸入向量矩陣；Pi為初始的輸入延時狀態(tài)（可省略）；Ai為初始的層延時狀態(tài)（可省略）；T為目標矢量（可省略）。式(1)、(2)用于沒有輸入的網絡，其中Q為批處理數據的個數，TS為網絡仿真的時間步數。 mae()功能 平均絕對誤差性能函數格式 perf=mae(E，w，pp) 說明 perf表示平均絕對誤差和， E為誤差矩陣或向量(網絡的目標向量與輸出向量之差)， w為所有權值和偏值向量(可忽略)， pp為性能參數(可忽略)。 plotpv()功能 繪制樣本點的函數格式 (1) plotpv(P，T) (2) plo

12、tpv(P，T，V)說明 P定義了n個2或3維的樣本，是一個2n維或3n維的矩陣；T表示各樣本點的類別，是一個n維的向量；V=x_min x_max y_min y_max，為一設置繪圖坐標值范圍的向量。利用plotpv()函數可在坐標圖中繪出給定的樣本點及其類別，不同的類別使用不同的符號。如果T只含一元矢量，則目標為0的輸入矢量在坐標圖中用符號o表示： 目標為1的輸入矢量在坐標圖中用符號+表示。如果T含二元矢量，則輸入矢量在坐標圖中所采用的符號分別如下：0 0用o表示；0 1用+表示：1 0用*表示；1 1用表示。 plotpc()功能 在存在的圖上繪制出感知器的分類線函數格式 (1) pl

13、otpc(W，B) (2) plotpc(W，B，H)說明 硬特性神經元可將輸入空間用一條直線(如果神經元有兩個輸入)，或用一個平面(如果神經元有三個輸入)，或用一個超平面(如果神經元有三個以上輸入)分成兩個區(qū)域。plotpc(w，b)對含權矩陣w和偏差矢量b的硬特性神經元的兩個或三個輸入畫一個分類線。這一函數返回分類線的句柄以便以后調用。plotpc(W，B，H)包含從前的一次調用中返回的句柄。它在畫新分類線之前，刪除舊線。使用MATLAB實現神經網絡的步驟如下：第一步 根據應用創(chuàng)建一個神經網絡；第二步 設定神經網絡的訓練參數，利用給定樣本對創(chuàng)建的神經網絡進行訓練；第三步 輸入測試數據，測試

14、訓練好的神經網絡的性能。小結感知器模型及工作原理感知器的學習算法感知器的MATLAB實現8.2 BP神經網絡BP神經網絡模型BP網絡的標準學習算法BP神經網絡學習算法的MATLAB實現BP神經網絡的特點概述Rumelhart，McClelland于1985年提出了BP網絡的誤差反向后傳BP(Back Propagation)學習算法BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。 J. McClelland David Rumelhart 1 BP神經網絡模型三層BP網絡 1 BP神經網絡模

15、型激活函數必須處處可導一般都使用S型函數 使用S型激活函數時BP網絡輸入與輸出關系輸入輸出1 BP神經網絡模型輸出的導數2 BP網絡的標準學習算法學習的過程：神經網絡在外界輸入樣本的刺激下不斷改變網絡的連接權值,以使網絡的輸出不斷地接近期望的輸出。學習的本質：對各連接權值的動態(tài)調整學習規(guī)則：權值調整規(guī)則，即在學習過程中網絡中各神經元的連接權變化所依據的一定的調整規(guī)則。2 BP網絡的標準學習算法-算法思想學習的類型：有導師學習核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學習的過程：信號的正向傳播 誤差的反向傳播將誤差分攤給各層的所有單元各層單元的誤差信號修正各單元權值2 BP網絡的標準

16、學習算法-學習過程正向傳播：輸入樣本輸入層各隱層輸出層判斷是否轉入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示修正各層單元的權值網絡輸出的誤差減少到可接受的程度進行到預先設定的學習次數為止2 BP網絡的標準學習算法 網絡結構輸入層有n個神經元，隱含層有p個神經元, 輸出層有q個神經元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量; 2 BP網絡的標準學習算法輸入層與中間層的連接權值:隱含層與輸出層的連接權值:隱含層各神經元的閾值:輸出層各神經元的閾值:樣本數據個數:激活函數: 誤差函數：2 BP網絡

17、的標準學習算法第一步，網絡初始化 給各連接權值分別賦一個區(qū)間（-1，1）內的隨機數，設定誤差函數e，給定計算精度值 和最大學習次數M。第二步,隨機選取第 個輸入樣本及對應期望輸出 2 BP網絡的標準學習算法第三步，計算隱含層各神經元的輸入和輸出2 BP網絡的標準學習算法第四步，利用網絡期望輸出和實際輸出，計算誤差函數對輸出層的各神經元的偏導數 。 2 BP網絡的標準學習算法第五步，利用隱含層到輸出層的連接權值、輸出層的 和隱含層的輸出計算誤差函數對隱含層各神經元的偏導數 。 2 BP網絡的標準學習算法2 BP網絡的標準學習算法第六步，利用輸出層各神經元的 和隱含層各神經元的輸出來修正連接權值

18、。 2 BP網絡的標準學習算法第七步，利用隱含層各神經元的 和輸入層各神經元的輸入修正連接權。 2 BP網絡的標準學習算法第八步，計算全局誤差第九步，判斷網絡誤差是否滿足要求。當誤差達到預設精度或學習次數大于設定的最大次數，則結束算法。否則，選取下一個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。 2 BP網絡的標準學習算法BP算法直觀解釋情況一直觀表達 當誤差對權值的偏導數大于零時，權值調整量為負，實際輸出大于期望輸出，權值向減少方向調整，使得實際輸出與期望輸出的差減少。whoe0，此時who02 BP網絡的標準學習算法BP算法直解釋情況二直觀表達當誤差對權值的偏導數小于零時，權值

19、調整量為正，實際輸出少于期望輸出，權值向增大方向調整，使得實際輸出與期望輸出的差減少。e0who3 BP神經網絡學習算法的MATLAB實現 MATLAB中BP神經網絡的重要函數和基本功能 函 數 名功 能newff()生成一個前饋BP網絡tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數logsig()對數S型(Log-Sigmoid)傳輸函數traingd()梯度下降BP訓練函數3 BP神經網絡學習算法的MATLAB實現MATLAB中BP神經網絡的重要函數和基本功能newff()功能 建立一個前向BP網絡格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TF

20、N1，BTF，BLF，PF)說明 net為創(chuàng)建的新BP神經網絡；PR為網絡輸入向量取值范圍的矩陣；S1 S2SNl表示網絡隱含層和輸出層神經元的個數；TFl TF2TFN1表示網絡隱含層和輸出層的傳輸函數，默認為tansig；BTF表示網絡的訓練函數，默認為trainlm；BLF表示網絡的權值學習函數，默認為learngdm；PF表示性能數，默認為mse。 3 BP神經網絡學習算法的MATLAB實現MATLAB中BP神經網絡的重要函數和基本功能tansig()功能 正切sigmoid激活函數格式 a = tansig(n)說明 雙曲正切Sigmoid函數把神經元的輸入范圍從(-，+)映射到(-

21、1，1)。它是可導函數，適用于BP訓練的神經元。logsig()功能 對數Sigmoid激活函數格式 a = logsig(N)說明對數Sigmoid函數把神經元的輸入范圍從(-，+)映射到(0，1)。它是可導函數，適用于BP訓練的神經元。BP神經網絡學習算法的MATLAB實現例，下表為某藥品的銷售情況，現構建一個如下的三層BP神經網絡對藥品的銷售進行預測：輸入層有三個結點，隱含層結點數為5，隱含層的激活函數為tansig；輸出層結點數為1個，輸出層的激活函數為logsig，并利用此網絡對藥品的銷售量進行預測，預測方法采用滾動預測方式，即用前三個月的銷售量來預測第四個月的銷售量，如用1、2、3

22、月的銷售量為輸入預測第4個月的銷售量，用2、3、4月的銷售量為輸入預測第5個月的銷售量.如此反復直至滿足預測精度要求為止。 月份123456銷量205623952600229816341600月份789101112銷量1873147819001500204615563 BP神經網絡學習算法的MATLAB實現%以每三個月的銷售量經歸一化處理后作為輸入P=0.51520.81731.0000 ; 0.81731.00000.7308; 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.3520; 0.10870.35200.0000;%以第

23、四個月的銷售量歸一化處理后作為目標向量T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;%創(chuàng)建一個BP神經網絡，每一個輸入向量的取值范圍為0 ,1，隱含層有5個神經%元，輸出層有一個神經元，隱含層的激活函數為tansig，輸出層的激活函數為%logsig，訓練函數為梯度下降函數，即2.3.2節(jié)中所描述的標準學習算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設置學習速率為0.1LP.lr=0.1;

24、net=train(net,P,T); 3 BP神經網絡學習算法的MATLAB實現BP網絡應用于藥品預測對比圖由對比圖可以看出預測效果與實際存在一定誤差，此誤差可以通過增加運行步數和提高預設誤差精度業(yè)進一步縮小4 BP神經網絡的特點非線性映射能力能學習和存貯大量輸入-輸出模式映射關系，而無需事先了解描述這種映射關系的數學方程。只要能提供足夠多的樣本模式對供網絡進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當向網絡輸入訓練時未曾見過的非樣本數據時，網絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網絡的輸入

25、輸出規(guī)律影響很小。小結BP算法背景BP神經網絡模型BP算法基本思想推導過程實現BP神經網絡的MATLAB函數BP神經網絡的應用實例BP神經網絡的特點總 結人工神經網絡是由大量神經元經廣泛互聯組成的非線性網絡，單元間的連接強度從樣本中學習神經網絡模型決定于神經元類型，神經元間的連接方式和學習算法BP、RBF、Hopfield、SOM和PCNN是常用的幾種模型8.4 自組織映射神經網絡1981年芬蘭Helsink大學的T.Kohonen教授提出一種自組織特征映射網（Self-Organizing feature Map），簡稱SOM網，又稱Kohonen網。 Kohonen認為：一個神經網絡接受外

26、界輸入模式時，將會分為不同的對應區(qū)域，各區(qū)域對輸入模式具有不同的響應特征，而且這個過程是自動完成的。自組織特征映射正是根據這一看法提出來的，其特點與人腦的自組織特性相類似。1 SOM網的生物學基礎 生物學研究的事實表明，在人腦的感覺通道上，神經元的組織原理是有序排列。因此當人腦通過感官接受外界的特定時空信息時，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對應區(qū)域是連續(xù)映象的。 對于某一圖形或某一頻率的特定興奮過程，神經元的有序排列以及對外界信息的連續(xù)映象是自組織特征映射網中競爭機制的生物學基礎。2 SOM網的拓撲結構 SOM網共有兩層，輸入層模擬感知外界輸入信息的視網膜，輸出層模擬做出響應的大

27、腦皮層。 3 SOM網的權值調整域 SOM網的獲勝神經元對其鄰近神經元的影響是由近及遠，由興奮逐漸轉變?yōu)橐种?，因此其學習算法中不僅獲勝神經元本身要調整權向量，它周圍的神經元在其影響下也要程度不同地調整權向量。這種調整可用三種函數表示： 以獲勝神經元為中心設定一個鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網學習算法中，優(yōu)勝鄰域內的所有神經元均按其離開獲勝神經元的距離遠近不同程度地調整權值。 優(yōu)勝鄰域開始定得很大，但其大小隨著訓練次數的增加不斷收縮，最終收縮到半徑為零。4 SOM網的運行原理訓練階段 w1 w2 w3 w4 w5工作階段5 SOM網的學習算法(1)初始化 對輸出層各權向量賦小

28、隨機數并進行歸一化處理，得到 ，j=1,2,m；建立初始優(yōu)勝鄰域Nj*(0)；學習率 賦初始值。(2)接受輸入 從訓練集中隨機選取一個輸入模式并進行歸一化處理，得到 ，p1,2,P。(3)尋找獲勝節(jié)點 計算 與 的點積，j=1,2,m，從中選出點積最大的獲勝節(jié)點j*。(4)定義優(yōu)勝鄰域Nj* (t) 以j*為中心確定t 時刻的權值調整域，一般初始鄰域Nj* (0)較大，訓練過程中Nj* (t)隨訓練時間逐漸收縮。(5)調整權值 對優(yōu)勝鄰域Nj*(t)內的所有節(jié)點調整權值： i=1,2,n jNj*(t) 式中， 是訓練時間t 和鄰域內第j 個神經元與獲勝神經元 j* 之間的拓撲距離N 的函數，

29、該函數一般有以下規(guī)律：(5)調整權值(6)結束檢查 學習率是否衰減到零或某個預定的正小數？Kohonen學習算法程序流程6 功 能 分 析(1)保序映射將輸入空間的樣本模式類有序地映射在輸出層上。例1：動物屬性特征映射。功能分析(2)數據壓縮 將高維空間的樣本在保持拓撲結構不變的條件下投影到低維空間。(3)特征抽取 高維空間的向量經過特征抽取后可以在低維特征空間更加清晰地表達。例2：SOM網用于字符排序。功能分析小結SOM網的生物學基礎SOM網的拓撲結構SOM網的權值調整域SOM網的運行原理SOM網的學習算法功 能 分 析8.5 Hopfield神經網絡Hopfield模型Hopfield網絡

30、的學習算法 Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個神經網絡模型。1982年提出的是離散型，1984年提出的是連續(xù)型，但它們都是反饋網絡結構。圖1給出了一個簡單的反饋神經網絡圖。 1 Hopfield模型 由于在反饋網絡中，網絡的輸出要反復地作為輸入再送入網絡中，這就使得網絡具有了動態(tài)性，網絡的狀態(tài)在不斷的改變之中，因而就提出了網絡的穩(wěn)定性問題。所謂一個網絡是穩(wěn)定的是指從某一時刻開始，網絡的狀態(tài)不再改變。 設用X(t)表示網絡在時刻t的狀態(tài)，如果從t=的任一初態(tài)X(0)開始，存在一個有限的時刻t，使得從此時刻開始神經網絡的狀態(tài)不再發(fā)生變化，即 就稱此網絡是穩(wěn)定的。

31、離散網絡模型是一個離散時間系統(tǒng)，每個神經元只有兩個狀態(tài)，可以用1和0來表示，由連接權值ij所構成的矩陣是一個對角線為0的對稱矩陣，即 如果用x(t)表示整個網絡在時刻的狀態(tài)，則X是一個向量，它包含了網絡中每個人工神經元的狀態(tài)。所以，狀態(tài)向量X中的分量個數就是網絡中人工神經元的個數。假設網絡中的節(jié)點（人工神經元）個數為n，則向量X的構成如下： 這里， ,其中的ij為節(jié)點到節(jié)點的連接權值； 為節(jié)點的閾值。 (9.4.3)Xi(t)表示節(jié)點i（第個i神經元）在時刻t的狀態(tài)，該節(jié)點在時刻t+1的狀態(tài)由下式決定：(9.4.4) Hopfield網絡離散模型有兩種工作模式：（1）串行方式，是指在任一時刻t，只有一個神經元i發(fā)生狀態(tài)變化，而其余的神經元保持狀態(tài)不變。（2）并行方式，是指在任一時刻t，都有部分或全體神經元同時改變狀態(tài)。 有關離散的Hopfield網絡的穩(wěn)定性問題，已于1983年由Cohen和Grossberg給于了證明。而Hopfield等人又進一步證明 ，只要連接權值構成的矩陣是非負對角元的對稱矩陣，則該網絡就具有