人工智能：第9章-神經(jīng)計算

1、8.1人工神經(jīng)元模型1 概述2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法4 常用神經(jīng)網(wǎng)絡(luò)模型1 概述生物神經(jīng)網(wǎng)絡(luò)(biological neural network, BNN)，特別是人腦人工神經(jīng)網(wǎng)絡(luò)(artificial neural network, ANN)：由大量神經(jīng)元經(jīng)廣泛互聯(lián)組成的非線性網(wǎng)絡(luò)（功能模塊，數(shù)學(xué)模型）。實現(xiàn)人腦的一些功能。神經(jīng)網(wǎng)絡(luò)發(fā)展歷史簡介M-P神經(jīng)元模型 (心理學(xué)家McCulloch & 數(shù)學(xué)家Pitts 1943)Hebb神經(jīng)元學(xué)習(xí)準(zhǔn)則 (心理學(xué)家Hebb, 1949)分布式系統(tǒng)方面的研究(如Von Neumann)Perceptron感知機(jī)模型(Rosenblatt 1

2、958)Adaline(Widrow and Hoff)Perceptron (Minsky & Papert, 1969)Hopfield模型 (Hopfield，1982)多層感知機(jī)MLP與反向傳播算法BP (Rumelhart, 1986)脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN , 1991)神經(jīng)網(wǎng)絡(luò)的特點神經(jīng)網(wǎng)絡(luò)的應(yīng)用NN從計算模型的角度本質(zhì)上可以理解為函數(shù)逼近，可以應(yīng)用到眾多領(lǐng)域。2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)網(wǎng)絡(luò)：Biological Neural Network (BNN)神經(jīng)元：neuron （結(jié)構(gòu)見圖示）神經(jīng)元經(jīng)突觸傳遞信號給其他神經(jīng)元（胞體或樹突）1011個神經(jīng)元/人腦104個連接/神經(jīng)元神

3、經(jīng)元基本工作機(jī)制：狀態(tài)：興奮與抑制互聯(lián)，激勵，處理，閾值神經(jīng)元模型Neuron Model： 多輸入，單輸出，帶偏置R個輸入piR，即R維輸入矢量pn: net input, n=wp+b。R個權(quán)值wiR，即R維權(quán)矢量w閾值b輸出a=f(n), f: transfer function常用輸出函數(shù)aWp-b1-1閾值函數(shù)：線性輸出函數(shù)Purelin Transfer Function ：anSigmoid函數(shù)Sigmoid Function ：特性：值域a(0,1)非線性，單調(diào)性無限次可微|n|較小時可近似線性函數(shù)|n|較大時可近似閾值函數(shù)3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)：從環(huán)境中獲取知識

4、并改進(jìn)自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)達(dá)到某種度量，又稱為網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)再勵學(xué)習(xí)監(jiān)督學(xué)習(xí)對訓(xùn)練樣本集中的每一組輸入能提供一組目標(biāo)輸出。樣本數(shù)據(jù)(p, t)。網(wǎng)絡(luò)根據(jù)目標(biāo)輸出與實際輸出的誤差信號來調(diào)節(jié)網(wǎng)絡(luò)參數(shù)教師神經(jīng)網(wǎng)絡(luò)比較環(huán)境實際輸出輸入期望輸出誤差信號p(n)t(n)a(n)e(n)非監(jiān)督學(xué)習(xí)與再勵學(xué)習(xí)非監(jiān)督學(xué)習(xí)：不存在教師，網(wǎng)絡(luò)根據(jù)外部數(shù)據(jù)的統(tǒng)計規(guī)律來調(diào)節(jié)系統(tǒng)參數(shù)，以使網(wǎng)絡(luò)輸出能反映數(shù)據(jù)的某種特性再勵學(xué)習(xí)：外部環(huán)境對網(wǎng)絡(luò)輸出只給出評價信息而非正確答案，網(wǎng)絡(luò)通過強(qiáng)化受獎勵的動作來改善自身的性能神經(jīng)網(wǎng)絡(luò)環(huán)境輸入神經(jīng)網(wǎng)絡(luò)環(huán)境輸入輸出評價信息學(xué)習(xí)方法4 常見神經(jīng)網(wǎng)絡(luò)模型感

5、知器BP神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（ RBFNN）自組織映射神經(jīng)網(wǎng)絡(luò)（ SOMNN）Hopfield神經(jīng)網(wǎng)絡(luò)脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）小結(jié)神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法常用神經(jīng)網(wǎng)絡(luò)模型8.2 感知器感知器概述感知器工作原理感知器的學(xué)習(xí)算法感知器的MATLAB實現(xiàn)1 感知器概述概述由美國學(xué)者Rosenblatt在1957年首次提出學(xué)習(xí)算法是Rosenblatt在1958年提出的 包含一個突觸權(quán)值可調(diào)的神經(jīng)元 屬于前向神經(jīng)網(wǎng)絡(luò)類型 只能區(qū)分線性可分的模式 IEEE設(shè)立以其名字命名的獎項 感知器模型2 感知器工作原理感知器可將外部輸入分為兩類和。當(dāng)感知器的輸出為+1時，輸入屬于 類，當(dāng)

6、感知器的輸出為-1時，輸入屬于 類，從而實現(xiàn)兩類目標(biāo)的識別。在維空間，單層感知器進(jìn)行模式識別的判決超平面由下式?jīng)Q定： 對于只有兩個輸入的判別邊界是直線（如下式所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的 和 ，當(dāng)它用于兩類模式的分類時，相當(dāng)于在高維樣本空間中，用一個超平面將兩類樣本分開。基于迭代的思想，通常是采用誤差校正學(xué)習(xí)規(guī)則的學(xué)習(xí)算法?？梢詫⑵钭鳛樯窠?jīng)元突觸權(quán)值向量的第一個分量加到權(quán)值向量中 輸入向量和權(quán)值向量可分別寫成如下的形式：令上式等于零，可得到在維空間的單層感知器的判別超平面。 3 感知器學(xué)習(xí)算法第一步,設(shè)置變量和參量。 為激活函數(shù), 為網(wǎng)絡(luò)實際輸出， 為期望輸出， 為學(xué)習(xí)速率， 為

7、迭代次數(shù)， 為實際輸出與期望輸出的誤差。 第二步,初始化 給權(quán)值向量 的各個分量賦一個較小的隨機(jī)非零值，置 第三步,輸入一組樣本 ，并給出 它的期望輸出 。 第四步,計算實際輸出:第五步,求出期望輸出和實際輸出求出差根據(jù)誤差判斷目前輸出是否滿足條件，一般為對所有樣本誤差為零或者均小于預(yù)設(shè)的值，則算法結(jié)束，否則將值增加1，并用下式調(diào)整權(quán)值：然后轉(zhuǎn)到第三步，進(jìn)入下一輪計算過程 4 感知器的MATLAB實現(xiàn) MATLAB中單層感知器常用工具函數(shù)名稱和基本功能 函 數(shù) 名功 能newp()生成一個感知器hardlim()硬限幅激活函數(shù)learnp()感知器的學(xué)習(xí)函數(shù)train()神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)sim

8、()神經(jīng)網(wǎng)絡(luò)仿真函數(shù)mae()平均絕對誤差性能函數(shù)plotpv()在坐標(biāo)圖上繪出樣本點plotpc()在已繪制的圖上加分類線newp()功能：創(chuàng)建一個感知器神經(jīng)網(wǎng)絡(luò)的函數(shù)格式：net = newp(PR，S，TF，LF)說明：net為生成的感知機(jī)神經(jīng)網(wǎng)絡(luò)；PR為一個R2的矩陣，由R組輸入向量中的最大值和最小值組成；S表示神經(jīng)元的個數(shù)；TF表示感知器的激活函數(shù)，缺省值為硬限幅激活函數(shù)hardlim；LF表示網(wǎng)絡(luò)的學(xué)習(xí)函數(shù)，缺省值為learnp hardlim()功能 硬限幅激活函數(shù)格式 A = hardlim(N) 說明 函數(shù)hardlim(N)在給定網(wǎng)絡(luò)的輸入矢量矩陣N時，返回該層的輸出矢量矩

9、陣A。當(dāng)N中的元素大于等于零時，返回的值為l；否則為0。也就是說，如果網(wǎng)絡(luò)的輸入達(dá)到閾值，則硬限幅傳輸函數(shù)的輸出為1；否則，為0。 learnp()功能 感知機(jī)的權(quán)值和閾值學(xué)習(xí)函數(shù) train()功能 神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)格式 net，tr，Y，E，Pf，Af = train(NET，P，T，Pi，Ai，VV，TV)說明 net為訓(xùn)練后的網(wǎng)絡(luò)；tr為訓(xùn)練記錄；Y為網(wǎng)絡(luò)輸出矢量；E為誤差矢量；Pf為訓(xùn)練終止時的輸入延遲狀態(tài)；Af為訓(xùn)練終止時的層延遲狀態(tài)；NET為訓(xùn)練前的網(wǎng)絡(luò)；P為網(wǎng)絡(luò)的輸入向量矩陣；T表示網(wǎng)絡(luò)的目標(biāo)矩陣，缺省值為0；Pi表示初始輸入延時，缺省值為0；Ai表示初始的層延時，缺省值為0；

10、 VV為驗證矢量（可省略）；TV為測試矢量（可省略）。網(wǎng)絡(luò)訓(xùn)練函數(shù)是一種通用的學(xué)習(xí)函數(shù)，訓(xùn)練函數(shù)重復(fù)地把一組輸入向量應(yīng)用到一個網(wǎng)絡(luò)上，每次都更新網(wǎng)絡(luò)，直到達(dá)到了某種準(zhǔn)則，停止準(zhǔn)則可能是達(dá)到最大的學(xué)習(xí)步數(shù)、最小的誤差梯度或誤差目標(biāo)等。sim()功能 對網(wǎng)絡(luò)進(jìn)行仿真格式 (1) Y，Pf，Af，E，perf = sim(NET，P，Pi，Ai，T) (2) Y，Pf，Af，E，perf = sim(NET，Q TS，Pi，Ai，T) (3) Y，Pf，Af，E，perf = sim(NET，Q，Pi，Ai，T)說明 Y為網(wǎng)絡(luò)的輸出；Pf表示最終的輸入延時狀態(tài)；Af表示最終的層延時狀態(tài)；E為實際輸出

11、與目標(biāo)矢量之間的誤差；perf為網(wǎng)絡(luò)的性能值；NET為要測試的網(wǎng)絡(luò)對象；P為網(wǎng)絡(luò)的輸入向量矩陣；Pi為初始的輸入延時狀態(tài)（可省略）；Ai為初始的層延時狀態(tài)（可省略）；T為目標(biāo)矢量（可省略）。式(1)、(2)用于沒有輸入的網(wǎng)絡(luò)，其中Q為批處理數(shù)據(jù)的個數(shù)，TS為網(wǎng)絡(luò)仿真的時間步數(shù)。 mae()功能 平均絕對誤差性能函數(shù)格式 perf=mae(E，w，pp) 說明 perf表示平均絕對誤差和， E為誤差矩陣或向量(網(wǎng)絡(luò)的目標(biāo)向量與輸出向量之差)， w為所有權(quán)值和偏值向量(可忽略)， pp為性能參數(shù)(可忽略)。 plotpv()功能 繪制樣本點的函數(shù)格式 (1) plotpv(P，T) (2) plo

12、tpv(P，T，V)說明 P定義了n個2或3維的樣本，是一個2n維或3n維的矩陣；T表示各樣本點的類別，是一個n維的向量；V=x_min x_max y_min y_max，為一設(shè)置繪圖坐標(biāo)值范圍的向量。利用plotpv()函數(shù)可在坐標(biāo)圖中繪出給定的樣本點及其類別，不同的類別使用不同的符號。如果T只含一元矢量，則目標(biāo)為0的輸入矢量在坐標(biāo)圖中用符號o表示： 目標(biāo)為1的輸入矢量在坐標(biāo)圖中用符號+表示。如果T含二元矢量，則輸入矢量在坐標(biāo)圖中所采用的符號分別如下：0 0用o表示；0 1用+表示：1 0用*表示；1 1用表示。 plotpc()功能 在存在的圖上繪制出感知器的分類線函數(shù)格式 (1) pl

13、otpc(W，B) (2) plotpc(W，B，H)說明 硬特性神經(jīng)元可將輸入空間用一條直線(如果神經(jīng)元有兩個輸入)，或用一個平面(如果神經(jīng)元有三個輸入)，或用一個超平面(如果神經(jīng)元有三個以上輸入)分成兩個區(qū)域。plotpc(w，b)對含權(quán)矩陣w和偏差矢量b的硬特性神經(jīng)元的兩個或三個輸入畫一個分類線。這一函數(shù)返回分類線的句柄以便以后調(diào)用。plotpc(W，B，H)包含從前的一次調(diào)用中返回的句柄。它在畫新分類線之前，刪除舊線。使用MATLAB實現(xiàn)神經(jīng)網(wǎng)絡(luò)的步驟如下：第一步 根據(jù)應(yīng)用創(chuàng)建一個神經(jīng)網(wǎng)絡(luò)；第二步 設(shè)定神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)，利用給定樣本對創(chuàng)建的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；第三步 輸入測試數(shù)據(jù)，測試

14、訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的性能。小結(jié)感知器模型及工作原理感知器的學(xué)習(xí)算法感知器的MATLAB實現(xiàn)8.2 BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn)BP神經(jīng)網(wǎng)絡(luò)的特點概述Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(Back Propagation)學(xué)習(xí)算法BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導(dǎo)層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。 J. McClelland David Rumelhart 1 BP神經(jīng)網(wǎng)絡(luò)模型三層BP網(wǎng)絡(luò) 1 BP神經(jīng)網(wǎng)絡(luò)模

15、型激活函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù) 使用S型激活函數(shù)時BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出1 BP神經(jīng)網(wǎng)絡(luò)模型輸出的導(dǎo)數(shù)2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對各連接權(quán)值的動態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-算法思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號的正向傳播 誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元各層單元的誤差信號修正各單元權(quán)值2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)

16、學(xué)習(xí)算法-學(xué)習(xí)過程正向傳播：輸入樣本輸入層各隱層輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法 網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元, 輸出層有q個神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量; 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù): 誤差函數(shù)：2 BP網(wǎng)絡(luò)

17、的標(biāo)準(zhǔn)學(xué)習(xí)算法第一步，網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計算精度值 和最大學(xué)習(xí)次數(shù)M。第二步,隨機(jī)選取第 個輸入樣本及對應(yīng)期望輸出 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第三步，計算隱含層各神經(jīng)元的輸入和輸出2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第四步，利用網(wǎng)絡(luò)期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)數(shù) 。 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù) 。 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來修正連接權(quán)值

18、。 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第七步，利用隱含層各神經(jīng)元的 和輸入層各神經(jīng)元的輸入修正連接權(quán)。 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第八步，計算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。 2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直觀解釋情況一直觀表達(dá) 當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)大于零時，權(quán)值調(diào)整量為負(fù)，實際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實際輸出與期望輸出的差減少。whoe0，此時who02 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直解釋情況二直觀表達(dá)當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)小于零時，權(quán)值

19、調(diào)整量為正，實際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實際輸出與期望輸出的差減少。e0who3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 函 數(shù) 名功 能newff()生成一個前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能 建立一個前向BP網(wǎng)絡(luò)格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TF

20、N1，BTF，BLF，PF)說明 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入向量取值范圍的矩陣；S1 S2SNl表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個數(shù)；TFl TF2TFN1表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為tansig；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為trainlm；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為learngdm；PF表示性能數(shù)，默認(rèn)為mse。 3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能tansig()功能 正切sigmoid激活函數(shù)格式 a = tansig(n)說明 雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(-

21、1，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。logsig()功能 對數(shù)Sigmoid激活函數(shù)格式 a = logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(0，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn)例，下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個如下的三層BP神經(jīng)網(wǎng)絡(luò)對藥品的銷售進(jìn)行預(yù)測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點數(shù)為1個，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對藥品的銷售量進(jìn)行預(yù)測，預(yù)測方法采用滾動預(yù)測方式，即用前三個月的銷售量來預(yù)測第四個月的銷售量，如用1、2、3

22、月的銷售量為輸入預(yù)測第4個月的銷售量，用2、3、4月的銷售量為輸入預(yù)測第5個月的銷售量.如此反復(fù)直至滿足預(yù)測精度要求為止。 月份123456銷量205623952600229816341600月份789101112銷量1873147819001500204615563 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn)%以每三個月的銷售量經(jīng)歸一化處理后作為輸入P=0.51520.81731.0000 ; 0.81731.00000.7308; 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.3520; 0.10870.35200.0000;%以第

23、四個月的銷售量歸一化處理后作為目標(biāo)向量T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;%創(chuàng)建一個BP神經(jīng)網(wǎng)絡(luò)，每一個輸入向量的取值范圍為0 ,1，隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)中所描述的標(biāo)準(zhǔn)學(xué)習(xí)算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設(shè)置學(xué)習(xí)速率為0.1LP.lr=0.1;

24、net=train(net,P,T); 3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn)BP網(wǎng)絡(luò)應(yīng)用于藥品預(yù)測對比圖由對比圖可以看出預(yù)測效果與實際存在一定誤差，此誤差可以通過增加運(yùn)行步數(shù)和提高預(yù)設(shè)誤差精度業(yè)進(jìn)一步縮小4 BP神經(jīng)網(wǎng)絡(luò)的特點非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入

25、輸出規(guī)律影響很小。小結(jié)BP算法背景BP神經(jīng)網(wǎng)絡(luò)模型BP算法基本思想推導(dǎo)過程實現(xiàn)BP神經(jīng)網(wǎng)絡(luò)的MATLAB函數(shù)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用實例BP神經(jīng)網(wǎng)絡(luò)的特點總 結(jié)人工神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元經(jīng)廣泛互聯(lián)組成的非線性網(wǎng)絡(luò)，單元間的連接強(qiáng)度從樣本中學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型決定于神經(jīng)元類型，神經(jīng)元間的連接方式和學(xué)習(xí)算法BP、RBF、Hopfield、SOM和PCNN是常用的幾種模型8.4 自組織映射神經(jīng)網(wǎng)絡(luò)1981年芬蘭Helsink大學(xué)的T.Kohonen教授提出一種自組織特征映射網(wǎng)（Self-Organizing feature Map），簡稱SOM網(wǎng)，又稱Kohonen網(wǎng)。 Kohonen認(rèn)為：一個神經(jīng)網(wǎng)絡(luò)接受外

26、界輸入模式時，將會分為不同的對應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個過程是自動完成的。自組織特征映射正是根據(jù)這一看法提出來的，其特點與人腦的自組織特性相類似。1 SOM網(wǎng)的生物學(xué)基礎(chǔ) 生物學(xué)研究的事實表明，在人腦的感覺通道上，神經(jīng)元的組織原理是有序排列。因此當(dāng)人腦通過感官接受外界的特定時空信息時，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對應(yīng)區(qū)域是連續(xù)映象的。 對于某一圖形或某一頻率的特定興奮過程，神經(jīng)元的有序排列以及對外界信息的連續(xù)映象是自組織特征映射網(wǎng)中競爭機(jī)制的生物學(xué)基礎(chǔ)。2 SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu) SOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出響應(yīng)的大

27、腦皮層。 3 SOM網(wǎng)的權(quán)值調(diào)整域 SOM網(wǎng)的獲勝神經(jīng)元對其鄰近神經(jīng)元的影響是由近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种?，因此其學(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示： 以獲勝神經(jīng)元為中心設(shè)定一個鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學(xué)習(xí)算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。 優(yōu)勝鄰域開始定得很大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮，最終收縮到半徑為零。4 SOM網(wǎng)的運(yùn)行原理訓(xùn)練階段 w1 w2 w3 w4 w5工作階段5 SOM網(wǎng)的學(xué)習(xí)算法(1)初始化 對輸出層各權(quán)向量賦小

28、隨機(jī)數(shù)并進(jìn)行歸一化處理，得到 ，j=1,2,m；建立初始優(yōu)勝鄰域Nj*(0)；學(xué)習(xí)率 賦初始值。(2)接受輸入 從訓(xùn)練集中隨機(jī)選取一個輸入模式并進(jìn)行歸一化處理，得到 ，p1,2,P。(3)尋找獲勝節(jié)點 計算 與 的點積，j=1,2,m，從中選出點積最大的獲勝節(jié)點j*。(4)定義優(yōu)勝鄰域Nj* (t) 以j*為中心確定t 時刻的權(quán)值調(diào)整域，一般初始鄰域Nj* (0)較大，訓(xùn)練過程中Nj* (t)隨訓(xùn)練時間逐漸收縮。(5)調(diào)整權(quán)值 對優(yōu)勝鄰域Nj*(t)內(nèi)的所有節(jié)點調(diào)整權(quán)值： i=1,2,n jNj*(t) 式中， 是訓(xùn)練時間t 和鄰域內(nèi)第j 個神經(jīng)元與獲勝神經(jīng)元 j* 之間的拓?fù)渚嚯xN 的函數(shù)，

29、該函數(shù)一般有以下規(guī)律：(5)調(diào)整權(quán)值(6)結(jié)束檢查 學(xué)習(xí)率是否衰減到零或某個預(yù)定的正小數(shù)？Kohonen學(xué)習(xí)算法程序流程6 功 能 分 析(1)保序映射將輸入空間的樣本模式類有序地映射在輸出層上。例1：動物屬性特征映射。功能分析(2)數(shù)據(jù)壓縮 將高維空間的樣本在保持拓?fù)浣Y(jié)構(gòu)不變的條件下投影到低維空間。(3)特征抽取 高維空間的向量經(jīng)過特征抽取后可以在低維特征空間更加清晰地表達(dá)。例2：SOM網(wǎng)用于字符排序。功能分析小結(jié)SOM網(wǎng)的生物學(xué)基礎(chǔ)SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu)SOM網(wǎng)的權(quán)值調(diào)整域SOM網(wǎng)的運(yùn)行原理SOM網(wǎng)的學(xué)習(xí)算法功 能 分 析8.5 Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield模型Hopfield網(wǎng)絡(luò)

30、的學(xué)習(xí)算法 Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個神經(jīng)網(wǎng)絡(luò)模型。1982年提出的是離散型，1984年提出的是連續(xù)型，但它們都是反饋網(wǎng)絡(luò)結(jié)構(gòu)。圖1給出了一個簡單的反饋神經(jīng)網(wǎng)絡(luò)圖。 1 Hopfield模型 由于在反饋網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)具有了動態(tài)性，網(wǎng)絡(luò)的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡(luò)的穩(wěn)定性問題。所謂一個網(wǎng)絡(luò)是穩(wěn)定的是指從某一時刻開始，網(wǎng)絡(luò)的狀態(tài)不再改變。 設(shè)用X(t)表示網(wǎng)絡(luò)在時刻t的狀態(tài)，如果從t=的任一初態(tài)X(0)開始，存在一個有限的時刻t，使得從此時刻開始神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即 就稱此網(wǎng)絡(luò)是穩(wěn)定的。

31、離散網(wǎng)絡(luò)模型是一個離散時間系統(tǒng)，每個神經(jīng)元只有兩個狀態(tài)，可以用1和0來表示，由連接權(quán)值ij所構(gòu)成的矩陣是一個對角線為0的對稱矩陣，即 如果用x(t)表示整個網(wǎng)絡(luò)在時刻的狀態(tài)，則X是一個向量，它包含了網(wǎng)絡(luò)中每個人工神經(jīng)元的狀態(tài)。所以，狀態(tài)向量X中的分量個數(shù)就是網(wǎng)絡(luò)中人工神經(jīng)元的個數(shù)。假設(shè)網(wǎng)絡(luò)中的節(jié)點（人工神經(jīng)元）個數(shù)為n，則向量X的構(gòu)成如下： 這里， ,其中的ij為節(jié)點到節(jié)點的連接權(quán)值； 為節(jié)點的閾值。 (9.4.3)Xi(t)表示節(jié)點i（第個i神經(jīng)元）在時刻t的狀態(tài)，該節(jié)點在時刻t+1的狀態(tài)由下式?jīng)Q定：(9.4.4) Hopfield網(wǎng)絡(luò)離散模型有兩種工作模式：（1）串行方式，是指在任一時刻t，只有一個神經(jīng)元i發(fā)生狀態(tài)變化，而其余的神經(jīng)元保持狀態(tài)不變。（2）并行方式，是指在任一時刻t，都有部分或全體神經(jīng)元同時改變狀態(tài)。 有關(guān)離散的Hopfield網(wǎng)絡(luò)的穩(wěn)定性問題，已于1983年由Cohen和Grossberg給于了證明。而Hopfield等人又進(jìn)一步證明 ，只要連接權(quán)值構(gòu)成的矩陣是非負(fù)對角元的對稱矩陣，則該網(wǎng)絡(luò)就具有