《人工神經(jīng)網(wǎng)絡理論及應用》課件第11章 Elman網(wǎng)絡

第11章

Elman神經(jīng)網(wǎng)絡111.1概述JeffreyLockeElman（1948-2018）是美國加州大學圣地亞哥分校（UCSD）的心理語言學家和認知科學教授。他專攻神經(jīng)網(wǎng)絡領域，為了解決語音處理問題，在1990年以Jordan網(wǎng)絡為基礎提出了簡單的遞歸神經(jīng)網(wǎng)絡（SRNN），也稱為“Elman網(wǎng)絡”。該成果發(fā)表在他的研究論文《Findingstructureintime》中，該網(wǎng)絡能夠處理順序有序的刺激，對語音處理問題具有很大的貢獻，并得到了廣泛的使用。Elman的工作對于理解語言是怎樣獲得，以及一旦獲取語言，如何理解句子語義是非常重要的。自然語言中的句子由短語和層次結(jié)構(gòu)組織的單詞序列組成，Elman神經(jīng)網(wǎng)絡為神經(jīng)網(wǎng)絡類比人類大腦如何進行這種結(jié)構(gòu)的學習和處理提供了一個重要的假設。211.2Elman神經(jīng)網(wǎng)絡的結(jié)構(gòu)和原理Elman神經(jīng)網(wǎng)絡包括輸入層、隱含層、輸出層和反饋連接，各層之間的連接權(quán)值可以進行學習修正。反饋連接由一組“結(jié)構(gòu)”單元構(gòu)成，用來記憶前一時刻的輸出值，其連接權(quán)值是固定的。在這種網(wǎng)絡中，除了普通的隱含層外，還有一個特別的隱含層，稱為反饋層，該層從隱含層接收反饋信號，每一個隱含層節(jié)點都有一個與之對應的反饋層節(jié)點連接。反饋層的作用是用來記憶隱含層單元前一時刻的輸出值并返回給輸入，因此，Elman神經(jīng)網(wǎng)絡具有動態(tài)記憶功能。該網(wǎng)絡中反饋層的傳遞函數(shù)為非線性函數(shù)，一般為對數(shù)S型函數(shù)，輸出層的傳遞函數(shù)為線性函數(shù)。典型的Elman神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖11-1所示。1.Elman神經(jīng)網(wǎng)絡結(jié)構(gòu)3

圖11-1Elman神經(jīng)網(wǎng)絡結(jié)構(gòu)圖在圖11-1中，網(wǎng)絡中隱含層的神經(jīng)元采用的是正切S型傳遞函數(shù)，而輸出層采用線性傳遞函數(shù)。在反饋層中包含足夠多的神經(jīng)元的情況下，這種傳遞函數(shù)的組合可以使Elman神經(jīng)網(wǎng)絡在有限時間內(nèi)以任意精度逼近任意函數(shù)。4Elman神經(jīng)網(wǎng)絡是一種動態(tài)遞歸網(wǎng)絡，其分為全反饋和部分反饋兩種網(wǎng)絡形式。全反饋具有任意的前饋和反饋連接，且所有連接權(quán)值都可以進行修正。而在部分遞歸網(wǎng)絡中，前饋連接權(quán)值可以修正，反饋連接由一組反饋單元構(gòu)成，連接權(quán)不可以修正。反饋層記憶隱含層的過去狀態(tài)，且在下一時刻連同網(wǎng)絡輸入一起作為隱含層單元的輸入，從而使部分遞歸網(wǎng)絡具有動態(tài)記憶能力。由于Elman網(wǎng)絡具有反饋層，故該網(wǎng)絡具有動態(tài)特性和遞歸作用。圖11-2為Elman神經(jīng)網(wǎng)絡的模型圖。2.

Elman神經(jīng)網(wǎng)絡原理5

圖11-2Elman神經(jīng)網(wǎng)絡模型圖6圖11-2中，W0，W1，W2分別表示隱含層、反饋層和輸出層的權(quán)值矩陣，該網(wǎng)絡中有R個輸入，隱含層和反饋層有S1個神經(jīng)元，輸出層有S2個神經(jīng)元，則可得到Elman網(wǎng)絡的各層輸入/輸出關系。輸入層的輸入/輸出關系式為隱含層的輸入/輸出關系式為7反饋層的輸入/輸出關系式為輸出層的輸入/輸出關系式為式中，為Elman神經(jīng)網(wǎng)絡第i個節(jié)點的輸入；

分別表示隱含層第i個節(jié)點的凈輸入和輸出；

分別表示反饋層第i個節(jié)點的凈輸入和輸出；

分別表示輸出層第i個節(jié)點的凈輸入和輸出；8分別表示隱含層和輸出層的傳遞函數(shù)；

分別表示隱含層、反饋層和輸出層的權(quán)值。Elman神經(jīng)網(wǎng)絡的特點是隱含層的輸出通過反饋層的延遲和儲存，反饋連接到隱含層的輸入，具有信息儲存的作用。這種自聯(lián)方式使其對歷史狀態(tài)數(shù)據(jù)具有敏感性，內(nèi)部的反饋網(wǎng)絡增加了網(wǎng)絡本身處理動態(tài)信息的能力，所以它既可以學習時域模式，也可以學習空域模式。911.3Elman神經(jīng)網(wǎng)絡的學習算法Elman神經(jīng)網(wǎng)絡的學習算法一般采用動態(tài)反向傳播算法學習，是因為該網(wǎng)絡的輸出不僅與t時刻的輸入有關，還與t時刻以前的輸入信號有關。不同于BP網(wǎng)絡的算法推導，遞歸網(wǎng)絡一般采用有序鏈式法則的算法。定義t時刻網(wǎng)絡權(quán)值調(diào)整的誤差函數(shù)為式中，為t時刻第i個輸出節(jié)點的期望輸出，為t時刻第i個輸出節(jié)點的實際輸出。

令為t時刻第i個輸出節(jié)點的期望輸出與實際輸出的誤差，即10則網(wǎng)絡的權(quán)值變化為式中，為動量因子，為學習率，w代表輸入層、隱含層或輸出層的權(quán)值。采用有序鏈式法則，則對于隱含層到輸出層的權(quán)值有同理，對于輸入層到隱含層的權(quán)值有11若令，則有12此時，13式中，式中，

14在MATLAB中建立Elman神經(jīng)網(wǎng)絡后，根據(jù)Nguyen-Widrow算法初始每一層的權(quán)值和偏置值，初始化函數(shù)為initnw。采用函數(shù)train函數(shù)進行網(wǎng)絡訓練的時候，具體步驟為：(1)Elman神經(jīng)網(wǎng)絡的輸入端接收所有的輸入向量，然后計算輸出結(jié)果，并與目標向量進行比較，從而產(chǎn)生一系列的誤差向量。(2)在每一次的迭代過程中，根據(jù)反向傳播的誤差來確定每一個權(quán)值和偏置值的誤差梯度近似值。(3)反向傳播訓練函數(shù)利用該梯度對權(quán)值和偏置值進行更新，直到網(wǎng)絡輸出達到期望輸出。1511.4Elman神經(jīng)網(wǎng)絡穩(wěn)定性分析網(wǎng)絡信號的延時遞歸是遞歸神經(jīng)網(wǎng)絡的主要特點。正是由于這種特性，Elman神經(jīng)網(wǎng)絡在動態(tài)建模方面有獨特的優(yōu)勢。Elman神經(jīng)網(wǎng)絡系統(tǒng)的動態(tài)特性主要表現(xiàn)在t時刻的輸出狀態(tài)不僅與t時刻的輸入狀態(tài)有關，而且還與t時刻以前的遞歸信號有關。由于網(wǎng)絡自身的特殊性，遞歸神經(jīng)網(wǎng)絡在算法上具有復雜性和多樣性的特點。另一方面，由于網(wǎng)絡中存在著遞歸信號，網(wǎng)絡的狀態(tài)隨時間的變化而不斷地變化，從而使網(wǎng)絡輸出狀態(tài)的運動軌跡必然存在著穩(wěn)定性的問題。因此，不同于前向網(wǎng)絡的應用，對于遞歸網(wǎng)絡的設計與應用，必須對其進行網(wǎng)絡穩(wěn)定性的分析，只有這樣才能保證Elman神經(jīng)網(wǎng)絡的正常使用。16下面采用李雅普諾夫（Lyapunov）穩(wěn)定性理論來來分析Elman神經(jīng)網(wǎng)絡的穩(wěn)定性。采用全局誤差函數(shù)的定義式（11-6）作為李氏函數(shù)，將式（11-6）代入式（11-5）可得到要保證Elman神經(jīng)網(wǎng)絡系統(tǒng)的穩(wěn)定性，則必須滿足即當網(wǎng)絡的權(quán)值發(fā)生較小的變化時，對進行泰勒（Tayor）展開為17將式（11-16)代入式（11-15)得到在權(quán)值變化較小的情況下，式（11-17)可近似為再將式（11-18)代人式（11-17)可得18同時，可由式（11-15)得令19則學習率的取值范圍為學習率在神經(jīng)網(wǎng)絡中一般用來控制網(wǎng)絡的學習速度，但在此處又與網(wǎng)絡的穩(wěn)定性有關。如果網(wǎng)絡的學習率滿足式（11-22）的取值范圍，則可以保證Elman神經(jīng)網(wǎng)絡的穩(wěn)定性，否則將導致系統(tǒng)不能正常工作。在網(wǎng)絡訓練的過程中，通常選取為最佳學習率。2011.4應用案例案例一表11-1為某學校連續(xù)九天上午10點到12點的用水量數(shù)據(jù)，數(shù)據(jù)已經(jīng)做了歸一化處理?，F(xiàn)在構(gòu)建一個Elman神經(jīng)網(wǎng)絡，利用前八天的數(shù)據(jù)作為網(wǎng)絡的訓練數(shù)據(jù)，每三天的用水量數(shù)據(jù)作為輸人向量，第四天的用水量數(shù)據(jù)作為目標向量，將新得到的五組數(shù)據(jù)作為訓練樣本。將第九天的用水量數(shù)據(jù)作為該網(wǎng)絡的測試樣本，驗證Elman神經(jīng)網(wǎng)絡是否能有效預測出當前的用水量數(shù)據(jù)。2122解(1)創(chuàng)建、訓練、儲存神經(jīng)網(wǎng)絡。23(2)網(wǎng)絡仿真。(3)結(jié)果輸出。均方誤差結(jié)果為

MSE=

2.1523e-04運行程序，網(wǎng)絡訓練過程和訓練誤差曲線如圖11-3和圖11-4所示。24圖11-3網(wǎng)絡訓練過程圖11-4預測誤差曲線圖由圖11-4可看出，網(wǎng)絡的預測誤差較小，預測效果良好，有興趣的讀者可以試著改變網(wǎng)絡隱含層神經(jīng)元的個數(shù)，使網(wǎng)絡的預測性能達到最好。25案例二Elman神經(jīng)網(wǎng)絡可以用來識別空間和時間信號，振幅檢測就是應用Elman神經(jīng)網(wǎng)絡對時域信號進行檢測和分類的典型例子。振幅檢測需要在神經(jīng)網(wǎng)絡輸入端輸入一個具有特定振幅的波形，然后由網(wǎng)絡檢測并提取波形的振幅特征后輸出。設計一個Elman神經(jīng)網(wǎng)絡，完成對輸入的振幅變化的時變信號進行振幅檢測與模式分類。26解(1)創(chuàng)建、訓練、儲存神經(jīng)網(wǎng)絡。27(2)網(wǎng)絡仿真。(3)結(jié)果輸出。運行程序，誤差性能曲線如圖11-5所示。

圖11-5誤差性能曲線圖28網(wǎng)絡訓練過程和訓練誤差曲線如圖11-6和圖11-7所示。

圖11-6網(wǎng)絡訓練過程 圖11-7訓練誤差曲線圖11-7中，虛線代表期望輸出，實線代表實際輸出?？梢钥闯鯡lman神經(jīng)網(wǎng)絡對輸入信號振幅的檢測效果是比較好的，如果增加反饋層中神經(jīng)元的個數(shù)，Elman神經(jīng)網(wǎng)絡的性能會進一步的提高。

291.Elman神經(jīng)網(wǎng)絡中反饋層的主要作用是什么?2.Elman神經(jīng)網(wǎng)絡與BP神經(jīng)網(wǎng)絡有什么異同?3.簡述Elman神經(jīng)網(wǎng)絡的訓練步驟。4.為什么Elman神經(jīng)網(wǎng)絡需要進行穩(wěn)定性分析?5.設計一個Elman神經(jīng)網(wǎng)絡實現(xiàn)對給出數(shù)據(jù)的預測。其中，輸入數(shù)據(jù)為P=[3.63.13.33.33.2;9.810.3910.210.1;3.45

3.553.513.43.55;2.32.252.12.152.14;140