ENS 回聲狀態(tài)網(wǎng)絡(luò).ppt

1、回聲狀態(tài)網(wǎng)絡(luò)Echo State Network,第八組,第一章：緒論,人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng) 。 人工神經(jīng)網(wǎng)絡(luò)按照性能分為兩類(lèi)： （1）靜態(tài)神經(jīng)網(wǎng)絡(luò) Static Neural Network （2）動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò) Recurrent Neural Network 其中，動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)又稱(chēng)為遞歸神經(jīng)網(wǎng)絡(luò),（1）靜態(tài)神經(jīng)網(wǎng)絡(luò),靜態(tài)神經(jīng)網(wǎng)絡(luò)由靜態(tài)神經(jīng)元組成 ，如下圖：,其中，x1，x2，xn為神經(jīng)元輸入，1，2， n 為相應(yīng)的權(quán)值，i表示神經(jīng)元的閩值，()是神經(jīng)元的響應(yīng)函數(shù) 。,（1）靜態(tài)神經(jīng)網(wǎng)絡(luò),上述靜

2、態(tài)神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)關(guān)系式滿足：,常規(guī)的前向神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)、Chbeyshve神經(jīng)網(wǎng)絡(luò)等都屬于靜態(tài)神經(jīng)網(wǎng)絡(luò)。,（2）動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò),動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)，又稱(chēng)遞歸神經(jīng)網(wǎng)絡(luò)，由動(dòng)態(tài)神經(jīng)元組成，是針對(duì)動(dòng)態(tài)系統(tǒng)辨識(shí)研究中發(fā)展出來(lái)的一種神經(jīng)網(wǎng)絡(luò)。 結(jié)構(gòu)如圖所示：,（2）動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò),輸入輸出關(guān)系滿足：,Hopfied網(wǎng)絡(luò)、Elman網(wǎng)絡(luò)、狀態(tài)空間網(wǎng)絡(luò)是應(yīng)用較為廣泛的動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)內(nèi)部存在帶延遲因子的反饋連接，可以更好的反映動(dòng)態(tài)系統(tǒng)的特性和演化行為。 其中，回聲狀態(tài)網(wǎng)絡(luò)（Echo state network ESN）是一種新型的遞歸神經(jīng)網(wǎng)絡(luò)，回聲狀態(tài)網(wǎng)絡(luò)在非線性系統(tǒng)辨識(shí)方面較傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)由較大的改

3、進(jìn)。,（3）小結(jié)：兩種網(wǎng)絡(luò)對(duì)比,靜態(tài)網(wǎng)絡(luò)數(shù)學(xué)表達(dá)式： 動(dòng)態(tài)網(wǎng)絡(luò)數(shù)學(xué)表達(dá)式：,對(duì)比表達(dá)式，我們可以看出：動(dòng)態(tài)網(wǎng)絡(luò)內(nèi)部存在帶延遲因子的反饋連接，可以更好的反映動(dòng)態(tài)系統(tǒng)的特性和演化行為 。而靜態(tài)網(wǎng)絡(luò)沒(méi)有這種能力。,第二章：回聲狀態(tài)網(wǎng)絡(luò),回聲狀態(tài)狀態(tài)網(wǎng)絡(luò)作為一種新型的遞歸神經(jīng)網(wǎng)絡(luò)，無(wú)論是建模還是學(xué)習(xí)算法，都已經(jīng)與傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)差別很大。 ESN網(wǎng)絡(luò)特點(diǎn)： （1） 它的核心結(jié)構(gòu)是一個(gè)隨機(jī)生成、且保持不 變的儲(chǔ)備池（Reservoir） （2）其輸出權(quán)值是唯一需要調(diào)整的部分 （3）簡(jiǎn)單的線性回歸就可完成網(wǎng)絡(luò)的訓(xùn)練,（1）ESN 直觀印象,（2）ESN的結(jié)構(gòu)和運(yùn)行機(jī)理,ESN網(wǎng)絡(luò)的核心結(jié)構(gòu)是一個(gè)“儲(chǔ)備池

4、”。所謂的儲(chǔ)備池就是隨機(jī)生成的、大規(guī)模的、稀疏連接（SD通常保持1%5%連接 ）的遞歸結(jié)構(gòu)。 注：SD是儲(chǔ)備池中相互連接的神經(jīng)元占總的神經(jīng)元N的百分比,（2）ESN的結(jié)構(gòu)和運(yùn)行機(jī)理,從結(jié)構(gòu)上講，ESN是一種特殊類(lèi)型的遞歸神經(jīng)網(wǎng)絡(luò)，其基本思想:使用大規(guī)模隨機(jī)連接的遞歸網(wǎng)絡(luò)，取代經(jīng)典神經(jīng)網(wǎng)絡(luò)中的中間層，從而簡(jiǎn)化網(wǎng)絡(luò)的訓(xùn)練過(guò)程。 基于圖2.1的結(jié)構(gòu)，我們假設(shè)系統(tǒng)具有M個(gè)輸入單元，N個(gè)內(nèi)部處理單元（Processing Elements，PE），即N個(gè)內(nèi)部神經(jīng)元，同時(shí)具有L個(gè)輸出單元。,（2）ESN的結(jié)構(gòu)和運(yùn)行機(jī)理,那么輸入單元u（n）內(nèi)部狀態(tài)x（n）以及輸出單元y（n）在n時(shí)刻值分別為：,（2）ES

5、N的結(jié)構(gòu)和運(yùn)行機(jī)理,則回聲狀態(tài)網(wǎng)絡(luò)狀態(tài)方程為：,（2）ESN的結(jié)構(gòu)和運(yùn)行機(jī)理,（3）ESN的儲(chǔ)備池,雖然有大量的研究是關(guān)于如何獲得與具體問(wèn)題相關(guān)的“好”的儲(chǔ)備池，但是并沒(méi)有形成一個(gè)系統(tǒng)的方法，多數(shù)研究是從實(shí)驗(yàn)的角度進(jìn)行的。這也是目前ESN方法遇到的最大的挑戰(zhàn)。 ESN的最終性能是由儲(chǔ)備池的各個(gè)參數(shù)決定的，下面首先簡(jiǎn)要介紹儲(chǔ)備池的四個(gè)關(guān)鍵參數(shù)。,（3）ESN的儲(chǔ)備池重要參數(shù)簡(jiǎn)介,（3.1）儲(chǔ)備池內(nèi)部連接權(quán)譜半徑SR （3.2）儲(chǔ)備池規(guī)模N （3.3）儲(chǔ)備池輸入單元尺度IS （3.4）儲(chǔ)備池稀疏程度SD,（3.1）儲(chǔ)備池重要參數(shù)SD和N,（3.2）儲(chǔ)備池重要參數(shù)SR,（3.2）儲(chǔ)備池重要參數(shù)SR,

6、我們確保上式子成立的目的：確保網(wǎng)絡(luò)穩(wěn)定。 因?yàn)橹挥猩鲜阶映闪?，才能確保網(wǎng)絡(luò)狀態(tài)和輸入對(duì)網(wǎng)絡(luò)的影響在經(jīng)過(guò)足夠長(zhǎng)的時(shí)間后會(huì)消失。,（3.3）儲(chǔ)備池重要參數(shù)IS,（3.3）儲(chǔ)備池重要參數(shù)IS,關(guān)于IS的規(guī)則： 如果需要處理的任務(wù)的非線性越強(qiáng)，那么輸人單元尺度越大。 該原則的本質(zhì)是通過(guò)輸入單元尺度IS，將輸入變換到神經(jīng)元激活函數(shù)funtion相應(yīng)的范圍。 注：神經(jīng)元激活函數(shù)的不同輸入范圍，其非線性程度不同。,（4）ESN的儲(chǔ)備池的建立,（4）ESN的儲(chǔ)備池的建立,（5）ESN網(wǎng)絡(luò)的訓(xùn)練,ESN的訓(xùn)練過(guò)程就是根據(jù)給定的訓(xùn)練樣本確定系數(shù)輸出連接權(quán)矩陣Wout的過(guò)程。 為了簡(jiǎn)單起見(jiàn)，這里假定Wback為0，

7、同時(shí)輸入到輸出以及輸出到輸出連接權(quán)也假定為0，回聲狀態(tài)網(wǎng)絡(luò)的訓(xùn)練過(guò)程可以分為兩個(gè)階段：采樣階段和權(quán)值計(jì)算階段。,（5）ESN網(wǎng)絡(luò)的訓(xùn)練,采樣階段,（5）ESN網(wǎng)絡(luò)的訓(xùn)練,權(quán)值計(jì)算階段,（5）ESN網(wǎng)絡(luò)的訓(xùn)練,權(quán)值計(jì)算階段,第三章 回聲狀態(tài)網(wǎng)絡(luò)的應(yīng)用,回聲狀態(tài)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域： 時(shí)序預(yù)測(cè)（time series prediction） 逆模式（inverse modeling） 時(shí)序分類(lèi)（on time clasification） 非線性控制（nonliner control） 圖像處理（Image Processing ） 本章中我們著重介紹回聲狀態(tài)網(wǎng)絡(luò)在圖像邊 緣檢測(cè)中的應(yīng)用。,基于ESN

8、和統(tǒng)計(jì)向量的邊緣檢測(cè),實(shí)驗(yàn)過(guò)程：,基于ESN和統(tǒng)計(jì)向量的邊緣檢測(cè),基于ESN和統(tǒng)計(jì)向量的邊緣檢測(cè),基于ESN和統(tǒng)計(jì)向量的邊緣檢測(cè),實(shí)驗(yàn)結(jié)果,基于ESN和統(tǒng)計(jì)向量的邊緣檢測(cè),基于ESN和統(tǒng)計(jì)向量的邊緣檢測(cè),基于ESN和統(tǒng)計(jì)向量的邊緣檢測(cè),本實(shí)驗(yàn)結(jié)論： 本章介紹了一種新的回聲狀態(tài)網(wǎng)絡(luò)及其學(xué)習(xí)方法，構(gòu)造了描述邊緣點(diǎn)的特征向量并將其作為神經(jīng)網(wǎng)絡(luò)的輸入，然后對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，回聲狀態(tài)網(wǎng)絡(luò)的收斂速度明顯優(yōu)于BP神經(jīng)網(wǎng)絡(luò)。將訓(xùn)練好的網(wǎng)絡(luò)直接用于圖像邊緣檢測(cè)。該方法無(wú)需確定閾值，在特征的選取上充分考慮了邊緣和噪聲的本質(zhì)區(qū)別，具有優(yōu)異的抗噪性能。,第四章 ESO的推廣和優(yōu)化,從上面的介紹，我們可以看出，ESN

9、有很大規(guī)模的內(nèi)部神經(jīng)元。這使得： （1）ESN有良好的短期記憶能力，在混沌時(shí)間序列的預(yù)測(cè)任務(wù)中比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)優(yōu)良700倍。 （2）大規(guī)模的內(nèi)部神經(jīng)元也導(dǎo)致整個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本非常多，使得訓(xùn)練困難，預(yù)測(cè)階段因?yàn)榫W(wǎng)絡(luò)巨大而引入不確定因素。,4.1 PSO算法,PSO（particle swarm optimization），是一種新興的隨機(jī)全局優(yōu)化技術(shù)，它在ANN的訓(xùn)練中效果理想。 本章中，我們將PSO算法和ESN相結(jié)合，提出了PSO-ESN結(jié)構(gòu)，在此結(jié)構(gòu)中，將傳統(tǒng)的ESN中通過(guò)求逆訓(xùn)練輸出權(quán)重的方法替代為：利用PSO算法優(yōu)化輸出網(wǎng)絡(luò)權(quán)值。 實(shí)驗(yàn)證明：PSO-ESN能在訓(xùn)練樣本比較少的情況下提

10、高預(yù)測(cè)精度。,4.2 PSO算法簡(jiǎn)介,4.2 PSO算法簡(jiǎn)介,4.2 PSO算法具體描述,4.2 PSO算法流程,給定訓(xùn)練數(shù)據(jù)集，并作規(guī)范化處理，初始化ESN，獲得狀態(tài)矩陣B和教師信號(hào)T； 根據(jù)輸出權(quán)重Wout，初始化粒子的個(gè)數(shù)和位置 ； 根據(jù)粒子位置x和B、T，由BWout求出實(shí)際輸出層數(shù)據(jù)，并與T比較求出誤差函數(shù)；,4.2 PSO算法流程,根據(jù)誤差函數(shù)，評(píng)價(jià)每個(gè)粒子的使適應(yīng)度；根據(jù)式子（5）和（6），更新每個(gè)粒子的位置x和飛行速度V。檢驗(yàn)速度是否越界，若是，調(diào)整速度為算法規(guī)定的最大值； 達(dá)到最大次數(shù)或誤差達(dá)到設(shè)定值時(shí)候，學(xué)習(xí)過(guò)程結(jié)束，否則返回繼續(xù)迭代。,4.3 小結(jié),本章提出了一種基于PSO的回聲狀態(tài)網(wǎng)訓(xùn)練方法，與傳統(tǒng)方