




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
1、初始化 V、W、Emin,、q=1,p=1,E=0輸入樣本,計算各層輸出:m21jfyTjj,.,),(XVl21kfoTjk,.,),(YW計算誤差: P1pl1k2kkod21E)(計算各層誤差信號:l21koo1odkkkk,.,)(okm21jyy1wjjl1kjkokyj,.,)(調(diào)整各層權(quán)值:m10jl21kjyokjkwjkw,.,.,n10 xm21jxvviyjijij,.,., Y p 增 1,q 增 1 pP? N N E=0,p=1 EEmin Y 結(jié)束3.4.3 BP算法的程序?qū)崿F(xiàn)算法的程序?qū)崿F(xiàn)(1)初始化;初始化; P1ppP1RMEEE(4)計算各層誤差信號;計算
2、各層誤差信號; (5)調(diào)整各層權(quán)值;調(diào)整各層權(quán)值; (6)檢查能否對一切樣本完成一次檢查能否對一切樣本完成一次 輪訓(xùn);輪訓(xùn); (7)檢查網(wǎng)絡(luò)總誤差能否到達精檢查網(wǎng)絡(luò)總誤差能否到達精 度要求。度要求。 (2)輸入訓(xùn)練樣本對輸入訓(xùn)練樣本對X Xp、d dp計算各層輸出;計算各層輸出;(3)計算網(wǎng)絡(luò)輸出誤差;計算網(wǎng)絡(luò)輸出誤差;3.4.3 BP算法的程序?qū)崿F(xiàn)算法的程序?qū)崿F(xiàn)初始化 V、W計數(shù)器 q=1,p=1輸入第一對樣本計算各層輸出計算誤差:P1pl1k2kkod21E)( Y p 增 1 pP? N用 E 計算各層誤差信號 調(diào)整各層權(quán)值 q 增 1 N ErmsEmin E=0,p=1 Y 結(jié)束然后
3、根據(jù)總誤差計算各層的誤差然后根據(jù)總誤差計算各層的誤差信號并調(diào)整權(quán)值。信號并調(diào)整權(quán)值。P1pl1k2pkpkod21E)(總 另一種方法是在一切樣本輸入之后,計算網(wǎng)絡(luò)的總誤差:3.4.4 多層前饋網(wǎng)多層前饋網(wǎng)(感知器感知器)的主要才干的主要才干(1)非線性映射才干非線性映射才干 多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出方式映射關(guān)系,而無需事先了解描畫這種映射關(guān)系的數(shù)學(xué)方程。只需能提供足夠多的樣本方式對供BP網(wǎng)絡(luò)進展學(xué)習(xí)訓(xùn)練,它便能完成由n維輸入空間到m維輸出空間的非線性映射。3.4.4 多層前饋網(wǎng)多層前饋網(wǎng)(感知器感知器)的主要才干的主要才干(2)泛化才干泛化才干 當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本
4、數(shù)據(jù)時,網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種才干稱為多層前饋網(wǎng)的泛化才干。(3)容錯才干容錯才干 輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。絡(luò)的輸入輸出規(guī)律影響很小。3.4.5誤差曲面與誤差曲面與BP算法的局限性算法的局限性 誤差函數(shù)的可調(diào)整參誤差函數(shù)的可調(diào)整參數(shù)的個數(shù)數(shù)的個數(shù) nw 等于各層權(quán)等于各層權(quán)值數(shù)加上閾值數(shù),即:值數(shù)加上閾值數(shù),即:) 1() 1(mlnmnw 誤差誤差 E 是是 nw+1 維空間中一維空間中一個外形極為復(fù)雜的曲面,該曲個外形極為復(fù)雜的曲面,該曲面上的每個點的面上的每個點的“高度對應(yīng)于高度對
5、應(yīng)于一個誤差值,每個點的坐標(biāo)向一個誤差值,每個點的坐標(biāo)向量對應(yīng)著量對應(yīng)著 nw 個權(quán)值,因此稱這個權(quán)值,因此稱這樣的空間為誤差的權(quán)空間。樣的空間為誤差的權(quán)空間。3.4.5誤差曲面與誤差曲面與BP算法的局限性算法的局限性誤差曲面的分布有兩個特點:誤差曲面的分布有兩個特點:特點之一:存在平坦區(qū)域特點之一:存在平坦區(qū)域 jokikywE)1 ()(kkkkokoood f (x) 1.0 0.5x030mjjjkyw3.4.5誤差曲面與誤差曲面與BP算法的局限性算法的局限性特點之二:存在多個極小點特點之二:存在多個極小點 多數(shù)極小點都是部分極小,多數(shù)極小點都是部分極小,即使是全局極小往往也不是獨即使
6、是全局極小往往也不是獨一的,但其特點都是誤差梯度一的,但其特點都是誤差梯度為零。為零。 誤差曲面的平坦區(qū)域會使訓(xùn)練次數(shù)大大添加,從而影響了收斂速度;而誤差曲面的多極小點會使訓(xùn)練墮入部分極小,從而使訓(xùn)練無法收斂于給定誤差。3.5規(guī)范規(guī)范BP算法的改良算法的改良規(guī)范的規(guī)范的BP算法在運用中暴顯露不少內(nèi)在的缺陷:算法在運用中暴顯露不少內(nèi)在的缺陷: 易構(gòu)成部分極小而得不到全局最優(yōu);易構(gòu)成部分極小而得不到全局最優(yōu); 訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低,收斂速度慢;訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低,收斂速度慢; 隱節(jié)點的選取缺乏實際指點;隱節(jié)點的選取缺乏實際指點; 訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。訓(xùn)練時學(xué)習(xí)新樣本有遺忘
7、舊樣本的趨勢。 針對上述問題,國內(nèi)外已提出不少有效的改良算法,針對上述問題,國內(nèi)外已提出不少有效的改良算法,下面僅引見其中下面僅引見其中3種較常用的方法。種較常用的方法。3.5規(guī)范規(guī)范BP算法的改良算法的改良1 添加動量項添加動量項)1()(ttWXW為動量系數(shù),普通有為動量系數(shù),普通有(0(0,1)1)2 自順應(yīng)調(diào)理學(xué)習(xí)率自順應(yīng)調(diào)理學(xué)習(xí)率 設(shè)一初始學(xué)習(xí)率,假設(shè)經(jīng)過一批次權(quán)值調(diào)整后使總誤差,那么本次調(diào)整無效,且=(1 )。3.5規(guī)范規(guī)范BP算法的改良算法的改良3 引入陡度因子引入陡度因子 實現(xiàn)這一思緒的實現(xiàn)這一思緒的詳細作法是,在原轉(zhuǎn)詳細作法是,在原轉(zhuǎn)移函數(shù)中引入一個陡移函數(shù)中引入一個陡度因子
8、度因子/11neteo o 1 =1 1 21 net 03.6 BP網(wǎng)絡(luò)設(shè)計根底網(wǎng)絡(luò)設(shè)計根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備1.輸入輸出量的選擇輸入輸出量的選擇 輸出量代表系統(tǒng)要實現(xiàn)的功能目的,例如系統(tǒng)的性能目的,分類問題的類別歸屬,或非線性函數(shù)的函數(shù)值等等。 輸入量必需選擇那些對輸出影響大且可以檢測或提取的變量,此外還要求各輸入變量之間互不相關(guān)或相關(guān)性很小,這是輸入量選擇的兩條根本原那么。3.6 BP網(wǎng)絡(luò)設(shè)計根底網(wǎng)絡(luò)設(shè)計根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備1.輸入輸出量的選擇輸入輸出量的選擇從輸入、輸出量的性質(zhì)來看,可分為兩類:一類是數(shù)從輸入、輸出量的性質(zhì)來看,可分為兩
9、類:一類是數(shù)值變量,一類是言語變量。值變量,一類是言語變量。數(shù)值變量的值是數(shù)值確定的延續(xù)量或離散量。數(shù)值變量的值是數(shù)值確定的延續(xù)量或離散量。言語變量是用自然言語表示的概念,其言語變量是用自然言語表示的概念,其“言語值是言語值是用自然言語表示的事物的各種屬性。中選用言語變量用自然言語表示的事物的各種屬性。中選用言語變量作為網(wǎng)絡(luò)的輸入或輸出變量時,需將其言語值轉(zhuǎn)換為作為網(wǎng)絡(luò)的輸入或輸出變量時,需將其言語值轉(zhuǎn)換為離散的數(shù)值量。離散的數(shù)值量。3.6 BP網(wǎng)絡(luò)設(shè)計根底網(wǎng)絡(luò)設(shè)計根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備2. 輸入量的提取與表示輸入量的提取與表示(1)文字符號輸入文字符號輸入XC=(11
10、1100111)T XI=(111100111)T XT=(111100111)T3.6 BP網(wǎng)絡(luò)設(shè)計根底網(wǎng)絡(luò)設(shè)計根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備2. 輸入量的提取與表示輸入量的提取與表示(2)曲曲線線輸輸入入x(t) xn x1 t 0 1 2 3 4 5 nTpnpipppxxxxX),.,.,(21p=1,2,P3.6 BP網(wǎng)絡(luò)設(shè)計根底網(wǎng)絡(luò)設(shè)計根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備2. 輸入量的提取與表示輸入量的提取與表示(3)函數(shù)自變量輸入函數(shù)自變量輸入 普通有幾個輸入量就設(shè)幾個分量,普通有幾個輸入量就設(shè)幾個分量,1個輸入分量對個輸入分量對應(yīng)應(yīng)1個輸入層節(jié)點。個輸
11、入層節(jié)點。(4)圖象輸入圖象輸入 在這類運用中,普通先根據(jù)識別的詳細目的從圖象中提取一些有用的特征參數(shù),再根據(jù)這些參數(shù)對輸入的奉獻進展挑選,這種特征提取屬于圖象處置的范疇。(1)“n中取中取1表示法表示法 “n中取中取1是令輸出向量的分量數(shù)等于類別數(shù),輸是令輸出向量的分量數(shù)等于類別數(shù),輸入樣本被判為哪一類,對應(yīng)的輸出分量取入樣本被判為哪一類,對應(yīng)的輸出分量取1,其他,其他 n-1 個分量全取個分量全取0。例如,用。例如,用0001、0010、0100和和1000可分可分別表示優(yōu)、良、中、差別表示優(yōu)、良、中、差4個類別。個類別。(2)“n-1表示法表示法 假設(shè)用n-1個全為0的輸出向量表示某個類
12、別,那么可以節(jié)省一個輸出節(jié)點。例如,用000、001、010和100也可表示優(yōu)、良、中、差4個類別。3.6 BP網(wǎng)絡(luò)設(shè)計根底網(wǎng)絡(luò)設(shè)計根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備3. 輸出量的表示輸出量的表示(3)數(shù)值表示法數(shù)值表示法 對于漸進式的分類,可以將言語值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要留意堅持由小到大的漸進關(guān)系,并要根據(jù)實踐意義拉開間隔。3.6 BP網(wǎng)絡(luò)設(shè)計根底網(wǎng)絡(luò)設(shè)計根底二、輸入輸出數(shù)據(jù)的歸一化二、輸入輸出數(shù)據(jù)的歸一化 歸一化也稱為或規(guī)范化,是指經(jīng)過變換處置將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在0,1或-1,1區(qū)間內(nèi)。 進展歸一化的主要緣由:網(wǎng)絡(luò)的各個輸入數(shù)據(jù)經(jīng)常具有不同的物理意義和
13、不同的量綱,歸一化給各輸入分量以同等重要的位置;BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù),變換后可防止因凈輸入的絕對值過大而使神經(jīng)元輸出飽和,繼而使權(quán)值調(diào)整進入誤差曲面的平坦區(qū);Sigmoid轉(zhuǎn)移函數(shù)的輸出在01或-11之間。教師信號如不進展歸一化處置,勢必使數(shù)值大的輸出分量絕對誤差大,數(shù)值小的輸出分量絕對誤差小。3.6 BP網(wǎng)絡(luò)設(shè)計根底網(wǎng)絡(luò)設(shè)計根底二、輸入輸出數(shù)據(jù)的歸一化二、輸入輸出數(shù)據(jù)的歸一化將輸入輸出數(shù)據(jù)變換為將輸入輸出數(shù)據(jù)變換為0,1區(qū)間的值常用以下變換式區(qū)間的值常用以下變換式minmaxminxxxxxii其中,xI代表輸入或輸出數(shù)據(jù),xmin代表數(shù)據(jù)變化的最小值,xman代表數(shù)據(jù)的最大值。將輸入輸出數(shù)據(jù)變換為將輸入輸出數(shù)據(jù)變換為-1,1區(qū)間的值常用以下變換式區(qū)間的值常用以下變換式2minmaxxxxmid)(minmax21xxxxxmidii其中,xmid代表數(shù)據(jù)變化范圍的中間值。3.6 BP網(wǎng)絡(luò)設(shè)計根底網(wǎng)絡(luò)設(shè)計根底三、網(wǎng)絡(luò)訓(xùn)練與測試三、網(wǎng)絡(luò)訓(xùn)練與測試 網(wǎng)絡(luò)的性能好壞
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 公司物流競賽活動方案
- 2025年文化產(chǎn)業(yè)管理專業(yè)研究生入學(xué)考試試卷及答案
- 2025年健康促進師職業(yè)資格考試試卷及答案
- 2025年家庭教育與青少年發(fā)展考試卷及答案
- 2025年教師資格考試試卷及答案學(xué)習(xí)要點明確
- 與健康同行與心靈相約戶外活動
- 訓(xùn)戰(zhàn)培訓(xùn)總結(jié)
- 護理人員心理支持
- 兩個小時的培訓(xùn)
- 造口病人并發(fā)癥的護理
- 急性髓系白血病診斷治療規(guī)范經(jīng)典實用課件
- 學(xué)院財務(wù)處查閱檔案申請表
- 鑄鐵閘門及啟閉機安裝說明及操作手冊
- 過敏性休克的急救及處理流程教材課件(28張)
- 物理發(fā)泡絕緣的生產(chǎn)與應(yīng)用課件
- 北交所評測20題及答案
- 《消防安全技術(shù)實務(wù)》課本完整版
- CLSI EP25-A 穩(wěn)定性考察研究
- SJG 44-2018 深圳市公共建筑節(jié)能設(shè)計規(guī)范-高清現(xiàn)行
- 職工子女暑期工會愛心托管班的方案通知
- (5年高職)客戶服務(wù)實務(wù)(第二版)教學(xué)課件全套電子教案匯總整本書課件最全教學(xué)教程完整版教案(最新)
評論
0/150
提交評論