bp網(wǎng)絡訓練1.ppt_第1頁
bp網(wǎng)絡訓練1.ppt_第2頁
bp網(wǎng)絡訓練1.ppt_第3頁
bp網(wǎng)絡訓練1.ppt_第4頁
bp網(wǎng)絡訓練1.ppt_第5頁
已閱讀5頁,還剩36頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、基本BP網(wǎng)絡的拓撲、BP網(wǎng)絡、基本BP網(wǎng)絡的拓撲、BP網(wǎng)絡、基本BP算法、neti=x1w1i x2w2i xnwni、在實際應用中,80%的人工神經(jīng)網(wǎng)絡模型是使用錯誤反轉(zhuǎn)算法或其變化的網(wǎng)絡模型(BP網(wǎng)絡)、BP網(wǎng)絡培訓過程(BP 確定輸入輸出變量x3,y3,數(shù)據(jù)挖掘問題,如掃雷儀,掃雷儀控制,確定輸出變量:確定輸入變量:掃雷儀位置(x1,y1),確定權(quán)重,隨機值類型鄭智薰隨機值類型,確定權(quán)重,權(quán)重,缺點:在一定范圍內(nèi)緩慢地改變網(wǎng)絡輸出,減慢網(wǎng)絡的訓練速度;其次,基于非隨機值型、權(quán)重的確定、樣本特征提取遺傳和免疫均勻設計、記憶式、野型等算法。BP網(wǎng)絡建模功能:非線性映射功能:神經(jīng)網(wǎng)絡可以以任意

2、精度接近非線性連續(xù)函數(shù)。建模過程中出現(xiàn)的很多問題都具有高度的非線性。并行分布式處理方法:在神經(jīng)網(wǎng)絡中,信息通過分布式存儲和并行處理提供容錯性和快速處理速度。自我學習和適應能力:神經(jīng)網(wǎng)絡在訓練過程中從輸入和輸出數(shù)據(jù)中提取規(guī)律的知識,記住網(wǎng)絡的權(quán)重,具有泛化能力。也就是說,將一組牙齒權(quán)重應用于正常情況的能力。神經(jīng)網(wǎng)絡學習也可以在線進行。數(shù)據(jù)融合能力:神經(jīng)網(wǎng)絡可以同時處理定量和定性信息,因此可以利用現(xiàn)有的工程技術(shù)(數(shù)值計算)和人工智能技術(shù)(符號處理)。多變量系統(tǒng):神經(jīng)網(wǎng)絡的輸入和輸出變量數(shù)是任意的,不考慮子系統(tǒng)之間的解耦問題,提供了單變量系統(tǒng)和多變量系統(tǒng)的一般描述方法。1 .使用樣本數(shù)據(jù)1.1組收集

3、和整理BP神經(jīng)網(wǎng)絡方法建模的第一個和先決條件是足夠典型和高精度的樣本。此外,為了監(jiān)控訓練(學習)過程,為了評估設置為不發(fā)生“過度配合”牙齒的網(wǎng)絡模型的性能和泛化能力,收集的數(shù)據(jù)必須隨機分為訓練樣本、檢查樣本(大于10%)和測試樣本(大于10%)三部分。群組資料時,還必須考慮可能的范例樣式之間的平衡。2輸入/輸出變量確定和數(shù)據(jù)字典處理通常BP網(wǎng)絡的輸入變量是要分析的系統(tǒng)內(nèi)生變量(影響系數(shù)或收購)的數(shù)量,通常根據(jù)專業(yè)知識確定。輸入變量多通常可以通過主成分分析方法減少輸入變量,根據(jù)刪除變量導致的系統(tǒng)錯誤與原始系統(tǒng)錯誤比率的大小減少輸入變量。輸出變量是系統(tǒng)分析的外生變量(系統(tǒng)性能指標或因果變量),可以

4、是一個或多個。通常,將具有多個輸出的網(wǎng)絡模型轉(zhuǎn)換為具有一個輸出的多個網(wǎng)絡模型更好,培訓更方便。BP神經(jīng)網(wǎng)絡的銀層通常使用Sigmoid轉(zhuǎn)換函數(shù),因此,為了提高教育速度和敏感性,有效避免Sigmoid函數(shù)的飽和區(qū)域,輸入數(shù)據(jù)值通常應在01之間。因此,必須字典處理輸入數(shù)據(jù)。一般來說,您應該徐璐單獨字典處理其他變量,或統(tǒng)一字典處理相似性質(zhì)的變量。如果輸出層節(jié)點也使用Sigmoid轉(zhuǎn)換函數(shù),則還必須相應地字典處理輸出變量。否則,輸出變量也可能不會字典處理。神經(jīng)網(wǎng)絡拓撲的決定1銀層數(shù)一般認為增加銀層數(shù)可以減少網(wǎng)絡誤差,提高準確度,但傾向于使網(wǎng)絡復雜化,增加網(wǎng)絡的訓練時間和“過度配合”。Hornik等已經(jīng)

5、證明,如果輸入層和輸出層使用線性變換函數(shù),隱藏層使用Sigmoid變換函數(shù),則具有隱藏層的MLP網(wǎng)絡可以以任意精度訪問所有合理的函數(shù)。通常,增加隱藏層節(jié)點的數(shù)量以減少錯誤。與增加隱藏層的數(shù)量相比,更容易獲得教育效果。對于沒有隱藏層的神經(jīng)網(wǎng)絡模型,實際上是線性或非線性(取決于輸出層的線性或非線性變換函數(shù)樣式)回歸模型。因此,通常沒有隱藏層的網(wǎng)絡模型應包括在回歸分析中。2選擇隱藏層節(jié)點數(shù)、BP網(wǎng)絡中隱藏層節(jié)點數(shù)非常重要。這不僅對建立的神經(jīng)網(wǎng)絡模型的性能有很大影響,而且是訓練中牙齒出現(xiàn)“過度配合”的直接原因,但目前理論上還沒有科學的、普遍的決定方法。事實上,通過各種計算公式得到的銀層節(jié)點的數(shù)量有時會

6、相差幾倍甚至幾百倍。為了盡量避免訓練時出現(xiàn)“過度配合”現(xiàn)象,確保足夠的網(wǎng)絡性能和泛化能力,確定銀層節(jié)點數(shù)的最基本原則是采取盡可能緊密的結(jié)構(gòu)來滿足精度要求。也就是說,采取盡可能少的銀層節(jié)點數(shù)。(約翰f肯尼迪,Northern Exposure(美國電視電視劇),)隱藏的層節(jié)點數(shù)不僅與輸入/輸出層中的節(jié)點數(shù)有關(guān),還與需要解決的問題的復雜性、轉(zhuǎn)換函數(shù)的樣式、樣例數(shù)據(jù)的特性等有關(guān)。確定隱藏的層節(jié)點數(shù)時,必須滿足以下條件:隱藏的層節(jié)點數(shù)必須小于N-1(其中N是培訓樣本數(shù))。否則,網(wǎng)絡模型的系統(tǒng)誤差與教育樣本的特性無關(guān),且牙齒為零。也就是說,設定的網(wǎng)絡模型不一般化,沒有實用價值。同樣,可以推斷。輸入圖層中

7、的節(jié)點數(shù)(變量數(shù))必須小于N-1。(2)訓練樣本數(shù)必須大于網(wǎng)絡模型的連接權(quán)重(通常為210倍)。否則,將樣本分成幾個部分,采用“旋轉(zhuǎn)訓練”方法,才能得到可靠的神經(jīng)網(wǎng)絡模型。隱藏層節(jié)點的數(shù)量太少可能導致網(wǎng)絡完全未經(jīng)培訓或網(wǎng)絡性能下降。銀層節(jié)點數(shù)過多可以減少網(wǎng)絡的系統(tǒng)誤差,但一方面延長網(wǎng)絡教育時間,另一方面訓練容易陷入局部極點,得不到最好的優(yōu)點,這也是訓練中“過度配合”牙齒出現(xiàn)的內(nèi)在原因。約翰f肯尼迪,美國電視電視劇(Northern Exposure,Northern Exposure)因此,合理的隱藏層節(jié)點數(shù)必須綜合考慮網(wǎng)絡結(jié)構(gòu)的復雜性和錯誤大小,并使用刪除和擴展節(jié)點的方法來決定。摘要:3。神

8、經(jīng)網(wǎng)絡的訓練BP網(wǎng)絡的訓練是應用誤差逆轉(zhuǎn)原理,持續(xù)調(diào)整網(wǎng)絡權(quán)重,使網(wǎng)絡模型輸出值和已知訓練樣本輸出值之間的誤差平方和小于最小或特定的期望值。(阿爾伯特愛因斯坦,Northern Exposure(美國電視電視劇,Northern Exposure),理論上已證明,使用Sigmoid轉(zhuǎn)換函數(shù)的隱藏層的BP網(wǎng)絡可以實現(xiàn)任意函數(shù)的隨機近似值。但是遺憾的是,到目前為止還沒有結(jié)構(gòu)性的結(jié)論?,F(xiàn)在要很大程度上依賴經(jīng)驗知識和設計師的經(jīng)驗。因為BP網(wǎng)絡采用了錯誤反向傳遞算法,所以本質(zhì)上是一個不受約束的非線性最優(yōu)化計算過程。如果網(wǎng)絡結(jié)構(gòu)較大,則不僅計算時間長,而且容易限制到局部極值點,因此無法獲得最佳結(jié)果。(Da

9、vid assell、Northern Exposure(美國電視電視劇)、Northern Exposure(美國電視電視劇)目前,BP方法、遺傳算法(GA)和模擬退火算法等多種最優(yōu)化方法都用于BP網(wǎng)絡培訓,但是(原則上,您可以調(diào)整特定參數(shù)以獲得全局極點)這些方法中最廣泛使用的是增加刺激(動量)項的改進BP算法。,4網(wǎng)絡的初始連接權(quán)重,BP算法確定錯誤函數(shù)通常存在的(非常)多個局部極值點,徐璐其他網(wǎng)絡初始權(quán)重直接確定BP算法收斂的局部極值點或全局極值點。因此,計算程序必須能夠自由更改網(wǎng)絡的初始連接權(quán)重。由于Sigmoid變換函數(shù)的性質(zhì),初始權(quán)重分布通常應在-0.50.5之間更有效。5 .網(wǎng)絡

10、模型的性能和泛化能力,訓練神經(jīng)網(wǎng)絡的第一個和根本任務是確認訓練的網(wǎng)絡模型對非訓練樣本是否具有良好的泛化能力(普及性)。也就是說,網(wǎng)絡模型不是看訓練樣本的擬合能力,而是有效地接近樣本中包含的內(nèi)在規(guī)律。因此,僅提供訓練取樣誤差(通常為均方根誤差RSME或均方根誤差、AAE或MAPE等)的大小,而不提供位元旋轉(zhuǎn)取樣誤差的大小是沒有意義的。建立的網(wǎng)絡模型必須以鄭智薰訓練樣本(檢驗樣本和測試樣本)錯誤的大小表示和評估,以分析樣本中包含的規(guī)則的近似(能力),即泛化能力。這是不能將全部樣品分為訓練樣品和鄭智薰訓練樣品的主要原因之一。確定建立的模型是否有效地接近樣本中包含的規(guī)則。最直接、最客觀的指標是從總樣品

11、中隨機抽取的鄭智薰訓練樣品(檢驗樣品和測試樣品)誤差是否小于或略大于訓練樣品中的誤差。非訓練樣本誤差非常接近或小于訓練樣本誤差,可以說,一般設定的網(wǎng)絡模型有效地接近了訓練樣本中包含的規(guī)律。否則(例如,數(shù)倍、數(shù)十倍,甚至數(shù)千倍),這意味著設置的網(wǎng)絡模型不能有效地接近教育樣本中包含的規(guī)律,因為教育樣本的誤差很小,所以從整個樣本中隨機抽取的一些測試樣本的誤差表明了網(wǎng)絡模型計算和預測的準確度(網(wǎng)絡性能),這是合理可靠的。判斷網(wǎng)絡模型廣義能力的好壞主要不在于看測試樣品誤差大小本身,而在于測試樣品的誤差是否接近訓練樣品和檢驗樣品的誤差。6 .合理網(wǎng)絡模型的確定、相同結(jié)構(gòu)的網(wǎng)絡、BP算法的存在(非常)由于多

12、個局部極值點,多次(通常數(shù)十次)改變網(wǎng)絡初始連接權(quán)重,以獲得相應極值點,這樣比較這些極值點的網(wǎng)絡誤差大小,就可以確定全局極值點。神經(jīng)網(wǎng)絡的訓練過程本質(zhì)上是尋找非線性函數(shù)的極小的問題,因此即使網(wǎng)絡誤差相同,在全局極值附近,每個網(wǎng)絡連接權(quán)重也可能有很大的差異,這也可能改變了每個輸入變量的重要性。但是,這相當于有多個零極值點(通常稱為多模式現(xiàn)象)牙齒(例如,教育樣本),并且,如果不滿足銀層節(jié)點數(shù)條件,則可以求出訓練樣本誤差小于零的非常小的點,但是此時檢驗樣本和測試樣本的誤差可能會大得多。更改網(wǎng)絡連接權(quán)限初始值將顯著更改測試樣品和測試樣品的網(wǎng)絡計算結(jié)果。換句話說,是多模式現(xiàn)象。網(wǎng)絡模型的誤差或性能和泛化能力取決于網(wǎng)絡結(jié)構(gòu)。因此,還要比較徐璐其他網(wǎng)絡結(jié)構(gòu)模型的優(yōu)劣。一般來說,隨著網(wǎng)絡結(jié)構(gòu)的增大,誤差變小。通常,在擴展網(wǎng)絡結(jié)構(gòu)(增加隱藏層節(jié)點數(shù))過程中,會發(fā)生網(wǎng)絡錯誤快速減少后穩(wěn)定的階段。因此,合理的隱藏層節(jié)點數(shù)必須在誤差快速減少后基本穩(wěn)定時采取隱藏層節(jié)點數(shù)??傊侠淼木W(wǎng)絡模型是合理的銀層節(jié)點數(shù)、訓練時不發(fā)生“過度配合”現(xiàn)象、尋求全球極點、同時考慮網(wǎng)絡結(jié)構(gòu)復雜性和誤差大小的綜合結(jié)果

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論