人工神經網(wǎng)絡應用實例分析

人工神經網(wǎng)絡的研究方法及應用

實例分析

2008.6.10一、人工神經網(wǎng)絡知識回顧

1、什么是人工神經網(wǎng)絡？T.Koholen的定義：“人工神經網(wǎng)絡是由具有適應性的簡單單元組成的廣泛并行互連的網(wǎng)絡，它的組織能夠模擬生物神經系統(tǒng)對真實世界物體所作出的交互反應。”2、神經網(wǎng)絡基本模型細胞體突觸軸突樹突圖1.

生物神經元功能模型輸入輸出信息處理電脈沖形成傳輸圖2BP神經網(wǎng)絡結構模型3、人工神經網(wǎng)絡研究的局限性（1）ANN研究受到腦科學研究成果的限制。（2）ANN缺少一個完整、成熟的理論體系。（3）ANN研究帶有濃厚的策略和經驗色彩。（4）ANN與傳統(tǒng)技術的接口不成熟。

（1）一般而言,ANN與經典計算方法相比并非優(yōu)越,只有當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。尤其對問題的機理不甚了解或不能用數(shù)學模型表示的系統(tǒng),如故障診斷、特征提取和預測等問題,ANN往往是最有利的工具。（2）另一方面,ANN對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題,表現(xiàn)出極大的靈活性和自適應性。黑箱二、神經網(wǎng)絡的應用實例

人工神經網(wǎng)絡以其具有自學習、自組織、較好的容錯性和優(yōu)良的非線性逼近能力，受到眾多領域學者的關注。在實際應用中，80%～90%的人工神經網(wǎng)絡模型是采用誤差反傳算法或其變化形式的網(wǎng)絡模型（簡稱BP網(wǎng)絡），目前主要應用于函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。1.樣本數(shù)據(jù)1.1收集和整理分組采用BP神經網(wǎng)絡方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。為監(jiān)控訓練（學習）過程使之不發(fā)生“過擬合”和評價建立的網(wǎng)絡模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機分成訓練樣本、檢驗樣本（10%以上）和測試樣本（10%以上）3部分。數(shù)據(jù)分組時還應盡可能考慮樣本模式間的平衡。1.2輸入/輸出變量的確定及其數(shù)據(jù)的預處理一般地，BP網(wǎng)絡的輸入變量即為待分析系統(tǒng)的內生變量（影響因子或自變量）數(shù),一般根據(jù)專業(yè)知識確定。若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標或因變量），可以是一個，也可以是多個。一般將一個具有多個輸出的網(wǎng)絡模型轉化為多個具有一個輸出的網(wǎng)絡模型效果會更好，訓練也更方便。1.3數(shù)據(jù)的預處理要對輸入數(shù)據(jù)進行預處理。

如果輸出層節(jié)點也采用Sigmoid轉換函數(shù)，輸出變量也必須作相應的預處理，否則，輸出變量也可以不做預處理。預處理的方法有多種多樣，各文獻采用的公式也不盡相同。但必須注意的是，預處理的數(shù)據(jù)訓練完成后，網(wǎng)絡輸出的結果要進行反變換才能得到實際值。再者，為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預處理后的值在0.2~0.8之間。2.神經網(wǎng)絡拓撲結構的確定2.1隱層數(shù)的選取

一般認為，增加隱層數(shù)可以降低網(wǎng)絡誤差（也有文獻認為不一定能有效降低），提高精度，但也使網(wǎng)絡復雜化，從而增加了網(wǎng)絡的訓練時間和出現(xiàn)“過擬合”的傾向。Hornik等早已證明：若輸入層和輸出層采用線性轉換函數(shù)，隱層采用Sigmoid轉換函數(shù)，則含一個隱層的MLP網(wǎng)絡能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結論。在設計BP網(wǎng)絡時可參考這一點，應優(yōu)先考慮3層BP網(wǎng)絡（即有1個隱層）。一般地，靠增加隱層節(jié)點數(shù)來獲得較低的誤差，其訓練效果要比增加隱層數(shù)更容易實現(xiàn)。2.2隱層節(jié)點數(shù)在BP網(wǎng)絡中，隱層節(jié)點數(shù)的選擇非常重要，它不僅對建立的神經網(wǎng)絡模型的性能影響很大，而且是訓練時出現(xiàn)“過擬合”的直接原因，但是目前理論上還沒有一種科學的和普遍的確定方法。

目前多數(shù)文獻中提出的確定隱層節(jié)點數(shù)的計算公式都是針對訓練樣本任意多的情況，而且多數(shù)是針對最不利的情況，一般工程實踐中很難滿足，不宜采用。事實上，各種計算公式得到的隱層節(jié)點數(shù)有時相差幾倍甚至上百倍。為盡可能避免訓練時出現(xiàn)“過擬合”現(xiàn)象，保證足夠高的網(wǎng)絡性能和泛化能力，確定隱層節(jié)點數(shù)的最基本原則是：