神經(jīng)網(wǎng)絡(luò)方法簡介

神經(jīng)網(wǎng)絡(luò)方法簡介兩類問題識別問題（分類問題）模式識別是指根據(jù)研究對象的特征或?qū)傩?，利用以計算機(jī)為中心的機(jī)器系統(tǒng)，運(yùn)用一定的分析算法認(rèn)定它的類別。兩類問題回歸問題（預(yù)測問題）根據(jù)已知數(shù)據(jù)集{Xi,Yi}，其中Xi∈Rn,Y∈R,找出數(shù)據(jù)間的內(nèi)在規(guī)律，即函數(shù)關(guān)系Y=f(X)。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域，是近年來高科技領(lǐng)域的一個研究熱點。它的研究目標(biāo)是通過研究人腦的組成機(jī)理和思維方式，探索人類智能的奧秘，進(jìn)而通過模擬人腦的結(jié)構(gòu)和工作模式，使機(jī)器具有類似人類的智能。人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型（簡稱BP網(wǎng)絡(luò)），目前主要應(yīng)用于函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。人工神經(jīng)元模型與人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)元是一個多輸入、單輸出的非線性元件，如圖1所示。其輸入、輸出關(guān)系可描述為

式中，是從其它神經(jīng)元傳來的輸入信號；是閾值；表示從神經(jīng)元到神經(jīng)元的連接權(quán)值；為傳遞函數(shù)。人工神經(jīng)元模型與人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元互連而成的網(wǎng)絡(luò)，按其拓?fù)浣Y(jié)構(gòu)來分，可以分成兩大類：層次網(wǎng)絡(luò)模型和互連網(wǎng)絡(luò)模型。多層前向網(wǎng)絡(luò)一個M層的多層前向網(wǎng)絡(luò)可描述為：①網(wǎng)絡(luò)包含一個輸入層（定義為第0層）和M-1個隱層，最后一個隱層稱為輸出層；②第l層包含個神經(jīng)元和一個閾值單元（定義為每層的第0單元），輸出層不含閾值單元；

多層前向網(wǎng)絡(luò)③第層第個單元到第l層的第j個單元的權(quán)值表為；④第層（>0）第個（>0）神經(jīng)元的輸入定義為，輸出定義為，其中為隱單元激勵函數(shù)，常采用Sigmoid函數(shù)，即。輸入單元一般采用線性激勵函數(shù)，閾值單元的輸出始終為1；

多層前向網(wǎng)絡(luò)⑤

目標(biāo)函數(shù)通常采用：

其中P為樣本數(shù)，為第p個樣本的第j個輸出分量。

BP算法BP算法是前向神經(jīng)網(wǎng)絡(luò)經(jīng)典的有監(jiān)督學(xué)習(xí)算法，它的提出，對前向神經(jīng)網(wǎng)絡(luò)的發(fā)展起過歷史性的推動作用。對于上述的M層的人工神經(jīng)網(wǎng)絡(luò)，BP算法可由下列迭代式描述，具體推導(dǎo)可參見神經(jīng)網(wǎng)絡(luò)的相關(guān)書目。

其中，為學(xué)習(xí)率。

雖然神經(jīng)網(wǎng)絡(luò)的類型很多，建立神經(jīng)網(wǎng)絡(luò)模型時，根據(jù)研究對象的特點，可以考慮不同的神經(jīng)網(wǎng)絡(luò)模型。前饋型BP網(wǎng)絡(luò)即誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)是最常用、最流行的神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的輸入和輸出關(guān)系可以看成是一種映射關(guān)系，即每一組輸入對應(yīng)一組輸出。由于網(wǎng)絡(luò)中神經(jīng)元作用函數(shù)的非線性，網(wǎng)絡(luò)實現(xiàn)是復(fù)雜的非線性映射。關(guān)于這類網(wǎng)絡(luò)對非線性的逼近能力，Hornikl等分別利用不同的方法證明了如下一個事實：僅含有一個隱層的前向網(wǎng)絡(luò)能以任意精度逼近定義在Rn的一個緊集上的任意非線性函數(shù)。誤差反向算法是最著名的多層前向網(wǎng)絡(luò)訓(xùn)練算法，盡管存在收斂速度慢、局部極值等缺點，但可通過各種改進(jìn)措施來提高它的收斂速度、克服局部極值現(xiàn)象，而且具有簡單、易行、計算量小、并行性強(qiáng)等特點，目前仍是多層前向網(wǎng)絡(luò)的首選算法。基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp輸出層LC隱含層LB輸入層LAWVBP網(wǎng)絡(luò)建模特點：并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處理的，這使它具有很強(qiáng)的容錯性和很快的處理速度。非線性映射能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù)（符號處理）。多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式。BP網(wǎng)絡(luò)建模注意的一些問題1.樣本數(shù)據(jù)的收集和整理分組

采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練（學(xué)習(xí)）過程使之不發(fā)生“過擬合”和評價建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗樣本（10%以上）和測試樣本（10%以上）3部分。此外，數(shù)據(jù)分組時還應(yīng)盡可能考慮樣本模式間的平衡。2.輸入/輸出變量的確定及其數(shù)據(jù)的預(yù)處理

一般地，BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識確定。若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），可以是一個，也可以是多個。一般將一個具有多個輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡(luò)模型效果會更好，訓(xùn)練也更方便。

由于BP神經(jīng)網(wǎng)絡(luò)的隱層一般采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據(jù)的值在0~1之間。因此，要對輸入數(shù)據(jù)進(jìn)行預(yù)處理。一般要求對不同變量分別進(jìn)行預(yù)處理，也可以對類似性質(zhì)的變量進(jìn)行統(tǒng)一的預(yù)處理。如果輸出層節(jié)點也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預(yù)處理，否則，輸出變量也可以不做預(yù)處理。

預(yù)處理的方法有多種多樣，各文獻(xiàn)采用的公式也不盡相同。但必須注意的是，預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)行反變換才能得到實際值。再者，為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的值在0.2~0.8之間。3.神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定3.1隱層數(shù)

一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時間和出現(xiàn)“過擬合”的傾向。Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結(jié)論。在設(shè)計BP網(wǎng)絡(luò)時可參考這一點，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個隱層）。一般地，靠增加隱層節(jié)點數(shù)來獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實現(xiàn)。對于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，實際上就是一個線性或非線性（取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式）回歸模型。因此，一般認(rèn)為，應(yīng)將不含隱層的網(wǎng)絡(luò)模型歸入回歸分析中，技術(shù)已很成熟，沒有必要在神經(jīng)網(wǎng)絡(luò)理論中再討論之。3.2隱層節(jié)點數(shù)

在BP網(wǎng)絡(luò)中，隱層節(jié)點數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時出現(xiàn)“過擬合”的直接原因，但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。目前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點數(shù)的計算公式都是針對訓(xùn)練樣本任意多的情況，而且多數(shù)是針對最不利的情況，一般工程實踐中很難滿足，不宜采用。事實上，各種計算公式得到的隱層節(jié)點數(shù)有時相差幾倍甚至上百倍。為盡可能避免訓(xùn)練時出現(xiàn)“過擬合”現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力，確定隱層節(jié)點數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點數(shù)。研究表明，隱層節(jié)點數(shù)不僅與輸入/輸出層的節(jié)點數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。

在確定隱層節(jié)點數(shù)時必須滿足下列條件：隱層節(jié)點數(shù)必須小于N-1（其中N為訓(xùn)練樣本數(shù)），否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的特性無關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒有泛化能力，也沒有任何實用價值。同理可推得：輸入層的節(jié)點數(shù)（變量數(shù)）必須小于N-1。(2)訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為2~10倍，否則，樣本必須分成幾部分并采用“輪流訓(xùn)練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。

總之，若隱層節(jié)點數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；若隱層節(jié)點數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時間延長，另一方面，訓(xùn)練容易陷入局部極小點而得不到最優(yōu)點，也是訓(xùn)練時出現(xiàn)“過擬合”的內(nèi)在原因。因此，合理隱層節(jié)點數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的情況下用節(jié)點刪除法和擴(kuò)張法確定。4.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練4.1訓(xùn)練

BP網(wǎng)絡(luò)的訓(xùn)練就是通過應(yīng)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓(xùn)練樣本輸出值之間的誤差平方和達(dá)到最小或小于某一期望值。雖然理論上早已經(jīng)證明：具有1個隱層（采用Sigmoid轉(zhuǎn)換函數(shù)）的BP網(wǎng)絡(luò)可實現(xiàn)對任意函數(shù)的任意逼近。但遺憾的是，迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個（訓(xùn)練）樣本的情況下，如何設(shè)計一個合理的BP網(wǎng)絡(luò)模型并通過向所給的有限個樣本的學(xué)習(xí)（訓(xùn)練）來滿意地逼近樣本所蘊(yùn)含的規(guī)律（即函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差達(dá)到很小，還需要有很強(qiáng)的泛化能力）的問題，目前在很大程度上還需要依靠經(jīng)驗知識和設(shè)計者的經(jīng)驗。因此，通過訓(xùn)練樣本的學(xué)習(xí)（訓(xùn)練）建立合理的BP神經(jīng)網(wǎng)絡(luò)模型的過程，在國外被稱為“藝術(shù)創(chuàng)造的過程”，是一個復(fù)雜而又十分煩瑣和困難的過程。

由于BP網(wǎng)絡(luò)采用誤差反傳算法，其實質(zhì)是一個無約束的非線性最優(yōu)化計算過程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時不僅計算時間長，而且很容易限入局部極小點而得不到最優(yōu)結(jié)果。目前雖已有改進(jìn)BP法、遺傳算法（GA）和模擬退火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓(xùn)練(這些方法從原理上講可通過調(diào)整某些參數(shù)求得全局極小點)，但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問題不同而異，較難求得全局極小點。這些方法中應(yīng)用最廣的是增加了沖量（動量）項的改進(jìn)BP算法。4.2學(xué)習(xí)率和沖量系數(shù)

學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至?xí)?dǎo)致權(quán)值在修正過程中超出某個誤差的極小值呈不規(guī)則跳躍而不收斂；但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時間過長，不過能保證收斂于某個極小值。所以，一般傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過程的收斂性（穩(wěn)定性），通常在0.01~0.8之間。增加沖量項的目的是為了避免網(wǎng)絡(luò)訓(xùn)練陷于較淺的局部極小點。理論上其值大小應(yīng)與權(quán)值修正量的大小有關(guān)，但實際應(yīng)用中一般取常量。通常在0~1之間，而且一般比學(xué)習(xí)率要大。5.網(wǎng)絡(luò)的初始連接權(quán)值

BP算法決定了誤差函數(shù)一般存在（很）多個局部極小點，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個局部極小點或是全局極小點。因此，要求計算程序（建議采用標(biāo)準(zhǔn)通用軟件，如Statsoft公司出品的StatisticaNeuralNetworks軟件和Matlab

軟件）必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分布在-0.5~0.5之間比較有效。6.網(wǎng)絡(luò)模型的性能和泛化能力

訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對非訓(xùn)練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對訓(xùn)練樣本的擬合能力。從存在性結(jié)論可知，即使每個訓(xùn)練樣本的誤差都很小（可以為零），并不意味著建立的模型已逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。因此，僅給出訓(xùn)練樣本誤差（通常是指均方根誤差RSME或均方誤差、AAE或MAPE等）的大小而不給出非訓(xùn)練樣本誤差的大小是沒有任何意義的。

要分析建立的網(wǎng)絡(luò)模型對樣本所蘊(yùn)含的規(guī)律的逼近情況（能力），即泛化能力，應(yīng)該也必須用非訓(xùn)練樣本（本文稱為檢驗樣本和測試樣本）誤差的大小來表示和評價，這也是之所以必須將總樣本分成訓(xùn)練樣本和非訓(xùn)練樣本而絕不能將全部樣本用于網(wǎng)絡(luò)訓(xùn)練的主要原因之一。判斷建立的模型是否已有效逼近樣本所蘊(yùn)含的規(guī)律,最直接和客觀的指標(biāo)是從總樣本中隨機(jī)抽取的非訓(xùn)練樣本（檢驗樣本和測試樣本）誤差是否和訓(xùn)練樣本的誤差一樣小或稍大。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其小，一般可認(rèn)為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，否則，若相差很多（如幾倍、幾十倍甚至上千倍）就說明建立的網(wǎng)絡(luò)模型并沒有有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，而只是在這些訓(xùn)練樣本點上逼近而已，而建立的網(wǎng)絡(luò)模型是對訓(xùn)練樣本所蘊(yùn)含規(guī)律的錯誤反映。

因為訓(xùn)練樣本的誤差可以達(dá)到很小，因此，用從總樣本中隨機(jī)抽取的一部分測試樣本的誤差表示網(wǎng)絡(luò)模型計算和預(yù)測所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的好壞，主要不是看測試樣本誤差大小的本身，而是要看測試樣本的誤差是否接近于訓(xùn)練樣本和檢驗樣本的誤差。7.合理網(wǎng)絡(luò)模型的確定

對同一結(jié)構(gòu)的網(wǎng)絡(luò)，由于BP算法存在（很）多個局部極小點，因此，必須通過多次（通常是幾十次）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點，才能通過比較這些極小點的網(wǎng)絡(luò)誤差的大小，確定全局極小點，從而得到該網(wǎng)絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò)連接權(quán)值。必須注意的是，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程本質(zhì)上是求非線性函數(shù)的極小點問題，因此，在全局極小點鄰域內(nèi)（即使網(wǎng)絡(luò)誤差相同），各個網(wǎng)絡(luò)連接權(quán)值也可能有較大的差異，這有時也會使各個輸入變量的重要性發(fā)生變化，但這與具有多個零極小點（一般稱為多模式現(xiàn)象）（如訓(xùn)練樣本數(shù)少于連接權(quán)數(shù)時）的情況是截然不同的。此外，在不滿足隱層節(jié)點數(shù)條件時，總也可以求得訓(xùn)練樣本誤差很小或為零的極小點，但此時檢驗樣本和測試樣本的誤差可能要大得多；若改變網(wǎng)絡(luò)連接權(quán)初始值，檢驗樣本和測試樣本的網(wǎng)絡(luò)計算結(jié)果會產(chǎn)生很大變化，即多模式現(xiàn)象。

對于不同的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)模型的誤差或性能和泛化能力也不一樣。因此，還必須比較不同網(wǎng)絡(luò)結(jié)構(gòu)的模型的優(yōu)劣。一般地，隨著網(wǎng)絡(luò)結(jié)構(gòu)的變大，誤差變小。通常，在網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)大（隱層節(jié)點數(shù)增加）的過程中，網(wǎng)絡(luò)誤差會出現(xiàn)迅速減小然后趨于穩(wěn)定的一個階段，因此，合理隱層節(jié)點數(shù)應(yīng)取誤差迅速減小后基本穩(wěn)定時的隱層節(jié)點數(shù)。

總之，合理網(wǎng)絡(luò)模型是必須在具有合理隱層節(jié)點數(shù)、訓(xùn)練時沒有發(fā)生“過擬合”現(xiàn)象、求得全局極小點和同時考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的綜合結(jié)果。設(shè)計合理BP網(wǎng)絡(luò)模型的過程是一個不斷調(diào)整參數(shù)的過程，也是一個不斷對比結(jié)果的過程，比較復(fù)雜且有時還帶有經(jīng)驗性。這個過程并不是有些作者想象的（實際也是這么做的）那樣，隨便套用一個公式確定隱層節(jié)點數(shù)，經(jīng)過一次訓(xùn)練就能得到合理的網(wǎng)絡(luò)模型（這樣建立的模型極有可能是訓(xùn)練樣本的錯誤反映，沒有任何實用價值）。MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用在網(wǎng)絡(luò)訓(xùn)練過程中使用的是Matlab6.0forWindows軟件，對于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練使用了