人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

人工神經(jīng)網(wǎng)絡(luò)

及其應(yīng)用1、概述2、神經(jīng)網(wǎng)絡(luò)概念3、感知器模型4、線性神經(jīng)網(wǎng)絡(luò)5、BP神經(jīng)網(wǎng)絡(luò)6、神經(jīng)網(wǎng)絡(luò)應(yīng)用實例1、概述神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)證明了人的思維是由腦完成的。神經(jīng)元是組成人腦的最基本的單元，能夠接收并處理信息。人腦大約由1011~1012個神經(jīng)元組成，其中每個神經(jīng)元約與104~105個神經(jīng)元通過突觸連接。因此，人腦是一個復(fù)雜的信息并行加工處理巨系統(tǒng)。探索腦組織的結(jié)構(gòu)、工作原理及信息處理的機制，是整個人類面臨的一項挑戰(zhàn)，也是整個自然界的前沿領(lǐng)域。人腦的功能，一方面受到先天因素的制約，即由遺傳信息先天確定了其結(jié)構(gòu)與特性；另一方面，后天因素也起重要的作用，即大腦可通過其自組織、自學(xué)習(xí)，不斷適應(yīng)外界環(huán)境的變化。大腦的自組織、自學(xué)習(xí)性來源于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可塑性，它主要反映在神經(jīng)元之間連接強度的可變性上。人工神經(jīng)網(wǎng)絡(luò)是從微觀結(jié)構(gòu)與功能上對人腦神經(jīng)系統(tǒng)的模擬而建立起來的一類模型，具有模擬人的部分形象思維的能力。其特點主要是具有非線性、學(xué)習(xí)能力和自適應(yīng)性，是模擬人的智能的一條重要途徑。它是由簡單信息處理單元（人工神經(jīng)元，簡稱神經(jīng)元）互聯(lián)組成的網(wǎng)絡(luò)，能接受并處理信息。網(wǎng)絡(luò)的信息處理由處理單元之間的相互作用來實現(xiàn)，它是通過把問題表達成處理單元之間的連接權(quán)來處理的。多年來，學(xué)者們建立了多種神經(jīng)網(wǎng)絡(luò)模型，決定其整體性能的三大要素為：（1）神經(jīng)元（信息處理單元）的特性。（2）神經(jīng)元之間互相連接的形式——拓撲結(jié)構(gòu)。（3）為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。神經(jīng)網(wǎng)絡(luò)是人腦的某種抽象、簡化和模擬，反映了人腦功能的若干基本特性：（1）網(wǎng)絡(luò)的信息處理由處理單元間的相互作用來實現(xiàn)，并具有并行處理的特點。（2）知識與信息的存儲，表現(xiàn)為處理單元之間分布式的物理聯(lián)系。（3）網(wǎng)絡(luò)的學(xué)習(xí)和識別，決定于處理單元連接權(quán)系的動態(tài)演化過程。（4）具有聯(lián)想記憶的特性。2神經(jīng)網(wǎng)絡(luò)概念2.1生物神經(jīng)元模型腦神經(jīng)元由細胞體、樹突和軸突構(gòu)成。細胞體是神經(jīng)元的中心，它一般又由細胞核、細胞膜和細胞質(zhì)組成。樹突胞體上短而多分支的突起，相當于神經(jīng)元的輸入端，是神經(jīng)元的主要接受器，它主要用來接受信息。軸突是胞體上最長枝的突起，也稱神經(jīng)纖維。它的端部有很多神經(jīng)末梢，傳出神經(jīng)沖動。軸突的作用主要是傳導(dǎo)信息，它將信息從軸突起點傳到軸突末梢（精神末梢）。軸突末梢與另一個神經(jīng)元的樹突或胞體構(gòu)成一種突觸的機構(gòu)。通過突觸實現(xiàn)神經(jīng)元之間的信息傳遞。突觸是神經(jīng)元之間的連接接口，每一個神經(jīng)元約有104~105個突觸。一個神經(jīng)元，通過其軸突的神經(jīng)末梢，經(jīng)突觸，與另一個神經(jīng)元的樹突連接，以實現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖動傳遞方式的變化，傳遞作用強弱不同，形成了神經(jīng)元之間連接的柔性，稱為結(jié)構(gòu)的可塑性。2.2生物神經(jīng)元工作狀態(tài)神經(jīng)元具有兩種常規(guī)工作狀態(tài)：興奮與抑制。當傳入的神經(jīng)沖動經(jīng)整合后使細胞膜電位升高，超過動作電位的閾值時，細胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動并由軸突經(jīng)神經(jīng)末梢傳出；當傳入的神經(jīng)沖動經(jīng)整合后使膜電位下降低于閾值時，細胞進入抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強與減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。

2.3人工神經(jīng)元模型（MP模型）1943年，美國心理學(xué)家McCulloch和數(shù)學(xué)家Pitts共同提出“模擬生物神經(jīng)元”的被稱為MP的人工神經(jīng)元模型。它是一個多輸入/多輸出的非線性信息處理單元。1人工神經(jīng)元的輸入與輸出關(guān)系:其中：

為閾值為連接權(quán)值為激活函數(shù)2.常用的作用函數(shù)神經(jīng)元模型的作用函數(shù)，用以模擬神經(jīng)細胞的興奮、抑制以及閾值等非線性特性。

3.學(xué)習(xí)規(guī)則MP模型在發(fā)表時并沒有給出一個學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的來連接權(quán)值。但是，我們可以根據(jù)需要，采用一些常見的算法來調(diào)整神經(jīng)元連接權(quán)，以達到學(xué)習(xí)的目的。下面介紹的Hebb學(xué)習(xí)規(guī)則就是一個常見學(xué)習(xí)算法。Hebb學(xué)習(xí)規(guī)則：神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對于人工神經(jīng)網(wǎng)絡(luò)而言，這種學(xué)習(xí)歸結(jié)為：若第i個和第j個神經(jīng)元同時處于興奮狀態(tài)，則它們之間的連接應(yīng)當加強，即：這一規(guī)則與”條件反射“學(xué)說一致，并已得到神經(jīng)細胞學(xué)說的證實。α是表示學(xué)習(xí)速率的比例常數(shù)。2.4神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式根據(jù)連接方式的不同，神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接有如下幾種形式。1）前向網(wǎng)絡(luò)前向網(wǎng)絡(luò)結(jié)構(gòu)如下圖。神經(jīng)元分層排列，分別組成輸入層、中間層（也稱為隱含層，可以由若干層組成）和輸出層。每一層的神經(jīng)元只接受來自前一層神經(jīng)元的輸入，后面的層對前面的層沒有信號反饋。輸入模式經(jīng)過各層次的順序傳播，最后在輸出層上得到輸出。感知器網(wǎng)絡(luò)和BP網(wǎng)絡(luò)均屬于前向網(wǎng)絡(luò)。2）有反饋的前向網(wǎng)路其結(jié)構(gòu)如下圖。輸出層對輸入層有信息反饋，這種網(wǎng)絡(luò)可用于存儲某種模式序列。如神經(jīng)認知機和回歸BP網(wǎng)絡(luò)都屬于這種類型。3）層內(nèi)有相互結(jié)合的前向網(wǎng)絡(luò)其結(jié)構(gòu)如下圖。通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮抑制。這樣可以限制每層內(nèi)可以同時動作的神經(jīng)元素，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每一組作為一個整體進行運作。例如，可以利用橫向抑制機理把某層內(nèi)具有最大輸出的神經(jīng)元挑選出來，從而抑制其他神經(jīng)元，使之處于無輸出的狀態(tài)。4）相互結(jié)合型網(wǎng)絡(luò)（全互聯(lián)或部分互聯(lián)）相互結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu)如下圖。這種網(wǎng)絡(luò)在任意兩個神經(jīng)元之間都可能有連接。在無反饋的前向網(wǎng)絡(luò)中，信號一旦通過，某神經(jīng)元，該神經(jīng)元的處理就結(jié)束了。而在相互結(jié)合的網(wǎng)絡(luò)中，信號要在神經(jīng)元之間反復(fù)傳遞，網(wǎng)絡(luò)處于一種不斷改變狀態(tài)的動態(tài)之中。信號從某初始狀態(tài)開始，經(jīng)過若干次變化，才會達到某種平衡狀態(tài)。根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的特性，網(wǎng)絡(luò)的運行還有可能進入周期震蕩或其他如混沌等平衡狀態(tài)。2.5神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也成為訓(xùn)練，指的是通過神經(jīng)網(wǎng)絡(luò)所在環(huán)境的刺激作用調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)（權(quán)值和域值），使神經(jīng)網(wǎng)絡(luò)以一種新的方式對外部環(huán)境做出反應(yīng)的一個過程。能夠從環(huán)境中學(xué)習(xí)和在學(xué)習(xí)中提高自身性能是神經(jīng)網(wǎng)絡(luò)的最有意義的性質(zhì)。根據(jù)學(xué)習(xí)過程的組織方式不同，學(xué)習(xí)方式分為兩類：有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。1）有監(jiān)督學(xué)習(xí)：對于監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)訓(xùn)練往往要基于一定數(shù)量的訓(xùn)練樣本。訓(xùn)練樣本通常由輸入矢量和目標矢量組成。在學(xué)習(xí)和訓(xùn)練過程中，網(wǎng)絡(luò)根據(jù)實際輸出與期望輸出的比較，進行連接權(quán)值和域值的調(diào)節(jié)。通過將期望輸出成為導(dǎo)師信號，它是評價學(xué)習(xí)的標準。最典型的有監(jiān)督學(xué)習(xí)算法是BP算法，即誤差反向傳播算法。2）無監(jiān)督學(xué)習(xí)：對于無監(jiān)督學(xué)習(xí)，則無教師信號提供給網(wǎng)絡(luò)，網(wǎng)絡(luò)能夠根據(jù)其特有的結(jié)構(gòu)和學(xué)習(xí)規(guī)則，進行連接權(quán)值和域值的調(diào)整。此時，網(wǎng)絡(luò)的學(xué)習(xí)評價標準隱含于其內(nèi)部。2.6神經(jīng)網(wǎng)絡(luò)的特性神經(jīng)網(wǎng)絡(luò)的全稱是人工神經(jīng)網(wǎng)絡(luò)，它采用物理上可實現(xiàn)的器件或采用計算機來模擬生物體中神經(jīng)網(wǎng)絡(luò)的某些結(jié)構(gòu)和功能，并應(yīng)用于工程領(lǐng)域。神經(jīng)網(wǎng)絡(luò)的著眼點不在于利用物理器件完整地復(fù)制生物體中的神經(jīng)細胞網(wǎng)絡(luò)，而是抽取其中可利用的部分來克服目前計算機或其他系統(tǒng)不能解決的問題，如學(xué)習(xí)、控制、識別和專家系統(tǒng)等。隨著生物和認知科學(xué)的發(fā)展，人們對大腦的認識和了解越來越深入，神經(jīng)網(wǎng)絡(luò)必然會獲得更加廣闊的發(fā)展空間和應(yīng)用范圍。雖然ANN與真正的生物神經(jīng)網(wǎng)絡(luò)有差別，但由于它汲取了生物神經(jīng)網(wǎng)絡(luò)的部分有點，因此具有一些固有的特性。1、ANN在結(jié)構(gòu)上與目前的計算機本質(zhì)不同，它是由很多小得處理單元互相連接而成的，每個處理單元的功能簡單，但大量簡單的處理單元集體的、并行的活動得到預(yù)期的識別、計算的結(jié)果，具有較快的速度。2、ANN具有非常強的容錯性，即局部的或部分的神經(jīng)元損壞后，不會對全局的活動造成很大的影響。3、ANN記憶的信息存儲在神經(jīng)元之間的連接權(quán)值上，從單個權(quán)值中看不出存儲信息的內(nèi)容，因而是分布式的存儲方式。4、ANN的學(xué)習(xí)能力十分強大，它的連接權(quán)值和連接的結(jié)構(gòu)都可以通過學(xué)習(xí)得到。2.7神經(jīng)網(wǎng)絡(luò)在控制領(lǐng)域取得的進展1、基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識，就是將神經(jīng)網(wǎng)絡(luò)作為被辨識系統(tǒng)P的模型，逆模型。（1）可在已知常規(guī)模型結(jié)構(gòu)的情況下，估計模型的參數(shù)。（2）利用神經(jīng)網(wǎng)絡(luò)的線性、非線性，可建立線性、非線性系統(tǒng)的靜態(tài)、動態(tài)、逆動態(tài)和預(yù)測模型，重點在于非線性系統(tǒng)的建模與辨識。2、神經(jīng)網(wǎng)絡(luò)控制器神經(jīng)網(wǎng)絡(luò)作為實時控制系統(tǒng)的控制器，對于不確定、不確知系統(tǒng)及擾動進行有效的控制，使控制系統(tǒng)達到所要求的動態(tài)、靜態(tài)特性。3、神經(jīng)網(wǎng)絡(luò)與其它算法相結(jié)合神經(jīng)網(wǎng)絡(luò)與專家系統(tǒng)、模糊邏輯、遺傳算法、小波理論等相結(jié)合由于控制系統(tǒng)，可為系統(tǒng)提供參數(shù)和非參數(shù)?？刂破髂Ｐ汀?、優(yōu)化計算在常規(guī)控制系統(tǒng)的設(shè)計中，常遇到求解約束優(yōu)化問題，神經(jīng)網(wǎng)絡(luò)為這類問題提供了有效的途徑。5、控制系統(tǒng)的故障診斷隨著對控制系統(tǒng)安全性、可靠性、可維護性要求的提高，對系統(tǒng)的故障檢測與診斷問題的研究不斷深入。近年來，神經(jīng)網(wǎng)絡(luò)在這方面的應(yīng)用研究取得了相應(yīng)的進展。3感知器模型感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國學(xué)者F.Rosenblatt于1957年提出。感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在一定的程度上得到了模擬，所以引起了廣泛的關(guān)注。下面介紹一下單層感知器單層感知器分為：單層單神經(jīng)元感知器和單層多神經(jīng)元感知器。我們在這里只介紹前者。單神經(jīng)元感知器具有一個處理單元，非線性作用函數(shù)f（·）是非對稱型階躍函數(shù)，見下式：其結(jié)構(gòu)如下圖所示：設(shè)感知器的權(quán)系W，輸入向量u為感知器的輸出為（uj：感知器的第j個輸入；w0=-θ；u0=1）f（x）xyu1ujun

∑θw1ujwn它與MP模型不同之處是，權(quán)值可以進行調(diào)整，學(xué)習(xí)是采用有導(dǎo)師的學(xué)習(xí)算法。基本學(xué)習(xí)算法步驟如下：（1）設(shè)置權(quán)系的初值，為較小的隨機非零值。（2）給定輸入/輸出樣本對，即導(dǎo)師信號，（3）求感知器的輸出（4）權(quán)值調(diào)整式中，t：第t次調(diào)整向量。（5）若，則學(xué)習(xí)結(jié)束；否則，返回（3）?？梢姡瑢W(xué)習(xí)算法結(jié)束后，將樣本模式，以連接權(quán)值和閾值的形式，分布記憶（存儲）與感知器中。單層感知器（單、多神經(jīng)元）的局限性：只能解決簡單的分類問題，也就是只有在輸入矢量是線性可分時，單層感知器才對輸入模式進行有效的分類有效。線性不可分問題只能用多層感知器來解決。4線性神經(jīng)網(wǎng)絡(luò)自適應(yīng)線性神經(jīng)元，是由美國Standford大學(xué)Widrow教授于20世紀60年代初提出的。與感知器不同的是主要在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。學(xué)習(xí)算法為δ規(guī)則。δ規(guī)則也稱為最小方差法，其算法步驟如下：（1）設(shè)置初始權(quán)系W(0)。（2）給定輸入/輸出樣本對，即導(dǎo)師信號（3）計算網(wǎng)絡(luò)的目標函數(shù)J：神經(jīng)元在第p組樣本輸入下的輸出yp為（4）δ規(guī)則：用于權(quán)值調(diào)整的自適應(yīng)學(xué)習(xí)算法為將代入上式可得式中，α為常值，0<α<2，可使算法收斂。η隨著輸入樣本up自適應(yīng)地調(diào)整。（5）當時，算法結(jié)束。線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如下（m個線性神經(jīng)元）：網(wǎng)絡(luò)的輸出為y=Wu-θ權(quán)值系數(shù)調(diào)整算法為∑f（x）∑f（x）w11-θ1-θmx1xmy1ymwmnu1unujW-θm×1m×nm×1xn×1u1m×1y5BP神經(jīng)網(wǎng)絡(luò)5.1BP神經(jīng)網(wǎng)路簡介反向傳播網(wǎng)絡(luò)(Back-PropagationNetwork，簡稱BP網(wǎng)絡(luò))是將W-H學(xué)習(xí)規(guī)則一般化，對非線性可微分函數(shù)進行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。權(quán)值的調(diào)整采用反向傳播(Back-propagation）的學(xué)習(xí)算法。它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型函數(shù)。輸出量為0到1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射。BP網(wǎng)絡(luò)主要用于下述方面：函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)來逼近一個函數(shù)。模式識別和分類：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進行分類。數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于數(shù)據(jù)傳輸或存儲。具有較強的泛化性能：使網(wǎng)絡(luò)平滑的學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入。泛化性能只對被訓(xùn)練的輸入／輸出對最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值特性。超出最大訓(xùn)練值的輸入必將產(chǎn)生較大的輸出誤差。5.2BP神經(jīng)網(wǎng)絡(luò)模型前、后層之間各神經(jīng)元實現(xiàn)全聯(lián)接；每層各神經(jīng)元之間無聯(lián)接?！ぁぁぁぁぁぁぁぁぁぁぁy輸入層節(jié)點隱層節(jié)點輸出層節(jié)點BP網(wǎng)絡(luò)與感知器和自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)的比較：感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù){0，1}或符號函數(shù){－1，1}。BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對數(shù)或正切激活函數(shù)和線性函數(shù)。BP網(wǎng)絡(luò)特點：輸入和輸出是并行的模擬量；網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法；權(quán)因子通過學(xué)習(xí)信號調(diào)節(jié)。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明；隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個別權(quán)因子的損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響；只有當希望對網(wǎng)絡(luò)的輸出進行限制，如限制在0和1之間，那么在輸出層應(yīng)當包含S型激活函數(shù)；在一般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)。S型激活函數(shù)：S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負無窮大到正無窮大的信號，變換成-1到l之間輸出。對較大的輸入信號，放大系數(shù)較小；而對較小的輸入信號，放大系數(shù)則較大。采用S型激活函數(shù)可以處理和逼近非線性輸入/輸出關(guān)系。5.3BP學(xué)習(xí)規(guī)則BP算法屬于δ算法，是一種監(jiān)督式的學(xué)習(xí)算法。BP算法是由兩部分組成,信息的正向傳遞與誤差的反向傳播正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達到期望目標5.4BP網(wǎng)絡(luò)訓(xùn)練訓(xùn)練BP網(wǎng)絡(luò)，需要計算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求誤差平方和。當所訓(xùn)練矢量的誤差平方和小于誤差目標，訓(xùn)練停止；否則在輸出層計算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，然后重復(fù)此過程。網(wǎng)絡(luò)完成訓(xùn)練后，對網(wǎng)絡(luò)輸入一個不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果。5.5BP網(wǎng)絡(luò)設(shè)計1、輸入和輸出層的設(shè)計輸入的神經(jīng)元可以根據(jù)要求求解的問題和數(shù)據(jù)表示方式確定。如果輸入的是模擬信號波形，那么輸入層可以根據(jù)波形的采樣點數(shù)目決定輸入單元的維數(shù)，也可以用一個單元輸入，這時輸入樣本為采樣的時間序列；如果輸入為圖像，則輸入單元可以為圖像的像素，也可以是經(jīng)過處理的圖像特征。輸出層的維數(shù)可根據(jù)使用者的要求確定。如果將BP網(wǎng)絡(luò)用作分類器，類別模式一共有m個，那么輸出層神經(jīng)元的個數(shù)為m或log2m。2、隱含層的設(shè)計對于BP網(wǎng)絡(luò)，有一個非常重要的定理。即對于任何在閉區(qū)間的一個連續(xù)函數(shù)都可以用單隱層的BP網(wǎng)絡(luò)逼近，因而一個三層BP網(wǎng)絡(luò)就可以完成任意的n維到m維德映射。隱層的神經(jīng)元數(shù)目選擇是一個十分復(fù)雜的問題，往往需要根據(jù)設(shè)計者的經(jīng)驗和多次試驗來確定，因而不存在一個理想的解析式來表示。隱單元的數(shù)目與問題的要求、輸入/輸出單元的數(shù)目都有著直接關(guān)系。隱單元數(shù)目太多會導(dǎo)致學(xué)習(xí)時間過長、誤差不一定最佳，也會導(dǎo)致容錯性差、不能識別以前看到的樣本，因此一定存在一個最佳的隱單元數(shù)。以下3個公式可用于選擇最佳隱單元時的參考公式：（1），其中，k為樣本數(shù)，n1為隱單元數(shù)，n為輸入單元數(shù)。如果i>n1，（2），其中，m為輸出神經(jīng)元數(shù)，n為輸入神經(jīng)元數(shù)，a為[0,10]之間的常數(shù)。（3），其中，n為輸入單元數(shù)。還有一種途徑可用于確定隱單元的數(shù)目。首先使隱單元的數(shù)目可變，或者放入足夠多的隱單元，通過學(xué)習(xí)將那些不起作用的隱單元剔除，直到不可收縮為止。同樣，也可以在開始時放入比較少的神經(jīng)元，學(xué)習(xí)到一定次數(shù)后，如果不成功的話則增加隱單元的數(shù)目，直到達到比較合理的隱單元數(shù)目為止。5.6初始值的選取由于系統(tǒng)是非線性的，初始值對于學(xué)習(xí)能否達到局部最小和是否能夠收斂的結(jié)果關(guān)系很大。一個重要的要求是：初始權(quán)值在輸入累加時使每個神經(jīng)元的狀態(tài)值接近零，權(quán)值一般取隨機數(shù)，數(shù)值要比較小。輸入樣本也同樣希望進行歸一化處理，使那些較大的輸入仍落在傳遞函數(shù)梯度大的地方。一般取初始權(quán)值在(-1，1)之間的隨機數(shù)5.7期望誤差的選取在設(shè)計網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當通過對比訓(xùn)練后確定一個合適的值。這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點數(shù)來確定，因為較小的期望誤差值是要靠增加隱含層的節(jié)點，以及訓(xùn)練時間來獲得的。一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)進行訓(xùn)練，最后通過綜合因素的考慮來確定采用哪一個網(wǎng)絡(luò)。5.8應(yīng)用舉例例1：求解函數(shù)逼近問題有21組單輸入矢量和相對應(yīng)的目標矢量，試設(shè)計神經(jīng)網(wǎng)絡(luò)來實現(xiàn)這對數(shù)組的函數(shù)關(guān)系。P=-2:0.2:2；T=[1.00001.76002.44003.04003.56004.00004.36004.64004.84004.96005.00004.96004.84004.64004.36004.00003.56003.04002.44001.76001.0000]；測試集P—test=-2:0.1:2；T—test=[1.39002.11002.75003.31003.79004.19004.51004.75004.91004.99004.99004.91004.75004.51004.19003.79003.31002.75002.11001.3900]；目標矢量相對于輸入矢量的圖形如下：測試矢量與實際測試矢量的圖形如下：目標矢量與實際目標矢量的圖形如下：在上述圖形中，BP網(wǎng)絡(luò)取N1，8，1，訓(xùn)練目標為0.01，訓(xùn)練次數(shù)為4，網(wǎng)絡(luò)誤差為0.3847目標矢量與實際目標矢量的誤差圖形如下：測試矢量與實際測試矢量的圖形如下：目標矢量與實際目標矢量的圖形如下：在上述圖形中，BP網(wǎng)絡(luò)取N1，8，1訓(xùn)練目標為0.001訓(xùn)練次數(shù)為6網(wǎng)絡(luò)誤差為0.1281目標矢量與實際目標矢量的誤差圖形如下：測試矢量與實際測試矢量的圖形如下：目標矢量與