神經(jīng)元感知器和BP網(wǎng)絡(luò)

（2）自適應(yīng)性和自組織性。神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強(qiáng)度具有可塑性，網(wǎng)絡(luò)可以通過學(xué)習(xí)與訓(xùn)練進(jìn)行自組織，以適應(yīng)不同信息處理的要求。（3）并行處理性。網(wǎng)絡(luò)各單元可同時(shí)進(jìn)行類似的處理，整個(gè)網(wǎng)絡(luò)的信息處理方式是大規(guī)模并行的，可以大大加快對(duì)信息處理的速度。（4）分布存儲(chǔ)和容錯(cuò)性。信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲(chǔ)按內(nèi)容分布于許多神經(jīng)元中，而且每個(gè)神經(jīng)元存儲(chǔ)多種信息的部分內(nèi)容。網(wǎng)絡(luò)的每部分對(duì)信息的存儲(chǔ)具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復(fù)，因而使網(wǎng)絡(luò)具有容錯(cuò)性和聯(lián)想記憶功能。（5）便于集成實(shí)現(xiàn)和計(jì)算模擬。神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實(shí)現(xiàn)。

目前一頁\總數(shù)五十四頁\編于二十點(diǎn)1§3-1

神經(jīng)網(wǎng)絡(luò)的基本概念一.生物神經(jīng)元模型

神經(jīng)元模型

腦神經(jīng)元由細(xì)胞體、樹突和軸突構(gòu)成。細(xì)胞體是神經(jīng)元的中心，它一般又由細(xì)胞核、細(xì)胞膜等組成。樹突是神經(jīng)元的主要接受器，它主要用來接受信息。軸突的作用主要是傳導(dǎo)信息，它將信息從軸突起點(diǎn)傳到軸突末梢。1、組成

軸突末梢與另一個(gè)神經(jīng)元的樹突或胞體構(gòu)成一種突觸的機(jī)構(gòu)。通過突觸實(shí)現(xiàn)神經(jīng)元之間的信息傳遞。目前二頁\總數(shù)五十四頁\編于二十點(diǎn)2具有兩種常規(guī)工作狀態(tài)：興奮與抑制。當(dāng)傳入的神經(jīng)沖動(dòng)使細(xì)胞膜電位升高超過閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)并由軸突輸出；當(dāng)傳入的神經(jīng)沖動(dòng)使膜電位下降低于閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，沒有神經(jīng)沖動(dòng)輸出。

2.生物神經(jīng)元工作狀態(tài)目前三頁\總數(shù)五十四頁\編于二十點(diǎn)3二.人工神經(jīng)元模型

人工神經(jīng)網(wǎng)絡(luò)是利用物理器件來模擬生物神經(jīng)網(wǎng)絡(luò)的某些結(jié)構(gòu)和功能。

1.人工神經(jīng)元的輸入輸出變換關(guān)系為:

其中:

稱為閾值稱為連接權(quán)系數(shù)稱為輸出變換函數(shù)。目前四頁\總數(shù)五十四頁\編于二十點(diǎn)42.常用的輸入輸出變換函數(shù)

神經(jīng)元模型的輸出函數(shù)，它是一個(gè)非動(dòng)態(tài)的非線性函數(shù)，用以模擬神經(jīng)細(xì)胞的興奮、抑制以及閾值等非線性特性。

這些非線性函數(shù)具有兩個(gè)顯著的特征，一是它的突變性，二是它的飽和性，這正是為了模擬神經(jīng)細(xì)胞興奮過程中所產(chǎn)生的神經(jīng)沖動(dòng)以及疲勞等特性。目前五頁\總數(shù)五十四頁\編于二十點(diǎn)5某兩輸入、單輸出的單節(jié)點(diǎn)感知器的連接權(quán)值樣本，為一類（感知器輸出為1），為另一類（感知器輸出為-1），，樣本試求閥值T。（T為絕對(duì)值最小的整數(shù)，轉(zhuǎn)移函數(shù)采用符號(hào)函數(shù)）課堂練習(xí)目前六頁\總數(shù)五十四頁\編于二十點(diǎn)6解：單節(jié)點(diǎn)兩輸入感知器的輸出為：根據(jù)題意：時(shí)：

得

時(shí)：

得

時(shí)：

得

為將樣本按要求分兩類，，根據(jù)題意選目前七頁\總數(shù)五十四頁\編于二十點(diǎn)73.1.2人工神經(jīng)元網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元有一個(gè)單一的輸出，它可以連接到很多其它的神經(jīng)元，其輸入有多個(gè)連接通路，每個(gè)連接通路對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。

1.對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)狀態(tài)變量

一.人工神經(jīng)元網(wǎng)絡(luò)的組成原理

2.結(jié)點(diǎn)

i

到結(jié)點(diǎn)j有一個(gè)連接權(quán)系數(shù)

3.對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)閾值

4.對(duì)于每個(gè)結(jié)點(diǎn)定義一個(gè)變換函數(shù)嚴(yán)格說來，神經(jīng)網(wǎng)絡(luò)是一個(gè)具有如下性質(zhì)的有向圖。其中：目前八頁\總數(shù)五十四頁\編于二十點(diǎn)8二.典型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：

根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)上的不同，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類：層狀結(jié)構(gòu)和網(wǎng)絡(luò)結(jié)構(gòu)。層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)是由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同層內(nèi)的神經(jīng)元不能聯(lián)接。1、前向網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)）下面介紹幾種常見的網(wǎng)絡(luò)結(jié)構(gòu):2、反饋網(wǎng)絡(luò)

目前九頁\總數(shù)五十四頁\編于二十點(diǎn)9

即網(wǎng)狀結(jié)構(gòu)，在這種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，任何兩個(gè)神經(jīng)元之間都可能雙向聯(lián)接。

4.混合型網(wǎng)絡(luò)

在前向網(wǎng)絡(luò)基礎(chǔ)上，在同層、部分神經(jīng)元之間也可雙向聯(lián)接。3.相互結(jié)合型網(wǎng)絡(luò)目前十頁\總數(shù)五十四頁\編于二十點(diǎn)10§3-2監(jiān)督學(xué)習(xí)及前饋神經(jīng)網(wǎng)絡(luò)

具有分層的結(jié)構(gòu)。最前面一層是輸入層，中間是隱層，最后一層是輸出層。其信息從輸入層依次向上傳遞，直至輸出層。這樣的結(jié)構(gòu)稱為前饋網(wǎng)絡(luò)。

3.2.1感知器網(wǎng)絡(luò)

感知器(perceptron)是最簡單的前饋網(wǎng)絡(luò)，也是早期仿生學(xué)的研究成果，主要功能是用于對(duì)不同的輸入模式進(jìn)行分類。目前十一頁\總數(shù)五十四頁\編于二十點(diǎn)11一、單層感知器網(wǎng)絡(luò)

也就是按照不同特征的分類結(jié)果。

是具有單層神經(jīng)元、采用線性閾值函數(shù)的前饋網(wǎng)絡(luò)。通過對(duì)權(quán)值的訓(xùn)練，可使感知器對(duì)一組線性可分的輸入模式（矢量）進(jìn)行有效的分類。

是輸入特征向量，

圖中

是

到

的連接權(quán)，

(j=1,

2,

…,m)

是輸出量。1.單層感知器的基本結(jié)構(gòu)目前十二頁\總數(shù)五十四頁\編于二十點(diǎn)122.單層感知器的輸入輸出變換關(guān)系

由于按不同特征的分類是互相獨(dú)立的，因而可以取出其中的一個(gè)神經(jīng)元來討論。其輸入到輸出的變換關(guān)系為：

該感知器的輸出將輸入模式分成了兩類。它們分屬于n維空間的兩個(gè)不同的部分。若有P個(gè)輸入樣本(p=1,2,…,P)。目前十三頁\總數(shù)五十四頁\編于二十點(diǎn)13*以二維空間為例

分界線的方程為:

*值得注意的是：只有那些線性可分模式類才能用感知器來加以區(qū)分。

線性不可分問題：典型的例子是異或關(guān)系。目前十四頁\總數(shù)五十四頁\編于二十點(diǎn)14

對(duì)于輸入矢量x，輸出矢量y，目標(biāo)矢量d，根據(jù)以下輸出矢量可能出現(xiàn)的情況進(jìn)行調(diào)整：3.感知器網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

目前十五頁\總數(shù)五十四頁\編于二十點(diǎn)15

采用有教師的學(xué)習(xí)方法進(jìn)行訓(xùn)練：

1)確定輸入矢量x，目標(biāo)矢量d，各矢量的維數(shù)、神經(jīng)元數(shù)和樣本數(shù)目：n，m，P；

2)參數(shù)初始化：

a)輸入[x]np，[d]mp；

b)設(shè)置(-1,1)隨機(jī)非零權(quán)矢量[w]mn

；

c)給出最大循環(huán)次數(shù)max_epoch；

3)計(jì)算神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出：4.感知器網(wǎng)絡(luò)的學(xué)習(xí)算法

目前十六頁\總數(shù)五十四頁\編于二十點(diǎn)16

4)檢查輸出y與目標(biāo)d是否相同，若是，或已達(dá)到最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則繼續(xù)；

6)轉(zhuǎn)到3)。權(quán)矢量的修正量與輸入模式xk成正比。若的取值太大，算法可能出現(xiàn)振蕩。取值太小，收斂速度會(huì)很慢。

單層感知器的局限性：只能解決簡單的分類問題，也就是只有在輸入矢量是線性可分時(shí)，單層感知器才對(duì)輸入模式進(jìn)行有效的分類有效。線性不可分問題只能用多層感知器來解決。目前十七頁\總數(shù)五十四頁\編于二十點(diǎn)17二、多層感知器網(wǎng)絡(luò)

1.多層感知器的基本結(jié)構(gòu)如下圖多層感知器網(wǎng)絡(luò)：其中：第0層為輸入層，有個(gè)神經(jīng)元，中間層為隱層。

第Q

層為輸出層，有個(gè)神經(jīng)元，這時(shí)每一層相當(dāng)于一個(gè)單層感知器網(wǎng)絡(luò)。目前十八頁\總數(shù)五十四頁\編于二十點(diǎn)182、多層感知器的輸入輸出變換關(guān)系

對(duì)于第q

層，它形成一個(gè)維的超平面，它對(duì)于該層的輸入模式進(jìn)行線性分類。

由于多層的組合，最終可實(shí)現(xiàn)對(duì)輸入模式的較復(fù)雜的分類。目前十九頁\總數(shù)五十四頁\編于二十點(diǎn)193.2.2.BP網(wǎng)絡(luò)

反向傳播(Back-Propagation)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)，是采用廣義d學(xué)習(xí)規(guī)則，對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層（三層或三層以上）前饋網(wǎng)絡(luò)。

前、后層之間各神經(jīng)元實(shí)現(xiàn)全聯(lián)接；每層各神經(jīng)元之間無聯(lián)接。x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學(xué)習(xí)算法)MqL

BP網(wǎng)絡(luò)主要用于函數(shù)逼近、模式識(shí)別、分類、數(shù)據(jù)壓縮。

一.BP網(wǎng)絡(luò)的基本結(jié)構(gòu)及原理目前二十頁\總數(shù)五十四頁\編于二十點(diǎn)20x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學(xué)習(xí)算法)MqL

設(shè)輸入層j有M個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)的輸出等于其輸入。隱含層i有q個(gè)節(jié)點(diǎn)，激活函數(shù)為f1，wij是j層和i層節(jié)點(diǎn)之間的聯(lián)接權(quán)值。輸出層k有L個(gè)節(jié)點(diǎn)，激活函數(shù)為f2，wki是i層和k層節(jié)點(diǎn)之間的聯(lián)接權(quán)值。隱含層和輸出層節(jié)點(diǎn)的輸入是前一層節(jié)點(diǎn)的輸出的加權(quán)和。

目前二十一頁\總數(shù)五十四頁\編于二十點(diǎn)21

屬于d算法?；舅枷胧亲钚《怂惴ǎ簩?duì)于P個(gè)輸入學(xué)習(xí)樣本[x1,x2,…xP]，已知對(duì)應(yīng)的輸出樣本為[d1,d2,…,dP]。學(xué)習(xí)的目的是用網(wǎng)絡(luò)的實(shí)際輸出[y1,y2,…,yP]與目標(biāo)矢量[d1,d2,…,dP]之間的誤差來修正其權(quán)值，使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小。二.BP網(wǎng)絡(luò)的基本學(xué)習(xí)規(guī)則

學(xué)習(xí)過程由正向遞推計(jì)算實(shí)現(xiàn)函數(shù)映射和反向傳播計(jì)算訓(xùn)練權(quán)值兩步來完成。目前二十二頁\總數(shù)五十四頁\編于二十點(diǎn)22三.

BP網(wǎng)絡(luò)的輸入輸出變換關(guān)系

在BP網(wǎng)絡(luò)中，神經(jīng)元的變換函數(shù)通常采用S型函數(shù)，因此輸出量是0到1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射。

具有偏置和調(diào)節(jié)的Sigmoid激發(fā)函數(shù)S型激活函數(shù)連續(xù)可微。算法上可嚴(yán)格利用梯度法進(jìn)行推算，權(quán)值修正的解析式明確。1.BP網(wǎng)絡(luò)中神經(jīng)元的激活函數(shù)目前二十三頁\總數(shù)五十四頁\編于二十點(diǎn)232.BP網(wǎng)絡(luò)的前饋計(jì)算（BP網(wǎng)絡(luò)輸入到輸出的映射計(jì)算）即根據(jù)神經(jīng)元所確定的輸入輸出變換函數(shù)，由輸入層向輸出層執(zhí)行遞推計(jì)算。一旦權(quán)值滿足訓(xùn)練要求，前饋計(jì)算結(jié)束，能使BP網(wǎng)絡(luò)實(shí)現(xiàn)期望的輸入輸出變換關(guān)系。BP網(wǎng)絡(luò)的前饋遞推算式：目前二十四頁\總數(shù)五十四頁\編于二十點(diǎn)24四.

BP網(wǎng)絡(luò)權(quán)值的訓(xùn)練及學(xué)習(xí)功能的實(shí)現(xiàn)1.訓(xùn)練樣本

BP網(wǎng)絡(luò)屬于監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)，BP網(wǎng)絡(luò)是通過在教師信號(hào)（樣本）的監(jiān)督下對(duì)連接權(quán)值進(jìn)行適當(dāng)?shù)挠?xùn)練從而實(shí)現(xiàn)學(xué)習(xí)功能的。

（1）訓(xùn)練樣本--理想輸入輸出對(duì)的集合，樣本來自客觀對(duì)象，信息集中包含著系統(tǒng)內(nèi)在的輸入輸出特性。（2）樣本特性--理想的樣本應(yīng)具有真實(shí)性和完整性。設(shè)有實(shí)際應(yīng)用中的P

組樣本，其中第p組樣本對(duì)形式如下：輸入樣本：輸出樣本：目前二十五頁\總數(shù)五十四頁\編于二十點(diǎn)252.定義誤差函數(shù)

連接權(quán)值的訓(xùn)練過程，就是BP網(wǎng)絡(luò)擬合未知函數(shù)得優(yōu)化計(jì)算過程。為了保證擬合精度，取如下算式作為擬合誤差函數(shù)：總誤差函數(shù)：一次樣本誤差函數(shù)：其中：是期望輸出值與網(wǎng)絡(luò)實(shí)際輸出之間的差值。目前二十六頁\總數(shù)五十四頁\編于二十點(diǎn)263.權(quán)值的訓(xùn)練及反向傳播計(jì)算過程x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學(xué)習(xí)算法)MqL

調(diào)整連接權(quán)值，以便使誤差函數(shù)E最小，優(yōu)化計(jì)算常采用一階梯度來實(shí)現(xiàn)。該方法的關(guān)鍵是計(jì)算優(yōu)化目標(biāo)函數(shù)（即誤差函數(shù)）E對(duì)尋優(yōu)參數(shù)（即連接權(quán)值）的一階倒數(shù)。即：

調(diào)整連接權(quán)值按照反向傳播的原則，從輸出層開始向前逐一推算。目前二十七頁\總數(shù)五十四頁\編于二十點(diǎn)27（1）首先計(jì)算第Q層（即輸出層）其中：(Ⅰ)目前二十八頁\總數(shù)五十四頁\編于二十點(diǎn)28（2）再計(jì)算第Q-1層（即次輸出層）其中：(Ⅱ)見上頁(Ⅰ)式：目前二十九頁\總數(shù)五十四頁\編于二十點(diǎn)29（3）第q層的反向遞推計(jì)算根據(jù)（Ⅰ）,（Ⅱ）兩式可獲得反向遞推算式：這里的q層是指由Q-1向前遞推的任意網(wǎng)絡(luò)層次（其中：q=Q-2，Q-3，…,1)首先計(jì)算←←←←目前三十頁\總數(shù)五十四頁\編于二十點(diǎn)30在每一層的反向遞推計(jì)算需要說明的是：中都出現(xiàn)導(dǎo)數(shù)項(xiàng)。該項(xiàng)的計(jì)算，與所取的激活函數(shù)直接相關(guān)。比如：取變換函數(shù)為S型函數(shù)，那么其導(dǎo)數(shù)項(xiàng)可計(jì)算如下：由于：所以：目前三十一頁\總數(shù)五十四頁\編于二十點(diǎn)31最后可歸納出BP網(wǎng)絡(luò)的學(xué)習(xí)算法如下：

第q層：輸出層：目前三十二頁\總數(shù)五十四頁\編于二十點(diǎn)32五.BP網(wǎng)絡(luò)的特點(diǎn)和優(yōu)點(diǎn)、局限性及其改進(jìn)特點(diǎn)：（1）是一種多層網(wǎng)絡(luò)，包括輸入層、隱含層和輸出層；（2）層與層之間采用全互連方式，同一層神經(jīng)元之間不連接；（3）權(quán)值通過δ學(xué)習(xí)算法進(jìn)行調(diào)節(jié)；（4）神經(jīng)元激發(fā)函數(shù)為S函數(shù)；（5）學(xué)習(xí)算法由正向傳播和反向傳播組成；（6）層與層的連接是單向的，信息的傳播是雙向的。目前三十三頁\總數(shù)五十四頁\編于二十點(diǎn)33優(yōu)點(diǎn)：（1）隱層的作用是使問題的可調(diào)參數(shù)增加，使解更加準(zhǔn)確。只要有足夠多的隱層和隱層節(jié)點(diǎn)，BP網(wǎng)絡(luò)可以逼近任意的非線性映射關(guān)系。（2）由所取的作用函數(shù)知，BP網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近算法，具有較強(qiáng)的泛化能力。

泛化能力—用較少的樣本進(jìn)行訓(xùn)練，使網(wǎng)絡(luò)能對(duì)未經(jīng)訓(xùn)練的輸入也能給出合適的輸出。從函數(shù)擬合的觀點(diǎn)，這表明BP網(wǎng)絡(luò)具有插值計(jì)算的能力。沒有泛化能力的神經(jīng)網(wǎng)絡(luò)無任何使用價(jià)值。

目前三十四頁\總數(shù)五十四頁\編于二十點(diǎn)34（3）BP網(wǎng)絡(luò)輸入、輸出之間的關(guān)聯(lián)信息分布地存儲(chǔ)在網(wǎng)絡(luò)的連接權(quán)中，個(gè)別神經(jīng)元的損壞只對(duì)輸入輸出關(guān)系有較小的影響，因而BP網(wǎng)絡(luò)具有較好的容錯(cuò)性。目前三十五頁\總數(shù)五十四頁\編于二十點(diǎn)35局限性：⑴目標(biāo)函數(shù)存在多個(gè)極值點(diǎn)，按梯度下降法進(jìn)行學(xué)習(xí)，很容易陷入局部極小值；⑵學(xué)習(xí)算法的收斂速度慢，且收斂速度與初始權(quán)的選擇有關(guān)，難以適應(yīng)實(shí)時(shí)控制的要求；⑶難以確定隱層及其節(jié)點(diǎn)的數(shù)目。目前，確定具體的網(wǎng)絡(luò)結(jié)構(gòu)尚無好方法，仍根據(jù)經(jīng)驗(yàn)試湊。⑷訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。針對(duì)上述問題，提出3種較常用的改進(jìn)算法。目前三十六頁\總數(shù)五十四頁\編于二十點(diǎn)361、引入動(dòng)量項(xiàng)增加動(dòng)量項(xiàng)從前一次權(quán)值調(diào)整量中取出一部分疊加到本次權(quán)值調(diào)整量中。動(dòng)量項(xiàng)反映以前積累的調(diào)整經(jīng)驗(yàn)，對(duì)t時(shí)刻調(diào)整起阻尼作用。減小學(xué)習(xí)過程的振蕩趨勢，是目前應(yīng)用較廣泛的一種改進(jìn)算法。

其中，，為k時(shí)刻的負(fù)梯度。

為學(xué)習(xí)率，

>0。

為動(dòng)量項(xiàng)因子，。根據(jù)經(jīng)驗(yàn)數(shù)據(jù)動(dòng)量項(xiàng)因子取0.95比較適合。引入前：引入后：目前三十七頁\總數(shù)五十四頁\編于二十點(diǎn)372、自適應(yīng)調(diào)節(jié)學(xué)習(xí)率

設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使總誤差↑，則本次調(diào)整無效，且降低；若經(jīng)過一批次權(quán)值調(diào)整后使總誤差↓，則本次調(diào)整有效，且增大

。標(biāo)準(zhǔn)BP算法問題：學(xué)習(xí)率為一常數(shù)，很難確定一個(gè)從始到終都合適的最佳學(xué)習(xí)率。如誤差曲面平坦區(qū)太小會(huì)使訓(xùn)練次數(shù)增加；而誤差變化劇烈的區(qū)域太大會(huì)使訓(xùn)練出現(xiàn)振蕩。解決方法如下：目前三十八頁\總數(shù)五十四頁\編于二十點(diǎn)383、引入陡度因子標(biāo)準(zhǔn)BP算法問題：

誤差曲面存在平坦區(qū)，其原因是神經(jīng)元輸出進(jìn)入了轉(zhuǎn)移函數(shù)的飽和區(qū)。

解決思路：

壓縮神經(jīng)元凈輸入，使其輸出退出飽和區(qū)。目前三十九頁\總數(shù)五十四頁\編于二十點(diǎn)39

實(shí)現(xiàn)這一思路的具體作法是，在原轉(zhuǎn)移函數(shù)中引入一個(gè)陡度因子λ

當(dāng)發(fā)現(xiàn)ΔE接近零而目標(biāo)與實(shí)際輸出仍較大時(shí)，可判斷已進(jìn)入平坦區(qū)，此時(shí)令λ>1；退出平坦區(qū)后，再令λ=1。λ>1：轉(zhuǎn)移函數(shù)曲線敏感區(qū)變長；λ=1：轉(zhuǎn)移函數(shù)恢復(fù)原狀。目前四十頁\總數(shù)五十四頁\編于二十點(diǎn)404、誤差函數(shù)的改進(jìn)

目前四十一頁\總數(shù)五十四頁\編于二十點(diǎn)41(1)產(chǎn)生數(shù)據(jù)樣本集(2)確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)(3)訓(xùn)練和測試

3.2.3神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目前四十二頁\總數(shù)五十四頁\編于二十點(diǎn)42(1)產(chǎn)生數(shù)據(jù)樣本集

這里包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預(yù)處理。

首先要在大量的原始測量數(shù)據(jù)中確定出最主要的輸入模式。這就需要對(duì)原始數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，檢驗(yàn)它們之間的相關(guān)性。找出其中最主要的量作為輸入。

目前四十三頁\總數(shù)五十四頁\編于二十點(diǎn)43

在確定了最重要的輸入量后，需進(jìn)行尺度變換和預(yù)處理。尺度變換常常將它們變換到

[-1,1]或[0,1]的范圍。在進(jìn)行尺度變換前必須先檢查是否存在異常點(diǎn)（或稱野點(diǎn)），這些點(diǎn)必須剔除。對(duì)于一個(gè)復(fù)雜問題應(yīng)該選擇多少數(shù)據(jù)，這也是一個(gè)很關(guān)鍵的問題。系統(tǒng)的輸入輸出關(guān)系就包含在這些數(shù)據(jù)樣本中。所以一般說來，取的數(shù)據(jù)越多，學(xué)習(xí)和訓(xùn)練的結(jié)果便越能正確反映輸入輸出關(guān)系。目前四十四頁\總數(shù)五十四頁\編于二十點(diǎn)44

但是選太多的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡(luò)訓(xùn)練的所付的代價(jià)。選太少的數(shù)據(jù)則可能得不到正確的結(jié)果。事實(shí)上數(shù)據(jù)的多少取決于許多因素，如網(wǎng)絡(luò)的大小、網(wǎng)絡(luò)測試的需要以及輸入輸出的分布等。其中網(wǎng)絡(luò)大小最關(guān)鍵。通常較大的網(wǎng)絡(luò)需要較多的訓(xùn)練數(shù)據(jù)。一個(gè)經(jīng)驗(yàn)規(guī)則是：訓(xùn)練模式應(yīng)是連接權(quán)總數(shù)的5至10倍。目前四十五頁\總數(shù)五十四頁\編于二十點(diǎn)45

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，需要有另外的測試數(shù)據(jù)來對(duì)網(wǎng)絡(luò)加以檢驗(yàn)，測試數(shù)據(jù)應(yīng)是獨(dú)立的數(shù)據(jù)集合。

最簡單的方法是：將收集到的可用數(shù)據(jù)隨機(jī)地分成兩部分，譬如說其中三分之二用于網(wǎng)絡(luò)的訓(xùn)練，另外三分之一用于將來的測試，隨機(jī)選取的目的是為了盡量減小這兩部分?jǐn)?shù)據(jù)的相關(guān)性。

影響數(shù)據(jù)大小的另一個(gè)因素是輸入模式和輸出結(jié)果的分布，對(duì)數(shù)據(jù)預(yù)先加以分類可以減少所需的數(shù)據(jù)量。相反，數(shù)據(jù)稀薄不勻甚至互相覆蓋則勢必要增加數(shù)據(jù)量。目前四十六頁\總數(shù)五十四頁\編于二十點(diǎn)46(2)確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)

在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前，首先要確定所選的網(wǎng)絡(luò)類型。若主要用于模式分類，尤其是線性可分的情況，則可采用較為簡單的感知器網(wǎng)絡(luò)；若主要用于函數(shù)估計(jì)，則可應(yīng)用BP網(wǎng)絡(luò)。實(shí)際上，神經(jīng)網(wǎng)絡(luò)的類型很多，需根據(jù)問題的性質(zhì)和任務(wù)的要求來合適地選擇網(wǎng)絡(luò)類型。一般是從已有的網(wǎng)絡(luò)類型中選用一種比較簡單而又能滿足要求的網(wǎng)絡(luò)。

目前四十七頁\總數(shù)五十四頁\編于二十點(diǎn)47

在網(wǎng)絡(luò)的類型確定后，剩下的問題是選擇網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)。以BP網(wǎng)絡(luò)為例，需選擇網(wǎng)絡(luò)的層數(shù)、每層的節(jié)點(diǎn)數(shù)、初始權(quán)值、閾值、學(xué)習(xí)算法、節(jié)點(diǎn)變換函數(shù)及參數(shù)、學(xué)習(xí)率及動(dòng)量項(xiàng)因子等參數(shù)。這里有些項(xiàng)的選擇有一些指導(dǎo)原則，但更多的是靠經(jīng)驗(yàn)和試湊。

目前四十八頁\總數(shù)五十四頁\編于二十點(diǎn)48

具體選擇有如下兩種方法：

a.先設(shè)置較少節(jié)點(diǎn)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測試網(wǎng)絡(luò)的逼近誤差，然后逐漸增加節(jié)點(diǎn)數(shù)，直到測試的誤差不再有明顯減小為止。

對(duì)于具體問題若確定了輸入和輸出變量后，網(wǎng)絡(luò)輸入