誤差反向傳播

1、誤差反向傳播（Error Back Propagation, BP）算法1、BP算法的基本思想是，學(xué)習(xí)過程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過程組成。1）正向傳播：輸入樣本>輸入層>各隱層（處理）>輸出層 注1：若輸出層實(shí)際輸出與期望輸出（教師信號(hào)）不符，則轉(zhuǎn)入2）（誤差反向傳播過程）2）誤差反向傳播：輸出誤差（某種形式）>隱層（逐層）>輸入層 其主要目的是通過將輸出誤差反傳，將誤差分?jǐn)偨o各層所有單元，從而獲得各層單元的誤差信號(hào)，進(jìn)而修正各單元的權(quán)值（其過程，是一個(gè)權(quán)值調(diào)整的過程）。注2：權(quán)值調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程（學(xué)習(xí)也就是這么的由來，權(quán)值調(diào)整）

2、。2、BP算法實(shí)現(xiàn)步驟（軟件）：1）初始化2）輸入訓(xùn)練樣本對(duì)，計(jì)算各層輸出3）計(jì)算網(wǎng)絡(luò)輸出誤差4）計(jì)算各層誤差信號(hào)5）調(diào)整各層權(quán)值6）檢查網(wǎng)絡(luò)總誤差是否達(dá)到精度要求滿足，則訓(xùn)練結(jié)束；不滿足，則返回步驟2）3、多層感知器（基于BP算法）的主要能力：1）非線性映射：足夠多樣本>學(xué)習(xí)訓(xùn)練能學(xué)習(xí)和存儲(chǔ)大量輸入輸出模式映射關(guān)系。只要能提供足夠多的樣本模式對(duì)供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。2）泛化：輸入新樣本（訓(xùn)練是未有）>完成正確的輸入、輸出映射3）容錯(cuò)：個(gè)別樣本誤差不能左右對(duì)權(quán)矩陣的調(diào)整4、標(biāo)準(zhǔn)BP算法的缺陷：1）易形成局部極?。▽儇澙匪惴?，局部

3、最優(yōu))而得不到全局最優(yōu)；2）訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低下，收斂速度慢（需做大量運(yùn)算）；3）隱節(jié)點(diǎn)的選取缺乏理論支持；4）訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本趨勢(shì)。注3：改進(jìn)算法增加動(dòng)量項(xiàng)、自適應(yīng)調(diào)整學(xué)習(xí)速率（這個(gè)似乎不錯(cuò))及引入陡度因子BP算法基本介紹含有隱層的多層前饋網(wǎng)絡(luò)能大大提高神經(jīng)網(wǎng)絡(luò)的分類能力，但長(zhǎng)期以來沒有提出解決權(quán)值調(diào)整問題的游戲算法。1986年，Rumelhart和McCelland領(lǐng)導(dǎo)的科學(xué)家小組在Parallel Distributed Processing一書中，對(duì)具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播（Error Back Proragation，簡(jiǎn)稱BP）算法進(jìn)行了詳

4、盡的分析，實(shí)現(xiàn)了Minsky關(guān)于多層網(wǎng)絡(luò)的設(shè)想。由于多層前饋網(wǎng)絡(luò)的訓(xùn)練經(jīng)常采用誤差反向傳播算法，人們也常把將多層前饋網(wǎng)絡(luò)直接稱為BP網(wǎng)絡(luò)。BP算法的基本思想是，學(xué)習(xí)過程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過程組成。正向傳播時(shí)，輸入樣本從輸入層傳人，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出(教師信號(hào))不符，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程，是周而復(fù)始地進(jìn)行的。權(quán)值不斷調(diào)整的過程，也就

5、是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。 5,BP算法的網(wǎng)絡(luò)結(jié)構(gòu)示意圖BP算法 輸入、輸出層各3節(jié)點(diǎn)，隱層要多少節(jié)點(diǎn)合適？懸賞分：0 - 解決時(shí)間：2010-5-2 15:16對(duì)下面九種模式實(shí)現(xiàn)正確的分類：第一類輸入樣本(3/4, 1/8), (1/4, 1/4), (3/4, 3/4),對(duì)于第一類樣本對(duì)應(yīng)的期望輸出為（1；-1；-1）第二類輸入樣本(1/2, 1/8), (3/4, 1/4), (1/4, 3/4),對(duì)于第一類樣本對(duì)應(yīng)的期望輸出為（-1；1；-1）第三類輸入樣本(1/4, 1/2), (1/2, 1/2), (3

6、/4, 1/2),對(duì)于第一類樣本對(duì)應(yīng)的期望輸出為（-1；-1；1）提問者： dingyong198608 - 一級(jí)最佳答案可以使用試湊法，采用公式m=sqrt(n+l）+a，其中m為隱層結(jié)點(diǎn)數(shù)，n為輸入層結(jié)點(diǎn)數(shù)，l為輸出層結(jié)點(diǎn)數(shù)，a為15之間的常數(shù)。2編輯本段摘 要神經(jīng)網(wǎng)絡(luò)算法是在神經(jīng)網(wǎng)絡(luò)現(xiàn)有算法的基礎(chǔ)上提出的，是通過任意選定一組權(quán)值，將給定的目標(biāo)輸出直接作為線性方程的代數(shù)和來建立線性方程組，解得待求權(quán)，不存在傳統(tǒng)方法的局部極小及收斂速度慢的問題，且更易理解。編輯本段關(guān)鍵詞 固定權(quán)值消元法；算法人工神經(jīng)網(wǎng)絡(luò)（ ，）系統(tǒng)是世紀(jì)年代后出現(xiàn)的，它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行

7、處理、分布式信息存儲(chǔ)、良好的自組織自學(xué)習(xí)能力等特點(diǎn)，在信息處理、模式識(shí)別、智能控制及系統(tǒng)建模等領(lǐng)域得到越來越廣泛的應(yīng)用。尤其誤差反向傳播算法（ ，簡(jiǎn)稱網(wǎng)絡(luò)）可以逼近任意連續(xù)函數(shù)，具有很強(qiáng)的非線性映射能力，而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，所以它在許多應(yīng)用領(lǐng)域中起到重要作用。近年來，為了解決神經(jīng)網(wǎng)絡(luò)收斂速度慢、不能保證收斂到全局最小點(diǎn)，網(wǎng)絡(luò)的中間層及它的單元數(shù)選取無理論指導(dǎo)及網(wǎng)絡(luò)學(xué)習(xí)和記憶的不穩(wěn)定性等缺陷，提出了許多改進(jìn)算法。 傳統(tǒng)的算法簡(jiǎn)述算法是一種有監(jiān)督式的學(xué)習(xí)算法，其主要思想是：輸入學(xué)習(xí)樣本，使用反向傳播算法對(duì)網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行反復(fù)

8、的調(diào)整訓(xùn)練，使輸出的向量與期望向量盡可能地接近，當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差時(shí)訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏差。具體步驟如下：（）初始化，隨機(jī)給定各連接權(quán),及閥值i，t。 （）由給定的輸入輸出模式對(duì)計(jì)算隱層、輸出層各單元輸出 j（wijai-j） t（vjtbjt）式中：j為隱層第個(gè)神經(jīng)元實(shí)際輸出；t為輸出層第個(gè)神經(jīng)元的實(shí)際輸出；wij為輸入層至隱層的連接權(quán)；vjt為隱層至輸出層的連接權(quán)。 tk（tkt）t（t） jkdtvjt j（j）式中：tk為輸出層的校正誤差；jk為隱層的校正誤差。 （）計(jì)算新的連接權(quán)及閥值，計(jì)算公式如下：jt（）jt（）?琢tkj ij（）ij（）?茁jkik

9、t（）t（）?琢tk j（）=j（）?茁jk式中：?琢，?茁為學(xué)習(xí)系數(shù)（?琢，?茁）。（）選取下一個(gè)輸入模式對(duì)返回第步反復(fù)訓(xùn)練直到網(wǎng)絡(luò)設(shè)輸出誤差達(dá)到要求結(jié)束訓(xùn)練。傳統(tǒng)的算法，實(shí)質(zhì)上是把一組樣本輸入/輸出問題轉(zhuǎn)化為一個(gè)非線性優(yōu)化問題，并通過負(fù)梯度下降算法，利用迭代運(yùn)算求解權(quán)值問題的一種學(xué)習(xí)方法，但其收斂速度慢且容易陷入局部極小，為此提出了一種新的算法，即高斯消元法。 改進(jìn)的網(wǎng)絡(luò)算法 改進(jìn)算法概述此前有人提出：任意選定一組自由權(quán)，通過對(duì)傳遞函數(shù)建立線性方程組，解得待求權(quán)。本文在此基礎(chǔ)上將給定的目標(biāo)輸出直接作為線性方程等式代數(shù)和來建立線性方程組，不再通過對(duì)傳遞函數(shù)求逆來計(jì)算神經(jīng)元的凈輸出，簡(jiǎn)化了運(yùn)算

10、步驟。沒有采用誤差反饋原理，因此用此法訓(xùn)練出來的神經(jīng)網(wǎng)絡(luò)結(jié)果與傳統(tǒng)算法是等效的。其基本思想是：由所給的輸入、輸出模式對(duì)通過作用于神經(jīng)網(wǎng)絡(luò)來建立線性方程組，運(yùn)用高斯消元法解線性方程組來求得未知權(quán)值，而未采用傳統(tǒng)網(wǎng)絡(luò)的非線性函數(shù)誤差反饋尋優(yōu)的思想。 改進(jìn)算法的具體步驟對(duì)給定的樣本模式對(duì)，隨機(jī)選定一組自由權(quán)，作為輸出層和隱含層之間固定權(quán)值，通過傳遞函數(shù)計(jì)算隱層的實(shí)際輸出，再將輸出層與隱層間的權(quán)值作為待求量，直接將目標(biāo)輸出作為等式的右邊建立方程組來求解。 現(xiàn)定義如下符號(hào)（見圖）： （p）輸入層的輸入矢量； （p）輸入層輸入為 （p）時(shí)輸出層的實(shí)際輸出矢量； （p）目標(biāo)輸出矢量；，分別為輸入層、隱層和輸

11、出層神經(jīng)元個(gè)數(shù)；為隱層與輸入層間的權(quán)矩陣；為輸出層與隱層間的權(quán)矩陣。具體步驟如下：（）隨機(jī)給定隱層和輸入層間神經(jīng)元的初始權(quán)值ij。（）由給定的樣本輸入i（p）計(jì)算出隱層的實(shí)際輸出j（p）。為方便起見將圖網(wǎng)絡(luò)中的閥值寫入連接權(quán)中去，令：隱層閥值jnj，（），則：j（p）=（wiji（p） （，）。（）計(jì)算輸出層與隱層間的權(quán)值jr。以輸出層的第個(gè)神經(jīng)元為對(duì)象，由給定的輸出目標(biāo)值r（p）作為等式的多項(xiàng)式值建立方程，用線性方程組表示為：a0（1）v1r+a1（1）v2r+am（1）vmr=tr（1）a0（2）v1r+a1（2）v2r+am（2）vmr=tr（2） a0（p）v1r+a1（p）v2r+am（p）vmr=tr（p） 簡(jiǎn)寫為： 為了使該方程組有唯一解，方程矩陣為非奇異矩陣，其秩等于其增廣矩陣的秩，即