最新BP神經(jīng)網(wǎng)絡(luò)的基本原理很清楚干貨分享

1、bp神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚5 bp神經(jīng)網(wǎng)絡(luò)的基本原理bp(bac proagatio）網(wǎng)絡(luò)是198年由riehrt和mcceland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。p網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程.它的學(xué)習(xí)規(guī)則是使用最速下降法,通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。p神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層(input)、隱層（hide lay）和輸出層（utput layer）（如圖5。2所示)。.。1bp神經(jīng)元圖.3給出了第j個(gè)基本bp神經(jīng)元（節(jié)點(diǎn)

2、)，它只模仿了生物神經(jīng)元所具有的三個(gè)最基本也是最重要的功能:加權(quán)、求和與轉(zhuǎn)移.其中x1、x2xin分別代表來自神經(jīng)元1、2i的輸入；j1、wjwjiwn則分別表示神經(jīng)元、in與第j個(gè)神經(jīng)元的連接強(qiáng)度，即權(quán)值;bj為閾值；f(·）為傳遞函數(shù);j為第j個(gè)神經(jīng)元的輸出。第j個(gè)神經(jīng)元的凈輸入值為：                 （.12）其中：     若視，即令及包括及，則 

3、60; 于是節(jié)點(diǎn)j的凈輸入可表示為：                     （.13）    凈輸入通過傳遞函數(shù)（trnr fnion)f(·)后,便得到第j個(gè)神經(jīng)元的輸出:          （5.1）式中（·）是單調(diào)上升函數(shù),而且必須是有界函數(shù)

4、,因?yàn)榧?xì)胞傳遞的信號(hào)不可能無限增加，必有一最大值。4.2 網(wǎng)絡(luò)bp算法由數(shù)據(jù)流的前向計(jì)算（正向傳播）和誤差信號(hào)的反向傳播兩個(gè)過程構(gòu)成.正向傳播時(shí)，傳播方向?yàn)檩斎雽与[層輸出層,每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元.若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號(hào)的反向傳播流程.通過這兩個(gè)過程的交替進(jìn)行,在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略，動(dòng)態(tài)迭代搜索一組權(quán)向量,使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值，從而完成信息提取和記憶過程。5。4。2。正向傳播設(shè) bp網(wǎng)絡(luò)的輸入層有個(gè)節(jié)點(diǎn)，隱層有q個(gè)節(jié)點(diǎn),輸出層有m個(gè)節(jié)點(diǎn)，輸入層與隱層之間的權(quán)值為，隱層與輸出層之間的權(quán)值為，如圖5。4所示。隱層的傳遞函數(shù)為(·)，輸出

5、層的傳遞函數(shù)為f（·）,則隱層節(jié)點(diǎn)的輸出為（將閾值寫入求和項(xiàng)中）：         k=1,q             （51)輸出層節(jié)點(diǎn)的輸出為:      =1，2,            

6、60;（5。16）至此bp網(wǎng)絡(luò)就完成了n維空間向量對維空間的近似映射。5.4。2.2 反向傳播）     定義誤差函數(shù)輸入個(gè)學(xué)習(xí)樣本，用來表示。第個(gè)樣本輸入到網(wǎng)絡(luò)后得到輸出(=1，2，m）。采用平方型誤差函數(shù),于是得到第個(gè)樣本的誤差ep：                    （5。7）式中:為期望輸出.對于個(gè)樣本，全局誤差為:  

7、60;             （.1)2)輸出層權(quán)值的變化采用累計(jì)誤差b算法調(diào)整，使全局誤差變小，即          （。19）式中:學(xué)習(xí)率定義誤差信號(hào)為：                  （5。20)其

8、中第一項(xiàng):          (.2)    第二項(xiàng)：                         （22)是輸出層傳遞函數(shù)的偏微分.于是：        

9、           （5.23)由鏈定理得:      （524）于是輸出層各神經(jīng)元的權(quán)值調(diào)整公式為：               （。5）隱層權(quán)值的變化          （。26）定義誤差信號(hào)為：

10、0;                 （27)其中第一項(xiàng)：         (28）依鏈定理有:                 （5.2）  

11、60; 第二項(xiàng)：                         （.30）是隱層傳遞函數(shù)的偏微分。于是：               （531）由鏈定理得：   （5。32）從而得到隱層各

12、神經(jīng)元的權(quán)值調(diào)整公式為：            (。3)5.4。3bp算法的改進(jìn)bp算法理論具有依據(jù)可靠、推導(dǎo)過程嚴(yán)謹(jǐn)、精度較高、通用性較好等優(yōu)點(diǎn),但標(biāo)準(zhǔn)bp算法存在以下缺點(diǎn)：收斂速度緩慢;容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點(diǎn)個(gè)數(shù)。在實(shí)際應(yīng)用中，b算法很難勝任，因此出現(xiàn)了很多改進(jìn)算法。）   利用動(dòng)量法改進(jìn)p算法標(biāo)準(zhǔn)bp算法實(shí)質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)方法，在修正w（k）時(shí)，只按照第步的負(fù)梯度方向進(jìn)行修正,而沒有考慮到以前積累的經(jīng)驗(yàn),即以前時(shí)

13、刻的梯度方向,從而常常使學(xué)習(xí)過程發(fā)生振蕩,收斂緩慢。動(dòng)量法權(quán)值調(diào)整算法的具體做法是：將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計(jì)算所得的權(quán)值調(diào)整量上,作為本次的實(shí)際權(quán)值調(diào)整量，即：                (53）其中：為動(dòng)量系數(shù),通常0.9;學(xué)習(xí)率,范圍在0。0110之間。這種方法所加的動(dòng)量因子實(shí)際上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過程中的振蕩趨勢，從而改善了收斂性.動(dòng)量法降低了網(wǎng)絡(luò)對于誤差曲面局部細(xì)節(jié)的敏感性，有效的抑制了網(wǎng)絡(luò)陷入局部極小。2

14、)    自適應(yīng)調(diào)整學(xué)習(xí)速率標(biāo)準(zhǔn)bp算法收斂速度緩慢的一個(gè)重要原因是學(xué)習(xí)率選擇不當(dāng),學(xué)習(xí)率選得太小，收斂太慢;學(xué)習(xí)率選得太大,則有可能修正過頭，導(dǎo)致振蕩甚至發(fā)散?？刹捎脠D。所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率.調(diào)整的基本指導(dǎo)思想是：在學(xué)習(xí)收斂的情況下，增大,以縮短學(xué)習(xí)時(shí)間;當(dāng)偏大致使不能收斂時(shí),要及時(shí)減小，直到收斂為止。）    動(dòng)量自適應(yīng)學(xué)習(xí)速率調(diào)整算法采用動(dòng)量法時(shí)，bp算法可以找到更優(yōu)的解；采用自適應(yīng)學(xué)習(xí)速率法時(shí),p算法可以縮短訓(xùn)練時(shí)間。將以上兩種方法結(jié)合起來，就得到動(dòng)量自適應(yīng)學(xué)習(xí)速率調(diào)整算法.4）   lm學(xué)

15、習(xí)規(guī)則m（levenbrgmrquard）算法比前述幾種使用梯度下降法的p算法要快得多，但對于復(fù)雜問題,這種方法需要相當(dāng)大的存儲(chǔ)空間.lm（levenbrg-mrquadt)優(yōu)化方法的權(quán)值調(diào)整率選為:                  （5。35）其中：e誤差向量;j網(wǎng)絡(luò)誤差對權(quán)值導(dǎo)數(shù)的雅可比(acobian)矩陣;標(biāo)量,當(dāng)很大時(shí)上式接近于梯度法，當(dāng)很小時(shí)上式變成了aus-ewton法,在這種方法中，也是自適應(yīng)調(diào)整的。綜合考慮

16、，擬采用lm學(xué)習(xí)規(guī)則和動(dòng)量法分別作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)和學(xué)習(xí)函數(shù)。5.5 bp神經(jīng)網(wǎng)絡(luò)的訓(xùn)練策略及結(jié)果本文借助于matlb神經(jīng)網(wǎng)絡(luò)工具箱來實(shí)現(xiàn)多層前饋bp網(wǎng)絡(luò)（mulilayer fedforward backpopationnetwork）的顏色空間轉(zhuǎn)換,免去了許多編寫計(jì)算機(jī)程序的煩惱.神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出值與輸入值以及各權(quán)值和閾值有關(guān)，為了使實(shí)際輸出值與網(wǎng)絡(luò)期望輸出值相吻合,可用含有一定數(shù)量學(xué)習(xí)樣本的樣本集和相應(yīng)期望輸出值的集合來訓(xùn)練網(wǎng)絡(luò)。訓(xùn)練時(shí)仍然使用本章5.2節(jié)中所述的實(shí)測樣本數(shù)據(jù)。另外,目前尚未找到較好的網(wǎng)絡(luò)構(gòu)造方法。確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)系數(shù)來描述給定的映射或逼近一個(gè)未知的映射，只能

17、通過學(xué)習(xí)方式得到滿足要求的網(wǎng)絡(luò)模型.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可以理解為：對確定的網(wǎng)絡(luò)結(jié)構(gòu),尋找一組滿足要求的權(quán)系數(shù)，使給定的誤差函數(shù)最小.設(shè)計(jì)多層前饋網(wǎng)絡(luò)時(shí)，主要側(cè)重試驗(yàn)、探討多種模型方案，在實(shí)驗(yàn)中改進(jìn)，直到選取一個(gè)滿意方案為止,可按下列步驟進(jìn)行：對任何實(shí)際問題先都只選用一個(gè)隱層;使用很少的隱層節(jié)點(diǎn)數(shù)；不斷增加隱層節(jié)點(diǎn)數(shù)，直到獲得滿意性能為止；否則再采用兩個(gè)隱層重復(fù)上述過程。訓(xùn)練過程實(shí)際上是根據(jù)目標(biāo)值與網(wǎng)絡(luò)輸出值之間誤差的大小反復(fù)調(diào)整權(quán)值和閾值，直到此誤差達(dá)到預(yù)定值為止。5。5。1 確定bp網(wǎng)絡(luò)的結(jié)構(gòu)確定了網(wǎng)絡(luò)層數(shù)、每層節(jié)點(diǎn)數(shù)、傳遞函數(shù)、初始權(quán)系數(shù)、學(xué)習(xí)算法等也就確定了bp網(wǎng)絡(luò)。確定這些選項(xiàng)時(shí)有一定的指

18、導(dǎo)原則，但更多的是靠經(jīng)驗(yàn)和試湊。）隱層數(shù)的確定：98年robert echnelso證明了對任何在閉區(qū)間內(nèi)的連續(xù)函數(shù)，都可以用一個(gè)隱層的bp網(wǎng)絡(luò)來逼近，因而一個(gè)三層的網(wǎng)絡(luò)可以完成任意的n維到m維的映照。因此我們從含有一個(gè)隱層的網(wǎng)絡(luò)開始進(jìn)行訓(xùn)練。2） bp網(wǎng)絡(luò)常用傳遞函數(shù):bp網(wǎng)絡(luò)的傳遞函數(shù)有多種.ogsmoid型函數(shù)的輸入值可取任意值,輸出值在0和1之間;tansigmod型傳遞函數(shù)tasig的輸入值可取任意值，輸出值在1到+1之間；線性傳遞函數(shù)purelin的輸入與輸出值可取任意值。bp網(wǎng)絡(luò)通常有一個(gè)或多個(gè)隱層，該層中的神經(jīng)元均采用igmoid型傳遞函數(shù),輸出層的神經(jīng)元?jiǎng)t采用線性傳遞函數(shù),整

19、個(gè)網(wǎng)絡(luò)的輸出可以取任意值。各種傳遞函數(shù)如圖5。6所示。只改變傳遞函數(shù)而其余參數(shù)均固定，用本章5。2節(jié)所述的樣本集訓(xùn)練bp網(wǎng)絡(luò)時(shí)發(fā)現(xiàn),傳遞函數(shù)使用tnsig函數(shù)時(shí)要比logsg函數(shù)的誤差小.于是在以后的訓(xùn)練中隱層傳遞函數(shù)改用tnsig函數(shù)，輸出層傳遞函數(shù)仍選用puein函數(shù)。） 每層節(jié)點(diǎn)數(shù)的確定：使用神經(jīng)網(wǎng)絡(luò)的目的是實(shí)現(xiàn)攝像機(jī)輸出g顏色空間與ce-xyz色空間轉(zhuǎn)換，因此p網(wǎng)絡(luò)的輸入層和輸出層的節(jié)點(diǎn)個(gè)數(shù)分別為3.下面主要介紹隱層節(jié)點(diǎn)數(shù)量的確定.對于多層前饋網(wǎng)絡(luò)來說,隱層節(jié)點(diǎn)數(shù)的確定是成敗的關(guān)鍵.若數(shù)量太少,則網(wǎng)絡(luò)所能獲取的用以解決問題的信息太少；若數(shù)量太多，不僅增加訓(xùn)練時(shí)間,更重要的是隱層節(jié)點(diǎn)過多

20、還可能出現(xiàn)所謂“過渡吻合”(erfitig）問題，即測試誤差增大導(dǎo)致泛化能力下降，因此合理選擇隱層節(jié)點(diǎn)數(shù)非常重要。關(guān)于隱層數(shù)及其節(jié)點(diǎn)數(shù)的選擇比較復(fù)雜,一般原則是：在能正確反映輸入輸出關(guān)系的基礎(chǔ)上，應(yīng)選用較少的隱層節(jié)點(diǎn)數(shù)，以使網(wǎng)絡(luò)結(jié)構(gòu)盡量簡單。本論文中采用網(wǎng)絡(luò)結(jié)構(gòu)增長型方法,即先設(shè)置較少的節(jié)點(diǎn)數(shù)，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測試學(xué)習(xí)誤差，然后逐漸增加節(jié)點(diǎn)數(shù)，直到學(xué)習(xí)誤差不再有明顯減少為止.55。 誤差的選取在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中選擇均方誤差se較為合理，原因如下:  標(biāo)準(zhǔn)bp算法中,誤差定義為：        

21、0;             （5.36）每個(gè)樣本作用時(shí)，都對權(quán)矩陣進(jìn)行了一次修改。由于每次權(quán)矩陣的修改都沒有考慮權(quán)值修改后其它樣本作用的輸出誤差是否也減小，因此將導(dǎo)致迭代次數(shù)增加。 累計(jì)誤差p算法的全局誤差定義為:               （53)這種算法是為了減小整個(gè)訓(xùn)練集的全局誤差,而不針對某一特定樣本,因此

22、如果作某種修改能使全局誤差減小，并不等于說每一個(gè)特定樣本的誤差也都能同時(shí)減小。它不能用來比較和m不同的網(wǎng)絡(luò)性能。因?yàn)閷τ谕痪W(wǎng)絡(luò)來說,p越大,e也越大； 值相同,m越大e也越大。 均方誤差mse：                  （5。38)其中:輸出節(jié)點(diǎn)的個(gè)數(shù)，-訓(xùn)練樣本數(shù)目，網(wǎng)絡(luò)期望輸出值，-網(wǎng)絡(luò)實(shí)際輸出值.均方誤差克服了上述兩種算法的缺點(diǎn)，所以選用均方誤差算法較合理。55。3 訓(xùn)練結(jié)果訓(xùn)練一個(gè)單隱層的三層b網(wǎng)

23、絡(luò),根據(jù)如下經(jīng)驗(yàn)公式選擇隱層節(jié)點(diǎn)數(shù)125:                         (59)式中：為輸入節(jié)點(diǎn)個(gè)數(shù)，m為輸出節(jié)點(diǎn)個(gè)數(shù)，a為1到10之間的常數(shù)。針對本論文n1取值范圍為313。訓(xùn)練結(jié)果如表5.1所示。表5。1   隱層節(jié)點(diǎn)數(shù)與誤差的關(guān)系隱層神經(jīng)元個(gè)數(shù)訓(xùn)練誤差測試誤差1。56。27540。74325。63890.7286

24、0.572406707055287068580.4451753857804910029640。55101590。64120。13780.813。1685。67由上表可以看出:              增加隱層節(jié)點(diǎn)數(shù)可以減少訓(xùn)練誤差，但超過10以后測試誤差產(chǎn)生波動(dòng)，即泛化能力發(fā)生變化。綜合比較隱層節(jié)點(diǎn)數(shù)為0與12的訓(xùn)練誤差和測試誤差，決定隱層節(jié)點(diǎn)數(shù)選用12.         &

25、#160;    訓(xùn)練誤差和測試誤差都很大，而且收斂速度極慢（訓(xùn)練過程如圖5.7所示）,這個(gè)問題可以通過對輸出量進(jìn)行歸一化來解決.根據(jù)sim型傳遞函數(shù)輸入和輸出的范圍，對輸入變量不進(jìn)行歸一化處理，只對輸出變量進(jìn)行歸一化，這是因?yàn)樵谳敵鰯?shù)據(jù)要求歸一化的同時(shí)，對輸入數(shù)據(jù)也進(jìn)行歸一化的話，權(quán)值的可解釋性就更差了。目標(biāo)值按下式進(jìn)行變化:                   （40)使目標(biāo)值落在0.050.9之間,這樣靠近數(shù)據(jù)變化區(qū)間端點(diǎn)的網(wǎng)絡(luò)輸出值就有一波動(dòng)范圍，網(wǎng)絡(luò)的性能較好。用新生成的訓(xùn)練樣本與測試樣