BP神經(jīng)網(wǎng)絡(luò)詳細(xì)講解

1、PS :這篇介紹神經(jīng)網(wǎng)絡(luò)是很詳細(xì)的，有一步一步的推導(dǎo)公式！神經(jīng)網(wǎng)絡(luò)是DL (深度學(xué)習(xí))的基礎(chǔ)。如果對(duì)神經(jīng)網(wǎng)絡(luò)已經(jīng)有所了解，可以直接跳到三、BP算法的執(zhí)行步驟 “部分，算法框架清晰明了。另外，如果對(duì) NN很感興趣，也可以參閱最后兩篇參考博文，也很不錯(cuò)！學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)一種最重要也最令人注目的特點(diǎn)。在神經(jīng)網(wǎng)絡(luò)的發(fā)展進(jìn)程中， 學(xué)習(xí)算法的研究有著十分重要的地位。目前，人們所提岀的神經(jīng)網(wǎng)絡(luò)模型都是和學(xué)習(xí)算法相應(yīng)的。所以，有時(shí)人們并不去祈求對(duì)模型和算法進(jìn)行嚴(yán)格的定義或區(qū)分。有的模型可以有多種算法.而有的算法可能可用于多種模型。不過(guò)，有時(shí)人們也稱(chēng)算法為模型。自從40年代Hebb提岀的學(xué)習(xí)規(guī)則以來(lái)，人們相繼提岀

2、了各種各樣的學(xué)習(xí)算法。其中以在1986年Rumelhart等提岀的誤差反向傳播法，即BP(error BackPropagation)法影響最為廣泛。直到今天，BP算法仍然是自動(dòng)控制上最重要、應(yīng)用最多的有效算法。1 . 2 . 1神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)理和機(jī)構(gòu)在神經(jīng)網(wǎng)絡(luò)中，對(duì)外部環(huán)境提供的模式樣本進(jìn)行學(xué)習(xí)訓(xùn)練，并能存儲(chǔ)這種模式，則稱(chēng)為感知器； 對(duì)外部環(huán)境有適應(yīng)能力，能自動(dòng)提取外部環(huán)境變化特征，則稱(chēng)為認(rèn)知器。神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)中，一般分為有教師和無(wú)教師學(xué)習(xí)兩種。感知器采用有教師信號(hào)進(jìn)行學(xué)習(xí)，而認(rèn)知器則采用無(wú)教師信號(hào)學(xué)習(xí)的。在主要神經(jīng)網(wǎng)絡(luò)如BP網(wǎng) 絡(luò)，Hopfield網(wǎng)絡(luò)，ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò)中；

3、BP網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)是需要教師信號(hào)才能進(jìn)行學(xué)習(xí)的；而 ART網(wǎng)絡(luò)和 Kohonen網(wǎng)絡(luò)則無(wú)需教師信號(hào)就可以學(xué)習(xí)。所謂教師信號(hào)，就是在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中由外部提供 的模式樣本信號(hào)。一、感知器的學(xué)習(xí)結(jié)構(gòu)感知器的學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)最典型的學(xué)習(xí)。目前，在控制上應(yīng)用的是多層前饋網(wǎng)絡(luò)，這是一種感知器模型，學(xué)習(xí)算法是BP法，故是有教師學(xué)習(xí)算法。一個(gè)有教師的學(xué)習(xí)系統(tǒng)可以用圖17表示。這種學(xué)習(xí)系統(tǒng)分成三個(gè)部分：輸入部，訓(xùn)練部和輸出部。輸入部接收外來(lái)的輸入樣本X，由訓(xùn)練部進(jìn)行網(wǎng)絡(luò)的權(quán)系數(shù)W調(diào)整，然后由輸岀部輸岀結(jié)果。在這個(gè)過(guò)程中，期望的輸出信號(hào)可以作為教師信號(hào)輸入，由該教師信號(hào)與實(shí)際輸出進(jìn)行比較，產(chǎn)生的誤差去控

4、制修改權(quán)系數(shù)W。學(xué)習(xí)機(jī)構(gòu)可用圖18所示的結(jié)構(gòu)表示。在圖中，Xi，X2，Xn，是輸入樣本信號(hào)， Wi，W2，Wn是權(quán)系數(shù)。輸入樣本信號(hào)Xi可 以取離散值“0或 “ 1。輸入樣本信號(hào)通過(guò)權(quán)系數(shù)作用，在u產(chǎn)生輸岀結(jié)果 EW i Xi，即有：u= EW i Xi =Wl Xi +W2 X2 + +Wn Xn再把期望輸岀信號(hào) 丫(t)和u進(jìn)行比較，從而產(chǎn)生誤差信號(hào)e。即權(quán)值調(diào)整機(jī)構(gòu)根據(jù)誤差e去對(duì)學(xué)習(xí)系統(tǒng)的權(quán)系數(shù)進(jìn)行修改，修改方向應(yīng)使誤差e變小，不斷進(jìn)行下去，使到誤差e為零，這時(shí)實(shí)際輸岀值u和期望輸岀值 丫(t)完全一樣，則學(xué)習(xí)過(guò)程結(jié)束。期望輸出y神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)一般需要多次重復(fù)訓(xùn)練，使誤差值逐漸向零趨近，

5、最后到達(dá)零。則這時(shí)才會(huì)使輸岀與期望一致。故而神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是消耗一定時(shí)期的，有的學(xué)習(xí)過(guò)程要重復(fù)很多次，甚至達(dá)萬(wàn)次級(jí)。原因在于神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)W有很多分量 Wi，W2，-Wn ；也即是一個(gè)多參數(shù)修改系統(tǒng)。系統(tǒng)的參數(shù)的調(diào)整就必定耗時(shí)耗量。目前，提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度，減少學(xué)習(xí)重復(fù)次數(shù)是 十分重要的研究課題，也是實(shí)時(shí)控制中的關(guān)鍵問(wèn)題。二、感知器的學(xué)習(xí)算法感知器是有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，由線(xiàn)性元件及閥值元件組成。感知器如圖1-9所示。圖1-9 感知器結(jié)構(gòu)感知器的數(shù)學(xué)模型：Ry=H Ewr - ei= 1(1-12)其中：f.是階躍函數(shù)，并且有rl汕二士WiXi-TmOi ti>U=SWiX.-

6、0<O(1-13)0是閥值。感知器的最大作用就是可以對(duì)輸入的樣本分類(lèi)，故它可作分類(lèi)器，感知器對(duì)輸入信號(hào)的分類(lèi)如下:(1-14)即是，當(dāng)感知器的輸岀為1時(shí)，輸入樣本稱(chēng)為 A類(lèi)；輸岀為-1時(shí)，輸入樣本稱(chēng)為 B類(lèi)。從上可知感知器的分類(lèi)邊界是：汰治_0二0(1-15)i = 1在輸入樣本只有兩個(gè)分量 X1 , X2時(shí)，則有分類(lèi)邊界條件：SWjXi -9 = 016)Wi Xi +W2 X2 - e =0（1-17）也可寫(xiě)成這時(shí)的分類(lèi)情況如固 i 10所示。感知器的學(xué)習(xí)算法目的在于找尋恰當(dāng)?shù)臋?quán)系數(shù)w = (wi . w2 ,，Wn)，使系統(tǒng)對(duì)一個(gè)特 定的樣本x = (xt, x2 ,，xn)熊產(chǎn)生

7、期望值d。當(dāng)x分類(lèi)為A類(lèi)時(shí)，期望值d = 1 ; X為B類(lèi) 時(shí)， d=-1。為了方便說(shuō)明感知器學(xué)習(xí)算法，把閥值e并人權(quán)系數(shù) w中，同時(shí)，樣本x也相應(yīng)增加一 個(gè)分量Xn+1。故令：wn+1 =- e， xn+1 =1(1-19)則感知器的輸出可表示為：A 11y-frswiXj (1-20)i= 1感知器學(xué)習(xí)算法步驟如下：1 對(duì)權(quán)系數(shù)w置初值對(duì)權(quán)系數(shù)w =(W1 W2 ,，Wn , Wn+1 )的各個(gè)分量置一個(gè)較小的零隨機(jī)值，但Wn+1 = - 0并記為 W1 (0) , W2 (0),，Wn (0)，同時(shí)有 Wn+1(0) = -0。這里 Wi (t)為t時(shí)刻從第i個(gè) 輸入上的權(quán)系數(shù)，i= 1

8、，2，n。Wn+1 (t)為t時(shí)刻時(shí)的閥值。圖1-10感知器的分類(lèi)例子2 輸入一樣本 X = (Xi , X2 ,，Xn+1 )以及它的期望輸岀 d。期望輸岀值d在樣本的類(lèi)屬不同時(shí)取值不同。如果x是A類(lèi)，則取d= 1,如果x是B類(lèi)，則取-1期望輸岀d也即是教師信號(hào)。3 計(jì)算實(shí)際輸岀值 丫i 14 根據(jù)實(shí)際輸出求誤差ee = d Y(t)(1-21)5 用誤差e去修改權(quán)系數(shù)Wi(t* 1J = Wi(t) + 7j-e*Xii=1,2,，n,n+1(1-22)其中，n稱(chēng)為權(quán)重變化率，Ovnl在式(1 22)中，n的取值不能太大. 如果1取值太大則會(huì)影響 wi (t)的穩(wěn)定；的取值也不能太小, 太

9、小則會(huì)使 Wi (t)的求取過(guò)程收斂速度太慢。當(dāng)實(shí)際輸岀和期望值 d相同時(shí)有：Wi (t+1)=W i (t)6轉(zhuǎn)到第2點(diǎn)，一直執(zhí)行到一切樣本均穩(wěn)定為止。從上面式(1 14)可知，感知器實(shí)質(zhì)是一個(gè)分類(lèi)器，它的這種分類(lèi)是和二值邏輯相應(yīng)的。因此， 感知器可以用于實(shí)現(xiàn)邏輯函數(shù)。下面對(duì)感知器實(shí)現(xiàn)邏輯函數(shù)的情況作一些介紹。例：用感知器實(shí)現(xiàn)邏輯函數(shù)X1 VX2的真值：X0011X20101X1 V X20111以X1VX2 = 1為A類(lèi)，以X1VX2=0為B類(lèi)，則有方程組(1-23)rwro+w2-o-e<o W1-0+w2*i-eo Wrl +W2'O-0O wri + w2-i-eo即有

10、:6>0(1-24)W品W&o從式(1 24)有：Wi >e令 Wi =1,W2 =2則有：e<i取 e =0.5則有：X1+X2-0.5=0,分類(lèi)情況如圖1 11所示。圖1-11邏輯函數(shù)XNX2的分類(lèi)1. 2 . 2神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的梯度算法使到網(wǎng)絡(luò)對(duì)于所輸入的模式 權(quán)系數(shù)就反映了同類(lèi)輸人 由于權(quán)系數(shù)是分散存在的，故從感如器的學(xué)習(xí)算法可知，學(xué)習(xí)的目的是在于修改網(wǎng)絡(luò)中的權(quán)系數(shù),樣本能正確分類(lèi)。當(dāng)學(xué)習(xí)結(jié)束時(shí)，也即神經(jīng)網(wǎng)絡(luò)能正確分類(lèi)時(shí)，顯然 模式樣本的共同特征。換句話(huà)講，權(quán)系數(shù)就是存儲(chǔ)了的輸人模式。 神經(jīng)網(wǎng)絡(luò)自然而然就有分布存儲(chǔ)的特點(diǎn)。前面的感知器的傳遞函數(shù)是階躍函數(shù)，所以，

11、它可以用作分類(lèi)器。前面一節(jié)所講的感知器學(xué)習(xí)算法因其傳遞函數(shù)的簡(jiǎn)單而存在局限性。感知器學(xué)習(xí)算法相當(dāng)簡(jiǎn)單，并且當(dāng)函數(shù)線(xiàn)性可分時(shí)保證收斂。但它也存在問(wèn)題：即函數(shù)不是線(xiàn)性可分時(shí)，則求不岀結(jié)果；另外，不能推廣到一般前饋網(wǎng)絡(luò)中。為了克服存在的冋題，所以人們提岀另一種算法梯度算法(也即是LMS法)。為了能實(shí)現(xiàn)梯度算法，故把神經(jīng)元的激發(fā)函數(shù)改為可微分函數(shù)，例如Sigmoid函數(shù)，非對(duì)稱(chēng)Sigmoid 函數(shù)為 f(X)=1/(1+e -x ),對(duì)稱(chēng) Sigmoid 函數(shù) f(X)=(1-e -x )/(1+e-x)；而不采用式(1 13)的階 躍函數(shù)。對(duì)于給定的樣本集 Xi (i = 1，2，n)，梯度法的目的

12、是尋找權(quán)系數(shù)W*，使得fW* Xi 與期望輸岀Yi盡可能接近。設(shè)誤差e采用下式表示：(1-28)(1-27)其中，Yi = f w* Xi 是對(duì)應(yīng)第i個(gè)樣本Xi的實(shí)時(shí)輸岀 Yi是對(duì)應(yīng)第i個(gè)樣本Xi的期望輸岀。要使誤差e最小，可先求取 e的梯度：(對(duì)每一個(gè)樣本的期望與輸出值求導(dǎo))卻*二語(yǔ)=言鬻(1-26)其/、中：1令Uk =W. Xk ,則有:迪如3吐 3Ykaw 3uk aw _ 舄 auk At c? Ib即有：|(Y&"(Uk”Q1-29)最后有按負(fù)梯度方向修改權(quán)系數(shù) W的修改規(guī)則：(Wk+i=Wk+AW)W"二叫斗卩£(Yi_玄)咁(UJ區(qū) (1-

13、30)i =? L'也可寫(xiě)成：% 1 冃 Wk + P(-需)耳(1-31)在上式(1 30)，式(1 31)中，卩是權(quán)重變化率，它視情況不同而取值不同，一般取0-1之間的小數(shù)。很明顯，梯度法比原來(lái)感知器的學(xué)習(xí)算法進(jìn)了一大步。其關(guān)鍵在于兩點(diǎn)：1 神經(jīng)元的傳遞函數(shù)采用連續(xù)的s型函數(shù)，而不是階躍函數(shù)；2 對(duì)權(quán)系數(shù)的修改采用誤差的梯度去控制，而不是采用誤差去控制。故而有更好的動(dòng)態(tài)特能， 即加強(qiáng)了收斂進(jìn)程。但是梯度法對(duì)于實(shí)際學(xué)習(xí)來(lái)說(shuō)，仍然是感覺(jué)太慢；所以，這種算法仍然是不理想的1 2 3反向傳播學(xué)習(xí)的 BP算法反向傳播算法也稱(chēng) BP算法。由于這種算法在本質(zhì)上是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的數(shù)學(xué)模型，所以，

14、有 時(shí)也稱(chēng)為BP模型。BP算法是為了解決多層前向神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)優(yōu)化而提岀來(lái)的；所以，BP算法也通常暗示著神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種無(wú)反饋的多層前向網(wǎng)絡(luò)。故而有時(shí)也稱(chēng)無(wú)反饋多層前向網(wǎng)絡(luò)為BP感知機(jī)學(xué)習(xí)算法是一種單 感知機(jī)學(xué)習(xí)算法不能用于即 BP(backpropagation)模型。在這里，并不要求過(guò)于嚴(yán)格去爭(zhēng)論和區(qū)分算法和模型兩者的有關(guān)異同。 層網(wǎng)絡(luò)的學(xué)習(xí)算法。在多層網(wǎng)絡(luò)中它只能改變最后權(quán)系數(shù)。因此， 多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。1986年，Rumelhart提岀了反向傳播學(xué)習(xí)算法,算法。這 種算法可以對(duì)網(wǎng)絡(luò)中各層的權(quán)系數(shù)進(jìn)行修正，故適用于多層網(wǎng)絡(luò)的學(xué)習(xí)。BP算法是目前最廣泛用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一，

15、在自動(dòng)控制中是最有用的學(xué)習(xí)算法。BP算法的原理1 12所示BP算法是用于前饋多層網(wǎng)絡(luò)的學(xué)習(xí)算法，前饋多層網(wǎng)絡(luò)的結(jié)構(gòu)一般如圖圖1-12網(wǎng)絡(luò)學(xué)習(xí)結(jié)構(gòu)它含有輸人層、輸岀層以及處于輸入輸岀層之間的中間層。中間層有單層或多層，由于它們和外界沒(méi)有直接的聯(lián)系， 故也稱(chēng)為隱層。在隱層中的神經(jīng)元也稱(chēng)隱單元。隱層雖然和外界不連接.但是，它們的狀態(tài)則影響輸入輸岀之間的關(guān)系。這也是說(shuō)，改變隱層的權(quán)系數(shù)，可以改變整個(gè)多層神經(jīng)網(wǎng)絡(luò)的性能。設(shè)有一個(gè)m層的神經(jīng)網(wǎng)絡(luò)，并在輸入層加有樣本 X ；設(shè)第k層的i神經(jīng)元的輸入總和表示為 Uik， 輸岀Xi k ；從第k 1層的第j個(gè)神經(jīng)元到第k層的第i個(gè)神經(jīng)元的權(quán)系數(shù)為 Wj各個(gè)神經(jīng)元

16、的激 發(fā)函數(shù)為f,則各個(gè)變量的關(guān)系可用下面有關(guān)數(shù)學(xué)式表示：X k =f(U i k )(1-32)(1-33)反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。這兩個(gè)過(guò)程的工作簡(jiǎn)述如下。1 正向傳播輸入的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱層之后，則傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸岀層把現(xiàn)行輸岀和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。2 反向傳播反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。二、BP算法的數(shù)學(xué)表達(dá)BP算法實(shí)質(zhì)是求取誤

17、差函數(shù)的最小值問(wèn)題。這種算法采用非線(xiàn)性規(guī)劃中的最速下降方法，按誤 差函數(shù)的負(fù)梯度方向修改權(quán)系數(shù)。為了說(shuō)明BP算法，首先定義誤差函數(shù)e。取期望輸岀和實(shí)際輸岀之差的平方和為誤差函數(shù)，則有：（監(jiān)督類(lèi)學(xué)習(xí)一般對(duì)損失函數(shù)求最?。〆 =（1-34）其中：Yi是輸出單元的期望值；它也在這里用作教師信號(hào); Xi m是實(shí)際輸岀；因?yàn)榈?m層是輸岀層。e的負(fù)梯度方向修改權(quán)系數(shù)，故權(quán)系數(shù)Wij 的I修改量 Aw ij，和e5產(chǎn)眾(1-35)也可寫(xiě)成由于BP算法按誤差函數(shù)(1-36)其中：n為學(xué)習(xí)速率，即步長(zhǎng)。很明顯，根據(jù) BP算法原則，求 ae/aWj最關(guān)鍵的。下面求 ae/aW j ；有3e % PlJjk m由

18、于(1-37)3U> 0(耳WXL) 戒=禮=Xji Lj(1-38)故而de-1pWij-aix/從而有W- -r八"頑吠(1-39)(1-40)則有學(xué)習(xí)公式:k-1(1-41)W嚴(yán)-于井空(1-42)其中：n為學(xué)習(xí)速率，即步長(zhǎng)，一般取 0-1間的數(shù)。kk從上面可知，di實(shí)際仍末給岀明顯的算法公式，下面求 di的計(jì)算公式。(1-43)從式(1-32)可知在式(1-43)中，有(1-44)Sigmoid函數(shù)。當(dāng)取f為非為了方便進(jìn)行求導(dǎo)，取f為連續(xù)函數(shù)。一般取非線(xiàn)性連續(xù)函數(shù)，例如對(duì)稱(chēng)Sigmoid函數(shù)時(shí)，有：f<u>)蘭1 + exp( 一 U)則有：f'(U

19、i k )=f'(U i k )(1-f(U i k )kk=Xi (1-Xi )(1-45)3e=(xr-Yi)(1-46)從而有di m =X m (1-Xi m )(Xi m -Yi )(1-47)2.如果k<m則該層是隱層.這時(shí)應(yīng)考慮上一層對(duì)它的作用， 故有：% 匸3e嚴(yán)1i au/+1 刃？(1-48)從式(1 41)中，可知有：希胡(1-49)從式(1 33)中，可知有：(1-34)有再考慮式(1 43)中的偏微分項(xiàng)ae / aXi k，有兩種情況需考慮的： 如果k=m，則是輸岀層，這時(shí)有£是輸岀期望值，它是常數(shù)。從式叫山3(藝WhX"|ax；11

20、 一 3曾Wij“(1-50)故而有(1-51)最后有：(1-52)從上述過(guò)程可知：多層網(wǎng)絡(luò)的訓(xùn)練方法是把一個(gè)樣本加到輸入層，并根據(jù)向前傳播的規(guī)則:kkXi =f(Ui )不斷一層一層向輸出層傳遞，最終在輸出層可以得到輸出Xi m。把Xi m和期望輸岀Yi進(jìn)行比較如果兩者不等，則產(chǎn)生誤差信號(hào)e,接著則按下面公式反向傳播修改權(quán)系數(shù)：W廠一于護(hù)普"(1-53)其中dim =x m (1-Xi m )(Xi m -Yi)(m為輸出層)也X/(l - X，萃M卄"上面公式中，求取本層 dik時(shí)，要用到高一層的 dik+1 ；可見(jiàn)，誤差函數(shù)的求取是從輸岀層開(kāi)始， 到輸入層的反向傳播過(guò)

21、程。在這個(gè)過(guò)程中不斷進(jìn)行遞歸求誤差。通過(guò)多個(gè)樣本的反復(fù)訓(xùn)練，同時(shí)向誤差漸漸減小的方向?qū)?quán)系數(shù)進(jìn)行修正，以達(dá)最終消除誤差。從上面公式也可以知道，如果網(wǎng)絡(luò)的層數(shù)較多時(shí)，所用的計(jì)算量就相當(dāng)可觀，故而收斂速度不快。為了加快收斂速度，一般考慮上一次的權(quán)系數(shù)，并以它作為本次修正的依據(jù)之一，故而有修正公式：(1-54)其中：n為學(xué)習(xí)速率，即步長(zhǎng)，n = 0 - 1 0. 4左右a為權(quán)系數(shù)修正常數(shù)，取0 . 7 0 . 9左右。在上面，式(1 53)也稱(chēng)為一般化的 Delta法則。對(duì)于沒(méi)有隱層的神經(jīng)網(wǎng)絡(luò)，可取叭j二水丫廠屯) (1-55)其中：，Y為期望輸出；Xj為輸出層的實(shí)際輸出；Xi為輸入層的輸入。這顯然是一種十分簡(jiǎn)單的情況，式 (1 55)也稱(chēng)為簡(jiǎn)單 Delta法則。在實(shí)際應(yīng)用中，只有一般化的 Delta法則式(1 53)或式(1 54)才有意義。簡(jiǎn)單 Delta法則式