BP神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)課件

BP反向傳播神經(jīng)網(wǎng)絡(luò)講課目錄1.誤差反向傳播神經(jīng)網(wǎng)絡(luò)的提出2.誤差反向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3.誤差反向傳播神經(jīng)網(wǎng)絡(luò)處理單元模型4.誤差反向傳播學(xué)習(xí)算法5.誤差反向傳播學(xué)習(xí)算法的數(shù)學(xué)基礎(chǔ)6.誤差反向傳播學(xué)習(xí)算法的改進(jìn)7.小結(jié)誤差反向傳播神經(jīng)網(wǎng)絡(luò)的提出單層感知機(jī)模型及其學(xué)習(xí)算法的提出，曾經(jīng)使人工神經(jīng)網(wǎng)絡(luò)的研究邁出了歷史性的一步，但它只能對(duì)線性分類模式進(jìn)行識(shí)別，對(duì)非線性模式的識(shí)別則無能為力。造成單層感知機(jī)模型不具有非線性分類能力的主要原因是由于沒有隱含層對(duì)輸入模式進(jìn)行內(nèi)部表示，在輸入層和輸出層之間增加一個(gè)或多個(gè)隱含層，即形成多層感知機(jī)模型，解決“異或”這樣一些簡單的非線性分類問題，提高神經(jīng)網(wǎng)絡(luò)模型的分類能力，但是由于多層感知機(jī)模型采用的是單層感知機(jī)模型的學(xué)習(xí)算法，隱含層神經(jīng)元不具備學(xué)習(xí)能力，存在很大的局限性。1986年，以Rumelhart和McCelland為首的科學(xué)界小組在《并行分布式處理》一書中，對(duì)誤差反向傳播算法進(jìn)行了詳盡的分析與介紹，并對(duì)BP算法的潛在能力進(jìn)行了深入探討，實(shí)現(xiàn)了當(dāng)年Minsky關(guān)于多層神經(jīng)網(wǎng)絡(luò)的設(shè)想。BP算法采用非線性連續(xù)變換函數(shù)，使隱含層神經(jīng)元有了學(xué)習(xí)能力。其基本思想直觀，易于理解，數(shù)學(xué)意義明確、步驟分明，一經(jīng)提出就被廣泛的接受，因此多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練采用了該算法。人們通常將采用誤差反向傳播學(xué)習(xí)算法的多層感知機(jī)模型稱為誤差反向傳播神經(jīng)網(wǎng)絡(luò)。誤差反向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸入信號(hào)輸入層節(jié)點(diǎn)隱含層節(jié)點(diǎn)輸出層節(jié)點(diǎn)輸出結(jié)果教師信號(hào)修改權(quán)值閾值修改權(quán)值閾值圖：三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)誤差反向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程也就是“正向計(jì)算輸出——反向傳播誤差”的過程不斷重復(fù)進(jìn)行，直至誤差降低到可以接受的范圍，BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程也就隨之結(jié)束。BP神經(jīng)網(wǎng)絡(luò)隨著誤差反向傳播不斷的進(jìn)行修正，從而不斷提高對(duì)輸入模式識(shí)別的正確率，因此，BP神經(jīng)網(wǎng)絡(luò)采用的學(xué)習(xí)算法稱之為誤差反向傳播算法，是一種誤差函數(shù)按梯度下降的學(xué)習(xí)方法。誤差反向傳播神經(jīng)網(wǎng)絡(luò)處理單元模型…L1L2…j

圖：BP神經(jīng)網(wǎng)絡(luò)的處理單元誤差反向傳播神經(jīng)網(wǎng)絡(luò)處理單元模型連接權(quán)向量為W={wij}i=1,2,3,4，…n，j=1,2，…P。L1層的n個(gè)處理單元的輸出構(gòu)成了L2層各個(gè)處理單元的輸入列向量。L2層各個(gè)處理單元的閾值為，j=1,2,……p。L2層各個(gè)處理單元接收的輸入加權(quán)和為，j=1,2，…P。L2層各個(gè)處理單元的輸出由轉(zhuǎn)移函數(shù)決定。sigmoid函數(shù)作為轉(zhuǎn)移函數(shù)，數(shù)學(xué)表達(dá)式為，L2層各個(gè)處理單元的輸出為BP神經(jīng)網(wǎng)絡(luò)選取sigmoid函數(shù)作為轉(zhuǎn)移函數(shù)是因?yàn)閟igmoid函數(shù)的輸出接近生物神經(jīng)元的信號(hào)輸出形式，能夠模擬生物神經(jīng)元的非線性特征。同時(shí)，sigmoid函數(shù)具有的非線性特征也能夠增強(qiáng)神經(jīng)網(wǎng)絡(luò)的非線性映射能力。誤差反向傳播學(xué)習(xí)算法開始連接權(quán)值及閾值初始化將學(xué)習(xí)模式對(duì)提供給網(wǎng)絡(luò)計(jì)算隱含層各個(gè)單元凈輸入與輸出計(jì)算輸出層各個(gè)單元凈輸入與輸出計(jì)算輸出層各個(gè)單元一般化誤差計(jì)算隱含層各個(gè)單元一般化誤差調(diào)整隱含層至輸出層之間的連接權(quán)值及輸出層各個(gè)單元的閾值調(diào)整輸入層至隱含層之間的連接權(quán)值及隱含層各個(gè)單元的閾值更新學(xué)習(xí)模式對(duì)全部學(xué)習(xí)模式訓(xùn)練完畢？更新學(xué)習(xí)次數(shù)誤差<或?qū)W習(xí)次數(shù)<結(jié)束11NNYYBP學(xué)習(xí)算法流程圖誤差反向傳播學(xué)習(xí)算法（BP算法描述）

（1）初始化。（2）隨機(jī)選取一個(gè)學(xué)習(xí)模式對(duì)（）提供給網(wǎng)絡(luò)。（3）計(jì)算輸入層的輸出。輸入層的輸出向量與輸入模式向量相同。（4）計(jì)算中間隱含層各個(gè)神經(jīng)元的凈輸入和輸出。

（5）計(jì)算輸出層各個(gè)神經(jīng)元的凈輸入和實(shí)際輸出。（6）根據(jù)指定的期望輸出，計(jì)算出各個(gè)神經(jīng)元的校正誤差

（7）計(jì)算隱含層各個(gè)神經(jīng)元的校正誤差

（8）修正隱含層至輸出層的連接權(quán)值v和輸出層神經(jīng)元的閾值，學(xué)習(xí)速率為（9）修正輸入層至隱含層的連接權(quán)值w和隱含層神經(jīng)元的閾值，學(xué)習(xí)速率為

BP學(xué)習(xí)算法需要注意的問題學(xué)習(xí)模式對(duì)中的期望輸出是對(duì)模式分類的一種表示。誤差逆?zhèn)鞑ミ^程是輸出層誤差向隱含層傳遞的過程，并且每一個(gè)隱含層處理單元的校正誤差都是由q個(gè)輸出層處理單元傳遞過來的校正誤差綜合作用產(chǎn)生的。訓(xùn)練過程是一個(gè)不斷重復(fù)進(jìn)行的學(xué)習(xí)過程，每次學(xué)習(xí)時(shí)都要根據(jù)期望輸出和網(wǎng)絡(luò)實(shí)際輸出之間的誤差值調(diào)節(jié)各層之間的連接權(quán)值和閾值，每次學(xué)習(xí)時(shí)網(wǎng)絡(luò)的實(shí)際輸出會(huì)逐漸向?qū)?yīng)的期望輸出逼近。收斂過程就是網(wǎng)絡(luò)全局誤差趨向極小值的過程，也就是網(wǎng)絡(luò)的實(shí)際輸出非常逼近期望輸出的過程。由于Bp神經(jīng)網(wǎng)絡(luò)采用Sigmoid函數(shù)作為轉(zhuǎn)移函數(shù)，因此，網(wǎng)絡(luò)的實(shí)際輸出是一個(gè)實(shí)數(shù)，而不是單層感知機(jī)模型中的二值離散值，所以，在網(wǎng)絡(luò)收斂時(shí)，實(shí)際網(wǎng)絡(luò)輸出與期望輸出之間的逼近關(guān)系不能簡單地用是或否來衡量，Bp神經(jīng)網(wǎng)絡(luò)中的逼近是一個(gè)模糊的概念，表示的是實(shí)際輸出與期望輸出的接近程度。誤差反向傳播學(xué)習(xí)算法的數(shù)學(xué)基礎(chǔ)BP學(xué)習(xí)算法仍然是基于最小均方誤差準(zhǔn)則，采用誤差函數(shù)按梯度下降的方法進(jìn)行學(xué)習(xí).修正隱含層至輸出層的連接權(quán)值V第k個(gè)學(xué)習(xí)模式的期望輸出與實(shí)際輸出的偏差為因此的均方差為按照誤差按梯度下降原則，隱含層至輸出層之間的連接權(quán)值，應(yīng)按照下式進(jìn)行調(diào)整為了使隨著連接權(quán)值的調(diào)整按梯度下降，則有由可得由式子輸出層各個(gè)神經(jīng)元的校正誤差以及上面式子可得誤差反向傳播學(xué)習(xí)算法的數(shù)學(xué)基礎(chǔ)同理，由輸入層至隱含層之間的連接權(quán)值也應(yīng)給予誤差按梯度下降的原則，按照右式進(jìn)行調(diào)整：定義輸出層各個(gè)神經(jīng)元的校正誤差

由上式和可得由隱含層各個(gè)神經(jīng)元的校正誤差誤差反向傳播學(xué)習(xí)算法的改進(jìn)BP算法存在的問題累積誤差校正算法Sigmoid函數(shù)輸出限幅的BP算法增加動(dòng)量項(xiàng)的BP算法學(xué)習(xí)速率自適應(yīng)調(diào)整算法BP算法存在的問題學(xué)習(xí)算法的收斂速度慢。影響B(tài)P學(xué)習(xí)算法收斂速度的關(guān)鍵之一就是學(xué)習(xí)速率。存在局部極小點(diǎn)。影響B(tài)p學(xué)習(xí)算法產(chǎn)生局部極小點(diǎn)的關(guān)鍵因素之一是初始連接權(quán)值。隱含層層數(shù)及節(jié)點(diǎn)數(shù)的選取缺乏理論指導(dǎo)。訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。Bp神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與記憶具有不確定性。針對(duì)Bp神經(jīng)網(wǎng)絡(luò)的這些問題，研究人員投入了大量的精力，對(duì)其性能的改善進(jìn)行了大量的研究工作，并提出了許多改進(jìn)方案。

累積誤差校正算法流程圖開始將學(xué)習(xí)模式對(duì)提供給網(wǎng)絡(luò)計(jì)算學(xué)習(xí)模式的輸出計(jì)算學(xué)習(xí)模式的一般化誤差更新學(xué)習(xí)模式誤差累加校正各連接權(quán)值和閾值更新學(xué)習(xí)次數(shù)全部模式學(xué)習(xí)完？誤差<或?qū)W習(xí)次數(shù)>結(jié)束11NNYY累積誤差校正算法與一般化誤差校正算法的區(qū)別

累積誤差校正算法與標(biāo)準(zhǔn)誤差反向傳播算法相比，每個(gè)連接權(quán)值及閾值的校正次數(shù)明顯減少，每一次學(xué)習(xí)減少m-1次校正，因此學(xué)習(xí)時(shí)間也隨之減短，尤其是在學(xué)習(xí)模式集合不太大學(xué)習(xí)模式對(duì)較少時(shí)，累積誤差校正算法的收斂速度要快于標(biāo)準(zhǔn)誤差反向傳播算法，但是因?yàn)槔鄯e誤差校正算法對(duì)連接權(quán)值的調(diào)整時(shí)在計(jì)算所有m個(gè)學(xué)習(xí)模式對(duì)的誤差和之后進(jìn)行的，因此容易將各個(gè)學(xué)習(xí)模式的誤差平均化，并在某些情況下容易引起網(wǎng)絡(luò)的震蕩。增加動(dòng)量項(xiàng)的BP算法標(biāo)準(zhǔn)BP算法在調(diào)整連接權(quán)值時(shí)，只考慮了本次調(diào)整時(shí)的誤差梯度下降方向，因而經(jīng)常使訓(xùn)練過程發(fā)生振蕩，收斂緩慢。因此，為了減小振蕩，提高網(wǎng)絡(luò)的訓(xùn)練速度，可以再對(duì)連接權(quán)值進(jìn)行調(diào)整時(shí)，按一定比例加上前一次學(xué)習(xí)時(shí)的調(diào)整量，即動(dòng)量項(xiàng)。帶有動(dòng)量項(xiàng)的連接權(quán)值調(diào)整公式如下：為動(dòng)量項(xiàng)，其中n為學(xué)習(xí)次數(shù)，為動(dòng)量系數(shù)，。加入動(dòng)量項(xiàng)的本質(zhì)是使得學(xué)習(xí)過程中的學(xué)習(xí)速率不再是一個(gè)恒定的值，在引入動(dòng)量項(xiàng)后，總是力圖使連接權(quán)值的調(diào)整向著同一方向進(jìn)行，即使兩次連接權(quán)值調(diào)整的方向不同，也可以減少振蕩，提高訓(xùn)練速度，加速網(wǎng)絡(luò)的收斂。

增加動(dòng)量項(xiàng)的BP算法但是上面式子中，動(dòng)量系數(shù)是一個(gè)常量，因此，動(dòng)量項(xiàng)在每次學(xué)習(xí)校正時(shí)所引起的作用是相同的，為了發(fā)揮隨著學(xué)習(xí)過程不斷調(diào)節(jié)動(dòng)量項(xiàng)所起的作用，可以將式子修改如下

在式子中動(dòng)量系數(shù)是一個(gè)變量，隨著學(xué)習(xí)過程的不斷進(jìn)行，動(dòng)量系數(shù)逐漸改變，動(dòng)量項(xiàng)在調(diào)整過程中所占的比重也逐漸改變，這樣可以使連接權(quán)值的調(diào)整隨著訓(xùn)練過程的不斷進(jìn)行而逐漸沿平均方向變化。在實(shí)際應(yīng)用中發(fā)現(xiàn)，采用增加動(dòng)量項(xiàng)的BP算法會(huì)加快網(wǎng)絡(luò)的收斂速度，