軟計(jì)算課件神經(jīng)網(wǎng)絡(luò)bp

1、1、人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)來模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。神經(jīng)網(wǎng)絡(luò)模式識(shí)別的過程分兩步:首先是學(xué)習(xí)過程，通過大量的訓(xùn)練樣本，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，根據(jù)某種學(xué)習(xí)規(guī)則不斷對連接權(quán)值進(jìn)行調(diào)節(jié)，然后使網(wǎng)絡(luò)具有某種期望的輸出，就可以將訓(xùn)練樣本正確分類到其所屬類別中，此時(shí)網(wǎng)絡(luò)學(xué)習(xí)到了輸入數(shù)據(jù)或樣本間的內(nèi)在規(guī)律。其次是分類過程，應(yīng)用前面學(xué)習(xí)過程所訓(xùn)練好的權(quán)值，對任意送入網(wǎng)絡(luò)的樣本進(jìn)行分類。神經(jīng)網(wǎng)絡(luò)由許多并行運(yùn)算的功能簡單的單元組成。這些單元類似于生物神經(jīng)系統(tǒng)的單元。神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，其特色在于信息的

2、分布式和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的，神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有集體運(yùn)算的能力和自適應(yīng)的學(xué)習(xí)能力。此外，它還有很強(qiáng)的容錯(cuò)性和魯棒性，聯(lián)想、綜合和推廣。一般而言，神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元只有一個(gè)輸出，它可以連接到很多其它的神經(jīng)元，每個(gè)神經(jīng)元輸入有多個(gè)連接通路，每個(gè)連接通路對應(yīng)于接權(quán)系數(shù)。人工神經(jīng)網(wǎng)絡(luò)模型各種各樣，目前已有數(shù)十種。他們從各個(gè)角度對生物神經(jīng)系統(tǒng)的不同層次進(jìn)行了描述和模擬。代表模型有感知機(jī)、多層BP 網(wǎng)、RBF 網(wǎng)絡(luò)、Kohonen 網(wǎng)絡(luò)、Hopfiled模型

3、、Boltzmann 機(jī)等等。雖然人工神經(jīng)網(wǎng)絡(luò)有很多模型，但按神經(jīng)元的連接方式只有兩種型態(tài):沒有反饋的前向網(wǎng)絡(luò)和相互結(jié)合型網(wǎng)絡(luò)。2、前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)（Feed forward NN）。，神經(jīng)元分層排列，有輸入層、隱層（亦稱中間層，可有若干層）和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。從學(xué)習(xí)的觀點(diǎn)來看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡單而易于編程；從系統(tǒng)的觀點(diǎn)看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性，通過簡單非線性處理單元的復(fù)合，可獲得復(fù)雜的非線性處理能力。但從計(jì)算的觀點(diǎn)看，缺乏豐富的動(dòng)力學(xué)行為。前向網(wǎng)絡(luò)是多層映射網(wǎng)絡(luò)，每一層中的神經(jīng)元只接受來自前一層神經(jīng)元的信號(hào)，因

4、此信號(hào)的是單方向的。大部分前饋網(wǎng)絡(luò)都是絡(luò)，它們的分類能力和模式識(shí)別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP 網(wǎng)絡(luò)等。BP 網(wǎng)絡(luò)是這類網(wǎng)絡(luò)中最典型的例子。3、BP 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)，簡稱 BP 網(wǎng)絡(luò)（Back Propagation），是誤差反向一種單向的多層前向網(wǎng)絡(luò)。能學(xué)習(xí)和存貯大量的輸入-輸出模式關(guān)系，而無需事前揭示描述這種關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP 神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。在模式識(shí)別、圖像處理、系統(tǒng)辨識(shí)、

5、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。如圖是 BP 網(wǎng)絡(luò)的示意圖。3.1 BP 神經(jīng)元設(shè)有第j 個(gè)基本 BP 神經(jīng)元（節(jié)點(diǎn)），模仿了生物神經(jīng)元所具有的三個(gè)最基本也是最重要的功能：、求和與轉(zhuǎn)移。其中 x1、x2xixn 分別代表來自神經(jīng)元 1 、 2in 的輸入； wj1 、wj2wjiwjn 則分別表示神經(jīng)元 1、2in 與第 j 個(gè)神經(jīng)元的連接強(qiáng)度，即權(quán)值；bj 為閾值；f()為傳遞函數(shù)；yj 為第 j 個(gè)神經(jīng)元的輸出。第j 個(gè)神經(jīng)元的凈輸入值為：其中： 若視 ，即令及 包括及，則于是節(jié)點(diǎn) j 的凈輸入可表示為：凈輸入 通過傳遞函數(shù)（Transfer Function

6、）f ()后，便得到第j 個(gè)神經(jīng)元的輸出:式中 f()是單調(diào)上升函數(shù)，而且必須是有界函數(shù)，因?yàn)榧?xì)胞傳遞的信號(hào)不可能無限增加，必有一最大值。3.2 標(biāo)準(zhǔn) BP 算法BP 網(wǎng)絡(luò)執(zhí)行的是有導(dǎo)師訓(xùn)練，所以其樣本集是由形如:(輸入向量，理想輸出向量)的向量對的。所有這些向量對，都應(yīng)該是來源于網(wǎng)絡(luò)即將模擬的系統(tǒng)的實(shí)際“運(yùn)行”結(jié)果。在開始訓(xùn)練前，所有的權(quán)值和閥值都應(yīng)該用一些不同的小隨機(jī)數(shù)進(jìn)行初始化?！靶‰S機(jī)數(shù)”用來保證網(wǎng)絡(luò)不會(huì)因權(quán)值過大而進(jìn)入飽和狀態(tài)，從而導(dǎo)致訓(xùn)練失敗;“不同”用來保證網(wǎng)絡(luò)可以正常地學(xué)習(xí)。實(shí)際上，如果用相同的數(shù)去初始化權(quán)矩陣，則網(wǎng)絡(luò)力學(xué)習(xí)。BP 算法的學(xué)習(xí)過程由正向和反向組成。在正向過，輸入

7、信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入反向，將誤差信號(hào)沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使誤差信號(hào)最小。3.3 正向設(shè) BP 網(wǎng)絡(luò)的輸入層有 n 個(gè)節(jié)點(diǎn)，隱層有 q 個(gè)節(jié)點(diǎn)，輸出層有 m個(gè)節(jié)點(diǎn)，輸入層與隱層之間的權(quán)值為，隱層與輸出層之間的權(quán)值為，如圖 5.4 所示。隱層的傳遞函數(shù)為 f1()，輸出層的傳遞函數(shù)為f2()，則隱層節(jié)點(diǎn)的輸出為（將閾值寫入求和項(xiàng)中）：k=1,2,q輸出層節(jié)點(diǎn)的輸出為：j=1,2,m至此 B-P 網(wǎng)絡(luò)就完成了 n向量對 m的近似。3.4 反向1)定義誤差函數(shù)輸入 P 個(gè)學(xué)習(xí)樣本，用來表示。第個(gè)樣本輸入到網(wǎng)絡(luò)后得到輸出（j=1,2,m）。采用平方型誤差函數(shù)，于是得到第 p個(gè)樣本的誤差 Ep：式中：為期望輸出。對于個(gè)樣本，全局誤差為：2）輸出層權(quán)值的變化采用累計(jì)誤差 BP 算法調(diào)整，使全局誤差變小，即式中： 學(xué)習(xí)率定義誤差信號(hào)為：其中第一項(xiàng)：