BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)PPT課件

1、 BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ) 在神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，不存在確定和普遍有效的規(guī)律可以遵循，需要通過(guò)多次的試驗(yàn)和改進(jìn)來(lái)得到滿(mǎn)意的神經(jīng)網(wǎng)絡(luò)。 網(wǎng)絡(luò)規(guī)模與樣本數(shù)量 訓(xùn)練樣本的準(zhǔn)備 初始權(quán)值的設(shè)計(jì) BP網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 網(wǎng)絡(luò)訓(xùn)練與測(cè)試網(wǎng)絡(luò)規(guī)模與樣本數(shù)量 網(wǎng)絡(luò)規(guī)模受到樣本數(shù)量的限制 網(wǎng)絡(luò)權(quán)值和閾值的是否可辨識(shí)受到樣本數(shù)量的影響 網(wǎng)絡(luò)權(quán)值和閾值辨識(shí)的精度受到樣本數(shù)量的影響wnP 訓(xùn)練樣本的準(zhǔn)備 輸入輸出變量的選擇 輸出變量為需要預(yù)測(cè)的變量，或者需要分出的類(lèi)別 輸入變量的選擇比較復(fù)雜，通常有以下特點(diǎn) 輸入變量必須對(duì)輸出變量影響大 輸入變量之間最好沒(méi)有相關(guān)性 機(jī)理知識(shí)方法 試驗(yàn)法 由多到少 由少到多訓(xùn)練樣本的準(zhǔn)

2、備 輸入變量的提取與表示 數(shù)值變量輸入 符號(hào)/語(yǔ)言變量輸入 圖像輸入 曲線(xiàn)輸入 輸入變量的非線(xiàn)性變換訓(xùn)練樣本的準(zhǔn)備 輸出變量的表示 輸出變量的范圍受到輸出節(jié)點(diǎn)類(lèi)型的影響 Sigmoid，線(xiàn)性，階躍函數(shù)節(jié)點(diǎn) 普通數(shù)值表示 逼近應(yīng)用 分類(lèi)應(yīng)用（模糊分類(lèi)） 分類(lèi)應(yīng)用中的表示方法 n中選1方法 n-1方法 數(shù)值表示法訓(xùn)練樣本的準(zhǔn)備 數(shù)據(jù)預(yù)處理 剔除壞點(diǎn)：首先通過(guò)數(shù)據(jù)分析結(jié)合機(jī)理知識(shí)，去除明顯壞點(diǎn)（造成原因） 歸一化/尺度變換，將輸入輸出變量統(tǒng)一轉(zhuǎn)換到0-1或者-1-1之間 分布變換minmaxminxxxxxiimidmidiimidxxxxxxxxmaxminmax22訓(xùn)練樣本的準(zhǔn)備 訓(xùn)練集的設(shè)計(jì)

3、訓(xùn)練樣本數(shù) 現(xiàn)場(chǎng)客觀條件 最終訓(xùn)練精度 映射的復(fù)雜程度 數(shù)據(jù)的噪聲水平等 樣本的選擇和組織 代表性和多樣性 平均性初始權(quán)值的設(shè)計(jì) 初始值影響收斂速度和最終結(jié)果 根據(jù)sigmoid函數(shù)特點(diǎn)給出初始值 隨機(jī)小數(shù) -1/+1的個(gè)數(shù)均衡)1(1jjlkjkokyjyywBP結(jié)構(gòu)設(shè)計(jì)n以最少的隱層和隱層節(jié)點(diǎn)（最簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)）獲得符合要求的網(wǎng)絡(luò)預(yù)測(cè)精度 隱層數(shù)設(shè)計(jì) 連續(xù)函數(shù)為1個(gè)隱層 分段函數(shù)為2個(gè)隱層 隱層節(jié)點(diǎn)數(shù)目 太少映射能力有限 太多造成了過(guò)度吻合（over fitting）BP結(jié)構(gòu)設(shè)計(jì) 隱層節(jié)點(diǎn)數(shù)目確定nlmwEEtf網(wǎng)絡(luò)的訓(xùn)練與測(cè)試 神經(jīng)網(wǎng)絡(luò)的泛化能力網(wǎng)絡(luò)的訓(xùn)練與測(cè)試 增強(qiáng)泛化能力避免過(guò)度吻合

4、 提前停止 訓(xùn)練數(shù)據(jù) 確認(rèn)數(shù)據(jù) 測(cè)試數(shù)據(jù) 網(wǎng)絡(luò)誤差引入權(quán)值和閾值wEEtf網(wǎng)絡(luò)的訓(xùn)練與測(cè)試 訓(xùn)練結(jié)果分析 多次訓(xùn)練結(jié)果比較 誤差（訓(xùn)練誤差，確認(rèn)誤差，測(cè)試誤差） 分析是否還有改進(jìn)的空間 刪除部分不一致的壞點(diǎn) 改變隱層的數(shù)量 改變隱層節(jié)點(diǎn)的數(shù)量 改變輸入變量的選擇 改變輸入變量的表示方法 訓(xùn)練方法的改變 訓(xùn)練樣本集的改變等等BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用過(guò)程 一個(gè)循環(huán)過(guò)程 準(zhǔn)備訓(xùn)練樣本 BP網(wǎng)絡(luò)結(jié)構(gòu)修改 初始化權(quán)值 網(wǎng)絡(luò)訓(xùn)練與測(cè)試 分析結(jié)果并重新開(kāi)始上述步驟，直至達(dá)到滿(mǎn)意的結(jié)果MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱Matlab神經(jīng)網(wǎng)絡(luò)工具箱支持以下NN模型：n感知器nBP網(wǎng)絡(luò)nRBFN網(wǎng)絡(luò)n競(jìng)爭(zhēng)型網(wǎng)絡(luò)n自

5、組織網(wǎng)絡(luò)n反饋網(wǎng)絡(luò)n 時(shí)延網(wǎng)絡(luò)n NARX網(wǎng)絡(luò)n 自定義網(wǎng)絡(luò)Matlab神經(jīng)網(wǎng)絡(luò)工具箱近200個(gè)工具箱函數(shù)，包括： 各類(lèi)神經(jīng)網(wǎng)絡(luò)訓(xùn)練； 圖形化顯示(誤差結(jié)果，權(quán)值等)； 與Simulink緊密結(jié)合，拖放方式創(chuàng)建NN； Simulink中NN Control和Fuzzy NN實(shí)現(xiàn)(ANFIS) BP網(wǎng)絡(luò)l 多層前饋網(wǎng)絡(luò)l 主要功能: 函數(shù)逼近, 模式識(shí)別, 信息分類(lèi)l 傳遞函數(shù):隱層采用S形函數(shù),輸出層S形函數(shù)或線(xiàn)性函數(shù)Matlab神經(jīng)網(wǎng)絡(luò)工具箱 使用工具箱函數(shù)和對(duì)象來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的建立，訓(xùn)練和測(cè)試等功能 使用GUI來(lái)完成各項(xiàng)功能BP網(wǎng)絡(luò)的生成網(wǎng)絡(luò)的生成newff函數(shù)newff用來(lái)生成一個(gè)BP網(wǎng)

6、絡(luò)net=newff(PR,S1 S2.SN,TF1 TF2. TFN,BTF,BLF,PF)PR: 一個(gè)R2矩陣, 由R維輸入向量的每維最小值和最大值組成Si: 第i層的神經(jīng)元個(gè)數(shù)TFi: 第i層的傳遞函數(shù), 默認(rèn)為tansigBTF: 訓(xùn)練函數(shù), 默認(rèn)為trainlmBLF: 學(xué)習(xí)函數(shù), 默認(rèn)為learngdmPF: 性能函數(shù), 默認(rèn)為msenet=newff(0,10; 1,2,5,1,tansig,purelin,trainlm); %生成一個(gè)兩層BP網(wǎng)絡(luò),隱層和輸出層神經(jīng)元的個(gè)數(shù)為5和1, 傳遞函數(shù)分別為tansig和purelin, 訓(xùn)練函數(shù)為trainlm, 其他默認(rèn)BP網(wǎng)絡(luò)的初

7、始化 newff 函數(shù)在建立網(wǎng)絡(luò)對(duì)象的同時(shí), 自動(dòng)調(diào)用初始化函數(shù), 根據(jù)缺省的參數(shù)設(shè)置網(wǎng)絡(luò)的連接權(quán)值和閾值. 使用函數(shù)init可以對(duì)網(wǎng)絡(luò)進(jìn)行自定義的初始化. 通過(guò)選擇初始化函數(shù), 可對(duì)各層連接權(quán)值和閾值分別進(jìn)行不同的初始化.Net對(duì)象屬性NN工具箱中最重要的對(duì)象。引用方式： 網(wǎng)絡(luò)名.子對(duì)象.屬性決定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括輸入向量，網(wǎng)絡(luò)層，輸出向量，權(quán)值向量等, 以及他們的連接關(guān)系e.g. net.numInputs, net.trainParam.epochs, net.layers1.sizeNet對(duì)象屬性：權(quán)值/閾值基于權(quán)值和閾值屬性的訪(fǎng)問(wèn)方式： IW 輸入權(quán)值； LW 網(wǎng)絡(luò)層權(quán)值； b 閾值

8、(輸入層+網(wǎng)絡(luò)層)Net對(duì)象屬性：子對(duì)象類(lèi)型inputs：輸入層結(jié)構(gòu)(.range, .size)layers: 各網(wǎng)絡(luò)層結(jié)構(gòu)(.size, .transferFun)outputs: 輸出向量結(jié)構(gòu)targets: 各網(wǎng)絡(luò)層目標(biāo)向量biases: 各網(wǎng)絡(luò)層閾值向量inputWeights: 輸入層權(quán)值向量layerWeights: 各網(wǎng)絡(luò)層權(quán)值向量Net對(duì)象屬性：函數(shù)屬性定義了在權(quán)值調(diào)整，初始化，性能計(jì)算或訓(xùn)練時(shí)采用的算法 adaptFcn：權(quán)值/閾值調(diào)整 initFcn：初始化權(quán)值/閾值 performFcn：性能指標(biāo)函數(shù) trainFcn：訓(xùn)練函數(shù)信號(hào)處理Net對(duì)象屬性：函數(shù)屬性train

9、Fcn traingd BP traingdx +自適應(yīng)學(xué)習(xí)速率+動(dòng)量因子 trainrp 彈性BP traincgb 一種改進(jìn)的共軛梯度法 trainlm Levernberg-Marquardt 其他Net對(duì)象屬性：參數(shù)屬性(train) net.trainParam.epochs 100 最大訓(xùn)練周期 net.trainParam.max_fail 5 最大失敗次數(shù) net.trainParam.mem_reduc 1 內(nèi)存/速度折中系數(shù)(LM) net.trainParam.min_grad 1e-10 最小梯度 net.trainParam.mu 0.001 初始(LM) net.t

10、rainParam.mu_dec 0.1 減小系數(shù) net.trainParam.mu_inc 10 增加系數(shù) net.trainParam.mu_max 1e10 最大 net.trainParam.show 25 訓(xùn)練周期 net.trainParam.time inf 最多訓(xùn)練時(shí)間MATLAB BP算法: 最速下降法(BP) 訓(xùn)練函數(shù)：traingd 演示 ：nnd12sd1)()() 1(kkkgwwMATLAB BP算法: 動(dòng)量BP 訓(xùn)練函數(shù)：traingdm 演示 ：nnd12mo)()1 ()() 1(kkkgww) 1()() 1(kkkwwwMATLAB BP算法: 學(xué)習(xí)速率

11、可變BP 訓(xùn)練函數(shù)：traingdx 演示 ：nnd12vl )() 1()()() 1()() 1(decinckJkJkkkJkJkkkMATLAB BP算法: 彈性BP 訓(xùn)練函數(shù)：trainrp 0)()()1(sign)(sign)(sign)()1(sign)(sign)(sign)() 1(decinckkkkkgkkkkkgkkkgwggwggwwMATLAB BP算法: 基于二階導(dǎo)數(shù)n BFGS算法(trainbfg)n OSS算法(trainoss)n Levernberg-Marquardt(trainlm) 演示 ：nnd12mBP網(wǎng)絡(luò)的快速學(xué)習(xí)算法與選擇學(xué)習(xí)算法適用問(wèn)題

12、類(lèi)型收斂性能占用存儲(chǔ)空間其他特點(diǎn)trainlm函數(shù)擬合收斂快,誤差小大性能隨網(wǎng)絡(luò)規(guī)模增大而變差trainrp模式分類(lèi)收斂最快較小性能隨網(wǎng)絡(luò)訓(xùn)練誤差減小而變差trainscg函數(shù)擬合模式分類(lèi)收斂較快性能穩(wěn)定中等尤其適用于網(wǎng)絡(luò)規(guī)模較大的情況trainbfg函數(shù)擬合收斂較快較大計(jì)算量隨網(wǎng)絡(luò)規(guī)模的增大呈幾何增長(zhǎng)traingdx模式分類(lèi)收斂較慢較小適用于提前停止的方法 MATLAB神經(jīng)網(wǎng)絡(luò)工具箱對(duì)常規(guī)BP算法進(jìn)行改進(jìn),提供了一系列快速算法,以滿(mǎn)足不同問(wèn)題的需要BP網(wǎng)絡(luò)的訓(xùn)練 利用已知的”輸入目標(biāo)”樣本向量數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,采用train 函數(shù)來(lái)完成. 訓(xùn)練之前, 對(duì)訓(xùn)練參數(shù)進(jìn)行設(shè)置 訓(xùn)練參數(shù) 參數(shù)含義

13、 默認(rèn)值net.trainParam.epochs訓(xùn)練步數(shù)100net.trainParam.show顯示訓(xùn)練結(jié)果的間隔步數(shù)25net.trainParam.goal訓(xùn)練目標(biāo)誤差0net.trainParam.time訓(xùn)練允許時(shí)間INfnet.trainParam.lr學(xué)習(xí)率0.01net = train(net, P, T)NN GUI工具：nntoolNNTOOL(1) 輸入?yún)^(qū)域(2) 目標(biāo)區(qū)域(3) 神經(jīng)網(wǎng)絡(luò)對(duì)象(4) 網(wǎng)絡(luò)輸出數(shù)據(jù)(5) 誤差數(shù)據(jù)引入數(shù)據(jù)網(wǎng)絡(luò)新建數(shù)據(jù)網(wǎng)絡(luò)BP網(wǎng)絡(luò)的設(shè)計(jì)(1)網(wǎng)絡(luò)層數(shù) 已經(jīng)證明,單隱層的BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任意非線(xiàn)性映射. BP網(wǎng)絡(luò)的隱層數(shù)一般不超過(guò)兩層.輸入

14、層的節(jié)點(diǎn)數(shù) 輸入層接收外部的輸入數(shù)據(jù), 節(jié)點(diǎn)數(shù)取決于輸入向量的維數(shù)輸出層的節(jié)點(diǎn)數(shù) 輸出層的節(jié)點(diǎn)數(shù)取決于輸出數(shù)據(jù)類(lèi)型和該類(lèi)型所需的數(shù)據(jù)大小.BP網(wǎng)絡(luò)的設(shè)計(jì)(2)隱層的節(jié)點(diǎn)數(shù) 隱層的節(jié)點(diǎn)數(shù)與求解問(wèn)題的要求,輸入輸出單元數(shù)多少有關(guān). 對(duì)于模式識(shí)別/分類(lèi)的節(jié)點(diǎn)數(shù)可按下列公式設(shè)計(jì)傳遞函數(shù) 隱層傳遞函數(shù)采用S型函數(shù), 輸出層采用S型函數(shù)或線(xiàn)性函數(shù)訓(xùn)練方法及其參數(shù)選擇 針對(duì)不同應(yīng)用, BP網(wǎng)絡(luò)提供了多種訓(xùn)練學(xué)習(xí)方法.0innnan其中為隱層節(jié)點(diǎn)數(shù),in為輸入節(jié)點(diǎn)數(shù),a為110之間的整數(shù)BPBP改進(jìn)算法應(yīng)用演示改進(jìn)算法應(yīng)用演示演示演示 BP基本算法 帶有動(dòng)量項(xiàng)的BP改進(jìn)算法 自適應(yīng)學(xué)習(xí)率的BP算法 應(yīng)用：函數(shù)

15、估計(jì)精餾塔頂乙烯濃度估計(jì)實(shí)驗(yàn)1： BP網(wǎng)絡(luò)設(shè)計(jì)實(shí)例同一問(wèn)題的三種不同訓(xùn)練方法的比較BP基本算法帶有動(dòng)量項(xiàng)的BP改進(jìn)算法自適應(yīng)學(xué)習(xí)率的BP算法實(shí)驗(yàn)實(shí)驗(yàn)2: BP網(wǎng)絡(luò)用于曲線(xiàn)擬合網(wǎng)絡(luò)用于曲線(xiàn)擬合 要求設(shè)計(jì)一個(gè)簡(jiǎn)單的BP網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)非線(xiàn)性函數(shù)的逼近。通過(guò)改變?cè)摵瘮?shù)的參數(shù)以及BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目，來(lái)觀察訓(xùn)練時(shí)間以及訓(xùn)練誤差的變化情況。Step1: 將要逼近的非線(xiàn)性函數(shù)設(shè)為正弦函數(shù)k = 1; p = -1:.05:1;t = sin(k*pi*p);plot(p,t,-)title(要逼近的非線(xiàn)性函數(shù));xlabel(時(shí)間);ylabel(非線(xiàn)性函數(shù)); Step 2: 網(wǎng)絡(luò)建立 應(yīng)用函數(shù)newf

16、f()建立BP網(wǎng)絡(luò)結(jié)構(gòu)，為二層BP網(wǎng)絡(luò)。隱層神經(jīng)元數(shù)目n可以改變，暫設(shè)為10，輸出層有一個(gè)神經(jīng)元。選擇隱層和輸出層神經(jīng)元傳遞函數(shù)分別為tansig函數(shù)和purelin函數(shù)，網(wǎng)絡(luò)訓(xùn)練算法采用trainlmn = 10;net = newff(minmax(p), n,1, tansig purelin, trainlm);% 對(duì)于該初始網(wǎng)絡(luò)，可以應(yīng)用sim()函數(shù)觀察網(wǎng)絡(luò)輸出y1 = sim(net,p);% 同時(shí)繪制網(wǎng)絡(luò)輸出曲線(xiàn)，并與原函數(shù)相比較figure;plot(p,t,-,p,y1,-)title(未訓(xùn)練網(wǎng)絡(luò)的輸出結(jié)果);xlabel(時(shí)間);ylabel(仿真輸出 原函數(shù) );因?yàn)槭?/p>

17、用newff()函數(shù)建立網(wǎng)絡(luò)時(shí)，權(quán)值和閾值的初始化是隨機(jī)的，所以網(wǎng)絡(luò)輸出的結(jié)果很差，根本達(dá)不到函數(shù)逼近的目的，并且每次運(yùn)行結(jié)果也有所不同。 Step 3: 網(wǎng)絡(luò)訓(xùn)練 應(yīng)用函數(shù)train()對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，要先設(shè)置訓(xùn)練參數(shù)。將訓(xùn)練時(shí)間設(shè)置為50，精度設(shè)置為0.01，其余用缺省值。 訓(xùn)練后得到的誤差變化過(guò)程如圖：net.trainParam.epochs = 50;net.trainParam.goal = 0.01;net = train(net,p,t);Stet 4: 網(wǎng)絡(luò)測(cè)試對(duì)于訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行仿真并繪制網(wǎng)絡(luò)輸出曲線(xiàn)，與原始非線(xiàn)性函數(shù)曲線(xiàn)以及未訓(xùn)練網(wǎng)絡(luò)的輸出結(jié)果曲線(xiàn)相比較y2 = si

18、m(net,p);figure;plot(p,t,-,p,y1,-,p,y2,-.)title(訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果);xlabel(時(shí)間);ylabel(仿真輸出);從圖中可以看出，得到的曲線(xiàn)和原始的非線(xiàn)性函數(shù)曲線(xiàn)很接近。這說(shuō)明經(jīng)過(guò)訓(xùn)練后，BP網(wǎng)絡(luò)對(duì)非線(xiàn)性函數(shù)的逼近效果相當(dāng)好。討討 論論 改變非線(xiàn)性函數(shù)的頻率k值，和BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目，對(duì)于函數(shù)逼近的效果有一定的影響。 網(wǎng)絡(luò)非線(xiàn)性程度越高，對(duì)于BP網(wǎng)絡(luò)的要求就越高，則相同的網(wǎng)絡(luò)逼近效果要差一些；隱層神經(jīng)元的數(shù)目對(duì)于網(wǎng)絡(luò)逼近效果出有一定的影響，一般來(lái)說(shuō)，隱層神經(jīng)元數(shù)目越多，則BP網(wǎng)絡(luò)逼近能力越強(qiáng)，而同時(shí)網(wǎng)絡(luò)訓(xùn)練所用的時(shí)間相對(duì)來(lái)說(shuō)也要長(zhǎng)一些。 關(guān)于這些，大家可以自己通過(guò)參數(shù)調(diào)整試一試，并在實(shí)驗(yàn)報(bào)告中有所反映。實(shí)驗(yàn)3：避免過(guò)度吻合 逼近帶有噪聲的正弦函數(shù)-1-0.8-0.6-0.4-0.60.81-1.5-1-0.500.511.5實(shí)驗(yàn)3：避免過(guò)度吻合-1-0.8-0.6-0.4-0.60.81-1.5-1-0.500.511.5-1-0.8-0.6-0.4-0.60.81-1.5-1-0.500.511.5無(wú)確認(rèn)數(shù)據(jù)有確認(rèn)數(shù)據(jù)實(shí)驗(yàn)4：函數(shù)逼近的工業(yè)應(yīng)用精餾塔頂