BP網(wǎng)絡設計基礎(chǔ)PPT課件

1、 BP網(wǎng)絡設計基礎(chǔ)網(wǎng)絡設計基礎(chǔ) 在神經(jīng)網(wǎng)絡的實際應用中，不存在確定和普遍有效的規(guī)律可以遵循，需要通過多次的試驗和改進來得到滿意的神經(jīng)網(wǎng)絡。 網(wǎng)絡規(guī)模與樣本數(shù)量 訓練樣本的準備 初始權(quán)值的設計 BP網(wǎng)絡結(jié)構(gòu)設計 網(wǎng)絡訓練與測試網(wǎng)絡規(guī)模與樣本數(shù)量 網(wǎng)絡規(guī)模受到樣本數(shù)量的限制 網(wǎng)絡權(quán)值和閾值的是否可辨識受到樣本數(shù)量的影響 網(wǎng)絡權(quán)值和閾值辨識的精度受到樣本數(shù)量的影響wnP 訓練樣本的準備 輸入輸出變量的選擇 輸出變量為需要預測的變量，或者需要分出的類別 輸入變量的選擇比較復雜，通常有以下特點 輸入變量必須對輸出變量影響大 輸入變量之間最好沒有相關(guān)性 機理知識方法 試驗法 由多到少 由少到多訓練樣本的準

2、備 輸入變量的提取與表示 數(shù)值變量輸入 符號/語言變量輸入 圖像輸入 曲線輸入 輸入變量的非線性變換訓練樣本的準備 輸出變量的表示 輸出變量的范圍受到輸出節(jié)點類型的影響 Sigmoid，線性，階躍函數(shù)節(jié)點 普通數(shù)值表示 逼近應用 分類應用（模糊分類） 分類應用中的表示方法 n中選1方法 n-1方法 數(shù)值表示法訓練樣本的準備 數(shù)據(jù)預處理 剔除壞點：首先通過數(shù)據(jù)分析結(jié)合機理知識，去除明顯壞點（造成原因） 歸一化/尺度變換，將輸入輸出變量統(tǒng)一轉(zhuǎn)換到0-1或者-1-1之間 分布變換minmaxminxxxxxiimidmidiimidxxxxxxxxmaxminmax22訓練樣本的準備 訓練集的設計

3、訓練樣本數(shù) 現(xiàn)場客觀條件 最終訓練精度 映射的復雜程度 數(shù)據(jù)的噪聲水平等 樣本的選擇和組織 代表性和多樣性 平均性初始權(quán)值的設計 初始值影響收斂速度和最終結(jié)果 根據(jù)sigmoid函數(shù)特點給出初始值 隨機小數(shù) -1/+1的個數(shù)均衡)1(1jjlkjkokyjyywBP結(jié)構(gòu)設計n以最少的隱層和隱層節(jié)點（最簡單的網(wǎng)絡結(jié)構(gòu)）獲得符合要求的網(wǎng)絡預測精度 隱層數(shù)設計 連續(xù)函數(shù)為1個隱層 分段函數(shù)為2個隱層 隱層節(jié)點數(shù)目 太少映射能力有限 太多造成了過度吻合（over fitting）BP結(jié)構(gòu)設計 隱層節(jié)點數(shù)目確定nlmwEEtf網(wǎng)絡的訓練與測試 神經(jīng)網(wǎng)絡的泛化能力網(wǎng)絡的訓練與測試 增強泛化能力避免過度吻合

4、 提前停止 訓練數(shù)據(jù) 確認數(shù)據(jù) 測試數(shù)據(jù) 網(wǎng)絡誤差引入權(quán)值和閾值wEEtf網(wǎng)絡的訓練與測試 訓練結(jié)果分析 多次訓練結(jié)果比較 誤差（訓練誤差，確認誤差，測試誤差） 分析是否還有改進的空間 刪除部分不一致的壞點 改變隱層的數(shù)量 改變隱層節(jié)點的數(shù)量 改變輸入變量的選擇 改變輸入變量的表示方法 訓練方法的改變 訓練樣本集的改變等等BP神經(jīng)網(wǎng)絡的應用過程 一個循環(huán)過程 準備訓練樣本 BP網(wǎng)絡結(jié)構(gòu)修改 初始化權(quán)值 網(wǎng)絡訓練與測試 分析結(jié)果并重新開始上述步驟，直至達到滿意的結(jié)果MATLAB神經(jīng)網(wǎng)絡工具箱神經(jīng)網(wǎng)絡工具箱Matlab神經(jīng)網(wǎng)絡工具箱支持以下NN模型：n感知器nBP網(wǎng)絡nRBFN網(wǎng)絡n競爭型網(wǎng)絡n自

5、組織網(wǎng)絡n反饋網(wǎng)絡n 時延網(wǎng)絡n NARX網(wǎng)絡n 自定義網(wǎng)絡Matlab神經(jīng)網(wǎng)絡工具箱近200個工具箱函數(shù)，包括： 各類神經(jīng)網(wǎng)絡訓練； 圖形化顯示(誤差結(jié)果，權(quán)值等)； 與Simulink緊密結(jié)合，拖放方式創(chuàng)建NN； Simulink中NN Control和Fuzzy NN實現(xiàn)(ANFIS) BP網(wǎng)絡l 多層前饋網(wǎng)絡l 主要功能: 函數(shù)逼近, 模式識別, 信息分類l 傳遞函數(shù):隱層采用S形函數(shù),輸出層S形函數(shù)或線性函數(shù)Matlab神經(jīng)網(wǎng)絡工具箱 使用工具箱函數(shù)和對象來實現(xiàn)神經(jīng)網(wǎng)絡的建立，訓練和測試等功能 使用GUI來完成各項功能BP網(wǎng)絡的生成網(wǎng)絡的生成newff函數(shù)newff用來生成一個BP網(wǎng)

6、絡net=newff(PR,S1 S2.SN,TF1 TF2. TFN,BTF,BLF,PF)PR: 一個R2矩陣, 由R維輸入向量的每維最小值和最大值組成Si: 第i層的神經(jīng)元個數(shù)TFi: 第i層的傳遞函數(shù), 默認為tansigBTF: 訓練函數(shù), 默認為trainlmBLF: 學習函數(shù), 默認為learngdmPF: 性能函數(shù), 默認為msenet=newff(0,10; 1,2,5,1,tansig,purelin,trainlm); %生成一個兩層BP網(wǎng)絡,隱層和輸出層神經(jīng)元的個數(shù)為5和1, 傳遞函數(shù)分別為tansig和purelin, 訓練函數(shù)為trainlm, 其他默認BP網(wǎng)絡的初

7、始化 newff 函數(shù)在建立網(wǎng)絡對象的同時, 自動調(diào)用初始化函數(shù), 根據(jù)缺省的參數(shù)設置網(wǎng)絡的連接權(quán)值和閾值. 使用函數(shù)init可以對網(wǎng)絡進行自定義的初始化. 通過選擇初始化函數(shù), 可對各層連接權(quán)值和閾值分別進行不同的初始化.Net對象屬性NN工具箱中最重要的對象。引用方式： 網(wǎng)絡名.子對象.屬性決定神經(jīng)網(wǎng)絡結(jié)構(gòu)，包括輸入向量，網(wǎng)絡層，輸出向量，權(quán)值向量等, 以及他們的連接關(guān)系e.g. net.numInputs, net.trainParam.epochs, net.layers1.sizeNet對象屬性：權(quán)值/閾值基于權(quán)值和閾值屬性的訪問方式： IW 輸入權(quán)值； LW 網(wǎng)絡層權(quán)值； b 閾值

8、(輸入層+網(wǎng)絡層)Net對象屬性：子對象類型inputs：輸入層結(jié)構(gòu)(.range, .size)layers: 各網(wǎng)絡層結(jié)構(gòu)(.size, .transferFun)outputs: 輸出向量結(jié)構(gòu)targets: 各網(wǎng)絡層目標向量biases: 各網(wǎng)絡層閾值向量inputWeights: 輸入層權(quán)值向量layerWeights: 各網(wǎng)絡層權(quán)值向量Net對象屬性：函數(shù)屬性定義了在權(quán)值調(diào)整，初始化，性能計算或訓練時采用的算法 adaptFcn：權(quán)值/閾值調(diào)整 initFcn：初始化權(quán)值/閾值 performFcn：性能指標函數(shù) trainFcn：訓練函數(shù)信號處理Net對象屬性：函數(shù)屬性train

9、Fcn traingd BP traingdx +自適應學習速率+動量因子 trainrp 彈性BP traincgb 一種改進的共軛梯度法 trainlm Levernberg-Marquardt 其他Net對象屬性：參數(shù)屬性(train) net.trainParam.epochs 100 最大訓練周期 net.trainParam.max_fail 5 最大失敗次數(shù) net.trainParam.mem_reduc 1 內(nèi)存/速度折中系數(shù)(LM) net.trainParam.min_grad 1e-10 最小梯度 net.trainParam.mu 0.001 初始(LM) net.t

10、rainParam.mu_dec 0.1 減小系數(shù) net.trainParam.mu_inc 10 增加系數(shù) net.trainParam.mu_max 1e10 最大 net.trainParam.show 25 訓練周期 net.trainParam.time inf 最多訓練時間MATLAB BP算法: 最速下降法(BP) 訓練函數(shù)：traingd 演示 ：nnd12sd1)()() 1(kkkgwwMATLAB BP算法: 動量BP 訓練函數(shù)：traingdm 演示 ：nnd12mo)()1 ()() 1(kkkgww) 1()() 1(kkkwwwMATLAB BP算法: 學習速率

11、可變BP 訓練函數(shù)：traingdx 演示 ：nnd12vl )() 1()()() 1()() 1(decinckJkJkkkJkJkkkMATLAB BP算法: 彈性BP 訓練函數(shù)：trainrp 0)()()1(sign)(sign)(sign)()1(sign)(sign)(sign)() 1(decinckkkkkgkkkkkgkkkgwggwggwwMATLAB BP算法: 基于二階導數(shù)n BFGS算法(trainbfg)n OSS算法(trainoss)n Levernberg-Marquardt(trainlm) 演示 ：nnd12mBP網(wǎng)絡的快速學習算法與選擇學習算法適用問題

12、類型收斂性能占用存儲空間其他特點trainlm函數(shù)擬合收斂快,誤差小大性能隨網(wǎng)絡規(guī)模增大而變差trainrp模式分類收斂最快較小性能隨網(wǎng)絡訓練誤差減小而變差trainscg函數(shù)擬合模式分類收斂較快性能穩(wěn)定中等尤其適用于網(wǎng)絡規(guī)模較大的情況trainbfg函數(shù)擬合收斂較快較大計算量隨網(wǎng)絡規(guī)模的增大呈幾何增長traingdx模式分類收斂較慢較小適用于提前停止的方法 MATLAB神經(jīng)網(wǎng)絡工具箱對常規(guī)BP算法進行改進,提供了一系列快速算法,以滿足不同問題的需要BP網(wǎng)絡的訓練 利用已知的”輸入目標”樣本向量數(shù)據(jù)對網(wǎng)絡進行訓練,采用train 函數(shù)來完成. 訓練之前, 對訓練參數(shù)進行設置 訓練參數(shù) 參數(shù)含義

13、 默認值net.trainParam.epochs訓練步數(shù)100net.trainParam.show顯示訓練結(jié)果的間隔步數(shù)25net.trainParam.goal訓練目標誤差0net.trainParam.time訓練允許時間INfnet.trainParam.lr學習率0.01net = train(net, P, T)NN GUI工具：nntoolNNTOOL(1) 輸入?yún)^(qū)域(2) 目標區(qū)域(3) 神經(jīng)網(wǎng)絡對象(4) 網(wǎng)絡輸出數(shù)據(jù)(5) 誤差數(shù)據(jù)引入數(shù)據(jù)網(wǎng)絡新建數(shù)據(jù)網(wǎng)絡BP網(wǎng)絡的設計(1)網(wǎng)絡層數(shù) 已經(jīng)證明,單隱層的BP網(wǎng)絡可以實現(xiàn)任意非線性映射. BP網(wǎng)絡的隱層數(shù)一般不超過兩層.輸入

14、層的節(jié)點數(shù) 輸入層接收外部的輸入數(shù)據(jù), 節(jié)點數(shù)取決于輸入向量的維數(shù)輸出層的節(jié)點數(shù) 輸出層的節(jié)點數(shù)取決于輸出數(shù)據(jù)類型和該類型所需的數(shù)據(jù)大小.BP網(wǎng)絡的設計(2)隱層的節(jié)點數(shù) 隱層的節(jié)點數(shù)與求解問題的要求,輸入輸出單元數(shù)多少有關(guān). 對于模式識別/分類的節(jié)點數(shù)可按下列公式設計傳遞函數(shù) 隱層傳遞函數(shù)采用S型函數(shù), 輸出層采用S型函數(shù)或線性函數(shù)訓練方法及其參數(shù)選擇 針對不同應用, BP網(wǎng)絡提供了多種訓練學習方法.0innnan其中為隱層節(jié)點數(shù),in為輸入節(jié)點數(shù),a為110之間的整數(shù)BPBP改進算法應用演示改進算法應用演示演示演示 BP基本算法 帶有動量項的BP改進算法 自適應學習率的BP算法 應用：函數(shù)

15、估計精餾塔頂乙烯濃度估計實驗1： BP網(wǎng)絡設計實例同一問題的三種不同訓練方法的比較BP基本算法帶有動量項的BP改進算法自適應學習率的BP算法實驗實驗2: BP網(wǎng)絡用于曲線擬合網(wǎng)絡用于曲線擬合 要求設計一個簡單的BP網(wǎng)絡，實現(xiàn)對非線性函數(shù)的逼近。通過改變該函數(shù)的參數(shù)以及BP網(wǎng)絡隱層神經(jīng)元的數(shù)目，來觀察訓練時間以及訓練誤差的變化情況。Step1: 將要逼近的非線性函數(shù)設為正弦函數(shù)k = 1; p = -1:.05:1;t = sin(k*pi*p);plot(p,t,-)title(要逼近的非線性函數(shù));xlabel(時間);ylabel(非線性函數(shù)); Step 2: 網(wǎng)絡建立 應用函數(shù)newf

16、f()建立BP網(wǎng)絡結(jié)構(gòu)，為二層BP網(wǎng)絡。隱層神經(jīng)元數(shù)目n可以改變，暫設為10，輸出層有一個神經(jīng)元。選擇隱層和輸出層神經(jīng)元傳遞函數(shù)分別為tansig函數(shù)和purelin函數(shù)，網(wǎng)絡訓練算法采用trainlmn = 10;net = newff(minmax(p), n,1, tansig purelin, trainlm);% 對于該初始網(wǎng)絡，可以應用sim()函數(shù)觀察網(wǎng)絡輸出y1 = sim(net,p);% 同時繪制網(wǎng)絡輸出曲線，并與原函數(shù)相比較figure;plot(p,t,-,p,y1,-)title(未訓練網(wǎng)絡的輸出結(jié)果);xlabel(時間);ylabel(仿真輸出 原函數(shù) );因為使

17、用newff()函數(shù)建立網(wǎng)絡時，權(quán)值和閾值的初始化是隨機的，所以網(wǎng)絡輸出的結(jié)果很差，根本達不到函數(shù)逼近的目的，并且每次運行結(jié)果也有所不同。 Step 3: 網(wǎng)絡訓練 應用函數(shù)train()對網(wǎng)絡進行訓練之前，要先設置訓練參數(shù)。將訓練時間設置為50，精度設置為0.01，其余用缺省值。 訓練后得到的誤差變化過程如圖：net.trainParam.epochs = 50;net.trainParam.goal = 0.01;net = train(net,p,t);Stet 4: 網(wǎng)絡測試對于訓練好的網(wǎng)絡進行仿真并繪制網(wǎng)絡輸出曲線，與原始非線性函數(shù)曲線以及未訓練網(wǎng)絡的輸出結(jié)果曲線相比較y2 = si

18、m(net,p);figure;plot(p,t,-,p,y1,-,p,y2,-.)title(訓練后網(wǎng)絡的輸出結(jié)果);xlabel(時間);ylabel(仿真輸出);從圖中可以看出，得到的曲線和原始的非線性函數(shù)曲線很接近。這說明經(jīng)過訓練后，BP網(wǎng)絡對非線性函數(shù)的逼近效果相當好。討討 論論 改變非線性函數(shù)的頻率k值，和BP網(wǎng)絡隱層神經(jīng)元的數(shù)目，對于函數(shù)逼近的效果有一定的影響。 網(wǎng)絡非線性程度越高，對于BP網(wǎng)絡的要求就越高，則相同的網(wǎng)絡逼近效果要差一些；隱層神經(jīng)元的數(shù)目對于網(wǎng)絡逼近效果出有一定的影響，一般來說，隱層神經(jīng)元數(shù)目越多，則BP網(wǎng)絡逼近能力越強，而同時網(wǎng)絡訓練所用的時間相對來說也要長一些。 關(guān)于這些，大家可以自己通過參數(shù)調(diào)整試一試，并在實驗報告中有所反映。實驗3：避免過度吻合 逼近帶有噪聲的正弦函數(shù)-1-0.8-0.6-0.4-0.60.81-1.5-1-0.500.511.5實驗3：避免過度吻合-1-0.8-0.6-0.4-0.60.81-1.5-1-0.500.511.5-1-0.8-0.6-0.4-0.60.81-1.5-1-0.500.511.5無確認數(shù)據(jù)有確認數(shù)據(jù)實驗4：函數(shù)逼近的工業(yè)應用精餾塔頂