BP神經(jīng)網(wǎng)絡(luò)的設(shè)計實例(MATLAB編程)

神經(jīng)網(wǎng)絡(luò)的設(shè)計實例(MATLAB編程)例1 采用動量梯度下降算法訓(xùn)練 BP 網(wǎng)絡(luò)。訓(xùn)練樣本定義如下：輸入矢量為p =-1 -2 3 1 -1 1 5 -3目標(biāo)矢量為 t = -1 -1 1 1解：本例的 MATLAB 程序如下：close allclearecho onclc% NEWFF生成一個新的前向神經(jīng)網(wǎng)絡(luò)% TRAIN對 BP 神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練% SIM對 BP 神經(jīng)網(wǎng)絡(luò)進行仿真pause% 敲任意鍵開始clc% 定義訓(xùn)練樣本P=-1, -2, 3, 1; -1, 1, 5, -3; % P 為輸入矢量T=-1, -1, 1, 1;% T 為目標(biāo)矢量pause;clc% 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò)net=newff(minmax(P),3,1,tansig,purelin,traingdm)% 當(dāng)前輸入層權(quán)值和閾值inputWeights=net.IW1,1inputbias=net.b1% 當(dāng)前網(wǎng)絡(luò)層權(quán)值和閾值layerWeights=net.LW2,1layerbias=net.b2pauseclc% 設(shè)置訓(xùn)練參數(shù)net.trainParam.show = 50;net.trainParam.lr = 0.05;net.trainParam.mc = 0.9;net.trainParam.epochs = 1000;net.trainParam.goal = 1e-3;pauseclc% 調(diào)用 TRAINGDM 算法訓(xùn)練 BP 網(wǎng)絡(luò)net,tr=train(net,P,T);pauseclc% 對 BP 網(wǎng)絡(luò)進行仿真A = sim(net,P)% 計算仿真誤差E = T - AMSE=mse(E)pauseclcecho off例2 采用貝葉斯正則化算法提高 BP 網(wǎng)絡(luò)的推廣能力。在本例中，我們采用兩種訓(xùn)練方法，即 L-M 優(yōu)化算法（trainlm）和貝葉斯正則化算法（trainbr），用以訓(xùn)練 BP 網(wǎng)絡(luò)，使其能夠擬合某一附加有白噪聲的正弦樣本數(shù)據(jù)。其中，樣本數(shù)據(jù)可以采用如下MATLAB 語句生成：輸入矢量：P = -1:0.05:1；目標(biāo)矢量：randn(seed,)；T = sin(2*pi*P)+0.1*randn(size(P)；解：本例的 MATLAB 程序如下：close allclearecho onclc% NEWFF生成一個新的前向神經(jīng)網(wǎng)絡(luò)% TRAIN對 BP 神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練% SIM對 BP 神經(jīng)網(wǎng)絡(luò)進行仿真pause% 敲任意鍵開始clc% 定義訓(xùn)練樣本矢量% P 為輸入矢量P = -1:0.05:1;% T 為目標(biāo)矢量randn(seed,); T = sin(2*pi*P)+0.1*randn(size(P);% 繪制樣本數(shù)據(jù)點plot(P,T,+);echo offhold on;plot(P,sin(2*pi*P),:);% 繪制不含噪聲的正弦曲線echo onclcpauseclc% 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò)net=newff(minmax(P),20,1,tansig,purelin);pauseclcecho offclcdisp(1. L-M 優(yōu)化算法 TRAINLM); disp(2. 貝葉斯正則化算法 TRAINBR);choice=input(請選擇訓(xùn)練算法(1,2):);figure(gcf);if(choice=1)echo onclc% 采用 L-M 優(yōu)化算法 TRAINLMnet.trainFcn=trainlm;pauseclc% 設(shè)置訓(xùn)練參數(shù)net.trainParam.epochs = 500;net.trainParam.goal = 1e-6;net=init(net);% 重新初始化pauseclcelseif(choice=2)echo onclc% 采用貝葉斯正則化算法 TRAINBRnet.trainFcn=trainbr;pauseclc% 設(shè)置訓(xùn)練參數(shù)net.trainParam.epochs = 500;randn(seed,);net = init(net);% 重新初始化pauseclcend% 調(diào)用相應(yīng)算法訓(xùn)練 BP 網(wǎng)絡(luò)net,tr=train(net,P,T);pauseclc% 對 BP 網(wǎng)絡(luò)進行仿真A = sim(net,P);% 計算仿真誤差E = T - A;MSE=mse(E)pauseclc% 繪制匹配結(jié)果曲線close all;plot(P,A,P,T,+,P,sin(2*pi*P),:);pause;clcecho off通過采用兩種不同的訓(xùn)練算法，我們可以得到如圖 1和圖 2所示的兩種擬合結(jié)果。圖中的實線表示擬合曲線，虛線代表不含白噪聲的正弦曲線，點為含有白噪聲的正弦樣本數(shù)據(jù)點。顯然，經(jīng) trainlm 函數(shù)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)點實現(xiàn)了過度匹配，而經(jīng) trainbr 函數(shù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對噪聲不敏感，具有較好的推廣能力。值得指出的是，在利用 trainbr 函數(shù)訓(xùn)練 BP 網(wǎng)絡(luò)時，若訓(xùn)練結(jié)果收斂，通常會給出提示信息Maximum MU reached。此外，用戶還可以根據(jù) SSE 和 SSW 的大小變化情況來判斷訓(xùn)練是否收斂：當(dāng) SSE 和 SSW 的值在經(jīng)過若干步迭代后處于恒值時，則通常說明網(wǎng)絡(luò)訓(xùn)練收斂，此時可以停止訓(xùn)練。觀察trainbr 函數(shù)訓(xùn)練 BP 網(wǎng)絡(luò)的誤差變化曲線,可見，當(dāng)訓(xùn)練迭代至 320 步時，網(wǎng)絡(luò)訓(xùn)練收斂，此時 SSE 和 SSW 均為恒值，當(dāng)前有效網(wǎng)絡(luò)的參數(shù)（有效權(quán)值和閾值）個數(shù)為 11.7973。例3 采用提前停止方法提高 BP 網(wǎng)絡(luò)的推廣能力。對于和例 2相同的問題，在本例中我們將采用訓(xùn)練函數(shù) traingdx 和提前停止相結(jié)合的方法來訓(xùn)練 BP 網(wǎng)絡(luò)，以提高 BP 網(wǎng)絡(luò)的推廣能力。解：在利用提前停止方法時，首先應(yīng)分別定義訓(xùn)練樣本、驗證樣本或測試樣本，其中，驗證樣本是必不可少的。在本例中，我們只定義并使用驗證樣本，即有驗證樣本輸入矢量：val.P = -0.975:.05:0.975驗證樣本目標(biāo)矢量：val.T = sin(2*pi*val.P)+0.1*randn(size(val.P)值得注意的是，盡管提前停止方法可以和任何一種 BP 網(wǎng)絡(luò)訓(xùn)練函數(shù)一起使用，但是不適合同訓(xùn)練速度過快的算法聯(lián)合使用，比如 trainlm 函數(shù)，所以本例中我們采用訓(xùn)練速度相對較慢的變學(xué)習(xí)速率算法 traingdx 函數(shù)作為訓(xùn)練函數(shù)。本例的 MATLAB 程序如下：close allclearecho onclc% NEWFF生成一個新的前向神經(jīng)網(wǎng)絡(luò)% TRAIN對 BP 神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練% SIM對 BP 神經(jīng)網(wǎng)絡(luò)進行仿真pause% 敲任意鍵開始clc% 定義訓(xùn)練樣本矢量% P 為輸入矢量P = -1:0.05:1;% T 為目標(biāo)矢量randn(seed,);T = sin(2*pi*P)+0.1*randn(size(P);% 繪制訓(xùn)練樣本數(shù)據(jù)點plot(P,T,+);echo offhold on;plot(P,sin(2*pi*P),:); % 繪制不含噪聲的正弦曲線echo onclcpauseclc% 定義驗證樣本val.P = -0.975:0.05:0.975; % 驗證樣本的輸入矢量val.T = sin(2*pi*val.P)+0.1*randn(size(val.P); % 驗證樣本的目標(biāo)矢量pauseclc% 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò)net=newff(minmax(P),5,1,tansig,purelin,traingdx);pauseclc% 設(shè)置訓(xùn)練參數(shù)net.trainParam.epochs = 500;net = init(net);pauseclc% 訓(xùn)練 BP 網(wǎng)絡(luò)net,tr=train(net,P,T,val);pauseclc% 對 BP 網(wǎng)絡(luò)進行仿真A = sim(net,P);% 計算仿真誤差E = T - A;MSE=mse(E)pauseclc% 繪制仿真擬合結(jié)果曲線close all;plot(P,A,P,T,+,P,sin(2*pi*P),:);pause;clcecho off下面給出了網(wǎng)絡(luò)的某次訓(xùn)練結(jié)果，可見，當(dāng)訓(xùn)練至第 136 步時，訓(xùn)練提前停止，此時的網(wǎng)絡(luò)誤差為 0.。給出了訓(xùn)練后的仿真數(shù)據(jù)擬合曲線，效果是相當(dāng)滿意的。net,tr=train(net,P,T,val);TRAINGDX, Epoch 0/500, MSE 0./0, Gradient 2.1201/1e-006TRAINGDX, Epoch 25/500, MSE 0./0, Gradient 0./1e-006TRAINGDX, Epoch 50/500, MSE 0./0, Gradient 0./1e-006TRAINGDX, Epoch 75/500, MSE 0./0, Gradient 0./1e-006TRAINGDX, Epoch 100/500, MSE 0./0, Gradient 0./1e-006TRAINGDX, Epoch 125/500, MSE 0./0, Gradient 0./1e-006TRAINGDX, Epoch 136/500, MSE 0./0, Gradient 0.01203/1e-006TRAINGDX, Validation stop.例3 用BP網(wǎng)絡(luò)估計膽固醇含量這是一個將神經(jīng)網(wǎng)絡(luò)用于醫(yī)療應(yīng)用的例子。我們設(shè)計一個器械，用于從血樣的光譜組成的測量中得到血清的膽固醇含量級別，我們有261個病人的血樣值，包括21種波長的譜線的數(shù)據(jù)，對于這些病人，我們得到了基于 光譜分類的膽固醇含量級別hdl,ldl,vldl。(1) 樣本數(shù)據(jù)的定義與預(yù)處理。choles_all.mat 文件中存儲了網(wǎng)絡(luò)訓(xùn)練所需要的全部樣本數(shù)據(jù)。利用 load 函數(shù)可以在工作空間中自動載入網(wǎng)絡(luò)訓(xùn)練所需的輸入數(shù)據(jù) p 和目標(biāo)數(shù)據(jù) t，即load choles_allsizeofp = size (p)sizeofp = 21 264sizeoft = size (t)sizeoft = 3 264可見，樣本集的大小為 264。為了提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率，通常要對樣本數(shù)據(jù)作適當(dāng)?shù)念A(yù)處理。首先，利用 prestd 函數(shù)對樣本數(shù)據(jù)作歸一化處理，使得歸一化后的輸入和目標(biāo)數(shù)據(jù)均服從正態(tài)分布，即 pn,meanp,stdp,tn,meant,stdt = prestd(p,t);然后，利用 prepca 函數(shù)對歸一化后的樣本數(shù)據(jù)進行主元分析，從而消除樣本數(shù)據(jù)中的冗余成份，起到數(shù)據(jù)降維的目的。ptrans,transMat = prepca(pn,0.001);R,Q = size(ptrans)R = 4 Q = 264可見，主元分析之后的樣本數(shù)據(jù)維數(shù)被大大降低，輸入數(shù)據(jù)的維數(shù)由 21 變?yōu)?4。(2) 對訓(xùn)練樣本、驗證樣本和測試樣本進行劃分。為了提高網(wǎng)絡(luò)的推廣能力和識別能力，訓(xùn)練中采用提前停止的方法，因此，在訓(xùn)練之前，需要將上面處理后的樣本數(shù)據(jù)適當(dāng)劃分為訓(xùn)練樣本集、驗證樣本集和測試樣本集。(3) 網(wǎng)絡(luò)生成與訓(xùn)練。 選用兩層 BP 網(wǎng)絡(luò)，其中網(wǎng)絡(luò)輸入維數(shù)為 4，輸出維數(shù)為 3，輸出值即為血清膽固醇的三個指標(biāo)值大小。網(wǎng)絡(luò)中間層神經(jīng)元數(shù)目預(yù)選為 5，傳遞函數(shù)類型選為 tansig 函數(shù)，輸出層傳遞函數(shù)選為線性函數(shù) purelin，訓(xùn)練函數(shù)設(shè)為 trainlm。網(wǎng)絡(luò)的生成語句如下：net = newff(minmax(ptr),5 3,tansig purelin,trainlm);利用 train 函數(shù)對所生成的神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，訓(xùn)練結(jié)果如下：net,tr=train(net,ptr,ttr,val,test);見，網(wǎng)絡(luò)訓(xùn)練迭代至第 20 步時提前停止，這是由于驗證誤差已經(jīng)開始變大。利用下面語句可以繪制出訓(xùn)練誤差、驗證誤差和測試誤差的變化曲線，如圖 4.50 所示。由圖可見，驗證誤差和測試誤差的變化趨勢基本一致，說明樣本集的劃分基本合理。由訓(xùn)練誤差曲線可見，訓(xùn)練誤差結(jié)果也是比較滿意的。(4) 網(wǎng)絡(luò)仿真。 為了進一步檢驗訓(xùn)練后網(wǎng)絡(luò)的性能，下面對訓(xùn)練結(jié)果作進一步仿真分析。利用 postreg函數(shù)可以對網(wǎng)絡(luò)仿真的輸出結(jié)果和目標(biāo)輸出作線性回歸分析，并得到兩者的相關(guān)系數(shù)，從而可以作為網(wǎng)絡(luò)訓(xùn)練結(jié)果優(yōu)劣的判別依據(jù)。仿真與線性回歸分析如下：an = sim(net,ptrans);a = poststd(an,meant,stdt);for i=1:3figure(i)m(i),b(i),r(i) = postreg(a(i,:),t(i,:);end%導(dǎo)入原始測量數(shù)據(jù)load choles_all;%對原始數(shù)據(jù)進行規(guī)范化處理,prestd是對輸入數(shù)據(jù)和輸出數(shù)據(jù)進行規(guī)范化處理，%prepca可以刪除一些數(shù)據(jù)，適當(dāng)?shù)乇Ａ袅俗兓恍∮?.01的數(shù)據(jù)pn,meanp,stdp,tn,meant,stdt=prestd(p,t);ptrans,transMat=prepca(pn,0.001);R,Q=size(ptrans)%將原始數(shù)據(jù)分成幾個部分作為不同用途四分已用于確證，四分一用于測試，二分一用于訓(xùn)練網(wǎng)絡(luò)iitst=2:4:Q;iival=4:4:Q;iitr=1:4:Q 3:4:Q;%vv是確證向量，.P是輸入，.T是輸出，vt是測試向量vv.P=ptrans(:,iival);vv.T=tn(:,iival);vt.P=ptrans(:,iitst);vt.T=tn(:,iitst);ptr=ptrans(:,iitr);ttr=tn(:,iitr);%建立網(wǎng)絡(luò)，隱層中設(shè)計5個神經(jīng)元，由于需要得到的是3個目標(biāo)，所以網(wǎng)絡(luò)需要有3個輸出net=newff(minmax(ptr),5 3,tansig purelin,trainlm);%訓(xùn)練網(wǎng)絡(luò)net.trainParam.show=5;net,tr=train(net,ptr,ttr,vv,vt);%繪出訓(xùn)練過程中各誤差的變化曲線plot(tr.epoch,tr