數(shù)學建模之神經(jīng)網(wǎng)絡

1、實用文案神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡不需要做許多假設和和復雜的數(shù)學表達式， 只用通過學習樣本進行訓練、BP神經(jīng)網(wǎng)絡1.1簡介BP神經(jīng)網(wǎng)絡由輸入層、隱層和輸出層三層構成。對于 BP神經(jīng)網(wǎng)絡，網(wǎng)絡的 性能受局部不準確試驗數(shù)據(jù)的影響很小。所以BP神經(jīng)網(wǎng)絡有很強的容錯性。缺點：訓練時間較長，求得的解可能是局部極小解。若R是輸入量的個數(shù)，叫是隱層第i個神經(jīng)元與輸出層第K個神經(jīng)元的連接 權值，bi是閾值。則通用神經(jīng)元模型如下:將多個神經(jīng)元模型串起來會得到n個神經(jīng)元輸出，第i個神經(jīng)元輸出為Rni 八 kd ikXk bi第i個神經(jīng)元經(jīng)過任意傳遞函數(shù)后得到輸出為小=f (n) = log sig(nj |tan sig(

2、nj purelin (nJBP神經(jīng)網(wǎng)絡的應用沼澤草炭土結(jié)構特性及模型研究(下載文檔)2.1步驟構造建模方案根據(jù)輸入與輸出關系寫出表達式，如三輸入，一輸出的非線性函數(shù)表達式為二二f (d,q,；)相對應的BP神經(jīng)網(wǎng)絡結(jié)構為隱含隹吃含隹巖上層設Xj, y-01分別表示BP網(wǎng)絡三層節(jié)點的輸入節(jié)點，隱節(jié)點，輸出節(jié)點。 叫 表示輸入節(jié)點和隱節(jié)點之間的網(wǎng)絡權值，表示隱節(jié)點和輸出節(jié)點之間的網(wǎng)絡 權值，我們用梯度法對BP網(wǎng)絡的權值進行修正，采用sigmoid函數(shù)。若輸出節(jié) 點期望輸出ti ,則有輸入節(jié)點至隱節(jié)點的公式為：閾值修正：q(k T)-u(k) .、.一誤差:aj=yi(1 -yi 應 SiTi1權

3、面正：j (k , 1)=%(k) , j隱節(jié)點至輸出節(jié)點的公式為：n若有p個樣本數(shù)，n個輸出節(jié)點數(shù)，則一個樣本的誤差為ek=£ Hk)-oi(k) |，控p制誤差范圍是Eekk：閾值修正：N(k1)"(k)、權值修正：TH (k +1)=TMk) +” y,(k為迭代次數(shù))誤差：-I = (tl -ol) ol (1 - ol)輸出節(jié)點的計算公式為：隱節(jié)點的輸出：yi = f（£必為仇）,其中為輸入節(jié)點的輸入，®ij為連接權值，稅為節(jié)點閾值。輸出節(jié)點的輸出：Oi=f （工玉yi -9i）,其中Tj為連接權值，61為節(jié)點閾值。BP算法參數(shù)優(yōu)化一般選取初始

4、權值的范圍為：（-1, +1）,用in,out分別表示輸入層，輸出層的節(jié)點數(shù)，s表示樣本訓總數(shù)，則隱含節(jié)點 數(shù)的大約取值:hide - in out - s/ out程序框圖如下:改進BP神經(jīng)網(wǎng)絡針對BP可能出現(xiàn)局部最小解的問題，我問用帶動量因子算法對BP算法學習過程進行改進。方法是在BP算法的基礎上往每個權值的變化上再加一項正比于 前次權值變化的值，同時由方向傳播來產(chǎn)生新的傳播變化。用K, c分別表示訓練次數(shù)和動量因子，c 一般取0.95左右，則權值調(diào)節(jié)為：Lwj (k 1) =(1 -c)、iPjcWj (k)|_b(k 1)=(1-c):i c_bi(k)、RBF神經(jīng)網(wǎng)絡RBF神經(jīng)網(wǎng)絡是

5、一種三層前向網(wǎng)絡，首先用徑向基函數(shù)作為隱含層節(jié)點的“基” 構成隱含層空間，對輸入矢量進行一次性變化，將低維的模式輸入映射到高維空 間內(nèi)，然后通過對隱含層接點輸出的加權求和得到輸出。RBF網(wǎng)絡結(jié)構如下輸入層 障含層輸出層2.1 RBF網(wǎng)絡的應用廣州鐵路樞紐運貨量預測(下載文檔)沼澤草炭土結(jié)構特性及模型研究(下載文檔)2.2 步驟(1)用K均值聚算類算法計算基函數(shù)中心聚類中心di(i =1,2,|,m)的初始化，一般用最初的m個訓練樣本作為di的值按照最近鄰規(guī)則將樣本集合分組，即將 Xt(t=1,2,IH,n)分到中心是di的輸入樣本聚類集合9i(i = 1,2,11 Lm)中，所以有Xt亡4且d

6、i =min |xt -di |將聚類中心重新調(diào)整，用mi表示日i的輸入樣本數(shù)，計算a中樣本的平均值,即聚類中心di = 為 E Xt.R若聚類中心有變化則重復以上步驟，否則進入下一步。得到RBF網(wǎng)絡最終基函數(shù)中心。(2)方差的計算選取高斯函數(shù)為彳向基函數(shù)，用dmax表示選取中心間的最大距離，則方差為_d maxi ., i = 1,2, I M , m.1 2 m(3)最小二乘法計算權值用dk表示相對于輸入Xk的期望，yk表示網(wǎng)絡的計算輸出，一般誤差準則是平 方誤差最小，即2 (d kj - ykj )由于基函數(shù)的參數(shù)G和仃已經(jīng)確定，誤差E只是權重的函數(shù)，要使E達到最 小，則有.：Eijn

7、J 'I1 M2一二, 'ykj dkj'、exp -72 v XkmGm=0-wijk T j 3i 1_ 2- m 1|將上式寫成矩陣形式AW=C,求解此線性方程組即得到wo例題：廣州鐵路樞紐運貨量預測根據(jù)表1預測廣州鐵路樞紐的貨運量表1 1995-2006年廣州鐵路樞紐貨運量年份1典519%國97"我19992500貨運量3709.2753WJ12OL079373Z12I3$!L 浜3931.763年冊3WI2W2003一200520««貨運量39go. 5463864J093539525406172g4O9S.6914127,653

8、解：(1)預測目標及時間序列的轉(zhuǎn)換假設廣州鐵路樞紐貨運量的時間序列值為：X = x(1),x(2),|,x(n),預測模型中n=12,其中2005年，200年的數(shù)據(jù)在建立預測模型時不做學習訓練樣本，只在后面做測試樣本，檢驗模型預測效果。多數(shù)情況下，預測貨運量的年增量即預測x(n+i)-x(n +i -1)的差值比直接據(jù)測x(n+i)的絕對值最為輸出效果更好。因此，時間序列可轉(zhuǎn)換為Y=y(1),y(2),|H,y(n-1)o 其中,y(i) =x(i+1) x(i),i =1,2,川,n 1。從而將預測目標轉(zhuǎn)換為通過 Y預測y(n+i),i =0,1,2,| ,轉(zhuǎn)換結(jié)果如表2。表2 199620

9、06年廣州鐵路樞紐貨運量增長值及其化后結(jié)果年份6火取尸1997池2000增長值，萬噸100.767-263.951-125.772320407白一化 結(jié)果0.05158210.042554S0.0C6OS33CJ1990120.0645191年份2001M卬八03002R）廳S2003患）2004乂”廳20052006Mil）" UDo 勺6塔長埴1萬噸48,785-H6 力 7-324.7M5283034L524$8329歸一化 結(jié)果C.O3735670,02085470088329 叩00243260.0256455 ；(2)數(shù)據(jù)的預處理由于學習方法要求輸入層的輸入值在0,1之間

10、,其輸出范圍也要求在0,1之日 但是由表1可知收集到的鐵路貨運量增長值并沒有落在這一范圍內(nèi)，使收集到白 數(shù)據(jù)與網(wǎng)絡模型算法要求的數(shù)據(jù)不 T ，致使學習樣本無法輸入到網(wǎng)絡模型中去 達/、到學習與預測的目的。因此，必須對收集到的數(shù)據(jù)進行歸一化處理。， y, -min Y 廠10n式中，y；為第i個增長值的實際值；minY為序列中的最小值;n為序列中絕對4最大的值的位數(shù)，這里n=4,化后的結(jié)果如表2。(3)時間序列向標準表格形式的轉(zhuǎn)換在實際的預測中，對某一年貨運量土外長值的預測結(jié)果影響最大的是本年度前幾 年的貨運量增長值，越接近該年的貨運量增長值，對該年的影響越大。為使模型能多次重復使用，并充分利用

11、已有信息，我們將新數(shù)據(jù)不斷加入到模型中，去掉一些 較為陳舊的數(shù)據(jù)，則可獲得既能體現(xiàn)未來發(fā)展趨勢的數(shù)據(jù)，又能維持模型的計算量 不變。所以，如果把時間序列的窗口設定為 4,即以連續(xù)4年歸一化后的貨運量增長值來預測第5年歸一化后的貨運量增長值。如 2006對年歸一化后的貨運量增長值 進行預測，使用的是2002年2005年的歸一化后的貨運量增長值。(4) RBF網(wǎng)絡的建立根據(jù)題，我們建立的網(wǎng)絡是輸出層為 5個結(jié)點，輸出層為1個節(jié)點的神經(jīng)網(wǎng)絡 模型。采用實驗的方法，通過選取不同的模型均方性能指標，分析獲得相應的結(jié)果。隱 含層基函數(shù)選取的是高斯基函數(shù)，中心訓練方法采用的是K均值聚類算法。選取 模型的性能指

12、標為0.01。學習與訓練數(shù)據(jù)如表3所示。表3時間序列向標準表格形式的轉(zhuǎn)換(窗口序號輸入fit輸出最/0-5)%-4)%-3)At-2)yv-o0。閶回210.04255486 州6g330.019W120.06451910.03巾56710.04255480,01990120.06451910.O373M7WOS54720,01012QM451910.03735670.(>20fi547030由加必優(yōu)451刃0.QJ73567ff.020857Q0-0«52?8740.06451910.037356700,08529470,02432650.03735670。府 5298710

13、,0243 找稼漉56455利用RBF神經(jīng)網(wǎng)絡進行樞紐貨運量的預測，并與BP神經(jīng)網(wǎng)絡比較。其中BP 神經(jīng)網(wǎng)絡預測模型與RBF神經(jīng)網(wǎng)絡預測模型一樣是基于時間增長值序列，學習率 自適應調(diào)整策略利用數(shù)值優(yōu)化法來實現(xiàn)反傳算法，隱含層的節(jié)點數(shù)為5。通過建立好的模型去預測2007 2008年的貨運量，結(jié)果如下表4所示。表4 2000 2006年廣州鐵路樞紐實際貨運量與預測值分析年粉變際贄 運政位，萬 噸）RBF種鯉網(wǎng)駱ft#誤差悵萬噸）椅 對 課 宴 （%）BP神經(jīng)網(wǎng)絡絕對 誤差7位，萬 噸）L對謨落W刈3931.73位6工5M.23Lj638062125J3.19Q J632491 3 J5409200

14、3980.53901.67S.85133870,31I0J2J6寸1必）的7且跖n可樣200386433935.170.881.84012.514B.25.E229893U14本2003S39536622142.74.037】6.9ITU5,01325S762393鋁2004066«374923U.47135想5S投？B.2a457曬4220125桂 驗 棒 本20054098.691H35J47150J573.704321&7615.4420064127.6532781631】3。3443J2117J4.23，1必6384.18平均誤落U3.482UJ75.3 S從表4上可以看出，基于徑向基（RBF）的神經(jīng)網(wǎng)絡的平均誤差為 3.48%,BP神經(jīng) 網(wǎng)絡的平均誤差5.38%,這就說明基于徑向基的神經(jīng)網(wǎng)絡輸出的結(jié)果更精確、 誤差 更小，可以更好更有效地對鐵路貨運量進行預測。故將1995 2006年廣州鐵路樞紐鐵路貨運量時間序列轉(zhuǎn)換為 1995 20