人工神經(jīng)網(wǎng)絡(luò)BP算法在四川省GDP預(yù)測中的應(yīng)用

1、成都理工大學(xué)畢業(yè)設(shè)計（論文） i 人工神經(jīng)網(wǎng)絡(luò) bp 算法在四川省 gdp 預(yù)測中的應(yīng)用 作者姓名：劉忠 專業(yè)班級：數(shù)學(xué)與應(yīng)用數(shù)學(xué) 2005070102 指導(dǎo)教師：魏友華 摘 要 gdp 與大家生活息息相關(guān)，沒有 gdp，人們便無法反映一國的貧富狀況和 人民的平均生活水平，無法確定一國承擔(dān)的國際義務(wù)，享受的優(yōu)惠待遇。如何 準(zhǔn)確的測量未來的 gdp 走勢，使其對國家政策的制定起到參考作用,這是大家 普遍關(guān)注的問題。然而，隨著經(jīng)濟的高速發(fā)展，影響 gdp 的因素變得多種多樣。 gdp 預(yù)測模型具有很強的非線性, 傳統(tǒng)的線性預(yù)測模型難以實現(xiàn)對 gdp 較為準(zhǔn) 確的預(yù)測。然而，實踐證明人工神經(jīng)網(wǎng)絡(luò)對于

2、建立預(yù)測模型十分有效，它能從 數(shù)據(jù)樣本中自動學(xué)習(xí)以前的經(jīng)驗而無需復(fù)雜的查詢和表述過程，并自動地逼近 那些最佳的數(shù)據(jù)蘊涵的規(guī)律。而在預(yù)測方面，bp 神經(jīng)網(wǎng)絡(luò)算法運用最為廣泛。 本文以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，bp 神經(jīng)網(wǎng)絡(luò)算法為依據(jù)，研究 gdp 的 預(yù)測。根據(jù)四川省 1997 年到 2007 年近 10 年來的 gdp 數(shù)據(jù)，建立了神經(jīng)網(wǎng)絡(luò) 預(yù)測模型，通過對 1997 到 2006 年的 gdp 數(shù)據(jù)分析、學(xué)習(xí)，對 2007 年 gdp 進 行預(yù)測。首先對輸入數(shù)據(jù)進行預(yù)處理，再利用多層前饋神經(jīng)網(wǎng)絡(luò) bp 算法來研 究人工神經(jīng)網(wǎng)絡(luò)在 gdp 預(yù)測中的應(yīng)用問題。利用 matlab 數(shù)學(xué)軟件對模型求

3、解，并將預(yù)測結(jié)果與傳統(tǒng)模型相比較。結(jié)果表明，用人工神經(jīng)網(wǎng)絡(luò)建立的預(yù)測 模型在 gdp 預(yù)測方面具有一定的理論與應(yīng)用價值。 關(guān)鍵詞：gdp；人工神經(jīng)網(wǎng)絡(luò)；網(wǎng)絡(luò)；matlab 成都理工大學(xué)畢業(yè)設(shè)計（論文） ii the forecast of sichuan provinces gdp based on ann bp methods abstract: gdp lives with everyone vitally related. it will not be able to reflect the situation of a countrys wealth and the average s

4、tandard of peoples living, unable to determine a countrys international obligations, enjoy preferential treatment, if theres no gdp. the issue which common concern is that how to forecast the trend of the futures gdp accurately and make gdp play a reference role to the formulation of national polici

5、es. however, with the economics rapidly development, the impact of gdps factors has became variety. gdp forecasting model has a strong non-linear, so traditional linear forecasting model of gdp is difficult to achieve more accurate forecasts. however, the practice has proved that the establishment o

6、f artificial neural network prediction model is very effective,it can automatically to study the experience of the past from the data without the complexity search and expression expression;and it can automatically to close to the regulation which from the best data.in the forecast, bp neural networ

7、k algorithm being used widely. in this paper, take artificial neural network as theory, bp neural network algorithm as basis, to study the forecast of gdp. according to sichuan province from 1997 to 2007, nearly 10 years gdp data, build up a neural network prediction model to predict gdp. through th

8、e 1997-2006 year gdp data analysis, study, to forecast the gdp of 2007.first of all, pre-processing the input data, then use the multi-layer feed- forward neural network bp algorithm to study the artificial neural network in the gdp forecasts problem. use matlab mathematical software tool to solve t

9、he model. and then take the results to compare with the traditional model. and the results shows, the ann forecasting model we have established in the gdp forecast has a value on theory and application. key words: gdp; artificial neural network; bp neural network; matlab 成都理工大學(xué)畢業(yè)設(shè)計（論文） iii 目 錄 第 1 章

10、 前 言.1 1.1 本論文研究背景 .1 1.1.1 gdp 的定義及概述.1 1.1.2 四川省經(jīng)濟展?fàn)顩r .2 1.1.3 經(jīng)濟預(yù)測研究概況及經(jīng)濟預(yù)測方法 .4 1.1.4 人工神經(jīng)網(wǎng)絡(luò)國內(nèi)外研究狀況 .6 1.1.5 人工神經(jīng)網(wǎng)絡(luò)在經(jīng)濟預(yù)測中的應(yīng)用 .6 1.2 本論文主要研究內(nèi)容及思路 .7 第 2 章 人工神經(jīng)網(wǎng)絡(luò)基本模型及其功能.9 2.1 人工神經(jīng)元的模型 .9 2.2 人工神經(jīng)網(wǎng)絡(luò)的特性 .10 2.3 人工神經(jīng)網(wǎng)絡(luò)的基本功能 .11 2.3.1 聯(lián)想記憶功能 .11 2.3.2 分類識別功能 .11 2.3.3 優(yōu)化計算功能 .12 2.3.4 非線性映射功能 .12 2.

11、4 人工神經(jīng)網(wǎng)絡(luò)的基本要素 .12 2.4.1 神經(jīng)元功能函數(shù) .13 2.4.2 神經(jīng)元之間的連接形式 .14 2.4.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)（訓(xùn)練） .16 第 3 章 bp 神經(jīng)網(wǎng)絡(luò)概述 .18 3.1 bp 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu).18 3.2 bp 神經(jīng)元.18 3.3 bp 網(wǎng)絡(luò).19 3.3.1 正向傳播 .20 3.3.2 反向傳播 .20 3.4 bp 神經(jīng)網(wǎng)路算法的改進.22 3.5 bp 神經(jīng)網(wǎng)絡(luò)設(shè)計的一般原則.24 3.5.1 bp 網(wǎng)絡(luò)參數(shù)設(shè)計.24 3.5.2 bp 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)計.25 第 4 章 四川省經(jīng)濟預(yù)測模型的建立.26 4.1 指標(biāo)的選取 .26 4.2 數(shù)據(jù)

12、的預(yù)處理 .27 4.2.1 數(shù)據(jù)預(yù)處理方法 .27 4.2.2 數(shù)據(jù)的處理 .29 4.3 神經(jīng)網(wǎng)絡(luò)預(yù)測方法設(shè)計 .30 4.4 四川省 gdp 預(yù)測模型 .31 4.5 預(yù)測模型實例求解及分析 .32 成都理工大學(xué)畢業(yè)設(shè)計（論文） iv 4.6 神經(jīng)網(wǎng)絡(luò)預(yù)測與傳統(tǒng)預(yù)測方法的比較 .35 4.6.1 多元線性回歸模型.35 4.6.2 神經(jīng)網(wǎng)絡(luò)預(yù)測與回歸模型預(yù)測比較.35 結(jié) 論.37 致 謝.38 參考文獻.39 附錄：相關(guān)程序及數(shù)據(jù)表.40 成都理工大學(xué)畢業(yè)設(shè)計（論文） 1 第 1 章 前 言 1.1 本論文研究背景 1.1.1 gdp 的定義及概述 1.gdp 的定義 gdp 即英文

13、gross domestic product 的縮寫，也就是國內(nèi)生產(chǎn)總值。通常 對 gdp 的定義為：一定時期內(nèi)（一個季度或一年） ，一個國家或地區(qū)的經(jīng)濟中所 生產(chǎn)出的全部最終產(chǎn)品和提供勞務(wù)的市場價值的總值。在經(jīng)濟學(xué)中，常用 gdp 和 gni（國民總收入，gross national income）共同來衡量該國或地區(qū)的經(jīng)濟 發(fā)展綜合水平通用的指標(biāo)。這也是目前各個國家和地區(qū)常采用的衡量手段。gdp 是宏觀經(jīng)濟中最受關(guān)注的經(jīng)濟統(tǒng)計數(shù)字，因為它被認(rèn)為是衡量國民經(jīng)濟發(fā)展情 況最重要的一個指標(biāo)。一般來說，國內(nèi)生產(chǎn)總值有三種形態(tài)，即價值形態(tài)、收 入形態(tài)和產(chǎn)品形態(tài)。從價值形態(tài)看，它是所有常駐單位在一定時

14、期內(nèi)生產(chǎn)的全 部貨物和服務(wù)價值與同期投入的全部非固定資產(chǎn)貨物和服務(wù)價值的差額，即所 有常駐單位的增加值之和；從收入形態(tài)看，它是所有常駐單位在一定時期內(nèi)直 接創(chuàng)造的收入之和；從產(chǎn)品形態(tài)看，它是貨物和服務(wù)最終使用減去貨物和服務(wù) 進口。gdp 反映的是國民經(jīng)濟各部門的增加值的總額。 2. gdp 的核算方法 1)用支出法核算 gdp 支出法核算 gdp，就是從產(chǎn)品的使用出發(fā)，把一年內(nèi)購買的各項最終產(chǎn)品 的支出加總而計算出的該年內(nèi)生產(chǎn)的最終產(chǎn)品的市場價值。這種方法又稱最終 產(chǎn)品法、產(chǎn)品流動法。 如果用 q1、q2;qn 代表各種最終產(chǎn)品的產(chǎn)量，p1、p2pn 代表各種 最終產(chǎn)品的價格，則使用支出法核算

15、 gdp 的公式是：q1p1+q2p2+qnpn=gdp 用支出法計算 gdp 的實際公式：gdp = c + i + g +（x-m） 在我國的統(tǒng)計實踐中，支出法計算的是國內(nèi)生產(chǎn)總值劃分為最終消費、資 本形成總額和貨物和服務(wù)的凈出口總額，它反映了本期生產(chǎn)的國內(nèi)生產(chǎn)總值的 使用及構(gòu)成。 成都理工大學(xué)畢業(yè)設(shè)計（論文） 2 通過支出法計算的 gdp，我們可以計算出消費率和投資率。所謂消費率就 是最終消費占 gdp 的比率，所謂投資率就是資本形成總額占 gdp 的比率。 2)用收入法核算 gdp 收入法核算 gdp，就是從收入的角度，把生產(chǎn)要素在生產(chǎn)中所得到的各種 收入相加來計算的 gdp，即把勞動

16、所得到的工資、土地所有者得到的地租、資 本所得到的利息以及企業(yè)家才能得到的利潤相加來計算 gdp。這種方法又叫要 素支付法、要素成本法。 按收入法計算的公式是： gdp =工資+利息+利潤+租金+間接稅和企業(yè)轉(zhuǎn)移支付+折舊 從理論上講，用收入法計算出的 gdp 與用支出法計算出的 gdp 在量上是相 等的。 3）用生產(chǎn)法核算 gdp 用生產(chǎn)法核算 gdp，是指按提供物質(zhì)產(chǎn)品與勞務(wù)的各個部門的產(chǎn)值來計算 國內(nèi)生產(chǎn)總值。生產(chǎn)法又叫部門法。這種計算方法反映了國內(nèi)生產(chǎn)總值的來源。 運用這種方法進行計算時，各生產(chǎn)部門要把使用的中間產(chǎn)品的產(chǎn)值扣除， 只計算所增加的價值。商業(yè)和服務(wù)等部門也按增值法計算。衛(wèi)生

17、、教育、行政、 家庭服務(wù)等部門無法計算其增值，就按工資收入來計算其服務(wù)的價值。 從理論上說，按支出法、收入法與生產(chǎn)法計算的 gdp 在量上是相等的，但 實際核算中常有誤差，因而要加上一個統(tǒng)計誤差項來進行調(diào)整，使其達到一致。 實際統(tǒng)計中，一般以國民經(jīng)濟核算體系的支出法為基本方法，即以支出法所計 算出的國內(nèi)生產(chǎn)總值為標(biāo)準(zhǔn)。 在我國的統(tǒng)計實踐中，收入法計算 gdp 分為四項： gdp=勞動者報酬+生產(chǎn)稅凈額+固定資產(chǎn)折舊+營業(yè)盈余 1.1.2 四川省經(jīng)濟展?fàn)顩r 四川地域廣闊,人口眾多,發(fā)展差異很大。改革開放 20 年來,雖然各個方面 取得了巨大的成效,經(jīng)濟社會有較快發(fā)展。時至我國“九五”計劃結(jié)束和“

18、十五 ”計劃開始之際，2000 年四川經(jīng)濟運行狀況為 20 世紀(jì)劃上了一個較為圓滿的 句號。全年國內(nèi)生產(chǎn)總值首次突破 4000 億元大關(guān)，gdp 完成 4010.25 億元，增 成都理工大學(xué)畢業(yè)設(shè)計（論文） 3 長 9.0%，較之全國平均水平高出 1 個百分點?？v觀全年，一、二、三、四季度 增速分別為 6.3%、10.3%、9.1%、9.4%，gdp 季增速呈現(xiàn)出止滑回升，平穩(wěn)增長 的態(tài)勢。其中，投資、消費、出口“三駕馬車”共同拉動經(jīng)濟增長是 2000 年四 川經(jīng)濟運行的一個顯著特點。此外，長期致力于結(jié)構(gòu)調(diào)整的政策措施在一定程 度上已使工業(yè)生產(chǎn)出現(xiàn)恢復(fù)性增長勢頭。 步入 21 世紀(jì)，四川經(jīng)濟的

19、發(fā)展仍面臨著諸多機遇與挑戰(zhàn)。一方面，盡管我 國已逐步擺脫了亞洲金融危機的不利影響，但國際宏觀經(jīng)濟環(huán)境在 2001 年仍存 在許多不確定因素；農(nóng)民增收問題依然是經(jīng)濟政策的一大難點，城鄉(xiāng)市場失衡 的局面在短期內(nèi)仍不會有根本性改觀；四川工業(yè)結(jié)構(gòu)、產(chǎn)品結(jié)構(gòu)、企業(yè)組織結(jié) 構(gòu)等深層次矛盾的真正解決也需要時日。2006 年，四川經(jīng)濟總體上保持了速度 較快、效益較好、通脹較低的良好運行態(tài)勢，實現(xiàn)了“十一五”的良好開局。 自 2003 年以來，全球經(jīng)濟步入了一輪新的經(jīng)濟周期的擴張期，經(jīng)過連續(xù)三年較 強勁增長，在全球通貨膨脹的壓力將會成功地得到遏制、發(fā)達國家的內(nèi)需增長 將更趨平衡以及全球金融市場將更趨穩(wěn)定等有利因

20、素的帶動下，2006 年全球經(jīng) 濟保持了較快增長的良好勢頭。受多種因素影響，2007 年全球經(jīng)濟增速有所放 緩。四川經(jīng)濟發(fā)展的內(nèi)生動力顯著增強。2006 年，gdp 躍上了 8000 億元的新臺 階，經(jīng)濟發(fā)展水平和經(jīng)濟增長質(zhì)量都有了明顯的改善。同時，全國在堅持宏觀 調(diào)控政策中，將繼續(xù)實施穩(wěn)健的財政政策和穩(wěn)定的貨幣政策，對煤電油運氣等 瓶頸部門的投資力度將進一步加大，四川大型建設(shè)項目、重點建設(shè)項目增多， 在新建及續(xù)建項目的推動下，投資規(guī)模必將進一步擴大，預(yù)計今年全社會固定 資產(chǎn)投資增長 20%以上。另一方面，消費需求穩(wěn)中趨旺，2006 年全省社會消費 品零售總額增速創(chuàng)近 10 年來的新高。企業(yè)效

21、益繼續(xù)改善，城鄉(xiāng)居民收入進一步 增加都將增強居民消費信心，消費需求仍將保持平穩(wěn)增長態(tài)勢，預(yù)計全年社會 消費品零售總額增長 13%左右。 2008 年四川經(jīng)濟發(fā)展面臨的主要問題：1）經(jīng)濟增長減速，物價漲幅回落 。我省上半年 gdp 增速放緩，同比增長 9.1% ，增速同比回落 4.6 個百分點 。受汶川大地震影響，經(jīng)濟增長速度明顯減慢。同時，四川居民消費價格總水 平（ cpi ）同比上漲 7.4% ， cpi 漲幅在 2 月份沖高 8.1% 后，雖已連續(xù) 4 個月回落，但物價高位運行的特征依然存在。2）經(jīng)濟效益不高，就業(yè)壓力增大 成都理工大學(xué)畢業(yè)設(shè)計（論文） 4 。僅以工業(yè)為例， 1 5 月，全

22、省實現(xiàn)工業(yè)利潤 247.8 億元，同比增長 14. 8% ，增速比去年同期降低 19.5 個百分點，比前 4 個月回落 38.2 個百分點 。其中，大型企業(yè)實現(xiàn)利潤 63.7 億元，比去年同期下降 26.2% 。六月末，全 省城鄉(xiāng)就業(yè)人員比上年減少 29.1 萬人，比一季度減少 31.8 萬人，城鄉(xiāng)登記 失業(yè)率為 4.8% ，比上年同期上升 0.5 個百分點。隨著沿海經(jīng)濟的下滑，預(yù)計 有數(shù)百萬農(nóng)民工返鄉(xiāng)，就業(yè)壓力加大。汶川大地震對我省工業(yè)、農(nóng)業(yè)、旅游， 房地產(chǎn)等行業(yè)和就業(yè)、招商引資、財政收入等社會經(jīng)濟的方方面面都帶來不同 程度的影響，而且影響會持續(xù)相當(dāng)一段時間，必然會對我省經(jīng)濟發(fā)展產(chǎn)生直接 或

23、間接的影響。災(zāi)后重建的一系列工作都直接與經(jīng)濟發(fā)展相關(guān)。 1.1.3 經(jīng)濟預(yù)測研究概況及經(jīng)濟預(yù)測方法 經(jīng)濟預(yù)測是適應(yīng)社會化大生產(chǎn)而發(fā)展起來的一門研究客觀經(jīng)濟發(fā)展過程及 其變動趨勢的科學(xué)。它是綜合哲學(xué)、社會學(xué)、經(jīng)濟學(xué)、統(tǒng)計學(xué)、數(shù)學(xué)以及工程 技術(shù)等方面的方法，根據(jù)它自身科學(xué)的邏輯性，對經(jīng)濟過程及其各要素的變動 趨勢做出客觀描述的研究體系。 運用于經(jīng)濟領(lǐng)域中的預(yù)測方法，常用的有時間序列分析、多元回歸和經(jīng)濟 計量方法12。用于預(yù)測某個特定變量值而收集的數(shù)據(jù)可分為兩大類：時間序 列數(shù)據(jù)和橫斷面數(shù)據(jù)。經(jīng)濟領(lǐng)域中的時間序列數(shù)據(jù)的定義是：按照時間點順序 排列的經(jīng)濟變量的一系列數(shù)值，對于這些連續(xù)值的預(yù)測早期運用較

24、多的是回歸 統(tǒng)計模型，另外一個應(yīng)用較為廣泛的分析方法是 arma(自回歸移動平均模型)方 法和 arima（自回歸求和移動平均）方法。 另一種常用的預(yù)測工具是經(jīng)濟計量方法。經(jīng)濟計量學(xué)把經(jīng)濟理論、統(tǒng)計分 析和為說明經(jīng)濟關(guān)系而建立的數(shù)學(xué)模型結(jié)合在一起。建立在經(jīng)濟計量學(xué)方法上 的預(yù)測模型與時間序列分析模型相比，具有一些明顯的優(yōu)點，最顯著的優(yōu)勢就 是它們尋求被預(yù)測經(jīng)濟現(xiàn)象的實際解釋。 還有一種主流方法就是多元回歸也稱為向量自回歸（var）方法3，它是作 為大型結(jié)構(gòu)預(yù)測模型的一種替代方法。結(jié)構(gòu)模型是依靠復(fù)雜的經(jīng)濟理論對大量 的經(jīng)濟變量之間的明確關(guān)系建立的經(jīng)濟計量模型。與結(jié)構(gòu)模型相比，var 模型 依靠經(jīng)

25、濟數(shù)據(jù)中重復(fù)發(fā)生的歷史方式來預(yù)測少數(shù)關(guān)鍵的宏觀經(jīng)濟量，如國民生 產(chǎn)總值，通貨膨脹和利息率。 “無約束的”var 模型在只需選擇涉及變量及其滯 成都理工大學(xué)畢業(yè)設(shè)計（論文） 5 后長度的經(jīng)濟理論中特別有吸引力。此外，無約束的 var 的主要問題是自變量 的數(shù)目通常很大。由于經(jīng)常出現(xiàn)多重共線性和自由度損失問題，var 模型在進 行預(yù)測研究時也沒有特別好的表現(xiàn)。以上幾種方法都是目前運用于經(jīng)濟領(lǐng)域的 主流的預(yù)報方法，均屬于線性模型研究或者是用線性模型模擬現(xiàn)實生活中的復(fù) 雜系統(tǒng)，因此在處理非線性系統(tǒng)時效果顯得十分一般。 在過去的二十多年里，一些學(xué)者注意到線性模型的局限性并提出了一些非 線性模型4。但這些

26、預(yù)測方法還是屬于傳統(tǒng)預(yù)測方法，均屬于模型驅(qū)動的方法， 即首先研究系統(tǒng)的演化行為，設(shè)定預(yù)測模型，估計、檢驗及模型選擇，最后找 出最佳模型。隱藏在傳統(tǒng)預(yù)測方法背后的基本觀念是：系統(tǒng)發(fā)展有一定的規(guī)律， 而且是可以找到的。且過去或現(xiàn)在的因果關(guān)系或變化規(guī)律在未來仍然起主導(dǎo)作 用，建模與預(yù)測的目標(biāo)在于從比較中尋找最佳模型。然而，由于多數(shù)復(fù)雜的系 統(tǒng)的非線性，使得這類方法從理論分析與實際應(yīng)用上都有相當(dāng)?shù)木窒扌?。在這 種情況下，人們把目光轉(zhuǎn)向了近年來興起的神經(jīng)網(wǎng)絡(luò)模型。t.hill5最早發(fā)表 了將神經(jīng)網(wǎng)絡(luò)應(yīng)用于預(yù)測的文章，他們用非線性神經(jīng)網(wǎng)絡(luò)對計算機所產(chǎn)生的時 間序列仿真數(shù)據(jù)進行了學(xué)習(xí)和預(yù)測。后來，werbo

27、s 和 varfis 分別對實際經(jīng)濟 時間序列數(shù)據(jù)進行了預(yù)測研究。weigend6等人利用神經(jīng)網(wǎng)絡(luò)研究了太陽黑子的 年平均活動情況，將神經(jīng)網(wǎng)絡(luò)與回歸方法作了比較。其研究結(jié)果表明神經(jīng)網(wǎng)絡(luò) 預(yù)測優(yōu)于統(tǒng)計預(yù)測。神經(jīng)網(wǎng)絡(luò)的預(yù)測方法日益成為人們關(guān)注的熱點。 目前，基于神經(jīng)網(wǎng)絡(luò)的預(yù)測研究主要集中在時間序列預(yù)測和回歸預(yù)測方面。 sharda 和 poil 運用 markrudakis7等人收集的時間數(shù)據(jù)序列中 75 個對 ann 和 arma 模型進行了比較，結(jié)果顯示 ann 和 arma 性能相當(dāng)。hill 等對 ann 和傳 統(tǒng)的統(tǒng)計模型進行深入的研究，包括了非季節(jié)化的單指數(shù)平滑模型、arma、組 合預(yù)

28、測模型和自然預(yù)測模型以及一種基于主觀判斷的方法。比較結(jié)果表明 ann 預(yù)測優(yōu)于傳統(tǒng)的統(tǒng)計方法和主觀判斷的方法，并且在進行多步預(yù)測時優(yōu)勢更為 明顯。我國國內(nèi)學(xué)者文新輝和牛明潔8較早介紹了神經(jīng)網(wǎng)絡(luò)在經(jīng)濟預(yù)測中的應(yīng) 用，并與傳統(tǒng)方法作了比較。石山銘和劉豹9研究了神經(jīng)網(wǎng)絡(luò)用于多變量時間 序列預(yù)測的原理與方法，提出了組合多種信息的綜合預(yù)測方法，結(jié)果表明神經(jīng) 網(wǎng)絡(luò)模型用于多變量時間序列預(yù)測，其精度和趨勢均較傳統(tǒng)統(tǒng)計方法有所提高。 隨之，國內(nèi)許多學(xué)者開始關(guān)注和進行了神經(jīng)網(wǎng)絡(luò)預(yù)測的研究。馬超群10等探討 成都理工大學(xué)畢業(yè)設(shè)計（論文） 6 了基于神經(jīng)網(wǎng)絡(luò)的時間序列預(yù)測模型的建立機制，然后又提出了將時差法和 bp

29、 方法相結(jié)合進行的時間序列的自適應(yīng)建模和預(yù)測，并以外匯匯率問題為例做了 試驗，試驗結(jié)果表明該方法是可行的，其預(yù)測精度高于一次性建模。 1.1.4 人工神經(jīng)網(wǎng)絡(luò)國內(nèi)外研究狀況1112 20 世紀(jì) 80 年代，隨著人工神經(jīng)網(wǎng)絡(luò)在世界范圍內(nèi)復(fù)蘇，國內(nèi)也逐步掀起 了研究熱潮。1989 年 10 月和 11 月分別在北京和廣州召開了神經(jīng)網(wǎng)絡(luò)及其應(yīng)用 討論會和第一屆全國信號處理-神經(jīng)網(wǎng)路學(xué)術(shù)會議；1990 年 2 月由國內(nèi) 8 個學(xué) 會，即中國電子學(xué)會、人工智能學(xué)會、自動化學(xué)會、通信學(xué)會、物理學(xué)會、生 物學(xué)會、生物物理學(xué)會和心理學(xué)會聯(lián)合在北京召開“中國神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)會 議” 。這次大會以“八學(xué)會聯(lián)盟，探

30、智能奧秘”為主題，收到 300 多篇學(xué)術(shù)論文， 開創(chuàng)了中國人工神經(jīng)網(wǎng)絡(luò)及神經(jīng)計算機方面科學(xué)研究的新紀(jì)元； 2004 年 10 月在合肥召開的“人工神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議”已是第 14 屆學(xué)術(shù)年 會。經(jīng)過十幾年的發(fā)展，中國學(xué)術(shù)界和工程界在人工神經(jīng)網(wǎng)絡(luò)的理論研究和應(yīng) 用方面取得了豐碩成果。在國際上，1987 年，在美國加州召開了第一屆國際神 經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議，此后每年召開的國際聯(lián)合神經(jīng)網(wǎng)絡(luò)大會 ijcnn 成為神經(jīng)網(wǎng)絡(luò) 研究者的重要學(xué)術(shù)交流平臺。另外，十幾種國際著名的神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)刊物相繼 問世，如 ieee transactions on neural networks、ieee transactions

31、 on circuit and systems、neural networks 等，至此，神經(jīng)網(wǎng)絡(luò)理論研究在國際 學(xué)術(shù)領(lǐng)域獲得了其應(yīng)有的地位。 經(jīng)過近半個世紀(jì)的發(fā)展，神經(jīng)網(wǎng)絡(luò)理論在模式識別、自動控制、信號處理、 輔助決策、人工智能等眾多研究領(lǐng)域取得了廣泛的成功。關(guān)于學(xué)習(xí)、聯(lián)想和記 憶等具有智能特點過程的機理及其模擬方面的研究正受到越來越多的重視。目 前神經(jīng)網(wǎng)絡(luò)研究與發(fā)展主要集中在：神經(jīng)生理學(xué)、神經(jīng)解剖學(xué)研究的發(fā)展；與 之相關(guān)的數(shù)學(xué)領(lǐng)域的研究與發(fā)展；神經(jīng)網(wǎng)絡(luò)應(yīng)用的研究與發(fā)展；神經(jīng)網(wǎng)絡(luò)硬件 的研究與發(fā)展；新型神經(jīng)網(wǎng)絡(luò)模型的研究。 1.1.5 人工神經(jīng)網(wǎng)絡(luò)在經(jīng)濟預(yù)測中的應(yīng)用13 人工神經(jīng)網(wǎng)絡(luò)作為仿生

32、學(xué)的杰出成果，廣泛運用到了在社會經(jīng)濟等各個領(lǐng) 域，它是從微觀結(jié)構(gòu)與功能上對人腦神經(jīng)系統(tǒng)進行模仿、抽象而形成的一類模 型。眾所周知，人腦是由極大量的基本單元(稱之為神經(jīng)元)經(jīng)過復(fù)雜的互相連 成都理工大學(xué)畢業(yè)設(shè)計（論文） 7 接而成的一種高度復(fù)雜、非線性、并行處理的信息處理系統(tǒng)。而人工神經(jīng)網(wǎng)絡(luò) ann(art1ficialneuralnetwork)就是模仿人腦工作方式，繼承了人腦的優(yōu)良特 性，通過電子組件或者軟件模擬仿真，實現(xiàn)在預(yù)測領(lǐng)域中的應(yīng)用。 人工神經(jīng)網(wǎng)絡(luò)在經(jīng)濟預(yù)測中有著廣泛的應(yīng)用，比如信貸分析、市場預(yù)測等。 信貸分析，這類問題中，信用評估機構(gòu)要針對不同申請公司各自的特點提出信 用評價，判斷

33、失誤的例子經(jīng)常發(fā)生，給信貸機構(gòu)帶來巨大的損失。采用神經(jīng)網(wǎng) 絡(luò)評價系統(tǒng)不僅可以使評價結(jié)果具有較高的可信度，而且可以避免信貸分析人 員的主觀好惡和人情關(guān)系造成的錯誤。神經(jīng)網(wǎng)絡(luò)評價系統(tǒng)將公司貸款申請表中 的關(guān)鍵數(shù)據(jù)編碼為輸入向量，將實際的信用情況作為輸出評價，用數(shù)以千計的 歷史數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練后，可給出準(zhǔn)確客觀的評價結(jié)果。因此基于神經(jīng)網(wǎng)絡(luò) 的評價系統(tǒng)在金融風(fēng)險分析領(lǐng)域應(yīng)用十分廣泛。市場預(yù)測，市場預(yù)測問題可歸 結(jié)為影響市場供求關(guān)系的諸多因素的綜合分析，以及對價格變化規(guī)律的掌握。 應(yīng)用神經(jīng)網(wǎng)絡(luò)進行市場預(yù)測的一個實例是期貨市場的神經(jīng)網(wǎng)絡(luò)預(yù)測。其做法是 根據(jù)某期貨市場每月平均期貨價格、價格不定性和市場心理

34、指標(biāo)量等因素，建 立較為準(zhǔn)確可靠的市場模型。模型的訓(xùn)練數(shù)據(jù)覆蓋了多年時間，它不僅能判斷 價格的未來趨勢，而且能在走勢持續(xù)一段時間后預(yù)測到價格的反轉(zhuǎn)。神經(jīng)網(wǎng)絡(luò) 市場預(yù)測在股票走勢預(yù)測中也有廣泛的應(yīng)用。 1.2 本論文主要研究內(nèi)容及思路 gdp（gross domestic product）,是指在一定時期內(nèi)（一季或一年） ，一個 國家或地區(qū)的經(jīng)濟中所生產(chǎn)出的全部最終產(chǎn)品和勞務(wù)的價值.gdp 的分析預(yù)測研 究，長期以來都是經(jīng)濟學(xué)家、數(shù)學(xué)家、計算機領(lǐng)域?qū)＜已芯康闹攸c和熱點。gdp 的影響因素有：國家 gdp、財政支出、社會消費品零售總額、實際利用外資、 財政收入、外貿(mào)出口總額和固定資產(chǎn)投資.目前的研

35、究方法主要有線性預(yù)測方法 和非線性預(yù)測方法.建立在計量經(jīng)濟學(xué)理論基礎(chǔ)上的線性方法，雖然在一定的條 件下能夠有較好的預(yù)測效果，但難以描述 gdp 預(yù)測中的非線性現(xiàn)象，預(yù)測誤差 過大.這些方法存在著一些共同的缺點，那就是：操作性差，計算復(fù)雜；需要分 析人員的經(jīng)驗知識，因為這些理論和方法都需要具有顯式函數(shù)，而它們往往難 以找到，或只能憑經(jīng)驗近似表達描述，一般都有比較大的誤差；再就是傳統(tǒng)的 時間序列預(yù)測模型、線性回歸、季節(jié)性預(yù)報模型似乎都很難解決多因子時間序 成都理工大學(xué)畢業(yè)設(shè)計（論文） 8 列的復(fù)雜非線性關(guān)系.非線性建模方法中，神經(jīng)網(wǎng)絡(luò)理論證明了在選擇適當(dāng)?shù)碾[ 層數(shù)及相應(yīng)的神經(jīng)元數(shù)目下，前饋神經(jīng)網(wǎng)絡(luò)

36、能以任意精度逼近任意非線性函數(shù). 本文根據(jù)歷年四川省 gdp 數(shù)據(jù)，建立了神經(jīng)網(wǎng)絡(luò)預(yù)測模型，采用 bp 神經(jīng)網(wǎng)絡(luò)來 訓(xùn)練建立的模型，利用 matlab 數(shù)學(xué)軟件對模型求解，并將預(yù)測結(jié)果與傳統(tǒng)模型 相比較.結(jié)果表明，我們建立的人工神經(jīng)網(wǎng)絡(luò)預(yù)測模型在 gdp 預(yù)測方面具有一定 的理論與應(yīng)用價值. 成都理工大學(xué)畢業(yè)設(shè)計（論文） 9 第 2 章 人工神經(jīng)網(wǎng)絡(luò)基本模型及其功能 2.1 人工神經(jīng)元的模型1415 人工神經(jīng)元的研究源于腦神經(jīng)元學(xué)說，19 世紀(jì)末，在生物、生理學(xué)領(lǐng)域， waldeger 等人創(chuàng)建了神經(jīng)元學(xué)說。人們開始認(rèn)識到，復(fù)雜的神經(jīng)系統(tǒng)是由數(shù)目 繁多的神經(jīng)元組合而成。神經(jīng)元由細(xì)胞及其發(fā)出的許

37、多突起構(gòu)成。細(xì)胞體內(nèi)有 細(xì)胞核，突起的作用是傳遞信息，作為引入輸入信號的若干個突起稱為“樹突” 或者“晶枝” ，而作為輸出端的突起只有一個，稱為“軸突” 。 人工神經(jīng)元是生物神經(jīng)元的模擬與抽象，是構(gòu)成人工神經(jīng)網(wǎng)絡(luò)的基本單元， 因此構(gòu)造一個人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，首先要構(gòu)造人工神經(jīng)元模型.一個具有 n 個輸 入分量的單個神經(jīng)元模型如圖 2-1 所示： 圖圖 2-12-1 單個人工神經(jīng)元模型圖 (1)人工神經(jīng)元的三個基本要素： 1)一組連接（對應(yīng)于神經(jīng)元的突觸） ，連接強度由各連接上的權(quán)值表示，權(quán) 值為正表示激活，為負(fù)表示抑制. 2)一個求和單元，用于求取各輸入信號的加權(quán)和. 3)一個非線性激活函數(shù)，起

38、非線性映射作用并將神經(jīng)元輸出幅度限制在一 定范圍內(nèi)（一般限制在0,1或-1,+1之間）. 此外還有一個偏差，即閾值 . 以上作用可分別以數(shù)學(xué)式表達出來：;)(; 1 netfonet w p i n i i )(xf p1 p2 p3 wp i i net w1 w3 w2 )(netfnet 成都理工大學(xué)畢業(yè)設(shè)計（論文） 10 其中：net 為神經(jīng)元的的輸入總和，相當(dāng)于生物神經(jīng)元的膜電位；o 為神經(jīng) 元的輸出；表示第 i 個輸入神經(jīng)元到該神經(jīng)元的連接權(quán)值；表示第 i 個 wi pi 輸入神經(jīng)元的輸入分量； 為神經(jīng)元的偏差，即閾值；f (x)為激活函數(shù)，表 示神經(jīng)元輸入-輸出關(guān)系. 2.2 人

39、工神經(jīng)網(wǎng)絡(luò)的特性 人工神經(jīng)網(wǎng)絡(luò)由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。 它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處 理、記憶信息的方式進行信息處理。 人工神經(jīng)網(wǎng)絡(luò)具有四個基本特征： 1）非線性 非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性 現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為 一種非線性關(guān)系。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容 錯性和存儲容量。 2）非局限性 一個神經(jīng)網(wǎng)絡(luò)通常由多個神經(jīng)元廣泛連接而成。一個系統(tǒng)的 整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用、 相互連接所決定

40、。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是 非局限性的典型例子。 3）非常定性 人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò) 不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統(tǒng)本 身也在不斷變化。經(jīng)常采用迭代過程描寫動力系統(tǒng)的演化過程。 4）非凸性 一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài) 函數(shù)。例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種 函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣 性。 人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對象，例如特征、字母、 概念，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元

41、的類型分為三類：輸入單 元、輸出單元和隱單元。輸入單元接受外部世界的信號與數(shù)據(jù)；輸出單元實現(xiàn) 系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀 成都理工大學(xué)畢業(yè)設(shè)計（論文） 11 察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強度，信息的表示和處理 體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡(luò)是一種非程序化、適應(yīng)性、 大腦風(fēng)格的信息處理，其本質(zhì)是通過網(wǎng)絡(luò)的變換和動力學(xué)行為得到一種并行分 布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功 能。它是涉及神經(jīng)科學(xué)、思維科學(xué)、人工智能、計算機科學(xué)等多個領(lǐng)域的交叉 學(xué)科。 人工神經(jīng)網(wǎng)絡(luò)是并行分布式系統(tǒng)，采用了與傳統(tǒng)

42、人工智能和信息處理技術(shù) 完全不同的機理，克服了傳統(tǒng)的基于邏輯符號的人工智能在處理直覺、非結(jié)構(gòu) 化信息方面的缺陷，具有自適應(yīng)、自組織和實時學(xué)習(xí)的特點。 2.3 人工神經(jīng)網(wǎng)絡(luò)的基本功能 2.3.1 聯(lián)想記憶功能 由于神經(jīng)網(wǎng)絡(luò)具有分布存儲信息和并行計算的性能，因此它具有對外界刺 激和輸入信息進行聯(lián)想記憶的能力。這種能力是通過神經(jīng)元之間的協(xié)同結(jié)構(gòu)及 信息處理的集體行為而實現(xiàn)的。神經(jīng)網(wǎng)絡(luò)通過預(yù)先存儲信息和學(xué)習(xí)機制進行自 適應(yīng)訓(xùn)練，可以聰不完整的信息和噪音干擾中恢復(fù)完整的信息。這一功能是神 經(jīng)網(wǎng)絡(luò)的圖像復(fù)原、語音處理、模式識別和分類方面具有重要的應(yīng)用前景。 聯(lián)想記憶又分為自聯(lián)想記憶和異聯(lián)想記憶兩種：1）自

43、聯(lián)想記憶：假定有 m 個樣本矢量，其中 i=0,1,2,.m-1，若網(wǎng)絡(luò)輸入，表示 x i)( x x kj x k 第 k 個樣本，是由于噪音、干擾或圖形缺損等因素引起的誤差。要求輸出 ，即去掉偏差使信號按樣本復(fù)原。2）異聯(lián)想記憶：與自聯(lián)想記憶不同， x k y 它涉及兩組樣本，若樣本與樣本一一對應(yīng)，當(dāng)具有偏差的輸入信號為 x k z k 時，輸出為，此聯(lián)想為一聯(lián)想功能。x x kj z k y 2.3.2 分類識別功能 神經(jīng)網(wǎng)絡(luò)對外界輸入樣本有很強的識別與分類能力。對輸入樣本的分類實 際上是在樣本空間找出符合分類要求的分割區(qū)域，每個區(qū)域內(nèi)的樣本屬于一類。 假定神經(jīng)網(wǎng)絡(luò)輸入 x 有 m 類樣

44、本，樣本元素為 n，輸入相應(yīng)與 m 類樣本之一， yk k=0,1,2,.m-1，輸入 x 與輸出 y 之間的關(guān)系如圖 2-2 所示： 成都理工大學(xué)畢業(yè)設(shè)計（論文） 12 圖圖 2 2- -2 2 神經(jīng)網(wǎng)絡(luò)分類器圖 對于，則： 。 此關(guān)系表明，當(dāng)輸入樣本與標(biāo)準(zhǔn)樣本 rj x jk jk yk , 0 , 1 匹配時即可歸類，神經(jīng)網(wǎng)絡(luò)完成分類功能。 2.3.3 優(yōu)化計算功能 優(yōu)化計算是指在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的 目標(biāo)函數(shù)達到最小。將優(yōu)化約束信息存儲于神經(jīng)網(wǎng)絡(luò)的連接權(quán)矩陣之中，神經(jīng) 網(wǎng)絡(luò)的工作狀態(tài)以動態(tài)系統(tǒng)方程式描述。設(shè)置一組隨機數(shù)據(jù)作為起始條件，當(dāng) 系統(tǒng)的狀態(tài)趨于穩(wěn)定

45、時，神經(jīng)網(wǎng)絡(luò)方程的解作為輸出優(yōu)化結(jié)果。 2.3.4 非線性映射功能 在許多實際問題中，如過程控制、系統(tǒng)辨識、故障診斷、機器人控制等諸 多領(lǐng)域，系統(tǒng)的輸入與輸出之間存在復(fù)雜的非線性關(guān)系，對于這類系統(tǒng)難以用 傳統(tǒng)的數(shù)理方程建立數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)在這方面有獨到的優(yōu)勢，設(shè)計合理的 神經(jīng)網(wǎng)絡(luò)通過對系統(tǒng)輸入輸出樣本進行訓(xùn)練學(xué)習(xí)，從理論上講，能夠以任意精 度逼近任意復(fù)雜的非線性函數(shù)。神經(jīng)網(wǎng)絡(luò)的這一優(yōu)良性能使其可以作為多維非 線性函數(shù)的通用數(shù)學(xué)模型。 2.4 人工神經(jīng)網(wǎng)絡(luò)的基本要素 在人工神經(jīng)網(wǎng)絡(luò)設(shè)計及應(yīng)用研究中，通常需要考慮 3 個方面的內(nèi)容，即神 經(jīng)元功能函數(shù)、神經(jīng)元之間的連接形式和網(wǎng)絡(luò)的學(xué)習(xí)（訓(xùn)練） 。

46、 y2 . ym 1 . 神經(jīng)網(wǎng)絡(luò) y0 ,., 110 xxxn x 成都理工大學(xué)畢業(yè)設(shè)計（論文） 13 2.4.1 神經(jīng)元功能函數(shù) 神經(jīng)元在輸入信號作用下產(chǎn)生輸出信號的規(guī)律由神經(jīng)元功能函數(shù) f(activation function)給出，也稱激活函數(shù)，或稱轉(zhuǎn)移函數(shù)。它包含了從輸 入信號到凈輸入、再到激活函數(shù)、最終產(chǎn)生輸出信號的過程。綜合了凈輸入、 f 函數(shù)的作用。激活函數(shù)是一個神經(jīng)元及網(wǎng)絡(luò)的核心，決定著網(wǎng)絡(luò)的功能.其基 本作用是：控制輸入對輸出的激活作用；對輸入輸出進行函數(shù)轉(zhuǎn)換；將可能無 限域的輸入變換成指定的有限范圍內(nèi)的輸出。不同的人工神經(jīng)網(wǎng)絡(luò)模型，神經(jīng) 元的激活函數(shù)也不相同。常用的激

47、活函數(shù)如下： 1)閾值型（硬限制型） 閾值型激活函數(shù)將任意輸入轉(zhuǎn)化為 0 或 1 的輸出，函數(shù) f (x)為單位階躍 函數(shù)，如圖 2-3 所示： 圖圖 2 2- -3 3 閾值型激活函數(shù) 具有此函數(shù)的神經(jīng)元的輸入-輸出關(guān)系為： 0*, 0 0*, 1 )*( bpw bpw bpwfa 2)線性型 線性激活函數(shù)使網(wǎng)絡(luò)的輸出等于加權(quán)輸入加上偏差，如圖 2-4 所示： 1 0 f -1 1 f 0 -1 成都理工大學(xué)畢業(yè)設(shè)計（論文） 14 圖圖 2 2- -4 4 線性激活函數(shù) 此函數(shù)的輸入-輸出關(guān)系為：bpwbpwfa*)*( 3)s 型(sigmoid) s 型激活函數(shù)將任意輸入壓縮到(0,1

48、)的范圍，如圖 2-5 所示： 圖圖 2-52-5 型激活函數(shù) 此種激活函數(shù)常用對數(shù)或雙曲正切等一類 s 形狀的曲線來表示，如對數(shù) s 型激活函數(shù)關(guān)系為： ；而雙曲正切 s 型曲線的輸入輸出函數(shù) )exp(1 1 n f 關(guān)系為： ；s 型函數(shù)是連續(xù)可導(dǎo)的，反映了神經(jīng)元的飽和特征， )2exp(1 )2exp(1 n n f 即函數(shù)的值域可以由研究者根據(jù)實際需要給定，當(dāng)輸入的值較小時，函數(shù)有一 個比較大的增益，當(dāng)輸入的值較大時，函數(shù)有一個比較小的增益，這樣可以很 好地防止網(wǎng)絡(luò)進入飽和狀態(tài)，因此 s 型函數(shù)被廣泛采用. 2.4.2 神經(jīng)元之間的連接形式 人工神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元按照一定的模式

49、（層內(nèi)連接、循環(huán)連接和 1 -1 0 n 1 f -b 0 n f -1 0 n 1 f -b 0 n f 1 f 0 n 成都理工大學(xué)畢業(yè)設(shè)計（論文） 15 層間連接）相互連接而成的。按一定的規(guī)則將神經(jīng)元連接而成神經(jīng)網(wǎng)絡(luò)，才能 實現(xiàn)對復(fù)雜信息的處理與存儲。經(jīng)過幾十年的興衰，人們已經(jīng)發(fā)展了上百種人 工神經(jīng)網(wǎng)絡(luò).但大部分網(wǎng)絡(luò)都是幾種典型網(wǎng)絡(luò)的變形和組合。一般地說，人工神 經(jīng)網(wǎng)絡(luò)的連接形式和拓?fù)浣Y(jié)構(gòu)可以分為兩大類：即分層型和互聯(lián)型神經(jīng)網(wǎng)絡(luò)。 分層型神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖 2.4 所示，它又分為簡單的前饋網(wǎng)絡(luò)、反饋型 前饋網(wǎng)絡(luò)和內(nèi)層互聯(lián)前饋網(wǎng)絡(luò)。 1)前饋網(wǎng)絡(luò)：各種神經(jīng)元接受前一層的輸入，并輸出給下

50、一層，沒有反饋。 節(jié)點分為兩類，即輸入單元和計算單元。每一計算單元可以有任意輸入，但只 有一個輸出（它可以耦合到任意多個其他節(jié)點為其輸入） 。通常前饋網(wǎng)絡(luò)可以分 為不同的層，第 i 層輸入值與第 i-1 層輸出相連，輸入和輸出層節(jié)點與外界相 連，而其他中間層則稱為隱含層。如圖 2-6 所示。 圖圖 2 2- -6 6 分層型神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 分層型神經(jīng)網(wǎng)絡(luò)按照將所有神經(jīng)元按功能分為若干層，一般有輸入層、中 間層、輸出層，各層順序連接.因為中間層不直接與外部輸入和輸出打交道，所 以又稱為隱層，根據(jù)處理功能的不同，隱層可以有多層，也可以沒有。 (a)一般前饋網(wǎng)絡(luò) （b）反饋型前饋網(wǎng) 絡(luò) （c）內(nèi)

51、層互聯(lián)前饋網(wǎng)絡(luò) 成都理工大學(xué)畢業(yè)設(shè)計（論文） 16 2)互聯(lián)型神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖 2-7 所示，其網(wǎng)絡(luò)的任意兩個神經(jīng)元都 相互連接，構(gòu)成互聯(lián)神經(jīng)網(wǎng)絡(luò)；如果不是全部的神經(jīng)元彼此相互連接，則構(gòu)成 局部互聯(lián)神經(jīng)網(wǎng)絡(luò)。 圖圖 2-72-7 互聯(lián)型神經(jīng)網(wǎng)絡(luò) 在人工神經(jīng)網(wǎng)絡(luò)的發(fā)展過程中，對生物神經(jīng)系統(tǒng)已從不同的角度進行了不 同層次的描述和模擬，提出了各種各樣的神經(jīng)網(wǎng)絡(luò)模型，其中具有代表性的網(wǎng) 絡(luò)模型有感知器神經(jīng)網(wǎng)絡(luò)、線性神經(jīng)網(wǎng)絡(luò)、bp 神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、自 組織網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)等。 2.4.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)（訓(xùn)練） 神經(jīng)網(wǎng)絡(luò)模型能夠通過學(xué)習(xí)來動態(tài)修改各處理單元之間的連接權(quán)值。某一 特定的模

52、式可以根據(jù)某一學(xué)習(xí)規(guī)則，提交修改處理單元之間的連接權(quán)值，存儲 到神經(jīng)網(wǎng)絡(luò)模型中，并且通過學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)模型識別新的模式或回憶過去 的記憶。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則也就是連接權(quán)值的修正規(guī)則，兩個比較經(jīng)典的學(xué) 習(xí)規(guī)則是 hebb 學(xué)習(xí)規(guī)則和 delta 學(xué)習(xí)規(guī)則。幾乎所有的學(xué)習(xí)規(guī)則都可以看作是 hebb 學(xué)習(xí)規(guī)則的變形。 在 hebb 學(xué)習(xí)規(guī)則中，學(xué)習(xí)信號簡單地等于神經(jīng)元的輸出： )( 1 xw y i n i ij j f 權(quán)向量的調(diào)正公式為： （2.1） x y wxww i j ijiijij tftt)()() 1( 式子表明，權(quán)值調(diào)整量與輸入輸出的乘積成正比。顯然，經(jīng)常出現(xiàn)的輸入模式 將對權(quán)

53、向量有較大的影響。在這種情況下，hebb 學(xué)習(xí)規(guī)則需預(yù)先設(shè)置權(quán)飽和值， 以防止輸入和輸出正負(fù)始終一致時出現(xiàn)權(quán)值無約束增長。 hebb 學(xué)習(xí)規(guī)則代表一種純前饋、無導(dǎo)師學(xué)習(xí)。該學(xué)習(xí)規(guī)則至今在各種神經(jīng) 成都理工大學(xué)畢業(yè)設(shè)計（論文） 17 網(wǎng)絡(luò)模型中起著重要作用。典型的應(yīng)用如利用 hebb 規(guī)則訓(xùn)練線性聯(lián)想器的權(quán)矩 陣。如果假定網(wǎng)絡(luò)的權(quán)矩陣初始化為 0，然后將 m 個輸入輸出對依此應(yīng)用式 (2.1)，取學(xué)習(xí)率，得權(quán)矩陣 w： 1 xy t k m k k w 1 假設(shè)輸入向量為標(biāo)準(zhǔn)正交向量。如果將輸入到網(wǎng)絡(luò)，則網(wǎng)絡(luò)產(chǎn)生的輸 xkxj 出為: (2.2) )( 11 xxyxxyxoj t k m k

54、kj m k t kkjk w 由于為標(biāo)準(zhǔn)正交向量，則。 xk 1x xk t k )( , 0);( ,kjkj xxyoj t kkk 此時，網(wǎng)絡(luò)的輸出等于其相應(yīng)的目標(biāo)輸出。也就是說，如果輸入原型向量是標(biāo) 準(zhǔn)正交向量，hebb 學(xué)習(xí)規(guī)則就能為每個輸入生成正確的輸出結(jié)果。假設(shè)輸入向 量為單位向量但不是正交向量，則(2.2)式變?yōu)椋?xk )()( 11 xxyyxxyxxyxoj t k kj kkj t k m k kj m k t kkjk w 由于這些向量不是正交的，所以網(wǎng)絡(luò)的輸出有誤差。誤差的大小取決于原型輸 入模式之間的相關(guān)總和。 成都理工大學(xué)畢業(yè)設(shè)計（論文） 18 第 3 章 b

55、p 神經(jīng)網(wǎng)絡(luò)概述 3.1 bp 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)16 bp（back propagation）網(wǎng)絡(luò)是 1986 年由 rumelhart 和 mccelland 為首的 科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用 最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。bp 網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射 關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最 速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和 最小。bp 神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input） 、隱層(hide layer)和輸 出層(output layer)，如圖 3-1 所示：

56、 圖圖 3-13-1 bp 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖 3.2 bp 神經(jīng)元 圖 3-2 給出了第 j 個基本 bp 神經(jīng)元（節(jié)點），它只模仿了生物神經(jīng)元所具 有的三個最基本也是最重要的功能：加權(quán)、求和與轉(zhuǎn)移。其中 分別代表來自神經(jīng)元 1、2in 的輸入： xxxx ni , 21 則分別表示神經(jīng)元 1、2in 與第 j 個神經(jīng)元的連接強度， wwww jnjijj , 21 即權(quán)值；為閾值；f()為傳遞函數(shù)；為第 j 個神經(jīng)元的輸出。 bj y j 第 j 個神經(jīng)元的凈輸入值為： sjbwbxws jjji n i jij x 1 輸入層 隱層輸出層 成都理工大學(xué)畢業(yè)設(shè)計（論文） 19 圖圖 3-2

57、3-2 bp 神經(jīng)元 其中：, 21 21 , wwwwwxxxx jnjijjj t ni x 若視，即令 x 及包括及，則 bwx jj 00 , 1 wjx0wj0 , 210 210 , wwwwwwxxxxx jnjijjjj t ni x 于是節(jié)點 j 的凈輸入可表示為： sj x wxws ji n i jij 0 凈輸入通過傳遞函數(shù)（transfer function）f ()后，便得到第 j 個 sj 神經(jīng)元的輸出: y j )()()( 0 xfff wxws y ji n i jij j 式中 f()是單調(diào)上升函數(shù)，而且必須是有界函數(shù)，因為細(xì)胞傳遞的信號不可 能無限增加，

58、必有一最大值。 3.3 bp 網(wǎng)絡(luò) bp 算法由數(shù)據(jù)流的前向計算（正向傳播）和誤差信號的反向傳播兩個過程 構(gòu)成。正向傳播時，傳播方向為輸入層隱層輸出層，每層神經(jīng)元的狀態(tài)只 影響下一層神經(jīng)元。若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號的反向傳 播流程。通過這兩個過程的交替進行，在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策 略，動態(tài)迭代搜索一組權(quán)向量，使網(wǎng)絡(luò)誤差函數(shù)達到最小值，從而完成信息提 取和記憶過程。 3.3.1 正向傳播 wv x1 zp z1 zk y1 y j ym j nq m xi xn xi xn x2 x1 wjn wji wj2 wj1 bj )(f y j sj +1 j 成都理工大

59、學(xué)畢業(yè)設(shè)計（論文） 20 圖圖 3-33-3 三層神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 設(shè) bp 網(wǎng)絡(luò)的輸入層有 n 個節(jié)點，隱層有 q 個節(jié)點，輸出層有 m 個節(jié)點，輸入 層與隱層之間的權(quán)值為，隱層與輸出層之間的權(quán)值為，如圖 3-3 所示。 vkiwjk 隱層的傳遞函數(shù)為 f1()，輸出層的傳遞函數(shù)為 f2()，則隱層節(jié)點的輸出為 （將閾值寫入求和項中）： qi xv f zi n i kik , 2 , 1),( 0 1 輸出層節(jié)點的輸出為： mj zw fy k q k jk j , 2 , 1),( 0 2 至此 b-p 網(wǎng)絡(luò)就完成了 n 維空間向量對 m 維空間的近似映射。 3.3.2 反向傳播 1)

60、 定義誤差函數(shù) 輸入 p 個學(xué)習(xí)樣本，用來表示。p 個樣本輸入到網(wǎng)絡(luò)后得到 xxxx pp 21, 輸出。采用平方型誤差函數(shù)，于是得到第 p 個樣本的誤差：), 2 , 1(mj y p j ep m j p y te p j p j 1 2 )( 2 1 式中：為期望輸出。 t p j 對于 p 個樣本，全局誤差為： p p p p p m j p j p je y t e 111 )( 2 1 成都理工大學(xué)畢業(yè)設(shè)計（論文） 21 2）輸出層權(quán)值的變化 采用累計誤差 bp 算法調(diào)整，使全局誤差 e 變小，即 wjk p p jk p p p p jkjk jk w e e ww w e 11