數(shù)學(xué)建模案例分析課件

1、Statistics建模大賽案例分析Statistics建模大賽案例分析2022/10/7我國經(jīng)濟(jì)增長與經(jīng)濟(jì)結(jié)構(gòu)、財(cái)政收入、居民收入關(guān)系之研究Topic2022/10/2我國經(jīng)濟(jì)增長與經(jīng)濟(jì)結(jié)構(gòu)、財(cái)政收入、居民收入2022/10/7我國經(jīng)濟(jì)增長與經(jīng)濟(jì)結(jié)構(gòu)、財(cái)政收入居民收入關(guān)系之研究賽題要求論證經(jīng)濟(jì)增長、經(jīng)濟(jì)結(jié)構(gòu)、與財(cái)政收入、居民收入的匹配度.分析經(jīng)濟(jì)增長、財(cái)政收入、經(jīng)濟(jì)結(jié)構(gòu)、與居民收入之間關(guān)系變動(dòng)的數(shù)量特征和趨勢.探討影響居民收入的各種因素論證所建模型的適用條件、合理性、和可靠性根據(jù)所建模型，對2010年我國經(jīng)濟(jì)增長、經(jīng)濟(jì)結(jié)構(gòu)、居民收入、財(cái)政收入進(jìn)行區(qū)間預(yù)測在建模過程中，討論近兩年金融危機(jī)和宏觀

2、調(diào)控對經(jīng)濟(jì)增長、經(jīng)濟(jì)結(jié)構(gòu)、財(cái)政收入、居民收入之間關(guān)系變動(dòng)的影響.提出相應(yīng)結(jié)論和觀點(diǎn)2022/10/2我國經(jīng)濟(jì)增長與經(jīng)濟(jì)結(jié)構(gòu)、財(cái)政收入居民收入關(guān)2022/10/7案例研究思路經(jīng)濟(jì)增長預(yù)測模型Party1：問題提出和研究現(xiàn)狀Part 2：定性分析及匹配度分析Part 5：結(jié)論P(yáng)art3：經(jīng)濟(jì)增長模型的建立和檢驗(yàn)Part 4：2022/10/2案例研究思路Party1：Part 2：P2022/10/7Part One引言2022/10/2Part One引言2022/10/7問題的提出和研究現(xiàn)狀.如何對敏感數(shù)據(jù)的匹配性進(jìn)行定量分析，科學(xué)解釋數(shù)據(jù)之間的匹配關(guān)系，如何正確預(yù)測重要指標(biāo)的發(fā)展趨勢2022

3、/10/2問題的提出和研究現(xiàn)狀.如何對敏感數(shù)據(jù)的2022/10/7Part Two基本統(tǒng)計(jì)分析2022/10/2Part Two基本統(tǒng)計(jì)分析2022/10/7一、定性分析 定性分析思路對命題中四個(gè)經(jīng)濟(jì)指標(biāo)的發(fā)展現(xiàn)狀做描述性分析。 統(tǒng)計(jì)方法統(tǒng)計(jì)圖、統(tǒng)計(jì)表。2022/10/2一、定性分析 定性分析思路對命題中四個(gè)2022/10/7總體經(jīng)濟(jì)發(fā)展經(jīng)濟(jì)增長和經(jīng)濟(jì)結(jié)構(gòu)變動(dòng)分析2022/10/2總體經(jīng)濟(jì)發(fā)展經(jīng)濟(jì)增長和經(jīng)濟(jì)結(jié)構(gòu)變動(dòng)分析2022/10/7主要影響指標(biāo)變動(dòng)分析財(cái)政收入 、居民收入2022/10/2主要影響指標(biāo)變動(dòng)分析財(cái)政收入 、居民收2022/10/7區(qū)域經(jīng)濟(jì)發(fā)展分析東、中、西部199520002

4、008東部中部西部東部中部西部東部中部西部GDP比重49.0 37.6 52.8 52.8 33.6 13.6 58.2 27.4 14.4 財(cái)政收入占比5.3 4.9 5.5 7.1 5.6 6.6 9.8 6.9 9.2 城鎮(zhèn)居民收入占比1.8 1.6 1.0 1.4 1.2 1.0 1.6 1.3 1.0 農(nóng)村居民收入占比2.62.01.02.31.81.02.21.71.0第三產(chǎn)業(yè)比重35.4 31.7 33.3 41.7 37.3 40.0 41.7 34.6 36.7 2022/10/2區(qū)域經(jīng)濟(jì)發(fā)展分析東、中、西部19952022/10/7二、匹配度分析 匹配度分析研究GDP與其他

5、經(jīng)濟(jì)指標(biāo)發(fā)展的匹配關(guān)系。 統(tǒng)計(jì)方法匹配度的定量計(jì)算方法和相關(guān)標(biāo)準(zhǔn)參考：2022/10/2二、匹配度分析 匹配度分析研究GDP與2022/10/7匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模思想：利用距離測算我國實(shí)際數(shù)據(jù)與匹配條件下標(biāo)準(zhǔn)數(shù)據(jù)之間的差異性。2022/10/2匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建2022/10/7匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模步驟： 參閱國際匹配標(biāo)準(zhǔn)，擬合與我國GDP水平相匹配的產(chǎn)業(yè)結(jié)構(gòu)標(biāo)準(zhǔn)值：人均GDP（美元）20030040060010002000第一產(chǎn)業(yè)比重3630.426.721.818.616.3第二產(chǎn)業(yè)比重19.623.125.5293

6、1.433.2第三產(chǎn)業(yè)比重44.446.547.849.25050.52022/10/2匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建2022/10/7匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模步驟： 參閱國際匹配標(biāo)準(zhǔn)，擬合與我國GDP水平相匹配的產(chǎn)業(yè)結(jié)構(gòu)標(biāo)準(zhǔn)值：人均GDP（美元）20030040060010002000第一產(chǎn)業(yè)比重3630.426.721.818.616.3第二產(chǎn)業(yè)比重19.623.125.52931.433.2第三產(chǎn)業(yè)比重44.446.547.849.25050.52022/10/2匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建2022/10/7匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)

7、匹配度建模步驟： 參閱國際匹配標(biāo)準(zhǔn)，擬合與我國GDP水平相匹配的產(chǎn)業(yè)結(jié)構(gòu)標(biāo)準(zhǔn)值：2022/10/2匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建2022/10/7匹配度的計(jì)算步驟： 參閱國際匹配標(biāo)準(zhǔn)，擬合與我國GDP水平相匹配的產(chǎn)業(yè)結(jié)構(gòu)標(biāo)準(zhǔn)值：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模步驟：標(biāo)準(zhǔn)值實(shí)際值年度人均GDP（美元）一產(chǎn)業(yè)二產(chǎn)業(yè)三產(chǎn)業(yè)一產(chǎn)業(yè)二產(chǎn)業(yè)三產(chǎn)業(yè)200726750.11510.36360.52130.1290.4760.3952022/10/2匹配度的計(jì)算步驟： 參閱國際匹配標(biāo)準(zhǔn)，擬合2022/10/7匹配度的計(jì)算步驟： 計(jì)算標(biāo)準(zhǔn)值和實(shí)際值之間的歐式距離，并歸一化為（0，1）GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建

8、模步驟：三維空間兩點(diǎn)a(x1,y1,z1)與b(x2,y2,z2)間的歐氏距離： 該距離的值域范圍為0到2022/10/2匹配度的計(jì)算步驟： 計(jì)算標(biāo)準(zhǔn)值和實(shí)際值之間2022/10/7匹配度的計(jì)算步驟： 計(jì)算標(biāo)準(zhǔn)值和實(shí)際值之間的歐式距離，并歸一化為（0，1）GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模步驟：標(biāo)準(zhǔn)值實(shí)際值年度人均GDP（美元）一產(chǎn)業(yè)二產(chǎn)業(yè)三產(chǎn)業(yè)一產(chǎn)業(yè)二產(chǎn)業(yè)三產(chǎn)業(yè)200726750.11510.36360.52130.1290.4760.3952022/10/2匹配度的計(jì)算步驟： 計(jì)算標(biāo)準(zhǔn)值和實(shí)際值之間2022/10/7匹配度的計(jì)算步驟：GDP與居民收入、財(cái)政收入匹配度建模思想：設(shè)匹配度量化取值為（0

9、，1），當(dāng)相關(guān)指標(biāo)占GDP的比例達(dá)到理想標(biāo)準(zhǔn)時(shí)，匹配度為0；但相關(guān)指標(biāo)占GDP比例為0時(shí)，匹配度為1；并設(shè)匹配度隨指標(biāo)比例在（0，1）上非線性變動(dòng)（二次函數(shù)曲線 ）。2022/10/2匹配度的計(jì)算步驟：GDP與居民收入、財(cái)政收2022/10/7匹配度的計(jì)算步驟：GDP與居民收入、財(cái)政收入匹配度建模步驟：以收入為例查閱文獻(xiàn)得到居民收入的理想值為占GDP總量59.5%，得到二點(diǎn)： （0，1） 、（0.595，0）擬合曲線得方程組2008年城鎮(zhèn)居民收入占比為0.263183，帶入得到匹配度為0.3110342022/10/2匹配度的計(jì)算步驟：GDP與居民收入、財(cái)政收2022/10/7三、灰色關(guān)聯(lián)分析

10、 目的研究GDP與其他經(jīng)濟(jì)指標(biāo)間的關(guān)聯(lián)緊密程度。 統(tǒng)計(jì)方法灰色關(guān)聯(lián)系數(shù)2022/10/2三、灰色關(guān)聯(lián)分析 目的研究GDP與其他2022/10/7灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟 數(shù)據(jù)規(guī)范化剔除量綱影響原始數(shù)據(jù):處理后數(shù)據(jù):2022/10/2灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟 數(shù)據(jù)規(guī)范化剔除2022/10/7灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟 計(jì)算各時(shí)刻關(guān)聯(lián)系數(shù)參考數(shù)列:比較數(shù)列:序列差:2022/10/2灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟 計(jì)算各時(shí)刻關(guān)聯(lián)系數(shù)2022/10/7灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟 計(jì)算各時(shí)刻關(guān)聯(lián)系數(shù)2022/10/2灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟 計(jì)算各時(shí)刻關(guān)聯(lián)系數(shù)2022/10/7灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟 計(jì)算關(guān)聯(lián)度2022/1

11、0/2灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟 計(jì)算關(guān)聯(lián)度2022/10/7灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟案例計(jì)算結(jié)果：以GDP為參考序列:城鎮(zhèn)收入農(nóng)村收入三產(chǎn)比重財(cái)政收入二產(chǎn)比重以財(cái)政收入為參考序列:GDP城鎮(zhèn)收入農(nóng)村收入三產(chǎn)比重二產(chǎn)比重2022/10/2灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟案例計(jì)算結(jié)果：以GD2022/10/7灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟案例計(jì)算結(jié)果：以城鎮(zhèn)收入為參考序列:農(nóng)村收入GDP三產(chǎn)比重二產(chǎn)比重財(cái)政收入以農(nóng)村收入為參考序列:城鎮(zhèn)收入三產(chǎn)比重GDP二產(chǎn)比重財(cái)政收入2022/10/2灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟案例計(jì)算結(jié)果：以城鎮(zhèn)2022/10/7Part Three經(jīng)濟(jì)增長模型的建立和檢驗(yàn)2022/10/2Part T

12、hree經(jīng)濟(jì)增長模型的建立和檢2022/10/7一、模型構(gòu)建目標(biāo)及變量選擇目標(biāo)研究各經(jīng)濟(jì)指標(biāo)對經(jīng)濟(jì)增長的影響。 變量選擇被解釋變量：GDP解釋變量：財(cái)政收入、農(nóng)村居民人均純收入、城鎮(zhèn)居民人均可支配收入、經(jīng)濟(jì)結(jié)構(gòu)2022/10/2一、模型構(gòu)建目標(biāo)及變量選擇目標(biāo)研究各經(jīng)2022/10/7二、模型構(gòu)建方法模型一：GDP和收入偏最小二乘回歸（Partial Least-Squares Regression）。 模型二：經(jīng)濟(jì)增長和產(chǎn)業(yè)結(jié)構(gòu)模型多元回歸2022/10/2二、模型構(gòu)建方法模型一：GDP和收入偏2022/10/7偏最小二乘（PLS）原理介紹多元線性回歸的困惑：樣本容量要求很高： 一般應(yīng)大于30

13、，或大于自變量個(gè)數(shù)的5-10倍當(dāng)出現(xiàn)嚴(yán)重的多重共線性問題時(shí)2022/10/2偏最小二乘（PLS）原理介紹多元線性回歸的2022/10/7偏最小二乘（PLS）原理介紹常用解決方法：逐步回歸主成份回歸嶺回歸 在克服多重共線對系統(tǒng)回歸建模干擾的努力中，1983年，S.Wold和C.Abalno提出了偏最小二乘分析。2022/10/2偏最小二乘（PLS）原理介紹常用解決方法：2022/10/7偏最小二乘（PLS）原理介紹偏最小二乘的特點(diǎn)：可用于多變量對多變量建模能在多重共線情況下進(jìn)行建模允許樣本量小于自變量個(gè)數(shù)情形下的建模最終模型包含所有變量，易于解釋和辨識系統(tǒng)信息2022/10/2偏最小二乘（PLS

14、）原理介紹偏最小二乘的特2022/10/7偏最小二乘（PLS）原理介紹建模原理：偏最小二乘=主成份分析+典型相關(guān)+多元回歸2022/10/2偏最小二乘（PLS）原理介紹建模原理：偏最2022/10/7偏最小二乘（PLS）原理介紹知識鏈接主成份分析：主成份分析：就是用少數(shù)的幾個(gè)綜合指標(biāo)來代表原來的多項(xiàng)指標(biāo)，而且?guī)讉€(gè)綜合指標(biāo)之間是獨(dú)立的。第一主成份第二主成份 . （各成分間獨(dú)立，且按包含原指標(biāo)信息量排隊(duì)）2022/10/2偏最小二乘（PLS）原理介紹知識鏈接主2022/10/7偏最小二乘（PLS）原理介紹知識鏈接典型相關(guān)分析：典型相關(guān)分析：找到兩組變量間聯(lián)系，通過一組變量的線性組合與另一組變量線性

15、組合的關(guān)聯(lián)關(guān)系來體現(xiàn)。第一對典型變量 第二對典型變量 第K對典型變量2022/10/2偏最小二乘（PLS）原理介紹知識鏈接典2022/10/7偏最小二乘（PLS）原理介紹PLS建模原理：自變量集：因變量集：建模步驟： 在自變量集中提取第一主成份 ，同時(shí)在因變量集中也提取第一主成份 ，要求 和 相關(guān)程度達(dá)到最大；然后建立因變量與 的回歸，并判斷精度；2022/10/2偏最小二乘（PLS）原理介紹PLS建模原理2022/10/7偏最小二乘（PLS）原理介紹PLS建模原理：自變量集：因變量集：繼續(xù)提取第二對主成份，獲得 和 ，建立因變量 和 的回歸，判斷精度，如不滿足繼續(xù)提取。 2022/10/2偏

16、最小二乘（PLS）原理介紹PLS建模原理2022/10/7偏最小二乘（PLS）原理介紹PLS建模原理：自變量集：因變量集：若最終提取r個(gè)主成份 ， 偏最小二乘將通過建立 與 的回歸式，然后再表示為 與原自變量的回歸方程式，即最終結(jié)果。 主成份 個(gè)數(shù)的選擇方法交叉有效性檢驗(yàn) 2022/10/2偏最小二乘（PLS）原理介紹PLS建模原理2022/10/7偏最小二乘（PLS）原理介紹交叉有效性檢驗(yàn) ：留一交叉驗(yàn)證越小越好為所有樣本擬合h-1各成分時(shí)的回歸誤差平方和2022/10/2偏最小二乘（PLS）原理介紹交叉有效性檢驗(yàn)2022/10/7偏最小二乘（PLS）原理介紹回歸系數(shù)顯著性檢驗(yàn)t檢驗(yàn)jack

17、knife方差估計(jì)：為去掉第i各樣本后回歸所得系數(shù)估計(jì)值2022/10/2偏最小二乘（PLS）原理介紹回歸系數(shù)顯著性2022/10/7偏最小二乘（PLS）的實(shí)現(xiàn)R中的PLS包的加載將PLS下載到指定目標(biāo)，運(yùn)行R程序，并加載PLS包。（注意：無需解壓） library(pls)#載入程輯包：pls2022/10/2偏最小二乘（PLS）的實(shí)現(xiàn)R中的PLS包的2022/10/7偏最小二乘（PLS）的實(shí)現(xiàn)PLS在R中實(shí)現(xiàn)代碼Step1：導(dǎo)入數(shù)據(jù)，并進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化#inde.txt 自變量 de.txt 解釋變量，數(shù)據(jù)事先存儲于F盤x-read.table(file=f:data1/inde.txt,

18、header=TRUE) #讀入自變量數(shù)據(jù);y-read.table(file=f:data1/de.txt,header=TRUE) #讀入因變量數(shù)據(jù); normy-scale(y) #數(shù)據(jù)標(biāo)準(zhǔn)化normx-scale(x) #數(shù)據(jù)標(biāo)準(zhǔn)化normy #顯示數(shù)據(jù)normx #顯示數(shù)據(jù)2022/10/2偏最小二乘（PLS）的實(shí)現(xiàn)PLS在R中實(shí)現(xiàn)2022/10/7進(jìn)行pls回歸，并進(jìn)行交叉驗(yàn)證，選擇成分?jǐn)?shù)偏最小二乘（PLS）的實(shí)現(xiàn)PLS在R中實(shí)現(xiàn)代碼Step2：進(jìn)行pls回歸，并進(jìn)行交叉驗(yàn)證，選擇成分?jǐn)?shù)pls1-plsr(normynormx,validation=LOO,jackknife=TR

19、UE)#進(jìn)行PLS估計(jì)summary(pls1) #顯示回歸結(jié)果(包括PRESS，與解釋變異度)其中，validation=“LOO”表示使用留一交叉驗(yàn)證計(jì)算PRESS,jackknife=TRUE表示使用jackknife方法計(jì)算回歸系數(shù)方差，（為做回歸系數(shù)顯著性檢驗(yàn)）；沒給定主成份個(gè)數(shù)，默認(rèn)使用所有成分回歸，以備選擇。 validationplot(pls1)#函數(shù) validationplot（）顯示不同成分?jǐn)?shù)下留一交叉驗(yàn)證的預(yù)測誤差平方根 2022/10/2進(jìn)行pls回歸，并進(jìn)行交叉驗(yàn)證，選擇成分?jǐn)?shù)2022/10/7偏最小二乘（PLS）的實(shí)現(xiàn)PLS在R中實(shí)現(xiàn)代碼Step3：根據(jù)選擇成分

20、數(shù)，重新建立模型pls2 library(e1071)#載入程輯包：e10712022/10/2二、支持向量回歸R語言實(shí)現(xiàn)*R中的e102022/10/7二、支持向量回歸R語言實(shí)現(xiàn)*#數(shù)據(jù)預(yù)處理后提前存儲于F盤下四個(gè)文本文檔中：try.txt 訓(xùn)練集數(shù)據(jù)test.txt 檢測集數(shù)據(jù)2022/10/2二、支持向量回歸R語言實(shí)現(xiàn)*#數(shù)據(jù)預(yù)處理2022/10/7二、支持向量回歸R語言實(shí)現(xiàn)*Step1：導(dǎo)入數(shù)據(jù)try-read.table(file=“f:data2/try.txt”,header=TRUE) #讀入訓(xùn)練集數(shù)據(jù);test-read.table(file=“f:data2/test.tx

21、t”,header=TRUE) #讀入 檢測集數(shù)據(jù);try-as.matrix(try) # 數(shù)據(jù)轉(zhuǎn)換矩陣形式test-as.matrix(test) # 數(shù)據(jù)轉(zhuǎn)換矩陣形式2022/10/2二、支持向量回歸R語言實(shí)現(xiàn)*Step1：2022/10/7二、支持向量回歸R語言實(shí)現(xiàn)*Step2：采用幾種常見核函數(shù)建模并比較svm1-svm(y.,try,kernel=linear) #使用線性核函數(shù)建模;svm2-svm(y.,try,kernel=sigmoid) #使用sigmoid核函數(shù)建模; svm3-svm(y.,try,kernel=radial)#使用高斯核函數(shù)建模; svm4-svm(

22、y.,try,kernel=polynomial) #使用多項(xiàng)式核函數(shù)建模;fy1-predict(svm1,test)fy2-predict(svm2,test) fy3-predict(svm3,test)fy4-predict(svm4,test)2022/10/2二、支持向量回歸R語言實(shí)現(xiàn)*Step2：2022/10/7二、支持向量回歸R語言實(shí)現(xiàn)*Step2：采用幾種常見核函數(shù)建模并比較e1-mean(fy1-ty)/ty)2)e3-mean(fy3-ty)/ty)2)e2-mean(fy2-ty)/ty)2)e4-mean(fy4-ty)/ty)2)2022/10/2二、支持向量回歸R語言實(shí)現(xiàn)*Step2：