基于數(shù)據(jù)分析的建模方法

1、1 * 在建立數(shù)學模型的過程中在建立數(shù)學模型的過程中, ,經(jīng)常需要建立經(jīng)常需要建立變量之間的關系變量之間的關系. . * *由于對研究對象的內(nèi)部機理不甚了解由于對研究對象的內(nèi)部機理不甚了解, ,不不能通過合理的假設能通過合理的假設, ,或根據(jù)物理定律、原理或根據(jù)物理定律、原理, , 經(jīng)過機理分析法而得到經(jīng)過機理分析法而得到. .問題問題解決思路解決思路2*選擇適當?shù)臄?shù)學式對變量間的關系進行擬合選擇適當?shù)臄?shù)學式對變量間的關系進行擬合.*通過對數(shù)據(jù)充分觀察和分析通過對數(shù)據(jù)充分觀察和分析, 獲得數(shù)據(jù)所含獲得數(shù)據(jù)所含 信息信息;*揭示變量間的內(nèi)在聯(lián)系揭示變量間的內(nèi)在聯(lián)系;xoy* 借助于由實驗或測量得

2、到的一批離散數(shù)據(jù)借助于由實驗或測量得到的一批離散數(shù)據(jù).3兩類變量關系兩類變量關系 確定性關系確定性關系 確定的函數(shù)關系確定的函數(shù)關系相關關系相關關系 存在相依關系存在相依關系,但未達到相但未達到相互確定的程度互確定的程度.兩類數(shù)據(jù)兩類數(shù)據(jù)已知規(guī)律已知規(guī)律(函數(shù)函數(shù))的測試數(shù)據(jù)的測試數(shù)據(jù)(在特定時在特定時間點或距離上的數(shù)據(jù)間點或距離上的數(shù)據(jù))呈現(xiàn)隨機性的數(shù)據(jù)呈現(xiàn)隨機性的數(shù)據(jù),可看成具有某種概可看成具有某種概率分布的隨機樣本值率分布的隨機樣本值.4 針對兩種不同類型的數(shù)據(jù)針對兩種不同類型的數(shù)據(jù), 有不同的建立模有不同的建立模型方法型方法:1. 數(shù)據(jù)擬合法數(shù)據(jù)擬合法(適用于第一類數(shù)據(jù)適用于第一類數(shù)據(jù)

3、)基本思想基本思想 已知函數(shù)已知函數(shù) y= f(x) 的一組測試數(shù)據(jù)的一組測試數(shù)據(jù) (xi , yi)， (i=1，2，n)，尋求一個函數(shù)尋求一個函數(shù)(x)，使，使(x)對上述測試數(shù)據(jù)對上述測試數(shù)據(jù)的誤差較小，即的誤差較小，即(xi)yi，于是可以用，于是可以用(x)來近似替代來近似替代f (x).常用的數(shù)據(jù)擬合方法常用的數(shù)據(jù)擬合方法：一般插值法、最小二一般插值法、最小二乘法、樣條函數(shù)光順法等乘法、樣條函數(shù)光順法等.5 插值法的基本思想插值法的基本思想 尋找尋找 f(x)的近似替代函數(shù)的近似替代函數(shù)(x), 在插值節(jié)點在插值節(jié)點xi 上滿足上滿足 ( xi )=yi， (i=1,2,，n)，其

4、余點用其余點用(x)近似替代近似替代f (x ), 稱稱(x)為為f (x)的的插值函數(shù)插值函數(shù).)(xfxixiy6 最小二乘法基本思想最小二乘法基本思想 尋找尋找 f (x)的近似替代的近似替代函數(shù)函數(shù)(x), 使使 niiixxf12)()(.min2. 隨機分析方法隨機分析方法 對于隨機數(shù)據(jù)進行擬合對于隨機數(shù)據(jù)進行擬合, ,可用統(tǒng)計學中的可用統(tǒng)計學中的回歸分析方法或時間序列分析方法回歸分析方法或時間序列分析方法. . 以上兩種建模方法都是建立在對數(shù)據(jù)進行以上兩種建模方法都是建立在對數(shù)據(jù)進行充分分析的基礎上充分分析的基礎上.7 尋找或選擇適當?shù)暮瘮?shù)擬合變量之間的關系尋找或選擇適當?shù)暮瘮?shù)擬

5、合變量之間的關系(函數(shù)關系或回歸關系函數(shù)關系或回歸關系)是重要的環(huán)節(jié)是重要的環(huán)節(jié).一般步驟一般步驟 1）繪制數(shù)據(jù)散點圖；）繪制數(shù)據(jù)散點圖； 2）分析數(shù)據(jù)散點圖；）分析數(shù)據(jù)散點圖； 3）選擇函數(shù)關系形式）選擇函數(shù)關系形式. 1) 通過分析數(shù)據(jù)散點圖可以獲得對變量通過分析數(shù)據(jù)散點圖可以獲得對變量間關系的感性認識間關系的感性認識, 形成初步的看法形成初步的看法, 以便以便于對問題做進一步的分析于對問題做進一步的分析.8氮施肥量氮施肥量N 土豆產(chǎn)量數(shù)據(jù)散點圖土豆產(chǎn)量數(shù)據(jù)散點圖9磷施肥量磷施肥量 土豆產(chǎn)量數(shù)據(jù)散點圖土豆產(chǎn)量數(shù)據(jù)散點圖102）分析數(shù)據(jù)散布圖；）分析數(shù)據(jù)散布圖； 對數(shù)據(jù)散布圖進行分析對數(shù)據(jù)散

6、布圖進行分析,可以分析出變量的可以分析出變量的關系是：關系是：1）線性的還是非線性的？）線性的還是非線性的？2）有無周期性？）有無周期性？3）呈現(xiàn)何種變化趨勢？變化率如何？）呈現(xiàn)何種變化趨勢？變化率如何？，等等有用的初步結論等等有用的初步結論.11 例例6.2.1 建立一個簡潔的函數(shù)關系式來描述建立一個簡潔的函數(shù)關系式來描述某個地區(qū)人的身高和體重的對應關系某個地區(qū)人的身高和體重的對應關系, 數(shù)據(jù)數(shù)據(jù)見表見表7.4(p156). 曲線特征是體重曲線特征是體重W 隨身高隨身高H 的增長的增長而單調(diào)增長，但可而單調(diào)增長，但可以觀察到是非線性以觀察到是非線性增長增長.身高身高體重數(shù)據(jù)散點圖體重數(shù)據(jù)散點

7、圖12練習練習試分析以下問題試分析以下問題 1. 氮施肥量氮施肥量N、磷施肥量磷施肥量 P 關于土豆產(chǎn)量關于土豆產(chǎn)量的數(shù)據(jù)散點圖的數(shù)據(jù)散點圖. 2. 海浪潮高度海浪潮高度x 隨時間隨時間t 的數(shù)據(jù)散點圖的數(shù)據(jù)散點圖.133）選擇函數(shù)關系形式）選擇函數(shù)關系形式 1. 形式盡可能簡潔形式盡可能簡潔, 盡可能線性化；盡可能線性化；原原則則2. 依據(jù)實際問題的精度要求依據(jù)實際問題的精度要求,合乎實際規(guī)律合乎實際規(guī)律. 續(xù)例續(xù)例6.2.1 選擇冪函數(shù)選擇冪函數(shù) W= , 描述身描述身高體重關系高體重關系.acH優(yōu)點優(yōu)點 此函數(shù)可以線性化此函數(shù)可以線性化.兩邊取對數(shù)兩邊取對數(shù), 有有cHaWlnlnln

8、14cbHxWyln,ln,ln 令令 變換為線性函數(shù)變換為線性函數(shù). baxy 例例6.2.2 可選二次函數(shù)可選二次函數(shù) 注：注：其中其中 b0= y(0) = 15.18. 描述氮肥施肥量與土豆產(chǎn)量間的變量關系描述氮肥施肥量與土豆產(chǎn)量間的變量關系.2210 xbxbby 關于磷肥施肥量和土豆產(chǎn)量的變量關系可關于磷肥施肥量和土豆產(chǎn)量的變量關系可選擇威布爾模型：選擇威布爾模型：15合理性合理性?;,. 1Ayx 當當有有0, xBeAyKx;)0(. 2BAy 3. y 是單調(diào)升函數(shù)是單調(diào)升函數(shù). 也可以選擇也可以選擇S 函數(shù)函數(shù)： 0,1 xbeayx16S函數(shù)也滿足：函數(shù)也滿足： ;1,.

9、1ayx 當當;1)0(. 2bay 3. y 是單調(diào)升函數(shù)；是單調(diào)升函數(shù)； 哪個模哪個模型更好？型更好？分析分析 S 模型所含參數(shù)更少模型所含參數(shù)更少, 另外若令另外若令,1xexyy .xbay 可得線性模型可得線性模型17回歸模型是用回歸模型是用統(tǒng)計分析方法建立的最常用的一類模型統(tǒng)計分析方法建立的最常用的一類模型 數(shù)學建模的基本方法數(shù)學建模的基本方法機理分析機理分析測試分析測試分析通過對數(shù)據(jù)的統(tǒng)計分析，找出與數(shù)據(jù)擬合最好的模型通過對數(shù)據(jù)的統(tǒng)計分析，找出與數(shù)據(jù)擬合最好的模型 不涉及回歸分析的數(shù)學原理和方法不涉及回歸分析的數(shù)學原理和方法 通過實例討論如何選擇不同類型的模型通過實例討論如何選擇

10、不同類型的模型 對軟件得到的結果進行分析，對模型進行改進對軟件得到的結果進行分析，對模型進行改進 由于客觀事物內(nèi)部規(guī)律的復雜及人們認識程度的限制由于客觀事物內(nèi)部規(guī)律的復雜及人們認識程度的限制,無法分析實際對象內(nèi)在的因果關系，建立合乎機理規(guī)無法分析實際對象內(nèi)在的因果關系，建立合乎機理規(guī)律的數(shù)學模型。律的數(shù)學模型。 18牙膏的銷售量牙膏的銷售量 問問題題建立牙膏銷售量與價格、廣告投入之間的模型建立牙膏銷售量與價格、廣告投入之間的模型 預測在不同價格和廣告費用下的牙膏銷售量預測在不同價格和廣告費用下的牙膏銷售量 收集了收集了30個銷售周期本公司牙膏銷售量、價格、個銷售周期本公司牙膏銷售量、價格、廣告

11、費用，及同期其它廠家同類牙膏的平均售價廣告費用，及同期其它廠家同類牙膏的平均售價 9.260.556.804.253.70307.930.055.803.853.80298.510.256.754.003.7527.38-0.055.503.803.851銷售量銷售量(百萬支百萬支)價格差價格差（元）（元）廣告費用廣告費用(百萬元百萬元)其它廠家其它廠家價格價格(元元)本公司價本公司價格格(元元)銷售銷售周期周期19基本模型基本模型y 公司牙膏銷售量公司牙膏銷售量x1其它廠家與本公司其它廠家與本公司價格差價格差x2公司廣告費用公司廣告費用110 xy222210 xxy55.566.577.5

12、77.588.599.510 x2y-0.200.20.40.677.588.599.510 x1y22322110 xxxyx1, x2解釋變量解釋變量(回歸變量回歸變量, 自變量自變量) y被解釋變量（因變量）被解釋變量（因變量） 0, 1 , 2 , 3 回歸系數(shù)回歸系數(shù) 隨機隨機誤差（誤差（均值為零的均值為零的正態(tài)分布隨機變量）正態(tài)分布隨機變量）20MATLAB 統(tǒng)計工具箱統(tǒng)計工具箱 模型求解模型求解b,bint,r,rint,stats=regress(y,x,alpha) 輸入輸入 x= n 4數(shù)數(shù)據(jù)矩陣據(jù)矩陣, 第第1列為全列為全1向量向量1 2221xxxalpha(置信置信水

13、平水平,0.05) 22322110 xxxyb 的的估計值估計值 bintb的置信區(qū)間的置信區(qū)間 r 殘差向量殘差向量y-xb rintr的置信區(qū)間的置信區(qū)間 Stats檢驗統(tǒng)計量檢驗統(tǒng)計量 R2,F, p yn維數(shù)據(jù)向量維數(shù)據(jù)向量輸出輸出 由數(shù)據(jù)由數(shù)據(jù) y,x1,x2估計估計 參數(shù)參數(shù)參數(shù)估計值參數(shù)估計值置信區(qū)間置信區(qū)間17.32445.7282 28.92061.30700.6829 1.9311 -3.6956-7.4989 0.1077 0.34860.0379 0.6594 R2=0.9054 F=82.9409 p=0.0000 0 1 2 321結果分析結果分析y的的90.54

14、%可由模型確定可由模型確定 參數(shù)參數(shù)參數(shù)估計值參數(shù)估計值置信區(qū)間置信區(qū)間17.32445.7282 28.92061.30700.6829 1.9311 -3.6956-7.4989 0.1077 0.34860.0379 0.6594 R2=0.9054 F=82.9409 p=0.0000 0 1 2 322322110 xxxyF遠超過遠超過F檢驗的臨界值檢驗的臨界值 p遠小于遠小于 =0.05 2的置信區(qū)間包含零點的置信區(qū)間包含零點(右端點距零點很近右端點距零點很近) x2對因變量對因變量y 的的影響不太顯著影響不太顯著x22項顯著項顯著 可將可將x2保留在模型中保留在模型中 模型從整

15、體上看成立模型從整體上看成立2222322110 xxxy銷售量預測銷售量預測 價格差價格差x1=其它廠家其它廠家價格價格x3-本公司本公司價格價格x4估計估計x3調(diào)整調(diào)整x4控制價格差控制價格差x1=0.2元，投入廣告費元，投入廣告費x2=650萬元萬元銷售量預測區(qū)間為銷售量預測區(qū)間為 7.8230，8.7636（置信度（置信度95%）上限用作庫存管理的目標值上限用作庫存管理的目標值 下限用來把握公司的現(xiàn)金流下限用來把握公司的現(xiàn)金流 若估計若估計x3=3.9，設定，設定x4=3.7，則可以，則可以95%的把握的把握知道銷售額在知道銷售額在 7.8320 3.7 29（百萬元）以上（百萬元）以

16、上控制控制x1通過通過x1, x2預測預測y2933.822322110 xxxy(百萬支百萬支)23模型改進模型改進x1和和x2對對y的的影響獨立影響獨立 22322110 xxxy21422322110 xxxxxy參數(shù)參數(shù)參數(shù)估計值參數(shù)估計值置信區(qū)間置信區(qū)間17.32445.7282 28.92061.30700.6829 1.9311 -3.6956-7.4989 0.1077 0.34860.0379 0.6594 R2=0.9054 F=82.9409 p=0.0000 0 1 2 3參數(shù)參數(shù)參數(shù)估計值參數(shù)估計值置信區(qū)間置信區(qū)間29.113313.7013 44.525211.13

17、421.9778 20.2906 -7.6080-12.6932 -2.5228 0.67120.2538 1.0887 -1.4777-2.8518 -0.1037 R2=0.9209 F=72.7771 p=0.0000 3 0 1 2 4x1和和x2對對y的影響有的影響有交互作用交互作用24兩模型銷售量預測兩模型銷售量預測比較比較21422322110 xxxxxy22322110 xxxy2933. 8 y(百萬支百萬支)區(qū)間區(qū)間 7.8230，8.7636區(qū)間區(qū)間 7.8953，8.7592 3272. 8 y(百萬支百萬支)控制價格差控制價格差x1=0.2元，投入廣告費元，投入廣告費x2=6.5百萬元百萬元預測區(qū)間長度更短預測區(qū)間長度更短 略有增加略有增加 y 25x2=6.5x1=0.2 -0.200.20.40.67.588.59x1y -0.200.20.40.67.588.59x1y 56787.588.599.510 x2y 567888.599.51010.5x2y 22322110 xxxy21422322110 xxxxxy兩模型兩模型 與與x1, ,x2關系的關系的比較比較y 26交互作用影響的討論交互作用影響的討論2221 . 06712. 07558. 72267