數(shù)據(jù)處理`回歸分析及其Matlab應(yīng)用

數(shù)據(jù)處理、回歸分析及其Matlab應(yīng)用

牡丹江師范學(xué)院數(shù)學(xué)系制作人：趙文英1/28/20241現(xiàn)實(shí)中的問(wèn)題例子：牙膏的銷售量和廣告費(fèi)之間的關(guān)系農(nóng)業(yè)上施肥量與畝產(chǎn)量之間的關(guān)系回歸分析是常用的數(shù)理統(tǒng)計(jì)方法，能解決預(yù)測(cè)、控制、生產(chǎn)工藝優(yōu)化等問(wèn)題.在工農(nóng)業(yè)生產(chǎn)和科學(xué)研究領(lǐng)域有廣泛應(yīng)用回歸分析是處理這類問(wèn)題的一種方法1/28/20242回歸分析線性回歸一元線性回歸多元線性回歸逐步回歸多項(xiàng)式回歸線性回歸求解非線性回歸1/28/202431.1一元線性回歸例1測(cè)16名成年女子的身高與腿長(zhǎng)所得數(shù)據(jù)如下：以身高x為橫坐標(biāo)，以腿長(zhǎng)y為縱坐標(biāo)將這些數(shù)據(jù)點(diǎn)〔xI，yi〕在平面直角坐標(biāo)系上標(biāo)出.[scatter(x,y),或者plot()]散點(diǎn)圖解答一、一元線性回歸1/28/20244一元線性回歸分析的主要任務(wù)是：返回1/28/20245二、多元線性回歸分析返回1/28/20246預(yù)備知識(shí)三、Matlab線性回歸分析的命令1點(diǎn)估計(jì)是利用樣本數(shù)據(jù)對(duì)未知參數(shù)進(jìn)行估計(jì),得到的是一個(gè)具體的數(shù)據(jù)區(qū)間估計(jì)是通過(guò)樣本數(shù)據(jù)估計(jì)未知參數(shù)在置信度下的最可能的存在區(qū)間,得到的結(jié)果是一個(gè)區(qū)間1/28/202472殘差的置信區(qū)間殘差是真實(shí)值與理論值之間的差值置信區(qū)間就是一個(gè)隨機(jī)區(qū)間，它能以足夠大的概率套住我們感興趣的參數(shù).當(dāng)殘差的置信區(qū)間均包含原點(diǎn)時(shí)，說(shuō)明建立的模型較好的符合原始數(shù)據(jù).1/28/20248回歸模型的檢驗(yàn)數(shù)據(jù)3

1、相關(guān)系數(shù)(R)是用來(lái)檢驗(yàn)函數(shù)變量與自變量之間線性相關(guān)的的密切程度.其相關(guān)系數(shù)的平方越接近1，說(shuō)明回歸方程越顯著.1/28/202491/28/202410

b=regress(Y,X)1、確定回歸系數(shù)的點(diǎn)估計(jì)值：Matlab的具體命令1/28/2024113、畫出殘差及其置信區(qū)間：rcoplot〔r，rint〕2、求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)、并檢驗(yàn)回歸模型：

[b,bint,r,rint,stats]=regress(Y,X,alpha)回歸系數(shù)的區(qū)間估計(jì)殘差用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量，有三個(gè)數(shù)值：相關(guān)系數(shù)R2、F值、與F對(duì)應(yīng)的概率p置信區(qū)間顯著性水平（缺省時(shí)為0.05）MATLAB7.0版本s增加一個(gè)統(tǒng)計(jì)量:剩余方差s2.1/28/2024124、預(yù)測(cè)區(qū)間Y的置信水平為的預(yù)測(cè)區(qū)間近似為當(dāng)預(yù)測(cè)區(qū)間為當(dāng)預(yù)測(cè)區(qū)間為：為剩余標(biāo)準(zhǔn)差Qe是殘差平方和，n是樣本個(gè)數(shù)1/28/202413題目模型建立例1首先要畫散點(diǎn)圖，看y與x是否可能存在線性關(guān)系ToMATLAB(散點(diǎn)圖)由圖確定y與x可能存在線性回歸模型，建立回歸模型1/28/2024141、輸入數(shù)據(jù)：x=[143145146147149150153154155156157158159160162164]';X=[ones(16,1)x];Y=[8885889192939395969897969899100102]';2、回歸分析及檢驗(yàn)：[b,bint,r,rint,stats]=regress(Y,X)b,bint,statsToMATLAB(liti11)3.畫出殘差及其置信區(qū)間，用命令rcoplot(r,rint)1/28/202415殘差分析，作殘差圖為說(shuō)明第二個(gè)點(diǎn)異常,剔除重新進(jìn)行估計(jì)1/28/202416ToMATLAB(liti11gai)b=-7.21000.6633新的bint=-20.88036.46020.57470.7519stats=0.9527261.63890.00000.8918b=-16.07300.7194原來(lái)bint=-33.70711.56120.60470.8340stats=0.9282180.95310.00001.74371/28/2024174、預(yù)測(cè)與作圖1/28/202418例2:血壓與年齡、體重指數(shù)、吸煙習(xí)慣序號(hào)血壓年齡體重指數(shù)吸煙習(xí)慣序號(hào)血壓年齡體重指數(shù)吸煙習(xí)慣11443924.20211363625.0022154731.11221425026.2131384522.60231203923.50

101545619.30301756927.41體重指數(shù)=體重(kg)/身高(m)的平方吸煙習(xí)慣:0表示不吸煙，1表示吸煙建立血壓與年齡、體重指數(shù)、吸煙習(xí)慣之間的回歸模型1/28/202419模型建立血壓y，年齡x1，體重指數(shù)x2，吸煙習(xí)慣x3

y與x1的散點(diǎn)圖y與x2的散點(diǎn)圖線性回歸模型回歸系數(shù)

0,

1,

2,

3由數(shù)據(jù)估計(jì),

是隨機(jī)誤差1/28/202420回歸系數(shù)回歸系數(shù)估計(jì)值回歸系數(shù)置信區(qū)間

045.3636[3.553787.1736]

10.3604[-0.07580.7965]

23.0906[1.05305.1281]

311.8246[-0.148223.7973]R2=0.6855F=18.8906p<0.0001s2=169.7917模型求解回歸系數(shù)回歸系數(shù)估計(jì)值回歸系數(shù)置信區(qū)間

058.5101[29.906487.1138]

10.4303[0.12730.7332]

22.3449[0.85093.8389]

310.3065[3.387817.2253]R2=0.8462F=44.0087p<0.0001s2=53.6604剔除異常點(diǎn)(第2點(diǎn)和第10點(diǎn))后主目錄1/28/202421〔一〕一元多項(xiàng)式回歸（1）確定多項(xiàng)式系數(shù)的命令：[p，S]=polyfit（x，y，m）（2）一元多項(xiàng)式回歸命令：polytool（x，y，m）1、回歸：y=a1xm+a2xm-1+…+amx+am+1多項(xiàng)式回歸分析1/28/2024222、預(yù)測(cè)和預(yù)測(cè)誤差估計(jì)：[Y，DELTA]=polyconf（p，x，S，alpha）求polyfit所得的回歸多項(xiàng)式在x處的預(yù)測(cè)值Y及預(yù)測(cè)值的顯著性為1-alpha的置信區(qū)間Y+-DELTA；alpha缺省時(shí)為0.5.1/28/202423法一直接作二次多項(xiàng)式回歸：t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];

[p,S]=polyfit(t,s,2)ToMATLAB〔dxs1〕得回歸模型為：1/28/202424法二化為多元線性回歸：t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];T=[ones(14,1)t'(t.^2)'];[b,bint,r,rint,stats]=regress(s',T);b,statsToMATLAB(dxs2)得回歸模型為：Y=polyconf(p,t,S)plot(t,s,'k+',t,Y,'r')預(yù)測(cè)及作圖ToMATLAB(dxs3)1/28/202425〔二〕多元二項(xiàng)式回歸命令：rstool〔x，y，’model’,alpha〕nm矩陣顯著性水平（缺省時(shí)為0.05）n維列向量1/28/202426例4設(shè)某商品的需求量與消費(fèi)者的平均收入、商品價(jià)格的統(tǒng)計(jì)數(shù)據(jù)如下，建立回歸模型，預(yù)測(cè)平均收入為1000、價(jià)格為6時(shí)的商品需求量.法一直接用多元二項(xiàng)式回歸：x1=[10006001200500300400130011001300300];x2=[5766875439];y=[10075807050659010011060]';x=[x1'x2'];rstool(x,y,'purequadratic')ToMATLAB(dxs4)1/28/202427在畫面左下方的Export菜單中全選，那么beta、rmse和residuals都傳送到Matlab工作區(qū)中.點(diǎn)擊變量名即可

在左邊圖形下方的方框中輸入1000，右邊圖形下方的方框中輸入6。那么畫面左邊的“PredictedY〞下方的數(shù)據(jù)變?yōu)?8.47981，即預(yù)測(cè)出平均收入為1000、價(jià)格為6時(shí)的商品需求量為88.4791.1/28/202428在Matlab工作區(qū)中輸入命令：beta,rmse1/28/202429結(jié)果為:b=110.53130.1464-26.5709-0.00011.8475stats=0.970240.66560.000520.5771法二ToMATLAB(dxs5)返回將化為多元線性回歸：1/28/202430〔4〕“有進(jìn)有出〞的逐步回歸分析?！?〕從所有可能的因子〔變量〕組合的回歸方程中選擇最優(yōu)者；〔2〕從包含全部變量的回歸方程中逐次剔除不顯著因子；〔3〕從一個(gè)變量開始，把變量逐個(gè)引入方程；選擇“最優(yōu)〞的回歸方程有以下幾種方法：“最優(yōu)〞的回歸方程就是包含所有對(duì)Y有影響的變量,而不包含對(duì)Y影響不顯著的變量回歸方程。

以第四種方法，即逐步回歸分析法在篩選變量方面較為理想.逐步回歸分析1/28/202431這個(gè)過(guò)程反復(fù)進(jìn)行，直至既無(wú)不顯著的變量從回歸方程中剔除，又無(wú)顯著變量可引入回歸方程時(shí)為止。逐步回歸分析法的思想：從一個(gè)自變量開始，視自變量Y作用的顯著程度，從大到小依次逐個(gè)引入回歸方程。當(dāng)引入的自變量由于后面變量的引入而變得不顯著時(shí)，要將其剔除掉。引入一個(gè)自變量或從回歸方程中剔除一個(gè)自變量，為逐步回歸的一步。對(duì)于每一步都要進(jìn)行Y值檢驗(yàn)，以確保每次引入新的顯著性變量前回歸方程中只包含對(duì)Y作用顯著的變量。1/28/202432逐步回歸逐步回歸的命令是：stepwise〔x，y，inmodel，alpha〕運(yùn)行stepwise命令時(shí)產(chǎn)生三個(gè)圖形窗口：StepwisePlot，StepwiseTable，StepwiseHistory.在StepwisePlot窗口，顯示出各項(xiàng)的回歸系數(shù)及其置信區(qū)間.StepwiseTable窗口中列出了一個(gè)統(tǒng)計(jì)表，包括回歸系數(shù)及其置信區(qū)間，以及模型的統(tǒng)計(jì)量剩余標(biāo)準(zhǔn)差〔RMSE〕、相關(guān)系數(shù)〔R-square〕、F值、與F對(duì)應(yīng)的概率P.矩陣的列數(shù)的指標(biāo)，給出初始模型中包括的子集（缺省時(shí)設(shè)定為全部自變量）顯著性水平（缺省時(shí)為0.5）自變量數(shù)據(jù),階矩陣因變量數(shù)據(jù)，n*1階矩陣1/28/202433逐步回歸matlab的實(shí)現(xiàn)年份火柴銷量y(萬(wàn)件)煤氣戶數(shù)x1(萬(wàn)戶)卷煙銷量x2(萬(wàn)箱)蚊香銷量x3(十萬(wàn)盒)打火石x4(百萬(wàn)粒)197117.8427.4321.4311.0925.78197218.2729.9524.9614.4828.16197320.2933.5328.3716.9724.26197422.6137.3142.5720.1630.18197526.7141.1645.1626.3917.08197631.1945.7352.4627.047.39197730.550.5945.323.083.88197829.6358.8246.824.4610.53197929.6965.2851.1133.8220.09198029.2571.2553.2933.5721.221/28/202434確定一個(gè)線性模型MATLAB實(shí)現(xiàn)：y=[17.8418.2720.2922.6126.7131.1930.529.6329.6929.25]’;X1=[27.4329.9533.5337.3141.1645.7350.5958.8265.2871.25]’;X2=[21.4324.9628.3742.5745.1652.4645.346.851.1153.29]’;X3=[11.0914.4816.9720.1626.3927.0423.0824.4633.8233.57]’;X4=[25.7828.1624.2630.1817.087.393.8810.5320.0921.22]’;x=[X1,X2,X3,X4];stepwise(x,y)ToMATLAB(zhubuhuigui)1/28/202435逐步回歸MATLAB實(shí)現(xiàn)stepwise初始界面：S1為空。(紅色表示未參加)1/28/202436逐步回歸MATLAB實(shí)現(xiàn)第一步：將最顯著的x2參加S1。1/28/202437逐步回歸MATLAB實(shí)現(xiàn)第二步：將x4、x1參加S1(可以看出剩余標(biāo)準(zhǔn)差RMSE在減小)1/28/202438逐步回歸MATLAB實(shí)現(xiàn)最后利用regress()求逐步回歸后的回歸方程：x=[ones(10,1),X1,X2,X4][b,bint,r,rint,st]=regress(y,x)b=16.81070.06300.2522-0.2383即y=16.8107+0.0630x1+0.2522x2-0.2383x4st=0.9974753.03670.00000.1121

主目錄ToMATLAB(liti33hou)1/28/202439〔1〕確定回歸系數(shù)的命令：[beta，r，J]=nlinfit〔x，y，’model’,beta0〕〔2〕非線性回歸命令：nlintool〔x，y，’model’,beta0，alpha〕1、回歸：殘差Jacobian矩陣回歸系數(shù)的初值是事先用m-文件定義的非線性函數(shù)估計(jì)出的回歸系數(shù)輸入數(shù)據(jù)x、y分別為矩陣和n維列向量，對(duì)一元非線性回歸，x為n維列向量。非線性回歸1/28/2024402、預(yù)測(cè)和預(yù)測(cè)誤差估計(jì)：[Y，DELTA]=nlpredci（’model’,x，beta，r，J）求nlinfit或nlintool所得的回歸函數(shù)在x處的預(yù)測(cè)值Y及預(yù)測(cè)值的顯著性為1-alpha的置信區(qū)間Y+-DELTA.1/28/2024411/28/202442散點(diǎn)圖此即非線性回歸或曲線回歸問(wèn)題〔需要配曲線〕配曲線的一般方法是：1/28/202443通常選擇的六類曲線如下：牙膏問(wèn)題1/28/202444方法一2、輸入數(shù)據(jù)：x=2:16;y=[6.428.209.589.59.7109.939.9910.4910.5910.6010.8010.6010.9010.76];beta0=[82]‘;%初值ToMATLAB(feixx1)1/28/2024453、求回歸系數(shù)：[beta,r,J]=nlinfit(x',y','volum',beta0)；beta得結(jié)果：beta=11.6036-1.0641即得回歸模型為：方法二：線性化方法1/28/2024464、預(yù)測(cè)及作圖：[YY,delta]=nlpredci('volum',x',beta,r,J);plot(x,y,‘k+’,x,YY,‘r’)ToMATLAB(feixx2)1/28/202447牙膏的銷售量

問(wèn)題建立牙膏銷售量與價(jià)格、廣告投入之間的模型預(yù)測(cè)在不同價(jià)格和廣告費(fèi)用下的牙膏銷售量收集了30個(gè)銷售周期本公司牙膏銷售量、價(jià)格、廣告費(fèi)用，及同期其它廠家同類牙膏的平均售價(jià)9.260.556.804.253.70307.930.055.803.853.8029

8.510.256.754.003.7527.38-0.055.503.803.851銷售量(百萬(wàn)支)價(jià)格差（元）廣告費(fèi)用(百萬(wàn)元)其它廠家價(jià)格(元)本公司價(jià)格(元)銷售周期1/28/202448根本模型y~公司牙膏銷售量x1~其它廠家與本公司價(jià)格差x2~公司廣告費(fèi)用x2yx1yx1,x2~解釋變量(回歸變量,自變量)y~被解釋變量〔因變量〕

0,1

,2,3~回歸系數(shù)~隨機(jī)誤差〔均值為零的正態(tài)分布隨機(jī)變量〕1/28/202449MATLAB統(tǒng)計(jì)工具箱

模型求解[b,bint,r,rint,stats]=regress(y,x,alpha)

由數(shù)據(jù)y,x1,x2估計(jì)

參數(shù)參數(shù)估計(jì)值置信區(qū)間17.3244[5.728228.9206]1.3070[0.68291.9311]-3.6956[-7.49890.1077]0.3486[0.03790.6594]R2=0.9054F=82.9409p=0.0000

0

1

2

31/28/202450結(jié)果分析y的90.54%可由模型確定參數(shù)參數(shù)估計(jì)值置信區(qū)間17.3244[5.728228.9206]1.3070[0.68291.9311]-3.6956[-7.49890.1077]0.3486[0.03790.6594]R2=0.9054F=82.9409p=0.0000

0

1

2

3F遠(yuǎn)超過(guò)F檢驗(yàn)的臨界值p遠(yuǎn)小于

=0.05

2的置信區(qū)間包含零點(diǎn)(右端點(diǎn)距零點(diǎn)很近)x2對(duì)因變量y的影響不太顯著x22項(xiàng)顯著可將x2保存在模型中模型從整體上看成立1/28/202451銷售量預(yù)測(cè)價(jià)格差x1=其它廠家價(jià)格x3-本公司價(jià)格x4估計(jì)x3調(diào)整x4控制價(jià)格差x1=0.2元，投入廣告費(fèi)x2=650萬(wàn)元銷售量預(yù)測(cè)區(qū)間為[7.8230，8.7636]〔置信度95%〕上限用作庫(kù)存管理的目標(biāo)值下限用來(lái)把握公司的現(xiàn)金流假設(shè)估計(jì)x3=3.9，設(shè)定x4=3.7，那么可以95%的把握知道銷售額在7.83203.729〔百萬(wàn)元〕以上控制x1通過(guò)x1,x2預(yù)