第十二講回歸分析

第十二講回歸分析2023/6/51第一頁，共四十六頁，編輯于2023年，星期一回歸分析在一組數(shù)據(jù)的基礎(chǔ)上研究這樣幾個問題：（i）建立因變量y與自變量x,x,,xm

之間的回歸模型（經(jīng)驗公式）；（ii）對回歸模型的可信度進行檢驗；（iii）判斷每個自變量x(i=1,2,…,m)對y的影響是否顯著；（iv）診斷回歸模型是否適合這組數(shù)據(jù)；（v）利用回歸模型對y進行預報或控制。2023/6/52第二頁，共四十六頁，編輯于2023年，星期一一元線性回歸多元線性回歸回歸分析數(shù)學模型及定義*模型參數(shù)估計*檢驗、預測與控制可線性化的一元非線性回歸（曲線回歸）數(shù)學模型及定義*模型參數(shù)估計*多元線性回歸中的檢驗與預測逐步回歸分析2023/6/53第三頁，共四十六頁，編輯于2023年，星期一一、數(shù)學模型例1

測16名成年女子的身高與腿長所得數(shù)據(jù)如下：以身高x為橫坐標，以腿長y為縱坐標將這些數(shù)據(jù)點（xI，yi）在平面直角坐標系上標出.散點圖2023/6/54第四頁，共四十六頁，編輯于2023年，星期一一元線性回歸分析的主要任務(wù)是：2023/6/55第五頁，共四十六頁，編輯于2023年，星期一二、模型參數(shù)估計1、回歸系數(shù)的最小二乘估計2023/6/56第六頁，共四十六頁，編輯于2023年，星期一其中

2023/6/57第七頁，共四十六頁，編輯于2023年，星期一一個好的擬合方程，其殘差應(yīng)越小越好。殘差越小，擬合值與觀測值越接近，各觀測點在擬合直線周圍聚集的緊密程度越高，也就是說，擬合方程解釋y的能力越強。另外，當剩余標準差越小時，還說明殘差值的變異程度越小。由于殘差的樣本均值為零。所以，其離散范圍越小，擬合的模型就越為精確。2023/6/58第八頁，共四十六頁，編輯于2023年，星期一三、檢驗、預測與控制1、顯著性檢驗一般地，回歸方程的假設(shè)檢驗包括兩個方面：一個是對模型的檢驗，即檢驗自變量與因變量之間的關(guān)系能否用一個線性模型來表示，這是由F檢驗來完成的；另一個檢驗是關(guān)于回歸參數(shù)的檢驗，即當模型檢驗通過后，還要具體檢驗每一個自變量對因變量的影響程度是否顯著。這是由t檢驗完成。在一元線性分析中，由于自變量的個數(shù)只有一個，這兩種檢驗是統(tǒng)一的，它們的效果完全是等價的。但是，在多元線性回歸分析中，這兩個檢驗的意義是不同的。從邏輯上說，一般常在F檢驗通過后，再進一步進行t檢驗。2023/6/59第九頁，共四十六頁，編輯于2023年，星期一（Ⅰ）F檢驗法

（Ⅱ）t檢驗法2023/6/510第十頁，共四十六頁，編輯于2023年，星期一（Ⅲ）r檢驗法2023/6/511第十一頁，共四十六頁，編輯于2023年，星期一2、回歸系數(shù)的置信區(qū)間2023/6/512第十二頁，共四十六頁，編輯于2023年，星期一3、預測與控制（1）預測2023/6/513第十三頁，共四十六頁，編輯于2023年，星期一（2）控制2023/6/514第十四頁，共四十六頁，編輯于2023年，星期一四、可線性化的一元非線性回歸（曲線回歸）例2出鋼時所用的盛鋼水的鋼包，由于鋼水對耐火材料的侵蝕，容積不斷增大.我們希望知道使用次數(shù)與增大的容積之間的關(guān)系.對一鋼包作試驗，測得的數(shù)據(jù)列于下表：2023/6/515第十五頁，共四十六頁，編輯于2023年，星期一散點圖此即非線性回歸或曲線回歸

問題（需要配曲線）配曲線的一般方法是：2023/6/516第十六頁，共四十六頁，編輯于2023年，星期一通常選擇的六類曲線如下：2023/6/517第十七頁，共四十六頁，編輯于2023年，星期一一、數(shù)學模型及定義多元線性回歸2023/6/518第十八頁，共四十六頁，編輯于2023年，星期一二、模型參數(shù)估計解得估計值2023/6/519第十九頁，共四十六頁，編輯于2023年，星期一2023/6/520第二十頁，共四十六頁，編輯于2023年，星期一三、多元線性回歸中的檢驗與預測

（Ⅰ）線性模型檢驗——F檢驗法（Ⅱ）回歸系數(shù)檢驗——t檢驗法(殘差平方和）2023/6/521第二十一頁，共四十六頁，編輯于2023年，星期一2、預測（1）點預測（2）區(qū)間預測2023/6/522第二十二頁，共四十六頁，編輯于2023年，星期一四、逐步回歸分析（4）“有進有出”的逐步回歸分析。（1）從所有可能的因子（變量）組合的回歸方程中選擇最優(yōu)者；（2）從包含全部變量的回歸方程中逐次剔除不顯著因子；（3）從一個變量開始，把變量逐個引入方程；選擇“最優(yōu)”的回歸方程有以下幾種方法：

“最優(yōu)”的回歸方程就是包含所有對Y有影響的變量,而不包含對Y影響不顯著的變量回歸方程。以第四種方法，即逐步回歸分析法在篩選變量方面較為理想.2023/6/523第二十三頁，共四十六頁，編輯于2023年，星期一這個過程反復進行，直至既無不顯著的變量從回歸方程中剔除，又無顯著變量可引入回歸方程時為止。逐步回歸分析法的思想：從一個自變量開始，視自變量Y作用的顯著程度，從大到地依次逐個引入回歸方程。當引入的自變量由于后面變量的引入而變得不顯著時，要將其剔除掉。引入一個自變量或從回歸方程中剔除一個自變量，為逐步回歸的一步。對于每一步都要進行Y值檢驗，以確保每次引入新的顯著性變量前回歸方程中只包含對Y作用顯著的變量。2023/6/524第二十四頁，共四十六頁，編輯于2023年，星期一統(tǒng)計工具箱中的回歸分析命令1、多元線性回歸2、多項式回歸3、非線性回歸4、逐步回歸2023/6/525第二十五頁，共四十六頁，編輯于2023年，星期一多元線性回歸

b=regress(Y,X)1、確定回歸系數(shù)的點估計值：2023/6/526第二十六頁，共四十六頁，編輯于2023年，星期一3、畫出殘差及其置信區(qū)間：

rcoplot（r，rint）2、求回歸系數(shù)的點估計和區(qū)間估計、并檢驗回歸模型：

[b,bint,r,rint,stats]=regress(Y,X,alpha)回歸系數(shù)的區(qū)間估計殘差用于檢驗回歸模型的統(tǒng)計量，有三個數(shù)值：相關(guān)系數(shù)r2、F值、與F對應(yīng)的概率p置信區(qū)間顯著性水平（缺省時為0.05）2023/6/527第二十七頁，共四十六頁，編輯于2023年，星期一例1解：1、輸入數(shù)據(jù)：

x=[143145146147149150153154155156157158159160162164]';X=[ones(16,1)x];Y=[8885889192939395969897969899100102]';2、回歸分析及檢驗：

[b,bint,r,rint,stats]=regress(Y,X)b,bint,stats2023/6/528第二十八頁，共四十六頁，編輯于2023年，星期一3、殘差分析，作殘差圖：

rcoplot(r,rint)從殘差圖可以看出，除第二個數(shù)據(jù)外，其余數(shù)據(jù)的殘差離零點均較近，且殘差的置信區(qū)間均包含零點，這說明回歸模型y=-16.073+0.7194x能較好的符合原始數(shù)據(jù)，而第二個數(shù)據(jù)可視為異常點.4、預測及作圖：z=b(1)+b(2)*xplot(x,Y,'k+',x,z,'r')2023/6/529第二十九頁，共四十六頁，編輯于2023年，星期一多項式回歸（一）一元多項式回歸

（1）確定多項式系數(shù)的命令：[p，S]=polyfit（x，y，m）（2）一元多項式回歸命令：polytool（x，y，m）1、回歸：y=a1xm+a2xm-1+…+amx+am+12、預測和預測誤差估計：（1）Y=polyval（p，x）求polyfit所得的回歸多項式在x處的預測值Y；（2）[Y，DELTA]=polyconf（p，x，S，alpha）求polyfit所得的回歸多項式在x處的預測值Y及預測值的顯著性為1-alpha的置信區(qū)間YDELTA；alpha缺省時為0.5.2023/6/530第三十頁，共四十六頁，編輯于2023年，星期一法一直接作二次多項式回歸：

t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];

[p,S]=polyfit(t,s,2)得回歸模型為：2023/6/531第三十一頁，共四十六頁，編輯于2023年，星期一法二化為多元線性回歸：t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];T=[ones(14,1)t'(t.^2)'];[b,bint,r,rint,stats]=regress(s',T);b,stats得回歸模型為：Y=polyconf(p,t,S)plot(t,s,'k+',t,Y,'r')預測及作圖2023/6/532第三十二頁，共四十六頁，編輯于2023年，星期一（二）多元二項式回歸命令：rstool（x，y，’model’,alpha）nm矩陣顯著性水平（缺省時為0.05）n維列向量2023/6/533第三十三頁，共四十六頁，編輯于2023年，星期一例3

設(shè)某商品的需求量與消費者的平均收入、商品價格的統(tǒng)計數(shù)據(jù)如下，建立回歸模型，預測平均收入為1000、價格為6時的商品需求量.法一直接用多元二項式回歸：x1=[10006001200500300400130011001300300];x2=[5766875439];y=[10075807050659010011060]';x=[x1'x2'];rstool(x,y,'purequadratic')2023/6/534第三十四頁，共四十六頁，編輯于2023年，星期一在畫面左下方的下拉式菜單中選”all”,則beta、rmse和residuals都傳送到Matlab工作區(qū)中.在左邊圖形下方的方框中輸入1000，右邊圖形下方的方框中輸入6。則畫面左邊的“PredictedY”下方的數(shù)據(jù)變?yōu)?8.47981，即預測出平均收入為1000、價格為6時的商品需求量為88.4791.2023/6/535第三十五頁，共四十六頁，編輯于2023年，星期一在Matlab工作區(qū)中輸入命令：beta,rmse2023/6/536第三十六頁，共四十六頁，編輯于2023年，星期一結(jié)果為:b=110.53130.1464-26.5709-0.00011.8475stats=0.970240.66560.0005法二將化為多元線性回歸：2023/6/537第三十七頁，共四十六頁，編輯于2023年，星期一非線性回歸（1）確定回歸系數(shù)的命令：

[beta，r，J]=nlinfit（x，y，’model’,beta0）（2）非線性回歸命令：nlintool（x，y，’model’,beta0，alpha）1、回歸：殘差Jacobian矩陣回歸系數(shù)的初值是事先用m-文件定義的非線性函數(shù)估計出的回歸系數(shù)輸入數(shù)據(jù)x、y分別為矩陣和n維列向量，對一元非線性回歸，x為n維列向量。2、預測和預測誤差估計：[Y，DELTA]=nlpredci（’model’,x，beta，r，J）求nlinfit或nlintool所得的回歸函數(shù)在x處的預測值Y及預測值的顯著性為1-alpha的置信區(qū)間YDELTA.2023/6/538第三十八頁，共四十六頁，編輯于2023年，星期一例4

對第一節(jié)例2，求解如下：2、輸入數(shù)據(jù)：x=2:16;y=[6.428.209.589.59.7109.939.9910.4910.5910.6010.8010.6010.9010.76];beta0=[82]';3、求回歸系數(shù)：

[beta,r,J]=nlinfit(x',y','volum',beta0)；

beta得結(jié)果：beta=11.6036-1.0641即得回歸模型為：2023/6/539第三十九頁，共四十六頁，編輯于2023年，星期一逐步回歸逐步回歸的命令是：

stepwise（x，y，inmodel，alpha）運行stepwise命令時產(chǎn)生三個圖形窗口：StepwisePlot，StepwiseTable，StepwiseHistory.在StepwisePlot窗口，顯示出各項的回歸系數(shù)及其置信區(qū)間.

StepwiseTable窗口中列出了一個統(tǒng)計表，包括回歸系數(shù)及其置信區(qū)間，以及模型的統(tǒng)計量剩余標準差（RMSE）、相關(guān)系數(shù)（R-square）、F值、與F對應(yīng)的概率P.矩陣的列數(shù)的指標，給出初始模型中包括的子集（缺省時設(shè)定為全部自變量）顯著性水平（缺省時為0.5）自變量數(shù)據(jù),

階矩陣因變量數(shù)據(jù)，階矩陣2023/6/540第四十頁，共四十六頁，編輯于2023年，星期一例6

水泥凝固時放出的熱量y與水泥中4種化學成分x1、x2、x3、x4

有關(guān)，今測得一組數(shù)據(jù)如下，試用逐步回歸法確定一個線性模型.1、數(shù)據(jù)輸入：x1=[7111117113122111110]';x2=[26295631525571315447406668]';x3=[615886917221842398]';x4=[6052204733226442226341212]';y=[78.574.3104.387.695.9109.2102.772.593.1115.983.8113.3109.4]';x=[x1x2x3x4];2023/6/541第四十一頁，共四十六頁，編輯于2023年，星期一2、逐步回歸：（1）先在初始模型中取全部自變量：

stepwise(x,y)得圖StepwisePlot和表StepwiseT