用最小二乘法求解線性模型及對模型的分析

1、v1.0可編輯可修改用最小二乘法求解線性模型及對模型的分析作者：鄧春亮1、研究30名兒童體重為因變量與身高為自變量的關(guān)系，兒童體重與身高的記錄如下表:編R體重Y(kg)身高X(cm)12345678910111213141516171819202122232411v1.0可編輯可修改252627282930試用計算機完成下面統(tǒng)計分析:(1) 應(yīng)用最小二乘法求經(jīng)驗回歸方程；(2) 以擬合值？為橫坐標(biāo)，殘差？為縱坐標(biāo)，作殘差圖，分析Gauss-Markou假設(shè)對本例的適用性;1(3) 考慮因變量的變換UY2,再對新變量U和X重復(fù)(1)和(2)的統(tǒng)計分析；(4) 將Box-Cox變換應(yīng)用到本例，計算

2、變換參數(shù)的值，并做討論。說明：第一題的數(shù)據(jù)和結(jié)果文件見附件1,下面第二題的數(shù)據(jù)文件和結(jié)果文件見附件2,必要時可參看。解：(1)在SPSS窗口中錄入數(shù)據(jù)，首先進(jìn)行異常值檢測，探查對回歸估計有異常大影響的數(shù)據(jù)。先利用SPSS畫出體重與身高的散點圖#v1.0可編輯可修改3330.00 28.00 26.00 一24.0022.00 一20.00 一18.00115.00120.00125.00130.00135.00140.00身高X圖11從圖1可以看出沒有明顯不一致的點。也可以通過SPSSa件at算COO毓計量，看下表表11編R殘差？學(xué)生化殘差ricenterh.COO幽ffaDi1.05491.

3、078352.03312.02204.02770.000023.03138.077784.00489.004635.70477.47518.05161.01048v1.0可編輯可修改6.49003.34183.11182.009927.08920.048078.07294.078009.00594.0118010.85964.00310.0139711.64786.42576.00351.0034712.48000.31710.01355.0024713.01081.00710.00143.0000014.00594.0772615.00139.0052016.00434.0254717.00

4、008.0019018.00643.0043119.01183.0932920.00038.0294021.00003.0198922.00434.0360823.03249.1061124.02522.0415025.91306.62283.07268.0230026.02088.0032027.03121.0113428.01887.0402629.11878.0293530.89321.64671.17316.05442.從上面數(shù)據(jù)看殘差值和中心化的杠桿率centerh"的值沒有異常大的，數(shù)據(jù),這里(=centerhH+1/n),COO期#v1.0可編輯可修改計量Di值也沒有異

5、常大的數(shù)據(jù)，一般來說，殘差值和杠桿率越大，COO期計量就越大，殘差值和杠桿率越小，COO蛻計量就越小?？梢娺@些數(shù)據(jù)是比較一致的。接下來對這些數(shù)據(jù)求解經(jīng)驗回歸方程。然后利用最小二乘法，在SPSS中Analyze菜單下依次選擇Regress:2-StageLeastSquare,選擇因變量和自變量執(zhí)行可輸出結(jié)果如下表：表12MODEL:MOD_3.Equationnumber:1Dependentvariable.體重YListwiseDeletionofMissingDataMultipleR.80301RSquare.64483AdjustedRSquare.63215StandardErro

6、rAnalysisofVariance:DFSumofSquaresMeanSquareRegression1Residuals28F=SignifF=.0000VariablesintheEquationVariableBSEBBetaTSigT身高X.395087.055412.803014.0000(Constant).0007CorrelationMatrixofParameterEstimates身高X55v1.0可編輯可修改這里可以看出所求經(jīng)驗回歸方程的常數(shù)項(Constant)為，身高X的系數(shù)為。故經(jīng)驗回歸方程為：yi=+xi(2)通過SPSS,可得擬合值與殘差如下表表13:擬合

7、值與殘差表體重Y身高X擬合值夕殘差？.03312.70477.49003.64786.48000.01081#v1.0可編輯可修改.91306.89321以擬合值？為橫坐標(biāo)，殘差R為縱標(biāo)，得殘差圖77v1.0可編輯可修改殘差圖aurtrseR deFHWIadnarsnu18.0000020.0000022.0000024.0000026.0000028.000003.00000-2.00000-1.00000一0.00000一-1.00000一-2.00000一-3.00000-4.00000UnstandardizedPredictedValue圖12從圖中可以看出，殘差圖沒有明顯的不一致

8、的征兆，則可以認(rèn)為Gauss-Markou假設(shè)eNN0,2I對本例基本上是合理的。1(3)作變換UY2,這時用同樣的方法可求得經(jīng)驗回歸方程為：ui=+Xi其預(yù)測值與殘差如下表U擬合值殘差89v1.0可編輯可修改以擬合值？為橫坐標(biāo)，殘差為縱坐標(biāo)，作殘差圖得99v1.0可編輯可修改U=YA0.5的殘差圖aurtH.seR deeHradnATSnu0.30000 一0.200000.10000 _0.00000 _-0.10000 _-0.20000-0.30000 一-0.40000 -4.400004.600004.800005.000005.200005.40000Un standardiz

9、ed Predicted Va lue從圖3看，此時的殘差圖也沒有明顯的不一致的趨勢，認(rèn)為Gauss-Markou假設(shè)e| N 0, 2I對本例基本上是合理的。(4)將因變量Y進(jìn)彳TBox-Cox變換，Y1Y,lnY,變換后原來的因變量Yyi,y2,|,yn變?yōu)閅,y2,|,y計算不同值對應(yīng)的殘差平方和RSS,z#v1.0可編輯可修改VnVi 1In V1n 王Vi 1這里分別取i，i1,2,|7值為，-1,0,1,計算分別計算zi ，然后計算對應(yīng)的殘差平方和RSS ,z ,這里n=30,計算彳#到z如表所示，這里乙表示41。i表15編RUZ1Z2Z3Z4Z5Z6Z71234567891011

10、121314151617181111v1.0可編輯可修改192021222324252627282930.通過spssa件運行得到的方差分析表，可知道相應(yīng)的殘差平方和，具體數(shù)據(jù)如下表所示:表16-101RSS通過表6的簡單比較可以看出當(dāng)0.5時，殘差平方和RSS,z達(dá)到最小，因此我們可以近似地認(rèn)為就是變換參數(shù)的最優(yōu)選擇.2、研究兒童的體重Y與身高Xi和胸圍X2之間的關(guān)系是具有一定現(xiàn)實意義的，因為這種關(guān)系使我們能夠用簡單的方法從Xi和X2的值去估計一個兒童的體重，下表是一組觀測數(shù)據(jù)：表21編RY身高X1胸圍X2123#v1.0可編輯可修改45678910111213141516171819202

11、12223242526272829301313v1.0可編輯可修改(1) 先假設(shè)Y與Xi和X2有如下線性關(guān)系：Y1X12X2e,做最小二乘分析，并做相應(yīng)的殘差圖。試計算Box-Cox變換參數(shù)的值.(2) 對(1)中計算出的變換參數(shù)值，做相應(yīng)的Box-Cox變換，并對變換后的因變量做對X1和X2的最小二乘回歸，并做殘差圖。解：(1)先計算中心化杠桿率centerhii和COO蛻計量Di的值表2-1編R擬合值出殘差？學(xué)生化殘差rcenterhiiCOO蛻ffaDi1.99976.07509.040522.07238.050213.05156.053804.00889.013865.93625.85

12、394.05330.023056.68504.64630.11302.023877.09125.037138.34734.33076.12873.007059.01058.0072310.88186.78544.00882.0090511.50114.44527.00418.0025812.17876.15985.01640.0004513.12356.2145914.14264.0497315.00413.0028116.00510.0262717.42385.38119.02725.0031218.00666.00406#v1.0可編輯可修改19.19237.21088.33436.008

13、6220.00754.0253821.25287.23152.06029.0018522.02950.0248423.04463.0910224.02553.0451425.13059.0116826.02995.0198027.04540.0008328.02738.0958529.12793.12316.14686.0011130.69231.67800.17443.04018從表中2-1的計算結(jié)果可以看出，第19個觀測的杠桿率最高為.。因此，第19個樣本點最有可能對模型擬合造成較大的影響。然后求解經(jīng)驗回歸方程，從運行結(jié)果的方差分析表2-2(ANOVA(b)可以看出F統(tǒng)計量的P-值(Sig

14、.)為，這表明模型在總體中是顯著的。表2-2ANOVA(b)ANOVAbModelSumofSquaresdfMeanSquareFSig.1Regression153.984276.99258.501.000aResidual35.534271.316Total189.51929a.Predictors:(Constant),胸圍X2,身高X1b.DependentVariable:體重丫表2-31515v1.0可編輯可修改CoefficientsaModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBe

15、ta1(Constant)身高X1胸圍X2-36.133.299.3625.535.045.074.607.454-6.5286.5654.914.000.000.000a.DependentVariable:體重丫從回歸系數(shù)計算分析表2-3(Coefficients(a),可知道回歸方程的常數(shù)項為，自變量身高和胸圍相對應(yīng)的未標(biāo)準(zhǔn)化的回歸系數(shù)(UnstandardizedCoefficients)分別為、，因而回歸方程為yi36.1330.299x1i0.362x2i且從表中可知3個系數(shù)的t統(tǒng)計量的P直均為，這表明模型在總體中是顯著的。以擬合值？為橫坐標(biāo)，殘差R為縱坐標(biāo)，作殘差圖：圖2-1殘差

16、圖2.000001.00000auseR d etHraanpsnu0.00000-1.00000-2.00000#-3.0000015.0000018.0000021.0000024.0000027.0000030.00000UnstandardizedPredictedValuev1.0可編輯可修改從圖2-1可以看出，殘差圖從左至右逐漸散開呈漏斗狀，這是誤差方差不相等的征兆?？紤]將因變量Y進(jìn)彳TBox-Cox變換，跟第一題的（4）問同樣。這里同樣分別取i,i1,2,|7值為，-1,0,1,計算分別計算z,然后計算對應(yīng)的殘差平方和RSS,z，這里n=30，計算得到z如表1-5所示，然后計算對

17、應(yīng)自變量X4DX2的殘差平方和RSS,z。得Z1,Z2”|Z7方差分析表如下ANOVAbModelSumofSquaresdfMeanSquareFSig.1Regression151.509275.75453.967.000aResidual37.900271.404Total189.40929a. Predictors:(Constant),胸圍X2,身高X1b.DependentVariable:Z1ANOVAbModelSumofSquaresdfMeanSquareFSig.1Regression150.580275.29056.081.000aResidual36.248271.3

18、43Total186.82829b. Predictors:(Constant),胸圍X2,身高X1c. DependentVariable:Z2ANOVAbModelSumofSquaresdfMeanSquareFSig.1Regression150.361275.18057.657.000aResidual35.206271.304Total185.56729a. Predictors:(Constant),胸圍X2,身高X1b. DependentVariable:Z31717v1.0可編輯可修改1919ANOVAbModelSumofSquaresdfMeanSquareFSig.1

19、Regression150.852275.42658.610.000aResidual34.747271.287Total185.59829a.Predictors:(Constant),胸圍X2,身高X1b.DependentVariable:Z4ANOVAbModelSumofSquaresdfMeanSquareFSig.1Regression152.051276.02658.889.000aResidual34.857271.291Total186.90929a.Predictors:(Constant),胸圍X2,身高X1b.DependentVariable:Z5ANOVAbMod

20、elSumofSquaresdfMeanSquareFSig.1Regression153.984276.99258.501.000aResidual35.534271.316Total189.51929a.Predictors:(Constant),胸圍X2,身高X1b.DependentVariable:Z6ANOVAbModelSumofSquaresdfMeanSquareFSig.1Regression156.674278.33757.496.000aResidual36.787271.362Total193.46129a.Predictors:(Constant),胸圍X2,身高X

21、1b.DependentVariable:Z7從上面的方差分析表中可以得到i,i1,2,|,7對應(yīng)的殘差平方和RSSi,z表2-4-101RSS從這個表中可的簡單比較可以看出當(dāng)0時，殘差平方和RSS,z34.747達(dá)到最小，而0.5對應(yīng)的殘差平方和次之為，且從的方差分析表可知它們對應(yīng)的P值都為，都具有顯著性?，F(xiàn)在再看0.5時，對應(yīng)因變量Z4和Z5對應(yīng)的回歸系數(shù)分析表。CoefficientsaModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)14.0925.4732.575.016身高X1.290.045.5966.458.000胸圍X2.367.073.4665.044.000a.DependentVariable:Z4CoefficientsaModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)-22.2355.482-4.056.000身高X1.294.045.6026.5