多元線性回歸分析研精

1、多元線性回歸分析研精表表1 271 27名糖尿病人的血糖及有關(guān)變量的測(cè)量結(jié)果名糖尿病人的血糖及有關(guān)變量的測(cè)量結(jié)果 總膽固醇總膽固醇 甘油三酯甘油三酯 胰島素胰島素 糖化血紅蛋白糖化血紅蛋白 血糖血糖 (mmol/L)(mmol/L) (mmol/L)(mmol/L) ( ( U/ml)U/ml) (%)(%) (mmol/L)(mmol/L) 序號(hào)序號(hào) i i X X1 1 X X2 2 X X3 3 X X4 4 Y Y 1 1 5.685.68 1.901.90 4.534.53 8.28.2 11.211.2 2 2 3.793.79 1.641.64 7.327.32 6.96.9 8

2、.88.8 3 3 6.026.02 3.563.56 6.956.95 10.810.8 12.312.3 2727 3.843.84 1.201.20 6.456.45 9.69.6 10.410.4 2 人的體重與身高、胸圍有關(guān)人的體重與身高、胸圍有關(guān) 人的心率與年齡、體重、肺活量有關(guān)人的心率與年齡、體重、肺活量有關(guān) 人的血壓值與年齡、性別、勞動(dòng)強(qiáng)度、飲人的血壓值與年齡、性別、勞動(dòng)強(qiáng)度、飲食習(xí)慣、吸煙狀況、家族史等有關(guān)食習(xí)慣、吸煙狀況、家族史等有關(guān) 射頻治療儀定向治療腦腫瘤過(guò)程中，腦皮射頻治療儀定向治療腦腫瘤過(guò)程中，腦皮質(zhì)的毀損半徑與輻射的溫度、照射的時(shí)間質(zhì)的毀損半徑與輻射的溫度、照射的

3、時(shí)間有關(guān)有關(guān) 3多元線性回歸多元線性回歸：簡(jiǎn)稱為多元回歸，分析一：簡(jiǎn)稱為多元回歸，分析一個(gè)應(yīng)變量與多個(gè)自變量間的線性關(guān)系。個(gè)應(yīng)變量與多個(gè)自變量間的線性關(guān)系。4表表2 2 多元回歸分析數(shù)據(jù)格式多元回歸分析數(shù)據(jù)格式例號(hào)例號(hào)X X1 1X X2 2X Xm mY Y1 1X X1111X X1212X X1m1mY Y1 12 2X X2121X X2222X X2m2mY Y2 2 n nX Xn1n1X Xn2n2X XnmnmY Yn n5一、多元線性回歸模型一、多元線性回歸模型一般形式為： Y=Y=0 01 1X X1 1 2 2X X2 2 m mX Xm m 0 0 ：常數(shù)項(xiàng)：常數(shù)項(xiàng),

4、,又稱為又稱為截距截距1 1,2 2, ,m m: :偏回歸系數(shù)偏回歸系數(shù)(Partial (Partial regression coefficient)regression coefficient)簡(jiǎn)稱回歸系數(shù)，在簡(jiǎn)稱回歸系數(shù)，在其它自變量保持不變時(shí)其它自變量保持不變時(shí)X Xi i(i=1,2,(i=1,2,m),m)每改變每改變一個(gè)單位時(shí)，應(yīng)變量一個(gè)單位時(shí)，應(yīng)變量Y Y的平均變化量的平均變化量: :去除去除m m個(gè)自變量對(duì)個(gè)自變量對(duì)Y Y的影響后的隨機(jī)誤差，的影響后的隨機(jī)誤差，又稱殘差又稱殘差6多元線性回歸模型的應(yīng)用條件：多元線性回歸模型的應(yīng)用條件：1.線性趨勢(shì)：Y與Xi間具有線性關(guān)系2

5、.獨(dú)立性：應(yīng)變量Y的取值相互獨(dú)立3.正態(tài)性：對(duì)任意一組自變量取值，因變量Y服從正態(tài)分布4.方差齊性：對(duì)任意一組自變量取值，因變量y的方差相同 后兩個(gè)條件等價(jià)于：殘差后兩個(gè)條件等價(jià)于：殘差服從均數(shù)為服從均數(shù)為0 0、方差為方差為2 2的正態(tài)分布的正態(tài)分布7多元線性回歸的分析步驟：多元線性回歸的分析步驟：1.根據(jù)樣本數(shù)據(jù)求得模型參數(shù)的估計(jì)值，得到根據(jù)樣本數(shù)據(jù)求得模型參數(shù)的估計(jì)值，得到應(yīng)變量與自變量數(shù)量關(guān)系的表達(dá)式：應(yīng)變量與自變量數(shù)量關(guān)系的表達(dá)式：2.對(duì)回歸方程及各自變量作假設(shè)檢驗(yàn)，并對(duì)方對(duì)回歸方程及各自變量作假設(shè)檢驗(yàn)，并對(duì)方程的擬和效果及各自變量的作用大小作出評(píng)價(jià)程的擬和效果及各自變量的作用大小作

6、出評(píng)價(jià)mmxbxbxbby.22110此公式稱為多元線性回歸方程此公式稱為多元線性回歸方程8多元線性回歸方程的建立：多元線性回歸方程的建立：利用最小二乘法原理估計(jì)模型的參數(shù)：（使殘差平方和最?。℡mmlblblbl11212111Ymmlblblbl22222121mYmmmmmlblblbl2211）（mmXbXbXbYb221109方程的求解過(guò)程復(fù)雜，可借助于SPSS、SAS等統(tǒng)計(jì)軟件來(lái)完成SPSS：AnalyzeRegressionLinear regressiondependent：y independent：x1-x5SAS程序：PROC REG DATA=mr15-1; MODEL

7、 y=x1-x5; RUN;10例例15.1：P210SPSS的分析結(jié)果的分析結(jié)果C Co oe ef ff fi ic ci ie en nt ts sa a8.429.60713.893.000.126.096.1121.305.201.044.008.4765.693.000.057.009.4346.491.000.032.006.4315.048.000-.017.013-.105-1.318.196(Constant)x1x2x3x4x5Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstS

8、ig.Dependent Variable: ya. 11二、多元回歸方程的假設(shè)檢驗(yàn)二、多元回歸方程的假設(shè)檢驗(yàn)回歸方程是否成立？回歸方程是否成立？各偏回歸系數(shù)是否等于各偏回歸系數(shù)是否等于0 0？121.1.多元線性回歸方程的假設(shè)檢驗(yàn)：多元線性回歸方程的假設(shè)檢驗(yàn)：方差分析法：SSSS總總 = SS= SS回回 + SS+ SS殘殘01211 12 2:0 :(1,2,)0 / /1miYYm mYHHimSSblb lb lSSSSSSSSmMSFSSnmMS回總回殘回回殘殘不全為（）13ANOVAANOVAb b48.75059.75042.028.000a7.88834.23256.6373

9、9RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), x5, x3, x1, x2, x4a. Dependent Variable: yb. 142.2.偏回歸系數(shù)的假設(shè)檢驗(yàn)偏回歸系數(shù)的假設(shè)檢驗(yàn) 方差分析法、t檢驗(yàn)法方差分析法：1212()/1iSS XFSS殘n-m-1SS(XSS(Xi) )為第為第i i個(gè)自變量的偏回歸平方和個(gè)自變量的偏回歸平方和15偏回歸平方和偏回歸平方和:SS(X:SS(Xi),),表示模型中含有其它表示模型中含有其它m-1m-1個(gè)自變量的條件下該自變

10、量對(duì)個(gè)自變量的條件下該自變量對(duì)Y Y的回歸貢獻(xiàn)，的回歸貢獻(xiàn)，相當(dāng)于從回歸方程中剔除該自變量后回歸平方相當(dāng)于從回歸方程中剔除該自變量后回歸平方和的減少量，或者在和的減少量，或者在m-1m-1個(gè)自變量的基礎(chǔ)上增個(gè)自變量的基礎(chǔ)上增加一個(gè)自變量后回歸平方和的增加量。加一個(gè)自變量后回歸平方和的增加量。注意：注意：m-1m-1個(gè)自變量對(duì)個(gè)自變量對(duì)y y的回歸平方和由的回歸平方和由m-1m-1個(gè)個(gè)自變量對(duì)自變量對(duì)y y重新建立回歸方程后計(jì)算得到，而重新建立回歸方程后計(jì)算得到，而不能簡(jiǎn)單的在整個(gè)方程的基礎(chǔ)上把不能簡(jiǎn)單的在整個(gè)方程的基礎(chǔ)上把b bi il liyiy去掉后去掉后得到。得到。16各偏回歸平方和各偏

11、回歸平方和SS（Xi i）及殘差的計(jì)算）及殘差的計(jì)算回歸方程中包含的自回歸方程中包含的自變量變量SSSS回回SSSS（X Xi i）X X1 1 X X2 2 X X3 3 X X4 4 X X5 5SS總X X2 2 X X3 3 X X4 4 X X5 5SS-1SS總 SS-1X X1 1 X X3 3 X X4 4 X X5 5SS-2SS總 SS-2X X1 1 X X2 2 X X4 4 X X5 5SS-3SS總 SS3X X1 1 X X2 2 X X3 3 X X5 5SS-4SS總 SS4X X1 1 X X2 2 X X3 3 X X4 4SS-5SS總 SS5172.2

12、.偏回歸系數(shù)的假設(shè)檢驗(yàn)偏回歸系數(shù)的假設(shè)檢驗(yàn) t檢驗(yàn)法：iiibbts n-m-118SPSS的結(jié)果的結(jié)果C Co oe ef ff fi ic ci ie en nt ts sa a8.429.60713.893.000.126.096.1121.305.201.044.008.4765.693.000.057.009.4346.491.000.032.006.4315.048.000-.017.013-.105-1.318.196(Constant)x1x2x3x4x5Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoe

13、fficientstSig.Dependent Variable: ya. 193.3.標(biāo)準(zhǔn)化偏回歸系數(shù)標(biāo)準(zhǔn)化偏回歸系數(shù)對(duì)各數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化后求得的回歸方程即標(biāo)準(zhǔn)對(duì)各數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化后求得的回歸方程即標(biāo)準(zhǔn)化回歸方程，其相應(yīng)的偏回歸系數(shù)即標(biāo)準(zhǔn)化偏化回歸方程，其相應(yīng)的偏回歸系數(shù)即標(biāo)準(zhǔn)化偏回歸系數(shù)?；貧w系數(shù)。標(biāo)準(zhǔn)化偏回歸系數(shù)和偏回歸系數(shù)的關(guān)系：標(biāo)準(zhǔn)化偏回歸系數(shù)和偏回歸系數(shù)的關(guān)系：iiiiiiyyylsbbbls在有統(tǒng)計(jì)學(xué)意義的前提下，在有統(tǒng)計(jì)學(xué)意義的前提下，標(biāo)準(zhǔn)化偏回歸系數(shù)絕對(duì)值絕對(duì)值的大小可直接進(jìn)行比較，以衡量自變量對(duì)應(yīng)變量的作的大小可直接進(jìn)行比較，以衡量自變量對(duì)應(yīng)變量的作用大小用大小例：見(jiàn)例：見(jiàn)P2

14、13204.4.復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)：multiple correlation coefficient衡量因變量y與回歸方程內(nèi)所有自變量線性組合間相關(guān)關(guān)系的密切程度，也即Y與 之間的相關(guān)系數(shù)。R 其值在0與1之間2SSRRSS回總Y如果只有一個(gè)自變量，此時(shí)|r|R 21 R2稱為稱為決定系數(shù)決定系數(shù)表明回歸平方和在總平表明回歸平方和在總平方和中所占的比重。方和中所占的比重。R2越接近于越接近于1，說(shuō)明引入，說(shuō)明引入方程的自變量與因變量的相關(guān)程度越高，方程的自變量與因變量的相關(guān)程度越高，Xi與與y的回歸效果越好。的回歸效果越好。 R2受自變量個(gè)數(shù)的影響，由此又提出受自變量個(gè)數(shù)的影響，由

15、此又提出校校正決定系數(shù)正決定系數(shù)，既反映模型的擬和優(yōu)度，又同時(shí)，既反映模型的擬和優(yōu)度，又同時(shí)考慮了模型中的自變量個(gè)數(shù)?？紤]了模型中的自變量個(gè)數(shù)。2211 (1)1adjnRRnm 22Model SummaryModel Summaryb b.928a.861.840.48165Model1RR SquareAdjustedR SquareStd. Error ofthe EstimatePredictors: (Constant), x5, x3, x1, x2, x4a. Dependent Variable: yb. 23三、選擇最優(yōu)回歸方程的方法三、選擇最優(yōu)回歸方程的方法1.1.最優(yōu)回

16、歸方程最優(yōu)回歸方程 : 1）對(duì)y的作用有統(tǒng)計(jì)學(xué)意義的自變量，全部選入回歸方程 2）對(duì)y的作用沒(méi)有統(tǒng)計(jì)學(xué)意義的自變量，一個(gè)也不引入回歸方程 242.2.方法：方法：1)最優(yōu)子集回歸法：又稱求出所有可能的回歸模型（共有2m1個(gè)）選取最優(yōu)者2)向后剔除法（backward selection）3)向前引入法（forward selection）4)逐步回歸法（stepwise regression）25自變量回歸平方和最大的自變量回歸平方和最大的X Xi i首先進(jìn)入方程，在首先進(jìn)入方程，在X Xi i進(jìn)入方程的基礎(chǔ)上計(jì)算其余進(jìn)入方程的基礎(chǔ)上計(jì)算其余m-1m-1個(gè)自變量分個(gè)自變量分別進(jìn)入回歸方程時(shí)的偏

17、回歸平方和，其中最大別進(jìn)入回歸方程時(shí)的偏回歸平方和，其中最大者記為者記為SSSSj j，對(duì)，對(duì)X Xj j進(jìn)行檢驗(yàn)，若有意義則進(jìn)入方進(jìn)行檢驗(yàn)，若有意義則進(jìn)入方程，并重新對(duì)程，并重新對(duì)X Xi i進(jìn)行檢驗(yàn)。若進(jìn)行檢驗(yàn)。若X Xi i退化為無(wú)意義，退化為無(wú)意義，則剔除則剔除X Xi i，同時(shí)再對(duì)，同時(shí)再對(duì)X Xj j進(jìn)行檢驗(yàn)。若進(jìn)行檢驗(yàn)。若X Xj j依然有依然有意義則繼續(xù)選擇下一個(gè)偏回歸平方和最大者并意義則繼續(xù)選擇下一個(gè)偏回歸平方和最大者并進(jìn)行檢驗(yàn)。重復(fù)此過(guò)程。進(jìn)行檢驗(yàn)。重復(fù)此過(guò)程。26每每引入或剔除一個(gè)自變量后都要引入或剔除一個(gè)自變量后都要重新重新對(duì)已進(jìn)對(duì)已進(jìn)入方程中的自變量進(jìn)行檢驗(yàn)，直到方程

18、外沒(méi)入方程中的自變量進(jìn)行檢驗(yàn)，直到方程外沒(méi)有有意義的自變量可引入、方程內(nèi)也沒(méi)有無(wú)有有意義的自變量可引入、方程內(nèi)也沒(méi)有無(wú)意義的自變量可剔除為止意義的自變量可剔除為止 。27雙向篩選 ；引入一個(gè)有意義變量（前進(jìn)法）的同時(shí)，剔除無(wú)意義的變量（后退法） “先剔除后選入”原則 入和出可等可不等 注意，引入變量的檢驗(yàn)水準(zhǔn)要小于或等于剔除變量的檢驗(yàn)水準(zhǔn)。28Variables Entered/RemovedVariables Entered/Removeda ax2.Stepwise(Criteria:Probability-of-F-to-enter= .100).x3.Stepwise(Criteria

19、:Probability-of-F-to-enter= .100).x4.Stepwise(Criteria:Probability-of-F-to-enter= .100).Model123VariablesEnteredVariablesRemovedMethodDependent Variable: ya. 29CoefficientsCoefficientsa a12.546.25249.858.000.063.011.6765.648.0008.000.8049.953.000.064.008.6857.818.000.067.011.5095.810.0008.202.60213.

20、621.000.048.007.5217.230.000.060.009.4576.904.000.029.005.3995.493.000(Constant)x2(Constant)x2x3(Constant)x2x3x4Model123BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: ya. 30Model SummaryModel Summaryd d.676a.456.442.90018.846b.716.700.65967.919c.845.832.493

21、26Model123RR SquareAdjustedR SquareStd. Error ofthe EstimatePredictors: (Constant), x2a. Predictors: (Constant), x2, x3b. Predictors: (Constant), x2, x3, x4c. Dependent Variable: yd. 31ANOVAANOVAd d25.845125.84531.895.000a30.79238.81056.6373940.536220.26846.576.000b16.10137.43556.6373947.878315.9596

22、5.594.000c8.75936.24356.63739RegressionResidualTotalRegressionResidualTotalRegressionResidualTotalModel123Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), x2a. Predictors: (Constant), x2, x3b. Predictors: (Constant), x2, x3, x4c. Dependent Variable: yd. 32四、多元線性回歸的應(yīng)用四、多元線性回歸的應(yīng)用1.1.影響因素分析影響因素分析

23、: :年齡年齡(X1)飲食習(xí)慣飲食習(xí)慣(X2)吸煙狀況吸煙狀況(X3)工作緊張度工作緊張度(X4)家族史家族史(X5) 高血壓高血壓(Y)332.2.估計(jì)與預(yù)測(cè)估計(jì)與預(yù)測(cè): :心臟表面積心臟表面積(Y)=b(Y)=b0 0+b+b1 1心臟橫徑心臟橫徑(X(X1 1)+ b)+ b2 2心臟心臟縱徑縱徑(X(X2 2)+ b)+ b3 3心臟寬徑心臟寬徑(X(X3 3) )新生兒體重新生兒體重(Y)=b(Y)=b0 0+b+b1 1胎兒孕齡胎兒孕齡(X(X1 1)+ b)+ b2 2 胎兒胎兒頭徑頭徑(X(X2 2)+ b)+ b3 3胎兒胸徑胎兒胸徑(X(X3 3)+ b)+ b4 4胎兒腹

24、徑胎兒腹徑(X(X4 4) )343.3.統(tǒng)計(jì)控制統(tǒng)計(jì)控制: :利用回歸方程進(jìn)行逆估計(jì)，確定利用回歸方程進(jìn)行逆估計(jì)，確定Y Y后控制后控制X X 。采用射頻治療儀治療腦腫瘤：采用射頻治療儀治療腦腫瘤：腦皮質(zhì)毀損半徑腦皮質(zhì)毀損半徑(Y) =b0+b1射頻溫度射頻溫度(X1)+ b2照射時(shí)間照射時(shí)間(X2)35五、多元線性回歸應(yīng)用的注意事項(xiàng)五、多元線性回歸應(yīng)用的注意事項(xiàng)1.1.指標(biāo)的數(shù)量化指標(biāo)的數(shù)量化 應(yīng)變量應(yīng)變量Y Y為連續(xù)變量為連續(xù)變量自變量自變量X X可為連續(xù)、有序分類或無(wú)序分類變量可為連續(xù)、有序分類或無(wú)序分類變量 (1)(1)連續(xù)變量：連續(xù)變量：X X (2) (2)有序分類變量：有序分類

25、變量： 1 1 輕輕 X= 2 X= 2 中中 3 3 重重36(3)(3)無(wú)序分類變量無(wú)序分類變量自變量為二分類變量自變量為二分類變量: :自變量為多分類變量：假定有自變量為多分類變量：假定有n n類，則用類，則用n n1 1個(gè)個(gè)取值為取值為0 0或或1 1的啞變量（的啞變量（dummy dummy variables)variables)來(lái)表示這些類別。來(lái)表示這些類別。X=0 男1 女372.2.樣本含量：樣本含量： n n至少是至少是X X個(gè)數(shù)個(gè)數(shù)mm的的5 51010倍倍3.3.關(guān)于逐步回歸：關(guān)于逐步回歸： 不要盲目信任，結(jié)合專業(yè)知識(shí)。不要盲目信任，結(jié)合專業(yè)知識(shí)。4.4.多重共線性：多

26、重共線性：指自變量之間存在較強(qiáng)的線性關(guān)系指自變量之間存在較強(qiáng)的線性關(guān)系 使偏回歸系數(shù)方差加大，系數(shù)估計(jì)不穩(wěn)，使偏回歸系數(shù)方差加大，系數(shù)估計(jì)不穩(wěn)，難以有合乎專業(yè)知識(shí)的解釋。難以有合乎專業(yè)知識(shí)的解釋。38提示可能存在多重共線性的情況：提示可能存在多重共線性的情況： 整個(gè)模型的檢驗(yàn)結(jié)果為整個(gè)模型的檢驗(yàn)結(jié)果為PPP。 專業(yè)上認(rèn)為應(yīng)該有統(tǒng)計(jì)學(xué)意義的自變量檢專業(yè)上認(rèn)為應(yīng)該有統(tǒng)計(jì)學(xué)意義的自變量檢驗(yàn)結(jié)果卻無(wú)統(tǒng)計(jì)學(xué)意義。驗(yàn)結(jié)果卻無(wú)統(tǒng)計(jì)學(xué)意義。 自變量的偏回歸系數(shù)取值大小甚至符號(hào)明自變量的偏回歸系數(shù)取值大小甚至符號(hào)明顯與實(shí)際情況相違背，難以解釋。顯與實(shí)際情況相違背，難以解釋。 增加或刪除一個(gè)自變量或一條記錄，自變?cè)黾踊騽h除一個(gè)自變量或一條記錄，自變量回歸系數(shù)發(fā)生較大變化。量回歸系數(shù)發(fā)生較大變化。39容忍度容忍度: :若某變量的容忍度若某變量的容忍度0.10.1時(shí)，說(shuō)明該時(shí)，說(shuō)明該變量與其它變量存在嚴(yán)重的多重共線性。變量與其它變量存在嚴(yán)重的多重共線性。CoefficientsCoefficientsa a8.429.60713.893.000.126.096.1121.305.201.558