第十二講多重線性回歸

1、中醫(yī)藥統(tǒng)計(jì)學(xué)與軟件應(yīng)用中醫(yī)藥統(tǒng)計(jì)學(xué)與軟件應(yīng)用 曹治清曹治清成都中醫(yī)藥大學(xué)管理學(xué)院成都中醫(yī)藥大學(xué)管理學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)教研室數(shù)學(xué)與統(tǒng)計(jì)教研室 2第第10講講 非參數(shù)檢驗(yàn)非參數(shù)檢驗(yàn) o概述概述o多重線性回歸的應(yīng)用以及注意事項(xiàng)多重線性回歸的應(yīng)用以及注意事項(xiàng)o多重線性回歸的電腦實(shí)驗(yàn)多重線性回歸的電腦實(shí)驗(yàn)3第第11講講 多重線性回歸多重線性回歸引言引言o 在醫(yī)藥研究中，應(yīng)變量的變化往往受到多個(gè)因素的影響，此時(shí)就需要用多重線性回歸（Multiple Linear Regression），多重線性回歸是直線回歸的擴(kuò)展。例如，人的體重與身高、胸圍有關(guān)；人的心率與年齡、體重、肺活量有關(guān)。因此，采用兩個(gè)或多個(gè)影響因

2、素作為自變量(Xi)來(lái)解釋應(yīng)變量(Y)的變化，建立最優(yōu)組合模型來(lái)預(yù)測(cè)或估計(jì)因變量，比只用一個(gè)自變量進(jìn)行預(yù)測(cè)或估計(jì)更有效，更符合實(shí)際。4第一節(jié)第一節(jié) 多重線性回歸多重線性回歸 一、一、多重線性回歸模型多重線性回歸模型 Y01X12X2mXme 二、多二、多重重線性回歸的基本條件線性回歸的基本條件 o多重線性回歸模型的應(yīng)用條件同直線回歸，即線性多重線性回歸模型的應(yīng)用條件同直線回歸，即線性（linearitylinearity）、獨(dú)立性（）、獨(dú)立性（indepen-dencyindepen-dency）、正態(tài)性和方差）、正態(tài)性和方差齊性（齊性（normal distribution and equa

3、l variancenormal distribution and equal variance）等條件，）等條件，簡(jiǎn)記簡(jiǎn)記LINELINE。還要注意個(gè)自變量間不能存在多重共線性。還要注意個(gè)自變量間不能存在多重共線性。mmXbXbXbbY.221105三、多重線性回歸分析的步驟6四、多重共線性問(wèn)題四、多重共線性問(wèn)題 如果一些自變量之間存在較強(qiáng)的線性關(guān)系，稱如果一些自變量之間存在較強(qiáng)的線性關(guān)系，稱多重共線性。判斷多重共線有相關(guān)系數(shù)、容忍度、多重共線性。判斷多重共線有相關(guān)系數(shù)、容忍度、方差膨脹因子等指標(biāo)。方差膨脹因子等指標(biāo)。 一般來(lái)說(shuō)，相關(guān)系數(shù)一般來(lái)說(shuō)，相關(guān)系數(shù)r0.8的變量可能存在共線的變量可能

4、存在共線問(wèn)題，問(wèn)題，r0.9的變量存在共線。的變量存在共線。 容忍度容忍度=1R2，愈小說(shuō)明共線問(wèn)題愈嚴(yán)重，如，愈小說(shuō)明共線問(wèn)題愈嚴(yán)重，如果某個(gè)自變量的容忍度果某個(gè)自變量的容忍度0.1，共線問(wèn)題嚴(yán)重。，共線問(wèn)題嚴(yán)重。 方差膨脹因子方差膨脹因子 = 容忍度的倒數(shù)，愈大說(shuō)明共線容忍度的倒數(shù)，愈大說(shuō)明共線問(wèn)題愈嚴(yán)重。問(wèn)題愈嚴(yán)重。 消除多重共線性的方法有多種，如嶺回歸、主消除多重共線性的方法有多種，如嶺回歸、主成分回歸等。成分回歸等。7五、多重回歸的樣本含量五、多重回歸的樣本含量 只要例數(shù)只要例數(shù)n多于自變量個(gè)數(shù)多于自變量個(gè)數(shù)m即可，一般要求即可，一般要求n為為m的的5倍以上。倍以上。 六、多重回歸的

5、檢驗(yàn)六、多重回歸的檢驗(yàn) 多元線性回歸方程的假設(shè)檢驗(yàn)：對(duì)整個(gè)方程多元線性回歸方程的假設(shè)檢驗(yàn)：對(duì)整個(gè)方程的綜合檢驗(yàn)，即對(duì)回歸方程的線性假設(shè)檢驗(yàn)；對(duì)的綜合檢驗(yàn)，即對(duì)回歸方程的線性假設(shè)檢驗(yàn)；對(duì)每一個(gè)自變量的檢驗(yàn)，即對(duì)每個(gè)偏回歸系數(shù)的假設(shè)每一個(gè)自變量的檢驗(yàn)，即對(duì)每個(gè)偏回歸系數(shù)的假設(shè)檢驗(yàn)。檢驗(yàn)。 8 回歸方程的方差分析回歸方程的方差分析?；厥；厥；豐SmSSmnmnSSmSSMSMSF) 1() 1/(/112mnSSsmY剩剩余標(biāo)準(zhǔn)差剩余標(biāo)準(zhǔn)差 剩余標(biāo)準(zhǔn)差的平方是殘差的方差，又稱均方誤剩余標(biāo)準(zhǔn)差的平方是殘差的方差，又稱均方誤差，記為差，記為MSE，其值越小越好，其值越小越好 （2） 偏回歸系數(shù)的假設(shè)檢驗(yàn)

6、偏回歸系數(shù)的假設(shè)檢驗(yàn) 分別考察每一個(gè)自變量分別考察每一個(gè)自變量 xi 與應(yīng)變量與應(yīng)變量 Y 是否都有是否都有直線回歸關(guān)系直線回歸關(guān)系 9R2SS回回 /SS總總 校正決定系數(shù)是衡量方校正決定系數(shù)是衡量方程好壞的常用指標(biāo)之一程好壞的常用指標(biāo)之一 總剩MSMSRad12YYiiiillbb/七、決定系數(shù)七、決定系數(shù)八、標(biāo)準(zhǔn)化偏回歸系數(shù)八、標(biāo)準(zhǔn)化偏回歸系數(shù) 10九、殘差分析九、殘差分析 1112o 資料不滿足其條件時(shí)，常用的處理方法有：修改模型或者采用曲線擬合；變量變換，常用的變量變換有對(duì)數(shù)變換、平方根變換、倒數(shù)變換等。變量變換對(duì)自變量或（和）應(yīng)變量均適宜；如果方差不齊，可采用加權(quán)最小二乘法估計(jì)偏回

7、歸系數(shù)。 13 （1）分析因素的相對(duì)重要性，找出對(duì)因變量最）分析因素的相對(duì)重要性，找出對(duì)因變量最大的關(guān)鍵因素。大的關(guān)鍵因素。 （2）同時(shí)調(diào)整多個(gè)混雜因素的作用（類似多元）同時(shí)調(diào)整多個(gè)混雜因素的作用（類似多元協(xié)方差分析調(diào)整多個(gè)混雜因素的作用）。協(xié)方差分析調(diào)整多個(gè)混雜因素的作用）。 （3）估計(jì)與預(yù)測(cè)，用較易測(cè)量的多個(gè)自變量來(lái)）估計(jì)與預(yù)測(cè)，用較易測(cè)量的多個(gè)自變量來(lái)估計(jì)難以測(cè)得應(yīng)變量總體均數(shù)估計(jì)難以測(cè)得應(yīng)變量總體均數(shù)Y或預(yù)測(cè)個(gè)體或預(yù)測(cè)個(gè)體Y值。值。 （4）多重回歸分析是進(jìn)一步學(xué)習(xí)）多重回歸分析是進(jìn)一步學(xué)習(xí)logistic回歸、回歸、判別分析、判別分析、 主成分分析、主成分分析、 因子分析等多元統(tǒng)計(jì)分析

8、因子分析等多元統(tǒng)計(jì)分析方法的基礎(chǔ)。方法的基礎(chǔ)。 十一、十一、篩篩選自變量方法選自變量方法十、多元回歸分析的應(yīng)用十、多元回歸分析的應(yīng)用 14 （1）全局擇優(yōu)法：）全局擇優(yōu)法：m 個(gè)自變量的不同組合共有個(gè)自變量的不同組合共有 2m-1 種，分別建立回歸方程進(jìn)行比較后擇優(yōu)。擇優(yōu)種，分別建立回歸方程進(jìn)行比較后擇優(yōu)。擇優(yōu)的準(zhǔn)則有多種，準(zhǔn)則不同，的準(zhǔn)則有多種，準(zhǔn)則不同，篩篩選的結(jié)果可能不同。選的結(jié)果可能不同。如果用最大校正決定系數(shù)準(zhǔn)則，則挑選校正決定系如果用最大校正決定系數(shù)準(zhǔn)則，則挑選校正決定系數(shù)數(shù)R2a最大者來(lái)獲得最大者來(lái)獲得“最優(yōu)子集最優(yōu)子集”的回歸方程。的回歸方程。SPSS為為Enter法。法。 （

9、2）逐步逐步選擇選擇法法： 備選自變量較多時(shí)，全局擇備選自變量較多時(shí)，全局擇優(yōu)的計(jì)算量非常大，優(yōu)的計(jì)算量非常大， 用用逐步逐步回歸回歸法法選擇可減少計(jì)算選擇可減少計(jì)算量。常用逐步（量。常用逐步（Stepwise）、向前（）、向前（Forward）、向）、向后（后（Backward）法。向后法考慮了自變量的組合作）法。向后法考慮了自變量的組合作用，但變量數(shù)不能太多。用，但變量數(shù)不能太多。3種逐步回歸方法選中的自種逐步回歸方法選中的自變量不一定相同。變量不一定相同。 逐步回歸得到只是局部最優(yōu)逐步回歸得到只是局部最優(yōu)，不，不一定是全局最優(yōu)回歸方程。一定是全局最優(yōu)回歸方程。 15 將自變量的交互項(xiàng)引入

10、方程進(jìn)行檢驗(yàn)分析。將自變量的交互項(xiàng)引入方程進(jìn)行檢驗(yàn)分析。 十二、自變量間交互作用的分析十二、自變量間交互作用的分析 【例例17-1】 大白鼠作受試對(duì)象，分析烏頭堿不大白鼠作受試對(duì)象，分析烏頭堿不同注射速度同注射速度x1、?？┻牟煌瑒┝俊⒊？┻牟煌瑒┝縳2，大鼠體重，大鼠體重 x3與應(yīng)變量延緩心律失常發(fā)生的時(shí)間與應(yīng)變量延緩心律失常發(fā)生的時(shí)間Y的關(guān)系。的關(guān)系。編編號(hào)號(hào)123456789101112131415X14.85.67.14.92.66.65.25.54.76.85.42.94.03.13.1X20.080.070.010.070.110.110.070.110.030.010.020

11、.210.010.110.10X3230260252229220247233222206244222226234212212Y19.115.714.919.020.917.519.221.820.514.518.623.216.822.721.916 【SPSS操作操作】 以以X1、X2、X3、Y為變量名建立數(shù)據(jù)文件為變量名建立數(shù)據(jù)文件L17-1.SAV。 Data ViewVariable View17AnalyzeRegressionLinear.Y選選Dependent框、框、X1、X2、X3選選Independent框框。 Method框選框選Stepwise。18Model Summ

12、aryModel Summary.820a.673.6481.6533.986b.972.968.5019Model12RR SquareAdjustedR SquareStd. Error ofthe EstimatePredictors: (Constant), 大鼠體重a. Predictors: (Constant), 大鼠體重, ?？┻鴦┝縝. 校正決校正決定系數(shù)定系數(shù)R2a= 0.968，擬，擬合效果好。合效果好。 A AN NO OV VA Ac c73.041173.04126.720.000a35.536132.734108.57714105.555252.777209.53

13、9.000b3.02212.252108.57714RegressionResidualTotalRegressionResidualTotalModel12Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), 大鼠體重a. Predictors: (Constant), 大鼠體重, ?？┻鴦┝縝. Dependent Variable: 延緩心律失常時(shí)間c. 第第2步回歸的步回歸的F=209.539，P=0.000，故，故線性回歸模線性回歸模型有統(tǒng)計(jì)學(xué)型有統(tǒng)計(jì)學(xué)意義。意義。19C Co oe ef ff fi ic ci ie en n

14、t ts sa a52.9736.5698.064.00038.78167.165-.147.029-.820-5.169.000-.209-.0861.0001.00045.1102.11121.371.00040.51049.709-.123.009-.682-13.729.000-.142-.103.9401.06428.8442.539.56411.362.00023.31234.375.9401.064(Constant)大鼠體重(Constant)大鼠體重常咯啉劑量Model12BStd. ErrorUnstandardizedCoefficientsBetaStandardize

15、dCoefficientstSig.Lower BoundUpper Bound95% Confidence Interval for BToleranceVIFCollinearity StatisticsDependent Variable: 延緩心律失常時(shí)間a. 共線性診斷大鼠體重和?？┻鴦┝康娜萑潭榷紴楣簿€性診斷大鼠體重和?？┻鴦┝康娜萑潭榷紴?.940, 方差膨脹因子都為方差膨脹因子都為1.064, 可認(rèn)為不存在共線可認(rèn)為不存在共線問(wèn)題。建立線性回歸方程為問(wèn)題。建立線性回歸方程為 Y=45.110+28.844?？┻鴦┝砍？┻鴦┝?.123大鼠體重大鼠體重 大鼠體重、?？┻鴦┝康臉?biāo)準(zhǔn)

16、回歸系數(shù)分別為大鼠體重、常咯啉劑量的標(biāo)準(zhǔn)回歸系數(shù)分別為 -0.682、0.564。可見(jiàn)對(duì)延緩心律失常時(shí)間影響的重。可見(jiàn)對(duì)延緩心律失常時(shí)間影響的重要性大鼠體重大于?？┻鴦┝?。要性大鼠體重大于?？┻鴦┝?。 20因主要考察因素因主要考察因素x1未進(jìn)入方程，分析未進(jìn)入方程，分析自變量間的交互作自變量間的交互作用，用， Transform Compute，計(jì)算，計(jì)算X12、X13、X23。將將X1,*,X2送送Numeric Expression,X12送送Target Variable21Transform Compute，計(jì)算，計(jì)算X12、X13、X23。22用原變量連用原變量連同交互作用同交互作用

17、變量建立回變量建立回歸方程歸方程: X12、X13、X23送送IndependentMethod選選EnterOK233個(gè)變量個(gè)變量3個(gè)交互作用變量共個(gè)交互作用變量共6個(gè)自變量，不同組合個(gè)自變量，不同組合有有26-1=63種，種，Method框選框選Ente，建立的，建立的63個(gè)回歸方個(gè)回歸方程中，程中，R2a= 0.980最大最大M Mo od de el l S Su um mm ma ar ry y.990a.980.964.5274Model1RR SquareAdjusted RSquareStd. Error ofthe EstimatePredictors: (Constant)

18、, X23, 大鼠體重, 烏頭堿注射速度, X12, X13, 常咯啉劑量a. A AN NO OV VA Ab b106.352617.72563.724.000a2.2258.278108.57714RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), X23, 大鼠體重, 烏頭堿注射速度, X12, X13, ?？┻鴦┝縜. Dependent Variable: 延緩心律失常時(shí)間b. 方差分析方差分析F值值63.724,方程有統(tǒng)計(jì)學(xué)意義方程有統(tǒng)計(jì)學(xué)意義24C Co oe e

19、f ff fi ic ci ie en nt ts sa a28.79314.7151.957.0861.7952.373.928.756.471130.89177.3942.5611.691.129-.048.065-.266-.740.4803.1882.353.2421.355.212-.009.010-1.207-.848.421-.502.358-2.213-1.400.199(Constant)烏頭堿注射速度常咯啉劑量大鼠體重X12X13X23Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficient

20、stSig.Dependent Variable: 延緩心律失常時(shí)間a. 最優(yōu)方程：最優(yōu)方程：Y=28.793+1.795x1+130.891x2-0.048x3+3.188 x12-0.009 x13-0.502x23。x2標(biāo)化系數(shù)標(biāo)化系數(shù)=2.561 最大，常咯啉劑量對(duì)延緩心律失常發(fā)生時(shí)間最大，?？┻鴦┝繉?duì)延緩心律失常發(fā)生時(shí)間作用最大。作用最大。x23標(biāo)化偏回歸系數(shù)標(biāo)化偏回歸系數(shù)=-2.213絕對(duì)值第二大絕對(duì)值第二大，?？┻鴦┝颗c大鼠體重的交互效應(yīng)對(duì)延緩心律失，?？┻鴦┝颗c大鼠體重的交互效應(yīng)對(duì)延緩心律失常發(fā)生時(shí)間產(chǎn)生負(fù)面影響不可勿視。常發(fā)生時(shí)間產(chǎn)生負(fù)面影響不可勿視。25 （1）二分類自變量

21、二分類自變量常采用常采用0、1賦值賦值方法。如，方法。如，用用X代表性別：代表性別：X=0為女，為女，X=1為男，或者用為男，或者用X=1為為女，女，X=0為男。為男。 十三、分類變量賦值方法十三、分類變量賦值方法 （2）指標(biāo)為無(wú)序）指標(biāo)為無(wú)序 k類，類，定義定義k-1個(gè)二分類啞變量個(gè)二分類啞變量。例。例如，如， 中醫(yī)治崩漏，分腎虛、中醫(yī)治崩漏，分腎虛、肝虛、肝郁、血虛肝虛、肝郁、血虛4型，只型，只要用要用 3 個(gè)個(gè)二分類變量二分類變量X1，X2，X3就能標(biāo)記這就能標(biāo)記這4個(gè)類別。個(gè)類別。 崩漏分型崩漏分型X1X2X3腎腎虛型虛型100肝虛型肝虛型010肝郁型肝郁型001血虛型血虛型00026

22、， 其它腎虛型011X其它肝虛型012X其它肝郁型013X（3）有序分類變量數(shù)量化方法：）有序分類變量數(shù)量化方法：對(duì)等級(jí)根據(jù)級(jí)對(duì)等級(jí)根據(jù)級(jí)別別大小進(jìn)行量化大小進(jìn)行量化后按連續(xù)變量處理后按連續(xù)變量處理。例如，用。例如，用X1，2，3分別為表示病情分別為表示病情輕輕，中中，重重。用無(wú)序多分用無(wú)序多分類變量設(shè)置類變量設(shè)置啞啞變量的方法變量的方法。采用哪種方法更好要視。采用哪種方法更好要視具體情況而定。具體情況而定。 第二節(jié)第二節(jié) 多元相關(guān)分析多元相關(guān)分析 一、多元相關(guān)分析的統(tǒng)計(jì)量一、多元相關(guān)分析的統(tǒng)計(jì)量 271. 簡(jiǎn)單相關(guān)系數(shù)簡(jiǎn)單相關(guān)系數(shù) rij，簡(jiǎn)記為，簡(jiǎn)記為r 2. 偏相關(guān)系數(shù)偏相關(guān)系數(shù)偏相關(guān)系

23、數(shù)偏相關(guān)系數(shù)rij表示其他變量固定不變條件下，變表示其他變量固定不變條件下，變量量Xi與與Xj之間相關(guān)程度與方向的真實(shí)情況之間相關(guān)程度與方向的真實(shí)情況 3. 復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)R是多個(gè)自變量共同對(duì)因變量直線相關(guān)是多個(gè)自變量共同對(duì)因變量直線相關(guān)程度的統(tǒng)計(jì)指標(biāo)，是相關(guān)與回歸聯(lián)系起來(lái)的統(tǒng)計(jì)量程度的統(tǒng)計(jì)指標(biāo)，是相關(guān)與回歸聯(lián)系起來(lái)的統(tǒng)計(jì)量 28二、多元相關(guān)的假設(shè)檢驗(yàn)二、多元相關(guān)的假設(shè)檢驗(yàn) 【例例17-2】 用表用表17-1資料計(jì)算烏頭堿注射速度資料計(jì)算烏頭堿注射速度x1、?？┻鴦┝砍？┻鴦┝縳2、大鼠體重、大鼠體重x3對(duì)延緩心律失常發(fā)生時(shí)對(duì)延緩心律失常發(fā)生時(shí)間間Y的影響的影響4個(gè)變

24、量的簡(jiǎn)單相關(guān)系數(shù)、偏相關(guān)系數(shù)，個(gè)變量的簡(jiǎn)單相關(guān)系數(shù)、偏相關(guān)系數(shù)，并作假設(shè)檢驗(yàn)。并作假設(shè)檢驗(yàn)。 【SPSS操作操作】文件文件L17-1.sav Analyze CorrelatePartial，29x1、Y選入選入Variables框，框，x2、x3選入選入Controlling for框框,Options, 選選 Zero-order correlations，Continue，OK。30CorrelationsCorrelations1.000-.779-.555.684.001.032.0050131313-.7791.000.731-.820.001.002.0001301313-.55

25、5.7311.000-.245.032.002.3791313013.684-.820-.2451.000.005.000.379.13131301.000.010.975011.0101.000.975.110CorrelationSignificance (2-tailed)dfCorrelationSignificance (2-tailed)dfCorrelationSignificance (2-tailed)dfCorrelationSignificance (2-tailed)dfCorrelationSignificance (2-tailed)dfCorrelationSig

26、nificance (2-tailed)df烏頭堿注射速度延緩心律失常時(shí)間?？┻鴦┝看笫篌w重烏頭堿注射速度延緩心律失常時(shí)間Control Variables-none-a?？┻鴦┝?& 大鼠體重烏頭堿注射速度延緩心律失常時(shí)間常咯啉劑量大鼠體重Cells contain zero-order (Pearson) correlations.a. 輸出結(jié)果：如圖輸出結(jié)果：如圖17-5，延緩心律失常時(shí)間延緩心律失常時(shí)間和和烏頭堿注烏頭堿注射速度射速度的簡(jiǎn)單相關(guān)系數(shù)的簡(jiǎn)單相關(guān)系數(shù)= -0.779，雙側(cè)，雙側(cè)P=0.001；延緩延緩心律失常時(shí)間心律失常時(shí)間和和大鼠體重大鼠體重的簡(jiǎn)單相關(guān)系數(shù)的簡(jiǎn)單相關(guān)系數(shù)= -0.820，P=0.000；等。；等。 31如將如將 “Controlling for”框的固定變量換為框的固定變量換為烏頭堿烏頭堿注射速度注射速度和和?？┻鴦┝砍？┻鴦┝?，將，將延緩心律失常