多重線性回歸

多重線性回歸第一頁，共六十頁，編輯于2023年，星期日

人的體重與身高、胸圍血壓值與年齡、性別、勞動強度、飲食習慣、吸煙狀況、家族史糖尿病人的血糖與胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂射頻治療儀定向治療腦腫瘤過程中，腦皮質(zhì)的毀損半徑與輻射的溫度、與照射的時間例子第二頁，共六十頁，編輯于2023年，星期日表15－132例40歲以上男性的年齡、吸煙、體重指數(shù)與收縮壓第三頁，共六十頁，編輯于2023年，星期日多元回歸分析數(shù)據(jù)格式第四頁，共六十頁，編輯于2023年，星期日第一節(jié)多元線性回歸模型一、回歸模型簡介第五頁，共六十頁，編輯于2023年，星期日（一）多元線性回歸模型的一般形式

第六頁，共六十頁，編輯于2023年，星期日兩自變量與應變量的散點圖第七頁，共六十頁，編輯于2023年，星期日兩自變量與應變量的擬合面bj

為xj方向的斜率第八頁，共六十頁，編輯于2023年，星期日（二）多元線性回歸分析的一般步驟

第九頁，共六十頁，編輯于2023年，星期日二、采用最小二乘法

建立多元線性回歸方程第十頁，共六十頁，編輯于2023年，星期日第十一頁，共六十頁，編輯于2023年，星期日第十二頁，共六十頁，編輯于2023年，星期日表15－1有三個自變量第十三頁，共六十頁，編輯于2023年，星期日表15－1有三個自變量第十四頁，共六十頁，編輯于2023年，星期日SAS軟件輸出結(jié)果

ParameterEstimates

ParameterStandardStandardizedVariableDFEstimateErrortValuePr>|t|EstimateIntercept142.788789.881594.330.00020x111.431840.310574.61<.00010.68980x219.490432.421743.920.00050.33641x315.839084.287541.360.18410.20293分別為參數(shù)估計值b0、b1、b2、b328第十五頁，共六十頁，編輯于2023年，星期日SAS軟件輸出結(jié)果dataa;inputnoyx1-x3;cards;1 135 45 0 2.8762 122 41 0 3.251。。。31 152 62 0 3.96232 164 65 0 4.01;proc

reg;modely=x1-x2/stb;run;第十六頁，共六十頁，編輯于2023年，星期日第二節(jié)回歸方程的假設檢驗與評價

一、回歸方程的假設檢驗二、偏回歸系數(shù)的假設檢驗三、有關(guān)評價指標

第十七頁，共六十頁，編輯于2023年，星期日一、回歸方程的方差分析

（H0：所有總體回歸系數(shù)bj為0）

AnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel35052.618281684.2060936.58<.0001Error281289.2567246.04488CorrectedTotal316341.87500第十八頁，共六十頁，編輯于2023年，星期日有關(guān)計算公式第十九頁，共六十頁，編輯于2023年，星期日有關(guān)計算公式X2X1YModelSSTotalSSResidualSS第二十頁，共六十頁，編輯于2023年，星期日二、各回歸系數(shù)的t檢驗

ParameterStandardStandardizedVariableDFEstimateErrortValuePr>|t|Estimate

變量自由度回歸系數(shù)標準誤t值P值標準化回歸系數(shù)

Intercept2842.788789.881594.330.00020x1281.431840.310574.61<.00010.68980x2289.490432.421743.920.00050.33641x3285.839084.287541.360.18410.20293第二十一頁，共六十頁，編輯于2023年，星期日標準化回歸系數(shù)（可說明各自變量相對貢獻大小）

變量回歸系數(shù)bj標準化回歸系數(shù)b’jljj標準差S常數(shù)項42.788780.00000X11.431840.689801471.8756.890561X29.490430.336417.9690.507007X35.839080.202937.6600.497078Y6341.87514.30303第二十二頁，共六十頁，編輯于2023年，星期日三、有關(guān)評價指標

(軟件有關(guān)結(jié)果)RootMSE（剩余標準差）6.7856

R-Square（決定系數(shù)）0.7967AdjR-Sq（校正決定系數(shù)）0.7749DependentMean應變量Y的均值＝144.43750第二十三頁，共六十頁，編輯于2023年，星期日1.剩余標準差（RootMSE）反映了回歸方程的精度，其值越小說明回歸效果越好

第二十四頁，共六十頁，編輯于2023年，星期日2.決定系數(shù)

（determinationcoefficient）說明所有自變量能解釋Y變異的百分比。取值（0，1），越接近1模型擬合越好

第二十五頁，共六十頁，編輯于2023年，星期日3.復相關(guān)系數(shù)

（multiplecorrelation

coefficient）說明所有自變量與Y間的線性相關(guān)程度。即與Y間的相關(guān)程度。如果只有一個自變量，此時

第二十六頁，共六十頁，編輯于2023年，星期日4.校正決定系數(shù)（Adjusteddeterminationcoefficient）

第二十七頁，共六十頁，編輯于2023年，星期日5.偏回歸平方和（sumofsquaresforpartialregression）及其F檢驗

在其它自變量存在于回歸方程中的條件下，考察某一自變量Xj對應變量Y的回歸效應

；j=1,2,…,p

第二十八頁，共六十頁，編輯于2023年，星期日

FullModelReducedModel第二十九頁，共六十頁，編輯于2023年，星期日實例計算第三十頁，共六十頁，編輯于2023年，星期日第四節(jié)自變量的選擇一、全局擇優(yōu)法

二、逐步回歸法

第三十一頁，共六十頁，編輯于2023年，星期日一、全局擇優(yōu)法根據(jù)一些準則（criterion）建立“最優(yōu)”回歸模型校正決定系數(shù)（考慮了自變量的個數(shù)）Cp準則（C即criterion，p為所選模型中變量的個數(shù)；Cp接近（p+1）模型為最優(yōu)）AIC(Akaike’sInformationCriterion)準則；AIC越小越好第三十二頁，共六十頁，編輯于2023年，星期日第三節(jié)模型的變量篩選根據(jù)一些準則（criterion）建立“最優(yōu)”回歸模型校正決定系數(shù)（考慮了自變量的個數(shù)）Cp準則（C即criterion，p為所選模型中變量的個數(shù)；Cp接近（p+1）模型為最優(yōu)）AIC(Akaike’sInformationCriterion)準則；AIC越小越好第三十三頁，共六十頁，編輯于2023年，星期日(一)校正決定系數(shù)（Adjusteddeterminationcoefficient）

第三十四頁，共六十頁，編輯于2023年，星期日（二）Cp準則的計算公式第三十五頁，共六十頁，編輯于2023年，星期日（三）AIC準則的計算公式第三十六頁，共六十頁，編輯于2023年，星期日1.全局擇優(yōu)法

求出所有可能的回歸模型（共有2m－1個）對應的準則值；按上述準則選擇最優(yōu)模型第三十七頁，共六十頁，編輯于2023年，星期日SAS獲得的幾個準則值結(jié)果

ADJRSQCPAIC

ADJRSQCPAICx2x3x40.54563440.343x2x30.40748346.66x1x2x3x40.52823542.157x1x30.37522348.091x1x3x40.48797443.568x40.34653248.405x1x2x40.44683445.655x10.28443250.857x1x40.44137345.07x1x20.27478352.116x2x40.4395345.16x30.23063252.814x3x40.43542345.356x20.17864254.579x1x2x30.40756447.507

第三十八頁，共六十頁，編輯于2023年，星期日全局擇優(yōu)法的局限性

如果自變量個數(shù)為4，則所有的回歸模型有24－1＝15個；當自變量數(shù)個數(shù)為10時，所有可能的回歸為210－1＝1023個；……；當自變量數(shù)個數(shù)為50時，所有可能的回歸為250－1≈1015個。第三十九頁，共六十頁，編輯于2023年，星期日2.逐步選擇法

1.前進法（forwardselection）2.后退法（backwardelimination）3.逐步回歸法（stepwiseregression）

它們的共同特點是每一步只引入或剔除一個自變量。決定引入或剔除基于對偏回歸平方和的F檢驗第四十頁，共六十頁，編輯于2023年，星期日（一）前進法

自變量從無到有、從少到多

Y對每一個自變量作直線回歸，對回歸平方和最大的自變量作F檢驗，有意義（P?。﹦t引入。在此基礎上，計算其它自變量的偏回歸平方和，選取偏回歸平方和最大者作F檢驗，…。

局限性：即后續(xù)變量的引入可能會使先進入方程的自變量變得不重要。第四十一頁，共六十頁，編輯于2023年，星期日（二）后退法

先將全部自變量放入方程，然后逐步剔除

偏回歸平方和最小的變量，作F檢驗及相應的P值，決定它是否剔除（P大）

。建立新的回歸方程。重復上述過程。

局限性：自變量高度相關(guān)時，可能得不出正確的結(jié)果

。第四十二頁，共六十頁，編輯于2023年，星期日（三）逐步回歸法

雙向篩選；引入有意義的變量（前進法），剔除無意義變量（后退法）小樣本檢驗水準a定為0.10或0.15，大樣本把值定為0.05。值越小表示選取自變量的標準越嚴。注意，引入變量的檢驗水準要小于或等于剔除變量的檢驗水準。第四十三頁，共六十頁，編輯于2023年，星期日第四節(jié)多元線性回歸的應用及其注意事項第四十四頁，共六十頁，編輯于2023年，星期日一、應用影響因素分析，控制混雜因素預測：由自變量值推出應變量Y的值控制：指定應變量Y的值查看自變量的改變量第四十五頁，共六十頁，編輯于2023年，星期日二、應用條件第四十六頁，共六十頁，編輯于2023年，星期日三、應用的注意事項（一）變量的數(shù)量化

（二）樣本含量

（三）統(tǒng)計“最優(yōu)”與專業(yè)的“最優(yōu)”

（四）多重共線性

（五）交互作用

（六）殘差圖

（七）偏相關(guān)系數(shù)

第四十七頁，共六十頁，編輯于2023年，星期日（一）變量的數(shù)量化（1）自變量為連續(xù)型變量(必要時作變換)（2）自變量為有序變量(依次賦值，如療效好中差，可分別賦值3、2、1)（3）自變量為二分類(可令男＝1，女＝0）（4）自變量為名義分類（需要采用啞變量（dummyvariables）進行編碼）第四十八頁，共六十頁，編輯于2023年，星期日名義分類變量的啞變量化假如職業(yè)分類為工、農(nóng)、商、學、兵5類，則可定義比分類數(shù)少1個，即4個啞變量。編碼方法如下：第四十九頁，共六十頁，編輯于2023年，星期日舉例

姓名性別sex年齡職業(yè)(J)J1J2J3J4張山男119學生0001李四女025商人0010王五男130軍人0000趙六女040農(nóng)民0100錢七女036工人1000孫八男130商人0010劉九男126軍人0000注意：1.啞變量是同時存在，其統(tǒng)計學意義是相對而言的。2.啞變量有無意義可采用加與不加入啞變量的偏回歸平方和F檢驗確定。第五十頁，共六十頁，編輯于2023年，星期日（二）樣本含量觀察個體數(shù)n與變量個數(shù)m的比例一般至少應為：觀察個體n：變量m

＝5～10第五十一頁，共六十頁，編輯于2023年，星期日（三）統(tǒng)計“最優(yōu)”與專業(yè)的“最優(yōu)”不同準則、方法得出的“最優(yōu)”方程不同；不同的引入、剔除標準獲得的“最優(yōu)”方程不同；方程還受數(shù)據(jù)的正確性、共線性影響第五十二頁，共六十頁，編輯于2023年，星期日（四）多重共線性自變量間存在著相關(guān)關(guān)系，使一個或幾個自變量可以由另外的自變量線性表示時，稱為該變量與另外的自變量間存在有共線性(collinearity)。xxxxxxxxxxxxxX1X2Y第五十三頁，共六十頁，編輯于2023年，星期日多重共線性的識別與解決辦法篩選自變量用主成分回歸嶺回歸回歸系數(shù)的符號與專業(yè)知識不符變量的重要性與專業(yè)不符R2高，但各自變量對應的回歸系數(shù)均不顯著。方差膨脹因子（VarianceInflationFactors，VIF)>10第五十四頁，共六十頁，編輯于2023年，星期日（五）交互作用

當某一自變量對應變量的作用大小與另一個自變量的取值有關(guān)時，則表