高級統(tǒng)計多元回歸

高級統(tǒng)計多元回歸第1頁，共26頁，2023年，2月20日，星期四1.回歸模型的擬合度第2頁，共26頁，2023年，2月20日，星期四簡單回歸從散點圖開始有助我們對變量間的關(guān)系有一個形象化的了解。如何對變量間的關(guān)系進行更準(zhǔn)確的描述？——

線性回歸畫出回歸線哪條直線是最優(yōu)擬合？第3頁，共26頁，2023年，2月20日，星期四回歸線擬合的程度怎樣？第4頁，共26頁，2023年，2月20日，星期四殘差從點到線的離差可代表擬合的程度（殘差）Residuals第5頁，共26頁，2023年，2月20日，星期四作回歸線使離差的平方和為最小離差=y觀測值-y預(yù)測值叫做Least-squaresregression回歸方程y=a+bxIGRAPH/VIEWNAME='Scatterplot'/X1=VAR(salbegin)TYPE=SCALE/Y=VAR(salary)TYPE=SCALE/COORDINATE=VERTICAL/FITLINEMETHOD=REGRESSIONLINEARLINE=TOTAL第6頁，共26頁，2023年，2月20日，星期四好的模型殘差很小R2=0.89第7頁，共26頁，2023年，2月20日，星期四一般的模型R2=0.35殘差較大第8頁，共26頁，2023年，2月20日，星期四差的模型R2=0.002這里的直線基本不能描述數(shù)據(jù)第9頁，共26頁，2023年，2月20日，星期四2.多元回歸的方法（method）第10頁，共26頁，2023年，2月20日，星期四多元回歸的方法（method）方法間的區(qū)別在于如何處理相關(guān)的自變量重疊部分的方差，即用何原則確定變量進入方程的次序標(biāo)準(zhǔn)回歸或同時回歸：Enter逐步回歸：Stepwise層次回歸：hierarchical第11頁，共26頁，2023年，2月20日，星期四標(biāo)準(zhǔn)回歸亦稱同時回歸（simultaneous）重疊部分對R2有貢獻，但不分配到任何一個自變量中與其他自變量重疊區(qū)域大的自變量的相對重要性可能被忽視第12頁，共26頁，2023年，2月20日，星期四逐步回歸：Stepwise在分析的每一階段，與因變量有最大偏相關(guān)的自變量被加在模型上。變式ForwardBackwardremove擬合度最優(yōu)，用于探索性回歸最好n>20IV慎推廣，須交互驗證

第13頁，共26頁，2023年，2月20日，星期四層次回歸：hierarchical研究者根據(jù)理論假設(shè)確定次序，定義block因果順序在前的，先進入方程欲考察的重要變量或者放在前，或放在最后應(yīng)選擇statistics…Rsquarechange第14頁，共26頁，2023年，2月20日，星期四3.多元回歸的數(shù)據(jù)要求第15頁，共26頁，2023年，2月20日，星期四多元回歸的數(shù)據(jù)要求（1）因變量應(yīng)為等距/等比型變量。在實際操作中，如果有足夠的水平，順序型變量也可。如果因變量是命名型，則須用判別分析或logisticregression。自變量應(yīng)為等距/等比型變量。在實際操作中，順序型變量也可。命名型若為2水平(dichotomies)可直接用。命名型若為多水平，可先轉(zhuǎn)換為dummyvariables。因變量與自變量的關(guān)系應(yīng)為線性。如果變量間關(guān)系是曲線的,但具單調(diào)性(遞增或遞減),可通過轉(zhuǎn)換達成線性。如果是U型線,需特殊轉(zhuǎn)換處理。盡管自變量間彼此可以有相關(guān),其相關(guān)不可接近完全線性。否則稱為multicollinearity。第16頁，共26頁，2023年，2月20日，星期四多元回歸的數(shù)據(jù)要求（2）被試數(shù)目與自變量數(shù)目的比率為10:1(根據(jù)不同情況在20:1至5:1的范圍中);被試數(shù)目>100沒有非常值（Outliers）沒有Multicollinearity第17頁，共26頁，2023年，2月20日，星期四多元回歸的統(tǒng)計前提3個前提：因變量殘差正態(tài)分布殘差與預(yù)測值呈線性關(guān)系在因變量預(yù)測值的所有水平上，殘差的方差相等散點圖：縱軸為因變量的預(yù)測值（ZPRED），橫軸為殘差（ZRESID）第18頁，共26頁，2023年，2月20日，星期四殘差圖殘差圖告訴我們回歸線在不同變量水平的擬合程度第19頁，共26頁，2023年，2月20日，星期四殘差圖提供的重要信息殘差的系統(tǒng)分布提示有未被解釋的系統(tǒng)性方差自變量增大時，殘差增大。變量間的關(guān)系不是線性的第20頁，共26頁，2023年，2月20日，星期四MulticollinearityStatistics...

Collinearitydiagnostics任何兩個自變量間的相關(guān)在.70以上，Collinearity就會出現(xiàn)。Tolerance<.5,提示Collinearity第21頁，共26頁，2023年，2月20日，星期四多重共線性的含義自變量之間高度相關(guān)，互相削弱了各自對y的邊際影響回歸方程整體顯著，但各個自變量都不顯著多重共線性的檢驗方程的確定系數(shù)很高，且y于各自變量的相關(guān)系數(shù)也很高，但自變量的回歸系數(shù)均不顯著兩個自變量情形時，自變量之間相關(guān)系數(shù)很高，多各自變量時，某一自變量可以被其他自變量線性表出方程的確定系數(shù)很高，但每一自變量的偏確定系數(shù)很小，說明變量之間可能存在高度的線性關(guān)系容限度(tolerance)、方差膨脹因子(VIF)多重共線性的解決辦法（對于樣本確定的情況）去掉與y相關(guān)程度較低，而與其他自變量高度相關(guān)的變量去掉可以被其余自變量線性表出的變量多重共線性及其解決辦法第22頁，共26頁，2023年，2月20日，星期四命名型轉(zhuǎn)換為dummyvariables新建n-1個dummyvariables，取0或1的值為避免multicollinearity，須去掉一個作為標(biāo)準(zhǔn)的變量,通常是頻次最多的

注意對缺失值的處理第23頁，共26頁，2023年，2月20日，星期四通過轉(zhuǎn)換生成線性關(guān)系因為線性回歸是處理數(shù)據(jù)的快捷方式如果數(shù)據(jù)是非線性的,有時會通過轉(zhuǎn)換生成線性關(guān)系Explore提供的散點圖可幫助識別有效的轉(zhuǎn)換方式中度正偏態(tài)---平方根轉(zhuǎn)換高度正偏態(tài)---對數(shù)轉(zhuǎn)換J型分布---倒數(shù)轉(zhuǎn)換負偏態(tài)---先以一常數(shù)減之，變?yōu)檎珣B(tài)第24頁，共26頁，2023年，2月20日，星期四4.報告回歸分析的結(jié)果第25頁，共26頁，2023年，2月20日，星期四回歸分析最基本的結(jié)果輸出所有自變量總共解釋多少方差?---R2adj.R2adj=1-(1-R2)(N-n-1)/(N-1)R2adj>75%很好;50-75%不錯;25-50%一般;<25%不夠

所有自變量總共與因變量有無顯著關(guān)聯(lián)?---F

虛無假設(shè)是所有自變量與因變量均無關(guān)聯(lián)。.當(dāng)其他自變量保持恒定時，每一自變量與因變量有什么樣的