經(jīng)典實(shí)用的spss課件 十二、多重線性回歸模型

1、多重線性回歸模型 內(nèi)容提要 模型簡(jiǎn)介 簡(jiǎn)單實(shí)例分析 逐步回歸 殘差分析 模型進(jìn)一步診斷與修正 小結(jié)模型簡(jiǎn)介 生活中發(fā)生的許多現(xiàn)象都不是獨(dú)立的，而是相互作用、相互影響的。一種結(jié)果的出現(xiàn)往往是多個(gè)因素、多個(gè)環(huán)節(jié)共同作用的結(jié)果。拋開(kāi)其他因素，僅考察其中一個(gè)影響因素對(duì)結(jié)果的影響，所得出的結(jié)論是片面的，甚至可能是錯(cuò)誤的。 本章所要討論的問(wèn)題是如何同時(shí)考慮多個(gè)因素對(duì)同一結(jié)果的影響。此時(shí)，因變量只有一個(gè)，也稱反響變量，常用y表示。自變量也稱解釋變量，有多個(gè)。模型簡(jiǎn)介 多重線性回歸模型其中，j是偏回歸系數(shù)Partial regression coefficient，它表示在其它自變量固定不變的情況下，Xj每改

2、變一個(gè)測(cè)量單位時(shí)所引起的應(yīng)變量Y的平均改變量，p為自變量的個(gè)數(shù)，為殘差，獨(dú)立服從 N0，2分布。 自變量與因變量之間存在線性關(guān)系，可以通過(guò)繪制“散點(diǎn)圖矩陣予以考察； 各觀測(cè)間相互獨(dú)立； 殘差服從正態(tài)分布； 方差齊性。模型簡(jiǎn)介應(yīng)用條件 多重線性回歸模型使用最小二乘法來(lái)解決方程的估計(jì)和檢驗(yàn)問(wèn)題。簡(jiǎn)單分析實(shí)例例1 為研究男性高血壓患者血壓與年齡、身高、體重等變量的關(guān)系，隨機(jī)測(cè)量了32名40歲以上男性的血壓y、年齡x1、體重指數(shù)x2, 試建立多重線性回歸方程。數(shù)據(jù)文件見(jiàn)mreg2.sav。簡(jiǎn)單分析實(shí)例初步分析初步分析：與簡(jiǎn)單線性回歸相類似，先繪制散點(diǎn)圖，以便在進(jìn)行回歸分析之前了解各變量之間是否存在線性

3、關(guān)系。本例有兩個(gè)自變量與一個(gè)反響變量，繪制散點(diǎn)圖矩陣，如下。 繪制散點(diǎn)圖矩陣簡(jiǎn)單分析實(shí)例初步分析簡(jiǎn)單分析實(shí)例簡(jiǎn)單分析實(shí)例簡(jiǎn)單分析實(shí)例結(jié)果分析 給出了自變量進(jìn)入模型的方式，此處尚未涉及變量篩選問(wèn)題，因?yàn)閮蓚€(gè)變量是被強(qiáng)行納入模型的Method為Enter，當(dāng)然就不存在剔除變量的事情了。簡(jiǎn)單分析實(shí)例結(jié)果分析 模型擬合優(yōu)度情況的檢驗(yàn)，結(jié)果顯示，復(fù)相關(guān)系數(shù)為0.840，決定系數(shù)為0.706，調(diào)整的決定系數(shù)為0.686，還輸出了剩余標(biāo)準(zhǔn)差。簡(jiǎn)單分析實(shí)例結(jié)果分析 回歸模型的假設(shè)檢驗(yàn)結(jié)果，顯示F34.808，P0.001，說(shuō)明所建立的回歸模型是有統(tǒng)計(jì)學(xué)意義的，至少有一個(gè)自變量的回歸系數(shù)不為0。簡(jiǎn)單分析實(shí)例結(jié)果

4、分析 給出了模型的常數(shù)項(xiàng)以及兩個(gè)自變量的偏回歸系數(shù)及其檢驗(yàn)結(jié)果，可以寫(xiě)出回歸方程如下：Y 54.798 +1.379x1 +4.513x2主要結(jié)果 SPSS 結(jié)果中輸出偏回歸系數(shù)的同時(shí)，也輸出了各自的標(biāo)準(zhǔn)偏回歸系數(shù)。年齡的標(biāo)準(zhǔn)化偏回歸系數(shù)為0.664，體重指數(shù)的標(biāo)準(zhǔn)化偏回歸系數(shù)為0.247，因此，可以認(rèn)為，年齡對(duì)血壓的影響比體重指數(shù)對(duì)血壓的影響大。簡(jiǎn)單分析實(shí)例結(jié)果分析例2 仍以例1的資料為例，試作逐步回歸分析。數(shù)據(jù)文件見(jiàn)mreg2.sav。逐步回歸逐步回歸逐步回歸逐步回歸 輸出SPSS在逐步回歸過(guò)程中擬合的步驟中，每一步引入模型的變量情況,此處只有一個(gè)變量引入。結(jié)果分析逐步回歸結(jié)果分析 分別輸

5、出擬合的模型中，擬合優(yōu)度情況的檢驗(yàn)結(jié)果：復(fù)相關(guān)系數(shù)、決定系數(shù)、調(diào)整的決定系數(shù)以及剩余標(biāo)準(zhǔn)差。本例只有一步，故結(jié)果很簡(jiǎn)單，僅擬合一個(gè)模型。逐步回歸結(jié)果分析 給出各個(gè)擬合模型的常數(shù)項(xiàng)以及各自變量的偏回歸系數(shù)、95可信區(qū)間及其檢驗(yàn)結(jié)果此處為僅有一步的結(jié)果。逐步回歸結(jié)果分析 給出擬合模型過(guò)程中被剔除的變量情況及其檢驗(yàn)結(jié)果此處為僅有一步。殘差分析非標(biāo)準(zhǔn)化殘差原始?xì)埐顦?biāo)準(zhǔn)化殘差Pearson殘差學(xué)生化殘差剔除殘差學(xué)生化剔除殘差 殘差種類殘差分析 模型適用條件的檢驗(yàn)因變量與自變量之間存在線性關(guān)系的檢驗(yàn)以例1為例：年齡殘差分析 模型適用條件的檢驗(yàn)因變量與自變量之間存在線性關(guān)系的檢驗(yàn)以例1為例：體重指數(shù)殘差分析

6、 模型適用條件的檢驗(yàn)獨(dú)立性的檢驗(yàn)通過(guò)Linear Regression過(guò)程的statistics按鈕中的Durbin-Watson檢驗(yàn)進(jìn)行判斷。假設(shè)自變量數(shù)少于4個(gè)，統(tǒng)計(jì)量接近2，根本上可以肯定殘差間相互獨(dú)立。仍以例1為例，結(jié)果如下 。殘差分析 模型適用條件的檢驗(yàn)方差齊性的檢驗(yàn)殘差分析 模型適用條件的檢驗(yàn)正態(tài)性的檢驗(yàn)繪制殘差的直方圖及PP圖的復(fù)選框殘差分析 模型適用條件的檢驗(yàn)正態(tài)性的檢驗(yàn)結(jié)果模型的進(jìn)一步診斷與修正 強(qiáng)影響點(diǎn)的識(shí)別1.殘差：以標(biāo)準(zhǔn)化殘差最常用。一般地，標(biāo)準(zhǔn)化殘差大于3時(shí)幾乎可以肯定該條記錄為強(qiáng)影響點(diǎn)。在Linear Regression過(guò)程中statistics按鈕提供了Case

7、wise diagnostics復(fù)選框用于在output窗口中輸出可能為強(qiáng)影響點(diǎn)的記錄編號(hào)和相關(guān)統(tǒng)計(jì)量。模型的進(jìn)一步診斷與修正仍以例2為例，沒(méi)有記錄標(biāo)準(zhǔn)化殘差大于3，可要求輸出2倍標(biāo)準(zhǔn)差以內(nèi)的殘差值，結(jié)果如下： 強(qiáng)影響點(diǎn)的識(shí)別模型的進(jìn)一步診斷與修正2.強(qiáng)影響點(diǎn)統(tǒng)計(jì)量：在SPSS中，可以通過(guò)Save子對(duì)話框中的Influence Statistics復(fù)選框，提供一系列用于強(qiáng)影響點(diǎn)識(shí)別的統(tǒng)計(jì)量此處略。 強(qiáng)影響點(diǎn)的識(shí)別 強(qiáng)影響點(diǎn)的處理模型的進(jìn)一步診斷與修正 考慮是否錄入錯(cuò)誤，如果是，予以改正；否那么予以刪除； 進(jìn)行穩(wěn)健回歸，如加權(quán)最小二乘法； 進(jìn)行非參數(shù)回歸等。 多重共線性的識(shí)別模型的進(jìn)一步診斷與修

8、正多重共線性：是指自變量間存在相關(guān)關(guān)系，即一個(gè)自變量可以用其他一個(gè)或幾個(gè)自變量的線性表達(dá)式進(jìn)行表示。有以下表現(xiàn)形式： 整個(gè)模型的方差分析結(jié)果為P ; 專業(yè)上認(rèn)為應(yīng)該有統(tǒng)計(jì)學(xué)意義的自變量檢驗(yàn)結(jié)果卻無(wú)統(tǒng)計(jì)學(xué)意義； 自變量的偏回歸系數(shù)取值大小甚至符號(hào)明顯與實(shí)際情況違背，難以解釋； 增加或刪除一條記錄或一個(gè)自變量，偏回歸系數(shù)發(fā)生很大變化。 多重共線性的識(shí)別模型的進(jìn)一步診斷與修正可以通過(guò)statistics 子對(duì)話框中的Collinearity Diagnostics 復(fù)選框予以實(shí)現(xiàn)。其中提供了以下統(tǒng)計(jì)量： 容忍度 方差膨脹因子 條件指數(shù) 變異構(gòu)成 多重共線性的識(shí)別例2分析結(jié)果模型的進(jìn)一步診斷與修正 多重共線性的處理模型的進(jìn)一步診斷與修正 逐步回歸當(dāng)共線性很?chē)?yán)重時(shí)，仍然不行 ； 嶺回歸為有偏估計(jì) ； 主成分回歸； 路徑分析。小 結(jié) 回歸模型的建立步驟回歸分析已經(jīng)被應(yīng)用的非常廣泛，作為一個(gè)嚴(yán)肅的統(tǒng)計(jì)學(xué)模型，它有著自己嚴(yán)格的適用條件，在擬合時(shí)需要不斷進(jìn)行這些適用條件的判斷。但是，許多使用者往往無(wú)視了這一點(diǎn)，只是把模型做完就好了。這不僅浪費(fèi)信息，更有可能得出錯(cuò)誤的結(jié)論。這里給出一個(gè)比較適宜的回歸分析操作步驟，供大家參考。小 結(jié) 回歸模型的建