社會(huì)統(tǒng)計(jì)分析方法（第二版） 課件 第二章 多元線性回歸

第二章多元線性回歸多元線性回歸（ｍｕｌｔｉｐｌｅｌｉｎｅａｒｒｅｇｒｅｓｓｉｏｎ）是分析一個(gè)隨機(jī)變量與多個(gè)變量之間線性關(guān)系的最常用的統(tǒng)計(jì)方法。實(shí)際工作中，常常希望知道所關(guān)心的事物受哪些因素的影響，比如銷售量與價(jià)格和廣告費(fèi)的關(guān)系、農(nóng)業(yè)產(chǎn)量與原料和氣候的關(guān)系、生育水平與教育水平和經(jīng)濟(jì)水平的關(guān)系、物價(jià)與失業(yè)率的關(guān)系、收入與受教育程度和年齡的關(guān)系等等。多元線性回歸用觀察數(shù)據(jù)擬合所關(guān)注的變量和影響它變化的變量之間的線性關(guān)系式，檢驗(yàn)影響變量的顯著程度和比較它們的作用大小，進(jìn)而用兩個(gè)或多個(gè)變量的變化解釋和預(yù)測(cè)另一個(gè)變量的變化。概括地說(shuō)，回歸分析要解決三個(gè)方面的主要任務(wù)。第一，依據(jù)研究理論和經(jīng)驗(yàn)建立關(guān)于因變量與一個(gè)或多個(gè)自變量之間關(guān)系的回歸方程，并且根據(jù)數(shù)據(jù)樣本擬合來(lái)求解這個(gè)回歸方程的各項(xiàng)回歸系數(shù)值。這些回歸系數(shù)值便反映了各自變量對(duì)因變量影響作用的方向和幅度。應(yīng)用ＳＰＳＳ的回歸程序可以非常便利地求解這些回歸系數(shù)，保證得出一套最佳的回歸系數(shù)解。第二，評(píng)價(jià)這一回歸方程對(duì)實(shí)際數(shù)據(jù)的擬合程度?；貧w分析保證取得“最佳”系數(shù)的意思只是說(shuō)，這套系數(shù)對(duì)實(shí)際數(shù)據(jù)的擬合程度肯定比任何其他的解都要相對(duì)更好，但是我們還需要進(jìn)一步了解采用這套系數(shù)的回歸方程的擬合程度到底有多好。一般用回歸方程對(duì)因變量變化解釋的百分比來(lái)描述擬合程度，百分比越高就表示擬合程度越好。第三，在樣本回歸分析的基礎(chǔ)上進(jìn)行總體推斷性統(tǒng)計(jì)。前兩個(gè)任務(wù)還是在數(shù)據(jù)樣本之內(nèi)對(duì)回歸方程的分析，但是社會(huì)科學(xué)的統(tǒng)計(jì)研究往往是通過(guò)樣本分析來(lái)推斷總體。所以，研究者需要對(duì)樣本回歸分析指標(biāo)進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)，看看這些結(jié)果是否能推廣到總體的情況。本章后面將大體按照這三方面的順序來(lái)介紹回歸分析。一、變量的關(guān)系和回歸的任務(wù)二、簡(jiǎn)單線性回歸模型我們從簡(jiǎn)單的情況開(kāi)始，先來(lái)看含有一個(gè)自變量的線性回歸問(wèn)題。一個(gè)自變量的回歸稱為簡(jiǎn)單回歸或一元回歸。統(tǒng)計(jì)分析經(jīng)常是先對(duì)總體中隨機(jī)抽樣得到的樣本數(shù)據(jù)進(jìn)行分析，然后再對(duì)總體進(jìn)行推斷。在抽樣原理統(tǒng)計(jì)教科書中，總體的各種指標(biāo)稱為參數(shù)，樣本的各種指標(biāo)稱為統(tǒng)計(jì)。因此，在后面的統(tǒng)計(jì)表述中經(jīng)常需要分清總體參數(shù)和樣本統(tǒng)計(jì)量。在很多情況下，兩者相互對(duì)應(yīng)，所以為了簡(jiǎn)明，本章采用許多教科書的做法，在一般情況下將總體參數(shù)用大寫符號(hào)標(biāo)注，將樣本統(tǒng)計(jì)量用小寫符號(hào)標(biāo)注。（一）簡(jiǎn)單線性回歸方程（二）簡(jiǎn)單回歸系數(shù)的意義在回歸模型式中，犪和犫稱為回歸直線的系數(shù)。犪是直線在狔軸上的截距，代表狔的基礎(chǔ)水平；犫是直線的斜率，它表示狓變化一個(gè)單位時(shí)，狔的平均變化。（三）變量變換當(dāng)因變量狔與自變量狓是非線性關(guān)系時(shí)，可以通過(guò)變量變換使經(jīng)過(guò)變換的新變量對(duì)于參數(shù)是線性的。spss回歸程序可以檢查變量之間是不是有線性關(guān)系，如果是非線性關(guān)系，還可以應(yīng)用spss曲線回歸來(lái)探測(cè)具體是哪一種非線性關(guān)系。我們將在后面進(jìn)行介紹。這里，我們僅用一個(gè)簡(jiǎn)單例子介紹如何對(duì)自變量進(jìn)行非線性變換，以使線性回歸能更好地?cái)M合數(shù)據(jù)。（四）最小二乘估計(jì)的統(tǒng)計(jì)性質(zhì)最小二乘估計(jì)在求解回歸方程模型時(shí)是最常用的估計(jì)方法。通過(guò)最小二乘法得到的回歸方程估計(jì)，有很好的統(tǒng)計(jì)性質(zhì)。（五）模型的假定條件統(tǒng)計(jì)理論已經(jīng)證明，在滿足一定的假定先決條件下，樣本數(shù)據(jù)的最小二乘估計(jì)是總體參數(shù)的最佳線性無(wú)偏估計(jì)。這是因?yàn)樵谕茢嗫傮w參數(shù)或進(jìn)行統(tǒng)計(jì)檢驗(yàn)時(shí)，必須考慮總體回歸模型中的隨機(jī)誤差項(xiàng)ε的分布特征。因此，對(duì)隨機(jī)誤差項(xiàng)ε提出若干基本假定條件。三、多元線性回歸模型在本節(jié)中，我們要將簡(jiǎn)單回歸推廣到多元回歸。在具體介紹有關(guān)分析之前需要說(shuō)明，以上討論的所有簡(jiǎn)單回歸的假定條件都適用于多元線性回歸。（一）多元線性回歸方程（二）回歸平面和回歸系數(shù)的意義（三）一般回歸模型乘法模型指數(shù)模型1指數(shù)模型2多項(xiàng)式模型（四）多元回歸模型估計(jì)的統(tǒng)計(jì)推斷四、方程的擬合程度（一）確定系數(shù)R^2（二）調(diào)整的確定系數(shù)R^2（三）多元相關(guān)系數(shù)R（四）偏確定系數(shù)（五）偏相關(guān)系數(shù)五、回歸方程的統(tǒng)計(jì)檢驗(yàn)和回歸系數(shù)的推斷統(tǒng)計(jì)在一般情況下，我們是通過(guò)抽樣樣本觀測(cè)數(shù)據(jù)來(lái)推斷總體的情況。因此，樣本中計(jì)算的各統(tǒng)計(jì)量都服從一定的抽樣誤差。檢驗(yàn)樣本回歸方程各統(tǒng)計(jì)量，就是為了根據(jù)樣本統(tǒng)計(jì)量來(lái)判斷總體各參數(shù)的情況。（一）整個(gè)回歸方程的顯著性檢驗(yàn)對(duì)整個(gè)回歸方程的統(tǒng)計(jì)檢驗(yàn)也是通過(guò)方差分析完成的。將因變量y的總的離差平方和分解為兩個(gè)部分：一部分是可以由回歸方程解釋的部分，稱之為回歸平方和；另一部分則是不能由回歸方程解釋的部分，稱之為殘差平方和。然后，用殘差平方和代表隨機(jī)波動(dòng)，來(lái)評(píng)價(jià)回歸方程的解釋能力是否具有統(tǒng)計(jì)顯著性。（二）偏確定系數(shù)的統(tǒng)計(jì)檢驗(yàn)偏確定系數(shù)描述的是，在控制前一步回歸中其他變量的條件下，新納入一個(gè)或一組自變量的新增解釋能力。偏確定系數(shù)也是一個(gè)百分比，只不過(guò)它只涉及前一步回歸沒(méi)能解釋的因變量變化。（三）各自變量回歸系數(shù)的顯著性檢驗(yàn)當(dāng)回歸方程整體檢驗(yàn)具有統(tǒng)計(jì)顯著性時(shí)，一般可以表明回歸方程中至少有一個(gè)自變量的回歸系數(shù)是顯著的，但并不一定所有自變量的回歸系數(shù)都是顯著的。（四）回歸系數(shù)的置信區(qū)間（五）回歸系數(shù)不顯著的原因（１）樣本量太小，或者自變量個(gè)數(shù)較多（２）x(j)的變化范圍太?。ǎ常﹛(j)與方程中的其他自變量線性相關(guān)（４）y與x(j)雖然有關(guān)聯(lián)，但卻是非線性關(guān)系（５）y與x(j)確實(shí)不存在顯著的線性關(guān)系六、標(biāo)準(zhǔn)化回歸系數(shù)因?yàn)樽兞康臉?biāo)準(zhǔn)化過(guò)程中都要除以該變量的標(biāo)準(zhǔn)差，這不僅會(huì)改變變量的數(shù)值，而且約分掉了原變量的實(shí)際測(cè)量單位，所以z變量是無(wú)量綱變量，即脫離了任何實(shí)際測(cè)量單位的純統(tǒng)計(jì)量。于是，標(biāo)準(zhǔn)化變量的回歸系數(shù)β稱為標(biāo)準(zhǔn)化回歸系數(shù),它表示當(dāng)其他變量不變時(shí)，x變化１個(gè)標(biāo)準(zhǔn)差單位，y的標(biāo)準(zhǔn)差的平均變化。七、多元統(tǒng)計(jì)控制對(duì)回歸系數(shù)的影響采用多元回歸最重要的優(yōu)越性就是可以將對(duì)因變量有重要影響的自變量同時(shí)納入分析，在控制其他模型自變量的條件下一一求解對(duì)應(yīng)自變量的偏回歸系數(shù)。因此，偏回歸系數(shù)表達(dá)了對(duì)應(yīng)自變量相對(duì)“獨(dú)立”的影響作用，將更為接近真實(shí)情況的反應(yīng)。盡管研究者可能并不清楚還有哪些重要影響變量，但是多元回歸在方法論層次更為優(yōu)越，提供了研究者進(jìn)行深入探索和檢驗(yàn)的工具。八、回歸預(yù)測(cè)的區(qū)間估計(jì)九、回歸診斷前面我們已經(jīng)討論過(guò)回歸模型的正確估計(jì)和推斷必須依賴于一定的假定條件，如果我們的數(shù)據(jù)及變量分布不滿足這些假定條件，用回歸方法獲得的結(jié)果可能會(huì)有誤導(dǎo)性。本節(jié)將討論一些回歸診斷的方法，以檢驗(yàn)我們的數(shù)據(jù)是否滿足線性回歸的假定條件。此外，還有一些問(wèn)題并不直接涉及回歸的假定條件，但是對(duì)回歸結(jié)果的影響也很大，因此在進(jìn)行回歸分析時(shí)也要多加注意，比如案例的權(quán)勢(shì)影響和自變量之間的共線性問(wèn)題。在回歸分析中對(duì)這類問(wèn)題的檢查稱為診斷。十、最優(yōu)回歸方程的選擇（１）全部納入法（２）全部刪除法（３）向前回歸法（４）向后回歸法（５）逐步回歸法上述五種方式可結(jié)合運(yùn)用。十一、標(biāo)識(shí)變量在回歸分析中的應(yīng)用在社會(huì)科學(xué)研究中，有許多分類變量，比如地區(qū)、時(shí)期、公司、民族、性別、婚姻狀況、教育程度、職業(yè)和居住地等分類。這些分類信息對(duì)于研究同樣是很重要的。雖然分類變量不能直接用于回歸分析，但是通過(guò)將分類變量轉(zhuǎn)換為按特定規(guī)則賦值的一套編碼變量后，便可以將其作為自變量納入多元線性回歸模型，用以解釋因變量的變化。并且，這種編碼變量可以承載原分類變量的所有信息，將其引入回歸方程后，所得到的回歸結(jié)果也具有明確的意義解釋。這類特殊編碼變量在統(tǒng)計(jì)分析中通常稱為標(biāo)識(shí)。（一）虛擬變量的建立與應(yīng)用分析１．建立虛擬變量的規(guī)則２．用單純虛擬變量的回歸模型來(lái)分析簡(jiǎn)單類別差異３．用虛擬變量和間距變量的回歸模型分析經(jīng)統(tǒng)計(jì)調(diào)整的類別差異４．用虛擬變量、間距變量及其交互變量的回歸模型分析類別的水平差異和斜率差異（二）效應(yīng)變量的建立與應(yīng)用分析１．建立效應(yīng)變量的規(guī)則２．用單純效應(yīng)變量的回歸模型來(lái)分析簡(jiǎn)單類別差異３．用效應(yīng)變量和間距變量的回歸模型分析經(jīng)統(tǒng)計(jì)調(diào)整的類別差異基本概念基本假定回歸方程截距回歸系數(shù)最小二乘估計(jì)確定系數(shù)偏確定系數(shù)整體檢驗(yàn)偏回歸系數(shù)檢驗(yàn)標(biāo)準(zhǔn)化回歸系數(shù)特定樣本性質(zhì)統(tǒng)計(jì)控制回歸診斷異常值杠桿值權(quán)勢(shì)影響偏回歸散點(diǎn)圖殘差正態(tài)性均方差性多元共線性誤差獨(dú)立性非線性關(guān)系虛擬編碼參照類效應(yīng)編碼大平均數(shù)方差分析協(xié)方差分析自變量交互作用本章要點(diǎn)１．多元回歸分析的功能是描述和預(yù)測(cè)多個(gè)自變量對(duì)一個(gè)因變量發(fā)生影響作用的數(shù)量關(guān)系。２．多元回歸分析的因變量必須為間距測(cè)度等級(jí)，其他自變量則必須為間距測(cè)度等級(jí)或特定的標(biāo)識(shí)編碼形式。３．在多元回歸中，確定系數(shù)表示所有自變量對(duì)于因變量的解釋能力。在社會(huì)科學(xué)研究中，多元回歸確定系數(shù)一般不是很高，因此這一方法多用來(lái)進(jìn)行分析和檢驗(yàn)，較少用于預(yù)測(cè)。４．偏回歸系數(shù)表示在控制其他自變量的條件下，某一自變量與因變量之間在變量實(shí)際測(cè)量單位基礎(chǔ)上的數(shù)量關(guān)系，表示自變量每增加１個(gè)單位量所造成因變量的變化量。５．標(biāo)準(zhǔn)化偏回歸系數(shù)為某一自變量對(duì)因變量的純統(tǒng)計(jì)聯(lián)系，不受變量實(shí)際測(cè)量單位的影響，因此可以用來(lái)比較各自變量對(duì)因變量相對(duì)作用大小。參