第九章 SPSS的線性回歸分析.ppt

1、第九章 SPSS的線性回歸分析,回歸分析概述,(一)回歸分析理解 (1)“回歸”的含義 galton研究研究父親身高和兒子身高的關(guān)系時(shí)的獨(dú)特發(fā)現(xiàn). (2)回歸線的獲得方式一:局部平均 回歸曲線上的點(diǎn)給出了相應(yīng)于每一個(gè)x(父親)值的y(兒子)平均數(shù)的估計(jì) (3)回歸線的獲得方式二:擬和函數(shù) 使數(shù)據(jù)擬和于某條曲線; 通過若干參數(shù)描述該曲線; 利用已知數(shù)據(jù)在一定的統(tǒng)計(jì)準(zhǔn)則下找出參數(shù)的估計(jì)值(得到回歸曲線的近似);,回歸分析概述,(二)回歸分析的基本步驟 (1)確定自變量和因變量(父親身高關(guān)于兒子身高的回歸與兒子身高關(guān)于父親身高的回歸是不同的). (2)從樣本數(shù)據(jù)出發(fā)確定變量之間的數(shù)學(xué)關(guān)系式,并對(duì)回歸

2、方程的各個(gè)參數(shù)進(jìn)行估計(jì). (3)對(duì)回歸方程進(jìn)行各種統(tǒng)計(jì)檢驗(yàn). (4)利用回歸方程進(jìn)行預(yù)測(cè).,線性回歸分析概述,(三)參數(shù)估計(jì)的準(zhǔn)則 目標(biāo):回歸線上的觀察值與預(yù)測(cè)值之間的距離總和達(dá)到最小 最小二乘法(利用最小二乘法擬和的回歸直線與樣本數(shù)據(jù)點(diǎn)在垂直方向上的偏離程度最低),一元線性回歸分析,(一)一元回歸方程: y=0+1x 0為常數(shù)項(xiàng)；1為y對(duì)x回歸系數(shù)，即:x每變動(dòng)一個(gè)單位所引起的y的平均變動(dòng) (二)一元回歸分析的步驟 利用樣本數(shù)據(jù)建立回歸方程 回歸方程的擬和優(yōu)度檢驗(yàn) 回歸方程的顯著性檢驗(yàn)(t檢驗(yàn)和F檢驗(yàn)) 殘差分析 預(yù)測(cè),一元線性回歸方程的檢驗(yàn),(一)擬和優(yōu)度檢驗(yàn): (1)目的:檢驗(yàn)樣本觀察點(diǎn)

3、聚集在回歸直線周圍的密集程度，評(píng)價(jià)回歸方程對(duì)樣本數(shù)據(jù)點(diǎn)的擬和程度。 (2)思路: 因?yàn)? 因變量取值的變化受兩個(gè)因素的影響 自變量不同取值的影響 其他因素的影響 于是: 因變量總變差=自變量引起的+其他因素引起的 即: 因變量總變差=回歸方程可解釋的+不可解釋的 可證明:因變量總離差平方和=回歸平方和+剩余平方和,一元線性回歸方程的檢驗(yàn),(一)擬和優(yōu)度檢驗(yàn): (3)統(tǒng)計(jì)量：判定系數(shù) R2=SSR/SST=1-SSE/SST. R2體現(xiàn)了回歸方程所能解釋的因變量變差的比例;1-R2則體現(xiàn)了因變量總變差中，回歸方程所無法解釋的比例。 R2越接近于1，則說明回歸平方和占了因變量總變差平方和的絕大部分

4、比例，因變量的變差主要由自變量的不同取值造成，回歸方程對(duì)樣本數(shù)據(jù)點(diǎn)擬合得好 在一元回歸中R2=r2; 因此，從這個(gè)意義上講，判定系數(shù)能夠比較好地反映回歸直線對(duì)樣本數(shù)據(jù)的代表程度和線性相關(guān)性。,一元線性回歸方程的檢驗(yàn),(二)回歸方程的顯著性檢驗(yàn)：F檢驗(yàn) (1)目的:檢驗(yàn)自變量與因變量之間的線性關(guān)系是否顯著,是否可用線性模型來表示. (2)H0: =0 即:回歸系數(shù)與0無顯著差異 (3)利用F檢驗(yàn),構(gòu)造F統(tǒng)計(jì)量: F=平均的回歸平方和/平均的剩余平方和F(1,n-1-1) 如果F值較大，則說明自變量造成的因變量的線性變動(dòng)遠(yuǎn)大于隨機(jī)因素對(duì)因變量的影響,自變量于因變量之間的線性關(guān)系較顯著 (4)計(jì)算F

5、統(tǒng)計(jì)量的值和相伴概率p (5)判斷 p=a:拒絕H0,即:回歸系數(shù)與0有顯著差異，自變量與因變量之間存在顯著的線性關(guān)系。反之，不能拒絕H0,一元線性回歸方程的檢驗(yàn),(三)回歸系數(shù)的顯著性檢驗(yàn):t檢驗(yàn) (1)目的:檢驗(yàn)自變量對(duì)因變量的線性影響是否顯著. (2)H0:=0 即:回歸系數(shù)與0無顯著差異 (3)利用t檢驗(yàn),構(gòu)造t統(tǒng)計(jì)量： 其中:Sy是回歸方程標(biāo)準(zhǔn)誤差(Standard Error)的估計(jì)值，由均方誤差開方后得到，反映了回歸方程無法解釋樣本數(shù)據(jù)點(diǎn)的程度或偏離樣本數(shù)據(jù)點(diǎn)的程度 如果回歸系數(shù)的標(biāo)準(zhǔn)誤差較小，必然得到一個(gè)相對(duì)較大的t值，表明該自變量x解釋因變量線性變化的能力較強(qiáng)。 (4)計(jì)算t

6、統(tǒng)計(jì)量的值和相伴概率p (5)判斷,一元線性回歸方程的檢驗(yàn),(四)t檢驗(yàn)與F檢驗(yàn)的關(guān)系 一元回歸中,F檢驗(yàn)與t檢驗(yàn)一致,即: F=t2,兩種檢驗(yàn)可以相互替代 (六)F統(tǒng)計(jì)量和R2值的關(guān)系 如果回歸方程的擬合優(yōu)度高，F(xiàn)統(tǒng)計(jì)量就越顯著。F統(tǒng)計(jì)量越顯著，回歸方程的擬合優(yōu)度就會(huì)越高。,一元線性回歸分析操作,(一)基本操作步驟 (1)菜單選項(xiàng): Analyze-regression-linear (2)選擇一個(gè)變量為因變量進(jìn)入dependent框 (3)選擇一個(gè)變量為自變量進(jìn)入independent框 (4)enter:所選變量全部進(jìn)入回歸方程(默認(rèn)方法) (5)對(duì)樣本進(jìn)行篩選(selection va

7、riable) 利用滿足一定條件的樣本數(shù)據(jù)進(jìn)行回歸分析 (6)指定作圖時(shí)各數(shù)據(jù)點(diǎn)的標(biāo)志變量(case labels),一元線性回歸分析操作,(二) statistics選項(xiàng) (1)基本統(tǒng)計(jì)量輸出 Estimates:默認(rèn).顯示回歸系數(shù)相關(guān)統(tǒng)計(jì)量. confidence intervals:每個(gè)非標(biāo)準(zhǔn)化的回歸系數(shù)95%的置信區(qū)間. Descriptive:各變量均值、標(biāo)準(zhǔn)差和相關(guān)系數(shù)單側(cè)檢驗(yàn)概率. Model fit:默認(rèn).判定系數(shù)、估計(jì)標(biāo)準(zhǔn)誤差、方差分析表、容忍度 (2)Residual框中的殘差分析 Durbin-waston:D-W值 casewise diagnostic:異常值(奇異值

8、)檢測(cè) (輸出預(yù)測(cè)值及殘差和標(biāo)準(zhǔn)化殘差),一元線性回歸分析操作,(三)plot選項(xiàng):圖形分析. Standardize residual plots:繪制殘差序列直方圖和累計(jì)概率圖,檢測(cè)殘差的正態(tài)性 繪制指定序列的散點(diǎn)圖,檢測(cè)殘差的隨機(jī)性、異方差性 ZPRED:標(biāo)準(zhǔn)化預(yù)測(cè)值 ZRESID:標(biāo)準(zhǔn)化殘差 SRESID:學(xué)生化殘差 produce all partial plot:繪制因變量和所有自變量之間的散點(diǎn)圖,線性回歸方程的殘差分析,(一)殘差序列的正態(tài)性檢驗(yàn): 繪制標(biāo)準(zhǔn)化殘差的直方圖或累計(jì)概率圖 (二)殘差序列的隨機(jī)性檢驗(yàn) 繪制殘差和預(yù)測(cè)值的散點(diǎn)圖,應(yīng)隨機(jī)分布在經(jīng)過零的一條直線上下,線性回歸

9、方程的殘差分析,(三)殘差序列獨(dú)立性檢驗(yàn): 殘差序列是否存在后期值與前期值相關(guān)的現(xiàn)象,利用D.W(Durbin-Watson)檢驗(yàn) d-w=0:殘差序列存在完全正自相關(guān);d-w=4:殘差序列存在完全負(fù)自相關(guān);0d-w2:殘差序列存在某種程度的正自相關(guān);2d-w4:殘差序列存在某種程度的負(fù)自相關(guān);d-w=2:殘差序列不存在自相關(guān). 殘差序列不存在自相關(guān),可以認(rèn)為回歸方程基本概括了因變量的變化;否則,認(rèn)為可能一些與因變量相關(guān)的因素沒有引入回歸方程或回歸模型不合適或滯后性周期性的影響.,線性回歸方程的殘差分析,(四)異常值(casewise或outliers)診斷 利用標(biāo)準(zhǔn)化殘差不僅可以知道觀察值比

10、預(yù)測(cè)值大或小,并且還知道在絕對(duì)值上它比大多數(shù)殘差是大還是小.一般標(biāo)準(zhǔn)化殘差的絕對(duì)值大于3,則可認(rèn)為對(duì)應(yīng)的樣本點(diǎn)為奇異值 異常值并不總表現(xiàn)出上述特征.當(dāng)剔除某觀察值后，回歸方程的標(biāo)準(zhǔn)差顯著減小,也可以判定該觀察值為異常值,線性回歸方程的預(yù)測(cè),(一)點(diǎn)估計(jì) y0 (二)區(qū)間估計(jì),x0為xi的均值時(shí),預(yù)測(cè)區(qū)間最小,精度最高.x0越遠(yuǎn)離均值,預(yù)測(cè)區(qū)間越大,精度越低.,多元線性回歸分析,(一)多元線性回歸方程 多元回歸方程: y= 0 +1x1+2x2+.+kxk 1、2、k為偏回歸系數(shù)。 1表示在其他自變量保持不變的情況下，自變量x1變動(dòng)一個(gè)單位所引起的因變量y的平均變動(dòng) (二)多元線性回歸分析的主要

11、問題 回歸方程的檢驗(yàn) 自變量篩選 多重共線性問題,多元線性回歸方程的檢驗(yàn),(一)擬和優(yōu)度檢驗(yàn): (1)判定系數(shù)R2: R是y和xi的復(fù)相關(guān)系數(shù)(或觀察值與預(yù)測(cè)值的相關(guān)系數(shù)),測(cè)定了因變量y與所有自變量全體之間線性相關(guān)程度 (2)調(diào)整的R2: 考慮的是平均的剩余平方和,克服了因自變量增加而造成R2也增大的弱點(diǎn) 在某個(gè)自變量引入回歸方程后，如果該自變量是理想的且對(duì)因變量變差的解釋說明是有意義的，那么必然使得均方誤差減少，從而使調(diào)整的R2得到提高；反之，如果某個(gè)自變量對(duì)因變量的解釋說明沒有意義，那么引入它不會(huì)造成均方誤差減少，從而調(diào)整的R2也不會(huì)提高。,多元線性回歸方程的檢驗(yàn),(二)回歸方程的顯著性

12、檢驗(yàn)： (1)目的:檢驗(yàn)所有自變量與因變量之間的線性關(guān)系是否顯著，是否可用線性模型來表示. (2)H0: 1 = 2 = k =0 即:所有回歸系數(shù)同時(shí)與0無顯著差異 (3)利用F檢驗(yàn),構(gòu)造F統(tǒng)計(jì)量: F=平均的回歸平方和/平均的剩余平方和F(k,n-k-1) 如果F值較大，則說明自變量造成的因變量的線性變動(dòng)大于隨機(jī)因素對(duì)因變量的影響,自變量于因變量之間的線性關(guān)系較顯著 (4)計(jì)算F統(tǒng)計(jì)量的值和相伴概率p (5)判斷 p=a:拒絕H0,即:所有回歸系數(shù)與0有顯著差異，自變量與因變量之間存在顯著的線性關(guān)系。反之，不能拒絕H0,多元線性回歸方程的檢驗(yàn),(三)回歸系數(shù)的顯著性檢驗(yàn) (1)目的:檢驗(yàn)每

13、個(gè)自變量對(duì)因變量的線性影響是否顯著. (2)H0:i=0 即:第i個(gè)回歸系數(shù)與0無顯著差異 (3)利用t檢驗(yàn),構(gòu)造t統(tǒng)計(jì)量： 其中:Sy是回歸方程標(biāo)準(zhǔn)誤差(Standard Error)的估計(jì)值，由均方誤差開方后得到，反映了回歸方程無法解釋樣本數(shù)據(jù)點(diǎn)的程度或偏離樣本數(shù)據(jù)點(diǎn)的程度 如果某個(gè)回歸系數(shù)的標(biāo)準(zhǔn)誤差較小，必然得到一個(gè)相對(duì)較大的t值，表明該自變量xi解釋因變量線性變化的能力較強(qiáng)。 (4)逐個(gè)計(jì)算t統(tǒng)計(jì)量的值和相伴概率p (5)判斷,多元線性回歸方程的檢驗(yàn),(四)t統(tǒng)計(jì)量與F統(tǒng)計(jì)量 一元回歸中,F檢驗(yàn)與t檢驗(yàn)一致,即: F=t2,可以相互替代 在多元回歸中，F(xiàn)檢驗(yàn)與t檢驗(yàn)不能相互替代 Fch

14、ange =ti2 從Fchange 角度上講，如果由于某個(gè)自變量xi的引入，使得Fchange是顯著的(通過觀察Fchange 的相伴概率值)，那么就可以認(rèn)為該自變量對(duì)方程的貢獻(xiàn)是顯著的，它應(yīng)保留在回歸方程中，起到與回歸系數(shù)t檢驗(yàn)同等的作用。,多元線性回歸分析中的自變量篩選,(一)自變量篩選的目的 多元回歸分析引入多個(gè)自變量. 如果引入的自變量個(gè)數(shù)較少,則不能很好的說明因變量的變化; 并非自變量引入越多越好.原因: 有些自變量可能對(duì)因變量的解釋沒有貢獻(xiàn) 自變量間可能存在較強(qiáng)的線性關(guān)系,即:多重共線性. 因而不能全部引入回歸方程.,多元線性回歸分析中的自變量篩選,(二)自變量向前篩選法(for

15、ward): 即:自變量不斷進(jìn)入回歸方程的過程. 首先,選擇與因變量具有最高相關(guān)系數(shù)的自變量進(jìn)入方程,并進(jìn)行各種檢驗(yàn); 其次,在剩余的自變量中尋找偏相關(guān)系數(shù)最高的變量進(jìn)入回歸方程,并進(jìn)行檢驗(yàn); 默認(rèn):回歸系數(shù)檢驗(yàn)的概率值小于PIN(0.05)才可以進(jìn)入方程. 反復(fù)上述步驟,直到?jīng)]有可進(jìn)入方程的自變量為止.,多元線性回歸分析中的自變量篩選,(三)自變量向后篩選法(backward): 即:自變量不斷剔除出回歸方程的過程. 首先,將所有自變量全部引入回歸方程； 其次,在一個(gè)或多個(gè)t值不顯著的自變量中將t值最小的那個(gè)變量剔除出去,并重新擬和方程和進(jìn)行檢驗(yàn); 默認(rèn):回歸系數(shù)檢驗(yàn)值大于POUT(0.10

16、),則剔除出方程 如果新方程中所有變量的回歸系數(shù)t值都是顯著的,則變量篩選過程結(jié)束. 否則,重復(fù)上述過程,直到無變量可剔除為止.,多元線性回歸分析中的自變量篩選,(四)自變量逐步篩選法(stepwise): 即:是“向前法”和“向后法”的結(jié)合。 向前法只對(duì)進(jìn)入方程的變量的回歸系數(shù)進(jìn)行顯著性檢驗(yàn)，而對(duì)已經(jīng)進(jìn)入方程的其他變量的回歸系數(shù)不再進(jìn)行顯著性檢驗(yàn)，即：變量一旦進(jìn)入方程就不回被剔除 隨著變量的逐個(gè)引進(jìn)，由于變量之間存在著一定程度的相關(guān)性，使得已經(jīng)進(jìn)入方程的變量其回歸系數(shù)不再顯著，因此會(huì)造成最后的回歸方程可能包含不顯著的變量。 逐步篩選法則在變量的每一個(gè)階段都考慮的剔除一個(gè)變量的可能性。,線性回

17、歸分析中的共線性檢測(cè),(一)共線性帶來的主要問題 高度的多重共線會(huì)使回歸系數(shù)的標(biāo)準(zhǔn)差隨自變量相關(guān)性的增大而不斷增大,以至使回歸系數(shù)的置信區(qū)間不斷增大,造成估計(jì)值精度減低. (二)共線性診斷 自變量的容忍度(tolerance)和方差膨脹因子 容忍度:Toli=1-Ri2. 其中: Ri2是自變量xi與方程中其他自變量間的復(fù)相關(guān)系數(shù)的平方. 容忍度越大則與方程中其他自變量的共線性越低,應(yīng)進(jìn)入方程. (具有太小容忍度的變量不應(yīng)進(jìn)入方程,spss會(huì)給出警)(T0.1一般認(rèn)為具有多重共線性) 方差膨脹因子(VIF):容忍度的倒數(shù) SPSS在回歸方程建立過程中不斷計(jì)算待進(jìn)入方程自變量的容忍度,并顯示目前

18、的最小容忍度,線性回歸分析中的共線性檢測(cè),(二)共線性診斷 用特征根刻畫自變量的方差 如果自變量間確實(shí)存在較強(qiáng)的相關(guān)關(guān)系，那么它們之間必然存在信息重疊，于是可從這些自變量中提取出既能反映自變量信息(方差)又相互獨(dú)立的因素(成分)來. 從自變量的相關(guān)系數(shù)矩陣出發(fā)，計(jì)算相關(guān)系數(shù)矩陣的特征根，得到相應(yīng)的若干成分. 如果某個(gè)特征根既能夠刻畫某個(gè)自變量方差的較大部分比例(如大于0.7),同時(shí)又可以刻畫另一個(gè)自變量方差的較大部分比例，則表明這兩個(gè)自變量間存在較強(qiáng)的多重共線性。 條件指標(biāo) 0=100 嚴(yán)重,線性回歸分析中的異方差問題,(一)什么是差異方差 回歸模型要求殘差序列服從均值為0并具有相同方差的正態(tài)

19、分布,即:殘差分布幅度不應(yīng)隨自變量或因變量的變化而變化.否則認(rèn)為出現(xiàn)了異方差現(xiàn)象 (二)差異方差診斷 可以通過繪制標(biāo)準(zhǔn)化殘差序列和因變量預(yù)測(cè)值(或每個(gè)自變量)的散點(diǎn)圖來識(shí)別是否存在異方差 (三)異方差處理 實(shí)施方差穩(wěn)定性變換 殘差與yi(預(yù)測(cè)值)的平方根呈正比：對(duì)yi開平方 殘差與yi(預(yù)測(cè)值)呈正比:對(duì)yi取對(duì)數(shù). 殘差與yi(預(yù)測(cè)值)的平方呈正比,則1/yi,多元線性回歸分析操作,(一)基本操作步驟 (1)菜單選項(xiàng): analyze-regression-linear (2)選擇一個(gè)變量為因變量進(jìn)入dependent框 (3)選擇一個(gè)或多個(gè)變量為自變量進(jìn)入independent框 (4)選

20、擇多元回歸分析的自變量篩選方法: enter:所選變量全部進(jìn)入回歸方程(默認(rèn)方法) remove:從回歸方程中剔除變量 stepwise:逐步篩選；backward:向后篩選；forward:向前篩選 (5)對(duì)樣本進(jìn)行篩選(selection variable) 利用滿足一定條件的樣本數(shù)據(jù)進(jìn)行回歸分析 (6)指定作圖時(shí)各數(shù)據(jù)點(diǎn)的標(biāo)志變量(case labels),多元線性回歸分析操作,(二) statistics選項(xiàng) (1)基本統(tǒng)計(jì)量輸出 Part and partial correlation:與Y的簡(jiǎn)單相關(guān)、偏相關(guān)和部分相關(guān) R square change:每個(gè)自變量進(jìn)入方程后R2及F值的變化量 Collinearity dignostics:共線性診斷.,多元線性回歸分析操作,(三)options選項(xiàng): stepping method criteria:逐步篩選法參數(shù)設(shè)置. use probability of F:以F值相伴概率作為變量進(jìn)入和剔除方程的標(biāo)準(zhǔn).一個(gè)變量的F值顯著性水平小于entry(0.05)則進(jìn)入方程;大于removal(0.1)則剔除出方程.因此:Entryremoval use F value:以F值作為變量進(jìn)入(3.84)和剔除(2.71)方程的標(biāo)準(zhǔn) (四)save選項(xiàng): 將回歸分析結(jié)果保存到數(shù)據(jù)編輯窗口中或某磁