SPSS相關(guān)與回歸.ppt

1、1,一、相關(guān)分析 內(nèi)容： 相關(guān)關(guān)系的圖形展示：散點(diǎn)圖（Scatter） 雙變量簡(jiǎn)單相關(guān)分析：Bivariate Correlations 偏相關(guān)分析:Partial Correlations,第七節(jié) SPSS相關(guān)與回歸,2,一、相關(guān)分析散點(diǎn)圖,散點(diǎn)圖：以散在數(shù)據(jù)點(diǎn)的圖形分布直觀顯示變量間的密切程度。 操作：GraphsScatter 選擇散點(diǎn)圖類型 Simple：簡(jiǎn)單散點(diǎn)圖，表示一對(duì)變量間關(guān)系。 Overlay：重疊散點(diǎn)圖，表示多對(duì)變量間關(guān)系。 Matrix：矩陣散點(diǎn)圖，表示多個(gè)變量間的兩兩相關(guān)。 3-D：三維散點(diǎn)圖，表示三個(gè)變量間的相互關(guān)系。,3,4,5,Scatter-simple,6,S

2、catter-overlay,7,Scatter-matrix,8,Scatter-3D,9,二、兩變量簡(jiǎn)單相關(guān)分析,H0：兩總體不相關(guān)； 選擇相關(guān)系數(shù)類型； 計(jì)算系數(shù)和相應(yīng)檢驗(yàn)的概率P值； 統(tǒng)計(jì)結(jié)論和結(jié)果解釋。 注：由于抽樣數(shù)據(jù)總存在抽樣誤差，所以樣本中兩變量間相關(guān)系數(shù)不為0， 不能說明總體中兩個(gè)變量間的相關(guān)系數(shù)不是0，也不能保證實(shí)際中這兩個(gè)變量不相關(guān)。因此相關(guān)分析必須通過檢驗(yàn)。,10,相關(guān)系數(shù),相關(guān)系數(shù)是描述兩個(gè)變量間的線性關(guān)系程度和方向的統(tǒng)計(jì)量，以數(shù)值形式精確反映兩變量間相關(guān)的強(qiáng)弱程度。 相關(guān)系數(shù)r：-11。 r0,正相關(guān)；r0.7,線性關(guān)系較強(qiáng)；0.3,線性關(guān)系較弱。,11,相關(guān)系數(shù)類

3、型一,Pearson相關(guān)系數(shù) r的檢驗(yàn)統(tǒng)計(jì)量 適用于呈雙變量正態(tài)分布的連續(xù)變量間的相關(guān)分析。如：身高與體重,12,相關(guān)系數(shù)類型二,Spearman等級(jí)相關(guān)系數(shù)：度量定序變量間的相關(guān)關(guān)系。它的計(jì)算采用兩變量的秩(Ui,Vi)代替原始變量值(xi,yi)代入上述公式，可簡(jiǎn)化為 檢驗(yàn)統(tǒng)計(jì)量 適用于完全等級(jí)化的離散變量之間的等級(jí)相關(guān)分析。如職稱與收入等級(jí)。,13,相關(guān)系數(shù)類型三,Kendall tal b系數(shù)：也用來度量定序變量間的相關(guān)關(guān)系。計(jì)算是基于變量秩的同序?qū)Γ║）和異序?qū)?shù)目（V）。 Kendall 等級(jí)相關(guān)計(jì)算分類變量間的秩相關(guān)， 當(dāng)資料不服從雙變量正態(tài)分布或總體分布型未知,或原始數(shù)據(jù)是用等

4、級(jí)表示時(shí)宜用Spearman 或Kendall相關(guān).,14,SPSS基本操作,AnalyzeCorrelateBivariate Variable：選擇進(jìn)行相關(guān)分析的變量 Correlation Coefficents：選擇相關(guān)系數(shù)類型 Test of Significance:選擇檢驗(yàn)的雙尾或單尾P值。 Flag significance correlations:星號(hào)標(biāo)記變量間相關(guān)性是否顯著。,15,舉例,打開相關(guān)回歸分析高校科研研究，研究高校課題總數(shù)與投入的高級(jí)職稱人年數(shù)、發(fā)表的論文數(shù)（去年）之間是否具有線性相關(guān)關(guān)系。,16,三、偏相關(guān)分析,分析兩個(gè)變量間線性關(guān)系的程度往往因?yàn)榈谌齻€(gè)變量

5、的作用，使得簡(jiǎn)單相關(guān)系數(shù)不能真實(shí)地反映兩個(gè)變量間的線性相關(guān)程度。 偏相關(guān)分析：就是在研究?jī)蓚€(gè)變量之間的線性相關(guān)關(guān)系時(shí)，控制可能對(duì)其產(chǎn)生影響的變量。 偏相關(guān)系數(shù)：衡量任何兩個(gè)變量之間的關(guān)系而使與這兩個(gè)變量有聯(lián)系的其他變量都保持不變時(shí)所得到的相關(guān)系數(shù)。當(dāng)控制變量個(gè)數(shù)為n時(shí)稱 n階偏相關(guān)系數(shù)，故零階偏相關(guān)系數(shù)即簡(jiǎn)單相關(guān)系數(shù)； Partial 計(jì)算兩個(gè)變量間在控制了其他變量影響下的相關(guān)系數(shù),即偏相關(guān)系數(shù). 例如商品需求量和價(jià)格、消費(fèi)者收入三者之間的關(guān)系。,17,一階偏相關(guān)系數(shù)的計(jì)算及檢驗(yàn),控制x2的線性作用后，x1與y的一階偏相關(guān)系數(shù)為 偏相關(guān)系數(shù)的檢驗(yàn)統(tǒng)計(jì)量,18,操作：AnalyzeCorrela

6、tePartial,19,回歸分析概述,回歸分析：是研究變量之間數(shù)量依存關(guān)系的一種統(tǒng)計(jì)分析方法，可以把握因變量受一個(gè)或多個(gè)自變量影響的程度，并可利用回歸方程進(jìn)行預(yù)測(cè)和控制。 回歸分析的任務(wù)：建立回歸方程。 用途：考察影響因素；預(yù)測(cè)與控制,20,1. 相關(guān)與回歸的關(guān)系,相關(guān)：反映變量間線性關(guān)系的密切程度（點(diǎn)的疏密） 回歸：反映自變量取值大小對(duì)因變量取值的影響程度（斜率大?。?21,2. 回歸分析的一般步驟,確定回歸分析的自變量（解釋變量）和因變量（被解釋變量） 確定回歸模型 建立回歸方程 對(duì)回歸方程進(jìn)行檢驗(yàn) 利用回歸方程進(jìn)行預(yù)測(cè),22,3. SPSS的回歸菜單,線性回歸（Linear）：簡(jiǎn)單線性

7、回歸和多元線性回歸 非線性回歸：Curve Estimation和Nonlinear Regression Logistic回歸：適用于應(yīng)變量為分類變量的情況。分為二分類、多分類Logistic過程。 其他回歸方法：線性回歸的前提假設(shè)不滿足時(shí)的補(bǔ)充方法。 主要介紹1和3,23,二、線性回歸模型,線性回歸分析：是描述一個(gè)因變量(dependent variable)Y 與一個(gè)或多個(gè)自變量(independent variable)X 間的線性依存關(guān)系，根據(jù)自變量數(shù)目的不同可分為一元線性回歸和多元線性回歸。 數(shù)學(xué)模型 實(shí)際擬合的線性回歸方程為第一個(gè)模型；第二個(gè)為變量個(gè)體具體取值的模型，其中殘差滿足

8、：E()=0; var()= 2,24,示例：一元線性回歸,打開相關(guān)回歸分析高?？蒲袛?shù)據(jù), 利用線性回歸分析投入人年數(shù)對(duì)立項(xiàng)課題總數(shù)的影響。,25,1. 前提條件,線性趨勢(shì)：因變量與自變量是線性相關(guān)的。 獨(dú)立性：因變量y的取值相互獨(dú)立 正態(tài)性： 對(duì)于自變量的每一組合，y服從正態(tài)分布 方差齊性：對(duì)于自變量的每一組合， y的方差均相同 樣本量要求：希望分析的自變量個(gè)數(shù)的20倍以上。,26,2. 基本概念,一元線性回歸：y*=0+1x。 0 稱為截距，回歸方程的常數(shù)項(xiàng)；1為回歸直線的斜率，也稱回歸系數(shù)。 模擬方法為最小二乘法：即保證各實(shí)測(cè)點(diǎn)距回歸直線的縱向距離的平方和（殘差平方和：(yi- yi*)

9、2）為最小。 多元線性回歸： y*=0+1x1 +.+jxj,27,其他常用指標(biāo),偏回歸系數(shù)：即, SPSS中表示為B,反映相應(yīng)自變量上升一個(gè)單位時(shí)，因變量取值的變化幅度。 標(biāo)化偏回歸系數(shù)： SPSS中用Beta表示，是將自變量進(jìn)行標(biāo)準(zhǔn)化變換所得的分析結(jié)果，可直接用以比較各個(gè)自變量對(duì)因變量的影響程度。 決定系數(shù)：即復(fù)(或簡(jiǎn)單)相關(guān)系數(shù)的平方，用R2表示，反映因變量變異中能被回歸模型所解釋的比例。,28,3. 一般分析步驟,前提條件預(yù)分析：首先應(yīng)做出變量間散點(diǎn)圖，觀察變量間是否存在線性趨勢(shì)。 線性回歸模型的建立 進(jìn)行模型檢驗(yàn) 殘差分析 強(qiáng)影響點(diǎn)的診斷 多重共線性的判斷。,29,. 前提條件預(yù)分析

10、-線性趨勢(shì)考察,圖1 基本呈線性,可進(jìn)行線性回歸分析 圖2 曲線關(guān)系 圖3 異常點(diǎn)須考察 圖4 異常點(diǎn)須特別關(guān)注,30,. 線性回歸模型的建立,變量的初篩：專業(yè)篩選；單因素篩選；計(jì)算機(jī)自動(dòng)篩選 計(jì)算機(jī)變量選擇方法的確定： Forward前進(jìn)法：是自變量不斷進(jìn)入回歸方程的過程；首先進(jìn)入的變量具有最高的線性相關(guān)系數(shù)。 Backward后退法：是變量不斷剔除出方程的過程，首先剔除的是t檢驗(yàn)值最小的一個(gè)。 Stepwise逐步回歸：是上述二者的結(jié)合。 Remove：一次剔除一個(gè)Block，余同后退法。 Enter強(qiáng)制進(jìn)入法：自變量全部納入模型,31,. 模型的檢驗(yàn),模型擬合優(yōu)度的檢驗(yàn): 決定系數(shù)R2,

11、 檢驗(yàn)樣本數(shù)據(jù)點(diǎn)聚集在回歸線周圍的密集程度。但其大小受模型中自變量個(gè)數(shù)的影響，可檢驗(yàn)一元線性回歸模型擬合的優(yōu)度 調(diào)整R2:修正了模型自變量個(gè)數(shù)P對(duì)R2的影響。可用于多元線性回歸模型的擬合優(yōu)度檢驗(yàn)。,32,回歸方程的顯著性檢驗(yàn)：檢驗(yàn)應(yīng)變量與所有自變量的線性關(guān)系是否顯著，F(xiàn)=回歸均方/誤差均方。 回歸系數(shù)的顯著性檢驗(yàn)：檢驗(yàn)總體偏回歸系數(shù)i是否等于0， 在一元線性回歸中，F(xiàn)=t2 在多元線性回歸中， Fch =ti2 ,偏F統(tǒng)計(jì)量為某個(gè)自變量引入方程后使得回歸方程F統(tǒng)計(jì)量改善的程度.,33,例子,打開“高校科研研究”，分析影響立項(xiàng)課題數(shù)的可能因素。,34,. 殘差分析,殘差（）的正態(tài)性分析：圖示法及

12、一些相關(guān)指標(biāo)。 殘差的獨(dú)立性分析 繪制殘差序列圖 殘差的自相關(guān)系數(shù) DW（Durbin-Watson）檢驗(yàn)殘差總體自相關(guān)系數(shù)與0是否有顯著差異,35,Durbin-Watson 檢驗(yàn)：診斷回歸模型中的誤差項(xiàng)的獨(dú)立性，其參數(shù)稱為DW 或D， D 的取值范圍是0D4 ，它的統(tǒng)計(jì)學(xué)意義如下： 當(dāng)殘差序列無自相關(guān)時(shí)，D 2 當(dāng)殘差序列為負(fù)自相關(guān)時(shí)，2D4 當(dāng)殘差序列為正自相關(guān)時(shí)，0D2,36,殘差圖示法：在直角坐標(biāo)系中以y預(yù)測(cè)值為橫軸,以標(biāo)準(zhǔn)化殘差(或?qū)W生化殘差) 繪制殘差的散點(diǎn)圖，如果散點(diǎn)呈現(xiàn)出明顯的規(guī)律性，則認(rèn)為存在自相關(guān)性、或非線性、異方差的問題 如果散點(diǎn)呈現(xiàn)隨機(jī)分布，認(rèn)為自相關(guān)存在的可能性不大

13、，獨(dú)立性假設(shè)成立。,37,異方差的處理 方差穩(wěn)定性變量變換； 加權(quán)最小二乘法等,38,. 強(qiáng)影響點(diǎn)的診斷,樣本中的異常值和強(qiáng)影響點(diǎn)是指遠(yuǎn)離均值的數(shù)據(jù)點(diǎn)。 探測(cè)因變量的異常值：標(biāo)準(zhǔn)化殘差、學(xué)生化殘差、剔除殘差；絕對(duì)值3的觀測(cè)為異常值。 探測(cè)自變量中強(qiáng)影響點(diǎn)：杠桿值,hij大于2或3倍的平均值即為異常；庫克距離1為異常；標(biāo)準(zhǔn)化回歸系數(shù)和標(biāo)準(zhǔn)化預(yù)測(cè)值的變化；,39,強(qiáng)影響點(diǎn)的處理方法,去除強(qiáng)影響點(diǎn)的記錄 變量變換 非參數(shù)分析 最小一乘法 加權(quán)最小二乘法,40,. 多重共線性的判斷,多重共線性是指自變量之間存在近似的線性關(guān)系。特征為： 偏回歸系數(shù)與回歸方程的檢驗(yàn)矛盾 偏回歸系數(shù)與專業(yè)常識(shí)矛盾 去掉一兩

14、個(gè)變量或記錄，回歸系數(shù)值強(qiáng)烈變動(dòng)。 診斷方法： 容忍度(Toli=1-Ri2)：Ri2是自變量xi與其他自變量間的決定系數(shù)。 方差膨脹因子（VIF=1/Toli）10，表明共線性嚴(yán)重 特征根：最大特征根遠(yuǎn)遠(yuǎn)大于其他特征根，說明自變量間有大量的信息重疊。 條件指數(shù)ki=SQRT（ m / i ）：10，表明存在共線性。,41,多重共線性的對(duì)策,增加樣本量 去除某些共線性因子 主成分分析：提取主成分代入回歸方程 嶺回歸分析（Ridge Regression） 通徑分析,42,4. 基本操作:Analyze-Regression-Linear,Dependent:因變量 Independent:自變

15、量 Method:自變量篩選方法,默認(rèn)為Enter Block:不同變量有不同篩選方法時(shí)可定義Block Selection Variable:變量值滿足條件的樣本才參與分析. Case Labels:指定圖示中數(shù)據(jù)點(diǎn)的標(biāo)志變量,43,44,45,46,47,48,49,對(duì)于呈非線性關(guān)系的變量之間的統(tǒng)計(jì)關(guān)系進(jìn)行大體估計(jì)（但經(jīng)變量變換可轉(zhuǎn)化為線性關(guān)系本質(zhì)線性關(guān)系）。 繪制擬合曲線并進(jìn)行預(yù)測(cè)。 做為線性回歸分析的預(yù)分析步驟：選擇變量變換的方法。,三、曲線估計(jì),50,常用的幾種非線性模型,（一）拋物線模型(二次曲線模型) 具體形式為： 式中0、1 和2 為待估計(jì)參數(shù)。 判斷某種現(xiàn)象是否適合應(yīng)用拋物線

16、，可以利用“差分法”。其步驟如下：首先將樣本觀察值按X 的大小順序排列，然后按以下兩式計(jì)算X 和Y 的一階差分Xt、Yt 以及Y 的二階差分Y2t。 Xt=Xt-Xt-1; Yt=Yt-Yt-1 Y2t=Yt-Yt-1 當(dāng)Xt 接近于一常數(shù)，而Y2t 的絕對(duì)值接近于常數(shù)時(shí)，Y 與X 之間的關(guān)系可以用拋物線模型近似加以反映。,51,（二）雙曲線模型,假如Y 隨著X 的增加而增加（或減少），最初增加（或減少）很快，以后逐漸放慢并趨于穩(wěn)定，則可以選用雙曲線來擬合。雙曲線模型形式是： Y=0+1 (1/X) +,52,（三）冪函數(shù)模型,冪函數(shù)模型的一般形式是： 這類函數(shù)的優(yōu)點(diǎn)在于：方程中的參數(shù)可以直接

17、反映因變量Y 對(duì)于某一個(gè)自變量的彈性。 所謂Y 對(duì)于Xj 的彈性，是指在其他情況不變的條件下，Xj 變動(dòng)時(shí)所引起Y 變動(dòng)的百分比。 彈性是一個(gè)無量綱的數(shù)值，它是經(jīng)濟(jì)定量分析中常用的一個(gè)尺度。它在生產(chǎn)函數(shù)分析和需求函數(shù)分析中，得到了廣泛的應(yīng)用。,53,（四）指數(shù)函數(shù)模型,指數(shù)函數(shù)模型為： 這種曲線被廣泛應(yīng)用于描述社會(huì)經(jīng)濟(jì)現(xiàn)象的變動(dòng)趨勢(shì)。例如產(chǎn)值、產(chǎn)量按一定比率增長(zhǎng),成本、原材料消耗按一定比例降低。,54,(五)邏輯曲線模型,邏輯曲線的方程式如下： 邏輯曲線具有以下性質(zhì)。Y 是X 的非減函數(shù)，開始時(shí)隨著X 的增加，Y 的增長(zhǎng)速度也逐漸加快，但是Y 達(dá)到一定水平之后， 其增長(zhǎng)速度又逐漸放慢。最后無論

18、X 如何增加，Y 只會(huì)趨近于L,而永遠(yuǎn)不會(huì)超過L。,55,可擬合的曲線,本質(zhì)線性關(guān)系：形式上呈非線性關(guān)系，但可通過變量變換化為線性關(guān)系。 擬合原則：一般來說，涉及的變量越多，變量的冪次越高，計(jì)算量就越大，誤差也將越大。一般盡量避免采用多元高次多項(xiàng)式。 能擬合的曲線見下頁,56,57,基本操作：AnalyzeRegressionCurve Estimation,58,Independent: X2 Dependent Mth Rsq d.f. F Sigf b0 b1 b2 b3 X5 QUA .987 10 382.64 .000 252.698 -.1475 2.5E-05 X5 CUB .

19、994 9 516.46 .000 -41.314 .0754 -2.E-05 2.6E-09 X5 COM .995 11 2086.35 .000 20.9550 1.0004 X5 POW .954 11 229.58 .000 3.6E-05 1.8460,59,60,舉例,打開年人均消費(fèi)支出和教育數(shù)據(jù)，對(duì)居民在外就餐的趨勢(shì)進(jìn)行分析,預(yù)測(cè)2003年和2004年度的居民在外就餐的費(fèi)用。,61,操作：GraphsSequence,62,63,Dependent variable. X4 Method. EXPONENT Listwise Deletion of Missing Data M

20、ultiple R .96856 R Square .93810 Adjusted R Square .93501 Standard Error .26294 Analysis of Variance: DF Sum of Squares Mean Square Regression 1 20.956004 20.956004 Residuals 20 1.382742 .069137 F = 303.10787 Signif F = .0000 - Variables in the Equation - Variable B SE B Beta T Sig T Time .153837 .0

21、08836 .968556 17.410 .0000 (Constant) 12.521790 1.751183 7.150 .0000 The following new variables are being created: Name Label FIT_6 Fit for X4 from CURVEFIT, MOD_6 EXPONENTIAL 1 new cases have been added.,64,四、二項(xiàng)Logistic回歸分析,65,二項(xiàng)Logistic 回歸分析用途,適用于進(jìn)行二分類因變量的影響因素分析 用于控制混雜因素，描述自變量對(duì)因變量的獨(dú)立作用下的影響程度 用于預(yù)測(cè)

22、或判別分析,66,與線性回歸的不同之處,被解釋變量為0/1二分類定性變量時(shí)，不適合線性回歸模型分析： 被解釋變量取值范圍不一致 殘差為二值離散型分布而非正態(tài)分布 等方差性不再滿足,67,二項(xiàng)Logistic回歸模型擬合思路,將yi=1的概率值直接擬合線性回歸模型：Py=1=0+ixi 可對(duì)概率P值做變量變換，使之取值范圍為- + 解釋變量與被解釋變量概率值的實(shí)際關(guān)系一般呈增長(zhǎng)曲線 發(fā)生比（Odds）=p/(1-p) Logit P轉(zhuǎn)換: ln() = ln(p/(1-p) = 0+ixi,68,二項(xiàng)Logistic回歸模型中回歸系數(shù)的含義,i為解釋變量增加一個(gè)單位時(shí), ln()的變化量 經(jīng)變換

23、，= exp(0+ixi) 固定其他變量,研究變量x1的作用 exp(i)稱為固定其他變量的作用時(shí),變量xi增加一個(gè)單位引起的發(fā)生比之比(Odds Ratio,OR).,69,Logistic模型的參數(shù)估計(jì),最大似然估計(jì)法，通過最大化對(duì)數(shù)似然值(log likelihood)估計(jì)參數(shù)。 最大似然估計(jì)法是一種迭代算法，它以一個(gè)預(yù)測(cè)估計(jì)值作為參數(shù)的初始值，根據(jù)算法確定能增大對(duì)數(shù)似然值的參數(shù)的方向和變動(dòng)。估計(jì)了該初始函數(shù)后，對(duì)殘差進(jìn)行檢驗(yàn)并用改進(jìn)的函數(shù)進(jìn)行重新估計(jì)，直到收斂為止（即對(duì)數(shù)似然不再顯著變化）。,70,常用的檢驗(yàn)統(tǒng)計(jì)量,-2 對(duì)數(shù)似然值(-2Log Likelihood，-2LL) 似然(

24、likelihood)即概率，反映該模型能較好地?cái)M合樣本數(shù)據(jù)的可能性。 對(duì)數(shù)似然值(log likelihood，LL)是它的自然對(duì)數(shù)形式，取值在0 至-之間。對(duì)數(shù)似然值通過最大似然估計(jì)的迭代算法計(jì)算而得。LL最大為0，越大意味著回歸方程的擬合程度越好。因?yàn)閿?shù)學(xué)上較方便，常計(jì)算-2LL。,71,比分檢驗(yàn)（Score Test）：以未包含某個(gè)（或幾個(gè)）參數(shù)的模型為基礎(chǔ)，保留模型中參數(shù)的估計(jì)值，并假設(shè)新增加的參數(shù)為0，計(jì)算似然函數(shù)的一階偏導(dǎo)數(shù)及信息矩陣，二者乘積即為比分檢驗(yàn)統(tǒng)計(jì)量S，樣本量大時(shí)，S服從卡方分布，比分檢驗(yàn)結(jié)果一般與似然比檢驗(yàn)一致。,72,回歸方程的顯著性檢驗(yàn) 似然比卡方檢驗(yàn),H0:各

25、回歸系數(shù)同時(shí)為0 檢驗(yàn)統(tǒng)計(jì)量:似然比卡方服從近似卡方分布 L0為解釋變量未引入方程時(shí)的對(duì)數(shù)似然函數(shù)值, L為解釋變量引入方程后的對(duì)數(shù)似然函數(shù)值.,73,回歸方程的擬合優(yōu)度檢驗(yàn),回歸方程能夠解釋的被解釋變量變異程度越高,擬合優(yōu)度越高. Cox & Snell R2統(tǒng)計(jì)量= 1-(L0/L)2/n Naglkerke R2= Cox & Snell R2/(1-(L0)2/n)，取值01 回歸方程預(yù)測(cè)值與實(shí)際值之間的吻合程度,總體預(yù)測(cè)準(zhǔn)確率越高,擬合優(yōu)度越高. 錯(cuò)判矩陣 Hosmer-Lemeshow統(tǒng)計(jì)量服從n-2個(gè)自由度的卡方分布:當(dāng)自變量較多且多為連續(xù)性變量時(shí) 殘差分析,74,回歸系數(shù)的顯著性檢驗(yàn),H0:i=0 檢驗(yàn)統(tǒng)計(jì)量:Wald統(tǒng)計(jì)量