SPSS相關(guān)與回歸.ppt

1、1,一、相關(guān)分析 內(nèi)容： 相關(guān)關(guān)系的圖形展示：散點圖（Scatter） 雙變量簡單相關(guān)分析：Bivariate Correlations 偏相關(guān)分析:Partial Correlations,第七節(jié) SPSS相關(guān)與回歸,2,一、相關(guān)分析散點圖,散點圖：以散在數(shù)據(jù)點的圖形分布直觀顯示變量間的密切程度。 操作：GraphsScatter 選擇散點圖類型 Simple：簡單散點圖，表示一對變量間關(guān)系。 Overlay：重疊散點圖，表示多對變量間關(guān)系。 Matrix：矩陣散點圖，表示多個變量間的兩兩相關(guān)。 3-D：三維散點圖，表示三個變量間的相互關(guān)系。,3,4,5,Scatter-simple,6,S

2、catter-overlay,7,Scatter-matrix,8,Scatter-3D,9,二、兩變量簡單相關(guān)分析,H0：兩總體不相關(guān)； 選擇相關(guān)系數(shù)類型； 計算系數(shù)和相應(yīng)檢驗的概率P值； 統(tǒng)計結(jié)論和結(jié)果解釋。 注：由于抽樣數(shù)據(jù)總存在抽樣誤差，所以樣本中兩變量間相關(guān)系數(shù)不為0， 不能說明總體中兩個變量間的相關(guān)系數(shù)不是0，也不能保證實際中這兩個變量不相關(guān)。因此相關(guān)分析必須通過檢驗。,10,相關(guān)系數(shù),相關(guān)系數(shù)是描述兩個變量間的線性關(guān)系程度和方向的統(tǒng)計量，以數(shù)值形式精確反映兩變量間相關(guān)的強(qiáng)弱程度。 相關(guān)系數(shù)r：-11。 r0,正相關(guān)；r0.7,線性關(guān)系較強(qiáng)；0.3,線性關(guān)系較弱。,11,相關(guān)系數(shù)類

3、型一,Pearson相關(guān)系數(shù) r的檢驗統(tǒng)計量 適用于呈雙變量正態(tài)分布的連續(xù)變量間的相關(guān)分析。如：身高與體重,12,相關(guān)系數(shù)類型二,Spearman等級相關(guān)系數(shù)：度量定序變量間的相關(guān)關(guān)系。它的計算采用兩變量的秩(Ui,Vi)代替原始變量值(xi,yi)代入上述公式，可簡化為 檢驗統(tǒng)計量 適用于完全等級化的離散變量之間的等級相關(guān)分析。如職稱與收入等級。,13,相關(guān)系數(shù)類型三,Kendall tal b系數(shù)：也用來度量定序變量間的相關(guān)關(guān)系。計算是基于變量秩的同序?qū)Γ║）和異序?qū)?shù)目（V）。 Kendall 等級相關(guān)計算分類變量間的秩相關(guān)， 當(dāng)資料不服從雙變量正態(tài)分布或總體分布型未知,或原始數(shù)據(jù)是用等

4、級表示時宜用Spearman 或Kendall相關(guān).,14,SPSS基本操作,AnalyzeCorrelateBivariate Variable：選擇進(jìn)行相關(guān)分析的變量 Correlation Coefficents：選擇相關(guān)系數(shù)類型 Test of Significance:選擇檢驗的雙尾或單尾P值。 Flag significance correlations:星號標(biāo)記變量間相關(guān)性是否顯著。,15,舉例,打開相關(guān)回歸分析高校科研研究，研究高校課題總數(shù)與投入的高級職稱人年數(shù)、發(fā)表的論文數(shù)（去年）之間是否具有線性相關(guān)關(guān)系。,16,三、偏相關(guān)分析,分析兩個變量間線性關(guān)系的程度往往因為第三個變量

5、的作用，使得簡單相關(guān)系數(shù)不能真實地反映兩個變量間的線性相關(guān)程度。 偏相關(guān)分析：就是在研究兩個變量之間的線性相關(guān)關(guān)系時，控制可能對其產(chǎn)生影響的變量。 偏相關(guān)系數(shù)：衡量任何兩個變量之間的關(guān)系而使與這兩個變量有聯(lián)系的其他變量都保持不變時所得到的相關(guān)系數(shù)。當(dāng)控制變量個數(shù)為n時稱 n階偏相關(guān)系數(shù)，故零階偏相關(guān)系數(shù)即簡單相關(guān)系數(shù)； Partial 計算兩個變量間在控制了其他變量影響下的相關(guān)系數(shù),即偏相關(guān)系數(shù). 例如商品需求量和價格、消費者收入三者之間的關(guān)系。,17,一階偏相關(guān)系數(shù)的計算及檢驗,控制x2的線性作用后，x1與y的一階偏相關(guān)系數(shù)為 偏相關(guān)系數(shù)的檢驗統(tǒng)計量,18,操作：AnalyzeCorrela

6、tePartial,19,回歸分析概述,回歸分析：是研究變量之間數(shù)量依存關(guān)系的一種統(tǒng)計分析方法，可以把握因變量受一個或多個自變量影響的程度，并可利用回歸方程進(jìn)行預(yù)測和控制。 回歸分析的任務(wù)：建立回歸方程。 用途：考察影響因素；預(yù)測與控制,20,1. 相關(guān)與回歸的關(guān)系,相關(guān)：反映變量間線性關(guān)系的密切程度（點的疏密） 回歸：反映自變量取值大小對因變量取值的影響程度（斜率大?。?21,2. 回歸分析的一般步驟,確定回歸分析的自變量（解釋變量）和因變量（被解釋變量） 確定回歸模型 建立回歸方程 對回歸方程進(jìn)行檢驗 利用回歸方程進(jìn)行預(yù)測,22,3. SPSS的回歸菜單,線性回歸（Linear）：簡單線性

7、回歸和多元線性回歸 非線性回歸：Curve Estimation和Nonlinear Regression Logistic回歸：適用于應(yīng)變量為分類變量的情況。分為二分類、多分類Logistic過程。 其他回歸方法：線性回歸的前提假設(shè)不滿足時的補(bǔ)充方法。 主要介紹1和3,23,二、線性回歸模型,線性回歸分析：是描述一個因變量(dependent variable)Y 與一個或多個自變量(independent variable)X 間的線性依存關(guān)系，根據(jù)自變量數(shù)目的不同可分為一元線性回歸和多元線性回歸。 數(shù)學(xué)模型 實際擬合的線性回歸方程為第一個模型；第二個為變量個體具體取值的模型，其中殘差滿足

8、：E()=0; var()= 2,24,示例：一元線性回歸,打開相關(guān)回歸分析高?？蒲袛?shù)據(jù), 利用線性回歸分析投入人年數(shù)對立項課題總數(shù)的影響。,25,1. 前提條件,線性趨勢：因變量與自變量是線性相關(guān)的。 獨立性：因變量y的取值相互獨立 正態(tài)性： 對于自變量的每一組合，y服從正態(tài)分布 方差齊性：對于自變量的每一組合， y的方差均相同 樣本量要求：希望分析的自變量個數(shù)的20倍以上。,26,2. 基本概念,一元線性回歸：y*=0+1x。 0 稱為截距，回歸方程的常數(shù)項；1為回歸直線的斜率，也稱回歸系數(shù)。 模擬方法為最小二乘法：即保證各實測點距回歸直線的縱向距離的平方和（殘差平方和：(yi- yi*)

9、2）為最小。 多元線性回歸： y*=0+1x1 +.+jxj,27,其他常用指標(biāo),偏回歸系數(shù)：即, SPSS中表示為B,反映相應(yīng)自變量上升一個單位時，因變量取值的變化幅度。 標(biāo)化偏回歸系數(shù)： SPSS中用Beta表示，是將自變量進(jìn)行標(biāo)準(zhǔn)化變換所得的分析結(jié)果，可直接用以比較各個自變量對因變量的影響程度。 決定系數(shù)：即復(fù)(或簡單)相關(guān)系數(shù)的平方，用R2表示，反映因變量變異中能被回歸模型所解釋的比例。,28,3. 一般分析步驟,前提條件預(yù)分析：首先應(yīng)做出變量間散點圖，觀察變量間是否存在線性趨勢。 線性回歸模型的建立 進(jìn)行模型檢驗 殘差分析 強(qiáng)影響點的診斷 多重共線性的判斷。,29,. 前提條件預(yù)分析

10、-線性趨勢考察,圖1 基本呈線性,可進(jìn)行線性回歸分析 圖2 曲線關(guān)系 圖3 異常點須考察 圖4 異常點須特別關(guān)注,30,. 線性回歸模型的建立,變量的初篩：專業(yè)篩選；單因素篩選；計算機(jī)自動篩選 計算機(jī)變量選擇方法的確定： Forward前進(jìn)法：是自變量不斷進(jìn)入回歸方程的過程；首先進(jìn)入的變量具有最高的線性相關(guān)系數(shù)。 Backward后退法：是變量不斷剔除出方程的過程，首先剔除的是t檢驗值最小的一個。 Stepwise逐步回歸：是上述二者的結(jié)合。 Remove：一次剔除一個Block，余同后退法。 Enter強(qiáng)制進(jìn)入法：自變量全部納入模型,31,. 模型的檢驗,模型擬合優(yōu)度的檢驗: 決定系數(shù)R2,

11、 檢驗樣本數(shù)據(jù)點聚集在回歸線周圍的密集程度。但其大小受模型中自變量個數(shù)的影響，可檢驗一元線性回歸模型擬合的優(yōu)度 調(diào)整R2:修正了模型自變量個數(shù)P對R2的影響?？捎糜诙嘣€性回歸模型的擬合優(yōu)度檢驗。,32,回歸方程的顯著性檢驗：檢驗應(yīng)變量與所有自變量的線性關(guān)系是否顯著，F(xiàn)=回歸均方/誤差均方。 回歸系數(shù)的顯著性檢驗：檢驗總體偏回歸系數(shù)i是否等于0， 在一元線性回歸中，F(xiàn)=t2 在多元線性回歸中， Fch =ti2 ,偏F統(tǒng)計量為某個自變量引入方程后使得回歸方程F統(tǒng)計量改善的程度.,33,例子,打開“高?？蒲醒芯俊?，分析影響立項課題數(shù)的可能因素。,34,. 殘差分析,殘差（）的正態(tài)性分析：圖示法及

12、一些相關(guān)指標(biāo)。 殘差的獨立性分析 繪制殘差序列圖 殘差的自相關(guān)系數(shù) DW（Durbin-Watson）檢驗殘差總體自相關(guān)系數(shù)與0是否有顯著差異,35,Durbin-Watson 檢驗：診斷回歸模型中的誤差項的獨立性，其參數(shù)稱為DW 或D， D 的取值范圍是0D4 ，它的統(tǒng)計學(xué)意義如下： 當(dāng)殘差序列無自相關(guān)時，D 2 當(dāng)殘差序列為負(fù)自相關(guān)時，2D4 當(dāng)殘差序列為正自相關(guān)時，0D2,36,殘差圖示法：在直角坐標(biāo)系中以y預(yù)測值為橫軸,以標(biāo)準(zhǔn)化殘差(或?qū)W生化殘差) 繪制殘差的散點圖，如果散點呈現(xiàn)出明顯的規(guī)律性，則認(rèn)為存在自相關(guān)性、或非線性、異方差的問題 如果散點呈現(xiàn)隨機(jī)分布，認(rèn)為自相關(guān)存在的可能性不大

13、，獨立性假設(shè)成立。,37,異方差的處理 方差穩(wěn)定性變量變換； 加權(quán)最小二乘法等,38,. 強(qiáng)影響點的診斷,樣本中的異常值和強(qiáng)影響點是指遠(yuǎn)離均值的數(shù)據(jù)點。 探測因變量的異常值：標(biāo)準(zhǔn)化殘差、學(xué)生化殘差、剔除殘差；絕對值3的觀測為異常值。 探測自變量中強(qiáng)影響點：杠桿值,hij大于2或3倍的平均值即為異常；庫克距離1為異常；標(biāo)準(zhǔn)化回歸系數(shù)和標(biāo)準(zhǔn)化預(yù)測值的變化；,39,強(qiáng)影響點的處理方法,去除強(qiáng)影響點的記錄 變量變換 非參數(shù)分析 最小一乘法 加權(quán)最小二乘法,40,. 多重共線性的判斷,多重共線性是指自變量之間存在近似的線性關(guān)系。特征為： 偏回歸系數(shù)與回歸方程的檢驗矛盾 偏回歸系數(shù)與專業(yè)常識矛盾 去掉一兩

14、個變量或記錄，回歸系數(shù)值強(qiáng)烈變動。 診斷方法： 容忍度(Toli=1-Ri2)：Ri2是自變量xi與其他自變量間的決定系數(shù)。 方差膨脹因子（VIF=1/Toli）10，表明共線性嚴(yán)重 特征根：最大特征根遠(yuǎn)遠(yuǎn)大于其他特征根，說明自變量間有大量的信息重疊。 條件指數(shù)ki=SQRT（ m / i ）：10，表明存在共線性。,41,多重共線性的對策,增加樣本量 去除某些共線性因子 主成分分析：提取主成分代入回歸方程 嶺回歸分析（Ridge Regression） 通徑分析,42,4. 基本操作:Analyze-Regression-Linear,Dependent:因變量 Independent:自變

15、量 Method:自變量篩選方法,默認(rèn)為Enter Block:不同變量有不同篩選方法時可定義Block Selection Variable:變量值滿足條件的樣本才參與分析. Case Labels:指定圖示中數(shù)據(jù)點的標(biāo)志變量,43,44,45,46,47,48,49,對于呈非線性關(guān)系的變量之間的統(tǒng)計關(guān)系進(jìn)行大體估計（但經(jīng)變量變換可轉(zhuǎn)化為線性關(guān)系本質(zhì)線性關(guān)系）。 繪制擬合曲線并進(jìn)行預(yù)測。 做為線性回歸分析的預(yù)分析步驟：選擇變量變換的方法。,三、曲線估計,50,常用的幾種非線性模型,（一）拋物線模型(二次曲線模型) 具體形式為： 式中0、1 和2 為待估計參數(shù)。 判斷某種現(xiàn)象是否適合應(yīng)用拋物線

16、，可以利用“差分法”。其步驟如下：首先將樣本觀察值按X 的大小順序排列，然后按以下兩式計算X 和Y 的一階差分Xt、Yt 以及Y 的二階差分Y2t。 Xt=Xt-Xt-1; Yt=Yt-Yt-1 Y2t=Yt-Yt-1 當(dāng)Xt 接近于一常數(shù)，而Y2t 的絕對值接近于常數(shù)時，Y 與X 之間的關(guān)系可以用拋物線模型近似加以反映。,51,（二）雙曲線模型,假如Y 隨著X 的增加而增加（或減少），最初增加（或減少）很快，以后逐漸放慢并趨于穩(wěn)定，則可以選用雙曲線來擬合。雙曲線模型形式是： Y=0+1 (1/X) +,52,（三）冪函數(shù)模型,冪函數(shù)模型的一般形式是： 這類函數(shù)的優(yōu)點在于：方程中的參數(shù)可以直接

17、反映因變量Y 對于某一個自變量的彈性。 所謂Y 對于Xj 的彈性，是指在其他情況不變的條件下，Xj 變動時所引起Y 變動的百分比。 彈性是一個無量綱的數(shù)值，它是經(jīng)濟(jì)定量分析中常用的一個尺度。它在生產(chǎn)函數(shù)分析和需求函數(shù)分析中，得到了廣泛的應(yīng)用。,53,（四）指數(shù)函數(shù)模型,指數(shù)函數(shù)模型為： 這種曲線被廣泛應(yīng)用于描述社會經(jīng)濟(jì)現(xiàn)象的變動趨勢。例如產(chǎn)值、產(chǎn)量按一定比率增長,成本、原材料消耗按一定比例降低。,54,(五)邏輯曲線模型,邏輯曲線的方程式如下： 邏輯曲線具有以下性質(zhì)。Y 是X 的非減函數(shù)，開始時隨著X 的增加，Y 的增長速度也逐漸加快，但是Y 達(dá)到一定水平之后， 其增長速度又逐漸放慢。最后無論

18、X 如何增加，Y 只會趨近于L,而永遠(yuǎn)不會超過L。,55,可擬合的曲線,本質(zhì)線性關(guān)系：形式上呈非線性關(guān)系，但可通過變量變換化為線性關(guān)系。 擬合原則：一般來說，涉及的變量越多，變量的冪次越高，計算量就越大，誤差也將越大。一般盡量避免采用多元高次多項式。 能擬合的曲線見下頁,56,57,基本操作：AnalyzeRegressionCurve Estimation,58,Independent: X2 Dependent Mth Rsq d.f. F Sigf b0 b1 b2 b3 X5 QUA .987 10 382.64 .000 252.698 -.1475 2.5E-05 X5 CUB .

19、994 9 516.46 .000 -41.314 .0754 -2.E-05 2.6E-09 X5 COM .995 11 2086.35 .000 20.9550 1.0004 X5 POW .954 11 229.58 .000 3.6E-05 1.8460,59,60,舉例,打開年人均消費支出和教育數(shù)據(jù)，對居民在外就餐的趨勢進(jìn)行分析,預(yù)測2003年和2004年度的居民在外就餐的費用。,61,操作：GraphsSequence,62,63,Dependent variable. X4 Method. EXPONENT Listwise Deletion of Missing Data M

20、ultiple R .96856 R Square .93810 Adjusted R Square .93501 Standard Error .26294 Analysis of Variance: DF Sum of Squares Mean Square Regression 1 20.956004 20.956004 Residuals 20 1.382742 .069137 F = 303.10787 Signif F = .0000 - Variables in the Equation - Variable B SE B Beta T Sig T Time .153837 .0

21、08836 .968556 17.410 .0000 (Constant) 12.521790 1.751183 7.150 .0000 The following new variables are being created: Name Label FIT_6 Fit for X4 from CURVEFIT, MOD_6 EXPONENTIAL 1 new cases have been added.,64,四、二項Logistic回歸分析,65,二項Logistic 回歸分析用途,適用于進(jìn)行二分類因變量的影響因素分析 用于控制混雜因素，描述自變量對因變量的獨立作用下的影響程度 用于預(yù)測

22、或判別分析,66,與線性回歸的不同之處,被解釋變量為0/1二分類定性變量時，不適合線性回歸模型分析： 被解釋變量取值范圍不一致 殘差為二值離散型分布而非正態(tài)分布 等方差性不再滿足,67,二項Logistic回歸模型擬合思路,將yi=1的概率值直接擬合線性回歸模型：Py=1=0+ixi 可對概率P值做變量變換，使之取值范圍為- + 解釋變量與被解釋變量概率值的實際關(guān)系一般呈增長曲線 發(fā)生比（Odds）=p/(1-p) Logit P轉(zhuǎn)換: ln() = ln(p/(1-p) = 0+ixi,68,二項Logistic回歸模型中回歸系數(shù)的含義,i為解釋變量增加一個單位時, ln()的變化量 經(jīng)變換

23、，= exp(0+ixi) 固定其他變量,研究變量x1的作用 exp(i)稱為固定其他變量的作用時,變量xi增加一個單位引起的發(fā)生比之比(Odds Ratio,OR).,69,Logistic模型的參數(shù)估計,最大似然估計法，通過最大化對數(shù)似然值(log likelihood)估計參數(shù)。 最大似然估計法是一種迭代算法，它以一個預(yù)測估計值作為參數(shù)的初始值，根據(jù)算法確定能增大對數(shù)似然值的參數(shù)的方向和變動。估計了該初始函數(shù)后，對殘差進(jìn)行檢驗并用改進(jìn)的函數(shù)進(jìn)行重新估計，直到收斂為止（即對數(shù)似然不再顯著變化）。,70,常用的檢驗統(tǒng)計量,-2 對數(shù)似然值(-2Log Likelihood，-2LL) 似然(

24、likelihood)即概率，反映該模型能較好地擬合樣本數(shù)據(jù)的可能性。 對數(shù)似然值(log likelihood，LL)是它的自然對數(shù)形式，取值在0 至-之間。對數(shù)似然值通過最大似然估計的迭代算法計算而得。LL最大為0，越大意味著回歸方程的擬合程度越好。因為數(shù)學(xué)上較方便，常計算-2LL。,71,比分檢驗（Score Test）：以未包含某個（或幾個）參數(shù)的模型為基礎(chǔ)，保留模型中參數(shù)的估計值，并假設(shè)新增加的參數(shù)為0，計算似然函數(shù)的一階偏導(dǎo)數(shù)及信息矩陣，二者乘積即為比分檢驗統(tǒng)計量S，樣本量大時，S服從卡方分布，比分檢驗結(jié)果一般與似然比檢驗一致。,72,回歸方程的顯著性檢驗 似然比卡方檢驗,H0:各

25、回歸系數(shù)同時為0 檢驗統(tǒng)計量:似然比卡方服從近似卡方分布 L0為解釋變量未引入方程時的對數(shù)似然函數(shù)值, L為解釋變量引入方程后的對數(shù)似然函數(shù)值.,73,回歸方程的擬合優(yōu)度檢驗,回歸方程能夠解釋的被解釋變量變異程度越高,擬合優(yōu)度越高. Cox & Snell R2統(tǒng)計量= 1-(L0/L)2/n Naglkerke R2= Cox & Snell R2/(1-(L0)2/n)，取值01 回歸方程預(yù)測值與實際值之間的吻合程度,總體預(yù)測準(zhǔn)確率越高,擬合優(yōu)度越高. 錯判矩陣 Hosmer-Lemeshow統(tǒng)計量服從n-2個自由度的卡方分布:當(dāng)自變量較多且多為連續(xù)性變量時 殘差分析,74,回歸系數(shù)的顯著性檢驗,H0:i=0 檢驗統(tǒng)計量:Wald統(tǒng)計量