《SPSS數據分析教程》 ——回歸分析

1、SPSS數據分析教程 回歸分析本章學習目標 n掌握線性回歸分析的基本概念n掌握線性回歸的前提條件并能進行驗證n掌握線性回歸分析結果的解釋n掌握多重共線性的判別和處理n能用線性回歸模型進行預測回歸分析的基本概念什么是回歸分析n回歸分析是研究變量之間相關關系的一種統(tǒng)計方法 n如果兩個變量之間的Pearson相關系數絕對值較大，從散點圖看出變量間線性關系顯著，那么下一步就是應用回歸分析的方法來找出變量之間的線性關系。n例如，房屋的價格和房屋的面積，地理位置，房齡和房間的個數都有關系。又比如，香煙的銷量和許多地理和社會經濟因素有關，像消費者的年齡，教育，收入，香煙的價格等?；貧w方程n回歸關系一般用下列

2、方程表示qY=f(X1,X2,Xp)+ ()qY被稱作因變量，或者響應變量；而X1,X2,Xp稱作自變量、控制變量、解釋變量或者預測變量；而f(.)則稱為回歸函數， 為隨機誤差或隨機干擾，它是一個分布與自變量無關的隨機變量，我們常假定它是均值為0的正態(tài)變量。回歸分析的分類n根據回歸函數的形式，回歸分析可以分為線性回歸和非線性回歸：q線性回歸： Y= 0 +1 X1+2 X2 + +p Xp + (y)n非線性回歸 如果預測變量和響應變量之間有上頁()所示的關系，但是不能表示為(y)所示的線性方程的形式，我們稱該回歸關系為非線性回歸。 回歸術語n對于有一個響應變量的線性回歸，當p=1時，我們稱為

3、簡單線性回歸(Simple Linear Regression，或稱為一元線性回歸)，當 p2 時我們稱為多元線性回歸(Multiple Linear Regression)。 回歸和相關分析n回歸分析是在相關分析的基礎上，確定了變量之間的相互影響關系之后，準確的確定出這種關系的數量方法。因此，一般情況下，相關分析要先于回歸分析進行，確定出變量間的關系是線性還是非線性，然后應用相關的回歸分析方法。在應用回歸分析之前，散點圖分析是常用的探索變量之間相關性的方法。應用回歸分析的步驟q步驟1：寫出研究的問題和分析目標q步驟2：選擇潛在相關的變量q步驟3：收集數據q步驟4：選擇合適的擬合模型q步驟5：

4、模型求解q步驟6：模型驗證和評價q步驟7：應用模型解決研究問題簡單線性回歸 n簡單線性回歸的形式為：qY = 0 +1 X +q其中變量X為預測變量，它是可以觀測和控制的；Y為因變量或響應變量，它為隨機變量； 為隨機誤差。q通常假設 N(0,2)，且假設與X無關?；貧w模型的主要問題n進行一元線性回歸主要討論如下問題：(1) 利用樣本數據對參數0, 1和2，和進行點估計，得到經驗回歸方程(2) 檢驗模型的擬合程度，驗證Y與X之間的線性相關的確存在，而不是由于抽樣的隨機性導致的。(3) 利用求得的經驗回歸方程，通過X對Y進行預測或控制。簡單回歸方程的求解 n我們希望根據觀測值估計出簡單回歸方程中的

5、待定系數0和1，它們使得回歸方程對應的響應變量的誤差達到最小，該方法即為最小二乘法。 也就是求解0和1，使得 達到最小。n把得到的解記為 ,則回歸方程為niiixy121010)(),(SXY1001n或者預測誤差為nSPSS在輸出回歸系數的估計值的同時還會給出回歸系數估計值的標準誤差值；SPSS 還可以給出預測值和各種預測誤差iix10y iiiyye 回歸方程擬合程度檢驗n回歸方程的檢驗也就是驗證兩個變量之間的線性關系的確在統(tǒng)計上顯著。一般進行如下的假設檢驗 ，它包括n 1）常數項的t檢驗 H0: 0 = 0 常數項的估計值的標準誤差為 檢驗統(tǒng)計量為： ).(.0es).(.000est回

6、歸系數顯著性檢驗n2）回歸系數的顯著性檢驗 H0: 1 =0檢驗統(tǒng)計量為：).(.111est回歸的三個平方和n我們把擬合值和真實值的差值的平方和稱為殘差平方和，記為SSE；把由于采用擬合回歸直線后預測值較采用響應變量均值提高的部分的平方和稱為回歸平方和，記為SSR；真實值和響應變量均值的平方和稱為總平方和，記為SST。決定系數R2n平方和定義n三者之間的關系為： SST = SSR +SSE R2 = SSR /SSTniiyySST12)(niiyySSR12)(niiiyySSE12)(R2的解釋n決定系數R2的大小反映了回歸方程能夠解釋的響應變量總的變差的比例，其值越大，回歸方程的擬合

7、程度越高。n一般情況下，隨著預測變量個數的增大，決定系數的值也變大，因此在多重回歸分析中，需要反映回歸方程中預測變量的個數，即引入了調整的決定系數。 回歸模型的顯著性的F檢驗n總平方和SST反映因變量Y的波動程度或者不確定性，在建立了Y對X的回歸方程后，總平方和SST分解成回歸平方和SSR與參差平方和SSE兩部分。其中SSR是由回歸方程確定的，SSE是不能由自變量X解釋的波動，是由X之外的未加控制的因素引起的。這樣，SST中能夠由自變量解釋的部分為SSR，不能由自變量解釋的部分為SSE。這樣回歸平方和越大，回歸的效果越好，據此構造F檢驗統(tǒng)計量殘差均方回歸均方MSEMSRnSSESSRpnSSE

8、pSSRF)2/(1/) 1/(/nSPSS在回歸輸出結果的ANOVA表中給出SSR，SSE，SST和F統(tǒng)計量的取值，同時給出F值的顯著性值（即p值）。用回歸方程預測n在一定范圍內，對任意給定的預測變量取值，可以利用求得的擬合回歸方程進行預測。其預測值為：nSPSS可以提供標準化的預測值和調整的預測值 0100 x簡單線性回歸舉例n一家計算機服務公司需要了解其用電話進行客戶服務修復的計算機零部件的個數和其電話用的時間的關系。經過相關分析，認為二者之間有顯著的線性關系。下面我們用線性回歸找到這兩個變量之間的數量關系。SPSS回歸分析n在SPSS中打開數據文件ComputerRepair.sav，

9、變量Units記錄了修復的零部件的個數；變量Minuts記錄了服務所占用的電話時間。n選擇【分析】【回歸】【線性】。把Units選入到自變量框中；把Minuts選入到因變量框中。其他選項保留默認值。SPSS回歸分析回歸分析的結果及其解釋擬合優(yōu)度檢驗多元線性回歸 n實際應用中，很多情況要用到多個預測變量才能更好地描述變量間的關系，如果這些預測變量在預測方程中的系數為線性，那么回歸方程稱為多元線性回歸方程。就方法的實質來說，處理多個預測變量的方法與處理一個預測變量的方法基本相同。多元線性回歸的模型 n多元線性回歸的模型為： Y = 0 +1 X1 + 2 X2 + +p Xp +n回歸系數的估計和

10、簡單線性回歸一樣，仍然應用最小二乘法回歸方程的顯著性檢驗 與一元的情形一樣，上面的討論是在響應變量Y與預測變量X之間呈現線性相關的前提下進行的，所求的經驗方程是否有顯著意義，還需對X與Y間是否存在線性相關關系作顯著性假設檢驗，與一元類似，回歸方程是否有顯著意義，需要對回歸參數0,1,p進行檢驗。n檢驗每個回歸系數是否顯著 H0:i =0, i=0,1,2, p 這里和一元線性回歸的檢驗一樣，檢驗統(tǒng)計量為t統(tǒng)計量。n檢驗所有回歸系數都不顯著,即 H0:0 =1=p 這里的檢驗統(tǒng)計量為MSEMSRpnSSEpSSRF) 1/(/n F檢驗的 被拒絕，并不能說明所有的自變量都對因變量Y有顯著影響，我

11、們希望從回歸方程中剔除那些統(tǒng)計上不顯著的自變量，重新建立更為簡單的線性回歸方程，這就需要對每個回歸系數做顯著性檢驗。n 即使所有的回歸系數單獨檢驗統(tǒng)計上都不顯著，而F檢驗有可能顯著，這時我們不能夠說模型不顯著。這時候，尤其需要仔細對數據進行分析，可能分析的數據有問題，譬如共線性等。0H調整的R2n隨著自變量個數的增多，不管增加的自變量是否和因變量的關系密切與否，R方都會增大；調整的R方是根據回歸方程中的參數的個數進行調整的R方，它對參數的增多進行懲罰，調整R方它沒有直觀的解釋意義，它的定義為)1 (111) 1/(SST) 1/(-122RpnnnpnSSER調整應用舉例n數據文件perfor

12、mance.sav記錄了一項企業(yè)心理學研究的數據。它調查了一個大型金融機構的雇員，記錄了他們和主管的交互情況的評價和對主管的總的滿意情況。我們希望該調查來了解主管的某些特征和對他們的總的滿意情況的相互關系。n打開數據文件performance.sav，選擇【分析】【回歸】【線性】，如圖8-3所示。把變量Y選入到因變量框中，把變量X1到X6選入到自變量框中，其他選項保留默認值。單擊【確定】。結果及其解釋n“t”列記錄了各回歸系數t檢驗的t統(tǒng)計量，而Sig.列記錄了相應的顯著性值。這里，只有X1和X3的顯著性值小于0.1，注意到回歸方程的常數項也不顯著。然而，大部分情況下不顯著的預測變量都要從回歸方程中移除，而回歸常數代表了響應變量的基本水平，不管顯著與否，大部分情況都保留在回歸方程中。因此，我們可以僅僅考慮Y和X1、X3之間的關系而忽略其他預測變量。簡約回歸模型簡約回歸模型結果及解釋動手練習數據文件world95.sav記錄了1995年統(tǒng)計的各個國家的生育率(fertility)和婦女的平均預期壽命（