多元回歸分析的原理與應用

關于多元回歸分析的原理與應用第一頁，共四十二頁，編輯于2023年，星期日2提綱多元回歸分析的統(tǒng)計原理多元回歸分析在心理學研究中的應用第二頁，共四十二頁，編輯于2023年，星期日31多元回歸分析(regression)的統(tǒng)計原理回歸分析的含義回歸分析的分類一元線性回歸多元線性回歸在SPSS中如何做多元回歸分析第三頁，共四十二頁，編輯于2023年，星期日41.1回歸分析的含義客觀世界中事物之間的關系是各種各樣的。從定量的角度看，主要有兩種：一是確定性關系，如重力加速度，即自由落體的距離與時間：S=0.5gt2；另一類是不確定性關系，即相關關系。由于事物的變化常常受多種因素的影響，導致了事物變化的不確定性。人們常用相關系數(shù)來描述事物之間的這種不確定性程度。但對于如何通過一個事物的值去估計和預測另一個事物的發(fā)展變化，相關系數(shù)卻無能為力。但是，通過大量的實際調(diào)查，可以總結出它們之間的關系，回歸分析即是對這種關系的描述。第四頁，共四十二頁，編輯于2023年，星期日51.1回歸分析的含義“回歸”一詞最早由英國統(tǒng)計學家高爾頓（FrancisGalton）在19世紀末期研究孩子的身高和他們父母身高關系時提出。研究發(fā)現(xiàn)，孩子的身高總是趨于他們父母身高的平均值。孩子的身高，比身材矮的父母要高，比身材高的父母要矮，這種趨于中間值的趨勢稱作“回歸效應”，而他提出的這種研究兩個數(shù)值變量關系的方法稱作回歸分析。第五頁，共四十二頁，編輯于2023年，星期日61.1回歸分析的含義含義：是借助數(shù)學模型對客觀世界所存在的事物間的不確定關系的一種數(shù)量化描寫，即通過一個或幾個變量的變化去解釋另一變量的變化。目的：在于對相關隨機變量進行估計、預測和控制，確定變這些量之間數(shù)量關系的可能形式，并用一個數(shù)學模型來表示。第六頁，共四十二頁，編輯于2023年，星期日7XYXY????????

自變量(independentvariable)：解釋變量，給定的或可以控制的、用來解釋、預測因變量的變量。

因變量(dependentvariable)：響應變量，由自變量來解釋其變化的變量。在回歸分析中：第七頁，共四十二頁，編輯于2023年，星期日81.1回歸分析的含義數(shù)學模型：y=f(x1,x2,x3,…,xi)+模型的基本含義：因變量y受到兩部分自變量的影響，即：已知的K個自變量x1,x2,x3,…,xi的影響；一些未知因素或隨機因素的影響。對于K個已知自變量的影響，設想可以通過函數(shù)f(x1,x2,x3,…,xi)來表示，而剩下的將由那些未知因素或隨機因素的影響確定，將這些影響的結果記為，稱為隨機誤差。對于每一組實際觀察獲得的值yi，x1,x2,x3,…,xi就可以表示成:yi=f(x1,x2,x3,…,xi)+

第八頁，共四十二頁，編輯于2023年，星期日91.1回歸分析的含義對于自變量x1,x2,x3,…,xi的每一組確定的值，f(x1,x2,x3,…,xi)的值也是確定的；但由于是不確定的，所以，y也是不確定的，但在每一組確定的自變量之下，所有的服從均數(shù)為零的正態(tài)分布，因此，對于自變量的每一組確定的值，因變量也服從正態(tài)分布，其平均數(shù)就是f(x1,x2,x3,…,xi)，該公式即為回歸方程，記為：第九頁，共四十二頁，編輯于2023年，星期日10回歸分析按自變量個數(shù)分類一元回歸簡單回歸多元回歸復回歸按方程式特征分類線性回歸非線性回歸1.2回歸分析的分類第十頁，共四十二頁，編輯于2023年，星期日111.3一元線性回歸只有一個自變量的線性回歸叫一元線性回歸，也叫簡單回歸。與方差分析不同，在回歸分析中，“元”是指自變量，而不是指因變量。第十一頁，共四十二頁，編輯于2023年，星期日12總體的一元線性回歸模型：模型參數(shù)殘差假定：E()=0總體的一元線性回歸方程：第十二頁，共四十二頁，編輯于2023年，星期日13一元線性回歸方程的幾何意義一元線性回歸線的可能形態(tài)截距斜率：回歸系數(shù)1＞01＜01=0第十三頁，共四十二頁，編輯于2023年，星期日14樣本的一元線性回歸方程：(估計的回歸方程)總體未知參數(shù)以樣本統(tǒng)計量估計總體參數(shù)回歸系數(shù)第十四頁，共四十二頁，編輯于2023年，星期日15最小二乘法(Leastsquaresmethod):以極小化為目標，求估計方程的過程。殘差(Residual):e第十五頁，共四十二頁，編輯于2023年，星期日16最小二乘法因為一組數(shù)據(jù)可以有多條回歸直線，但是哪條最理想呢？想得到比較精確的回歸方程，必須使用最小二乘法。最小二乘法就是使誤差的平方和最小。誤差e就是殘差ε，e=y-y，其平方和為：

∑(y－y)2=∑(y-a-bx)2

要使誤差最小，只要分別對a、b求偏導數(shù)，使其＝0即可。第十六頁，共四十二頁，編輯于2023年，星期日17判定系數(shù)(Coefficientofdetermination):估計的回歸方程擬合優(yōu)度的度量，表明Y

的變異性能被估計的回歸方程解釋的部分所占比例的大小。是判定回歸方程有效性高低的指標r2當殘差平方和為0時，判定系數(shù)為1，為完全的擬合。當殘差平方和最大時，判定系數(shù)為0，為最差的擬合。判定系數(shù)第十七頁，共四十二頁，編輯于2023年，星期日18判定系數(shù)與相關系數(shù)第十八頁，共四十二頁，編輯于2023年，星期日19判定系數(shù)與相關系數(shù)從二者的計算公式可知，積差相關系數(shù)r的平方等于判定系數(shù)r2，即Y

的變異性能被估計的回歸方程解釋的部分所占比例的大小。如果r2=0.64,表明變量Y的變異中有64％是由變量X的變異引起的。所以，r2叫判定系數(shù)。第十九頁，共四十二頁，編輯于2023年，星期日201.4多元線性回歸(MultipleRegression)多元線性回歸，就是有多個自變量的線性回歸，也叫復回歸。其數(shù)學模型為：截距：常數(shù)項(constant)偏回歸系數(shù)：β誤差：殘差第二十頁，共四十二頁，編輯于2023年，星期日211.4多元線性回歸多元回歸分析的基本假設多元回歸方程及其顯著性檢驗篩選自變量的方法多元回歸方程有效性的判定第二十一頁，共四十二頁，編輯于2023年，星期日221.4.1多元回歸分析的基本假設相關存在性：就自變量X1，X2，X3，……XK的特殊組合而言，Y變量（單變量）是一個隨機變量，具有某種概率分配，有一定的平均數(shù)及變異數(shù)，各個變量之間都存在顯著相關關系。獨立性：每一個觀察值Y彼此間是統(tǒng)計獨立的，觀察值間沒有關聯(lián)，即非共線性。直線性：Y變量的平均數(shù)是變量X1，X2，X3，……XK間的線性函數(shù)，此線性函數(shù)關系即回歸方程。方差齊性：就X1，X2，X3，……XK任何一個組合而言，因變量Y的變異數(shù)均相同。正態(tài)性：就任何X1，X2，X3，……XK的線性組合而言，因變量Y的分配是正態(tài)的。第二十二頁，共四十二頁，編輯于2023年，星期日231.4.2多元回歸方程及其顯著性檢驗多元回歸的樣本與總體的回歸方程：第二十三頁，共四十二頁，編輯于2023年，星期日241.4.2多元回歸方程及其顯著性檢驗回歸方程的顯著性檢驗,就是檢驗樣本回歸方程的變量的線性關系是否顯著，即能否根據(jù)樣本來推斷總體回歸方程中的多個回歸系數(shù)中至少有一個不等于0，主要是為了說明樣本回歸方程的r2的顯著性。檢驗的方法：用方差分析，又叫回歸的方差分析。這時因變量Y的總變異被分解為回歸平方和與誤差平方和。F值等于回歸均方除以誤差均方。第二十四頁，共四十二頁，編輯于2023年，星期日251.4.2多元回歸方程及其顯著性檢驗多元回歸方程的求法依然與一元線性回歸一樣，只是在求多元線性回歸方程時，需要對自變量進行檢驗和篩選，剔除那些對因變量沒有影響或影響甚小，經(jīng)檢驗未達到顯著水平，不足以入選的自變量，以達到簡化變量間關系結構、簡化所求回歸方程的目的。第二十五頁，共四十二頁，編輯于2023年，星期日261.4.3篩選自變量的方法在建立回歸方程之前，任何自變量都可以作為進入方程的目標。但對于因變量而言，只有那些對因變量具有預測作用的自變量才能被選中。選擇的依據(jù)是對回歸系數(shù)做顯著性檢驗，只有能夠顯著地預測因變量的自變量才會被選擇進來。好的回歸方程不但方程顯著，而且每個自變量的偏回歸系數(shù)也顯著。選擇的方法主要兩大類，四種。第二十六頁，共四十二頁，編輯于2023年，星期日271.4.3篩選自變量的方法

探索性回歸：向前選擇法（forward）向后剔除法（backward）逐步回歸法（stepwise）

驗證性回歸（層次回歸）：人為地逐步增加變量（enter），根據(jù)理論假設決定。第二十七頁，共四十二頁，編輯于2023年，星期日28向前選擇(Forward)基本過程：首先將與因變量有最大正相關或最大負相關的變量進入方程，然后按假設H0：“進入方程的變量系數(shù)為零”進行F檢驗，檢驗的標準有兩個：

(1)只有當F檢驗顯著時（概率小于或等于概率），變量才能進入回歸方程F-to-enter-FIN。

(2)必須達到F統(tǒng)計量的最小值（一般意義上的顯著性檢驗），ProbabilityofF-to-enter-PIN。第二十八頁，共四十二頁，編輯于2023年，星期日29向前選擇(Forward)注意：隨著變量加入到方程中，殘差平方和變化的自由度在增加，使得第一種標準的顯著性水平依賴于方程中當前變量數(shù)。這意味著原來顯著的變量可能會隨著進入方程的變量數(shù)的增加而變得不顯著。第二十九頁，共四十二頁，編輯于2023年，星期日30向后選擇(Backward)基本過程：首先將所有變量納入到方程中，然后根據(jù)指定剔除的標準剔除不顯著的變量，標準有兩個：

(1)F移出法(F-to-remove-FOUR)(2)F最大概率移出(MaximumprobabilityofF-to-remove-POUT)第三十頁，共四十二頁，編輯于2023年，星期日31逐步選擇(Stepwise)基本過程：首先采用向前選擇的方式選擇第一個變量，若不滿足標準則終止選擇，按偏相關系數(shù)選擇下一個。同時，根據(jù)向后剔除的標準，考察已經(jīng)進入方程的變量是否應該剔除，直到?jīng)]有一個變量滿足移出標準，為防止變量重復進入和移出，F(xiàn)-進入判據(jù)必須大于F-剔除判據(jù)。第三十一頁，共四十二頁，編輯于2023年，星期日321.4.4多元回歸方程有效性的判定檢驗殘差方差齊性檢驗偏回歸系數(shù)與常數(shù)項的檢驗共線性問題的判別第三十二頁，共四十二頁，編輯于2023年，星期日33檢驗殘差回歸分析中誤差項（殘差）的基本假設：（1）誤差項的均值為零；（2）誤差項有固定的方差；（3）各次觀察的誤差相互獨立；（4）誤差服從正態(tài)分布。第三十三頁，共四十二頁，編輯于2023年，星期日34檢驗殘差看殘差圖：是以某種殘差為縱坐標，以其他指定的變量為橫坐標，滿足模型假設的殘差圖應當是呈水平帶狀；檢驗相鄰誤差項是否有序列相關：使用Durbin-Watson檢驗，DW介于1.2～2.8之間時可認為是獨立的。查找異常點(casewise)—Outlier，通常以超出3個殘差標準差的樣品為異常點。檢驗誤差正態(tài)的假設，一是看標準化殘差直方圖與正態(tài)曲線比較是否接近；二是看標準化殘差正態(tài)概率圖，與對角直線相比，若接近為正態(tài)。第三十四頁，共四十二頁，編輯于2023年，星期日35方差齊性檢驗方差齊性(varianceofhomogeneity)：指殘差的分布是常數(shù)，與預測變量或因變量無關。即殘差應隨機地分布在一條穿過0點的水平直線兩側。在實際應用中，一般是繪制因變量預測值（如ZPRED--X）與學生殘差（如SRESID--Y）的散點圖。第三十五頁，共四十二頁，編輯于2023年，星期日36偏回歸系數(shù)與常數(shù)項的檢驗檢驗的假設是：各自變量的偏回歸系數(shù)為0，常數(shù)項為0。使用的統(tǒng)計量為t值：t=偏回歸系數(shù)/偏回歸系數(shù)的標準誤。第三十六頁，共四十二頁，編輯于2023年，星期日37共線性問題的判別

(collinearitydiagnostic)共線性是指由于自變量間的相關太高，造成回歸分析之情境困擾。如果變量間有共線性問題，表示一個預測變量是其自變量的線性組合，如若X1與X2完全共線性，代表X1是X2的直線函數(shù)，點（X1，X2）會在同一條直線上，即共線性，若存在嚴重的共線性，模型的參數(shù)就不能完全被估計出來。第三十七頁，共四十二頁，編輯于2023年，星期日38X1與X2共線X1與X3共線X2與X3共線X1、X2、X3共線X3X2X1共線性問題圖示第三十八頁，共四十二頁，編輯于2023年，星期日39共線性問題的判別

(collinearitydiagnostic)共線性問題的判別標準：容忍度：(tolerance)=1-r2，介于0-1之間，太小表示有共線性；變異數(shù)膨脹：(varianceinflationfactor,VIF)是容忍度的倒數(shù)，越大，共線性越嚴重；條件指針：(conditionindex,CI)值越大，共線性越嚴重,15為有問題，超過30有嚴重問題。第三十九頁，共四十二頁，編輯于2023年，星期日401.5在SPSS中如何做回歸分析Analyze—regression—linear—Dependent(Y)—Independents(x1,x2,x3,…xi)—Method：stepwise—statistics—RegressionCoefficients：Estimates，Confidenceintervals（求回歸參數(shù)的置信區(qū)間）—Residuals：D