多元回歸分析原理和應(yīng)用

1、關(guān)于多元回歸分析的原理與應(yīng)用第一張，PPT共四十二頁，創(chuàng)作于2022年6月提 綱多元回歸分析的統(tǒng)計原理多元回歸分析在心理學(xué)研究中的應(yīng)用第二張，PPT共四十二頁，創(chuàng)作于2022年6月21 多元回歸分析(regression)的統(tǒng)計原理回歸分析的含義回歸分析的分類一元線性回歸多元線性回歸在SPSS中如何做多元回歸分析第三張，PPT共四十二頁，創(chuàng)作于2022年6月31.1 回歸分析的含義客觀世界中事物之間的關(guān)系是各種各樣的。從定量的角度看，主要有兩種：一是確定性關(guān)系，如重力加速度，即自由落體的距離與時間：S=0.5gt2；另一類是不確定性關(guān)系，即相關(guān)關(guān)系。由于事物的變化常常受多種因素的影響，導(dǎo)致了事

2、物變化的不確定性。人們常用相關(guān)系數(shù)來描述事物之間的這種不確定性程度。但對于如何通過一個事物的值去估計和預(yù)測另一個事物的發(fā)展變化，相關(guān)系數(shù)卻無能為力。但是，通過大量的實際調(diào)查，可以總結(jié)出它們之間的關(guān)系，回歸分析即是對這種關(guān)系的描述。第四張，PPT共四十二頁，創(chuàng)作于2022年6月41.1 回歸分析的含義“回歸”一詞最早由英國統(tǒng)計學(xué)家高爾頓（Francis Galton）在19世紀末期研究孩子的身高和他們父母身高關(guān)系時提出。研究發(fā)現(xiàn)，孩子的身高總是趨于他們父母身高的平均值。孩子的身高，比身材矮的父母要高，比身材高的父母要矮，這種趨于中間值的趨勢稱作“回歸效應(yīng)”，而他提出的這種研究兩個數(shù)值變量關(guān)系的方

3、法稱作回歸分析。第五張，PPT共四十二頁，創(chuàng)作于2022年6月51.1 回歸分析的含義含義：是借助數(shù)學(xué)模型對客觀世界所存在的事物間的不確定關(guān)系的一種數(shù)量化描寫，即通過一個或幾個變量的變化去解釋另一變量的變化。目的：在于對相關(guān)隨機變量進行估計、預(yù)測和控制，確定變這些量之間數(shù)量關(guān)系的可能形式，并用一個數(shù)學(xué)模型來表示。第六張，PPT共四十二頁，創(chuàng)作于2022年6月6XYXY 自變量(independent variable)：解釋變量，給定的或可以控制的、用來解釋、預(yù)測因變量的變量。 因變量(dependent variable)：響應(yīng)變量，由自變量來解釋其變化的變量。在回歸分析中：第七張，PPT共

4、四十二頁，創(chuàng)作于2022年6月71.1 回歸分析的含義數(shù)學(xué)模型： y=f(x1,x2,x3,xi)+模型的基本含義： 因變量y受到兩部分自變量的影響，即：已知的K個自變量x1,x2,x3,xi的影響；一些未知因素或隨機因素的影響。對于K個已知自變量的影響，設(shè)想可以通過函數(shù)f(x1,x2,x3,xi)來表示，而剩下的將由那些未知因素或隨機因素的影響確定，將這些影響的結(jié)果記為，稱為隨機誤差。對于每一組實際觀察獲得的值yi，x1,x2,x3,xi就可以表示成: yi= f(x1,x2,x3,xi)+ 第八張，PPT共四十二頁，創(chuàng)作于2022年6月81.1 回歸分析的含義對于自變量x1,x2,x3,x

5、i的每一組確定的值，f(x1,x2,x3,xi)的值也是確定的；但由于是不確定的，所以，y也是不確定的，但在每一組確定的自變量之下，所有的服從均數(shù)為零的正態(tài)分布，因此，對于自變量的每一組確定的值，因變量也服從正態(tài)分布，其平均數(shù)就是f(x1,x2,x3,xi)，該公式即為回歸方程，記為：第九張，PPT共四十二頁，創(chuàng)作于2022年6月9回歸分析按自變量個數(shù)分類一元回歸簡單回歸多元回歸復(fù)回歸按方程式特征分類線性回歸非線性回歸1.2 回歸分析的分類第十張，PPT共四十二頁，創(chuàng)作于2022年6月101.3 一元線性回歸只有一個自變量的線性回歸叫一元線性回歸，也叫簡單回歸。與方差分析不同，在回歸分析中，“

6、元”是指自變量，而不是指因變量。第十一張，PPT共四十二頁，創(chuàng)作于2022年6月11總體的一元線性回歸模型：模型參數(shù)殘差假定：E()=0總體的一元線性回歸方程：第十二張，PPT共四十二頁，創(chuàng)作于2022年6月12一元線性回歸方程的幾何意義一元線性回歸線的可能形態(tài)截距斜率：回歸系數(shù)10101= 0第十三張，PPT共四十二頁，創(chuàng)作于2022年6月13樣本的一元線性回歸方程：(估計的回歸方程)總體未知參數(shù)以樣本統(tǒng)計量估計總體參數(shù)回歸系數(shù)第十四張，PPT共四十二頁，創(chuàng)作于2022年6月14最小二乘法(Least squares method):以極小化 為目標，求估計方程的過程。殘差(Residual

7、):e第十五張，PPT共四十二頁，創(chuàng)作于2022年6月15最小二乘法因為一組數(shù)據(jù)可以有多條回歸直線，但是哪條最理想呢？想得到比較精確的回歸方程，必須使用最小二乘法。最小二乘法就是使誤差的平方和最小。誤差e就是殘差， e=y-y，其平方和為： (yy)2=(y-a-bx)2 要使誤差最小，只要分別對a、b求偏導(dǎo)數(shù)，使其0即可。第十六張，PPT共四十二頁，創(chuàng)作于2022年6月16判定系數(shù)(Coefficient of determination):估計的回歸方程擬合優(yōu)度的度量，表明Y 的變異性能被估計的回歸方程解釋的部分所占比例的大小。是判定回歸方程有效性高低的指標r2當殘差平方和為 0時，判定系

8、數(shù)為 1 ，為完全的擬合。當殘差平方和最大時，判定系數(shù)為 0，為最差的擬合。判定系數(shù)第十七張，PPT共四十二頁，創(chuàng)作于2022年6月17判定系數(shù)與相關(guān)系數(shù)第十八張，PPT共四十二頁，創(chuàng)作于2022年6月18判定系數(shù)與相關(guān)系數(shù)從二者的計算公式可知，積差相關(guān)系數(shù)r的平方等于判定系數(shù)r2，即Y 的變異性能被估計的回歸方程解釋的部分所占比例的大小。如果r2=0.64,表明變量Y的變異中有64是由變量X的變異引起的。所以，r2叫判定系數(shù)。第十九張，PPT共四十二頁，創(chuàng)作于2022年6月191.4 多元線性回歸(Multiple Regression)多元線性回歸，就是有多個自變量的線性回歸，也叫復(fù)回歸。

9、其數(shù)學(xué)模型為：截距：常數(shù)項(constant)偏回歸系數(shù)：誤差：殘差第二十張，PPT共四十二頁，創(chuàng)作于2022年6月201.4 多元線性回歸多元回歸分析的基本假設(shè)多元回歸方程及其顯著性檢驗篩選自變量的方法多元回歸方程有效性的判定第二十一張，PPT共四十二頁，創(chuàng)作于2022年6月211.4.1 多元回歸分析的基本假設(shè)相關(guān)存在性：就自變量X1，X2，X3，XK的特殊組合而言，Y變量（單變量）是一個隨機變量，具有某種概率分配，有一定的平均數(shù)及變異數(shù)，各個變量之間都存在顯著相關(guān)關(guān)系。獨立性：每一個觀察值Y彼此間是統(tǒng)計獨立的，觀察值間沒有關(guān)聯(lián)，即非共線性。直線性：Y 變量的平均數(shù)是變量X1，X2，X3，

10、XK間的線性函數(shù)，此線性函數(shù)關(guān)系即回歸方程。方差齊性：就X1，X2，X3，XK任何一個組合而言，因變量Y的變異數(shù)均相同。正態(tài)性：就任何X1，X2，X3，XK的線性組合而言，因變量Y的分配是正態(tài)的。第二十二張，PPT共四十二頁，創(chuàng)作于2022年6月221.4.2 多元回歸方程及其顯著性檢驗多元回歸的樣本與總體的回歸方程：第二十三張，PPT共四十二頁，創(chuàng)作于2022年6月231.4.2 多元回歸方程及其顯著性檢驗回歸方程的顯著性檢驗,就是檢驗樣本回歸方程的變量的線性關(guān)系是否顯著，即能否根據(jù)樣本來推斷總體回歸方程中的多個回歸系數(shù)中至少有一個不等于0，主要是為了說明樣本回歸方程的r2的顯著性。檢驗的方

11、法：用方差分析，又叫回歸的方差分析。這時因變量Y的總變異被分解為回歸平方和與誤差平方和。F值等于回歸均方除以誤差均方。第二十四張，PPT共四十二頁，創(chuàng)作于2022年6月241.4.2 多元回歸方程及其顯著性檢驗多元回歸方程的求法依然與一元線性回歸一樣，只是在求多元線性回歸方程時，需要對自變量進行檢驗和篩選，剔除那些對因變量沒有影響或影響甚小，經(jīng)檢驗未達到顯著水平，不足以入選的自變量，以達到簡化變量間關(guān)系結(jié)構(gòu)、簡化所求回歸方程的目的。第二十五張，PPT共四十二頁，創(chuàng)作于2022年6月251.4.3 篩選自變量的方法在建立回歸方程之前，任何自變量都可以作為進入方程的目標。但對于因變量而言，只有那些

12、對因變量具有預(yù)測作用的自變量才能被選中。選擇的依據(jù)是對回歸系數(shù)做顯著性檢驗，只有能夠顯著地預(yù)測因變量的自變量才會被選擇進來。好的回歸方程不但方程顯著，而且每個自變量的偏回歸系數(shù)也顯著。選擇的方法主要兩大類，四種。第二十六張，PPT共四十二頁，創(chuàng)作于2022年6月261.4.3 篩選自變量的方法 探索性回歸：向前選擇法（forward）向后剔除法（backward）逐步回歸法（stepwise） 驗證性回歸（層次回歸）：人為地逐步增加變量（enter），根據(jù)理論假設(shè)決定。第二十七張，PPT共四十二頁，創(chuàng)作于2022年6月27向前選擇(Forward)基本過程：首先將與因變量有最大正相關(guān)或最大負相

13、關(guān)的變量進入方程，然后按假設(shè)H0：“進入方程的變量系數(shù)為零”進行F檢驗，檢驗的標準有兩個： (1)只有當F檢驗顯著時（概率小于或等于概率），變量才能進入回歸方程F-to-enter-FIN 。 (2)必須達到F統(tǒng)計量的最小值（一般意義上的顯著性檢驗） ， Probability of F-to-enter-PIN 。第二十八張，PPT共四十二頁，創(chuàng)作于2022年6月28向前選擇(Forward)注意：隨著變量加入到方程中，殘差平方和變化的自由度在增加，使得第一種標準的顯著性水平依賴于方程中當前變量數(shù)。這意味著原來顯著的變量可能會隨著進入方程的變量數(shù)的增加而變得不顯著。第二十九張，PPT共四十二

14、頁，創(chuàng)作于2022年6月29向后選擇(Backward)基本過程：首先將所有變量納入到方程中，然后根據(jù)指定剔除的標準剔除不顯著的變量，標準有兩個： (1)F移出法(F-to-remove-FOUR) (2)F最大概率移出(Maximum probability of F-to-remove-POUT)第三十張，PPT共四十二頁，創(chuàng)作于2022年6月30逐步選擇(Stepwise)基本過程：首先采用向前選擇的方式選擇第一個變量，若不滿足標準則終止選擇，按偏相關(guān)系數(shù)選擇下一個。同時，根據(jù)向后剔除的標準，考察已經(jīng)進入方程的變量是否應(yīng)該剔除，直到?jīng)]有一個變量滿足移出標準，為防止變量重復(fù)進入和移出，F(xiàn)-

15、進入判據(jù)必須大于F-剔除判據(jù)。第三十一張，PPT共四十二頁，創(chuàng)作于2022年6月311.4.4 多元回歸方程有效性的判定檢驗殘差方差齊性檢驗偏回歸系數(shù)與常數(shù)項的檢驗共線性問題的判別第三十二張，PPT共四十二頁，創(chuàng)作于2022年6月32檢驗殘差回歸分析中誤差項（殘差）的基本假設(shè)：（1）誤差項的均值為零；（2）誤差項有固定的方差；（3）各次觀察的誤差相互獨立；（4）誤差服從正態(tài)分布。第三十三張，PPT共四十二頁，創(chuàng)作于2022年6月33檢驗殘差看殘差圖：是以某種殘差為縱坐標，以其他指定的變量為橫坐標，滿足模型假設(shè)的殘差圖應(yīng)當是呈水平帶狀；檢驗相鄰誤差項是否有序列相關(guān)：使用Durbin-Watson

16、檢驗，DW介于1.22.8之間時可認為是獨立的。查找異常點(casewise)Outlier，通常以超出3個殘差標準差的樣品為異常點。檢驗誤差正態(tài)的假設(shè)，一是看標準化殘差直方圖與正態(tài)曲線比較是否接近；二是看標準化殘差正態(tài)概率圖，與對角直線相比，若接近為正態(tài)。第三十四張，PPT共四十二頁，創(chuàng)作于2022年6月34方差齊性檢驗方差齊性(variance of homogeneity)：指殘差的分布是常數(shù)，與預(yù)測變量或因變量無關(guān)。即殘差應(yīng)隨機地分布在一條穿過0點的水平直線兩側(cè)。在實際應(yīng)用中，一般是繪制因變量預(yù)測值（如ZPRED-X）與學(xué)生殘差（如SRESID-Y）的散點圖。第三十五張，PPT共四十二

17、頁，創(chuàng)作于2022年6月35偏回歸系數(shù)與常數(shù)項的檢驗檢驗的假設(shè)是：各自變量的偏回歸系數(shù)為0，常數(shù)項為0。使用的統(tǒng)計量為t值：t=偏回歸系數(shù)/偏回歸系數(shù)的標準誤。第三十六張，PPT共四十二頁，創(chuàng)作于2022年6月36共線性問題的判別(collinearity diagnostic)共線性是指由于自變量間的相關(guān)太高，造成回歸分析之情境困擾。如果變量間有共線性問題，表示一個預(yù)測變量是其自變量的線性組合，如若X1與X2完全共線性，代表X1是X2的直線函數(shù)，點（X1，X2）會在同一條直線上，即共線性，若存在嚴重的共線性，模型的參數(shù)就不能完全被估計出來。第三十七張，PPT共四十二頁，創(chuàng)作于2022年6月3

18、7X1與X2共線X1與X3共線X2與X3共線X1、X2、X3共線X3X2X1共線性問題圖示第三十八張，PPT共四十二頁，創(chuàng)作于2022年6月38共線性問題的判別(collinearity diagnostic)共線性問題的判別標準：容忍度：(tolerance)=1-r2，介于0-1之間，太小表示有共線性；變異數(shù)膨脹：(variance inflation factor,VIF) 是容忍度的倒數(shù)，越大，共線性越嚴重；條件指針： (condition index,CI)值越大，共線性越嚴重,15為有問題，超過30有嚴重問題。第三十九張，PPT共四十二頁，創(chuàng)作于2022年6月391.5 在SPSS中如何做回歸分析AnalyzeregressionlinearDependent(Y)Independents(x1, x2, x3, xi)Method：stepwisestatisticsRegression Coefficients：Estimates，Confidence intervals（求回歸參數(shù)的置信區(qū)間）Residuals：Durbin-Watson（檢驗序列相關(guān)）Casewise diagno