第07章 回歸分析

1、第07章 回歸分析回歸分析與相關(guān)分析的區(qū)別回歸分析中，變量Y稱為因變量，處于被解釋的地位。而在相關(guān)分析中，X與Y處于平等地位；相關(guān)分析中，X和Y全是隨機(jī)變量，而在回歸分析中，因變量Y是隨機(jī)變量，自變量X可以是隨機(jī)變量，也可以是非隨機(jī)的。通常回歸模型中假定X是非隨機(jī)的精確變量；相關(guān)分析的研究是為了刻畫兩變量間線性相關(guān)的密切程度。而回歸分析不僅可以揭示X對Y的影響大小，還可以由回歸方程進(jìn)行預(yù)測和控制。2Outline第一節(jié) 回歸分析的基本原理第二節(jié) 一元線性回歸分析第三節(jié) 多元線性回歸分析第四節(jié) 路徑分析31.相關(guān)和回歸1.1 散點(diǎn)圖 scatter diagram4學(xué)習(xí)分?jǐn)?shù)和行為分?jǐn)?shù)的關(guān)系012

2、345678012345678行為分?jǐn)?shù)學(xué)習(xí)分?jǐn)?shù)r 0.78*0.78*均值以上均值以上均值以下均值以下均值以上均值以上7 71 1均值以下均值以下2 21010行為分?jǐn)?shù)行為分?jǐn)?shù)學(xué)習(xí)學(xué)習(xí)兒童兒童行為行為學(xué)習(xí)學(xué)習(xí)快樂快樂1 12 21 12 22 22 22 23 33 32 23 34 44 42 24 45 55 52 24 47 76 63 33 33 37 73 34 45 58 84 42 23 39 94 43 34 410104 44 45 511114 45 56 612125 54 44 413135 55 55 514145 56 66 615156 64 44 416166

3、66 65 517176 66 66 618186 67 77 719197 76 64 420207 77 77 7M ean4.254.254.34.34.754.755快樂分?jǐn)?shù)和行為分?jǐn)?shù)的關(guān)系012345678012345678行為分?jǐn)?shù)快樂分?jǐn)?shù)r 0.380.38均值以上均值以上 均值以下均值以下均值以上均值以上6 65 5均值以下均值以下3 36 6行為分?jǐn)?shù)行為分?jǐn)?shù)快樂快樂兒童兒童行為行為學(xué)習(xí)學(xué)習(xí)快樂快樂1 12 21 12 22 22 22 23 33 32 23 34 44 42 24 45 55 52 24 47 76 63 33 33 37 73 34 45 58 84 42

4、23 39 94 43 34 410104 44 45 511114 45 56 612125 54 44 413135 55 55 514145 56 66 615156 64 44 416166 66 65 517176 66 66 618186 67 77 719197 76 64 420207 77 77 7M ean4.254.254.34.34.754.751.2 平方和、積矩和、協(xié)方差sum of squares sum of products covariance62222cov1 1covXxxXYxyXYXYXXXYXYXSSXXXlNXYSPXXYYXYlNSPNSSSN

5、rS S 第一節(jié) 回歸分析的基本原理一、回歸分析的意義二、回歸分析的基本原理三、回歸分析的主要內(nèi)容一、回歸分析的意義 regression analysis 回歸分析：確定變量之間數(shù)量關(guān)系的可能形式，并用一個(gè)數(shù)學(xué)模型來表示這種關(guān)系形式 它可以從一個(gè)變量的變化來預(yù)測或估計(jì)另一個(gè)變量的變化 只有一個(gè)自變量的線性回歸叫一元線性回歸或簡單線性回歸 尋找一條最佳擬合直線best-fitting line，使得預(yù)測值predicted value和觀測值observed value之間的誤差最小8二、回歸分析的基本思想（一）回歸分析的數(shù)學(xué)模型（二）最佳擬合回歸線 the regression line10

6、的值）時(shí)（截距對應(yīng)的變化量）變化一個(gè)單位時(shí)（回歸線的斜率的預(yù)測值YXaYXbYYbXaY0interceptslope從行為分?jǐn)?shù)預(yù)測學(xué)習(xí)分?jǐn)?shù)012345678012345678行為學(xué)習(xí)學(xué)習(xí)預(yù)測 學(xué)習(xí)最佳擬合直線 best-fitting line1120,residualYY-YY-YXYY-最小二乘估計(jì)：的直線，對所有經(jīng)過：殘差之間的誤差最小目標(biāo)：預(yù)測值和觀測值第二節(jié) 一元線性回歸分析一、一元線性回歸的模型及性質(zhì)二、一元線性回歸方程的建立三、一元線性回歸方程的有效性檢驗(yàn)四、回歸方程有效性的指標(biāo)五、一元線性回歸分析的估計(jì)與預(yù)測二、一元線性回歸的數(shù)學(xué)模型 從X預(yù)測YY=0+1X+Y=a+bX+e

7、 Y與X的關(guān)系分為兩部分 0+1X是由于X的變化引起線性變化的部分; 是全體一切隨機(jī)因素造成的部分 N(0, s2)13一元線性回歸的基本假設(shè) X與Y在總體上具有線性關(guān)系 變量X沒有測量誤差（看成精確變量） (Xi,Yi) 和 (Xj,Yj) 彼此獨(dú)立； 與某一個(gè)Xi值對應(yīng)的Y值構(gòu)成變量Y上一個(gè)子總體，這樣的子總體服從正態(tài)分布，且它們的方差相等 i 是Xi對應(yīng)Y的子總體的平均數(shù)的無偏估計(jì)14小結(jié)15尋找一條最佳擬合直線尋找一條最佳擬合直線bXaY最小使2YYSSe用方差分析用方差分析檢驗(yàn)回歸方程有效性檢驗(yàn)回歸方程有效性有效性高低指標(biāo)：有效性高低指標(biāo)：決定系數(shù)決定系數(shù)r2回歸估計(jì)的標(biāo)準(zhǔn)誤回歸估計(jì)

8、的標(biāo)準(zhǔn)誤SYX回歸線的求解16 XYXXYeeeeSSrSXXNYXXYNbXbYNXbYaXYYaXbYXbNaXYYaXbYaXYXbYaXYXbaXXYbXbSSYXbNaXbYNaXbYNabXYaaSSabXbXYaYXbaYbXaYYYSSYYSSbXaY222222222222222cov0022222200222222222 ;令令正規(guī)方程組正規(guī)方程組 normal equationsQ17XYNXbYaXXNYXXYNb7532. 00987. 10987. 120857532. 0867532. 08541920868540920222 從行為分?jǐn)?shù)預(yù)測學(xué)習(xí)分?jǐn)?shù)0123456

9、78012345678行為學(xué)習(xí)學(xué)習(xí)預(yù)測 學(xué)習(xí)兒童兒童行為行為X學(xué)習(xí)學(xué)習(xí)YXYX*X1 12 21 12 24 42 22 22 24 44 43 32 23 36 64 44 42 24 48 84 45 52 24 48 84 46 63 33 39 99 97 73 34 412129 98 84 42 28 816169 94 43 31212161610104 44 41616161611114 45 52020161612125 54 42020252513135 55 52525252514145 56 63030252515156 64 42424363616166 66 636

10、36363617176 66 63636363618186 67 74242363619197 76 64242494920207 77 749494949Mean4.254.254.34.3Total85858686409409419419對回歸系數(shù)的解釋180tcoefficien regression edStandardiz0 , 1slopecov0intercept 2arbYXSSYXYYXSSrSbYXXbYabXaYXYXYXXY此時(shí)系數(shù)表示），稱為標(biāo)準(zhǔn)回歸（一般改用此時(shí)都轉(zhuǎn)化成標(biāo)準(zhǔn)分?jǐn)?shù)后，和當(dāng)?shù)淖兓实墓烙?jì)的變化量，即對變化一個(gè)單位時(shí)回歸線的斜率的值）時(shí)（截距2.4 從給定

11、的X來估計(jì)對應(yīng)的Y 無窮大的樣本 取給定X對應(yīng)的所有Y的均值作為估計(jì)值 對應(yīng)于某個(gè)X的所有Y稱為Y的條件分布conditional distribution 有限樣本 19從行為分?jǐn)?shù)預(yù)測學(xué)習(xí)分?jǐn)?shù)012345678012345678行為學(xué)習(xí)學(xué)習(xí)預(yù)測 學(xué)習(xí)YY估計(jì)用五、一元線性回歸的估計(jì)與預(yù)測（一）估計(jì)因變量主值和主值區(qū)間（二）單個(gè)因變量實(shí)測值的預(yù)測五、預(yù)測的準(zhǔn)確性 如果需要你去猜測某個(gè)班的每個(gè)學(xué)生的某次考試的成績，而只告訴你該班的平均分，怎樣猜才能誤差最小？ 標(biāo)準(zhǔn)差作為誤差的度量2122211YYYYYSNYYSSSNdf估計(jì)的標(biāo)準(zhǔn)誤 standard error of estimate22re

12、sidualerrorXYXYerrorXYSSSSbaNdfSYXSdfSSNYYS也被表示成有時(shí)都是從樣本數(shù)據(jù)估計(jì)的和，因?yàn)榛蛘`差方差稱為殘差方差的標(biāo)準(zhǔn)差預(yù)測的其下標(biāo)表明為從22anceerror vari varianceresidual22三、回歸有效性的檢驗(yàn)（一）誤差平方和（二）因變量變異的分解誤差平方和 相關(guān)越高，誤差越小 相關(guān)越高，從X預(yù)測Y就越準(zhǔn)確，誤差就越小24221rSSYYSSYe222222121121121112rSNNrSSNNrSNNNrSSNSSSYYXYYYeXY因變量變異的分解25無關(guān)與有關(guān)與XXSSSSrSSrSSSSeYYYe221對r的顯著性的檢驗(yàn)26

13、22212212100rNrNrrSrtNrSrrr來估計(jì)其標(biāo)準(zhǔn)誤可用的正態(tài)分布，近似服從均值為時(shí)，當(dāng)對回歸的有效性檢驗(yàn) 22212121XYrerXYeeerrrrreYereYYSSSMSMSFSdfSSMSSSdfSSMSNNdfNdfNdfQUSSSSSSSSrSS27對r的顯著性檢驗(yàn)28 2222222212212 , 1 , 1trNrNSSrSSrNSSSSrSSSMSMSFntnFFntnYYeYXYrer檢驗(yàn)量，即為自由度的以檢驗(yàn)量的平方等于為自由度的以四、回歸有效性的指標(biāo)- -決定系數(shù)（測定系數(shù)）r2coefficient of determination 衡量回歸方程有效

14、性高低的指標(biāo) 回歸平方和在總離差平方和中所占的比例 因變量的變異中可以從自變量的變異來解釋的比例29YX SSrSS2 YeYYYSSSSSSSSSSr2五、一元線性回歸的估計(jì)與預(yù)測（一）估計(jì)因變量主值和主值區(qū)間（二）單個(gè)因變量實(shí)測值的預(yù)測五、預(yù)測的準(zhǔn)確性 如果需要你去猜測某個(gè)班的每個(gè)學(xué)生的某次考試的成績，而只告訴你該班的平均分，怎樣猜才能誤差最小？ 標(biāo)準(zhǔn)差作為誤差的度量3122211YYYYYSNYYSSSNdf估計(jì)的標(biāo)準(zhǔn)誤 standard error of estimate32residualerrorXYXYerrorXYSSSSbaNdfSYXSdfSSNYYS也被表示成有時(shí)都是從樣

15、本數(shù)據(jù)估計(jì)的和，因?yàn)榛蛘`差方差稱為殘差方差的標(biāo)準(zhǔn)差預(yù)測的其下標(biāo)表明為從22anceerror vari varianceresidual22六、可化為線性回歸的一元曲線回歸第三節(jié) 多元線性回歸分析一、多元線性回歸分析的意義二、多元線性回歸方程的建立三、多元線性回歸方程解題步驟四、多元線性回歸方程的有效性檢驗(yàn)五、自變量顯著性檢驗(yàn)六、逐步回歸法多元線性回歸的數(shù)學(xué)模型 從X1, X2, , Xk（憑經(jīng)驗(yàn)選?。╊A(yù)測YY=0+1X1+ 2X2 + + kXk+ N(0, s2) 根據(jù)樣本數(shù)據(jù)建立的回歸方程 =b0+b1X1+ b2X2 + + bkXk bi稱為（偏）回歸系數(shù) 偏回歸系數(shù)表示其它自變量假

16、設(shè)不變時(shí)，某一個(gè)自變量變化而引起因變量變化的比率35標(biāo)準(zhǔn)回歸方程、標(biāo)準(zhǔn)偏回歸系數(shù) 把所有原始數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)分?jǐn)?shù)，以標(biāo)準(zhǔn)分?jǐn)?shù)建立的回歸方程為標(biāo)準(zhǔn)回歸方程Y = 1Z1+ 2Z2 + + kZk 標(biāo)準(zhǔn)回歸方程的回歸系數(shù)稱為標(biāo)準(zhǔn)(偏)回歸系數(shù)，其大小可直接反映對應(yīng)的變量在預(yù)測時(shí)做的貢獻(xiàn) bi=iSY/SXi36偏回歸系數(shù)的計(jì)算 基本原理 最小二乘法：預(yù)測值和觀測值的誤差平方和最小 一般借助于計(jì)算機(jī) Excel SPSS SAS Minitab37多元測(決)定系數(shù)r2 其中 r 稱為復(fù)相關(guān)系數(shù) multiple correlation coefficient r 實(shí)際上就是預(yù)測值和觀測值Y之間的相關(guān)

17、系數(shù)38222YYYYr多元線性回歸方程的檢驗(yàn) 方差分析39ereeerrrerterrYtMSMSFdfSSMSdfSSMSkNdfSSSSYYSSkkdfYYSSYYSSSS1 , ,222為自變量個(gè)數(shù)）（偏回歸系數(shù)的顯著性檢驗(yàn) 回歸方程顯著并不意味著所有的回歸系數(shù)都顯著 某個(gè)偏回歸系數(shù)不顯著意味著對應(yīng)的自變量在回歸方程中沒什么貢獻(xiàn) 可以去掉該變量，重新建立回歸方程 檢驗(yàn)方法401kNtSbtjbj選擇有效自變量的方法 逐步回歸 stepwise regression 對不顯著變量，只剔除對回歸貢獻(xiàn)最小的那個(gè)變量；然后重新建立新的回歸方程，如仍有不顯著變量，仍僅剔除對回歸貢獻(xiàn)最小的那個(gè)變量

18、，重新建立新的回歸方程，直至所有變量都顯著 前進(jìn)法 forward regression 逐步加入自變量，檢驗(yàn)顯著就保留 后退法 backward regression 將所有自變量引入回歸方程，逐漸剔除那些對回歸方程作用不大的自變量41工具-數(shù)據(jù)分析-回歸42Excel的多元回歸結(jié)果43SUMMARY OUTPUT回歸統(tǒng)計(jì)Multiple R0.94121828R Square0.885891851Adjusted R Square0.864496573標(biāo)準(zhǔn)誤差0.241797772觀測值20方差分析dfSSMSFSignificance F回歸分析3 7.262541 2.420847 4

19、1.405959.09596E-08殘差16 0.935459 0.058466總計(jì)198.198Coefficients 標(biāo)準(zhǔn)誤差t StatP-valueLower 95%Upper 95%Intercept-1.612500394 0.182461 -8.83749 1.49E-07-1.999300963 -1.2256998能力層次X10.283697977 0.066146 4.288935 0.0005640.143473729 0.42392223內(nèi)容深度X20.205023121 0.063563 3.225529 0.0052860.070276398 0.33976984

20、題目類型X30.004764564 0.040131 0.1187270.90697-0.080308309 0.08983744應(yīng)用多元回歸的注意事項(xiàng) 多重共線性 Multi-collinearity X1, X2, , Xk之間存在密切的線性關(guān)系，稱它們之間存在著多重共線性。此時(shí)對回歸系數(shù)的估計(jì)不穩(wěn)定 因果關(guān)系 回歸分析能表現(xiàn)出變量彼此關(guān)聯(lián)或有聯(lián)系，但不能證明其因果關(guān)系 回歸系數(shù)的大小 計(jì)量單位相同或數(shù)據(jù)標(biāo)準(zhǔn)化時(shí)才能直接比較 樣本容量 r2 受 n 對于自變量個(gè)數(shù) k 的影響。一般觀測數(shù)n至少等于自變量個(gè)數(shù) k 的1015倍。44第四節(jié) 路徑分析一、基本原理二、案例分析2.7 樣本回歸線和

21、總體回歸線 根據(jù)樣本數(shù)據(jù)的回歸分析結(jié)果為樣本回歸線 = a + bX 不同的樣本對應(yīng)于不同的樣本回歸線 所有樣本回歸線都是總體回歸線 = a X 的一個(gè)估計(jì) 所有樣本回歸線會(huì)在總體回歸線附近波動(dòng) 對給定X，對應(yīng)的總體回歸線的也稱為主值，而某條樣本回歸線對應(yīng)的i只是的一個(gè)點(diǎn)估計(jì) 所有i的平均值將為4647iX2.8 回歸分析的應(yīng)用 預(yù)測 已知X0，預(yù)測總體回歸線對應(yīng)的0（主值） 已知X0，預(yù)測新的觀測值Y0 控制 已知Y的范圍，控制X的范圍483.3 偏回歸系數(shù)的計(jì)算 基本原理 最小二乘法：預(yù)測值和觀測值的誤差平方和最小 一般借助于計(jì)算機(jī) Excel SPSS SAS Minitab493.4

22、多元測(決)定系數(shù)r2 其中 r 稱為復(fù)相關(guān)系數(shù) multiple correlation coefficient r 實(shí)際上就是預(yù)測值和觀測值Y之間的相關(guān)系數(shù)50222YYYYr3.5 多元線性回歸方程的檢驗(yàn) 方差分析51ereeerrrerterrYtMSMSFdfSSMSdfSSMSkNdfSSSSYYSSkkdfYYSSYYSSSS1 , ,222為自變量個(gè)數(shù)）（3.6 偏回歸系數(shù)的顯著性檢驗(yàn) 回歸方程顯著并不意味著所有的回歸系數(shù)都顯著 某個(gè)偏回歸系數(shù)不顯著意味著對應(yīng)的自變量在回歸方程中沒什么貢獻(xiàn) 可以去掉該變量，重新建立回歸方程 檢驗(yàn)方法521kNtSbtjbj3.7 選擇有效自變量

23、的方法 逐步回歸 stepwise regression 對不顯著變量，只剔除對回歸貢獻(xiàn)最小的那個(gè)變量；然后重新建立新的回歸方程，如仍有不顯著變量，仍僅剔除對回歸貢獻(xiàn)最小的那個(gè)變量，重新建立新的回歸方程，直至所有變量都顯著 前進(jìn)法 forward regression 逐步加入自變量，檢驗(yàn)顯著就保留 后退法 backward regression 將所有自變量引入回歸方程，逐漸剔除那些對回歸方程作用不大的自變量533.8 Excel：工具-數(shù)據(jù)分析-回歸54Excel的多元回歸結(jié)果55SUMMARY OUTPUT回歸統(tǒng)計(jì)Multiple R0.94121828R Square0.8858918

24、51Adjusted R Square0.864496573標(biāo)準(zhǔn)誤差0.241797772觀測值20方差分析dfSSMSFSignificance F回歸分析3 7.262541 2.420847 41.405959.09596E-08殘差16 0.935459 0.058466總計(jì)198.198Coefficients 標(biāo)準(zhǔn)誤差t StatP-valueLower 95%Upper 95%Intercept-1.612500394 0.182461 -8.83749 1.49E-07-1.999300963 -1.2256998能力層次X10.283697977 0.066146 4.288

25、935 0.0005640.143473729 0.42392223內(nèi)容深度X20.205023121 0.063563 3.225529 0.0052860.070276398 0.33976984題目類型X30.004764564 0.040131 0.1187270.90697-0.080308309 0.089837443.9 應(yīng)用多元回歸的注意事項(xiàng) 多重共線性 Multi-collinearity X1, X2, , Xk之間存在密切的線性關(guān)系，稱它們之間存在著多重共線性。此時(shí)對回歸系數(shù)的估計(jì)不穩(wěn)定 因果關(guān)系 回歸分析能表現(xiàn)出變量彼此關(guān)聯(lián)或有聯(lián)系，但不能證明其因果關(guān)系 回歸系數(shù)的大小

26、 計(jì)量單位相同或數(shù)據(jù)標(biāo)準(zhǔn)化時(shí)才能直接比較 樣本容量 r2 受 n 對于自變量個(gè)數(shù) k 的影響。一般觀測數(shù)n至少等于自變量個(gè)數(shù) k 的1015倍。56P229第1題57SUMMARY OUTPUTSUMMARY OUTPUT回歸統(tǒng)計(jì)回歸統(tǒng)計(jì)Multiple RMultiple R0.9407380270.940738027R SquareR Square0.8849880360.884988036Adjusted R SquareAdjusted R Square0.8799875160.879987516標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差4.3541672164.354167216觀測值觀測值2525方差分析方

27、差分析dfdfSSSSMSMSF FSignificance FSignificance F回歸分析回歸分析1 1 3355.3083355.308 3355.3083355.308 176.9792176.9792 2.75E-122.75E-12殘差殘差2323 436.0518436.0518 18.9587718.95877總計(jì)總計(jì)24243791.363791.36CoefficientsCoefficients標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差t Statt StatP-valueP-value Lower 95%Lower 95%Upper 95%Upper 95%InterceptIntercept-8.95230433-8.95230433 5.7634035.763403-1.5533-1.5533 0.1340040.134004 -20.8748-20.8748 2.9701882.970188校內(nèi)英語成績X校內(nèi)英語成績X0.99256