第章 多元線性回歸

1、第3章 多元線性回歸第 3 章 多元線性回歸 3.1 多元線性回歸模型3.2 回歸參數(shù)的估計3.3 參數(shù)估計量的性質3.4 回歸方程的顯著性檢驗3.5 中心化和標準化3.6 相關陣與偏相關系數(shù)3.7 本章小結與評注 3.1 多元線性回歸模型一、多元線性回歸模型的一般形式 y=0+1x1+2x2+pxp+3.1 多元線性回歸模型一、多元線性回歸模型的一般形式 對n組觀測數(shù)據(jù) (xi1, xi2,xip; yi), i=1,2,n,線性回歸模型表示為:3.1 多元線性回歸模型一、多元線性回歸模型的一般形式 寫成矩陣形式為: y=X+, 其中,3.1 多元線性回歸模型二、多元線性回歸模型的基本假定

2、1. 解釋變量x1,x2,xp是確定性變量,不是隨機變量,且要求rk(X)=p+1n。表明設計矩陣X中的自變量列之間不相關,X是一滿秩矩陣。2 .隨機誤差項具有0均值和等方差,即 這個假定稱為Gauss-Markov條件 3.1 多元線性回歸模型二、多元線性回歸模型的基本假定 3. 正態(tài)分布的假定條件為: 用矩陣形式(3.5)式表示為: N(0, s2In)yN(X, s2In)E(y)=Xvar(y)= s2In 3.1 多元線性回歸模型三、多元線性回歸方程的解釋 y表示空調機的銷售量,x1表示空調機的價格,x2表示消費者可用于支配的收入。y=0+1x1+2x2+E(y)=0+1x1+2x2

3、在x2保持不變時,有在x1保持不變時,有3.1 多元線性回歸模型三、多元線性回歸方程的解釋 考慮國內生產總值GDP和三次產業(yè)增加值的關系， GDP=x1 + x2+ x3現(xiàn)在做GDP對第二產業(yè)增加值x2的一元線性回歸，得回歸方程3.1 多元線性回歸模型43 720.672 387.2 20 768.1 136 875.9 200439 188.0 61 274.1 16 928.1 117 390.2 200336 074.8 52 980.2 16 117.3 105 172.3 200233 153.0 48 750.0 15 411.8 97 314.8 200129 904.6 44

4、935.3 14 628.2 89 468.1 200027 037.7 40 557.8 14 9472.0 82 067.5 199925 173.5 38 619.3 14 552.4 78 345.2 199823 028.7 37 222.7 14 211.2 74 462.6 199720 427.5 33 612.9 13 844.2 67 884.6 199617 947.2 28 537.9 11 993.0 58 478.1 199514 930.0 22 372.2 9 457.2 46 759.4 199411 323.8 16 428.5 6 882.1 34 634

5、.4 19939 138.6 11 699.5 5 800.0 26 638.1 19927 227.0 9 102.2 5 288.6 21 617.8 19915 813.5 7 717.4 5 017.0 18 547.9 1990第三產業(yè)增加值x3第二產業(yè)增加值x2第一產業(yè)增加值x1GDP年份3.1 多元線性回歸模型三、多元線性回歸方程的解釋 建立GDP對x1和x2的回歸，得二元回歸方程=2 914.6+0.607 x1+1.709 x2你能夠合理地解釋兩個回歸系數(shù)嗎 ？3.2 回歸參數(shù)的估計 一、回歸參數(shù)的普通最小二乘估計 最小二乘估計要尋找3.2 回歸參數(shù)的估計 一、回歸參數(shù)的普通

6、最小二乘估計 3.2 回歸參數(shù)的估計 一、回歸參數(shù)的普通最小二乘估計 經整理后得用矩陣形式表示的正規(guī)方程組 移項得存在時，即得回歸參數(shù)的最小二乘估計為：3.2 回歸參數(shù)的估計 二、回歸值與殘差為回歸值 稱為帽子矩陣，其主對角線元素記為hii ，則3.2 回歸參數(shù)的估計 二、回歸值與殘差 此式的證明只需根據(jù)跡的性質tr(AB)=tr(BA),因而3.2 回歸參數(shù)的估計 二、回歸值與殘差 cov(e,e)=cov(（I-H）Y,（I-H）Y) =（I-H）cov(Y,Y)（I-H） =2（I-H）In（I-H）=2（I-H）得 D(ei)=(1-hii)2，i=1,2,n3.2 回歸參數(shù)的估計 二

7、、回歸值與殘差 是2的無偏估計 3.2 回歸參數(shù)的估計 三 、回歸參數(shù)的最大似然估計 yN(X,2In)似然函數(shù)為 等價于使(y-X)(y-X)達到最小,這又完全與OLSE一樣3.2 回歸參數(shù)的估計 例3.1 國際旅游外匯收入是國民經濟發(fā)展的重要組成部分，影響一個國家或地區(qū)旅游收入的因素包括自然、文化、社會、經濟、交通等多方面的因素，本例研究第三產業(yè)對旅游外匯收入的影響。中國統(tǒng)計年鑒把第三產業(yè)劃分為12個組成部分，分別為x1農林牧漁服務業(yè),x2地質勘查水利管理業(yè),x3交通運輸倉儲和郵電通信業(yè),x4批發(fā)零售貿易和餐飲業(yè),x5金融保險業(yè),x6房地產業(yè),x7社會服務業(yè),x8衛(wèi)生體育和社會福利業(yè)，x9

8、教育文化藝術和廣播,x10科學研究和綜合藝術,x11黨政機關，x12其他行業(yè)。采用1998年我國31 個省、市、自治區(qū)的數(shù)據(jù)，以國際旅游外匯收入（百萬美元）為因變量y，以如上12 個行業(yè)為自變量做多元線性回歸，數(shù)據(jù)見表3.1，其中自變量單位為億元人民幣。3.2 回歸參數(shù)的估計 3.3 參數(shù)估計量的性質 性質1 是隨機向量y的一個線性變換。性質2 是的無偏估計。 3.3 參數(shù)估計量的性質 3.3 參數(shù)估計量的性質 當p=1時 3.3 參數(shù)估計量的性質 性質4 Gauss-Markov定理預測函數(shù) 是 的線性函數(shù) Gauss-Markov定理 在假定E(y)=X, D(y)=2In時,的任一線性函

9、數(shù) 的最小方差線性無偏估計(Best Lnear Unbiased Estimator簡記為BLUE)為c,其中c是任一p+1維向量, 是的最小二乘估計。3.3 參數(shù)估計量的性質 第一，取常數(shù)向量c的第j（j=0,1,n）個分量為1，其余分量為0，這時G-M定理表明最小二乘估計是j的最小方差線性無偏估計。 第二，可能存在y1, y2 , , yn的非線性函數(shù)，作為 的無偏估計，比最小二乘估計 的方差更小。 第三，可能存在 的有偏估計量，在某種意義（例如均方誤差最?。┫卤茸钚《斯烙?更好。 第四，在正態(tài)假定下， 是 的最小方差無偏估計。也就是說，既不可能存在y1, y2 , , yn的非線性函

10、數(shù)，也不可能存在y1, y2 , , yn的其它線性函數(shù)，作為 的無偏估計，比最小二乘估計 方差更小。3.3 參數(shù)估計量的性質 性質5 cov（，e）=0此性質說明 與e不相關,在正態(tài)假定下等價于與e獨立,從而與 獨立。性質6 在正態(tài)假設(1)(2)3.4 回歸方程的顯著性檢驗 一、F檢驗 H0:1=2=p=0SST = SSR + SSE 當H0成立時服從3.4 回歸方程的顯著性檢驗 一、F檢驗 P(F>F值)=P值SSR/pSSE/(n-p-1)SSRSSESSTpn-p-1n-1回歸殘差總和P值F值均方平方和自由度方差來源3.4 回歸方程的顯著性檢驗 二、回歸系數(shù)的顯著性檢驗 H0

11、j:j=0, j=1,2,p（,（X）-1）記 (X)-1=（cij) i,j=0,1,2, ,p構造t統(tǒng)計量 其中3.4 回歸方程的顯著性檢驗 二、回歸系數(shù)的顯著性檢驗 （剔除x1)3.4 回歸方程的顯著性檢驗 二、回歸系數(shù)的顯著性檢驗 3.4 回歸方程的顯著性檢驗 二、回歸系數(shù)的顯著性檢驗 從另外一個角度考慮自變量xj的顯著性。y對自變量x1,x2,xp線性回歸的殘差平方和為SSE，回歸平方和為SSR，在剔除掉xj后，用y對其余的p-1個自變量做回歸，記所得的殘差平方和為SSE（j），回歸平方和為SSR（j），則 自變量xj對回歸的貢獻為SSR（j）=SSR-SSR（j），稱為xj的偏回歸

12、平方和。由此構造偏F統(tǒng)計量3.4 回歸方程的顯著性檢驗 二、回歸系數(shù)的顯著性檢驗 當原假設H0j ：j=0成立時，（3.42）式的偏F統(tǒng)計量Fj服從自由度為(1,n-p-1)的F分布，此F檢驗與（3.40）式的t檢驗是一致的，可以證明Fj=tj23.4 回歸方程的顯著性檢驗 三、回歸系數(shù)的置信區(qū)間可得j的置信度為1-的置信區(qū)間為：3.4 回歸方程的顯著性檢驗四、擬合優(yōu)度 決定系數(shù)為： y關于x1,x2,xp的樣本復相關系數(shù)3.5 中心化和標準化 一、中心化 經驗回歸方程 經過樣本中心 將坐標原點移至樣本中心，即做坐標變換： 回歸方程轉變?yōu)椋夯貧w常數(shù)項為3.5 中心化和標準化 二、標準化回歸系數(shù)

13、 當自變量的單位不同時普通最小二乘估計的回歸系數(shù)不具有可比性，例如有一回歸方程為:其中x1的單位是噸, x2的單位是公斤3.5 中心化和標準化 二、標準化回歸系數(shù) 樣本數(shù)據(jù)的標準化公式為： 得標準化的回歸方程 3.5 中心化和標準化 二、標準化回歸系數(shù) 標準化回歸系數(shù)3.6 相關陣與偏相關系數(shù) 一、樣本相關陣自變量樣本相關陣 增廣的樣本相關陣為： 3.6 相關陣與偏相關系數(shù) 一、樣本相關陣1.0000.6130.1550.5330.5480.1900.4930.5150.4370.4570.3370.3010.038X120.6131.0000.2410.8950.9060.6490.6660

14、.7050.8490.8550.7600.7580.257X110.1550.2411.0000.5690.4040.5410.6460.6300.3480.3140.1180.1500.673X100.5330.8950.5691.0000.9310.8340.8210.8500.8920.8890.6860.7190.575X90.5480.9060.4040.9311.0000.7810.7530.7900.9260.8670.6600.6910.379X80.1900.6490.5410.8340.7811.0000.7030.7400.8870.8850.6020.6630.741X

15、70.4930.6660.6460.8210.7530.7031.0000.9890.7430.7100.4640.5190.530X60.5150.7050.6300.8500.7900.7400.9891.0000.7800.7420.5020.5820.518X50.4370.8490.3480.8920.9260.8870.7430.7801.0000.9340.6580.7380.479X40.4570.8550.3140.8890.8670.8850.7100.7420.9341.0000.7730.6910.580X30.3370.7600.1180.6860.6600.6020

16、.4640.5020.6580.7731.0000.6400.342X20.3010.7580.1500.7190.6910.6630.5190.5820.7380.6910.6401.0000.260X10.0380.2570.6730.5750.3790.7410.5300.5180.4790.5800.3420.2601.000YX12X11X10X9X8X7X6X5X4X3X2X1Y3.6 相關陣與偏相關系數(shù) 二、偏判定系數(shù) 當其他變量被固定后,給定的任兩個變量之間的相關系數(shù),叫偏相關系數(shù)。 偏相關系數(shù)可以度量p+1個變量y,x1,x2, xp之中任意兩個變量的線性相關程度,而這種相關

17、程度是在固定其余p-1個變量的影響下的線性相關。 3.6 相關陣與偏相關系數(shù) 二、偏判定系數(shù) 偏判定系數(shù)測量在回歸方程中已包含若干個自變量時，再引入某一個新的自變量后y的剩余變差的相對減少量，它衡量y的變差減少的邊際貢獻。3.6 相關陣與偏相關系數(shù) 二、偏判定系數(shù) 以x1表示某種商品的銷售量， x2表示消費者人均可支配收入， x3表示商品價格。從經驗上看，銷售量x1與消費者人均可支配收入x2之間應該有正相關，簡單相關系數(shù)r12應該是正的。但是如果你計算出的r12是個負數(shù)也不要感到驚訝，這是因為還有其它沒有被固定的變量在發(fā)揮影響，例如商品價格x3在這期間大幅提高了。反映固定x3后x1與x2相關程

18、度的偏相關系數(shù)r12；3會是個正數(shù)。3.6 相關陣與偏相關系數(shù) 1兩個自變量的偏判定系數(shù)二元線性回歸模型為：yi=0+1xi1+2xi2+i記SSE（x2）是模型中只含有自變量x2時y的殘差平方和，SSE(x1，x2)是模型中同時含有自變量x1和x2時y的殘差平方和。因此模型中已含有x2時再加入x1使y的剩余變差的相對減小量為：此即模型中已含有x2時，y與x1的偏判定系數(shù)。3.6 相關陣與偏相關系數(shù) 1兩個自變量的偏判定系數(shù)同樣地，模型中已含有x1時，y與x2的偏判定系數(shù)為：3.6 相關陣與偏相關系數(shù) 2.一般情況在模型中已含有x2,xp時，y與x1的偏判定系數(shù)為：3.6 相關陣與偏相關系數(shù)

19、三、偏相關系數(shù) 偏判定系數(shù)的平方根稱為偏相關系數(shù)，其符號與相應的回歸系數(shù)的符號相同。 例3.2 研究北京市各經濟開發(fā)區(qū)經濟發(fā)展與招商投資的關系，因變量y為各開發(fā)區(qū)的銷售收入（百萬元），選取兩個自變量， x1為截至1998年底各開發(fā)區(qū)累計招商數(shù)目， x2為招商企業(yè)注冊資本（百萬元）。表中列出了至1998年底招商企業(yè)注冊資本x2在5億至50億元的15個開發(fā)區(qū)的數(shù)據(jù)。3.6 相關陣與偏相關系數(shù) 三、偏相關系數(shù) 北京開發(fā)區(qū)數(shù)據(jù)70.12520.27282442.793546.1874442.82808.47120538.94901.7612234273357.7825224.18672.9918710

20、52.121639.315257.5862.75402815.42087.0510014641160753.1750.32614002863.32532208.55896.3420122.24671.137553.963547.7925yx2x1yx2x13.6 相關陣與偏相關系數(shù) 三、偏相關系數(shù) 偏相關系數(shù)表3.6 相關陣與偏相關系數(shù) 三、偏相關系數(shù) 用y與x1做一元線性回歸時，x1能消除y的變差SST的比例為再引入x2時，x2能消除剩余變差SSE（X1）的比例為因而自變量x1和x2消除y變差的總比例為=1-(1-0.651)(1-0.546)=0.842=84.2%。這個值84.2%恰好是y對x1和x2二元線性回歸的判定系數(shù)R23.6 相關陣與偏相關系數(shù) 三、偏相關系數(shù) 對任意p個變量x1,x2,xp定義它們之間的偏相關系數(shù)其中符號ij表示相關陣第i行第j列元素的代數(shù)余子式驗證3.7 本章小結與評注 例3.3 中國民航客運量的回歸模型。y民航客運量(萬人),