計量經(jīng)濟學：第二章 簡單線性回歸

1、第二章 簡單線性回歸 模型的建立及其假定條件 普通最小二乘估計(OLS) 參數(shù)估計的顯著性檢驗 回歸方程檢驗 普通最小二乘估計的特性 預(yù)測 模型應(yīng)用及有關(guān)軟件操作 Monte Carlo 模擬模型的建立及其假定條件回歸的由來回歸(Regression)一詞來源于19世紀英國生物學家葛爾登(Francis Galton, 1822-1911)對人體遺傳特征的實驗研究。他根據(jù)實驗數(shù)據(jù)發(fā)現(xiàn)，雙親高的孩子個子高，雙親矮的孩子個子矮，然而高和矮卻不是無限制的，總是越來越趨向于人的平均身高，他稱這種現(xiàn)象為“回歸”。 現(xiàn)在統(tǒng)計學上回歸指的是變量之間的依存關(guān)系。兩變量線性模型 由于所有點不可能恰在直線上，因此

2、上式需添加一隨機擾動，誤差或隨機項 ，這樣上式成為： 反映因變量和自變量之間的近似線性關(guān)系因變量或被解釋變量參數(shù)自變量或解釋變量簡單線性回歸模型的重要假設(shè)1) X與Y之間的關(guān)系是線性的；2) X是非隨機的變量，它的值是確定的；3) 誤差項的期望為0；4) 對于所有觀測值，誤差項具有相同的方差；5) 隨機誤差之間相互獨立；6) 誤差項服從正態(tài)分布。例： 某農(nóng)場1971年至1980年每英畝的谷物產(chǎn)量(bushel)和化肥施用量(pound)之間的數(shù)據(jù)見表，求出產(chǎn)量與化肥施用量之間的關(guān)系。 data21.xlsYear19711972197319741975197619771978197919804

3、04446485258606874806101214161822242632 注：蒲式耳(谷物,水果等容量單位,美=35.238升,英=36.368升)1 pound (磅)=0.4536 kilogram (千克)1 acre (英畝)=0.405 hectare (公頃)谷物產(chǎn)量和化肥施用量之間散點圖利用Eviews所作普通最小二乘估計(OLS)普通最小二乘法(ordinary least-squares method) OLS用來擬合XY觀測值樣本的一條最好的直線，涉及到求如下的最小值： 其中 表示實際觀測值， 表示相應(yīng)的擬合值，稱為殘差。參數(shù)估計令得從而正規(guī)方程參數(shù)估計的另一種表達式令

4、則誤差和殘差的區(qū)別誤差殘差谷物產(chǎn)量和所用化肥量的計算谷物產(chǎn)量和所用化肥量的計算(續(xù))當說明？參數(shù)的顯著性檢驗參數(shù)的顯著性檢驗參數(shù)估計的方差由于 未知，因此常用 的無偏估計殘差方差 來替代2表示估計參數(shù)的個數(shù)其算術(shù)根稱回歸標準誤參數(shù)估計的標準誤谷物-化肥一例的參數(shù)顯著性檢驗谷物-化肥一例的參數(shù)顯著性檢驗(續(xù))因此由于自由度為8顯著性水平為0.05的t分布的臨界值為2.306，因此我們得到估計的參數(shù)在5%的顯著性上是統(tǒng)計顯著的。P值單側(cè)：P值=雙側(cè)：P值=若P值小于給定的顯著性水平，則拒絕原假設(shè)?；貧w方程檢驗平方和分解SST總平方和(Total Sum of Squares)SSE解釋平方和(Ex

5、plained Sum of Squares)SSR殘差平方和(Residual Sum of Squares)兩種不同的解釋Jeffrey M. Wooldridge等的解釋。SST表示Y的總體變異。它分為兩部分，一部分SSE，這部分可以由模型解釋，另一部分SSR，這是模型解釋不了的部分。另一種解釋。William H. Greene和Robert S. Pindyck等SSE(Error Sum of Squares)殘差平方和SSR(Regression Sum of Squares)回歸平方和 注意千萬不要混淆。一般軟件都采用前一種說法，有的稱解釋平方和為模型平方和，如STATA等。決

6、定系數(shù)取值范圍01前例中決定系數(shù)計算回歸方程檢驗檢驗統(tǒng)計量原假設(shè)成立時服從自由度為1，n-2的F分布給定顯著性水平，查表得臨界值若，則拒絕原假設(shè)相關(guān)系數(shù)范圍：-11前例中相關(guān)系數(shù)計算樣本相關(guān)系數(shù)的檢驗提出假設(shè)構(gòu)造統(tǒng)計量給定顯著性水平，得出相應(yīng)的臨界值決策若，則拒絕原假設(shè)正態(tài)性檢驗JB統(tǒng)計量偏度峰度n是樣本容量，S為樣本標準差正態(tài)性假定下，有：殘差的正態(tài)性檢驗若模型正確，則殘差應(yīng)服從正態(tài)分布通過JB統(tǒng)計量或QQ圖(qqnorm)進行驗證如果真是正態(tài)分布的一個樣本，那么其分位數(shù)應(yīng)該與正態(tài)分布的分位數(shù)接近。OLS估計的特性O(shè)LS估計的特性O(shè)LS估計量是最優(yōu)線性無偏估計量(BLUE)該特性也稱為高斯-

7、馬爾科夫定理Best, Linear, Unbiased, Estimator 一致性是指隨著樣本容量趨于無窮，估計量值接近真實值。OLS估計量具有無偏性、有效性和一致性線性都是關(guān)于Y的線性函數(shù)無偏性注：因此有效性估計量的方差協(xié)方差有效性滿足高斯馬爾柯夫條件時，OLS估計是最優(yōu)線性無偏的(Best Linear Unbiased Estimator, BLUE)高斯-馬爾柯夫條件有效性預(yù)測預(yù)測建立模型的主要目的之一是為了預(yù)測。1)、點預(yù)測平均值個別值為個別值預(yù)測誤差預(yù)測(續(xù))2)、預(yù)測的置信區(qū)間均值預(yù)測的置信區(qū)間個別值預(yù)測的置信區(qū)間注：離開 越遠的估計(或預(yù)測)，其結(jié)果也就越不可靠。置信區(qū)間、

8、預(yù)測區(qū)間、回歸方程YX預(yù)測上限置信上限預(yù)測下限置信下限預(yù)測評價均方誤的平方根(RMSE，root mean squared error)平均絕對值誤差(MAE,mean absolute error)西爾不相等系數(shù)(Theils inequality coefficient)是預(yù)測期數(shù)值在0，1之間，等于1則說明模型預(yù)測能力最差模型應(yīng)用及相關(guān)軟件操作案例分析估計保健支出和收入之間的關(guān)系。數(shù)據(jù)data22.xlsEviews操作簡介界面數(shù)據(jù)輸入(鍵盤輸入)File New WorkfileObject New objectFile Open Foreign Data as Workfile.出現(xiàn)

9、下面的界面，找到相應(yīng)數(shù)據(jù)文件后點擊打開。數(shù)據(jù)輸入(外部文件)數(shù)據(jù)輸入(結(jié)果)作散點圖Quick Graph Scatter出現(xiàn)下圖界面，中間填入變量income exphlth即可，注意順序！作散點圖(續(xù))顯示兩者有很強的線性關(guān)系回歸分析Quick Estimate Equation.再分別如圖填入因變量、常數(shù)項和自變量，點確定。exphlth=c(1)+c(2)*income回歸分析(續(xù))系數(shù)標準誤t統(tǒng)計量P值F統(tǒng)計量結(jié)果解釋Dependent Variable: 因變量Method：估計方法 Date: 09/22/06 Time: 10:29結(jié)果輸出的日期和時間Sample：樣本區(qū)間In

10、cluded observations：觀測值個數(shù)Variable：自變量，C是常數(shù)項Coefficient：系數(shù)Std.Error：系數(shù)估計的標準誤t-Statistic：t統(tǒng)計量值 Prob：P值R-squared: 判定系數(shù)Adjusted R-squared: 調(diào)整后的判定系數(shù)解釋(續(xù))Mean dependent var：因變量均值S.D. dependent var：因變量標準差S.E. of regression：回歸標準誤Sum squared resid：殘差平方和Log likelihood：對數(shù)似然Akaike info criterion：赤池信息準則Schwarz c

11、riterion：施瓦池信息準則Durbin-Watson stat：杜賓統(tǒng)計量F-statistic：F統(tǒng)計量Prob(F-statistic)：F統(tǒng)計量的P值n是調(diào)整后的樣本容量，k是參數(shù)個數(shù)，簡單回歸時為2殘差正態(tài)性檢驗View Descriptive Statistics Histogram and Stats打開殘差序列對象窗口EViews命令操作create u 51read D:Econometrics15zdatadata22.xls exphlth incomescat income exphlthequation eq1.ls exphlth c incomeeq1.res

12、ultshist resid更為簡潔、便利！創(chuàng)建一空工作表讀數(shù)據(jù)觀察散點圖使用ols方法估計模型查看估計結(jié)果殘差的正態(tài)性檢驗或這樣查看有關(guān)結(jié)果eq1.R2 eq1.coefs(i)eq1.RBAR2 eq1.stderrs(i)eq1.dw eq1.tstats(i)eq1.aic eq1.cov(i,j)eq1.F 注：Office07以后的后綴為xlsxgretl*打開命令輸入窗口File-Script files-New script-gretl scriptopen D:Econometrics15zdatadata22.xlsmodel1 - ols exphlth const in

13、comemodel1.show點擊RunOLS estimates using the 51 observations 1-51Dependent variable: exphlth VARIABLE COEFFICIENT STDERROR T STAT P-VALUE const 0.176496 0.467509 0.378 0.70741 income 0.141652 0.00287491 49.272 0.00001 * Mean of dependent variable = 15.0689 Standard deviation of dep. var. = 17.9266 Su

14、m of squared residuals = 317.899 Standard error of residuals = 2.5471 Unadjusted R-squared = 0.980216 Adjusted R-squared = 0.979812 Degrees of freedom = 49 Log-likelihood = -119.028 Akaike information criterion (AIC) = 242.057 Schwarz Bayesian criterion (BIC) = 245.921 Hannan-Quinn criterion (HQC) =

15、 243.533結(jié)果附：Anscombes quartet數(shù)據(jù)：data23.txt (1) (2) (3) (4)X1 Y1 X2 Y2 X3 Y3 X4 Y410.0 8.04 10.0 9.14 10.0 7.46 8.0 6.58 8.0 6.95 8.0 8.14 8.0 6.77 8.0 5.76 13.0 7.58 13.0 8.74 13.0 12.74 8.0 7.719.0 8.81 9.0 8.77 9.0 7.11 8.0 8.8411.0 8.33 11.0 9.26 11.0 7.81 8.0 8.4714.0 9.96 14.0 8.10 14.0 8.84 8.

16、0 7.046.0 7.24 6.0 6.13 6.0 6.08 8.0 5.254.0 4.26 4.0 3.10 4.0 5.39 19.0 12.5012.0 10.84 12.0 9.13 12.0 8.15 8.0 5.567.0 4.82 7.0 7.26 7.0 6.42 8.0 7.915.0 5.68 5.0 4.74 5.0 5.73 8.0 6.89回歸結(jié)果四組變量回歸結(jié)果都是：(2.67)(4.24)回歸標準誤 1.24create u 11read D:Econometrics15zdatadata23.txt X1 Y1 X2 Y2 X3 Y3 X4 Y4equat

17、ion eq1.ls y1 c x1equation eq2.ls y2 c x2equation eq3.ls y3 c x3equation eq4.ls y4 c x4eq1.resultseq2.resultseq3.resultseq4.resultsAnscombes quartet散點圖Monte Carlo 模擬回歸系數(shù)的Monte Carlo模擬(EViews)create mc u 10matrix(2000,2) mvector(10) vv.fill 9.7,10.1,10.0,10.4,10.1,10.2,9.7,10.4,9.6,9.8mtos(v,x)rndsee

18、d 12345for !k=1 to 2000series y=2+5*x+5*nrndequation eq1.ls y c xm(!k,1)=eq1.coefs(1)m(!k,2)=eq1.coefs(2)nextshow mexpand 1 2000smpl 1 2000mtos(m,gr)freeze ser02.qqplotfreeze ser02.histgenr mb1=mean(ser02)genr sdb1=sqrt(var(ser02)genr sigb1=sqrt(25/sum(x-mean(x)2)show mb1show sdb1show sigb1回歸系數(shù)的Mont

19、e Carlo模擬(R)x-c(9.7,10.1,10.0,10.4,10.1,10.2,9.7,10.4,9.6,9.8)b1-numeric(2000)set.seed(20)for(i in 1:2000) y-2+5*x+rnorm(10,0,5) b1i-coef(lm(yx)2hist(b1)mean(b1);sd(b1)sqrt(25/sum(x-mean(x)2)#require(tseries)jarque.bera.test(b1)#正態(tài)性檢驗回歸系數(shù)的Monte Carlo模擬(Gretl)nulldata 10set seed 2012loop 2000 -progre

20、ssive -quiet series x=9.7,10.1,10.0,10.4,10.1,10.2,9.7,10.4,9.6,9.8genr y1 = 2 + 5*x + 5*normal()ols y1 const xgenr b2 = $coeff(x)print b2store d:coeff.gdt b2endloopopen d:coeff.gdtnormtest b2 -jbera教材案例分析程序create P38 a 1980 1998read D:Econometrics15zdataP38.xls 2equation eq1.ls y c xshow eq1scalar n=eq1.regobsscalar k=eq1.ncoefpagestruct(end=last+2) *expand 1980 2000 x(n+1)=1763x(n+2