一元線性回歸的最小二乘估計

1、我們的任務(wù)是，我們的任務(wù)是， 在給定在給定X和和Y的一組觀測值的一組觀測值 (X1, Y1), (X2, Y2) , ., (Xn, Yn) 的情況下的情況下, 如如何求出何求出 Yt = + Xt + ut 中中 和和 的估計值的估計值,使得擬使得擬合的直線為最佳合的直線為最佳。 一元線性回歸的最小二乘估計一元線性回歸的最小二乘估計 直觀上看，也就是要求在直觀上看，也就是要求在X和和Y的散點圖上穿過的散點圖上穿過各觀測點畫出一條各觀測點畫出一條“最佳最佳”直線，如下圖所示。直線，如下圖所示。 * * * * * et * * * * * * * * * * * * YXXt 圖圖 2YX Y

2、tYtYtYYt 擬合的直線擬合的直線 稱為稱為擬合的回歸線擬合的回歸線. 對于任何數(shù)據(jù)點對于任何數(shù)據(jù)點 (Xt, Yt), 此直線將此直線將Yt 的總值的總值 分分成兩部分。成兩部分。 第一部分是第一部分是Yt的擬合值或預(yù)測值的擬合值或預(yù)測值 ： , t=1,2,n 第二部分，第二部分，et 代表觀測點對于回歸線的誤差，稱代表觀測點對于回歸線的誤差，稱為擬合或預(yù)測的殘差為擬合或預(yù)測的殘差 （residuals）：）： t=1,2,n 即即 t=1,2,nYXtYttXYtttXYetttYYe殘差殘差 我們的目標是使擬合出來的直線在某種我們的目標是使擬合出來的直線在某種意義上是最佳的，直觀地

3、看，也就是要求估意義上是最佳的，直觀地看，也就是要求估計直線盡可能地靠近各觀測點，這意味著應(yīng)計直線盡可能地靠近各觀測點，這意味著應(yīng)使各殘差盡可能地小。要做到這一點，就必使各殘差盡可能地小。要做到這一點，就必須用某種方法將每個點相應(yīng)的殘差加在一起，須用某種方法將每個點相應(yīng)的殘差加在一起，使其達到最小。理想的測度是殘差平方和，使其達到最小。理想的測度是殘差平方和，即即 22)(tttYYe 如何決定估計值如何決定估計值 和和 ? 殘差平方和殘差平方和 最小二乘法就是選擇一條直線，使其殘差平方和最小二乘法就是選擇一條直線，使其殘差平方和達到最小值的方法。即選擇達到最小值的方法。即選擇 和和 ，使得，

4、使得 達到最小值。達到最小值。222)()(tttttXYYYeS 運用微積分知識，使上式達到最小值的必要條件為：運用微積分知識，使上式達到最小值的必要條件為： 即即)2(0)(2) 1 (0)(1(20tttttXYXSXYSSS整理，得：整理，得：此二式稱為正規(guī)方程。解此二方程，得：此二式稱為正規(guī)方程。解此二方程，得：.其中：其中：離差離差) 4() 3(2ttttttXXYXXnY) 6() 5 ()()()(2222XYxyxXXnYXYXnXXYYXXtttttttttttt YYyXXxnXXnYYtttttt,樣本均值樣本均值估計量估計量（5）式和（）式和（6）式給出了）式給出了

5、OLS法計算法計算 和和 的的公式，公式， 和和 稱為線性回歸模型稱為線性回歸模型 Yt = + Xt + ut 的參數(shù)的參數(shù) 和和 的普通最小二乘估計量的普通最小二乘估計量 (OLS estimators）。）。 這兩個公式可用于任意一組觀測值數(shù)據(jù)，以求出這兩個公式可用于任意一組觀測值數(shù)據(jù)，以求出截距和斜率的截距和斜率的OLS估計值（估計值（estimates)，估計值是，估計值是從一組具體觀測值用公式計算出的數(shù)值。從一組具體觀測值用公式計算出的數(shù)值。 一般說來，好的估計量所產(chǎn)生的估計值將相當一般說來，好的估計量所產(chǎn)生的估計值將相當接近參數(shù)的真值，即好的估計值?？梢宰C明，對接近參數(shù)的真值，即

6、好的估計值?？梢宰C明，對于于CLR模型，普通最小二乘估計量正是這樣一個模型，普通最小二乘估計量正是這樣一個好估計量。好估計量。 3 例子例子 例例1 對于第一段中的消費函數(shù)，若根據(jù)數(shù)據(jù)對于第一段中的消費函數(shù)，若根據(jù)數(shù)據(jù)得到：得到： n = 10 , =23, =20XY(),()()XXXX Y Y26437 則有則有iiiiiXYXYXXYYXX58. 070. 670. 623*58. 02058. 06437)()(2因而因而例例2 設(shè)設(shè)Y和和X的的5期觀測值如下表所示，試估計方程期觀測值如下表所示，試估計方程 Yt = + Xt + ut 序號 1 2 3 4 5 Yt 14 18 2

7、3 25 30 Xt 10 20 30 40 50 解：我們采用列表法計算。計算過程如下：解：我們采用列表法計算。計算過程如下：序號序號YtXtyt= Yt -xt=Xt-xt ytxt211410-8-2016040021820-4-1040100323301000425403103010053050820160400n=5110150003901000Y YX XY YX Xy yx xxyxy2 2x x225110,305150nYYnXXtt3 .1030*39. 022*,39. 010003902XYxxy表表31Eviews創(chuàng)建工作文件，輸入數(shù)據(jù)并進行回歸：Create u 1

8、 5data x yls y c x三三、 最小二乘法估計量的性質(zhì)最小二乘法估計量的性質(zhì) 1和和的均值的均值 2222)(tttttttttttxxYxYxxYYxxyx 0)(XnXnXXXXxttt 22)(tttttttxXxxYx =)(12ttttttxXxxx =)(12tttttxXxx )(122tttttxxXxx )(122ttttxxx 2tttxx即 的無偏估計量。是這表明）假設(shè)（）假設(shè)（兩邊取期望值，有14)()(2tttxExE 由XY我們有： )() (XYEE =)(XXE =)()(EXEX =XX = 即是的無偏估計量。 2. 和的方差 V ar()=E-E

9、()2 根據(jù)定義 =E(-)2 由無偏性 E()= 由上段結(jié)果：2tttxx 即 2tttxx 由于E(2t)=2, t=1,2,n 根據(jù)假設(shè)（3） E(ij)=0, ij 根據(jù)假設(shè)（2） 2222222) 0()(1)(titxxxE 即22)(txVar 與此類似，可得出： 222) (ttxnXVar 22), (txXCov 對于滿足統(tǒng)計假設(shè)條件對于滿足統(tǒng)計假設(shè)條件(1)-(4)的線性回歸模型的線性回歸模型 Yt = + Xt + ut , ，普通最小二乘估計量，普通最小二乘估計量 ( OLS估估計量計量) 是最佳線性無偏估計量（是最佳線性無偏估計量（BLUE）。）?；蚧?對于古典線性

10、回歸模型（對于古典線性回歸模型（CLR模型）模型）Yt=+Xt ，普通最小二乘估計量（普通最小二乘估計量（OLS估計量）是最佳線性無估計量）是最佳線性無偏估計量（偏估計量（BLUE）。）。3. 高斯高斯-馬爾柯夫定理馬爾柯夫定理（Gauss-Markov Theorem）我們已在前面證明了無偏性，此外，由于：我們已在前面證明了無偏性，此外，由于： 由上段結(jié)果，由上段結(jié)果， =其中其中 這表明，這表明， 是諸樣本觀測值是諸樣本觀測值Yt（t=1,2,n）的線性函數(shù)）的線性函數(shù),故故 是線性估計量。是線性估計量。 剩下的就是最佳性了，即剩下的就是最佳性了，即 的方差小于等于的方差小于等于的其他的其他任何線性無偏估計量的方差，我們可以證明這一點，但任何線性無偏估計量的方差，我們可以證明這一點，但由于時間關(guān)系，從略。有興趣的同學(xué)請參見教科書由于時間關(guān)系，從略。有興趣的同學(xué)請參見教科書（P46-47）2tttxYxttYk2tttxxk我們在前面列出的假設(shè)條件（我們在前面列出的假設(shè)條件（5）表明，）表明， ut N( 0, 2 ) , t= 1, 2, .,n 即各期擾動項服從均值為即各期擾動項服從均值為0、方差為、方差為 2的正態(tài)分布。的正態(tài)分布?？紤]到假設(shè)條件（考慮到假設(shè)條件（4），即）