一元線性回歸的最小二乘估計

一元線性回歸的最小二乘估計第一頁，共二十一頁，編輯于2023年，星期六*****

et************

YXXt

圖2

YtYt第二頁，共二十一頁，編輯于2023年，星期六

擬合的直線稱為擬合的回歸線.

對于任何數(shù)據(jù)點(Xt,Yt),此直線將Yt的總值分成兩部分。第一部分是Yt的擬合值或預(yù)測值：

,t=1,2,……,n

第二部分，et代表觀測點對于回歸線的誤差，稱為擬合或預(yù)測的殘差（residuals）：

t=1,2,……,n

即t=1,2,……,n殘差第三頁，共二十一頁，編輯于2023年，星期六

我們的目標是使擬合出來的直線在某種意義上是最佳的，直觀地看，也就是要求估計直線盡可能地靠近各觀測點，這意味著應(yīng)使各殘差盡可能地小。要做到這一點，就必須用某種方法將每個點相應(yīng)的殘差加在一起，使其達到最小。理想的測度是殘差平方和，即

如何決定估計值和?

殘差平方和第四頁，共二十一頁，編輯于2023年，星期六

最小二乘法就是選擇一條直線，使其殘差平方和達到最小值的方法。即選擇和，使得最小二乘法達到最小值。第五頁，共二十一頁，編輯于2023年，星期六

運用微積分知識，使上式達到最小值的必要條件為：

即第六頁，共二十一頁，編輯于2023年，星期六整理，得：此二式稱為正規(guī)方程。解此二方程，得：.其中：離差樣本均值估計量第七頁，共二十一頁，編輯于2023年，星期六（5）式和（6）式給出了OLS法計算和的公式，和稱為線性回歸模型Yt=+Xt+ut的參數(shù)和的普通最小二乘估計量(OLSestimators）。

這兩個公式可用于任意一組觀測值數(shù)據(jù)，以求出截距和斜率的OLS估計值（estimates)，估計值是從一組具體觀測值用公式計算出的數(shù)值。一般說來，好的估計量所產(chǎn)生的估計值將相當接近參數(shù)的真值，即好的估計值?？梢宰C明，對于CLR模型，普通最小二乘估計量正是這樣一個好估計量。第八頁，共二十一頁，編輯于2023年，星期六3例子

例1

對于第一段中的消費函數(shù)，若根據(jù)數(shù)據(jù)得到：

n=10,=23,=20

則有因而第九頁，共二十一頁，編輯于2023年，星期六例2

設(shè)Y和X的5期觀測值如下表所示，試估計方程

Yt=+Xt+ut

序號

12345Yt1418232530Xt

1020304050

解：我們采用列表法計算。計算過程如下：第十頁，共二十一頁，編輯于2023年，星期六序號YtXtyt=Yt-xt=Xt-xtytxt211410-8-2016040021820-4-1040100323301000425403103010053050820160400n=5110150003901000表3－1第十一頁，共二十一頁，編輯于2023年，星期六Eviews創(chuàng)建工作文件，輸入數(shù)據(jù)并進行回歸：Createu15dataxylsycx第十二頁，共二十一頁，編輯于2023年，星期六第十三頁，共二十一頁，編輯于2023年，星期六第十四頁，共二十一頁，編輯于2023年，星期六第十五頁，共二十一頁，編輯于2023年，星期六第十六頁，共二十一頁，編輯于2023年，星期六第十七頁，共二十一頁，編輯于2023年，星期六第十八頁，共二十一頁，編輯于2023年，星期六

對于滿足統(tǒng)計假設(shè)條件(1)--(4)的線性回歸模型Yt=+Xt+ut,，普通最小二乘估計量(OLS估計量)是最佳線性無偏估計量（BLUE）。或?qū)τ诠诺渚€性回歸模型（CLR模型）Yt=α+β+Xt，普通最小二乘估計量（OLS估計量）是最佳線性無偏估計量（BLUE）。3.高斯--馬爾柯夫定理（Gauss--MarkovTheorem）第十九頁，共二十一頁，編輯于2023年，星期六我們已在前面證明了無偏性，此外，由于：

——由上段結(jié)果，

=其中

這表明，是諸樣本觀測值Yt（t=1,2,…,n）的線性函數(shù),故是線性估計量。剩下的就是最佳性了，即的方差小于等于β的其他任何線性無偏估計量的方差，我們可以證明這一點，但由于時間關(guān)系，從略。有興趣的同學(xué)請參見教科書（P46-47）第二十頁，共二十一頁，編輯于2023年，星期六我們在前面列出的假設(shè)條件（5）表明，

ut~N(0,2)