第三節(jié) 最小二乘估計量性質(zhì)

1、第三節(jié) 最小二乘估計量的性質(zhì)三大性質(zhì)：線性特性、無偏性和最小偏差性一、 線性特性的含義線性特性是指參數(shù)估計值和分別是觀測值或者是擾動項的線性組合，或者叫線性函數(shù)，也可以稱之為可以用或者是來表示。1、的線性特征證明（1）由的計算公式可得：需要指出的是，這里用到了因為不全為零，可設(shè)，從而，不全為零，故。這說明是的線性組合。（2）因為，所以有這說明是的線性組合。需要指出的是，這里用到了以及2、的線性特征證明（1）因為，所以有這里，令，則有這說明是的線性組合。（2）因為回歸模型為，所以因為。而所以，這說明是的線性組合。至此，參數(shù)的線性特性證明完畢。問題參數(shù)估計值線性特性的深層次含義是什么？要根據(jù)被解釋

2、變量、隨機擾動項和的隨機性來理解。二、 無偏性的含義所謂無偏性是指估計值的均值等于真實值。在這里，無偏性是指參數(shù)估計值和的期望值分別等于總體參數(shù)和。其數(shù)學上要求是和。證明：根據(jù)參數(shù)估計值的線性特征，我們推導(dǎo)出：，所以有：相似地，所以有三、 最優(yōu)性（有的書本上直接稱之為最小方差性）的含義最優(yōu)性是指用最小二乘法得到的參數(shù)估計值和在各種線性無偏估計中得到的方差最小。 根據(jù)上述的定義，我們可以任意假設(shè)是用其他方法得到的總體參數(shù)的一個線性無偏估計。因為具有線性特性，我們可以得到：， 又因為是用其他方法得到的總體參數(shù)的一個無偏估計，所以有所以由上述兩個結(jié)果，可以得到：上述式子要成立，必須同時滿足兩個條件，

3、即和現(xiàn)在求的方差：因為根據(jù)假設(shè)條件（常數(shù)方差和非自相關(guān)，即和所以，有方差的最后一項為這是因為和因此，有很明顯，當時，方差最小，此時，最小值為。而在此時，有即兩個估計值相等。因為的最小方差等于的方差，即，因此，我們說，在所有線性無偏估計中的方差最小，且最小方差為：同理，我們可以證明，在所有線性無偏估計中的方差最小，且參數(shù)估計值的方差為：。由此，說明，最小二乘估計具有BLUE(best linear unbiased estimation)性質(zhì)。從而在統(tǒng)計學和計量經(jīng)濟學中得到廣泛應(yīng)用。第四節(jié) 系數(shù)的顯著性檢驗一、 系數(shù)估計值的特性：1、根據(jù)系數(shù)估計值的線性特性，我們知道系數(shù)估計值是和的線性組合。又

4、因為和都服從正態(tài)分布，所以，我們可以自然得到兩點：一是系數(shù)估計值是隨機變量（這里是在數(shù)學上再次予以證明）；二是系數(shù)估計值服從正態(tài)分布。從而，可以用隨機變量的一些數(shù)字特征來表示。通常，我們采用的是均值與方差。 系數(shù)估計值的均值是多少呢？ 根據(jù)系數(shù)估計值的無偏性，我們知道，。這說明系數(shù)估計值和這兩個隨機變量的數(shù)學期望（均值）分別等于總體參數(shù)（實際值）。系數(shù)估計值的方差又是多少呢？根據(jù)系數(shù)估計值的最小方差性的證明，我們得到了其方差，即有 ，。至此，我們可以用隨機變量的數(shù)學期望和方差來刻畫和這兩個隨機變量的分布，即有：服從均值為、方差為的正態(tài)分布；而服從均值為、方差為的分布。用數(shù)學的語言可以描述為：和

5、?？梢悦黠@看出的是，在系數(shù)的描述中，方差中含有隨機擾動項的方差，其他我們可以得到。隨機擾動項是總體回歸模型中的誤差項，無法得到，只能對其估計。二、 隨機誤差項方差的估計因為總體回歸模型為：而樣本回歸模型為：從形式上看，樣本回歸模型中的殘差可以看作隨機擾動項的估計值。進一步，殘差的方差可以作為隨機擾動項的方差的估計值。樣本回歸模型為：樣本回歸直線為：樣本回歸模型的左右兩邊減去樣本回歸直線的左右兩邊，可得：，把這個式子重新安排一下，可以得到：現(xiàn)在，重點要求的是的兩個部分，即和。這兩部分知道之后，才能求的方差。對樣本回歸模型兩邊分別對t求和，再除以n,有： 由前邊的正規(guī)方程組，我們曾經(jīng)知道，點在樣本

6、回歸直線上，用數(shù)學的語言來講，就有：，因此，有，進而，有對總體回歸模型兩邊分別對t求和，再除以n,有：所以，由，可得，將兩部分結(jié)合起來，現(xiàn)在，我們可以得到：可以得到：，（從這個式子我們可以看出什么呢？）至此，已經(jīng)將殘差與擾動項聯(lián)系起來了。由此，我們可以得到：進一步，有：在這三項當中，有：所以，第一項為第二項為：第三項為：故有，也就是說如令，則意味著。這說明是的無偏估計量。前面，我們已經(jīng)求得和。在和的方差中都含有未知量。這里，我們證明了是的無偏估計量，因此，可以用作為的估計值，這樣，代入得到和的方差的估計值分別為：和，分別稱為回歸模型的標準差、參數(shù)估計值和的標準差。知道了估計值的方差估計值，就可

7、以對參數(shù)進行顯著性檢驗，也可以估計總體參數(shù)的置信區(qū)間。二 參數(shù)估計的顯著性檢驗以上一節(jié)家庭消費支出和收入之間的關(guān)系的例子來說明，通過選取樣本，我們得到了總體參數(shù)和的估計值分別為和。通過這個估計值，我們知道了家庭消費支出和收入的具體數(shù)量關(guān)系?，F(xiàn)在，需要知道的是，通過樣本得到的估計值能夠正確地反映總體參數(shù)嗎？這需要通過假設(shè)檢驗來做出判斷。1、 關(guān)于假設(shè)檢驗假設(shè)檢驗指利用樣本得到的信息來判斷總體是否具有某種制定的特征。例如：某藥品生產(chǎn)線上規(guī)定，每片藥片的凈重是400毫克，標準差是4毫克。今連續(xù)檢查20片藥片，平均藥片重量為395.4毫克。問藥片的重量是否已經(jīng)偏離了額定凈重值？假設(shè)：對總體分布特征的假

8、設(shè)假設(shè)檢驗：根據(jù)樣本信息來判斷總體分布是否具有指定的特征，這個過程叫假設(shè)檢驗。就家庭消費支出而言，我們關(guān)注的是家庭消費支出與收入之間是否真的存在回歸關(guān)系，也就是說我們關(guān)注總體參數(shù)和是否不等于零。因此，我們這里的假設(shè)是對總體參數(shù)的假設(shè)，我們這里的檢驗是對總體參數(shù)的假設(shè)檢驗，我們要運用的假設(shè)檢驗的工具是用樣本工具得到的與和有關(guān)的檢驗的工具。這就是用樣本信息來推斷總體。1、 對總體均值的假設(shè)檢驗因為我們關(guān)注的是解釋變量和被解釋變量之間的關(guān)系是否真實存在，因此，我們需要檢驗的是總體均值是否為零。對總體均值的假設(shè)檢驗可分三種情況：(1) 總體服從正態(tài)分布，總體方差已知，樣本大小無限制(2) 總體總體分布

9、未知，總體方差未知，大樣本(3) 總體服從正態(tài)分布，總體方差未知，小樣本我們這里符合的是總體服從正態(tài)分布，總體方差未知，小樣本。2、 用什么來檢驗？（檢驗工具，統(tǒng)計量）我們已經(jīng)知道，參數(shù)估計值滿足：和，要盡可能利用關(guān)于和的信息。將和由正態(tài)分布轉(zhuǎn)化為標準正態(tài)分布統(tǒng)計量：和在這兩個統(tǒng)計量中，和我們都不知道，原因在于未知。但我們前邊已經(jīng)證明是的無偏估計量。因此，對于大樣本情況，我們可以用代替，進而求得和以及，。這樣，和可以進一步轉(zhuǎn)化為：和。從而可以利用這兩個統(tǒng)計量對總體參數(shù)和進行檢驗。（什么含義）就是說，我們可以對比如進行檢驗。如何檢驗?zāi)?？就是考察我們算出來的統(tǒng)計量是否服從正態(tài)分布。對于一元線性回歸

10、模型而言，我們關(guān)心的是解釋變量能否解釋被解釋變量，在數(shù)學上這表現(xiàn)為是否成立。因此，我們可以進行下假設(shè)：零假設(shè) 備擇假設(shè) 在零假設(shè)條件下，服從標準正態(tài)分布，我們用這個統(tǒng)計量進行檢驗。在一般情況下，樣本容量不滿足大樣本條件，這時要用t統(tǒng)計量，所做的檢驗稱之為t分布檢驗。這時t統(tǒng)計量為：，其服從自由度為（n-2）的t分布。關(guān)于t分布t分布的含義是隨機變量落入一定區(qū)域的概率。給定顯著性水平和自由度（n-2）,則t落入?yún)^(qū)間內(nèi)的概率為：t落在區(qū)域之外的概率為，也可以寫作：，此式子等價于和。見下圖。 -ta (n-2) 0 ta (n-2) 很顯然，如果計算出來的這時t統(tǒng)計量為：（即t統(tǒng)計量小于臨界值），則

11、可以認為原假設(shè)成立，即。反之，如果計算出來的這時t統(tǒng)計量為：，則可以認為備擇假設(shè)成立，即。因此，我們通常的希望是t統(tǒng)計量值大于臨界值。t統(tǒng)計量值我們可以根據(jù)樣本計算出來，而臨界值可以通過查表得到。問題：t值與P值的關(guān)系是什么？相應(yīng)地，我們可以對總體參數(shù)值進行檢驗。過程為：零假設(shè)為：備擇假設(shè)為： 計算統(tǒng)計量查t分布表，得出臨界值。若，則拒絕零假設(shè)，接受備擇假設(shè)，即認為。三、 總體參數(shù)的置信區(qū)間1、的置信區(qū)間由，將代入概率公式，可得：用概率表述為：總體參數(shù)在區(qū)間內(nèi)的概率為。統(tǒng)計表述：區(qū)間包含總體參數(shù)的概率為。通常說，總體參數(shù)的置信區(qū)間為：2、相似地，總體參數(shù)的置信區(qū)間為：由這兩個區(qū)間，可以推斷總體

12、回歸線所處的區(qū)域。四、決定系數(shù)（可決系數(shù)）評價回歸直線對觀察值擬合的好壞，擬合優(yōu)度是一個重要的指標。顯然，若觀測點離回歸直線近，則擬合程度好，反之，則擬合程度差。測量擬合優(yōu)度的統(tǒng)計量是可決系數(shù)（決定系數(shù)）現(xiàn)由一個恒等式開始。這個式子把解釋變量的總偏差分解成兩部分：回歸偏差或者叫可解釋偏差（和殘差兩部分之和?？山忉屍钍怯蓸颖净貧w直線決定的，殘差則是隨機的。顯然，由樣本回歸直線解釋的部分越大，則殘差越小，樣本回歸直線與樣本值的擬合優(yōu)度就越好。而要從總體上反映樣本回歸方程對所有樣本點的擬合的好壞，必須求和，考慮到正負抵消的問題，可以求平方和。 總離差平方和： 回歸平方和： 殘差平方和：現(xiàn)在推導(dǎo)三者

13、之間的關(guān)系：這里有：所以有。即：總離差平方和=回歸平方和+殘差平方和。用公式表示為：，表示可以由解釋變量說明的偏差部分，表示可以由殘差說明的偏差部分。顯然，在中所占的比例越大，所占的比例越小，則參數(shù)估計值的顯著性越強，樣本回歸直線與樣本觀測值擬合得越好。因此，可以用在中所占的比例說明回歸直線與樣本觀測值的擬合程度。也即總離差中可以由回歸方程說明的部分。可決系數(shù)或擬合優(yōu)度可以定義為：可決系數(shù)的取值范圍為：變化的含義是什么？四、 相關(guān)分析1、 回歸分析和相關(guān)分析的區(qū)別回歸分析：性質(zhì)、變量要求相關(guān)分析：相關(guān)關(guān)系，不是因果關(guān)系。變量要求不同2、 相關(guān)分析的分類:線性相關(guān)：直觀上講，樣本點集中分布在一條

14、直線附近。直線斜率為正，為正相關(guān)。直線斜率為負，則為負相關(guān)。非線性相關(guān)：樣本點分布在一條曲線周圍。3、 相關(guān)程度的度量一般用相關(guān)系數(shù)表示X和Y的相關(guān)程度?？傮w相關(guān)系數(shù)定義為?？傮w相關(guān)系數(shù)的取值范圍：總體相關(guān)系數(shù)與樣本相關(guān)系數(shù)之間的關(guān)系。樣本相關(guān)系數(shù)一般用來表示，且定義：這里有：4、 相關(guān)分析與回歸分析的關(guān)系這里特指在一元線性回歸分析和簡單相關(guān)分析中的關(guān)系。這里可決系數(shù)與相關(guān)系數(shù)有如下關(guān)系：，即。5、 計量回歸分析的規(guī)范表達第五節(jié) 預(yù)測和預(yù)測區(qū)間關(guān)于預(yù)測預(yù)測對兩種樣本數(shù)據(jù)的作用。對于時間序列數(shù)據(jù)的估計的目的是預(yù)測。對截面數(shù)據(jù)估計的目的是為了推測未知數(shù)據(jù)。預(yù)測是計量經(jīng)濟學的一項主要任務(wù)。一、 預(yù)測

15、的點估計首先回顧四個方程式總體回歸模型：總體回歸直線：樣本回歸模型：樣本回歸直線：對于樣本外的符合假定條件的一點而言，代入總體回歸模型和總體回歸直線，我們可以得到：和然而，由于和我們并不知道，因此，無從獲得和。但是，利用樣本回歸直線，我們可以得到的估計值，即，求期望有：這說明是 的無偏估計量。同時，故，這說明不是的無偏估計量。由可得：這說明在多次觀察中，平均值趨于零，從而以作為的估計中心是合理的。二、預(yù)測的區(qū)間估計1、的置信區(qū)間2、的置信區(qū)間先求的置信區(qū)間因為，所以服從正態(tài)分布。求其置信區(qū)間的關(guān)鍵是求其與的偏差的方差。其中，（是的無偏估計量）所以，進一步可以寫為進而，上式子中的第一項為：上式子

16、中的第二項為：上式子中的第三項為：將上述三項相加得到因為上式中，總體方差可以用來代替。從而可以得到的方差估計值為：所以，根據(jù)的分布，給定顯著性水平，使用t統(tǒng)計量，則有即有。這說明，的置信區(qū)間為：2、的置信區(qū)間相似地，我們可以得到的方差估計值為從而的置信區(qū)間為：10案例：用回歸模型預(yù)測木材剩余物伊春林區(qū)位于黑龍江省東北部。全區(qū)有森林面積218.9732萬公頃，木材蓄積量為2.324602億m3。森林覆蓋率為62.5%，是我國主要的木材工業(yè)基地之一。1999年伊春林區(qū)木材采伐量為532萬m3。按此速度44年之后，1999年的蓄積量將被采伐一空。所以目前亟待調(diào)整木材采伐規(guī)劃與方式，保護森林生態(tài)環(huán)境。

17、為緩解森林資源危機，并解決部分職工就業(yè)問題，除了做好木材的深加工外，還要充分利用木材剩余物生產(chǎn)林業(yè)產(chǎn)品，如紙漿、紙袋、紙板等。因此預(yù)測林區(qū)的年木材剩余物是安排木材剩余物加工生產(chǎn)的一個關(guān)鍵環(huán)節(jié)。下面，利用一元線性回歸模型預(yù)測林區(qū)每年的木材剩余物。顯然引起木材剩余物變化的關(guān)鍵因素是年木材采伐量。給出伊春林區(qū)16個林業(yè)局1999年木材剩余物和年木材采伐量數(shù)據(jù)如表2.1。散點圖見圖2.14。觀測點近似服從線性關(guān)系。建立一元線性回歸模型如下：yt = b0 + b1 xt + ut表2.1 年剩余物yt和年木材采伐量xt數(shù)據(jù)林業(yè)局名年木材剩余物yt（萬m3）年木材采伐量xt（萬m3）烏伊嶺26.1361

18、.4東風23.4948.3新青21.9751.8紅星11.5335.9五營7.1817.8上甘嶺6.8017.0友好18.4355.0翠巒11.6932.7烏馬河6.8017.0美溪9.6927.3大豐7.9921.5南岔12.1535.5帶嶺6.8017.0朗鄉(xiāng)17.2050.0桃山9.5030.0雙豐5.5213.8合計202.87532.00圖2.14 年剩余物yt和年木材采伐量xt散點圖圖2.15 Eviews輸出結(jié)果Eviews估計結(jié)果見圖2.15。建立Eviews數(shù)據(jù)文件的方法見附錄1。在已建立Eviews數(shù)據(jù)文件的基礎(chǔ)上，進行OLS估計的操作步驟如下：打開工作文件，從主菜單上點擊

19、Quick鍵，選Estimate Equation 功能。在出現(xiàn)的對話框中輸入y c x。點擊Ok鍵。立即會得到如圖2.15所示的結(jié)果。下面分析Eviews輸出結(jié)果。先看圖2.15的最上部分。被解釋變量是yt。估計方法是最小二乘法。本次估計用了16對樣本觀測值。輸出格式的中間部分給出5列。第1列給出截距項（C）和解釋變量xt。第2列給出第1列相應(yīng)項的回歸參數(shù)估計值（和）。第3列給出相應(yīng)回歸參數(shù)估計值的樣本標準差（s(), s()）。第4列給出相應(yīng)t值。第5列給出t統(tǒng)計量取值大于用樣本計算的t值（絕對值）的概率值。以t = 12.11266為例，相應(yīng)概率0.0000表示統(tǒng)計量t取值（絕對值）大于12.1的概率是一個比萬分之一還小的數(shù)。換句話說，若給定檢驗水平為0.05，則臨界值為t0.05 (14) = 2.15。t = 12.1>2.15落在了H0的拒絕域，所以結(jié)論是b1不為零。輸出格式的最下部分給出了評價估計的回歸函數(shù)的若干個統(tǒng)計量的值。依縱向順序，這些統(tǒng)計量依次是可決系數(shù)R2、調(diào)整的可決系數(shù)（第3章介紹）、回歸函數(shù)的標準差（s.e.，即均