最小二乘估計(jì)量

1、2.2 2.2 最小二乘估計(jì)量的性質(zhì)最小二乘估計(jì)量的性質(zhì) 一、最小二乘估計(jì)量的性質(zhì)一、最小二乘估計(jì)量的性質(zhì)二、參數(shù)估計(jì)量的概率分布及隨機(jī)干二、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾項(xiàng)方差的估計(jì)擾項(xiàng)方差的估計(jì) 一、最小二乘估計(jì)量的性質(zhì)一、最小二乘估計(jì)量的性質(zhì) 當(dāng)模型參數(shù)估計(jì)出后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)的真值，或者說(shuō)需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。 一個(gè)用于考察總體的估計(jì)量，可從如下幾個(gè)方面考察其優(yōu)劣性： （1）線性性）線性性，即它是否是另一隨機(jī)變量的線性函數(shù)； （2）無(wú)偏性）無(wú)偏性，即它的均值或期望值是否等于總體的真實(shí)值； （3）有效性）有效性，即它是否在所有線性無(wú)偏估計(jì)量中具有最小方

2、差。（4）漸近無(wú)偏性）漸近無(wú)偏性，即樣本容量趨于無(wú)窮大時(shí)，是否它的均值序列趨于總體真值；（5）一致性）一致性，即樣本容量趨于無(wú)窮大時(shí)，它是否依概率收斂于總體的真值；（6）漸近有效性）漸近有效性，即樣本容量趨于無(wú)窮大時(shí)，是否它在所有的一致估計(jì)量中具有最小的漸近方差。 這三個(gè)準(zhǔn)則也稱(chēng)作估計(jì)量的小樣本性質(zhì)。小樣本性質(zhì)。 擁有這類(lèi)性質(zhì)的估計(jì)量稱(chēng)為最佳線性無(wú)偏估計(jì)最佳線性無(wú)偏估計(jì)量量（best liner unbiased estimator, BLUE）。 當(dāng)不滿(mǎn)足小樣本性質(zhì)時(shí)，需進(jìn)一步考察估計(jì)量的大樣本大樣本或或漸近性質(zhì)漸近性質(zhì)：高斯高斯馬爾可夫定理馬爾可夫定理(Gauss-Markov theor

3、em) 在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無(wú)偏估計(jì)量。12222()iiiiiiiiiiix yx YYxYYxxxxx證：2 2、無(wú)無(wú)偏偏性性，即估計(jì)量0、1的均值（期望）等于總體回歸參數(shù)真值0與1 證：證：iiiiiiiiiikXkkXkYk10101)(易知02iiixxk1iiXk故iik111111)()()(iiiiEkkEE同樣地，容易得出 0000)()()()(iiiiEwEwEE3 3、有有效效性性（最最小小方方差差性性） ，即在所有線性無(wú)偏估計(jì)量中，最小二乘估計(jì)量0、1具有最小方差。 (1)先求0與1的方差 )var()var()var()va

4、r(21021iiiiiiikXkYk22222iiixxx221020)/1 ()var()var()var(iiiiiikXnXwYw2222222221121iiiiixxXkXnnkXkXnn22222222221iiiiixnXxnXnxxXn（2）證明最小方差性假設(shè)*1是其他估計(jì)方法得到的關(guān)于1的線性無(wú)偏估計(jì)量： iiYc*1其中，ci=ki+di，di為不全為零的常數(shù)則容易證明)var()var(1*1同理，可證明0的最小二乘估計(jì)量0具有最的小方差 普通最小二乘估計(jì)量普通最小二乘估計(jì)量（ordinary least Squares Estimators）稱(chēng)為最佳線性無(wú)偏估計(jì)量最佳

5、線性無(wú)偏估計(jì)量（best linear unbiased estimator, BLUE） 二、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾二、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾項(xiàng)方差的估計(jì)項(xiàng)方差的估計(jì) 1、參數(shù)估計(jì)量、參數(shù)估計(jì)量0和和1的概率分布的概率分布 ),(2211ixN),(22200iixnXN22/1ix2220iixnX 1的概率分布：2、隨機(jī)誤差項(xiàng)、隨機(jī)誤差項(xiàng) 的方差的方差 2的估計(jì)的估計(jì) 由于隨機(jī)項(xiàng) i不可觀測(cè)，只能從 i的估計(jì)殘差ei i出發(fā)，對(duì)總體方差進(jìn)行估計(jì)。 2又稱(chēng)為總體方差總體方差。 可以證明可以證明，2的最小二乘估計(jì)量最小二乘估計(jì)量為222nei22可以證明是的無(wú)偏估計(jì)量在隨機(jī)誤差項(xiàng)的方差2估計(jì)出后，參數(shù)0和1的方方差差和標(biāo)標(biāo)準(zhǔn)準(zhǔn)差