計(jì)量經(jīng)濟(jì)學(xué) 一元線性回歸模型的參數(shù)估計(jì).ppt

1、2.3 一元線性回歸模型的參數(shù)估計(jì),一、參數(shù)的普通最小二乘估計(jì)（OLS） 二、參數(shù)估計(jì)的最大似然法(ML) 三、最小二乘估計(jì)量的性質(zhì) 四、估計(jì)量的概率分布及隨機(jī)干擾項(xiàng)方差 的估計(jì),一、參數(shù)的普通最小二乘估計(jì)（OLS）,給定一組樣本觀測值（Xi, Yi）（i=1,2,n）要求樣本回歸函數(shù)盡可能好地?cái)M合這組值. 普通最小二乘法（Ordinary least squares, OLS）給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和,最小。,方程組（*）稱為正規(guī)方程組（normal equations）。,記,上述參數(shù)估計(jì)量可以寫成：,稱為OLS估計(jì)量的離差形式（deviation form）。 由于估計(jì)結(jié)果是通

2、過最小二乘法得到的，故稱為普通最小二乘估計(jì)量（ordinary least squares estimators）。,順便指出 ，記,則有,可得,（*）式也稱為樣本回歸函數(shù)的離差形式。,（*）,注意：在計(jì)量經(jīng)濟(jì)學(xué)中，往往以小寫字母表示對(duì)均值的離差。,二、參數(shù)估計(jì)的最大似然法(ML),1、最大似然法,最大似然法(Maximum Likelihood,ML)，也稱最大或然法，是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計(jì)方法的基礎(chǔ)。 基本原理：當(dāng)從模型總體隨機(jī)抽取n組樣本觀測值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該n組樣本觀測值的概率最大。 ML必須已知隨機(jī)項(xiàng)

3、的分布。,2、估計(jì)步驟,Yi的分布,Yi的概率函數(shù),Y的所有樣本觀測值的聯(lián)合概率似然函數(shù),對(duì)數(shù)似然函數(shù),對(duì)數(shù)似然函數(shù)極大化的一階條件,結(jié)構(gòu)參數(shù)的ML估計(jì)量,3、討論,在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大似然估計(jì)量與普通最小二乘估計(jì)量是相同的。 但是，分布參數(shù)的估計(jì)結(jié)果不同。,例2.2.1：在上述家庭可支配收入-消費(fèi)支出例中，對(duì)于所抽出的一組樣本數(shù)，參數(shù)估計(jì)的計(jì)算可通過下面的表2.2.1進(jìn)行。,因此，由該樣本估計(jì)的回歸方程為：,三、最小二乘估計(jì)量的性質(zhì),1、概述,當(dāng)模型參數(shù)估計(jì)出后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。 準(zhǔn)則： 線性性

4、(linear)，即它是否是另一隨機(jī)變量的線性函數(shù)； 無偏性(unbiased)，即它的均值或期望值是否等于總體的真實(shí)值； 有效性(efficient)，即它是否在所有線性無偏估計(jì)量中具有最小方差。 這三個(gè)準(zhǔn)則也稱作估計(jì)量的小樣本性質(zhì)。擁有這類性質(zhì)的估計(jì)量稱為最佳線性無偏估計(jì)量（best liner unbiased estimator, BLUE）。,（4）漸近無偏性，即樣本容量趨于無窮大時(shí)，是否它的均值序列趨于總體真值； （5）一致性，即樣本容量趨于無窮大時(shí)，它是否依概率收斂于總體的真值； （6）漸近有效性，即樣本容量趨于無窮大時(shí)，是否它在所有的一致估計(jì)量中具有最小的漸近方差。,當(dāng)不滿足小

5、樣本性質(zhì)時(shí)，需進(jìn)一步考察估計(jì)量的大樣本或漸近性質(zhì)：,2、高斯馬爾可夫定理(Gauss-Markov theorem),高斯馬爾可夫定理(Gauss-Markov theorem) 在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無偏估計(jì)量。,證：,易知,故,同樣地，容易得出,（2）證明最小方差性,其中，ci=ki+di，di為不全為零的常數(shù) 則容易證明,普通最小二乘估計(jì)量（ordinary least Squares Estimators）稱為最佳線性無偏估計(jì)量（best linear unbiased estimator, BLUE）,四、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾項(xiàng)方差的估計(jì),2、隨機(jī)誤差項(xiàng)的方差2的估計(jì),由于隨機(jī)項(xiàng)i不可觀測，只能從i的估計(jì)殘差ei出發(fā)，對(duì)總體方