一元線性回歸模型的參數(shù)估計.ppt

1、2.3線性回歸模型的參數(shù)估計，1，參數(shù)估計的一般最小二乘法(OLS) 2，參數(shù)估計的最大似然方法(ML)(略)3，參數(shù)估計的力矩方法(MM)(略)4，最小二乘法估計的統(tǒng)計特性5 Yi(略)也就是說，樣例回歸線的點和實際觀測點Yi的“總誤差”應(yīng)盡可能小，或者已求解變量的估計和觀測值應(yīng)在整體上最接近。(熟練參數(shù)的一般最小二乘估計的柔道過程。)一般最小二乘法(Ordinary least squares，OLS)牙齒提供的判斷標準是兩個差異的平方和，最小值。(2.3.1)，為什么使用平方和？由于樣例回歸線的點與實際觀測點Yi的差值可以為正，因此簡單總和可以抵消誤差，并且只有平方和可以反映總體上的接近

2、程度。這就是最小二乘法原理。4個0:(與以下公式2.3.2結(jié)合)，即偏差和0；因此，殘差和0，一階條件的結(jié)論一階條件的結(jié)論，方程(2.3.2)或(2.3.3)稱為正則方程。(2.3.2)，(2.3.3)，(2.3.4)，利用，記憶，其中，(；(寫OLS估計量的偏差形式。)參數(shù)的估計結(jié)果通過最小二乘法獲得，因此稱為“一般最小二乘法估計”(ordinary least squares estimators)。通過推斷(2.3.4-1)和(2.3.4-2)賦值表達式(2.3.4)、公式(2.3.4)，(；(使用手動運算(不是電腦軟件)對樣例數(shù)據(jù)進行一元回歸模型建模的參數(shù)估計。)表2.3.1參數(shù)估算計

3、算表(不同于教材數(shù)據(jù))，)模型參數(shù)估算后，必須考慮參數(shù)估算的準確度，即是否可以表示整體參數(shù)true值。通常，由于樣本波動的存在和所選擇的估計方法的差異，預(yù)計參數(shù)和整個參數(shù)的實際值之間存在差異。因此，調(diào)查參數(shù)估算量的統(tǒng)計性質(zhì)成為衡量其估算量“好壞”的主要標準。主要從以下6個茄子方面進行調(diào)查：線性，即是否是其他隨機變量的線性函數(shù)；沒有傾向性。也就是說，平均值或期望值是否等于總實際值。有效性，也就是說，在所有線性無偏估計中，最小方差是否越來越近，也就是說，如果樣本容量為無窮大，則估計量的平均序列傾向于整個true。一致性，即樣本容量無限大時，估計值根據(jù)概率收斂到總實值。漸近有效性，即樣本容量無限增長

4、時，估計值在所有一致估計值中具有最小的漸近方差。上述前三個茄子特性(路線、偏轉(zhuǎn)和有效性)也稱為估計量的有限樣例特性或小樣例特性。因為一旦某個估計具有這種特性，它就不會隨著樣品的大小而變化。具有線性、偏轉(zhuǎn)和有效性特性的估計值稱為最佳線性偏轉(zhuǎn)估計值(blue，best liner unbiased estimator)。在有限的樣本情況下，可能很難找到BLUE估計值，在樣本容量無限增加的情況下，可能需要調(diào)查估計值的漸進性質(zhì)。上述以下三個茄子標準(漸進偏轉(zhuǎn)、一致性和漸進有效性)稱為估計量的無限采樣特性或大采樣增量特性。在上述6個茄子特性中，偏向性和有效性是小樣本特性中最重要的兩個茄子特性，不需要線性

5、。由于大樣本的特性，問題比較復(fù)雜，人們更加關(guān)注一致性。，(1)定線(定線)，即預(yù)估量和范例的定線組合。如(2.3.5)表達式所示，可以得到其中可用的等式結(jié)論。如果參數(shù)估計量具有線性特性，則可以簡化經(jīng)濟現(xiàn)象，輕松建立模型，更清楚地表示經(jīng)濟意義。(分母相同，分子合計)，(2)無偏或無偏，是指參數(shù)估計量的平均值(估計)與整體回歸參數(shù)的實際值的比較。下圖：無偏估計(左)和無偏估計(右)。無偏(Unbiased)，即估計量，平均值(performance)等于整個回歸參數(shù)的實際值。線性度(分母相同，分子和相等)，同樣，(3)有效性(Efficient)，即所有線性偏轉(zhuǎn)估計中的最小平方估計，最小方差。(省

6、略證明過程)，高斯馬爾可夫定理：在給定經(jīng)典線性回歸的假設(shè)下，最小二乘估計具有線性、偏振、有效性等優(yōu)良特性。顯然，這種優(yōu)秀的性質(zhì)取決于對模型的基本假設(shè)。附件：小樣品、大樣品和樣品容量問題。數(shù)理統(tǒng)計有大樣本理論或大樣本性質(zhì)的提法。討論了當特定統(tǒng)計數(shù)據(jù)的準確分布未知(或因復(fù)雜而不易獲得)時樣本楊怡無窮大時的極端行為。如果存在極限分布且樣本楊怡足夠，則牙齒極限分布可以用作近似分布。小樣本是指與大樣本相比，所有樣本量(不僅限于小樣本)的統(tǒng)計遵從性的準確分布。例如，自由度傾向的極限分布是標準正態(tài)分布。正態(tài)總體標準偏差S的分布是自由度為n1的T分布，因此在故意估計時，可以對所有N使用T分布。n牙齒較大時，正

7、態(tài)分布也可以用作近似。如果自由度大于30，則與正態(tài)分布非常接近，因此在牙齒情況下，如果大于示例楊怡30，則可以利用較大的示例特性。但是，在所有情況下，不能推斷大于N牙齒30的樣例特性(如果存在極限分布)可用。因此，大于樣品楊怡30的不能稱為大樣品，小于30的不能稱為小樣品。5，參數(shù)估計的概率分布和隨機干擾項分布的估計1。為了測量參數(shù)估計的概率分布(平均值和方差)參數(shù)估計的精度，需要進一步確定參數(shù)估計的概率分布。滿足假設(shè)條件的一般最小二乘估計服從正態(tài)分布。從估計量的線性和有效性中，可以得到兩個茄子估計量的概率分布。，可證明的最小平方估計是公式(2.3.15)(省略證明過程)。那是對關(guān)島的無偏估計量。(2.3.15)，RSS:殘差平方和；N-2=n-k-c=m(其中n是樣品數(shù)，k是收購數(shù)，c是常數(shù)項目數(shù))。m是自由度。牙齒章節(jié)：m=n-1-1=n-2，(為估計和隨機碰撞項目寫入分布表達式)，107216/(10-2)=115.7672，補充測試問題1.2.n:最小平方原則3。使用正則方程表達式和OLS估計量的偏差形式。4.使用手動運算(不是電腦軟件)估計表2.3.1中樣例數(shù)據(jù)的