第八章經典估計理論1 -2

1、1第八章第八章 經典估計理論經典估計理論n本章重點：1、Bayes估計、最大后驗估計和最大似然估計三個經典估計準則的內容及應用。2、估計量的性質:無偏性、一致性、充分性和有效性。n本章難點：運用估計準則求參數估計并分析其性質28.6 估計量的性質估計量的性質 前面已經討論了幾種構造估計量的方法。 既然對于同一個未知信號參數，可用多種不同的方法來構造估計量，可能產生不同的結果，這就涉及到評價估計量性能的標準。 本節(jié)討論估計量的性質，給出衡量估計量逼近給出衡量估計量逼近真值程度的一些度量真值程度的一些度量。實質上就是評價估計量好壞的一些性能指標。其目的是了解估計量和更好地選用估計量。38.6.1

2、無偏性無偏性 n由于樣本的隨機性，對于個別樣本，其估計值可能偏大或偏小。然而一個好的估計量，從平均值來看，應該等于被估計參數。即 作為一個隨機變量，它所取的值應集中在未知參數的真值或均值附近。 n如果估計量估計量 的均值的均值(數學期望數學期望)等于被估計等于被估計參量參量 的均值的均值，則稱此估計量具有無偏性，則稱此估計量具有無偏性，為無偏估計量，數學表達式為）（）（EE）（E）（ En若被估計參量為確定的，即 ，則無偏性可表示為 4n無偏性是一個所期望的性能，但是有時候一個有偏的估計量也可能是非常有用的，如果它具有漸近性的話。 n若 滿足關系式 （其中 n為樣本數），則稱為漸近無偏估計漸近

3、無偏估計。n“漸近”一詞是指樣本數n趨向無限大時的極限性能。 ）（ limEnn若 不等于 ，則稱 為有偏估計量，差值 稱為估計量的偏差或偏量。估計量的偏差或偏量。 n估計量的無偏性保證保證了估計值總是分布在被估計量的均值附近，是估計量應具有的一種良好性質。 ）（ E ）（）（Eb58.6.2 一致性一致性 n對于一個好的估計量，當樣本數無限增大時，其值便趨近于被估量的真值。 n設 是未知參數 的估計量，當觀測樣本數 時，估計量 依一定概率收斂于被估計參量 ，則稱 為 的簡單一致估計量簡單一致估計量。 n即對任意給定的 ，有 n或等價于 n nn n 01limnnP0limnnP6n可以看出

4、，簡單一致估計量隨著觀測樣本數的隨著觀測樣本數的增加而變得更好增加而變得更好，即估計誤差 的絕對值為任意小的概率，隨著n的增加而趨近于1。 n若隨著接收樣本數n的增加，估計均方誤差的極限 則稱 為 的均方一致估計量均方一致估計量。 n0lim2）（nnEn 若 為無偏估計量，則 即估計誤差為零均值估計誤差為零均值。0）（）（）（）（EEEEnnn 的方差就是其均方誤差，即22）（）（nEE7一致估計的特點一致估計的特點是：估計量的性質與漸近是：估計量的性質與漸近無偏估計量一樣，與觀測樣本數目有關。無偏估計量一樣，與觀測樣本數目有關。隨著隨著n的增大，估計值的概率密度分布必的增大，估計值的概率密

5、度分布必然越來越集中于真值的附近。然越來越集中于真值的附近。這就是通過這就是通過重復測量來減小測量誤差的理論根據。重復測量來減小測量誤差的理論根據。均方一致估計表明：隨著接收樣本數n的增加，均方一致估計量估計誤差的方差減小。88.6.3 充分性充分性 n設未知參量的估計量為 。如果似然函數可以分解為下列乘積形式：n其中， 為 已知條件下，估計量 的概率密度函數，函數 與 無關，則稱 具有充分性，為充分估計量具有充分性，為充分估計量。n充分估計量的意義的意義是指沒有別的估計量可以提供比充分估計量更多的關于被估計參量 的信息。 ）（）（）（xffxf）（f）（xf x （ ）98.6.4 有效性有

6、效性 n在符合一致性和無偏性的估計量中，應選擇數值最集中的估計量。估計量 方差越小，說明估計值 相對于被估計值 的偏離程度就越小，就更集中于 的均值附近。 n設 、 為未知參量 的兩個無偏估計量，若他們的方差滿足不等式 則稱 比 更有效。 具有最小方差的無偏估計量稱為有效估計量。具有最小方差的無偏估計量稱為有效估計量。 1 2 ）（）（21VarVar1 2 10幾種性質的特點：幾種性質的特點：無偏性是說估計量雖有誤差，但在重復觀無偏性是說估計量雖有誤差，但在重復觀測的條件下，測的條件下，估計量總是在參數真值附近估計量總是在參數真值附近隨機分布隨機分布;有效性則說明有效性則說明估計量接近于真值的程度估計量接近于真值的程度，它實際上給出了估計量誤差的理論極限它實際上給出了估計量誤差的理論極限;漸近無偏性和一致性則漸近無偏性和一致性則給出了改善估計精給出了改善估計精度度的途徑，即通過增加觀測樣本數的途徑，即通過增加觀測樣本數n來改善來改善估計精度。估計精度。118.7 克拉美克拉美羅不等式羅不等式 (Cramer-Rao) 一個估計量最基本的特征體現在偏差和方差偏差和方差上。精確地表示方差往往是困難的。在這些情況下，希望得到方差(或均方誤差)可能達