數理統計課件：估計量的評價標準

估計量的

評價標準對于同一個參數，用不同的估計方法求出的估計量可能不相同.問題：采用哪一個估計量好？一無偏性三相合性二有效性設總體X~F(x,

)，其中

為未知參數，X1,X2

,…,Xn是來自該總體的樣本，為

的一個估計量.

估計量

是一個隨機變量當樣本(X1

,…,Xn)有觀測值(x1

,…,xn)時，估計值為當樣本(X1

,…,Xn)有觀測值(y1

,…,yn)時，估計值為由不同的觀測結果，就會求得不同的參數估計值.因此評價一個估計量的好壞，不能僅僅依據一次試驗的結果來判斷，而必須根據估計量的分布從整體上來做評價.當樣本取不同的觀測值時，希望相應的估計值在未知參數真值附近擺動，而它的均值與未知參數的真值的偏差越小越好.

當這種偏差為0時，就導致無偏性這個標準.

3.4.1無偏性定義3.4.1設為一參數分布族，其中Θ為參數空間.X1,X2,…,Xn是從該分布族中的某總體抽取的樣本，

是總體分布中的未知參數，設為未知參數

的估計量，若對任意

Θ，都有則稱為

的無偏估計.設g(

)

為待估參數，為g(

)的估計量，若對任意

Θ，都有則稱為g(

)的無偏估計.記稱bn為估計的偏差.如果bn

0

，則稱為參數

的有偏估計.若則稱為參數

的漸近無偏估計.1無系統性偏差.2由于估計量是隨機變量，故評價它是否合理，不能根據一

次估計的結果，而應該根據多次反復使用這個統計量的“平均”效果來評價.由此給出無偏估計的“頻率解釋”.無偏性說明對于無偏估計量，單次的估計值相對于真值，可能偏大，也可能偏小，它無法說明一次估計所產生的偏差，但反復將這一估計量使用多次，平均來說其偏差為0.注意：要求估計量大量重復使用，在多次重復使用下給出接近真值θ

的估計.

假定在同一個模型(同樣的總體分布與樣本容量)下，對同一個參數函數g(θ)用同一個無偏估計進行多次估計，記第i次估計為，由大數定律得盡管一次估計結果不一定恰好等于g(θ)但是在大量重復使用時，多次估計的算術平均值，可以任意接近g(θ).如果這一估計量只使用一次，無偏性這個概念就失去意義.無偏估計量僅在多次重復使用時才顯示其優(yōu)越性.例3.4.1

設總體X的k階矩E(Xk)

存在，X1,X2,…,Xn是來自總體X的樣本，證明：樣本k階矩是總體k階矩E(Xk)的無偏估計.證明：由于因此樣本k階矩是總體k階矩的無偏估計.則樣本均值是總體均值μ的無偏估計，樣本方差是總體方差σ2的無偏估計.例3.4.2設總體X的均值為EX=μ

，方差為DX=σ2存在，X1,X2,…,Xn是來自總體X的樣本，則證明：例3.4.3

設X1,X2

,…,Xn是來自總體X的樣本，且X~N(μ,σ2),其中μ,σ2為未知參數，，x1,x2,…,xn是樣本的觀察值，試用極大似然估計法求參數μ，σ2

的估計量，并問是否是無偏估計.由于μ和σ2的極大似然估計為解:又由得因此是μ的無偏估計，不是σ2的無偏估計.但是是σ2的漸近無偏估計.例3.4.4設X1,X2

,…,Xn為來自總體X的樣本，且X的密度函數為其中

>0為未知參數，證明：因為X的分布函數為證明：

和nU=n{min(X1,X2

,…,Xn)}都是

的無偏估計.故

是

的無偏估計先求U的分布函數獨立性對其求導數得到U的密度函數為：即U的分布函數為指數分布U的密度函數為由指數分布的性質知：因此，nU也是

的無偏估計.故有：例3.4.5設X1,X2,…,Xn是來自總體X的樣本，總體均值為

=EX，證明與都是

的無偏估計.其中證明：由于所以都是無偏估計.一個參數往往有不止一個無偏估計，若和都是參數θ的無偏估計量，我們可以比較和的大小來決定二者誰更優(yōu).無偏估計以方差小者為好，這就引進了有效性這一概念.舉個例子說明有效性到商店購買電視機，看中了其中兩種品牌，分別由甲乙兩廠生產，外觀、音質和畫面都不錯.根據市場調查，甲乙兩廠生產的兩種電視機平均使用壽命相同，都是20年.甲廠生產的電視機質量較穩(wěn)定，最低使用壽命18年，最高可以使用22年；乙廠生產的電視機質量穩(wěn)定性差一些，最差的使用10年就壞了，但是最好的可以使用30年.選用哪一個廠家生產的電視機呢?若將電視機的使用壽命視為隨機變量，甲乙兩廠生產的電視機使用壽命均值相等，但是乙廠的質量不穩(wěn)定，即方差較大.從穩(wěn)健的角度出發(fā)，顯然愿意購買甲廠生產的電視機，其風險較小，即方差較小，質量穩(wěn)定.散集中EXEX集中或分散程度用方差DX

衡量3.4.2有效性且不等號至少對某個

Θ成立.定義3.4.2設是未知參數

的兩個無偏估計，且對一切

Θ，Θ

為參數空間，都有則稱估計比估計有效.等號成立當且僅當例3.4.6設X1,X2,…,Xn是來自總體X的樣本，總體均值為EX=

，總體方差為DX=σ2，比較與的有效性.其中證明：由例3.4.5知與都是

的無偏估計.所以比有效.解：比較和nU=n{min(X1,X2

,…,Xn)}的有效性.由例3.4.4知，和nU=n{min(X1,X2

,…,Xn)}都是

的無偏估計.由得例3.4.7設X1,X2

,…,Xn為來自總體X的樣本，且X的密度函數為其中

>0為未知參數，因此，當n>1時，由得即：

比nU有效.思考：指數分布的充分統計量？U

的密度函數為隨著樣本容量的增加，估計量與被估計參數g(θ)的偏差越來越小這是一個良好估計量應該具有的性質試想，若不然，無論做多少次試驗，也不能把θ

估計到任意指定的精度，這樣的估計量顯然不可取.大量實踐表明3.4.3相合性定義3.4.3：設對每個自然數n，為θ的一個估計量，若

依概率收斂到θ即對任何及，有則稱為θ的弱相合估計，簡稱相合估計.若對任何，有若對r>0和任何，有當r=2時，稱為均方相合估計.則稱為θ的強相合估計.則稱為θ的r階矩相合估計.注：估計量的相合性是對大樣本提出的要求，是估計量的一種

大樣本性質.根據概率論可知上述三種相合性的關系如下：1.強相合推出弱相合，反之不一定；2.對任何r>0，有r階矩相合推出弱相合，反之不一定；3.強相合與r階矩相合之間沒有包含關系.(1)

的矩估計為，且為θ的無偏估計.(2)

的極大似然估計為，不是θ的無偏估計.對適當修正獲得θ的無偏估計.(3)將與進行比較，比較哪一個更有效.(4)

的極大似然估計是θ的相合估計.例3.4.8設X1,X2

,…,Xn為來自均勻分布總體U[0,

]的樣本，

其中

>0為未知參數，則解：(1)由于，因此為θ的無偏估計.(2)根據已有例子知θ的極大似然估計為下面討論的無偏性的密度函數為因此極大似然估計不是θ的無偏估計，

但是θ的漸近無偏估計.修正為無偏估計當n>1時，當n=1時，兩個估計相同.即修正的極大似然估計比矩估計有效.(3)由于(4)由于X(n)的概率密度函數為對于任給的ε>0，有對于任給的

ε>0，有即因此θ的極大似然估計是θ的相合估計.矩估計的性質1.設總體X

的k

階原點矩存在，記為X1,X2,…,Xn為來自總體的樣本，樣本k階原點矩為因此，樣本k

階原點矩是總體k

階原點矩的無偏估計.由于矩估計的無偏性2.對于k≥2，樣本k階中心矩不是總體k階中心矩的無偏估計由于將其修正得到是DX

的無偏估計.