數(shù)理統(tǒng)計課件：估計量的評價標準

估計量的

評價標準對于同一個參數(shù)，用不同的估計方法求出的估計量可能不相同.問題：采用哪一個估計量好？一無偏性三相合性二有效性設總體X~F(x,

)，其中

為未知參數(shù)，X1,X2

,…,Xn是來自該總體的樣本，為

的一個估計量.

估計量

是一個隨機變量當樣本(X1

,…,Xn)有觀測值(x1

,…,xn)時，估計值為當樣本(X1

,…,Xn)有觀測值(y1

,…,yn)時，估計值為由不同的觀測結果，就會求得不同的參數(shù)估計值.因此評價一個估計量的好壞，不能僅僅依據(jù)一次試驗的結果來判斷，而必須根據(jù)估計量的分布從整體上來做評價.當樣本取不同的觀測值時，希望相應的估計值在未知參數(shù)真值附近擺動，而它的均值與未知參數(shù)的真值的偏差越小越好.

當這種偏差為0時，就導致無偏性這個標準.

3.4.1無偏性定義3.4.1設為一參數(shù)分布族，其中Θ為參數(shù)空間.X1,X2,…,Xn是從該分布族中的某總體抽取的樣本，

是總體分布中的未知參數(shù)，設為未知參數(shù)

的估計量，若對任意

Θ，都有則稱為

的無偏估計.設g(

)

為待估參數(shù)，為g(

)的估計量，若對任意

Θ，都有則稱為g(

)的無偏估計.記稱bn為估計的偏差.如果bn

0

，則稱為參數(shù)

的有偏估計.若則稱為參數(shù)

的漸近無偏估計.1無系統(tǒng)性偏差.2由于估計量是隨機變量，故評價它是否合理，不能根據(jù)一

次估計的結果，而應該根據(jù)多次反復使用這個統(tǒng)計量的“平均”效果來評價.由此給出無偏估計的“頻率解釋”.無偏性說明對于無偏估計量，單次的估計值相對于真值，可能偏大，也可能偏小，它無法說明一次估計所產(chǎn)生的偏差，但反復將這一估計量使用多次，平均來說其偏差為0.注意：要求估計量大量重復使用，在多次重復使用下給出接近真值θ

的估計.

假定在同一個模型(同樣的總體分布與樣本容量)下，對同一個參數(shù)函數(shù)g(θ)用同一個無偏估計進行多次估計，記第i次估計為，由大數(shù)定律得盡管一次估計結果不一定恰好等于g(θ)但是在大量重復使用時，多次估計的算術平均值，可以任意接近g(θ).如果這一估計量只使用一次，無偏性這個概念就失去意義.無偏估計量僅在多次重復使用時才顯示其優(yōu)越性.例3.4.1

設總體X的k階矩E(Xk)

存在，X1,X2,…,Xn是來自總體X的樣本，證明：樣本k階矩是總體k階矩E(Xk)的無偏估計.證明：由于因此樣本k階矩是總體k階矩的無偏估計.則樣本均值是總體均值μ的無偏估計，樣本方差是總體方差σ2的無偏估計.例3.4.2設總體X的均值為EX=μ

，方差為DX=σ2存在，X1,X2,…,Xn是來自總體X的樣本，則證明：例3.4.3

設X1,X2

,…,Xn是來自總體X的樣本，且X~N(μ,σ2),其中μ,σ2為未知參數(shù)，，x1,x2,…,xn是樣本的觀察值，試用極大似然估計法求參數(shù)μ，σ2

的估計量，并問是否是無偏估計.由于μ和σ2的極大似然估計為解:又由得因此是μ的無偏估計，不是σ2的無偏估計.但是是σ2的漸近無偏估計.例3.4.4設X1,X2

,…,Xn為來自總體X的樣本，且X的密度函數(shù)為其中

>0為未知參數(shù)，證明：因為X的分布函數(shù)為證明：

和nU=n{min(X1,X2

,…,Xn)}都是

的無偏估計.故

是

的無偏估計先求U的分布函數(shù)獨立性對其求導數(shù)得到U的密度函數(shù)為：即U的分布函數(shù)為指數(shù)分布U的密度函數(shù)為由指數(shù)分布的性質(zhì)知：因此，nU也是

的無偏估計.故有：例3.4.5設X1,X2,…,Xn是來自總體X的樣本，總體均值為

=EX，證明與都是

的無偏估計.其中證明：由于所以都是無偏估計.一個參數(shù)往往有不止一個無偏估計，若和都是參數(shù)θ的無偏估計量，我們可以比較和的大小來決定二者誰更優(yōu).無偏估計以方差小者為好，這就引進了有效性這一概念.舉個例子說明有效性到商店購買電視機，看中了其中兩種品牌，分別由甲乙兩廠生產(chǎn)，外觀、音質(zhì)和畫面都不錯.根據(jù)市場調(diào)查，甲乙兩廠生產(chǎn)的兩種電視機平均使用壽命相同，都是20年.甲廠生產(chǎn)的電視機質(zhì)量較穩(wěn)定，最低使用壽命18年，最高可以使用22年；乙廠生產(chǎn)的電視機質(zhì)量穩(wěn)定性差一些，最差的使用10年就壞了，但是最好的可以使用30年.選用哪一個廠家生產(chǎn)的電視機呢?若將電視機的使用壽命視為隨機變量，甲乙兩廠生產(chǎn)的電視機使用壽命均值相等，但是乙廠的質(zhì)量不穩(wěn)定，即方差較大.從穩(wěn)健的角度出發(fā)，顯然愿意購買甲廠生產(chǎn)的電視機，其風險較小，即方差較小，質(zhì)量穩(wěn)定.散集中EXEX集中或分散程度用方差DX

衡量3.4.2有效性且不等號至少對某個

Θ成立.定義3.4.2設是未知參數(shù)

的兩個無偏估計，且對一切

Θ，Θ

為參數(shù)空間，都有則稱估計比估計有效.等號成立當且僅當例3.4.6設X1,X2,…,Xn是來自總體X的樣本，總體均值為EX=

，總體方差為DX=σ2，比較與的有效性.其中證明：由例3.4.5知與都是

的無偏估計.所以比有效.解：比較和nU=n{min(X1,X2

,…,Xn)}的有效性.由例3.4.4知，和nU=n{min(X1,X2

,…,Xn)}都是

的無偏估計.由得例3.4.7設X1,X2

,…,Xn為來自總體X的樣本，且X的密度函數(shù)為其中

>0為未知參數(shù)，因此，當n>1時，由得即：

比nU有效.思考：指數(shù)分布的充分統(tǒng)計量？U

的密度函數(shù)為隨著樣本容量的增加，估計量與被估計參數(shù)g(θ)的偏差越來越小這是一個良好估計量應該具有的性質(zhì)試想，若不然，無論做多少次試驗，也不能把θ

估計到任意指定的精度，這樣的估計量顯然不可取.大量實踐表明3.4.3相合性定義3.4.3：設對每個自然數(shù)n，為θ的一個估計量，若

依概率收斂到θ即對任何及，有則稱為θ的弱相合估計，簡稱相合估計.若對任何，有若對r>0和任何，有當r=2時，稱為均方相合估計.則稱為θ的強相合估計.則稱為θ的r階矩相合估計.注：估計量的相合性是對大樣本提出的要求，是估計量的一種

大樣本性質(zhì).根據(jù)概率論可知上述三種相合性的關系如下：1.強相合推出弱相合，反之不一定；2.對任何r>0，有r階矩相合推出弱相合，反之不一定；3.強相合與r階矩相合之間沒有包含關系.(1)

的矩估計為，且為θ的無偏估計.(2)

的極大似然估計為，不是θ的無偏估計.對適當修正獲得θ的無偏估計.(3)將與進行比較，比較哪一個更有效.(4)

的極大似然估計是θ的相合估計.例3.4.8設X1,X2

,…,Xn為來自均勻分布總體U[0,

]的樣本，

其中

>0為未知參數(shù)，則解：(1)由于，因此為θ的無偏估計.(2)根據(jù)已有例子知θ的極大似然估計為下面討論的無偏性的密度函數(shù)為因此極大似然估計不是θ的無偏估計，

但是θ的漸近無偏估計.修正為無偏估計當n>1時，當n=1時，兩個估計相同.即修正的極大似然估計比矩估計有效.(3)由于(4)由于X(n)的概率密度函數(shù)為對于任給的ε>0，有對于任給的

ε>0，有即因此θ的極大似然估計是θ的相合估計.矩估計的性質(zhì)1.設總體X

的k

階原點矩存在，記為X1,X2,…,Xn為來自總體的樣本，樣本k階原點矩為因此，樣本k

階原點矩是總體k

階原點矩的無偏估計.由于矩估計的無偏性2.對于k≥2，樣本k階中心矩不是總體k階中心矩的無偏估計由于將其修正得到是DX

的無偏估計.