最小方差無偏估計UMVUE

1、 第六章 第三節(jié)最小方差無偏估計最小方差無偏估計 一、Rao-Blackwell定理 二、最小方差無偏估計 三、 Cramer-Rao不等式優(yōu)良的無偏估計都是充分統(tǒng)計量的函數(shù)優(yōu)良的無偏估計都是充分統(tǒng)計量的函數(shù). .將之應(yīng)用在參數(shù)估計中可得將之應(yīng)用在參數(shù)估計中可得:( ),( ( )()EYVarYVar X其中等號成立的充要條件為其中等號成立的充要條件為X與與 (Y)幾乎處處相等幾乎處處相等.定理定理1:設(shè)設(shè)X和和Y是兩個是兩個r.v.,EX=,VarX0,令令( )(|)yE X Yy則有則有1(,)nTT xx1(,),|),nxxET令(則是樣本是樣本, 是是的充分統(tǒng)計量的充分統(tǒng)計量,1

2、,nxx定理定理2: 設(shè)總體的概率函數(shù)為設(shè)總體的概率函數(shù)為p(x;), VarVar也是 的無偏估計,且對對的任一無偏估計的任一無偏估計 一、Rao-Blackwell 定理注注:定理定理2表明表明: 若無偏估計不是充分統(tǒng)計量的函數(shù)若無偏估計不是充分統(tǒng)計量的函數(shù),則將之對充分則將之對充分統(tǒng)計量求條件期望可得一個新的無偏估計統(tǒng)計量求條件期望可得一個新的無偏估計,且它為充分統(tǒng)計量的函數(shù)且它為充分統(tǒng)計量的函數(shù)且方差會減小且方差會減小. 即即, 考慮點估計只需在充分統(tǒng)計量的函考慮點估計只需在充分統(tǒng)計量的函數(shù)中進行數(shù)中進行, 這就是這就是 充分性原則充分性原則.11(|),niitETttx( )=其中

3、令令=p2 , 則則1211,11 ,0,xxelse為為的無偏估計的無偏估計.因為因為 是充分統(tǒng)計量是充分統(tǒng)計量 ,由定理由定理2, 從而可令從而可令1niiTx可得可得(1)( )(1)t ttn n=故故 為為的無偏估計的無偏估計.且且1( )()VarVar例例1.1.設(shè)設(shè)1(,)nxx為來自為來自b(1,p) 的樣本的樣本, 求求p2的的U.E()xTnx或為為p 的充分統(tǒng)計量的充分統(tǒng)計量解：解：前已求過前已求過:進一步改進：進一步改進：1(|)( ),ETT=(1)(1)T Tn n=二、最小方差無偏估計定義定義:,( )( ),.VarVarUMVUE設(shè) 是 的一個無偏估計量 若

4、對于 的任一方差存在的無偏估計量 都有則稱 是的一致最小方差無偏估計 記為注：注： 一致最小方差無偏估計是一種最優(yōu)估計一致最小方差無偏估計是一種最優(yōu)估計.由定理由定理2, 只要它存在只要它存在.它一定是充分統(tǒng)計量的函數(shù)它一定是充分統(tǒng)計量的函數(shù).一般地一般地,若依賴若依賴于充分統(tǒng)計量的無偏估計只有一個于充分統(tǒng)計量的無偏估計只有一個,它一定是它一定是UMVUE.Problem： 無偏估計的方差是否可以任意小無偏估計的方差是否可以任意小? ? 如果不能任意小如果不能任意小, ,那么它的下界是什么那么它的下界是什么? ?( , )0,Cov 1(,)nxx是總體是總體X的樣本的樣本,1,nxx定理定理

5、3: (UMVUE準則準則) 設(shè)設(shè)如果對任一個滿足如果對任一個滿足 Var是是的任一無偏估計的任一無偏估計,11(,)0(,),nnExxxx的都有.UMVUE則 是 的例例2:2: 設(shè)設(shè)1,nxx為來自為來自Exp(1/) 的樣本的樣本,則則1niiTx為為 的充分統(tǒng)計量的充分統(tǒng)計量,證明證明:為為的的UMVUE.Txn反之亦成立.2ln( ; )(4)()xpE存在1 1、 Fisher信息量的信息量的定義定義. .(2) |( ; )0;Sx p x支撐與 無關(guān)( ;)(3)( ;)( ;)p xp xp xdxdx存 在 且 對中 一 切有三、羅三、羅- -克拉美（克拉美（Cramer

6、Rao ）不等式）不等式(1)(1) 是實數(shù)軸上的一個開區(qū)間是實數(shù)軸上的一個開區(qū)間; ; 設(shè)設(shè)總體總體X 的概率函數(shù)為的概率函數(shù)為p(x; ), , ,且滿足條件且滿足條件: :2ln( ; )( )()defp xIE Fi則稱sh 為總體er分布的信息量.正則條件 (1) (1)I()越大越大,總體分布中包含未知參數(shù)的信息越多?？傮w分布中包含未知參數(shù)的信息越多。( ; ),0,1,2.!xp xexx 例例3:3:設(shè)設(shè)總體為總體為Poisson分布，即分布，即1( ).I則 注：注：1( ; )exp,0,0.xp xx 例例4:4: 設(shè)設(shè)總體為指數(shù)分布總體為指數(shù)分布Exp(1/)，即，即

7、21( ).I則 (2) I( )的另一表達式為的另一表達式為2222ln ( ; )( ; )( )(),(p xp xIE存在,滿足正則條件)注：注：常見分布的信息量常見分布的信息量 I( )公式公式 兩點分布兩點分布X b(1,p)b(1,p)1()(1),0,1xxP Xxppx1()(1)I ppp泊松分布泊松分布( ),0.XP ( ),XExp 指數(shù)分布指數(shù)分布( ,1),XN正態(tài)分布正態(tài)分布2( ,),XN 1( )I2( )I( )1I2(0,),XN241()2I22410102(,)I 設(shè)設(shè)總體總體X 的概率函數(shù)為的概率函數(shù)為p(x ; ), , , 滿足上面定義滿足上面

8、定義中的條件；中的條件；x1,.,xn 是來自總體是來自總體X的一個樣本的一個樣本, , T(x1,.,xn )是是g( )的一個無偏估計的一個無偏估計. .且對中一切有( )( )gg存在,2、定理、定理4 (Cramer-Rao不等式不等式):1211( )(,)(; )nninigT x xxp xdxdx的微分可在積分號下進行，即的微分可在積分號下進行，即121111211(;)ln(;)( )(,)(,)(;)nnniinniiniingT xxxdxdxpT xxxdxdxp xxp x則有則有 特別地對特別地對的無偏估計有的無偏估計有2( )( )( )gVar TnI1( )(

9、 )Var TnI上述不等式的右端稱為上述不等式的右端稱為C-R下界下界, I( ) 為為Fisher信息量信息量.注注:(1) 定理對離散型總體也適用定理對離散型總體也適用.只需改積分號為求和號。只需改積分號為求和號。 (2) 在定理在定理4條件下條件下, 若若g( ) 的無偏估計量的無偏估計量T 的方差的方差VarT達到下界達到下界, 則則T必為必為g( ) 的最小方差無偏估計的最小方差無偏估計. 但但是它不一定存在是它不一定存在, 也就是說也就是說, C-R不等式有時給出不等式有時給出的下界過小的下界過小.(3) 當?shù)忍柍闪r當?shù)忍柍闪r, T 為達到方差下界的無偏估計為達到方差下界的無

10、偏估計, 此時稱此時稱T 為為g()的的有效估計有效估計。 有效估計一定是有效估計一定是UMVUE.（反之不真）（反之不真）3. 有效估計有效估計定義定義:,設(shè)是的 任 一 無 偏 估 計 量 稱1( )( ).( )defnIeVar為 估 計 量效 率的0( )1e:顯然 的任一無偏估計量 的效率滿足注定義定義:( )1,.e如果 的無偏估計量 的效率則為 的有效估計稱lim ( )1.ne如果則稱 為 的漸近有效估計注注:,.,.如果 是 的有效估計 則它也是一致最小方差無偏估計反之 卻不一定成立(1),( )( );TE Tg驗證 是g(的無偏估計 即(2);VarT計算2(3)( )

11、;( ):( ; )ln( ; );ln( ; ):;ln( ; ):( )( );IIIXp xp xp xIIp xIIIIEI計算而計算又可分為下面幾個步驟對總體 的密度函數(shù)或分布列函數(shù)求對數(shù)求利用或其等價公式計算2( )(4):;( )gnI求方差下界綜上綜上, 求證求證T是是g( )的有效估計的步驟為的有效估計的步驟為:2( )( )gVarTnI比較與例例5.5. 設(shè)總體設(shè)總體 XExp(1/),密度函數(shù)為密度函數(shù)為10,( ; )00 xexp xx),(21nxxx為為 X 的一個樣本值的一個樣本值.求求 的的最大似然估計量最大似然估計量, 并判斷它是否為達到方并判斷它是否為達

12、到方差下界的無偏估計差下界的無偏估計,即有效估計即有效估計.0為參數(shù)為參數(shù)解解: 由似然函數(shù)由似然函數(shù)niixneL11)(niixnL1ln)(ln21)(lnddniixnL0令11niix xn經(jīng)檢驗知經(jīng)檢驗知 的最大似然估計為的最大似然估計為11niixxn所以它是所以它是 的無偏估計量的無偏估計量,且且2( )Varn而而ln( , )ln,xp x 故故 是達到方差下界的無偏估計是達到方差下界的無偏估計.x2221ln( , )dxp xd 2221( )ln(, )XIEp XE2121( )nIn( )Var xE12 (, ),1:.nXb N p x xxXpxpN設(shè)總體為

13、總體 的一個樣本試證是例的有效估計6(1)( ; )defxxNxNXP XxC ppP x p總體 的分證布:為明ln( ; )lnln()ln(1)xNP x pCxpNxp22ln(; ),( )1dP X pXNXI pEEdppp所以222221()(1)(1)Var XE XNppppp22(1)(1)(1)NppNpppp11( )()()E pEXE XNN又1()NpE XpNN211( )()( )Var pVarxVar xNN21()(1)Var XppnNnN所以1( )( )Var pnI p1 ppxN即是 的有效估計.C-R下界為下界為1(1)( )ppnI p

14、nN12( ,)( )(0),:nx xxPx 是例7的一個樣本證明是 的有效估計,.( ):)xExEXxU EVar XVar xnn因為證明是樣本均值 故是 的:( ; )!xXP Xxep xx總體 的分布律為ln( ; )lnln !p xxx2222ln(; )()1( )1dp XXE XIEEd1,( )nIn故1, ( ),( )Var xnI可見.,x所以 是 的有效估計例例8. 設(shè)設(shè)x1 ,.xn 為取自總體為正態(tài)分布為取自總體為正態(tài)分布N(,2)的樣本的樣本, 驗證驗證 因此因此, 是是的有效估計的有效估計.x解：解：已證過已證過 為為U.E, 下求下求的的C-R下界下

15、界,由于由于2221,2,22xlnp xln 22221( ,)2xp xe 2224211XX 21nn 2VarXVarVar xnnx而而 的的C-R下界為下界為是是 的有效估計的有效估計因此因此2,dlnp xxdx2212222( ,)2xp xe22221()( ,)(2)22xlnp xln 22224( ,)1()22lnp xx 2224622( ,)()1()2lnp xx 22464641()11()222XVarX 4212()nn因此因此:解解: 由于由于 所以所以2的的C-R下界為下界為: 例例9.(接前例接前例)設(shè)設(shè)x1 ,.xn 取自正態(tài)分布總體取自正態(tài)分布總

16、體N(,2) ,若若未知，討論未知，討論2的無偏估計的無偏估計是否為有效估計是否為有效估計. 222111niiSxxn2211()1niiSxxn由于由于 2221(1)nSn 其期望為其期望為n-1 , 方差為方差為2(n-1）所以所以 22S即即不是不是 2的有效估計，但為的有效估計，但為 2 2的的漸近有效估計漸近有效估計. .4212nn224222111Var Snnn,而而2的的C-R下界為下界為 注注1: 由由P308第四題知第四題知 其方差大于其方差大于C-R下界下界, 即有時即有時C-R下界過小下界過小.22S是是 2的的UMVUE.UMVUE.2:若若已知已知,2422121()12( ),.niniiixnVarxnn 211niixn 此時此時 為為2 2的有效估計的有效估計. .注注3對于對于 的的C-R下界為下界為: 22()g222242()1/(2 )/22gnnn 當已知當已知=0時時,易證易證的無偏估計為的無偏估計為21( /2)12(1)/2)niinnxnn可證可證, 這是這是的的UMVUE,其方差大于其方差大于C-R下界下界.因此所有因此所有的無偏估計的方差都大于其的無偏估計的方差都大于其C-R下界下界,即即C-R下界過小下界過小.(P307