最小方差無(wú)偏估計(jì)UMVUEppt課件

1、 第六章 第三節(jié)最小方差無(wú)偏估計(jì) 一、Rao-Blackwell定理 二、最小方差無(wú)偏估計(jì) 三、 Cramer-Rao不等式優(yōu)良的無(wú)偏估計(jì)都是充分統(tǒng)計(jì)量的函數(shù)優(yōu)良的無(wú)偏估計(jì)都是充分統(tǒng)計(jì)量的函數(shù). .將之應(yīng)用在參數(shù)估計(jì)中可得將之應(yīng)用在參數(shù)估計(jì)中可得:( ),( ( )()EYVarYVar X其中等號(hào)成立的充要條件為其中等號(hào)成立的充要條件為X與與 (Y)幾乎處處相等幾乎處處相等.定理定理1:設(shè)設(shè)X和和Y是兩個(gè)是兩個(gè)r.v.,EX=,VarX0,令令( )(|)yE X Yy則有則有1(,)nTT xx1( ,),|),nxxET令(則是樣本是樣本, 是是的充分統(tǒng)計(jì)量的充分統(tǒng)計(jì)量,1,nxx定理定

2、理2: 設(shè)總體的概率函數(shù)為設(shè)總體的概率函數(shù)為p(x;), VarVar也是 的無(wú)偏估計(jì),且對(duì)對(duì)的任一無(wú)偏估計(jì)的任一無(wú)偏估計(jì) 一、Rao-Blackwell 定理注注:定理定理2表明表明: 若無(wú)偏估計(jì)不是充分統(tǒng)計(jì)量的函數(shù)若無(wú)偏估計(jì)不是充分統(tǒng)計(jì)量的函數(shù),則將之對(duì)充分統(tǒng)計(jì)量求條件期望可得一個(gè)新的無(wú)則將之對(duì)充分統(tǒng)計(jì)量求條件期望可得一個(gè)新的無(wú)偏估計(jì)偏估計(jì),且它為充分統(tǒng)計(jì)量的函數(shù)且方差會(huì)減小且它為充分統(tǒng)計(jì)量的函數(shù)且方差會(huì)減小. 即即, 考慮點(diǎn)估計(jì)只需在充分統(tǒng)計(jì)量的函數(shù)中進(jìn)行考慮點(diǎn)估計(jì)只需在充分統(tǒng)計(jì)量的函數(shù)中進(jìn)行, 這就是這就是 充分性原則充分性原則.11(|),niitETttx( )=其中令令=p2 ,

3、 那么那么1211,11 ,0,xxelse為為的無(wú)偏估計(jì)的無(wú)偏估計(jì).因?yàn)橐驗(yàn)?是充分統(tǒng)計(jì)量是充分統(tǒng)計(jì)量 ,由定理由定理2, 從而可令從而可令1niiTx可得可得(1)( )(1)t ttn n=故故 為為的無(wú)偏估計(jì)的無(wú)偏估計(jì).且且1( )()VarVar例例1.1.設(shè)設(shè)1(,)nxx為來(lái)自為來(lái)自b(1,p) 的樣本的樣本, 求求p2的的U.E()xTnx或?yàn)闉閜 的充分統(tǒng)計(jì)量的充分統(tǒng)計(jì)量解：前已求過(guò)解：前已求過(guò):進(jìn)一步改進(jìn)：進(jìn)一步改進(jìn)：1(|)( ),ETT=(1)(1)T Tn n=二、最小方差無(wú)偏估計(jì)定義定義:,( )( ),.VarVarUMVUE設(shè) 是 的一個(gè)無(wú)偏估計(jì)量 若對(duì)于 的任

4、一方差存在的無(wú)偏估計(jì)量 都有則稱 是的一致最小方差無(wú)偏估計(jì) 記為注：注： 一致最小方差無(wú)偏估計(jì)是一種最優(yōu)估計(jì)一致最小方差無(wú)偏估計(jì)是一種最優(yōu)估計(jì).由定理由定理2, 只要它存在只要它存在.它一定是充分統(tǒng)計(jì)量的函數(shù)它一定是充分統(tǒng)計(jì)量的函數(shù).一般地一般地,若依賴若依賴于充分統(tǒng)計(jì)量的無(wú)偏估計(jì)只有一個(gè)于充分統(tǒng)計(jì)量的無(wú)偏估計(jì)只有一個(gè),它一定是它一定是UMVUE.Problem： 無(wú)偏估計(jì)的方差是否可以任意小無(wú)偏估計(jì)的方差是否可以任意小? ? 如果不能任意小如果不能任意小, ,那么它的下界是什么那么它的下界是什么? ?( , )0,Cov 1(,)nxx是總體是總體X的樣本的樣本,1,nxx定理定理3: (U

5、MVUE準(zhǔn)則準(zhǔn)則) 設(shè)設(shè)如果對(duì)任一個(gè)滿足如果對(duì)任一個(gè)滿足 Var是是的任一無(wú)偏估計(jì)的任一無(wú)偏估計(jì),11( ,)0( ,),nnExxxx的都有.UMVUE則 是 的例例2: 2: 設(shè)設(shè)1,nxx為來(lái)自為來(lái)自Exp(1/) 的樣本的樣本,那么那么1niiTx為為 的充分統(tǒng)計(jì)量的充分統(tǒng)計(jì)量,證明證明:為為的的UMVUE.Txn反之亦成立.2ln( ; )(4)()xpE存在1 1、 FisherFisher信息量的定義信息量的定義. .(2) |( ; )0;Sx p x支撐與 無(wú)關(guān)( ;)(3)( ;)( ;)p xp xp xdxdx存 在 且 對(duì)中 一 切有三、羅三、羅- -克拉美克拉美Cr

6、amerRao CramerRao ）不等式）不等式(1)(1)是實(shí)數(shù)軸上的一個(gè)開(kāi)區(qū)間是實(shí)數(shù)軸上的一個(gè)開(kāi)區(qū)間; ; 設(shè)總體設(shè)總體X X 的概率函數(shù)為的概率函數(shù)為p(x;p(x; ), ), ,且滿足且滿足條件條件: :2ln( ; )( )()defp xIE Fi則稱sh 為總體er分布的信息量.正則條件 (1)I() (1)I()越大越大, ,總體分布中包含未知參數(shù)的信息越多。總體分布中包含未知參數(shù)的信息越多。( ; ),0,1,2.!xp xexx 例例3:3:設(shè)總體為設(shè)總體為PoissonPoisson分布，即分布，即1( ).I則 注：注：1( ; )exp,0,0.xp xx 例例

7、4: 4: 設(shè)總體為指數(shù)分布設(shè)總體為指數(shù)分布Exp(1/)Exp(1/)，即，即21( ).I則 (2) I()的另一表達(dá)式的另一表達(dá)式為為2222ln ( ; )( ; )( )(),(p xp xIE存在,滿足正則條件)注：注：常見(jiàn)分布的信息量常見(jiàn)分布的信息量 I()公式公式 兩點(diǎn)分布X b(1,p)1()(1),0,1xxP Xxppx1()(1)I ppp泊松分布泊松分布( ),0.XP ( ),XExp 指數(shù)分布( ,1),XN正態(tài)分布正態(tài)分布2( ,),XN 1( )I2( )I( )1I2(0,),XN241()2I22410102(,)I 設(shè)總體設(shè)總體X X 的概率函數(shù)為的概率

8、函數(shù)為p(x ;p(x ; ), ), , 滿足上面滿足上面定義中的條件；定義中的條件；x1,.,xn x1,.,xn 是來(lái)自總體是來(lái)自總體X X的一個(gè)樣本的一個(gè)樣本, , T(x1,.,xn )T(x1,.,xn )是是g(g( ) )的一個(gè)無(wú)偏估計(jì)的一個(gè)無(wú)偏估計(jì). .且對(duì)中一切有( )( )gg存在,2、定理、定理4 (Cramer-Rao不等式不等式):1211( )(,)(; )nninigT xxxp xdxdx的微分可在積分號(hào)下進(jìn)行，即的微分可在積分號(hào)下進(jìn)行，即121111211(;)ln(;)( )(,)(,)(;)nnniinniiniingT xxxdxdxpT xxxdxd

9、xp xxp x則有則有 特別地對(duì)特別地對(duì)的無(wú)偏估計(jì)有的無(wú)偏估計(jì)有2( )( )( )gVar TnI1( )( )Var TnI上述不等式的右端稱為上述不等式的右端稱為C-R下界下界, I() 為為Fisher信息量信息量.注注:(1) 定理對(duì)離散型總體也適用定理對(duì)離散型總體也適用.只需改積分號(hào)為求和只需改積分號(hào)為求和號(hào)。號(hào)。 (2) 在定理在定理4條件下條件下, 若若g( ) 的無(wú)偏估計(jì)量的無(wú)偏估計(jì)量T 的方的方差差VarT達(dá)到下界達(dá)到下界, 則則T必為必為g( ) 的最小方差無(wú)偏估計(jì)的最小方差無(wú)偏估計(jì). 但但是它不一定存在是它不一定存在, 也就是說(shuō)也就是說(shuō), C-R不等式有時(shí)給出不等式有

10、時(shí)給出的下界過(guò)小的下界過(guò)小.(3) 當(dāng)?shù)忍?hào)成立時(shí)當(dāng)?shù)忍?hào)成立時(shí), T 為達(dá)到方差下界的無(wú)偏估計(jì)為達(dá)到方差下界的無(wú)偏估計(jì), 此時(shí)稱此時(shí)稱T 為為g()的有效估計(jì)。的有效估計(jì)。 有效估計(jì)一定是有效估計(jì)一定是UMVUE.（反之不真）（反之不真）3. 有效估計(jì)定義定義:,設(shè)是的 任 一 無(wú) 偏 估 計(jì) 量 稱1()().()defnIeVar為 估 計(jì) 量效 率的0( )1e:顯然 的任一無(wú)偏估計(jì)量 的效率滿足注定義定義:( )1,.e如果 的無(wú)偏估計(jì)量 的效率則為 的有效估計(jì)稱lim ( )1.ne如果則稱 為 的漸近有效估計(jì)注注:,.,.如果 是 的有效估計(jì) 則它也是一致最小方差無(wú)偏估計(jì)反之 卻不一

11、定成立(1),( )( );TE Tg驗(yàn)證 是g(的無(wú)偏估計(jì) 即(2);VarT計(jì)算2(3)( );( ):( ; )ln( ; );ln( ; ):;ln( ; ):( )( );IIIXp xp xp xIIp xIIIIEI計(jì)算而計(jì)算又可分為下面幾個(gè)步驟對(duì)總體 的密度函數(shù)或分布列函數(shù)求對(duì)數(shù)求利用或其等價(jià)公式計(jì)算2( )(4):;( )gnI求方差下界綜上綜上, 求證求證T是是g( )的有效估計(jì)的步驟為的有效估計(jì)的步驟為:2( )( )gVarTnI比較與例例5. 5. 設(shè)總體設(shè)總體 XExp(1/),XExp(1/),密度函數(shù)為密度函數(shù)為10,( ; )00 xexp xx),(21nx

12、xx為為 X 的一個(gè)樣本值的一個(gè)樣本值.求求 的最大似然估計(jì)量的最大似然估計(jì)量, 并判斷它是否為達(dá)到方并判斷它是否為達(dá)到方差下界的無(wú)偏估計(jì)差下界的無(wú)偏估計(jì),即有效估計(jì)即有效估計(jì).0為參數(shù)為參數(shù)解解: 由似然函數(shù)由似然函數(shù)niixneL11)(niixnL1ln)(ln21)(lnddniixnL0令11niix xn經(jīng)檢驗(yàn)知經(jīng)檢驗(yàn)知 的最大似然估計(jì)為的最大似然估計(jì)為11niixxn所以它是所以它是 的無(wú)偏估計(jì)量的無(wú)偏估計(jì)量,且且2( )Varn而而ln( , )ln,xp x 故故 是達(dá)到方差下界的無(wú)偏估計(jì)是達(dá)到方差下界的無(wú)偏估計(jì).x2221ln( , )dxp xd 2221( )ln(,

13、)XIEp XE2121( )nIn( )Var xE12 (, ),1:.nXb N p x xxXpxpN設(shè)總體為總體 的一個(gè)樣本試證是例的有效估計(jì)6(1)( ; )defxxNxNXP XxC ppP x p總體 的分證布:為明ln( ; )lnln()ln(1)xNP x pCxpNxp22ln(; ),( )1dP X pXNXI pEEdppp所以222221()(1)(1)Var XE XNppppp22(1)(1)(1)NppNpppp11( )()()E pEXE XNN又1()NpE XpNN211( )()( )Var pVarxVar xNN21()(1)Var Xpp

14、nNnN所以1( )( )Var pnI p1 ppxN即是 的有效估計(jì).C-R下界為下界為1(1)( )ppnI pnN12( ,)( )(0),:nx xxPx 是例7的一個(gè)樣本證明是 的有效估計(jì),.( ):)xExEXxU EVar XVar xnn因?yàn)樽C明是樣本均值 故是 的:( ; )!xXP Xxep xx總體 的分布律為ln( ; )lnln !p xxx2222ln(; )()1( )1dp XXE XIEEd1,( )nIn故1, ( ),( )Var xnI可見(jiàn).,x所以 是 的有效估計(jì)例例8. 設(shè)設(shè)x1 ,.xn 為取自總體為正態(tài)分布為取自總體為正態(tài)分布N(,2)的樣本的

15、樣本, 驗(yàn)證驗(yàn)證 因而因而, 是是的有效估計(jì)的有效估計(jì).x解：已證過(guò)解：已證過(guò) 為為U.E, 下求下求的的C-R下界下界,由于由于2221,2,22xlnp xln 22221( , )2xp xe 2224211XX 21nn 2VarXVarVar xnnx而而的的C-R下界為下界為是是 的有效估計(jì)的有效估計(jì)因而因而2,dlnp xxdx2212222( ,)2xp xe22221()( ,)(2)22xlnp xln 22224( ,)1()22lnp xx 2224622( ,)()1()2lnp xx 22464641()11()222XVarX 4212()nn因而因而:解解: 由

16、于由于 所以所以2的的C-R下界為下界為: 例例9.(接前例接前例)設(shè)設(shè)x1 ,.xn 取自正態(tài)分布總體取自正態(tài)分布總體N(,2) ,若若未知，討論未知，討論2的無(wú)偏估計(jì)的無(wú)偏估計(jì)是否為有效估計(jì)是否為有效估計(jì). 222111niiSxxn2211()1niiSxxn由于由于 2221(1)nSn 其期望為其期望為n-1 , 方差為方差為2(n-1）所以所以 22S即即不是不是22的有效估計(jì)，但為的有效估計(jì)，但為22的漸近有效估計(jì)的漸近有效估計(jì). .4212nn224222111Var Snnn,而而2的的C-R下界為下界為 注注1: 由由P308第四題知第四題知 其方差大于其方差大于C-R下界

17、下界, 即有時(shí)即有時(shí)C-R下界過(guò)小下界過(guò)小.22S是是22的的UMVUE.UMVUE.2:若若已知已知,2422121()12( ),.niniiixnVarxnn 211niixn 此時(shí)此時(shí) 為為2的有效估計(jì)的有效估計(jì).注注3對(duì)于對(duì)于 的的C-R下界為下界為: 22()g222242()1/(2 )/22gnnn 當(dāng)已知當(dāng)已知=0時(shí)時(shí),易證易證的無(wú)偏估計(jì)為的無(wú)偏估計(jì)為21( /2)12(1)/2)niinnxnn可證可證, 這是這是的的UMVUE,其方差大于其方差大于C-R下界下界.因此所有因此所有的無(wú)偏估計(jì)的方差都大于其的無(wú)偏估計(jì)的方差都大于其C-R下界下界,即即C-R下界過(guò)小下界過(guò)小.(P