第四講估計量優(yōu)良性準則

1、第四講估計量優(yōu)良性準則一、均方誤差準則一、均方誤差準則的的估估計計量量，評評價價估估作作為為參參數(shù)數(shù)假假設設用用)()( qxT計優(yōu)劣的一個自然準則可定義如下：計優(yōu)劣的一個自然準則可定義如下：2)()( qxTE),()(TRTMSE 稱上式為均方誤差，稱上式為均方誤差，(Mean Squared Error)MSE。的的均均值值和和方方差差由由，則則如如果果TTRMSE),( 確定，即確定，即),()(),(2TbxTVarTR 其中其中),()(),( qxTETb產(chǎn)產(chǎn)生生的的估估計計為為用用稱稱)()(),( qxTTb偏差。偏差。（bias）例例4.1的的和和方方差差均均值值求求正正態(tài)

2、態(tài)總總體體22),( NMLE的均方誤差。的均方誤差。, 0)(),( XEXb,)(),(2nXVarXR ,)(),(2222nEb .)12(),()(),(242222nnbVarR 的兩個估計，如的兩個估計，如是參數(shù)是參數(shù)和和設設)()()( qxTxS果對所有果對所有 不等式不等式 ),(),(SRTR 成立，成立，嚴嚴格格不不等等式式成成立立，且且對對某某些些 則稱則稱T比比S好，好，也說也說S是非容許的。是非容許的。(Inadmissible)從均方誤差可知，我們自然希望估計的從均方誤差可知，我們自然希望估計的MSE越小越好。越小越好。，如果，如果所有可能估計組成的類所有可能估

3、計組成的類表示表示用用)( qGq，有有使使得得對對任任一一中中存存在在一一個個元元在在qqGTTG),(),(TRTR 對所有的對所有的 成立，成立， 的的最最好好應應是是則則)()( qxT估計。估計。并不存在。并不存在。遺憾的是，這樣的估計遺憾的是，這樣的估計T因為因為倘若這樣的估計倘若這樣的估計 存在，存在，)(xT，那么對任一那么對任一 0 ),()(0 qxS令令，這樣，這樣則則0),(0SR , 0),()()(),(02000SRqxTETR ).()(0 qxT即即)(0 xT的的任任意意性性，因因此此這這樣樣由由 不存在。不存在。平凡估計平凡估計(Trivial Estim

4、ate)由此可見，均方誤差一致達到最小的由此可見，均方誤差一致達到最小的最優(yōu)估計并不存在，那么應如何評判和尋找最優(yōu)估計并不存在，那么應如何評判和尋找優(yōu)良的估計呢？方法之一是對估計提出一些優(yōu)良的估計呢？方法之一是對估計提出一些合理性的要求，將那些諸如不合理的平凡估合理性的要求，將那些諸如不合理的平凡估計排除在外，然后在滿足合理性要求的估計計排除在外，然后在滿足合理性要求的估計類中尋找優(yōu)良的估計。無偏性便是一種常用類中尋找優(yōu)良的估計。無偏性便是一種常用的合理性要求。的合理性要求。定義定義4.1未知未知，設統(tǒng)計模型為設統(tǒng)計模型為)(, qP TXXXn是是來來自自總總體體的的樣樣本本，參參數(shù)數(shù)，,2

5、1有有所所有有的的是是一一個個統(tǒng)統(tǒng)計計量量，如如果果對對 )()( qXTE, 0),(Tb 成成立立，即即的的是是參參數(shù)數(shù)則則稱稱)()( qXT無偏估計量無偏估計量(Unbiased Estimate)。例例4.2 ，服服從從正正態(tài)態(tài)分分布布設設總總體體),(2 NX估估計計為為的的和和方方差差其其均均值值MLE2 ,11niiXnX.)(1122niiXXn 試討論它們的無偏性。試討論它們的無偏性。解解容易驗證容易驗證 是無偏的。是無偏的。X因為因為22 n)1(2n ，所以，所以且且1)(22 nnE .1)(22 nnE有偏估計。有偏估計。是是故故22 這樣這樣 的無偏估計為的無偏估

6、計為2 .)1(22 nnE然而然而.)(11122niiXXnS)()( qq的的無無偏偏估估計計存存在在，則則稱稱如如果果參參數(shù)數(shù)是可估的。是可估的。注意：注意：（1）無偏估計可能不存在。無偏估計可能不存在。（2）若無特別聲明，均認為若無特別聲明，均認為 是可估參數(shù)。是可估參數(shù)。)( q對可估參數(shù)對可估參數(shù) ，無偏估計一般是不唯，無偏估計一般是不唯)( q一的。一的。（3）無偏估計不一定是好的估計，即它可能無偏估計不一定是好的估計，即它可能是非容許的。是非容許的。.)(類類的所有無偏估計組成的的所有無偏估計組成的表示參數(shù)表示參數(shù)即即 qUq,)(),()(:)( allxTVarqxTEx

7、TUq（4）在函數(shù)變換下，無偏性可能消失，即在函數(shù)變換下，無偏性可能消失，即)()( qq可可能能是是是是無無偏偏的的，但但而而言言，對對的有偏估計。的有偏估計。令令設設 是可估參數(shù)，是可估參數(shù)，)( q方差，即方差，即).(),(XTVarTR 由定義由定義4.1可知無偏估計的均方誤差就是它可知無偏估計的均方誤差就是它在均方誤差準則下，既然最好的估計不存在均方誤差準則下，既然最好的估計不存的無偏估計（一致最小方差無偏估計）是否的無偏估計（一致最小方差無偏估計）是否那么現(xiàn)在的問題是對無偏估計類那么現(xiàn)在的問題是對無偏估計類 而而qU在，在，若存在，它是否是唯一的？若存在，它是否是唯一的？言，同樣

8、在均方誤差（方差）準則下，最好言，同樣在均方誤差（方差）準則下，最好存在？存在？如何求？如何求？這些就是我們下面需要討論的主題。這些就是我們下面需要討論的主題。二、一致最小方差無偏估計二、一致最小方差無偏估計定義定義4.2的無偏估計類，的無偏估計類，是是)( qUq是可估是可估，設統(tǒng)計模型為設統(tǒng)計模型為)(, qP 參數(shù)，參數(shù)，的一致的一致)( q最小方差無偏估計定義如下。最小方差無偏估計定義如下。，使使得得如如果果存存在在無無偏偏估估計計qUxT)(，有有對對任任意意的的qUxS)()()(xSVarxTVar 都成立，都成立，對所有的對所有的 的的為為則則稱稱)()( qxT一致最小方差無

9、偏估計，一致最小方差無偏估計，(Uniformly Minimum Variance Unbiased Estimate)簡稱為簡稱為UMVUE。定理定理4.1（存在性）（存在性）,)(, 0)(:)(0000 allxTVarxTExTU設參數(shù)設參數(shù) 是可估的，是可估的，)( q是是 一致最小方差無偏估計的充分一致最小方差無偏估計的充分qUxT )()( q必要條件是對任意的必要條件是對任意的 ，00)(UxT 等式等式0)()(0 xTxTE 對所有的對所有的 都成立。都成立。 則則定理定理4.2（唯一性）（唯一性） 設參數(shù)設參數(shù) 是可估的，是可估的，)( q則對所有的則對所有的 ， 且且

10、推論推論設設 和和 分別是可估函數(shù)分別是可估函數(shù) 和和)(1xT)(2xT)(1 q的一致最小方差無偏估計，的一致最小方差無偏估計，)(2 q則對任意常則對任意常1)()( xSxTP 數(shù)數(shù) 和和 ，ab是是 的一的一)()(21xbTxaT )()(21 bqaq 致最小方差無偏估計。致最小方差無偏估計。和和 都是都是 的一致最小方差無偏估計，的一致最小方差無偏估計，)(xT)(xS)( q有有即在概率即在概率1下一致最小方差無偏估計是唯一。下一致最小方差無偏估計是唯一。定理定理4.3是是其其充充，設設統(tǒng)統(tǒng)計計模模型型為為)(,xSP 分統(tǒng)計量，分統(tǒng)計量，的無偏估計量，的無偏估計量，是是)(

11、)( qx令令),(| )()(xSxExT 的無偏估計量，的無偏估計量，也是也是則則)()( qxT且對所有的且對所有的).()(xVarxTVar , 有有證明：證明：由條件期望的性質，有由條件期望的性質，有),()()(| )()( qxExSxEExTE的無偏估計。的無偏估計。也是也是所以所以)()(xqxT2)()()( qxExVar2)()()()( qxTxTxE22)()()()( qxTExTxE)()()()(2 qxTxTxE但但)()()()( qxTxTxE)(|)()()()(xSqxTxTxEE )(|)()()()(xSxTxEqxTE 0)(|)()(xSx

12、TxE )(| )()(| )(xSxTExSxE 這是因為這是因為0)()(xTxT這樣這樣2)()()( qxExVar22)()()()( qxTExTxE2)()( qxTE)(xTVar 由此定理可知，利用充分統(tǒng)計量可以降低由此定理可知，利用充分統(tǒng)計量可以降低無偏估計量的方差。無偏估計量的方差?？梢酝ㄟ^取充分統(tǒng)計量的條件期望（它是充分可以通過取充分統(tǒng)計量的條件期望（它是充分統(tǒng)計量的函數(shù)且是無偏的）來縮小無偏估計類。統(tǒng)計量的函數(shù)且是無偏的）來縮小無偏估計類。因此，為了尋找因此，為了尋找UMVUE，)(:)(| )(qTqUxallxTxEU qU.TqU應應屬屬于于則則UMVUE若令若

13、令,)(qUxTh若若?？煽芍猅qUxTh)()()(|)(xThxTxThE這是因為這是因為中中實際上是由實際上是由而而qTqUU充分統(tǒng)計量的所有函數(shù)組成的類，充分統(tǒng)計量的所有函數(shù)組成的類，則由則由這樣可以在充分統(tǒng)計量這樣可以在充分統(tǒng)計量的函數(shù)類的函數(shù)類 中尋找中尋找UMVUE。TqU但可能不但可能不（若存在）（若存在）唯一。唯一。為了在概率意義下確定唯一性，還需為了在概率意義下確定唯一性，還需這便是統(tǒng)計量的這便是統(tǒng)計量的對統(tǒng)計量提出合理的要求，對統(tǒng)計量提出合理的要求，完全性。完全性。定義定義4.3的的值值域域上上是是定定義義在在統(tǒng)統(tǒng)計計量量設設)()(xTtg的任一實值函數(shù)，的任一實值函

14、數(shù)，0)(TgE ，成立時，必成立成立時，必成立0)(Tg是是統(tǒng)計量統(tǒng)計量)(xT完全的完全的(Complete) 。，如如果果對對所所有有的的 則稱則稱例例4.3 的的是是來來自自兩兩點點分分布布設設), 1(,21 bxxxn是完全統(tǒng)計量。是完全統(tǒng)計量。證明證明x證明證明，所所以以服服從從因因為為),( nbxknnkkknnkgxgE)1()(0 樣本樣本 ，)10( nkknknnkg01)1( ，有，有令令0)(xgE . 010nkkknnkg 的多項式，因此對的多項式，因此對因為上式的左邊是因為上式的左邊是 1),1 , 0( 所有的所有的欲使上式恒成立，欲使上式恒成立，只有左只

15、有左邊多項式的系數(shù)為零，邊多項式的系數(shù)為零，., 1 , 0, 0nknkg即即是是完完全全統(tǒng)統(tǒng)計計量量。而而言言，故故對對分分布布族族xb), 1( 定理定理4.4,),(21 Pxxxxn是是來來自自總總體體設設一個樣本，一個樣本，其密度函數(shù)（分布率）可表示為其密度函數(shù)（分布率）可表示為,)(exp)()(),(1mkkkxTwxhwcxp 其中其中,)(,),()(1mmRwwww 是是有有內內點點，則則統(tǒng)統(tǒng)計計量量如如果果)(,),(1xTxTm 完全充分的。完全充分的。.)(, )()(,),(1111niimniimxTxTxTxT（這個定理的詳細證明可參見陳希孺著（這個定理的詳細

16、證明可參見陳希孺著數(shù)理統(tǒng)計引論數(shù)理統(tǒng)計引論）例例4.4),(2 LNX服服從從對對數(shù)數(shù)正正態(tài)態(tài)分分布布設設總總體體計量。計量。是簡單樣本，求完全統(tǒng)是簡單樣本，求完全統(tǒng)nxxx,21解解 對數(shù)分布密度函數(shù)為對數(shù)分布密度函數(shù)為222)(lnexp21);( xxxp,1)(ln21lnexp21222222xxxe . 0), 0(), 0(),(2x 其其中中因此樣本的聯(lián)合密度為因此樣本的聯(lián)合密度為,)(ln21lnexp12212niiniixx );,(1 nxxpniinnxe1212122 這樣這樣,)(ln,ln)(),(12121niiniixxxTxT),0 ,(), 0(21,)(22 ww).0 ,(), 0(), 0(), 0