考試復(fù)習(xí)學(xué)習(xí)參數(shù)估計(jì)

1、第六章 參數(shù)估計(jì)§6.1 點(diǎn)估計(jì)的幾種方法l 參數(shù)估計(jì)問(wèn)題如何根據(jù)抽取的樣本觀2 , xn測(cè)值數(shù) 估計(jì)總體分布中的未知參l 參數(shù)點(diǎn)估計(jì)問(wèn)題如何選取合適的統(tǒng)計(jì)量q(稱q(q(n ) 估計(jì)未知參數(shù) 。n ) 為 的估計(jì)量，, xn ) 為 的估計(jì)值.2,設(shè)總體 X U0,q ，現(xiàn)從該總引例 1體中抽取容量為 10 的樣本，樣本值為0.5, 1.3, 0.6, 1.7, 2.2, 1.2, 0.8, 1.5, 2.0, 1.6試問(wèn)應(yīng)該如何估計(jì)未知參數(shù)q (> 0) ？ N (m,s2 ) ，現(xiàn)從該總引例 2 設(shè)總體 X體中抽取容量為 10 的樣本，樣本值為0.5, 1.3, 0.6,

2、 1.7, 2.2, 1.2, 0.8, 1.5, 2.0, 1.6試問(wèn)應(yīng)該如何估計(jì)未知參數(shù) m,s 2 ？第六章 參數(shù)估計(jì)1.矩法估計(jì)用樣本矩代替總體矩，從而得到未知參數(shù)估計(jì)的方法，稱為矩估計(jì)法. N (m,s 2 ) ，求未知參數(shù)m,s 2例 1 設(shè)總體 X的矩估計(jì).因?yàn)镋( X ) = m ， D( X ) = s 2 ，m = E( X ) ，s 2 = D( X ) 。解所以故m,s 2 的矩估計(jì)分別為m = X ，s 2注：= S 2 。1） 總體均值E( X ) 的矩估計(jì)是樣本均值 X ； 總體方差D( X ) 的矩估計(jì)是樣本方差S 2 ；2） 矩估計(jì)法直觀、簡(jiǎn)便；估計(jì)總體均值和

3、總體方差時(shí)不必知道總體的分布. 3）矩估計(jì)法需要總體的原點(diǎn)矩存在.例 2 設(shè)總體 X P(l) ，未知參數(shù)l > 0 。第六章 參數(shù)估計(jì)求l 的矩估計(jì).E( X ) = l ，所以l = E( X ) 。解 因?yàn)楣蔿 的矩估計(jì)為l = X 。注： S 2 也可算是l 的矩估計(jì)。第六章 參數(shù)估計(jì)2. 最大似然估計(jì)（1）最大似然原理：一個(gè)隨機(jī)試驗(yàn)若干個(gè)可能的結(jié)果，.若在一次試驗(yàn)中結(jié)果出現(xiàn)，則可認(rèn)為試驗(yàn)條件對(duì)出現(xiàn)有利，故應(yīng)選擇分布參數(shù)，使出現(xiàn)的概率最大。例 3 設(shè)有外形完全相同的兩個(gè)箱子，甲箱有99 個(gè)白球 1 個(gè)黑球，乙箱有 1 個(gè)白球 99 個(gè)黑球。今隨機(jī)抽取一箱，再?gòu)拇讼渲须S機(jī)抽取一球，

4、結(jié)果是白球。試問(wèn)這個(gè)白球是從哪個(gè)箱中取出的？解 甲箱中取得白球的概率為99P(白|甲) =；乙箱中取得白球的概率為1001P(白|乙) =?？梢?jiàn)，這個(gè)白球從甲箱中取出100的概率比從乙箱中取出的概率大得多.根據(jù)極大似然原理，推斷白球是從甲箱中取出的。第六章 參數(shù)估計(jì)（2）似然函數(shù)：, Xn 取自概率函數(shù)為 p(x;q )設(shè)樣本的總體 X ，2 ,2 , xn為樣本觀測(cè)值。定義樣本的概率函數(shù)為樣本的似然函數(shù)，即nL(q ) = Õ p(xi ;q )i=1量總體 X ，似然函數(shù)就是對(duì)離散隨nL(q ) = Õ P( Xi = xi ) ；i=1即為樣本出現(xiàn)的（）概率.對(duì)連續(xù)隨

5、量總體 X ，似然函數(shù)為nL(q ) = Õ f (xi ;q ) 。i=1）密度.即為樣本出現(xiàn)的（第六章 參數(shù)估計(jì)（3）最大似然估計(jì)：選取參數(shù) 的取值，使樣本觀測(cè)值2 , xn出現(xiàn)的概率最大，即使得似然函數(shù)L(q ) 達(dá)到最大值。這樣得到的估計(jì)稱為參數(shù) 的最大似然估計(jì)（MLE）。求參數(shù) 的最大似然估計(jì)值，就是求似然函數(shù)L(q ) 的最大值點(diǎn)。在ln L(q ) 可導(dǎo)時(shí)可d ln L(q ) = 0 得到.以通過(guò)求解似然方程:dq例 4 設(shè)總體 X P(l) ，未知參數(shù)l > 0 。求l 的最大似然估計(jì).2 , xn解 設(shè)樣本觀測(cè)值為數(shù)為，則似然函nåxii=1

6、30; l xilönL(l) = Õç-lle÷ =- nenx !èiøÕ(xi !)i=1i=1nnln L(l) = (å xi ) ln l - åln(xi !) - nl ，故i=1i=1第六章 參數(shù)估計(jì)有似然方程:d ln L(l) = 1 ånx - n = 0dlli，i=1nl = 1 å x = xin解之得。i=1d ln L(l)2n= - 1 åx < 0l2dl2i又，i =1l =ll = X 。故l 的最大似然估計(jì)為例 5 設(shè)總體 X

7、 e(l) ，未知參數(shù)l > 0 。求l 的最大似然估計(jì)。解 設(shè)樣本觀測(cè)值為數(shù)為2 , xn，則似然函n-l åxii=1nL(l) = Õ(le) = l e-l xnii=1nln L(l) = n ln l - lå xii=1故，第六章 參數(shù)估計(jì)有似然方程:d ln L(l) = n - ånx = 0，dllii=1n= 1xl =nå ix解之得。i=1d 2 ln L(l)= - n < 0，l2dl2又l =ll = 1故l 的最大似然估計(jì)為。X例 6 設(shè)總體 X U0,q ，現(xiàn)從該總體中抽取容量為 10 的樣本，樣

8、本值為0.5, 1.3, 0.6, 1.7, 2.2, 1.2, 0.8, 1.5, 2.0, 1.6求參數(shù)q (> 0) 的矩估計(jì)及最大似然估計(jì).qq1E( X ) = ò x × q dx = 2 ，解：因?yàn)?第六章 參數(shù)估計(jì)X = q 。所以有矩法方程：2q = 2X ，相應(yīng)解之得 的矩估計(jì)為的矩估計(jì)值為q = 2x = 2.68 。2 , xn設(shè)樣本觀測(cè)值為，則似然函數(shù)為n1q1Õq ) = q nL(II(0£ x£q )( n )(0£ x£q )ii=1, xn ，I(0£x( n ) 

9、3;q ) 為= maxx1, x2 ,其中示性函數(shù)。當(dāng)0 < q < x(n) 時(shí)，L(q ) = 0 ；而當(dāng)q ³ x(n) 時(shí)，L(q ) 為q 的嚴(yán)格單調(diào)遞減正函數(shù)，故q 的最大似然估計(jì)值為q = x(n)= 2.2 ，最大似然估計(jì)是q = X (n) 。 N (m,s 2 ) ，求未知參數(shù)m,s 2 的例 7 設(shè)總體 X最大似然估計(jì)。第六章 參數(shù)估計(jì)2 , xn解 設(shè)樣本觀測(cè)值為數(shù)為，則似然函næö1( x -m )2åi=1næö( x -m )2-n11-iÕi=1is2L(m,s) =ç

10、÷ = ç222e2se÷ç÷2ps2ps øèèø故nln L(m,s 2 ) = - n ln(2p ) - n ln(s 2 ) - 1 å( x - m)2，2s 2i22i=1有似然方程組:ì¶ ln L(m,s 2 ) = 1 ån(x - m) = 0,¶ms 2iïi=1íï¶ ln L(m,s )2 n 1 nå(x - m)2 = 0.= -+ï¶s 22s 22s

11、4iî解之得i=1= 1nn1nn ååi=1s 2(x - x)2m =x = x ，。iii=1利用二階導(dǎo)函數(shù)矩陣的非正定性可以證明m,s 2 的最大似然估計(jì)分別是第六章 參數(shù)估計(jì)n= 1 ås 2( X - X )2m = X ，。ini=1注：最大似然估計(jì)的不變性：若q 是q 的 MLE，則 g(q) 是 g(q ) 的 MLE。1正態(tài)總體的標(biāo)準(zhǔn)差s 的最大似然估計(jì)是n1 ås =( X - X )2。ini=1æ a - m öæ a - X ö2P( X £ a) = Fç

12、÷ 的MLE 是Fç÷ 。sèøSèø作業(yè)：P291 4(2)(4)；P292 8(2)(3)第六章 參數(shù)估計(jì)例 1 設(shè)總體 X U0,q ，現(xiàn)從該總體中抽取容量為 10 的樣本，樣本值為0.5, 1.3, 0.6, 1.7, 2.2, 1.2, 0.8, 1.5, 2.0,1.6則（1） 的矩估計(jì)是q= 2 X ，1矩估計(jì)值是2x = 2.68 ；(2) 最大似然估計(jì)是q = X (n) ，= 2.2 。最大似然估計(jì)值是 x(n)問(wèn)題是誰(shuí)好？§6.2點(diǎn)估計(jì)的評(píng)價(jià)標(biāo)準(zhǔn)（1）相合性（一致性）(稱q n =n ) 是未

13、知參數(shù)的一致估計(jì)，如果對(duì)任意e > 0 ，有l(wèi)im P(| q n -q |< e ) = 1.n®¥注：樣本均值 X 是E(X ) 的一致估計(jì)；樣本方差S 2 是D( X ) 的一致估計(jì)。第六章 參數(shù)估計(jì)q）若 是q 的相合估定理 6.2.2（P294n計(jì)， g(q ) 是q 的連續(xù)函數(shù)，則 g(q ) 是ng(q ) 的相合估計(jì)。定理 6.2.1（P293）若lim E(q ) = qlim D(q ) = 0， n®¥，nnn®¥則q是q 的相合估計(jì)。n例 1（續(xù)）q = X (n) 的密度為ìnyn-1q

14、 n0 £ y £ q ,otherwise,p( y) = íî0,故q1nE(q ) = ò y × ny0qdy = nq ò y dy = n + 1qn-1nn0¾¾¾®qn®¥第六章 參數(shù)估計(jì)q12nE(q ) = ò y02dy = nq ò ydy = n + 2 qn-1nqn+1× ny220nD(q) =q 2¾¾¾® 0，n®¥(n +1)2 (n +

15、2)故q = X (n) 是q 的相合估計(jì)。（2）無(wú)偏性(稱q =n ) 為未知參數(shù) 的E(q ) = q無(wú)偏估計(jì)，如果.(注：1）用無(wú)偏估計(jì)q =n )代替未知參數(shù) 不產(chǎn)生系統(tǒng)誤差；2）樣本均值 X 是 E( X ) 的無(wú)偏估計(jì)； 樣本方差S 2 是 D( X ) 的無(wú)偏估計(jì)。3）無(wú)偏估計(jì)不唯一，當(dāng)然應(yīng)選方差較小者為好.第六章 參數(shù)估計(jì)例 1（再續(xù)）從總體 X U0,q 中抽取容量為 10 的樣本，則（1）矩估計(jì)q = 2 X 是 的無(wú)偏估計(jì)：1E(q ) = 2E( X ) = 2E( X ) = 2 × q = q ；12(2) 最大似然估計(jì)q = X (n) 是有偏估計(jì)：q1

16、nE(q ) = ò y × nyqdy = nq ò y dy = n +1q ¹ qn-1nn00= n +1 X令q，則它是 的無(wú)偏估計(jì)。2(n)n（3） 有效性 ( (設(shè)q 1 =, X ) 與q 2 =, X )12n22n都是參數(shù) 的無(wú)偏估計(jì)，稱q 1 比q 2 有效，D(q1) < D(q 2 ) .如果如，n ³ 2 時(shí)，總體均值的無(wú)偏估計(jì) XD( X ) = D( X ) < D( X )X比 1 有效，因?yàn)椤?n第六章 參數(shù)估計(jì)例 1（三續(xù)）從總體 X U0,q 中抽取容量為 10 的樣本，樣本值為0.5, 1.

17、3, 0.6, 1.7, 2.2, 1.2, 0.8,1.5, 2.0, 1.6則矩估計(jì)q = 2 X 的方差為：1q 2441q ) = 4D( X ) =D( X ) =×q=2D(。1nn123n因?yàn)閝 = X (n) 的方差是D(q) =nq 2 ，(n +1)2 (n + 2)= n +1 X故q的方差是2(n)n(n +1)21q ) =D( X (n) ) = n(n + 2) q2D(；2n2= n +1 Xq故當(dāng)n > 1 時(shí)，q = 2 X 有效；比2(n)n1n +1相應(yīng)的估計(jì)值為x= 2.42 。(n)n第六章 參數(shù)估計(jì)例2設(shè)樣本 X1,L, Xn來(lái)自總

18、體 X ，nc1,L, cn 為常數(shù)，且åci= 1 。E( X ) = m ；又i =1n（1） 證明： åci Xi 都是m 的無(wú)偏估計(jì)；i=1（2） 在所有這些無(wú)偏估計(jì)中，試求方差最小的無(wú)偏估計(jì)。例 3 設(shè)參數(shù)q 有兩個(gè)相互的無(wú)偏2 , Xn ) ，2 , Xn ) 和q 2估計(jì)q 1=(且方差D(q1 ) = 2D(q 2 ) 。k(1)試 證 明 ： 對(duì) 任 意 常數(shù)，+ (1- k)q 2 都是q 的無(wú)偏估計(jì)；q = kq1(2) 在所有這些無(wú)偏估計(jì)中，試求方差最小的無(wú)偏估計(jì)。第六章 參數(shù)估計(jì)解（1）因?yàn)镋(q ) = Ekq1 + (1- k)q 2 = kE

19、(q1 ) + (1- k)E(q 2 ) = kq + (1- k)q = q所以，q = kq1 + (1- k)q 2 是q 的無(wú)偏估計(jì)。（2）D(q ) = Dkq1 + (1- k)q 2 = k 2D(q1) + (1- k)2 D(q 2 )= (2k 2 +(1- k)2 )D(q 2 ) = (3k 2 -2k +1)D(q 2 ) = (3(k -1 3)2 + 2 3)D(q 2 )1故方差最小的無(wú)偏估計(jì)是 q 1+ 2 q 2 。33第六章 參數(shù)估計(jì)§6.3最小方差無(wú)偏估計(jì)1. Rao-Blackwell 定理 EE( X | Y ) = E( X ) 引理

20、1 E(X - E( X | Y ) × g(Y ) = 0引理 2E(X - E( X | Y ) × g(Y )= EE( X - E( X | Y ) × g(Y )Y = EE( X - E( X | Y )Y × g(Y )= EE( X | Y ) - E( X | Y )× g(Y ) = 0引理 3Eg(Y ) - X 2 = E( X - E( X | Y ) + (E( X | Y ) - g(Y )2= E X - E( X | Y )2 + EE( X | Y ) - g(Y )2+ 2E(X - E( X | Y )

21、× (E( X | Y ) - g(Y )³ E X - E( X | Y )2等號(hào)成立當(dāng)且僅當(dāng) g(Y ) = E( X | Y ), a.e.。min Eg(Y ) - X 2 = EE( X | Y ) - X 2g第六章 參數(shù)估計(jì)量， E( X ) = m 。定理 1 設(shè) X 、Y 是隨j(Y ) = E( X | Y ) ，則令E(j(Y ) = m ， D(j(Y ) £ D( X ) ，j(Y ) = X , a.e. 。其中等號(hào)成立當(dāng)且僅當(dāng)D( X ) = E( X - m)2證= E( X - E( X | Y ) + (E( X | Y ) -

22、 m)2= E X - E( X | Y )2 + EE( X | Y ) - m2+ 2E(X - E( X | Y ) × (E( X | Y ) - m )= E X - j(Y )2 + D(j(Y ) ³ D(j(Y ) 。設(shè)T = T ( X1,L, Xn ) 是未知參數(shù)q 的定理 2充分統(tǒng)計(jì)量，q 是q 的無(wú)偏估計(jì)。令D(q) £ D(q) 。則q 也是q 的無(wú)偏估計(jì)，且充分性原則：尋求q 的無(wú)偏估計(jì)只需考慮充分統(tǒng)計(jì)量的函數(shù)。q = E(q | T )第六章 參數(shù)估計(jì)2. 最小方差無(wú)偏估計(jì)定義 1 稱q 是q 的一致最小方差無(wú)偏估計(jì)（UMVUE），如

23、果q 是q 的無(wú)偏估計(jì)，且對(duì)其它無(wú)偏估計(jì)q 都有： D(q) ³ D(q) 。定理 3 q是q 的 UMVUE 當(dāng)且僅當(dāng)q 是q 的無(wú)偏估計(jì)，且對(duì)任意均值為零的統(tǒng)計(jì)量T 都有： Cov(q,T ) = 0 。 證 充分性：對(duì)其它無(wú)偏估計(jì)q ，令E(T ) = E(q) - E(q) = 0 ；T = q -q ，則有于是D(q) = D(q + T ) = D(q) + D(T ) + 2Cov(q,T ) ³ D(q)必要性：對(duì)任意均值為零的統(tǒng)計(jì)量T ，令q = q + yT ，其中 y 為任意實(shí)數(shù)，則有E(q) = E(q) + yE(T ) = q ；于是第六章 參數(shù)

24、估計(jì)D(q) = D(q + yT ) = D(q) + y2D(T ) + 2 yCov(q,T ) ³ D(q)則y2D(T ) + 2 yCov(q,T ) ³ 0Cov(q,T ) = 0 。對(duì)任意實(shí)數(shù) y 都成立，必有試求參數(shù)q 的 UMVUE。樣本 X1,L, Xn解的密度為n-å xi qi =1n11Õi=1-xqp(x ,L, x ) =) = q n e(ei1nqn由因子分解定理， å Xi 是未知參數(shù)q 的i=1n充分統(tǒng)計(jì)量。因?yàn)?E(å Xi ) = nE( X ) = nq ，故i=1q = X 是q 的無(wú)

25、偏估計(jì)。對(duì)任意均值為零的統(tǒng)計(jì)量T = T ( X1,L, Xn ) ，都有：¥¥n1nÕòò-x qE(T ) =L T (x ,L, x ) ×)dx1Ldxn = 0(eiq1i=100例1 設(shè)樣本 X1,L, Xn 來(lái)自總體 X e(1 q ) ，第六章 參數(shù)估計(jì)¥ò0¥òL T (x ,L, x ) × e-nx q dx Ldx= 0即1n1n0兩邊對(duì)q 求導(dǎo)，得¥¥nxòLò q 2-nx qT (x1,L, xn ) ×

26、edx1 Ldxn = 000故E( X ×T ) = 0 ，從而Cov(q,T ) = Cov( X ,T ) = E( X ×T ) - E( X ) × E(T ) = 0 。由定理 3，q = X 是q 的 UMVUE。作業(yè)： P308 1、4第六章 參數(shù)估計(jì)3Fisher 信息量 p(x;q ) 的定義 2 總體 XFisher 信息量定義為。注：（1）I (q ) 越大，總體分布中包含參數(shù)q 的信息越多。（2）。例 2 設(shè)總體 X P(l) ，試求I (l) 。解 總體分布列為lxp(x; l) =-lex! ¶¶lln p(x;l

27、) = x -1則lI (l) = E ¶ln p( X ;l)2 = E( X -1)2故¶ll1l2= D( X ) = 1E( X - l)2=l2l；¶2I (q ) = -E ¶q 2 ln p( X ;q )I (q ) = E ¶ ln p( X ;q )2¶q第六章 參數(shù)估計(jì)或¶2¶l2xl2ln p(x; l) = -¶2¶l2I (l) = -Eln p( X ; l)故l = 1 。= -E(- X ) =l2l2l第六章 參數(shù)估計(jì)定理 4 （ Cramer-Rao不等式）

28、設(shè)總體p(x;q ) ，則對(duì) g(q ) 的任一無(wú)偏估計(jì)T ，X 有。證令¶¶¶¶nnÕi=1åi=1p( X ;q ) =ln p( X ;q )Z =lnqqii由¥¶¶E ¶q ln p( X ;q ) = ò ¶q ln p(x;q ) × p(x;q )dx-¥¥¥¶¶ò ¶qp(x;q )dx = ¶q ò p(x;q )dx = 0=-¥-¥E

29、 ¶nE(Z ) = åi=1ln p( X ;q ) = 0即得¶qig¢(q )2D(T ) ³nI (q )第六章 參數(shù)估計(jì)D ¶nE(Z 2 ) = D(Z ) = åln p( X ;q )¶qii=1E ¶n= åi=1ln p( X ;q ) = nI (q )2¶qi又¥¥ng(q ) = E(T ) = òLòT (x1,L, xn ) ×Õ p(xi ;q )dx1 Ldxni=100¥¥

30、; ¶¶nÕòò¢q ) =L T (x ,L, x ) ×p(xi ;q )dx1Ldxng (1nqi=100¥¥¶nnÕÕòòp(x ;q )p(x ;q )dx Ldx=L T (x ,L, x )ln1nqii1n¶i=1i=100= E(T × Z ) = E(T - g(q ) × Z )由許瓦茲不等式，得g¢(q )2 £ E(T - g(q )2 × E(Z 2 ) = D(T

31、) × nI (q ) 。稱為 g(q ) 的 C-R 下界。注：（1）（2）T 稱為 g(q ) 的有效估計(jì)，若等號(hào)成立。有效估計(jì)一定是 UMVUEg¢(q )2nI (q )第六章 參數(shù)估計(jì)（3）對(duì)q 的無(wú)偏估計(jì)q ，有。D(q) ³1nI (q )第六章 參數(shù)估計(jì)X1,L, Xn續(xù) 例1設(shè) 樣 本來(lái) 自 總 體樣本 X1,L, Xn解的密度為n-å xi qi =1n11Õi=1-x qp(x ,L, x ) =) = q n e(eiq1nn由因子分解定理， å Xi 是q 的充分統(tǒng)計(jì)量。i=1n因?yàn)镋(å Xi )

32、 = nE( X ) = nq ，故q = X 是q 的無(wú)i=1q 2D( X )偏估計(jì)，且D(q ) =。nn又總體密度為p(x;q ) = 1 e-x qq¶¶qx - 1ln p(x;q ) =則。q 2q故未知參數(shù)q 的 Fisher 信息量為X e(1 q ) ，試求參數(shù)q 的 UMVUE。第六章 參數(shù)估計(jì)¶¶qln p( X ;q )2 = E( X - 1 )2I (q ) = Eq 2q1q 4= D( X ) = 1E( X - q )2=q 4q 2 ；或¶2¶q 212xln p(x;q ) =-q 2q 3&#

33、182;2¶q 2I (q ) = -Eln p( X ;q )= -E( 1 - 2X ) = - 1 + 2q= 1 。q 2q 3q 2q 3q 2= q 21故q 的 C-R 下界為 nI (q )。n因?yàn)閝 的無(wú)偏估計(jì)q = X 的方差達(dá)到C-R下 界 ， 所 以 q = XUMVUE.是 q的 有 效 估 計(jì) 和第六章 參數(shù)估計(jì)X b(m,q ) ，試求參數(shù)q 的 UMVUE。樣本 X1,L, Xn解的密度為nÕ(C q(1 -q )p(x ,L, x ) =m-xxx)iii1nmi=1nÕi=1x ×q nx (1 -q )n(m-x)=

34、Cim由因子分解定理， X 是q 的充分統(tǒng)計(jì)量。因，故q = XE( X ) = E( X ) = mq是q 的無(wú)偏估m(xù)D(q) = D( X ) = q (1-q )計(jì)，且。m2nmn又總體分布列為p(x;q ) = C q (1-q )m-xxxmln p(x;q ) = x - m - x = x - mq ¶¶q則。q1-qq (1-q )故未知參數(shù)q 的 Fisher 信息量為練 設(shè) 樣 本 X1,L, Xn來(lái) 自 總 體第六章 參數(shù)估計(jì)= E( X - mq )2I (q ) = E ¶ ln p( X ;q )2¶qq (1-q )1q 2

35、 (1-q )2mE( X - mq )2 =q (1-q )； 1q (1-q )故q 的 C-R 下界為=。nI (q )mnX因?yàn)閝 的無(wú)偏估計(jì) m 的方差達(dá)到 C-R下界，所以q = X 是q 的有效估計(jì)和 UMVUE.m第六章 參數(shù)估計(jì)X1,L, Xn練 習(xí)2設(shè) 樣 本來(lái) 自 總 體X N (m0,s) ，試求參數(shù)s 2 的 UMVUE。2樣本 X1,L, Xn解的密度為-( xi -m0 )2n12p sp(x ,L, x ) = Õ(2s 2e)1ni=1nå( xi -m0 )21- i =1=2s2e(2p s )nnå( X - m)2是s2由

36、因子分解定理，的充分統(tǒng)i0i=1計(jì)量。因?yàn)閚E(å( Xi - m0 ) ) = nE( X - m )= ns，2220i=11nnås( X - m0 )=22是s 2故的無(wú)偏估計(jì)，且ii=1D( X - m)2s 4X - m2s 4D(s ) =D(0 )=22 0n。snn又總體密度為第六章 參數(shù)估計(jì)-( x-m0 )21p(x;s 2 ) =2s 2e2p s(x - m)211ln p(x;s ) = -0-ln(2p ) -lns22則2s 222(x - m¶¶s 2)212s 2ln p(x;s ) =-2 02s 4。故未知參數(shù)s

37、2 的 Fisher 信息量為( X - m¶¶s 2)212s 2I (s ) = Eln p( X ;s )= E(0-2222)2s 4E( X - m0 )2 -12 =1D( X - m0 )214s 41=s4s 4s2s 4；2s 41故s 2 的 C-R 下界為 nI (s 2 ) =。n第六章 參數(shù)估計(jì)n1nå因?yàn)閟 2 的無(wú)偏估計(jì)s( X - m0 )=22的ii=1n= 1 ås 2( X - m)2方差達(dá)到 C-R 下界，所以i0ni=1是s 2 的有效估計(jì)和 UMVUE.第六章 參數(shù)估計(jì)練習(xí) 3 證明：若T1 、T2 是參數(shù) g

38、(q ) 的兩個(gè)因?yàn)?E(T1 - T2 ) = g(q ) - g(q ) = 0 ，由定證理 3，有Cov(Ti ,T1 - T2 ) = E(Ti ,T1 - T2 ) = 0 ， i = 1,2 。故E(T - T )2 = D(T - T ) = Cov(T - T ,T - T ) = 012121212T1 = T2 , a.e.。所以UMVUE，則T1 = T2 , a.e.。第六章 參數(shù)估計(jì)練習(xí) 4 證明：若T1 、T2 分別是參數(shù)q1 、q2的 UMVUE ， 則對(duì)任意的常數(shù) a1、 a2，a1T1 + a2T2 是a1q1 + a2q2的 UMVUE。分別是參數(shù)q1、q2

39、 證因?yàn)?T1、 T2的UMVUE，所以由定理 3，有E(T1) = q1 ， E(T2 ) = q2且對(duì)任意均值為零的統(tǒng)計(jì)量T 都有：Cov(T1,T ) = 0 ， Cov(T2 ,T ) = 0于是E(a1T1 + a2T2 ) = a1E(T1) + a2 E(T2 ) = a1q1 + a2q2 ，Cov(a1T1 + a2T2 ,T ) = a1Cov(T1,T ) + a2Cov(T2 ,T ) = 0故a1T1 + a2T2 是a1q1 + a2q2的 UMVUE。第六章 參數(shù)估計(jì)p(x;q ) ，則參數(shù)q 的最大定理 5 設(shè)總體 X似然估計(jì)（MLE）具有相合性和漸近正態(tài)性：。

40、作業(yè)： P309 6、7、8q & N (q , 1)nI (q )第六章 參數(shù)估計(jì)§6. 4 Bayes 估計(jì)1. 統(tǒng)計(jì)推斷的基礎(chǔ)（1）總體信息： X p(x | q )（2）樣本信息：（3）先驗(yàn)信息：q p (q ) 頻率學(xué)派（即經(jīng)典學(xué)派）不考慮先驗(yàn)信息， 只依據(jù)總體信息和樣本信息進(jìn)行推斷；而B(niǎo)ayes 學(xué)派還利用先驗(yàn)信息。以前的爭(zhēng)論是能否將未知參數(shù)q 視為隨量，如今的焦點(diǎn)只在于如何合理確定先驗(yàn)分布p (q ) 。2. Bayes 公式的密度形式樣本( X1,L, Xn ) 和參數(shù)q 的密度為則樣本( X1,L, Xn ) 的邊際密度為h(x1,L, xn ;q ) =

41、p(x1,L, xn | q )p (q )n( X1,L, Xn ) Õ p(xi | q )i=1第六章 參數(shù)估計(jì)于是給定樣本觀測(cè)值(x1,L, xn ) 后q 的條件密度（稱為q 的后驗(yàn)分布密度）是上式集中了總體、樣本和先驗(yàn)中有關(guān)的一切信息，是總體和樣本對(duì)先驗(yàn)分布p (q )的結(jié)果，比p (q ) 更接近q 的真實(shí)情況。3. Bayes 估計(jì)用后驗(yàn)分布的均值作為q 的點(diǎn)估計(jì)，稱為后驗(yàn)期望估計(jì)（簡(jiǎn)稱 Bayes 估計(jì)），記為q 。BX1,L, Xn例 1設(shè) 樣 本來(lái) 自 總 體 b(1,q ) ，試求參數(shù)q 的Bayes 估計(jì)。解 假設(shè)先驗(yàn)分布為q U (0,1) （Bayes假

42、設(shè)），則樣本( X1,L, Xn ) 和參數(shù)q 的密X度為p (q | x ,L, x ) =p(x1,L, xn | q )p (q )1n¥ò p(x1,L, xn | q )p (q )dq-¥¥m(x1,L, xn ) = ò p(x1,L, xn | q )p (q )dq-¥第六章 參數(shù)估計(jì)0 < q < 1則樣本( X1,L, Xn ) 的邊際密度為于是給定樣本觀測(cè)值(x1,L, xn ) 后q 的條件密度（稱為q 的后驗(yàn)分布密度）是0 < q < 1故q 的Bayes 估計(jì)為p (q | x ,

43、L, x ) =G(n + 2)q nx (1 - q )n(1-x) 1nG(nx + 1)G(n - nx + 1)= G(nx +1)G(n - nx +1)G(n + 2)1m(x1,L, xn ) = òq(1 - q )dqnxn(1-x)0nh(x ,L, x ;q ) = Õq xi (1 - q )1-xi = q nx (1 - q )n(1-x)1ni=1第六章 參數(shù)估計(jì)G(n + 2)× G(nx + 2)G(n - nx +1)=G(nx +1)G(n - nx +1)G(n + 3)= nx +1 = qB 。n + 2q注：（1）q

44、的 MLE 為= x 。M（2）在抽查中，“抽檢 3 個(gè)全是正品”與“抽檢 10 個(gè)全是正品”感覺(jué)不同；但是兩種情況下正品率的 MLE 都是 1，而 3 +1Bayes 估計(jì)有所差別：前者為= 0.8 ，后3 + 210 +1者為= 0.917 ，更符合實(shí)際。10 + 2作業(yè)： P314 1、31G(n + 2)E(q | x1,L, xn ) = òq × G(nx +1)G(n - nx +1) q(1-q )dqnxn(1- x)0第六章 參數(shù)估計(jì)§6. 5 區(qū)間估計(jì)1. 區(qū)間估計(jì)的概念定義 1 稱隨機(jī)區(qū)間q ,q 為參數(shù)q 的置信LU水平為1-a 的置信區(qū)

45、間，如果存在統(tǒng)計(jì)量q= q ( X ,L, X ) 及q= q ( X ,L, X) ,使得LL1nUU1n P(q £ q £ q ) = 1-a ，LU其中q,q分別稱為置信下限和置信上限.LU置信區(qū)間表示估計(jì)結(jié)果的精確性，置信水平表示估計(jì)結(jié)果的可靠性。置信區(qū)間的意義: 如果進(jìn)行 N 次抽樣，則我們隨機(jī)地得到 N 個(gè)區(qū)間q,q ,kLkUk=1,2,N。這 N 個(gè)區(qū)間中，有的包含參數(shù) 的真值，有的不包含；其中包含參數(shù) 的真值的區(qū)間大約占100(1-a )% 。為參數(shù)q 的置信水平為1-a稱q定義 2L P(q ³ q ) = 1- a 。，如果L稱q為參數(shù)q

46、的置信水平為1-a定義 3U P(q £ q ) = 1- a 。，如果U的（單側(cè)）置信上限的（單側(cè)）置信下限第六章 參數(shù)估計(jì)對(duì)于給定的置信水平1-a ，根據(jù)樣本觀測(cè)值來(lái)確定未知參數(shù) 的置信區(qū)間q ,q ,稱為L(zhǎng)U參數(shù) 的區(qū)間估計(jì)。2. 樞軸量法（1） 構(gòu)造（分布完全已知的）樞軸量G = G(x1,L, xn ,q ) ；（2） 確定常數(shù)c, d ，使得 P(c £ G £ d ) = 1- a ；（3）由c £ G £ d 解出q £ q £ q ，得置信區(qū)間。LU3單個(gè)正態(tài)總體 N (m,s 2 ) 參數(shù)的置信區(qū)間(1)

47、 s 2= s m2時(shí) 的置信區(qū)間。0由§5.4中定理知，故P( X - m) = 1- a£ u1-a 2sn0P( X - s 0 us£ m £ X +) = 1- a 0 u，1-a1-a 22nnu = X - m N (0,1)s 0 /n通常定c, d ，使得 P(G < c) = P(G > d ) = a 2第六章 參數(shù)估計(jì)2 分位數(shù)。所以，m其中u1-a2 為 N (0,1) 的1- a的置信水平為1-a 的置信區(qū)間是：。例 1 從一批零件中，抽取 9 個(gè)零件，測(cè)得其直徑(毫米)為19.7, 20.1, 19.8, 19.

48、9, 20.2, 20.0, 19.9, 20.2, 20.3.設(shè)零件直徑 X 服從正態(tài)分布N (m,s 2 ) ，其中s = 0.21(毫米)，求這批零件直徑的均值m 的置信水平為 0.95 的置信區(qū)間。解 直接計(jì)算得x » 20.01(毫米)。對(duì)置信水2 = u0.975= 1.96 ，由此平1-a = 0.95 ，查表得u1-a sn= 0.21 ´1.96 » 0.14u(毫米)，所以所求得1-a 29置信區(qū)間為x - s u, x + s u = 19.87,20.15(毫米).1-a 21-a 2nn X - s 0 u, X + s 0 un1-a

49、2n1-a 2第六章 參數(shù)估計(jì)(2) s 未知時(shí)m 的置信區(qū)間。由§5.4中定理知，故P( X - m(n -1) = 1- a£ t1-a2SnSS(n -1) £ m £ X +(n -1) = 1- aP( X -tt1-a 21-a 2nn2 (n -1) 為t(n -1) 的1- a其中t1-a2 分位數(shù)。所以， m 的置信水平為1-a 的置信區(qū)間是：。例 2 在例 1 中，若總體方差未知，求零件直徑的均值m 的 0.95 置信區(qū)間。解 直接計(jì)算得x » 20.01(毫米)，s » 0.203(毫米)。對(duì)置信水平1-a = 0.95 ，查0.975 (8) = 2.31，由此得表得s(n -1) = 0.203 ´ 2.31 » 0.16t(毫米)，所以所1-a 2n9求置信區(qū)間為ssx -t(n -1), x +t(n -1)