課件2.2參數(shù)估計(jì)-點(diǎn)估計(jì)

1、ParameterParameter設(shè) 為未知參數(shù)，一Xn用樣本構(gòu)，造一個(gè)統(tǒng)計(jì)量( = Xn Likelihood來(lái)作為參數(shù) 真值的估計(jì)稱 為未知參數(shù) 的估計(jì)量。也稱為 的點(diǎn)估計(jì)Evaluate設(shè) 為未知參數(shù)，一Xn用樣本構(gòu)，造一個(gè)統(tǒng)計(jì)量( = Xn Likelihood來(lái)作為參數(shù) 真值的估計(jì)稱 為未知參數(shù) 的估計(jì)量。也稱為 的點(diǎn)估計(jì)Evaluate S nn X（2-kkii S nn X（2-kkii =m=nnX)(（2-kkii用樣本的某種矩作為總體的相應(yīng)矩的估計(jì)方法稱為矩估計(jì)法，所得的估計(jì)稱為矩估計(jì)。MomentsmethodX的一個(gè)樣本，總例2-41 u體分布密度為f X的一個(gè)樣本

2、，總例2-41 u體分布密度為f 0其中0，、u未知，求 、u的矩估計(jì)量。解：由于1d xu( xu( x )u/eeuuMoments 1e(xu)/ EX2x2uLu2 2u 2令1 X，1e(xu)/ EX2x2uLu2 2u 2令1 X，m2 ，即u 2u 2u 2解得u， 的矩估計(jì)為1n1n XX n2i X)X(2ii$ X nnXii或：令 X ， S2，即1u EX2 或：令 X ， S2，即1u EX2 (EX)2 S解得 u， 的矩估計(jì)為1n n1( X)iiX nn$ ii 為m 維總體，時(shí)可由X X 2xMnx的矩估計(jì) nn求得均，Xii) 為m 維總體，時(shí)可由X X

3、2xMnx的矩估計(jì) nn求得均，Xii) n1nnnn ,L, xx )i12mXm )（2-L LX 的協(xié)方差矩陣為 2m LL L mm其中 j)（i, j 1,2,L,m Cov(Xi ,Xj ) L LX 的協(xié)方差矩陣為 2m LL L mm其中 j)（i, j 1,2,L,m Cov(Xi ,Xj ) E(Xi EXi )(j $ 2m的估計(jì)（2-LL Lmm1n其中x（i, j 1,2,L,m。jn11nn1 X(（2-ii121L1m1LX 的相關(guān)矩陣為R 2mLLL1L121L1m1LX 的相關(guān)矩陣為R 2mLLL1L11$ 2m（2-LLLL（i，j 1，2，L，m；i j）

4、為來(lái)自例2-6,總的一個(gè)樣本長(zhǎng)度為3的樣本值X 的協(xié)方差矩陣、相關(guān)矩R的矩估33 ) 2 i11,3)ii3 1(為來(lái)自例2-6,總的一個(gè)樣本長(zhǎng)度為3的樣本值X 的協(xié)方差矩陣、相關(guān)矩R的矩估33 ) 2 i11,3)ii3 1(112 01, 321 /5 2 5 2或1n111222 )n12l 1X)2n1l11) 21 ) (03n12n1l117) )/)7252 1X)2n1l11) 21 ) (03n12n1l117) )/)7252 522 771 71例如，0.43，0.44，0.40，0.41，0.42，4.50，0.39，0.43，0.40，0.38為來(lái)自某個(gè)總體長(zhǎng)度為10

5、一個(gè)樣本, 其中大多數(shù)樣品都集中在0.4X=0.82,產(chǎn)生這種結(jié)果的原因在于第六號(hào)樣品離群。MeanofcuttingXnX 長(zhǎng)度為n的一個(gè)設(shè)Xn Xn （2-jj 例如，0.43，0.44，0.40，0.41，0.42，4.50，0.39，0.43，0.40，0.38為來(lái)自某個(gè)總體長(zhǎng)度為10一個(gè)樣本, 其中大多數(shù)樣品都集中在0.4X=0.82,產(chǎn)生這種結(jié)果的原因在于第六號(hào)樣品離群。MeanofcuttingXnX 長(zhǎng)度為n的一個(gè)設(shè)Xn Xn （2-jj p1其 中0 p 稱為切尾率,上式表示將2X j ( j 1，2，L，n) 中最大和最小的pn個(gè)值剔除le 樣本中位數(shù)定義Xk若n 2k m

6、ed(X) 1（2-(Xle 樣本中位數(shù)定義Xk若n 2k med(X) 1（2-(X Xk1若n 2k和me(X 則 若 取的樣本，X 0 (md和me(X 2.ttdm量，X x的X是離散型px,，其中為待估計(jì)的未知參數(shù)。假xn是樣X(jué)n 的一組觀察值即相當(dāng)于Xn 總體同分布，所以這n個(gè)事件同時(shí)發(fā)Pn 2.ttdm量，X x的X是離散型px,，其中為待估計(jì)的未知參數(shù)。假xn是樣X(jué)n 的一組觀察值即相當(dāng)于Xn 總體同分布，所以這n個(gè)事件同時(shí)發(fā)Pn )PX2n顯然它是的函數(shù)其為似然函數(shù)L(，即nL()=)（2-選擇使L(達(dá)最大的 作為未知參數(shù) 的真值的估計(jì)，這種估計(jì)法稱為極大似然估計(jì)法，n選擇使

7、L(達(dá)最大的 作為未知參數(shù) 的真值的估計(jì)，這種估計(jì)法稱為極大似然估計(jì)法，n,)i所得估計(jì)記為 xn ,稱 為未知參數(shù) 的極大似然估計(jì)值而稱相應(yīng)統(tǒng)計(jì)量n為未知參數(shù) 的極大似然估計(jì)量。因此求歸結(jié)為L(zhǎng)() 的極值問(wèn)題。L(關(guān)于可微，則 應(yīng)滿L lnL 或量可f x,來(lái)代px,對(duì)于連續(xù)型隨x 7-p(x,p) px(1 pLikelihood解：似然函數(shù)np p(L(x 7-p(x,p) px(1 pLikelihood解：似然函數(shù)np p(L(pinnin p ) n 1p1nnnln ii(innd1 pdlnL 0p nnx X p的極大似ii1nndlnL 0p nnx X p的極大似ii1n

8、n然估計(jì)為ii當(dāng)似然函數(shù)包含多個(gè)未知參數(shù)時(shí)，xn;1,2,L,k),則 j的極大似然L 計(jì)j 1,2,Lk )，可由方程j L 2,k,)（2-jlnL( 2,k,)或（2-j解得例2-9Xn,一個(gè)樣本，求， 2的極大似然估計(jì)X解：似然函數(shù)為n(xi )1ix n2e112ni2L(，2) 2例2-9Xn,一個(gè)樣本，求， 2的極大似然估計(jì)X解：似然函數(shù)為n(xi )1ix n2e112ni2L(，2) 2 )e2ilnL nln21n(x )2ii2令lnln1n) ( in1n(xi )2 2 24i nn X ，(x )2nnx解方程組得iii故， 2 的極大似然估計(jì)為 n nn X ，(

9、x )2nnx解方程組得iii故， 2 的極大似然估計(jì)為 n1S nn nnx (x X)2iinii極大似然估計(jì)有如下性質(zhì)若為 的極大似然估計(jì)， (有單值反函數(shù)($)是(的極大似然估計(jì)。 n如上例中 n(x X)2有單值反ii1n函數(shù)，所以 的極大似然估計(jì)為 n(x X)2 ii二.點(diǎn)估計(jì)的評(píng)價(jià)標(biāo)準(zhǔn)2-3設(shè)為的估計(jì)，若E ，則為 的無(wú)偏估計(jì)unbiased2-4設(shè)為的估計(jì)，若依概率收斂于二.點(diǎn)估計(jì)的評(píng)價(jià)標(biāo)準(zhǔn)2-3設(shè)為的估計(jì)，若E ，則為 的無(wú)偏估計(jì)unbiased2-4設(shè)為的估計(jì)，若依概率收斂于則稱為 的相容估計(jì)（一致估計(jì)）unanimity m是總體方差2的有偏估2 n E1 nXn22E

10、2innnn乘以2，則E2)Em 2若以2nnnnm 是 2 的無(wú)偏估計(jì)。因此2nEvaluatestandardof2-10設(shè)總X 2)，Xn為來(lái)自正態(tài)總X 的一個(gè)樣n S2 是否為總體問(wèn)樣本方in差 2的一致估計(jì)2-10設(shè)總X 2)，Xn為來(lái)自正態(tài)總X 的一個(gè)樣n S2 是否為總體問(wèn)樣本方in差 2的一致估計(jì)解：n所以( 1244) n122Dn1n1n12 由不等式， 4211(n1 2limPS2 limPS2 2由于概率不能大于 1,所以有l(wèi)im PS2 2nS2是總體方差2 的一致估計(jì)。2-12設(shè)總X2)來(lái)X的一個(gè)樣本EX 存在試驗(yàn)證統(tǒng)計(jì)量(1)(2)(3)都2-12設(shè)總X2)來(lái)X

11、的一個(gè)樣本EX 存在試驗(yàn)證統(tǒng)計(jì)量(1)(2)(3)都是的無(wú)偏估計(jì)。解：（1）由于(1E5所以的無(wú)偏估計(jì)；(1（2）E3所以的無(wú)偏估計(jì)。(1（3）E于3所以的無(wú)偏估計(jì)。解：（1）由于(1E5所以的無(wú)偏估計(jì)；(1（2）E3所以的無(wú)偏估計(jì)。(1（3）E于3所以的無(wú)偏估計(jì)。 2-的兩個(gè)無(wú)偏估計(jì)，121) 2 ，且對(duì)的某個(gè)特定值不等號(hào) 2-的兩個(gè)無(wú)偏估計(jì)，121) 2 ，且對(duì)的某個(gè)特定值不等號(hào)嚴(yán)成立，則稱 1比 2 有效2-12X 2)XEX (1)(2)、(3)都是的無(wú)偏估計(jì)，并哪一個(gè)最好。( 2而D5(1D3(13 D顯然 22，故好。( 2而D5(1D3(13 D顯然 22，故好。X X 他線性函

12、數(shù)ai Xi（X X 他線性函數(shù)ai Xi（ 0;i 1,2,L,n 作為它的nn計(jì)量，只要nnnE(ai i1Xi ) ai i aii iDX 1 n2/可以證 2nD(a n) n2 a2 aiiiiin可以證 2nD(a n) n2 a2 aiiiiinL a2 La2nn1)212n12innninX 比估計(jì)量ai Xi 在X 如果總體未知參數(shù) D 的下界。X 的概率密度f(wàn)2Xn 為來(lái)自正態(tài)總X 的一個(gè)樣本參數(shù) 的任一無(wú)偏估計(jì)量fX 的概率密度f(wàn)2Xn 為來(lái)自正態(tài)總X 的一個(gè)樣本參數(shù) 的任一無(wú)偏估計(jì)量f) 于 微分與積分可以交換，則無(wú)偏估計(jì)量 的方不會(huì)小于一個(gè)正數(shù)，1（2-()2不等

13、式（2-23）稱為羅不等式為了便于計(jì)算，不等式（2-23）還可寫成如下形1（2-(f)nE()若記（2-23）式或（2-24）式的右端D若記（2-23）式或（2-24）式的右端D0則對(duì)總體的未知參數(shù) 的有效估計(jì)量的判別有以下結(jié)論當(dāng)一個(gè)滿足定理?xiàng)l件的無(wú)偏估計(jì)量的方差等于它的方差下界時(shí)，這個(gè)無(wú)偏估計(jì)量便是 的有效估計(jì)量（最小方差無(wú)偏估計(jì)量），即D0的計(jì)算完全是根據(jù)總X 的分布所得。X pX 2-p p 例設(shè)總體2-131,p X 服從參為 p 的兩點(diǎn)分布，求 p 的最小方差無(wú)偏估計(jì)量來(lái)自總X例設(shè)總體2-131,p X 服從參為 p 的兩點(diǎn)分布，求 p 的最小方差無(wú)偏估計(jì)量來(lái)自總X 的一個(gè)解：樣本，

14、由X1,p ) 概率分布為p(x,p) px(1 p)1x（x 1，01,xlnx上式關(guān)p 求一階、二階偏導(dǎo)數(shù)ln (,1 p1 2f (x, px p(122p)對(duì)關(guān)p 的二階偏導(dǎo)數(shù)求數(shù)學(xué)期望1 2f (x, px p(122p)對(duì)關(guān)p 的二階偏導(dǎo)數(shù)求數(shù)學(xué)期望1 ln f(x, p)p1 p(1 p)2 p(1 p)p(1 p)1D () 記01np(1 p)1nn而對(duì)p的無(wú)偏估計(jì)p X ，1nnp X ，而對(duì)于 p 的無(wú)偏估計(jì)n D(1n) 1 1nnp X ，而對(duì)于 p 的無(wú)偏估計(jì)n D(1n) 1 Xiin2np(1 p)n11p(1 p)np(1 p)n22nxi X nin1nD DX D0p) i總體分布參數(shù) p 的最小方差（達(dá)到方差下界）無(wú)偏估計(jì)量。X 的概率密度某種元件的使1(x x f(其中 0又設(shè)為未知參X 的一樣本觀察值，求參數(shù) 的最大似X 的概率密度某種元件的使1(x x f(其中 0又設(shè)為未知參X 的一樣本觀察值，求參數(shù) 的最大似然估計(jì)值n n)i(L 2nii( 2,in) (與參nd由于 必須滿i 2,此, ) 數(shù)時(shí)，L 取得最大值所 的最大似然估計(jì)值為