概率論與數(shù)理統(tǒng)計(jì)7.1(參數(shù)的點(diǎn)估計(jì))

1、第第7章章 參數(shù)估計(jì)參數(shù)估計(jì)7.1 參數(shù)的點(diǎn)估計(jì)參數(shù)的點(diǎn)估計(jì)7.2 參數(shù)的區(qū)間估計(jì)參數(shù)的區(qū)間估計(jì)參數(shù)估參數(shù)估計(jì)問(wèn)題計(jì)問(wèn)題假設(shè)檢假設(shè)檢驗(yàn)問(wèn)題驗(yàn)問(wèn)題點(diǎn)點(diǎn) 估估 計(jì)計(jì)區(qū)間估區(qū)間估 計(jì)計(jì)統(tǒng)計(jì)統(tǒng)計(jì)推斷推斷 DE基本基本問(wèn)題問(wèn)題7-27.1.1 7.1.1 點(diǎn)估計(jì)問(wèn)題的一般提法點(diǎn)估計(jì)問(wèn)題的一般提法定義定義7.1 設(shè)總體設(shè)總體X的分布函數(shù)的分布函數(shù)F(x； 1， 2， m)的的形式已知形式已知，但其中含有一個(gè)或多個(gè)，但其中含有一個(gè)或多個(gè)未知未知參數(shù)：參數(shù)： 1， 2， m，又設(shè)又設(shè)X1，X2，Xn為總體的一個(gè)樣本，為總體的一個(gè)樣本， x1，x2，xn是樣本觀測(cè)值，是樣本觀測(cè)值，構(gòu)造的構(gòu)造的m個(gè)統(tǒng)計(jì)量：個(gè)統(tǒng)計(jì)

2、量： 用用 的觀測(cè)值的觀測(cè)值 作為未作為未知參數(shù)知參數(shù) i的近似值的方法稱為的近似值的方法稱為點(diǎn)估計(jì)法點(diǎn)估計(jì)法 ,.,2 , 1),(21miXXXni ),(21niXXX ),(21nixxx 7.1.1 7.1.1 點(diǎn)估計(jì)問(wèn)題的一般提法點(diǎn)估計(jì)問(wèn)題的一般提法稱稱 為未知參數(shù)為未知參數(shù) i的的估計(jì)量估計(jì)量，稱稱 為未知參數(shù)為未知參數(shù) i的的估計(jì)值估計(jì)值在不會(huì)混淆的情況下在不會(huì)混淆的情況下 和和 均可稱為均可稱為 i的的估計(jì)估計(jì).),(21niXXX ),(21nixxx ),(21niXXX ),(21nixxx k,.,21),.,;(21kxF1212( ;,.,)()(),( ;,.,

3、)()Xkkklkkx Rx f xdxE Xx p x 連續(xù)型離散型11nkkiiAXn.,.2 , 1kl ,2211kkAAAk,.,21k,21k,.,21 );,.,2, 1(klAll 解兩個(gè)待估參數(shù)，連續(xù)型解兩個(gè)待估參數(shù)，連續(xù)型. .先求總體的一先求總體的一, ,二階二階( (原點(diǎn)原點(diǎn)) )矩矩. .因?yàn)橐驗(yàn)閄 XUa,b,Ua,b,所以所以)(1XE)(22XE2)()(XEXD,212)(22baab,2ba 2211AA即即niiXnbaabXba122214)(12)(2,)(312niiXXnXa.)(312niiXXnXb,)(1XE22222)()()(XEXDXE

4、2211AA. 即即niiXnX12221 解得解得,2 2的的矩估計(jì)量矩估計(jì)量分別為分別為: :,X21221XXnniiniiXXn12)(1 解單參數(shù)，離散型解單參數(shù)，離散型. .)(1XE 由由11AXmp 因?yàn)橐驗(yàn)?所以總體所以總體X X的一階矩的一階矩( (期望期望) )為為),(pmBXmp即即mXp 解單參數(shù)，連續(xù)型解單參數(shù)，連續(xù)型. .)(1XE 因?yàn)榭傮w一階矩因?yàn)榭傮w一階矩11A, 0, 10,)(1其它xxxfdxxxf)(101|1x10dxx1 由由故所求故所求為：為：即即X1) 1(X解得解得: :XX)1 (XX121XX 解單參數(shù)，連續(xù)型解單參數(shù)，連續(xù)型. .)

5、(1XE 因?yàn)榭傮w因?yàn)榭傮w一階矩一階矩)(21)(|xexfxdxexx|210不含不含，故不能由，故不能由“樣本一階矩樣本一階矩= =總體一階矩總體一階矩”解得所求解得所求 矩估計(jì)，需要矩估計(jì)，需要繼續(xù)求二階矩繼續(xù)求二階矩：dxexXEx|22221)(xdexdxexxx202021,2)3(22 由由“樣本二階矩樣本二階矩= =總體二階矩總體二階矩”得：得：,21212niiXn 于是于是, ,所求所求為：為：niiXn1221函數(shù)函數(shù)定義定義 一位老獵人與他的徒弟一起打獵一位老獵人與他的徒弟一起打獵,兩人同時(shí)向一兩人同時(shí)向一 獵物射擊獵物射擊,結(jié)果該獵物身中一彈結(jié)果該獵物身中一彈,你認(rèn)

6、為誰(shuí)打中的可能你認(rèn)為誰(shuí)打中的可能 性最大性最大? 根據(jù)經(jīng)驗(yàn)而斷根據(jù)經(jīng)驗(yàn)而斷:老獵人打中獵物的可能性最大老獵人打中獵物的可能性最大.q最大似然估計(jì)法最大似然估計(jì)法例如: 有兩外形相同的箱子,各裝100個(gè)球 一箱 99個(gè)白球 1 個(gè)紅球 一箱 1 個(gè)白球 99個(gè)紅球現(xiàn)從兩箱中任取一箱, 并從箱中任取一球,結(jié)果所取得的球是白球.答答: : 第一箱第一箱. .7-17問(wèn)問(wèn): : 所取的球來(lái)自哪一箱？所取的球來(lái)自哪一箱？ 若若X1，X2，Xn為總體為總體X的一個(gè)樣本，的一個(gè)樣本，當(dāng)樣本觀測(cè)值當(dāng)樣本觀測(cè)值x1, x2 , xn出現(xiàn)時(shí)，出現(xiàn)時(shí)， 若要若要估計(jì)估計(jì)總體總體X中的未知參數(shù)中的未知參數(shù)，自然要，自

7、然要選取使選取使x1, x2, xn出現(xiàn)的出現(xiàn)的“概率概率”達(dá)到最大達(dá)到最大的的 作為作為的估計(jì)值了的估計(jì)值了 7.1.3 最大似然估計(jì)最大似然估計(jì)一般說(shuō)，事件一般說(shuō)，事件A A發(fā)生的概率與參數(shù)發(fā)生的概率與參數(shù)有關(guān)有關(guān)， 取值不同，則取值不同，則P(A)P(A)也不同。因而應(yīng)記也不同。因而應(yīng)記事件事件A A發(fā)生的概率為發(fā)生的概率為P(A|P(A| ). ).若若A A發(fā)生了，則認(rèn)為此發(fā)生了，則認(rèn)為此時(shí)的時(shí)的 值應(yīng)是在值應(yīng)是在 中使中使P(A|P(A| ) ) 達(dá)到最大的那一達(dá)到最大的那一個(gè)個(gè)。這就是。這就是極大似然思想極大似然思想下面分離散型與連續(xù)型總體來(lái)討論下面分離散型與連續(xù)型總體來(lái)討論.

8、.)();(xpxXPnXXX,.,21nxxx,.,21nXXX,.,21)();();,(121niinxpxxxL根據(jù)總體分根據(jù)總體分布律寫出似布律寫出似然函數(shù)：換然函數(shù)：換x為為xi這正是事件這正是事件“樣本取得樣本值樣本取得樣本值” 的概率的概率, ,稱之為樣本的稱之為樣本的 似然函數(shù)似然函數(shù), ,它是待估參數(shù)它是待估參數(shù)的函數(shù)的函數(shù). .),( 21nxxx相應(yīng)統(tǒng)計(jì)量相應(yīng)統(tǒng)計(jì)量稱為參數(shù)稱為參數(shù)的的.),( 21nXXX).;,(max);,(2121 nnxxxLxxxL 即即)();(xf)();(1niixfniiniiniiidxxfdxxf111);();(nXXX,.,2

9、1nxxx,.,21nXXX,.,21),(21nxxxniidx1)();();,(121niinxfxxxL),(21nXXX).;,(max);,(2121 nnxxxLxxxL 即即,),;(, );();,(1121連續(xù)型離散型niiniinxfxpxxxL求最大似然估計(jì)量的步驟求最大似然估計(jì)量的步驟:; );();,()();();,()( )(121121 niinniinxfxxxLLxpxxxLL或或?qū)憣懗龀鏊扑迫蝗缓瘮?shù)數(shù)一一; );(ln)(ln);(ln)(ln )(11 niiniixfLxpL或或取對(duì)數(shù)取對(duì)數(shù)二二費(fèi)舍爾費(fèi)舍爾最大似然估計(jì)法是由費(fèi)舍爾引進(jìn)的最大似然估計(jì)

10、法是由費(fèi)舍爾引進(jìn)的., 0d)(lnd,d)(lnd )( 的的最最大大似似然然估估計(jì)計(jì)值值解解方方程程即即得得未未知知參參數(shù)數(shù)并并令令求求導(dǎo)導(dǎo)對(duì)對(duì)三三 LL 最大似然估計(jì)法也適用于分布中含有多個(gè)最大似然估計(jì)法也適用于分布中含有多個(gè)未知參數(shù)的情況未知參數(shù)的情況. 此時(shí)只需令此時(shí)只需令., 2 , 1, 0lnkiLi .), 2 , 1( ,iikik 的的最最大大似似然然估估計(jì)計(jì)值值數(shù)數(shù)即即可可得得各各未未知知參參個(gè)個(gè)方方程程組組成成的的方方程程組組解解出出由由 對(duì)數(shù)似然方程組對(duì)數(shù)似然方程組對(duì)數(shù)似對(duì)數(shù)似然方程然方程 解雙參數(shù)，連續(xù)型解雙參數(shù)，連續(xù)型. .因?yàn)橐驗(yàn)閄 XN(,N(,2 2),)

11、,所以所以X X總體的概率密度為總體的概率密度為)0,(2)(exp21),;(222Rxxf 設(shè)設(shè) 為樣本為樣本 的一個(gè)樣本值的一個(gè)樣本值, , 則似然函數(shù)為則似然函數(shù)為: :nxxx,.,21nXXX,.,212212)(21exp21),(inixL niinnx122222)(21exp2從而從而, ,取對(duì)數(shù)得取對(duì)數(shù)得: :21222)(21ln22ln2),(lnniixnnL由似然方程組由似然方程組視視2為整體為整體0)()(212ln01ln12222212niiniixnLnxL解得解得,2 2的的為為: :niixxnx122)(1,從而從而,2 2的的為為: :niiXXn

12、X122)(1,【例【例7.5】設(shè)總體設(shè)總體X的概率密度為的概率密度為其中其中( 1)為待估參數(shù)，求為待估參數(shù)，求的最大似然估計(jì)的最大似然估計(jì)量量 解：解：設(shè)設(shè)X1，X2，Xn為總體為總體X的一個(gè)樣本，的一個(gè)樣本，x1，x2，xn是樣本觀測(cè)值基于是樣本觀測(cè)值基于x1，x2，xn的的似然函數(shù)為似然函數(shù)為當(dāng)當(dāng) 時(shí)，時(shí)， ，7.1.3 最大似然估計(jì)最大似然估計(jì) 其它其它, 010,)1();(xxxf );,.,()(21 nxxxLL 其它其它, 01,.,0,).()1();(21211nnnniixxxxxxxf 1,.,021 nxxx niixnL1lnln)(ln 1)(令令解得解得考慮

13、到考慮到所以，所以，的最大似然估計(jì)值為的最大似然估計(jì)值為的最大似然估計(jì)量為的最大似然估計(jì)量為 7.1.3 最大似然估計(jì)最大似然估計(jì)0ln1)(ln1 niixnLdd niixn1ln1 0)1()(ln222 nLdd niixn1ln1 niiXn1ln1 【例【例7.4】總體總體X服從參數(shù)為服從參數(shù)為 的泊松分布，的泊松分布， （ 0）未知，求參數(shù)）未知，求參數(shù) 的最大似然估計(jì)量的最大似然估計(jì)量 解解：設(shè)設(shè)X1, X2, Xn是來(lái)自是來(lái)自X的樣本，的樣本，x1, x2, xn是是樣本觀測(cè)值由于樣本觀測(cè)值由于X的分布律為的分布律為故基于故基于x1, x2, xn的似然函數(shù)為的似然函數(shù)為對(duì)數(shù)

14、似然函數(shù)為對(duì)數(shù)似然函數(shù)為對(duì)數(shù)似然方程為對(duì)數(shù)似然方程為7.1.3 最大似然估計(jì)最大似然估計(jì) , 2 , 1 , 0!);( xexxpxXPx 11211( )( ,; )!niiixxnnnniiiiLL x xxeexx11ln ( )lnln !nniiiiLnxx 01)(ln1 niixnLdd 解之得解之得 考慮到考慮到所以所以即為即為 的最大似然估計(jì)值，的最大似然估計(jì)值， 的最大似然估計(jì)量為的最大似然估計(jì)量為7.1.3 最大似然估計(jì)最大似然估計(jì)xxnnii 11 01)(ln1222 niixLdd xxnnii 11 XXnnii 11 解雙參數(shù)，連續(xù)型解雙參數(shù)，連續(xù)型. .,

15、0,1),;(其它bxaabbaxf 因?yàn)橐驗(yàn)?所以所以X X的概率密度為的概率密度為,baUX 設(shè)設(shè) 為樣本為樣本 的一個(gè)樣本值的一個(gè)樣本值, ,記記nxxx,.,21nXXX,.,21,max,min21)(21) 1 (nnnxxxxxxxx由于由于bxxabxxxann)() 1 (21,所以所以, ,為為., 0,)(1),()() 1 (其它bxxaabbaLnn對(duì)于滿足對(duì)于滿足 的任意的任意a,ba,b有有bxxan)() 1 (,nnnxxabbaL)(1)(1),() 1 ()(即即),(),(max)() 1 (,)()1(nbxxaxxLbaLn故故a,ba,b的的為為:

16、 :.,)() 1 (nxbxa.max,min11iniiniXbXa故故a,ba,b的的為為: : 對(duì)于同一個(gè)參數(shù)對(duì)于同一個(gè)參數(shù), ,用不同方法求出的估計(jì)量可能用不同方法求出的估計(jì)量可能 不同不同. .那么那么, ,采用哪一個(gè)估計(jì)量為好呢采用哪一個(gè)估計(jì)量為好呢? ?用何種標(biāo)準(zhǔn)來(lái)用何種標(biāo)準(zhǔn)來(lái) 評(píng)判估計(jì)量的優(yōu)劣評(píng)判估計(jì)量的優(yōu)劣? ? 下面下面, ,介紹幾個(gè)常用標(biāo)準(zhǔn)介紹幾個(gè)常用標(biāo)準(zhǔn). . 1 1、)(E 則稱則稱 為為 的的. . 稱為用稱為用 來(lái)估計(jì)來(lái)估計(jì) 的的. .因此因此, , . .( )E 解因?yàn)榻庖驗(yàn)閚iiXnEXE11)(X2S)(11niiXEn,11nin222(1)1nSn（

17、）, 1)1(22 nSnE ,22 SE 7.1.4 估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)21221)(1SnnXXnBnii ).()(1)(1)(22XDXDnnSEnnBE 所以，所以，B2不是總體方差不是總體方差D(X)的無(wú)偏估計(jì)，盡管的無(wú)偏估計(jì)，盡管B2是是D(X)的矩估計(jì)量的矩估計(jì)量我們可以把我們可以把 看作對(duì)看作對(duì)B2的的修正修正由于它具有無(wú)偏性，在實(shí)際應(yīng)用中常被采用由于它具有無(wú)偏性，在實(shí)際應(yīng)用中常被采用另一方面，由于另一方面，由于 因此，又稱因此，又稱B2是是D(X)的漸近無(wú)偏估計(jì)的漸近無(wú)偏估計(jì)7.1.4 估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)21221)(11BnnXXnSnii )

18、.)()(1)(2 nXDXDnnBE【例【例7.8】求證：樣本標(biāo)準(zhǔn)差求證：樣本標(biāo)準(zhǔn)差S不是總體標(biāo)準(zhǔn)差不是總體標(biāo)準(zhǔn)差 的的無(wú)偏估計(jì)無(wú)偏估計(jì) 證：證：因?yàn)橐驗(yàn)?，即，即 又因又因 ，所以，所以即即故一般來(lái)說(shuō)，故一般來(lái)說(shuō)，S不是不是 的無(wú)偏估計(jì)的無(wú)偏估計(jì)7.1.4 估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)22)( SE 22)()( SESD0)( SD 222)()( SDSE )(SE定義定義7.3 設(shè)設(shè) 都是參數(shù)都是參數(shù)的無(wú)偏估計(jì)，若的無(wú)偏估計(jì)，若則稱則稱 比比 有效有效 例如，設(shè)總體例如，設(shè)總體X的方差存在，的方差存在，X1, X2,Xn(n2)為總體為總體X的一個(gè)樣本，的一個(gè)樣本，易知易知 ,

19、均為均為 的無(wú)偏估計(jì)的無(wú)偏估計(jì),又有又有所以所以,當(dāng)當(dāng)n2時(shí)，最有效，時(shí)，最有效， 較較X1有效有效7.1.4 估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)),.,(1111nXXX ),.,(1122nXXX )()(21 DD 1 2 X,211）（nXX 1X,)(2nXD ,22121 ）（nXXD21)( XDX）（nXX 121【例【例7.9】設(shè)總體設(shè)總體X服從參數(shù)為服從參數(shù)為的指數(shù)分布，概率的指數(shù)分布，概率密度為密度為 其中其中0為未知為未知,X1,X2,Xn為總體為總體X的一個(gè)樣本，的一個(gè)樣本，試證試證 和和 都是都是的無(wú)偏估計(jì)，并比的無(wú)偏估計(jì)，并比較誰(shuí)更優(yōu)較誰(shuí)更優(yōu) 解：解：因?yàn)橐驗(yàn)?而而 所以所以故是故是的無(wú)偏估計(jì)的無(wú)偏估計(jì)7.1.4 估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)1,0( ; )0,0 xexf xx,)( XE),()(XEXE ,)( XEX),.,min(21nXXXnX設(shè)設(shè) ，根據(jù)第根據(jù)第3章章(3-13)式，式，Z的概率密度為的概率密度為 這是參數(shù)為這是參數(shù)為 的指數(shù)分布，的指數(shù)分布，故知故知所以所以 也是也是的無(wú)偏估計(jì)的無(wú)偏估計(jì)7.1.4 估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)),.,min(21nXXXZ 0, 00,);(xxenxfn