概率論與數(shù)理統(tǒng)計(jì)教學(xué)課件第七章最大似然估計(jì)

1、1 它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的 , GaussFisher 然而，這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇(Fisher) . 費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì) .7.2 最大似然估計(jì)2 思想方法 一次試驗(yàn)就出現(xiàn)的事件有較大的概率 7-173 最大似然法的基本思想 先看一個(gè)簡(jiǎn)單例子：一只野兔從前方竄過(guò) .是誰(shuí)打中的呢？某位同學(xué)與一位獵人一起外出打獵 .如果要你推測(cè)，你會(huì)如何想呢?只聽(tīng)一聲槍響，野兔應(yīng)聲倒下 .4 因?yàn)橹话l(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率. 看來(lái)這一槍是獵人射中的 . 其數(shù)學(xué)模型為 令X為打一槍的中彈數(shù)，則XB(1,p

2、), p未知.設(shè)想事先知道p只有兩種可能:p=0.9 或 p=0.1 兩人中有一人打槍, 估計(jì)這一槍是誰(shuí)打的，即估計(jì)總體X的參數(shù)p的值5當(dāng)兔子不中彈，即X =0發(fā)生了現(xiàn)有樣本觀測(cè)值x =1, 什么樣的參數(shù)使該樣本值出現(xiàn)的可能性最大呢？ 若p=0.9，則PX=1=0.9 若p=0.1，則PX=1=0.1 若p=0.9，則PX=0=0.1 若p=0.1，則PX=0=0.9當(dāng)兔子中彈，即X =1發(fā)生了6引例 設(shè)總體 X 服從0-1分布，且P (X = 1) = p, 用極大似然法求 p 的估計(jì)值。解X 的概率分布可以寫成設(shè) X1, X2, Xn為總體 X 的樣本,設(shè) x1, x2, xn為總體 X

3、的樣本值,則7對(duì)于不同的 p ,L (p)不同，見(jiàn)右下圖現(xiàn)經(jīng)過(guò)一次試驗(yàn)，發(fā)生了，事件則 p 的取值應(yīng)使這個(gè)事件發(fā)生的概率最大。8在容許的范圍內(nèi)選擇 p ，使L(p)最大 注意到，ln L(p)是 L 的單調(diào)增函數(shù)，故若某個(gè)p 使ln L(p)最大，則這個(gè)p 必使L(p)最大。7-20所以為所求 p 的估計(jì)值.9最大似然估計(jì)法的基本思想：根據(jù)樣本觀測(cè)值，選擇參數(shù)p的估計(jì) ，使得樣本在該樣本值附近出現(xiàn)的可能性最大10 一 離散型隨機(jī)變量的情況最大似然估計(jì)的求法111213 定義2.1 設(shè)離散型隨機(jī)變量X1,X2,.,Xn 有聯(lián)合分布其中 是未知參數(shù)，給定觀測(cè)數(shù)據(jù)x1，x2，.，xn后，稱 的函數(shù)為

4、基于x1，x2，.，xn的似然函數(shù)(likelihood function)，稱 的最大值點(diǎn) 為 的最大似然估計(jì)(maximum likelihood estimator縮寫為MLE)其中 也可以是向量14 二 連續(xù)型隨機(jī)變量的情況1516 定義2.2 設(shè)隨機(jī)向量X=(X1,X2,.,Xn ) 有聯(lián)合密度其中 是未知參數(shù)，給定X的觀測(cè)值x=(x1，x2，.，xn )后，稱 的函數(shù)為基于x=(x1，x2，.，xn )的似然函數(shù)(likelihood function)，稱 的最大值點(diǎn) 為參數(shù) 的最大似然估計(jì)(MLE)其中 也可以是向量17若總體中包含多個(gè)未知參數(shù)18 (4) 在最大值點(diǎn)的表達(dá)式中

5、, 用樣本值代入 就得參數(shù)的極大似然估計(jì)值 .求最大似然估計(jì)(MLE)的一般步驟是：(1) 由總體分布導(dǎo)出樣本的聯(lián)合分布列 (或聯(lián)合密度);(2) 把樣本聯(lián)合分布列(或聯(lián)合密度)中自變 量看成已知常數(shù),而把參數(shù) 看作自變量, 得到似然函數(shù)L( );(3) 求似然函數(shù) 的最大值點(diǎn)(常轉(zhuǎn)化為求對(duì)數(shù)似然函數(shù) 的最大值點(diǎn)) 即 的MLE;19未知參數(shù)的函數(shù)的最大似然估計(jì) 設(shè)總體X的分布類型已知, 其概率密度(或概率函數(shù))為f(x;1, k), 未知參數(shù)的已知函數(shù)為g(1, k). 若 分別為1, k的最大似然估計(jì), 則為 g(1, k)的最大似然估計(jì).20解：X的分布列為 例1設(shè)X1,X2, Xn獨(dú)立

6、同分布，都服從Poisson分布 ，給定觀測(cè)數(shù)據(jù)x1,x2, xn，試求參數(shù) 的最大似然估計(jì).因此似然函數(shù)為 21令=0對(duì)數(shù)似然函數(shù)為：得 的最大似然估計(jì)為 22 例2設(shè)X1,X2, Xn是取自總體 XB(1, p) 的一個(gè)樣本，求參數(shù)p的最大似然估計(jì).解：似然函數(shù)為: 對(duì)數(shù)似然函數(shù)為：23對(duì)p求導(dǎo)并令其為0，=0p的最大似然估計(jì)為24似然函數(shù)為：25對(duì)數(shù)似然函數(shù)為：2627例4 X 服從指數(shù)分布,其密度函數(shù)為 x1，x2，xn 為觀察值.試用最大似然估計(jì)法估計(jì)28解：似然函數(shù)為對(duì)數(shù)似然函數(shù)為由得 的最大似然估計(jì)為 29解：似然函數(shù)為對(duì)數(shù)似然函數(shù)為例5 設(shè)X1,X2,Xn是取自總體X的一個(gè)樣本

7、求 的最大似然估計(jì).其中 0,30求導(dǎo)并令其為0=0從中解得即為 的MLE .對(duì)數(shù)似然函數(shù)為31 例6 設(shè)X1,X2, Xn是取自總體 XU(a, b) 的一個(gè)樣本，求參數(shù)a, b的最大似然估計(jì).解X 的密度函數(shù)為似然函數(shù)為32不能求解。33似然函數(shù)a 越大, b 越小, L 越大.令x(1) = min x1, x2, xnx(n) = max x1, x2, xn34故是 a , b 的最大似然估計(jì)值.則對(duì)滿足的一切a，b, 都有取35 例7 設(shè)總體X的概率分布為 X012P 1-2 其中0 1/2為未知參數(shù)。今對(duì)X進(jìn)行觀測(cè)， 得如下樣本值 0，1，2，0，2，1求 的最大似然估計(jì)。 36

8、從而對(duì)數(shù)似然函數(shù)為解：似然函數(shù)為令得37三 估計(jì)量的評(píng)選標(biāo)準(zhǔn) 對(duì)于同一參數(shù)，用不同的估計(jì)方法求出的估計(jì)量可能不相同。問(wèn)題：采用哪一個(gè)估計(jì)量好?X1, X2, Xn為來(lái)自該總體的樣本。設(shè)總體X F(x, ), 其中 為未知參數(shù)。為 的一個(gè)估計(jì)量。38估計(jì)量而當(dāng)樣本(X1, , Xn)有觀測(cè)值(y1, , yn)時(shí)，估計(jì)值為 是一個(gè)隨機(jī)變量，當(dāng)樣本(X1, , Xn)有觀測(cè)值(x1, , xn)時(shí)，估計(jì)值為 39由不同的觀測(cè)結(jié)果，就會(huì)求得不同的參數(shù)估計(jì)值. 因此評(píng)價(jià)一個(gè)估計(jì)量的好壞，不能僅僅依據(jù)一次試驗(yàn)的結(jié)果來(lái)判斷，而必須根據(jù)估計(jì)量的分布從整體上來(lái)做評(píng)價(jià)。當(dāng)樣本值取不同的觀測(cè)值時(shí)， 我們希望相應(yīng)的

9、估計(jì)值在未知參數(shù)真值附近擺動(dòng)，而它的均值與未知參數(shù)的真值的偏差越小越好. 當(dāng)這種偏差為0時(shí)，就導(dǎo)致無(wú)偏性這個(gè)標(biāo)準(zhǔn) . 401無(wú)偏性則稱 為 的無(wú)偏估計(jì) .設(shè)是未知參數(shù) 的估計(jì)量，若41例1 樣本均值 與樣本方差S2 分別是 總體均值和總體方差2的無(wú)偏估計(jì)量.證：42樣本k階矩為例2 設(shè)總體X的k階原點(diǎn)矩存在，記其為k， X1, X2, Xn為來(lái)自總體的樣本，問(wèn)是否為總體k階矩k的無(wú)偏估計(jì).解：由于因此樣本k階矩是總體k階矩的無(wú)偏估計(jì)43例3 設(shè)總體X N (， 2)，其中參數(shù)， 2未知，試用最大似然估計(jì)法求， 2的估計(jì)量，并問(wèn)是否是無(wú)偏估計(jì)？4445例4 設(shè)總體X 服從參數(shù)為 的指數(shù)分布, 概

10、率密度為其中, 參數(shù) 0 為未知, X1, , Xn為來(lái)自總體的樣本. 試證, 和nZ=nmin(X1, , Xn)都是 的無(wú)偏估計(jì).解：因?yàn)楣适?的無(wú)偏估計(jì)設(shè)X的分布函數(shù)為46先求Z的分布函數(shù)47對(duì)其求導(dǎo)數(shù)得到Z的密度函數(shù)為：指數(shù)分布即Z的分布函數(shù)48故因此,nZ是 的無(wú)偏估計(jì)49 例5 設(shè)X1, X2, Xn是來(lái)自總體X的樣 本，且E(X)=。以下兩個(gè)估計(jì)是否為 的無(wú)偏估計(jì)（答：是）（答：是）50 無(wú)偏估計(jì)以方差小者為好, 這就引進(jìn)了有效性這一概念 .的大小來(lái)決定二者和一個(gè)參數(shù)往往有不止一個(gè)無(wú)偏估計(jì), 若和都是參數(shù) 的無(wú)偏估計(jì)量，比較我們可以誰(shuí)更優(yōu) .512有效性D( ) D( )都是參數(shù) 的無(wú)偏估計(jì)量，若有設(shè)和且存在 的情形，則稱 較 有效 。52 例6 設(shè)X1, X2, Xn是來(lái)自總體X的樣本，且E(X)=。以下兩個(gè)估計(jì)誰(shuí)更有效？解：53 3. 相合性(一致性) 設(shè) 為未知參數(shù) 的估計(jì)量，若對(duì)任意給定的 0，任意，都有 則稱為參數(shù) 的相合估計(jì) 設(shè)總體的k 階矩存在，則樣本的k 階矩是總體k 階矩的相合