概率論與數(shù)理統(tǒng)計教學(xué)課件第七章最大似然估計

1、1 它首先是由德國數(shù)學(xué)家高斯在1821年提出的 , GaussFisher 然而，這個方法常歸功于英國統(tǒng)計學(xué)家費歇(Fisher) . 費歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì) .7.2 最大似然估計2 思想方法 一次試驗就出現(xiàn)的事件有較大的概率 7-173 最大似然法的基本思想 先看一個簡單例子：一只野兔從前方竄過 .是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵 .如果要你推測，你會如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下 .4 因為只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率. 看來這一槍是獵人射中的 . 其數(shù)學(xué)模型為 令X為打一槍的中彈數(shù)，則XB(1,p

2、), p未知.設(shè)想事先知道p只有兩種可能:p=0.9 或 p=0.1 兩人中有一人打槍, 估計這一槍是誰打的，即估計總體X的參數(shù)p的值5當(dāng)兔子不中彈，即X =0發(fā)生了現(xiàn)有樣本觀測值x =1, 什么樣的參數(shù)使該樣本值出現(xiàn)的可能性最大呢？ 若p=0.9，則PX=1=0.9 若p=0.1，則PX=1=0.1 若p=0.9，則PX=0=0.1 若p=0.1，則PX=0=0.9當(dāng)兔子中彈，即X =1發(fā)生了6引例 設(shè)總體 X 服從0-1分布，且P (X = 1) = p, 用極大似然法求 p 的估計值。解X 的概率分布可以寫成設(shè) X1, X2, Xn為總體 X 的樣本,設(shè) x1, x2, xn為總體 X

3、的樣本值,則7對于不同的 p ,L (p)不同，見右下圖現(xiàn)經(jīng)過一次試驗，發(fā)生了，事件則 p 的取值應(yīng)使這個事件發(fā)生的概率最大。8在容許的范圍內(nèi)選擇 p ，使L(p)最大 注意到，ln L(p)是 L 的單調(diào)增函數(shù)，故若某個p 使ln L(p)最大，則這個p 必使L(p)最大。7-20所以為所求 p 的估計值.9最大似然估計法的基本思想：根據(jù)樣本觀測值，選擇參數(shù)p的估計 ，使得樣本在該樣本值附近出現(xiàn)的可能性最大10 一 離散型隨機變量的情況最大似然估計的求法111213 定義2.1 設(shè)離散型隨機變量X1,X2,.,Xn 有聯(lián)合分布其中 是未知參數(shù)，給定觀測數(shù)據(jù)x1，x2，.，xn后，稱 的函數(shù)為

4、基于x1，x2，.，xn的似然函數(shù)(likelihood function)，稱 的最大值點 為 的最大似然估計(maximum likelihood estimator縮寫為MLE)其中 也可以是向量14 二 連續(xù)型隨機變量的情況1516 定義2.2 設(shè)隨機向量X=(X1,X2,.,Xn ) 有聯(lián)合密度其中 是未知參數(shù)，給定X的觀測值x=(x1，x2，.，xn )后，稱 的函數(shù)為基于x=(x1，x2，.，xn )的似然函數(shù)(likelihood function)，稱 的最大值點 為參數(shù) 的最大似然估計(MLE)其中 也可以是向量17若總體中包含多個未知參數(shù)18 (4) 在最大值點的表達(dá)式中

5、, 用樣本值代入 就得參數(shù)的極大似然估計值 .求最大似然估計(MLE)的一般步驟是：(1) 由總體分布導(dǎo)出樣本的聯(lián)合分布列 (或聯(lián)合密度);(2) 把樣本聯(lián)合分布列(或聯(lián)合密度)中自變 量看成已知常數(shù),而把參數(shù) 看作自變量, 得到似然函數(shù)L( );(3) 求似然函數(shù) 的最大值點(常轉(zhuǎn)化為求對數(shù)似然函數(shù) 的最大值點) 即 的MLE;19未知參數(shù)的函數(shù)的最大似然估計 設(shè)總體X的分布類型已知, 其概率密度(或概率函數(shù))為f(x;1, k), 未知參數(shù)的已知函數(shù)為g(1, k). 若 分別為1, k的最大似然估計, 則為 g(1, k)的最大似然估計.20解：X的分布列為 例1設(shè)X1,X2, Xn獨立

6、同分布，都服從Poisson分布 ，給定觀測數(shù)據(jù)x1,x2, xn，試求參數(shù) 的最大似然估計.因此似然函數(shù)為 21令=0對數(shù)似然函數(shù)為：得 的最大似然估計為 22 例2設(shè)X1,X2, Xn是取自總體 XB(1, p) 的一個樣本，求參數(shù)p的最大似然估計.解：似然函數(shù)為: 對數(shù)似然函數(shù)為：23對p求導(dǎo)并令其為0，=0p的最大似然估計為24似然函數(shù)為：25對數(shù)似然函數(shù)為：2627例4 X 服從指數(shù)分布,其密度函數(shù)為 x1，x2，xn 為觀察值.試用最大似然估計法估計28解：似然函數(shù)為對數(shù)似然函數(shù)為由得 的最大似然估計為 29解：似然函數(shù)為對數(shù)似然函數(shù)為例5 設(shè)X1,X2,Xn是取自總體X的一個樣本

7、求 的最大似然估計.其中 0,30求導(dǎo)并令其為0=0從中解得即為 的MLE .對數(shù)似然函數(shù)為31 例6 設(shè)X1,X2, Xn是取自總體 XU(a, b) 的一個樣本，求參數(shù)a, b的最大似然估計.解X 的密度函數(shù)為似然函數(shù)為32不能求解。33似然函數(shù)a 越大, b 越小, L 越大.令x(1) = min x1, x2, xnx(n) = max x1, x2, xn34故是 a , b 的最大似然估計值.則對滿足的一切a，b, 都有取35 例7 設(shè)總體X的概率分布為 X012P 1-2 其中0 1/2為未知參數(shù)。今對X進行觀測， 得如下樣本值 0，1，2，0，2，1求 的最大似然估計。 36

8、從而對數(shù)似然函數(shù)為解：似然函數(shù)為令得37三 估計量的評選標(biāo)準(zhǔn) 對于同一參數(shù)，用不同的估計方法求出的估計量可能不相同。問題：采用哪一個估計量好?X1, X2, Xn為來自該總體的樣本。設(shè)總體X F(x, ), 其中 為未知參數(shù)。為 的一個估計量。38估計量而當(dāng)樣本(X1, , Xn)有觀測值(y1, , yn)時，估計值為 是一個隨機變量，當(dāng)樣本(X1, , Xn)有觀測值(x1, , xn)時，估計值為 39由不同的觀測結(jié)果，就會求得不同的參數(shù)估計值. 因此評價一個估計量的好壞，不能僅僅依據(jù)一次試驗的結(jié)果來判斷，而必須根據(jù)估計量的分布從整體上來做評價。當(dāng)樣本值取不同的觀測值時， 我們希望相應(yīng)的

9、估計值在未知參數(shù)真值附近擺動，而它的均值與未知參數(shù)的真值的偏差越小越好. 當(dāng)這種偏差為0時，就導(dǎo)致無偏性這個標(biāo)準(zhǔn) . 401無偏性則稱 為 的無偏估計 .設(shè)是未知參數(shù) 的估計量，若41例1 樣本均值 與樣本方差S2 分別是 總體均值和總體方差2的無偏估計量.證：42樣本k階矩為例2 設(shè)總體X的k階原點矩存在，記其為k， X1, X2, Xn為來自總體的樣本，問是否為總體k階矩k的無偏估計.解：由于因此樣本k階矩是總體k階矩的無偏估計43例3 設(shè)總體X N (， 2)，其中參數(shù)， 2未知，試用最大似然估計法求， 2的估計量，并問是否是無偏估計？4445例4 設(shè)總體X 服從參數(shù)為 的指數(shù)分布, 概

10、率密度為其中, 參數(shù) 0 為未知, X1, , Xn為來自總體的樣本. 試證, 和nZ=nmin(X1, , Xn)都是 的無偏估計.解：因為故是 的無偏估計設(shè)X的分布函數(shù)為46先求Z的分布函數(shù)47對其求導(dǎo)數(shù)得到Z的密度函數(shù)為：指數(shù)分布即Z的分布函數(shù)48故因此,nZ是 的無偏估計49 例5 設(shè)X1, X2, Xn是來自總體X的樣 本，且E(X)=。以下兩個估計是否為 的無偏估計（答：是）（答：是）50 無偏估計以方差小者為好, 這就引進了有效性這一概念 .的大小來決定二者和一個參數(shù)往往有不止一個無偏估計, 若和都是參數(shù) 的無偏估計量，比較我們可以誰更優(yōu) .512有效性D( ) D( )都是參數(shù) 的無偏估計量，若有設(shè)和且存在 的情形，則稱 較 有效 。52 例6 設(shè)X1, X2, Xn是來自總體X的樣本，且E(X)=。以下兩個估計誰更有效？解：53 3. 相合性(一致性) 設(shè) 為未知參數(shù) 的估計量，若對任意給定的 0，任意，都有 則稱為參數(shù) 的相合估計 設(shè)總體的k 階矩存在，則樣本的k 階矩是總體k 階矩的相合