第八章(第一節(jié)極大似然估計(jì))

1、第八章 參數(shù)估計(jì) 第一節(jié) 參數(shù)的點(diǎn)估計(jì)二、極大似然估計(jì)法極大似然估計(jì)最早是由高斯于1821 年提出，但一般將之歸功于英國 統(tǒng) 計(jì) 學(xué) 家 Fisher,R.A, 因 為 Fisher,R.A 在 1922年證明了極大似然估計(jì)的性質(zhì)，并使得該方法得到了廣泛的應(yīng)用。這里介紹估計(jì)的另一種常用方法極大似然估計(jì)法。先看一個(gè)簡單的例子:某位同學(xué)與一位獵人一起外出打獵 , 一只野兔從前方竄過. 只聽到一聲槍響 , 野兔應(yīng)聲倒下 . 如果要你推測 , 是誰打中的呢？你會如何想呢？你就會想 , 只發(fā)一槍便打中 , 獵人命中的概率一般大于這位同學(xué)命中的概率 . 看來這一槍有極大的可能是獵人射中的 .這個(gè)推斷很符合

2、人們的經(jīng)驗(yàn)事實(shí)， 這里的 “極大的可能” 就是 “極大似然”之意。這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想 .極大似然法的基本思想在社會思維意識中常有所體現(xiàn)。例如某地發(fā)生了一個(gè)疑難案件，警察欲破案或民眾推測嫌疑人，一般是將重點(diǎn)集中在作案可能性較大的可疑人身上。為了說明極大似然估計(jì)的原理，我們先來考察一個(gè)簡單的估計(jì)問題。設(shè)袋中裝有許多白球和黑球。只知兩種球的數(shù)目之比為 3:1 ， 試判斷是白球多還是黑球多。顯然，從袋中任取一球?yàn)楹谇虻母怕蕄是1或者3,如果是L則袋中444白球多，如果是3,就是黑球多。現(xiàn) 4在我們從袋中有放回的任取 3只球, 那么黑球數(shù)目X服從二項(xiàng)分布：PX x;p C；

3、px(1 p)3x,1 3x 0,123;p 1,34 4其中p為取到黑球的概率.從常識上可以接受這樣的判斷：(1)若取出的3只中有0只黑 球，3只白球，則我們以較大的把握認(rèn)為 袋中白球多，應(yīng)認(rèn)為是從黑球概率1為p 1的總體中取來的.4(2)若取出的3只中有1只黑球，2只白球，則我們以較大的把握認(rèn)為袋中白球多,應(yīng)認(rèn)為是從黑球概率為p 1的總體中取來的；4(3)若取出的3只中有2只黑球，1只白球，則我們以較大的把握認(rèn)為 袋中黑球多，應(yīng)認(rèn)為是從黑球概率 為p 3的總體中取來的；4(4)若取出的3只中有3只黑球，0只白球，則我們以較大的把握認(rèn)為 袋中黑球多，應(yīng)認(rèn)為是從黑球概率 為p 3的總體中取來的

4、.4分別計(jì)算p 1和p 3時(shí)， 44PX x的值，列于表81.x0123p 1時(shí),PX x的值427642764964164p S時(shí),PX x的值416496427642764由于樣本來自于總體，因而應(yīng) 很好的反映總體的特征。如果樣本中的黑球數(shù)為 0,就應(yīng)當(dāng)估計(jì)p為1,而不估計(jì)為3,（這是44常識判斷），同時(shí)注意到有1 273 1PX 0;p -PX 0;p -,4 644 64正是選的使 P X 0; p達(dá)到最大值 的p.這說明，黑球數(shù)x 0的樣本來自于p 1的總體比來自于p 3的總體的44可能性要大，因而取1作為p的估計(jì) 4更合理.類似的，x 1是也取1作為p的4估計(jì)。當(dāng)x 2,3時(shí)取3作

5、為p的估計(jì)。4即得到p的估計(jì)量為;1 3, ,O 2X X, ,1-43-4x)即若取出的3只球中有x只黑球, 則總體中任取一只為黑球的概率為-,X 0,1?(x)3；3, X 2,34即認(rèn)為是從任取一只為黑球的概率為1, X 0,1做x) 43, x 2,34的總體中來的.從表中看出成立不等式PX x;?(x) PX x;p,1 3x 0,1,2,3； p -,4 4也就是說，根據(jù)樣本的具體情況 選擇？，使得該樣本發(fā)生的概率最大。即對每個(gè)( 固定 ) x ，選取 p?(x) ，使得PX x; p?( x) PX x; p其中 p 是不同于 p?(x) 的另一值。 這就 是極大似然估計(jì)法的基本

6、思想。極大似然估計(jì)的問題如下一般地， 設(shè)總體 X 的分布函數(shù)為F (x; ) ，其中 是未知參數(shù)(,不同 , 總體也不同 ) 。Xi,X2, ,Xn為來自于總體X的樣本，若在對總體的抽樣中，得到樣本值(觀察值 , 發(fā)生的事件) x1,x2, ,xn。問Xi,X2, ,Xn,是從哪個(gè)總體中抽出的？ ( 即 應(yīng)取多少？ )直觀的想法是：小概率事件在一次試驗(yàn)中一般不會發(fā)生，而大概率事件在一次試驗(yàn)中常常會發(fā)生；反之，如果在一次實(shí)驗(yàn)中，某個(gè)隨機(jī)事件發(fā)生了，若問是什么樣的情況引起的，我們往往會認(rèn)為極有可能是使這個(gè)隨 機(jī)事件發(fā)生的概率最大的那個(gè)情況 所引起的。下面，我們分連續(xù)型總體和離散型總體兩種情況進(jìn)行討

7、論。1、 連續(xù)型總體參數(shù)的極大似然估 計(jì)一般地， 設(shè)總體 X 的概率密度為f （x; ） ， 其中 是未知參數(shù)（, 不同，總體也不同）。Xi,X2, ,Xn為來自 于總體X的樣本，若已抽取得到 Xi,X2, ,Xn為樣本Xi,X2, ,Xn的樣本 值（觀察值 , 發(fā)生的事件）,問Xi,X2, ,Xn,是從哪個(gè)總體中抽 出的？ （ 即 應(yīng)取多少？ ）我們來考察(Xi，X2，,Xn)落在 點(diǎn)( , X2，, 4)的鄰域內(nèi)的概率P| X1X1 | ；，,|Xn Xn | ；P| XiXi |i 1nxi)dtixi虧 xJf(ti；i 12Xi onnnf(Xi； ) Xi (f (Xi；)i 1i

8、 1i 1從直觀上講，既然在一次試驗(yàn) 中得到了觀察值(X1，X2，,Xn),那么可 以認(rèn)為樣本落在(X1,X2, ,Xn)的鄰域 里這一事件是較易發(fā)生的，具較大 的概率.所以就應(yīng)是從使得樣本落 在點(diǎn)(X1,X2, ,Xn)的鄰域內(nèi)的概率達(dá) 到最大的總體中抽取的，這樣才能在一次抽取中以較大可能性取到 (X1 , X2 , , Xn ).即選取使這一概率達(dá)到 最大的參數(shù)作為真參數(shù)的估計(jì).極大似然法就是選取總體參數(shù)的估計(jì)值？，使得樣本(Xi，X2，,Xn) 落在點(diǎn)(X,X2, ,Xn)的鄰域內(nèi)的概率 nn(f(Xi； )Xi達(dá)到最大，也就是i 1i 1n使f(Xi；)達(dá)到最大值.i 1記nL( )

9、L(Xi,X2, ,Xn； )f (Xi；),i 1稱 L( ) L(x,Xz， ,Xn；)為以然函數(shù) .定義 1 如果 L( ) L(X1,X2, ,Xn；) 在？達(dá)到最大值，則稱？是的極大 似然估計(jì)。即如果選取使下式L( ? max L()成立的？作為的估計(jì)，則稱？是的極大似然估計(jì)。因此，求總體參數(shù)的極大似然 估計(jì)值？就是求似然函數(shù)的最大值問題。根據(jù)微積分的知識，要使 L()達(dá) 到最大值，若L()可導(dǎo)，？必滿足L( ) 0 。 d通常用簡化求法：因?yàn)長與lnL 在同一值處達(dá)到最大，？ 也可由lnL( ) 0 d求得，這在計(jì)算上常常帶來方便.多參數(shù)情形的極大似然估計(jì)若總體X的概率密度為 f(

10、X： 1, 2, k),其中 1, 2, 一為未知數(shù)，X1,X2, ,Xn 為樣本 X1,X2, ,Xn 的 樣本值(觀察值),此時(shí)似然函數(shù)為k),nL(Xi,X2,L ,Xn； 1, 2,L , k)f(X； i, 2,Li 1(8.4)In L(求解方程組0, i 1,2, ,k即可得到極大似然估計(jì) ？，？，？I , 2 , k數(shù)學(xué)上可以嚴(yán)格證明，在一定條件下，只要樣本容量n足夠大，極 大似然估計(jì)和未知參數(shù)的真值可相 差任意小。例5設(shè)總體 X服從參數(shù)為的指數(shù)分布，即有概率密度f(x,)e x,x00,x0(0)又X,X2, ,Xn為來自于總體X的樣 本值，試求的極大似然估計(jì).解似然函數(shù)為n

11、nXiLi / n _x n i iL(x1,X2，L ,Xn； ) e ei 1n于是 In L nlnXii 1d ln L n dXi , i 1方程的根為d In LdXiXi經(jīng)驗(yàn)證，lnL()在1處達(dá)x到最大值，所以"1是的極大似然x估計(jì)。例6設(shè)X1,X2, ,Xn為正態(tài)總體N( , 2)的一個(gè)樣本值，求：(1)和2的極大似然估計(jì)；(2) PX t的極大似然估計(jì)解(1)似然函數(shù)為L(Xi，L ,Xn； , 2)n 1 r 1 eXp - i 1 222(X)21 exp 2-(Xi i 1)2，n21 n2lnL 21n(2)二小 )，解方程組ln L2In L 1(Xi

12、) 0n 1 n二F(Xi22 i1)21 n XiXn i 11n01n 2(Xi ?)(Xi x),n i 1n i 1'這就是和2的極大似然估計(jì) 即 L( ?, ?2) maX L( , 2).(2)因?yàn)?PX t F(t) (t),由(1)知道 似然函數(shù)L( , 2)在(?,?2) 處達(dá)到最大值，(t-)中的參數(shù)取?,?時(shí)，即取(J)為(")時(shí)，似然函數(shù)L( , 2) 在(?，?2)處達(dá)到最大值，所以Pxt的極大似然估計(jì)為t ?(一).由此可見，對于正態(tài)總體，的矩估計(jì)和極大似然估計(jì)是相同的， 都是樣本均值。2的矩估計(jì)是樣本方差n(Xi x)2極大似然估計(jì)是A 21 n

13、一(Xi n i1在有些書中,2 n 1 2x) s。n*21ns一n i1(Xi x)2 .定義樣本方差為例7設(shè)總體X的概率密度為(x ) ef(x,) 八0,又X, 乂2,同為來自于總體X的樣本 值，求參數(shù)的極大似然估計(jì)。解令 x； minxi, ,4,似然函數(shù)L( ) L(xi,x2, ,xn；)f（Xi；）i 1 n e i 1 0,Xi當(dāng)X*時(shí)，L()是 的單調(diào)增函數(shù), *L( ) L(x)；* .一當(dāng)Xi 時(shí)，L( ) 0。八于是L()在xi*處達(dá)到最大值，所以的極大似然估計(jì)minX, ,Xn.例 設(shè)總體X的概率密度為f(X1 ),0 X ,(0)0, 其它又Xi,X2, ,Xn為

14、來自于總體X的樣 本值，求參數(shù)的極大似然估計(jì)。*解 令 Xn maX Xi,L ,Xn,似然函數(shù)L( ) L(Xi,X2, ,Xn；)n f (xi; ) i 11*, xn,*0，xn當(dāng)x；時(shí)，L()是 的單調(diào)減函數(shù)，*L( ) L(Xn)；*當(dāng)Xn 時(shí)，L( ) 0。八于是L()在 處達(dá)到最大值， 所以的極大似然估計(jì)八maxXi,L ,x；.實(shí)例：估計(jì)某路公交車幾分鐘發(fā) 一趟。2、離散型總體參數(shù)的極大似然 估計(jì)以上介紹了連續(xù)總體的極大似 然估計(jì)，現(xiàn)來看離散型的總體的極 大似然估計(jì)。一般地，若總體X是離散型的隨 機(jī)變量，有分布律(分布列)aia2akp（a; ） p（a2； ）p（ak；）是

15、未知參數(shù)（）【離散型】設(shè)Xi,X2, ,Xn為來自于 總 體 X 的 樣 本 值 （Xi ai,a2, a, , i 1,2, ,n）,則似然函數(shù)為L（ ） L（Xi,X2, ,Xn；）P（Xi； ）p（X2； ） P（Xn； ）|. A如果有一個(gè)統(tǒng)計(jì)量（Xi，X2，,Xn）,使AL （Xi，X2， ,Xn ）supL（Xi,X2, ,Xn;）,A則稱（Xi,X2, ,Xn）是的極大似然估 計(jì)量。例8設(shè)總體X服從參數(shù)為的泊 松分布，即X有分布列（分布 律）kp(k; ) PX k -e ,k 0,1,2, k!是未知參數(shù)，(0,),試求的極大似然估計(jì)。解樣本的似然函數(shù)為L( ) L(X1,X2

16、, ,Xn；)P(X1； )p(X2； )P(Xn；)x1X2Xne e e x!x2!Xn!n Xi i 1 n e Xi! X2! Xn!Xi 0,1,2, , i 1,2, ,n .In L( ) In L(X1,X2, ,Xn；) nnn ( xi) Inln(xi!),i 1i 1ln L(X1,X2, ,Xn；)從上L 0可以解出n 1 n (Xi)-,i 1n當(dāng)Xi 0時(shí), i i0,21nL所以L(x,X2,i,Xn；-nX)supL(Xi,X2,Xn,(*)0時(shí),XiX2這時(shí)L(Xi,X2,Xn，. iL(Xi,X2,L ,Xn；-nXi)L(Xi,X2,L,Xn；0)supL(Xi,X2,L,Xn； ),(*)由(*),(*)知,(Xi,X2,Xn)- nXi是的極大似然估計(jì)。例ii設(shè)總體X的概率分布為X0i23P22 (i )2i 2i是未知參數(shù)，利用總體X的如下樣本值(02)3,i,3,0,3,i,2,3求的矩估計(jì)值和最大似然估計(jì)值。解因?yàn)镋X 02 1 2 (1) 22 3 (1 2 )3 4，令EX X,即3 4 X,于是得矩估計(jì)量為？ 341用樣本均值x (3 1 3031 2 3) 2,代入， 8得到的矩估計(jì)值為 ? U 1 0.25 ；4 4對于給定的樣本值，似然函數(shù)為【一個(gè)0,兩個(gè)1, 一個(gè)2,四個(gè)3】L( ) P X 0( P X 1)2