第二節(jié)極大似然估計(jì)

1、概率統(tǒng)計(jì) 第二節(jié)第二節(jié) 極大似然法極大似然法極大似然法是在極大似然法是在總體類型已總體類型已知知條件下使用的一種參數(shù)估條件下使用的一種參數(shù)估計(jì)方法計(jì)方法 。它首先它首先是由德國數(shù)學(xué)家是由德國數(shù)學(xué)家高斯高斯（ Gauss）在在 1821 年提出的年提出的 。Fisher然而然而，這個(gè)方法常歸功于英國，這個(gè)方法常歸功于英國統(tǒng)計(jì)學(xué)家統(tǒng)計(jì)學(xué)家費(fèi)歇（費(fèi)歇（ Fisher ），費(fèi)），費(fèi)歇歇在在 1922 年重新發(fā)現(xiàn)了這一方年重新發(fā)現(xiàn)了這一方法，法， 并首先研究了這種方法的并首先研究了這種方法的一些性質(zhì)一些性質(zhì) 。Gauss概率統(tǒng)計(jì) 極大似然法的基本思想極大似然法的基本思想引例引例 1若某位同學(xué)與一位獵人一

2、起外若某位同學(xué)與一位獵人一起外出打獵出打獵 。一只野兔從前方竄過，只聽一只野兔從前方竄過，只聽一一聲槍響聲槍響，野兔應(yīng)聲倒下，野兔應(yīng)聲倒下 。試推測：試推測：這是誰打中的呢這是誰打中的呢 ？ 因?yàn)橹话l(fā)一槍便打中，獵人因?yàn)橹话l(fā)一槍便打中，獵人命中的概率一般命中的概率一般大于大于這位同這位同學(xué)命中的概率。于是可推測學(xué)命中的概率。于是可推測這一槍是獵人射中的這一槍是獵人射中的 . 概率統(tǒng)計(jì)引例引例 2 設(shè)設(shè)X B(1, p), p 未知未知，若，若事先知道事先知道 p 只有兩只有兩種可能種可能: 試問：應(yīng)如何估計(jì)試問：應(yīng)如何估計(jì) p ?P = 0.7 或或 p = 0.3如今重復(fù)試驗(yàn)如今重復(fù)試驗(yàn) 3

3、 次，得結(jié)果次，得結(jié)果: 0 , 0, 0由概率論的知識(shí)，可知：由概率論的知識(shí)，可知：3 次試驗(yàn)中出現(xiàn)次試驗(yàn)中出現(xiàn) “1” 的次數(shù)的次數(shù)), 3(pBYk = 0, 1, 2, 33()(1)kn kP Ykppk 分析：分析：且：且：現(xiàn)將這計(jì)算結(jié)果列出如下：現(xiàn)將這計(jì)算結(jié)果列出如下：概率統(tǒng)計(jì) 將計(jì)算結(jié)果列表如下：將計(jì)算結(jié)果列表如下：p值值P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027出現(xiàn)出現(xiàn)估計(jì)估計(jì)出現(xiàn)出現(xiàn)出現(xiàn)出現(xiàn)出現(xiàn)出現(xiàn)估計(jì)估計(jì)估計(jì)估計(jì)估計(jì)估計(jì)0.3430.4410.44

4、10.343注注: 引例引例1與引例與引例2都體現(xiàn)了極大似然法的都體現(xiàn)了極大似然法的基本思想基本思想 ：當(dāng)試驗(yàn)中得到一個(gè)結(jié)果時(shí)，應(yīng)選擇使得這個(gè)試當(dāng)試驗(yàn)中得到一個(gè)結(jié)果時(shí)，應(yīng)選擇使得這個(gè)試驗(yàn)結(jié)果出現(xiàn)的概率達(dá)到驗(yàn)結(jié)果出現(xiàn)的概率達(dá)到最大最大的這個(gè)值作為參數(shù)的這個(gè)值作為參數(shù)的估計(jì)值的估計(jì)值概率統(tǒng)計(jì)定義定義:作作似然函數(shù)：似然函數(shù)：121(,)nlkkLf x 121(,)nlkkP x (1). 極大似然估計(jì)量的定義極大似然估計(jì)量的定義是相應(yīng)于樣本是相應(yīng)于樣本 12,nxxxnXXX,21的一組樣本值。的一組樣本值。其中：其中：設(shè)總體設(shè)總體X的概率密度函數(shù)為的概率密度函數(shù)為),(21lxf 或分布律為或

5、分布律為12( ,),lP x 12,l 為為未知參數(shù)未知參數(shù)。又設(shè)。又設(shè)使得似然函數(shù)使得似然函數(shù) L 達(dá)到達(dá)到極大值極大值的的12 ,l 或或概率統(tǒng)計(jì)稱為稱為參數(shù)參數(shù) 的的極大似然估計(jì)值極大似然估計(jì)值，記為：，記為：12,l 為參數(shù)為參數(shù) 的的極大似然估計(jì)量極大似然估計(jì)量12(,)inXXX i 注注:或或隨機(jī)點(diǎn)隨機(jī)點(diǎn) 取到取到 12(,)nXXX12,nxxx的概率。的概率。 12(,)inxxx (它與樣本值有關(guān)它與樣本值有關(guān))，似然函數(shù)似然函數(shù) L 是隨機(jī)點(diǎn)是隨機(jī)點(diǎn) 落在點(diǎn)落在點(diǎn)12(,)nXXX12(,)nxxx的鄰域的鄰域 （邊長分別為（邊長分別為ndxdxdx,21的的 n 維立

6、方體維立方體) 內(nèi)的概率；內(nèi)的概率；k 似然函數(shù)似然函數(shù) L 是是 的函數(shù)。的函數(shù)。記記統(tǒng)計(jì)量統(tǒng)計(jì)量：概率統(tǒng)計(jì)思路思路:從而此問題就從而此問題就轉(zhuǎn)化為轉(zhuǎn)化為一般的求函數(shù)的最大值問題一般的求函數(shù)的最大值問題. (2). 極大似然法的具體步驟極大似然法的具體步驟12(,)nXXX12,l 取到取到現(xiàn)要求現(xiàn)要求121211(,)(,)nnklklkkf xP x 或或的最大值，即求的最大值，即求 取什么值時(shí)函數(shù)取什么值時(shí)函數(shù) L達(dá)到最大。即其隨機(jī)點(diǎn)達(dá)到最大。即其隨機(jī)點(diǎn) 落在落在12(,)nxxx 的鄰域內(nèi)的概率或的鄰域內(nèi)的概率或 隨機(jī)點(diǎn)隨機(jī)點(diǎn)12(,)nxxx12(,)nXXX的概率最大。的概率最大

7、。概率統(tǒng)計(jì) 具體步驟具體步驟(1) 作似然函數(shù)作似然函數(shù)1( )(,)nkkLf x 1( )(,)nkkLP x (2)當(dāng)似然函數(shù)可微且當(dāng)似然函數(shù)可微且 的最大值能在參數(shù)空間的最大值能在參數(shù)空間取得時(shí)，求方程組取得時(shí)，求方程組: 的解，解得的解，解得( )L ln ( )0L 一解為一解為 ，則，則 為為極大似然估計(jì)量（值）極大似然估計(jì)量（值）。 注注: 因?yàn)橐驗(yàn)?與與 有相同的最大值點(diǎn)，而且有相同的最大值點(diǎn)，而且對數(shù)函數(shù)是單調(diào)增的，對數(shù)函數(shù)是單調(diào)增的， 求求 比求比求 方便，所以方便，所以常取常取前者作為似然函數(shù)。前者作為似然函數(shù)。 ln ( )L max ( )L ( )L maxln

8、( )L 或或概率統(tǒng)計(jì) 按照求函數(shù)極值的方法，在求方程組：按照求函數(shù)極值的方法，在求方程組：ln ( )0L 的解后還應(yīng)該用極值的的解后還應(yīng)該用極值的充分條件充分條件對解做進(jìn)一步的判斷；對解做進(jìn)一步的判斷； 當(dāng)似然函數(shù)當(dāng)似然函數(shù)不可微不可微或方程組或方程組無解無解時(shí)，則應(yīng)根據(jù)定時(shí)，則應(yīng)根據(jù)定義直接尋求能使義直接尋求能使 達(dá)到最大值的解作為極大達(dá)到最大值的解作為極大似然估計(jì)量。似然估計(jì)量。( )L 極大似然估計(jì)法適用于極大似然估計(jì)法適用于多個(gè)未知參數(shù)多個(gè)未知參數(shù)的情形。的情形。但又由最值原理，如果最值存在，此方程組求得但又由最值原理，如果最值存在，此方程組求得的駐點(diǎn)即為所求的最值點(diǎn)。極大似然估計(jì)

9、法一般的駐點(diǎn)即為所求的最值點(diǎn)。極大似然估計(jì)法一般屬于這種情況，所以可直接按步驟屬于這種情況，所以可直接按步驟(2)求的其值。求的其值。概率統(tǒng)計(jì)例例1.求求: 的極大似然估計(jì)量的極大似然估計(jì)量2, 是是 X 的一個(gè)樣本值的一個(gè)樣本值12,nxxx2( ,),XN 2,設(shè)設(shè) 為為未知參數(shù)未知參數(shù)， 解解:22()221( ;,)2xf xe X的密度函數(shù)為：的密度函數(shù)為： 作似然函數(shù)：作似然函數(shù)：22()2112ixniLe 2211()21()2niixne 為計(jì)算方便對為計(jì)算方便對 L 兩邊兩邊取對數(shù)取對數(shù)得得:概率統(tǒng)計(jì)令：令：21ln10niiLxn 222221ln1()022()niiL

10、nx 解得所求為解得所求為:11niixXn 2221111()()nniiiixxXnn與矩估計(jì)法與矩估計(jì)法所得的的結(jié)所得的的結(jié)論是一致的論是一致的（見例（見例1） niixnnL1222)(21ln2)2ln(2ln 概率統(tǒng)計(jì)例例2. 設(shè)設(shè) 為為參數(shù)都是未知參數(shù)都是未知的正態(tài)總體的的正態(tài)總體的一個(gè)樣本一個(gè)樣本 nXXX21,求求: 的極大似然估計(jì)的極大似然估計(jì))(tXP 解解:211( ,)niiXXNnn ()XtPnn()tn 22( ,),iXN 未知未知()P Xt 概率統(tǒng)計(jì)由例由例 3可知：可知： 的極大似然估計(jì)為的極大似然估計(jì)為 X 的極大似然估計(jì)為的極大似然估計(jì)為2 211(

11、)niiXXn ()P Xt的的極大似然估計(jì)極大似然估計(jì)為：為：()Xtn 其中其中:211()niiXXn 設(shè)設(shè) X1, X2, Xn 是取自總體是取自總體 X 的一個(gè)樣本，其的一個(gè)樣本，其密度函數(shù)為：密度函數(shù)為：0 其中其中1,01( )0,xxf x 其其它它求求 的極大似然估計(jì)的極大似然估計(jì). 例例4.概率統(tǒng)計(jì)作似然函數(shù)：作似然函數(shù)： niixL11)( 11()nniix (01)ix 則則對數(shù)似然函數(shù)對數(shù)似然函數(shù)為：為：1ln ( )ln(1)lnniiLnx 1in 1ln( )ln0 ,niidLnxd 對上式求導(dǎo)并令其為零，得：對上式求導(dǎo)并令其為零，得：從中從中解得：解得：1lnniinx 解：解：概率統(tǒng)計(jì)(3). 性質(zhì)性質(zhì)的函數(shù)，的函數(shù)，是是 )(uu 且具有單值反函數(shù)且具有單值反函數(shù)( ),u 又設(shè)又設(shè) 是是 X 的概率的概率 密度函數(shù)密度函數(shù) 中參數(shù)中參數(shù) 的極大似然估計(jì)，的極大似然估計(jì)，( ,)f x 證證:1212(,)max (,)nnL xxxL xxx ( )( )uuu( )uu 是是 的極大似然估計(jì)。的極大似然估計(jì)。( )u 則則 是是 的取的取值范圍值范圍 是是的