極大似然估計(jì).ppt

1、1,第七章,第二節(jié),極大似然估計(jì),極大似然估計(jì),2,極大似然法的基本思想,先看一個(gè)簡(jiǎn)單例子：,一只野兔從前方竄過 .,是誰(shuí)打中的呢？,某位同學(xué)與一位獵人一起外出打獵 .,如果要你推測(cè)，,你會(huì)如何想呢?,只聽一聲槍響，野兔應(yīng)聲倒下 .,3,基本思想:,若事件Ai 發(fā)生了,則認(rèn)為事件Ai在這n個(gè)可能結(jié)果,中出現(xiàn)的概率最大。,極大似然估計(jì)就是在一次抽樣中,若得到觀測(cè)值,則選取,若一試驗(yàn)有n個(gè)可能結(jié)果,現(xiàn)做一試驗(yàn),作為的估計(jì)值。,使得當(dāng),時(shí),樣本出現(xiàn)的概率最大。,4,極大似然估計(jì)法:,事件 發(fā)生的概率為,為 的函數(shù)，,形式已知,(如離散型) X的分布列為,的聯(lián)合分布列為：,為樣本的似然函數(shù)。,定義7.

2、1,5,與,有關(guān), 記為,稱為參數(shù)的極大似然估計(jì)值。,稱為參數(shù)的極大似然估計(jì)量。,達(dá)到最大的參數(shù),作為的估計(jì)值。,現(xiàn)從中挑選使概率,樣本的似然函數(shù),6,若總體X屬連續(xù)型, 其概率密度,的形式已知，,為待估參數(shù)；,則,的聯(lián)合密度：,一般，,關(guān)于可微，故可由下式求得：,因此,的極大似然估計(jì)也可從下式解得：,在同一點(diǎn)處取極值。,7,8,故似然函數(shù)為,例1,設(shè),是來自總體X的一,個(gè)樣本，,試求參數(shù) p 的極大似然估計(jì)值.,解：設(shè),是一個(gè)樣本值。,X的分布列為：,而,令,9,它與矩估計(jì)量是相同的。,解得,p的極大似然估計(jì)值,p的極大似然估計(jì)量,令,解得,10,設(shè)總體X的分布列為：,是來自總體X的樣本，求

3、 p 的極大,解：,似然函數(shù)為,似然估計(jì)值。,例2,11,令,即,12,解,例3,設(shè) X1, X2, , Xn 是取自總體X 的一個(gè)樣本,，求參數(shù)的極大似然估計(jì)值。,似然函數(shù)為:,13,例4,設(shè),未知，,是一個(gè)樣本值,解 設(shè),的概率密度為：,似然函數(shù)為,14,等價(jià)于,因?yàn)?即,時(shí),取最大值,在,似然函數(shù)為,15,即,時(shí),取最大值,在,似然函數(shù)為,16,今取得一組樣本Xk數(shù)據(jù)如下，問如何估計(jì)？,某電子管的使用壽命 X （單位：小時(shí)) 服從指數(shù)分布,例5 指數(shù)分布的點(diǎn)估計(jì),分析 可用兩種方法：矩法估計(jì) 和極大似然估計(jì).,17,1）矩法估計(jì),18,2）極大似然估計(jì),構(gòu)造似然函數(shù),當(dāng)xi0,（i=1,

4、2, ,n) 時(shí)，似然函數(shù)為,取對(duì)數(shù),建立似然方程,19,5. 得極大似然估計(jì)量：,求解得極大似然估計(jì)值,20,似然函數(shù)為：,例6,設(shè),為未知參數(shù)，,是來自X的一個(gè)樣本值，求,的極大似然估計(jì)值。,解：,X的概率密度為：,21,解得：,令,即：,22,注：lnx 是 x 的嚴(yán)格單增函數(shù)，lnL 與L有相同的極大值，一般只需求lnL 的極大值.,求極大似然估計(jì)的一般步驟：,寫出似然函數(shù),2. 對(duì)似然函數(shù)取對(duì)數(shù),3. 對(duì)i (i =1, m)分別求偏導(dǎo),建立似然方程(組),解得 分別為 的極大估計(jì)值.,23,例7 矩估計(jì)與似然估計(jì)不等的例子,設(shè)總體概率密度為,求參數(shù)的極大似然估計(jì), 并用矩法估計(jì).,

5、解 1) 極大似然估計(jì)法,構(gòu)造似然函數(shù),2. 取對(duì)數(shù)：,當(dāng) 0xi1, (i=1,2, ,n) 時(shí),24,2. 取對(duì)數(shù)：,當(dāng) 0 xi 1, (i=1,2, ,n) 時(shí),建立似然方程,求解得極大似然估計(jì)值為,5. 極大似然估計(jì) 量為,25,2) 矩估計(jì)法,26,1. 矩法估計(jì)量與極大似然估計(jì)量不一定相同；,2. 用矩法估計(jì)參數(shù)比較簡(jiǎn)單,但有信息量損失；,3. 極大似然估計(jì)法精度較高,但運(yùn)算較復(fù)雜；,4. 不是所有極大似然估計(jì)法都需要建立似然方程,小 結(jié),求解.,27,作業(yè),P294 1；2；3；4,28,解,例6. 不合格品率的矩法估計(jì),分析 設(shè)總體X 即抽一件產(chǎn)品的不合格產(chǎn)品數(shù)，相當(dāng)于抽取了

6、一組樣本X1，X2， ，Xn , 且,因 p=EX, 故 p 的矩估計(jì)量為,設(shè)某車間生產(chǎn)一批產(chǎn)品，為估計(jì)該批產(chǎn)品不合格品率，抽取了n件產(chǎn)品進(jìn)行檢查.,(即出現(xiàn)不合格產(chǎn)品的頻率).,29,不合格品率p 的估計(jì),設(shè) 總體X是抽一件產(chǎn)品的不合格品數(shù)，記 p= PX=1=P產(chǎn)品不合格,則 X的分布列可表示為,現(xiàn)得到X的一組樣本X1，X2，,Xn的實(shí)際觀 察值為 x1, x2, ,xn , 則事件,X1=x1，X2=x2，,Xn=xn,例7,出現(xiàn)的可能性應(yīng)最大, 其概率為,30,應(yīng)選取使L(p) 達(dá)到最大的值作為參數(shù) p 的估計(jì).,31,令,解得,（頻率值）,注意到,32,其中0，與是未知參數(shù)，X1，X2，,Xn，,解,設(shè)總體X的概率密度為,是X 的一組樣本，求與 的矩估計(jì)量.,例8,33,令,注意到 DX=E(X2)E(X)2=2,=2+(+)2,34,例 9 均勻分布的極大似然估計(jì),設(shè)樣本X1，X2， ，Xn來自在區(qū)間 0 , 上均勻分布的總體X , 求 的極大似然估計(jì).,解 設(shè)x1, x2 , xn是X1, X2, , Xn的樣本值，,似然函數(shù)為,35,#,如圖所示，似