最大似然函數(shù)

1、 任課教師：任課教師： 劉瓊劉瓊自動(dòng)化學(xué)院自動(dòng)化學(xué)院模式識(shí)別模式識(shí)別條件概率密度函數(shù)的最大似然估計(jì)條件概率密度函數(shù)的最大似然估計(jì)Maximum Likelihood Estimation of Class-conditional Probability Density Function教材：模式識(shí)別（第三版）教材：模式識(shí)別（第三版） 張學(xué)工編著張學(xué)工編著 清華大學(xué)出版社清華大學(xué)出版社 講授提綱講授提綱 問題提出問題提出 最大似然估計(jì)最大似然估計(jì) 基于最大似然估計(jì)的模式分類實(shí)例基于最大似然估計(jì)的模式分類實(shí)例 2 講授提綱講授提綱 問題提出問題提出貝葉斯決策論貝葉斯決策論貝葉斯公式貝葉斯公式 最大

2、似然估計(jì)最大似然估計(jì) 基于最大似然估計(jì)的模式分類實(shí)例基于最大似然估計(jì)的模式分類實(shí)例 3 問題提出（問題提出（1/4）480條鮭魚，20條多寶魚 問題提出（問題提出（2/4）5第一種情況：第一種情況：不知曉這條魚的任何信息不知曉這條魚的任何信息，判決依據(jù)判決依據(jù)P(i)P(i)的大??；結(jié)論：的大小；結(jié)論：第二種情況：第二種情況： 給你這條魚的寬度值給你這條魚的寬度值 x x，判決依據(jù)，判決依據(jù)P (i| x)P (i| x)；貝葉斯決策論貝葉斯決策論？鮭魚鮭魚 問題提出（問題提出（3/4） 貝葉斯公式貝葉斯公式 用非正式的英語表述用非正式的英語表述6( |)()(| )( )iiip xppxp

3、 x后驗(yàn)概率后驗(yàn)概率類條件概率密度類條件概率密度先驗(yàn)概率先驗(yàn)概率根據(jù)領(lǐng)域知識(shí)或大量樣本中計(jì)算根據(jù)領(lǐng)域知識(shí)或大量樣本中計(jì)算各類樣本所占的比例得到各類樣本所占的比例得到總體密度總體密度所有樣本關(guān)于特征所有樣本關(guān)于特征x x的概率密度的概率密度 問題提出（問題提出（4/4）7函數(shù)形式函數(shù)形式估計(jì)目標(biāo)估計(jì)目標(biāo)估計(jì)方法估計(jì)方法已知已知 函數(shù)中的未知參數(shù)函數(shù)中的未知參數(shù)參數(shù)估計(jì)參數(shù)估計(jì)（ 最大似然估計(jì)最大似然估計(jì)、貝葉斯估計(jì)、貝葉斯估計(jì) ） 未知未知函數(shù)形式函數(shù)形式非參數(shù)估計(jì)非參數(shù)估計(jì)（k kn n近鄰估計(jì)、近鄰估計(jì)、ParzenParzen窗法窗法 ） 講授提綱講授提綱 問題提出問題提出 最大似然估計(jì)最

4、大似然估計(jì)假設(shè)條件假設(shè)條件主要思想主要思想求解方法及解的分析求解方法及解的分析正態(tài)分布參數(shù)的最大似然估計(jì)正態(tài)分布參數(shù)的最大似然估計(jì) 基于最大似然估計(jì)的模式分類實(shí)例基于最大似然估計(jì)的模式分類實(shí)例 8 最大似然估計(jì)的假設(shè)條件最大似然估計(jì)的假設(shè)條件假設(shè)條件：假設(shè)條件： 類條件概率密度類條件概率密度 p(x |p(x |i i ) ) 的函數(shù)形式是的函數(shù)形式是已知已知的，但是其中的某些參的，但是其中的某些參數(shù)是未知的數(shù)是未知的 待估計(jì)參數(shù)待估計(jì)參數(shù) 是確定性的未知量是確定性的未知量 按類別將樣本劃分按類別將樣本劃分 c c 類，第類，第 i i 樣本都是從類條件概率密度樣本都是從類條件概率密度 p(x

5、 |p(x |i i ) ) 的總體中獨(dú)立地抽取出來的的總體中獨(dú)立地抽取出來的 第第 i i 類的樣本不包含有關(guān)類的樣本不包含有關(guān) j j (ij)(ij)的信息。不同類別的函數(shù)在參數(shù)上的信息。不同類別的函數(shù)在參數(shù)上相互獨(dú)立，每一類樣本可以獨(dú)立進(jìn)行處理相互獨(dú)立，每一類樣本可以獨(dú)立進(jìn)行處理9函數(shù)形式已知函數(shù)形式已知參數(shù)確定但未知參數(shù)確定但未知樣本獨(dú)立同分布樣本獨(dú)立同分布類類互不干擾類類互不干擾 設(shè)設(shè) i i類樣本集有類樣本集有 N N 個(gè)樣本個(gè)樣本 它們是獨(dú)立地按照概率密度它們是獨(dú)立地按照概率密度 p(x | p(x | i i ， ) ) 抽取出來的（獨(dú)立同分布樣本）抽取出來的（獨(dú)立同分布樣本

6、） 似然函數(shù)可以表示為：似然函數(shù)可以表示為： 含義：含義：從總體中抽取從總體中抽取 x x1 1,x xN N 這樣這樣 N N 個(gè)樣本的個(gè)樣本的聯(lián)合聯(lián)合概率（可能性）概率（可能性）101,.,NX xx111()(x ,.,x|)(x |). (x|)(x |)NNNkklpppp 最大似然估計(jì)的主要思想最大似然估計(jì)的主要思想 最大似然估計(jì)的主要思想最大似然估計(jì)的主要思想：如果在一次觀察中一個(gè)事件出現(xiàn)了，則如果在一次觀察中一個(gè)事件出現(xiàn)了，則我們可以認(rèn)為這一事件出現(xiàn)的可能性很大?，F(xiàn)在，我們可以認(rèn)為這一事件出現(xiàn)的可能性很大?，F(xiàn)在，樣本集樣本集（x x1 1,x,xN N ）在在一次觀察（從概率總

7、體中抽取一組樣本）中居然出現(xiàn)了，則我們認(rèn)為一次觀察（從概率總體中抽取一組樣本）中居然出現(xiàn)了，則我們認(rèn)為似似然函數(shù)然函數(shù) l() l() 應(yīng)該達(dá)到最大值應(yīng)該達(dá)到最大值 為了便于分析，可以取為了便于分析，可以取似然函數(shù)似然函數(shù)的對(duì)數(shù)，即的對(duì)數(shù)，即 對(duì)數(shù)函數(shù)是單調(diào)增函數(shù)，對(duì)數(shù)函數(shù)是單調(diào)增函數(shù)，H H() () 與與 l l() () 的最大的最大值值點(diǎn)相同點(diǎn)相同11( )ln ( )Hl 求最大似然估計(jì)量的方法求最大似然估計(jì)量的方法 如果如果H H() () 滿足連續(xù)可微滿足連續(xù)可微的的數(shù)學(xué)性質(zhì)，可以直接應(yīng)用高等數(shù)學(xué)的知識(shí)來求數(shù)學(xué)性質(zhì)，可以直接應(yīng)用高等數(shù)學(xué)的知識(shí)來求最最大大值值點(diǎn)點(diǎn)，即求梯度（偏導(dǎo)數(shù)

8、），即求梯度（偏導(dǎo)數(shù)）, ,并并令其等于零，解線性或者非線性方程組令其等于零，解線性或者非線性方程組得到估計(jì)量得到估計(jì)量 假設(shè)：假設(shè)： 有有s s個(gè)參數(shù)個(gè)參數(shù) 梯度算子梯度算子12T1,.,S 1.S 求解過程：求解過程： 131()(x| )Nkklp 11()ln ()ln (x |)()ln (x |)()0NkkNkkHlpHpH 從中求解出從中求解出 的最大似然估計(jì)量的最大似然估計(jì)量 最大似然估計(jì)結(jié)果的分析最大似然估計(jì)結(jié)果的分析可能存在多個(gè)解可能存在多個(gè)解解決方法：使得似然函數(shù)最大的解才是最大似然估計(jì)量解決方法：使得似然函數(shù)最大的解才是最大似然估計(jì)量14 有可能求不出正確的解（比如均

9、勻分布有可能求不出正確的解（比如均勻分布）1512211,(| )0, otherwisep x 21( )ln()HN 12110HN 22110HN 21 12min()max()XX 例：正態(tài)分布函數(shù)的最大似然估計(jì)例：正態(tài)分布函數(shù)的最大似然估計(jì) 單變量正態(tài)分布的概率密度函數(shù)單變量正態(tài)分布的概率密度函數(shù) 要求的未知參數(shù)（均值與方差）要求的未知參數(shù)（均值與方差） 已知已知 ，利用最大似然估計(jì)法，針對(duì)上述樣本集，利用最大似然估計(jì)法，針對(duì)上述樣本集，求出均值與方差的估計(jì)值求出均值與方差的估計(jì)值16 2121(| )exp2xp x T2 T12, , 12,.,NXxxx T2 T12, , 1

10、7 212221122()11222( )ln(|)ln(2) ln(2)kkxkxHp x 1221222()()122ln (|)kkxkxp x 1221222()1()11100kkNxkNNxkk 1()ln (|)0NkkHp x 對(duì)數(shù)似然函數(shù)對(duì)數(shù)似然函數(shù)求偏導(dǎo)數(shù)求偏導(dǎo)數(shù) 1821112121()NkNkNkNkxx 解釋：解釋： 正態(tài)分布總體正態(tài)分布總體均值均值的最大似然估計(jì)量是樣本屬性值的算術(shù)平均（無偏）的最大似然估計(jì)量是樣本屬性值的算術(shù)平均（無偏） 正態(tài)分布總體正態(tài)分布總體方差方差的最大似然估計(jì)量是樣本方差的算術(shù)平均（漸進(jìn)無偏）的最大似然估計(jì)量是樣本方差的算術(shù)平均（漸進(jìn)無偏）

11、 推廣到多元正態(tài)分布推廣到多元正態(tài)分布221211(x)NkNk （無偏）（無偏） 講授提綱講授提綱 問題提出問題提出 最大似然估計(jì)最大似然估計(jì) 基于最大似然估計(jì)的模式分類實(shí)例基于最大似然估計(jì)的模式分類實(shí)例 19 基于最大似然估計(jì)的模式分類實(shí)例基于最大似然估計(jì)的模式分類實(shí)例 20已知條件：已知條件：80條鮭魚，條鮭魚，20條多寶魚條多寶魚對(duì)于寬度特征，兩類魚均服從正態(tài)分布對(duì)于寬度特征，兩類魚均服從正態(tài)分布箱中這條魚的寬度為箱中這條魚的寬度為10cm問題：?jiǎn)栴}：對(duì)箱中的魚進(jìn)行貝葉斯分類決策對(duì)箱中的魚進(jìn)行貝葉斯分類決策？ Step1：數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)準(zhǔn)備 數(shù)據(jù)獲取：對(duì)數(shù)據(jù)獲?。簩?duì)8080條鮭魚和條鮭

12、魚和2020條多寶魚分別測(cè)得他們的寬度值條多寶魚分別測(cè)得他們的寬度值 數(shù)據(jù)預(yù)處理：剔除野值數(shù)據(jù)（如發(fā)育不正常的個(gè)例）數(shù)據(jù)預(yù)處理：剔除野值數(shù)據(jù)（如發(fā)育不正常的個(gè)例） 特征形成：特征形成：每一每一條魚條魚有有兩兩個(gè)數(shù)據(jù)：個(gè)數(shù)據(jù)：類別標(biāo)識(shí)類別標(biāo)識(shí)寬度寬度（特征）（特征）21+1 6.2+1 5.7-1 8.9-1 9.5. Step2 ：類條件概率密度函數(shù)估計(jì)：類條件概率密度函數(shù)估計(jì)22 兩類兩類樣本分別滿足各自的正態(tài)分布，利用最大似然估計(jì)方法分別求出樣本分別滿足各自的正態(tài)分布，利用最大似然估計(jì)方法分別求出鮭鮭魚和多寶魚關(guān)于寬度特征的均值和方差的最大似然估計(jì)量為魚和多寶魚關(guān)于寬度特征的均值和方差的最

13、大似然估計(jì)量為 鮭魚關(guān)于寬度特征的均值和方差的最大似然估計(jì)結(jié)果：鮭魚關(guān)于寬度特征的均值和方差的最大似然估計(jì)結(jié)果： 多寶魚關(guān)于寬度特征的均值和方差的最大似然估計(jì)結(jié)果：多寶魚關(guān)于寬度特征的均值和方差的最大似然估計(jì)結(jié)果：21112121()NkNkNkNkxx 250.05 290.05 Step3：后驗(yàn)概率計(jì)算：后驗(yàn)概率計(jì)算2305101500.050.10.150.20.250.30.350.40.45p(x|w1)p(x|w2)05101500.20.40.60.81p(w1|x)p(w2|x)21( |)()( |)()(| )=( )( |)()iiiiiiiip xpp xppxp xp

14、 xp關(guān)于寬度特征的類條件概率密度曲線關(guān)于寬度特征的類條件概率密度曲線關(guān)于寬度特征的后驗(yàn)概率曲線關(guān)于寬度特征的后驗(yàn)概率曲線 Step4：分類決策：分類決策 當(dāng)黑箱中魚的寬度為當(dāng)黑箱中魚的寬度為10cm10cm時(shí)時(shí)2405101500.20.40.60.81p(w1|x)p(w2|x)決策結(jié)果：該魚為多寶魚決策結(jié)果：該魚為多寶魚 小結(jié)小結(jié) 概率密度函數(shù)估計(jì)的目的與基本概念概率密度函數(shù)估計(jì)的目的與基本概念 目的：用于最小錯(cuò)誤率貝葉斯決策分類目的：用于最小錯(cuò)誤率貝葉斯決策分類 概念：概念： 某類關(guān)于特征某類關(guān)于特征x的概率分布，依據(jù)分布函數(shù)形式是否已知，可將估計(jì)方法分的概率分布，依據(jù)分布函數(shù)形式是否已知，可將估計(jì)方法分為兩類為兩類 最大似然函數(shù)參數(shù)估計(jì)