概率密函數(shù)的參數(shù)估計(jì)PPT學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1概率密函數(shù)的參數(shù)估計(jì)概率密函數(shù)的參數(shù)估計(jì)ipx第1頁(yè)/共57頁(yè)第2頁(yè)/共57頁(yè),iipx第3頁(yè)/共57頁(yè)121,nniip Dppx xx x 對(duì)數(shù)似然函數(shù)對(duì)數(shù)似然函數(shù)： 1lnlnniilp Dpx 第4頁(yè)/共57頁(yè) argmaxl l 第5頁(yè)/共57頁(yè)11ntiiinxx11niinx第6頁(yè)/共57頁(yè)第7頁(yè)/共57頁(yè)1,Miiiipa px x 高斯混合模型高斯混合模型：GMM，Gauss Mixture Model 1;Miiiipa Nxx ,11Miia第8頁(yè)/共57頁(yè) 0.710,20.3 (5,3)p xNN第9頁(yè)/共57頁(yè)第10頁(yè)/共57頁(yè)第11頁(yè)/共57頁(yè)1211,

2、MMMa aa參數(shù)估計(jì)參數(shù)估計(jì)：已知樣本：已知樣本x1,xn，估計(jì)參數(shù)，估計(jì)參數(shù)。存在的問(wèn)題存在的問(wèn)題：每個(gè)樣本是由哪一個(gè)子集產(chǎn)：每個(gè)樣本是由哪一個(gè)子集產(chǎn)生的未知。生的未知。第12頁(yè)/共57頁(yè)1212xxxnnyyy111111xxxnittnnitttttnntittititttaI yinI yiI yiI yiI yiargmax;,x titiiiya N訓(xùn)練樣本：訓(xùn)練樣本：來(lái)自子類：來(lái)自子類：已知已知y的條件下，參數(shù)的估計(jì)：的條件下，參數(shù)的估計(jì)：已知參數(shù)條件下，已知參數(shù)條件下，y的估計(jì)：的估計(jì)：K-mean算法算法第13頁(yè)/共57頁(yè)111111xxxnittnnitttttnntit

3、tititttaP yinP yiP yiP yiP yi1;,;,x x MtitiiitiiiP yia Na NEM算法算法第14頁(yè)/共57頁(yè)tP yi1211, MMMa aa第15頁(yè)/共57頁(yè)第16頁(yè)/共57頁(yè)p DpX,Y lnllDlp X,YX,Y 似然函數(shù)似然函數(shù)：由于：由于Y未知，在給定參數(shù)未知，在給定參數(shù)時(shí)，時(shí)，似然函數(shù)可以看作似然函數(shù)可以看作Y的函數(shù)：的函數(shù)：第17頁(yè)/共57頁(yè)11,iiQElY X,Y X 1argmaxiiQ 1ln,iEpYX,Y X E步：步：M步：步：第18頁(yè)/共57頁(yè)01iQ 11iiiiQQT 1i1argmaxiiQ 第19頁(yè)/共57頁(yè)第

4、20頁(yè)/共57頁(yè)第21頁(yè)/共57頁(yè)12,TTVv vv 其中的其中的vi為一個(gè)特征矢量，稱為一個(gè)觀察為一個(gè)特征矢量，稱為一個(gè)觀察值。值。第22頁(yè)/共57頁(yè)第23頁(yè)/共57頁(yè) 1TP w t WP w tw t 1jiijP w tw ta第24頁(yè)/共57頁(yè)i,A1,M111212122212MMMMMMaaaaaaAaaa第25頁(yè)/共57頁(yè)5111133112P Wa a a a第26頁(yè)/共57頁(yè)第27頁(yè)/共57頁(yè)第28頁(yè)/共57頁(yè)第29頁(yè)/共57頁(yè), A B第30頁(yè)/共57頁(yè)第31頁(yè)/共57頁(yè) max1,rTTTTrrrP VP VWP Wrmax=MT為為HMM所有可能的狀態(tài)轉(zhuǎn)移序列數(shù)；所

5、有可能的狀態(tài)轉(zhuǎn)移序列數(shù)； 為狀態(tài)轉(zhuǎn)移序列為狀態(tài)轉(zhuǎn)移序列 輸出觀察序列輸出觀察序列 的的概率；概率； 為為 狀態(tài)轉(zhuǎn)移序列狀態(tài)轉(zhuǎn)移序列 發(fā)生的概率。發(fā)生的概率。 ,TTrP VWTrP WTrWTVTrW第32頁(yè)/共57頁(yè) 112231rrrrrrrTrwwwwww Tw TP Waaa 12,12rrrTTrwww TP VWbvbvbv T max11122112rrrrrrTwwwwwrP Vbvabv 1rrrwTwTwTabv TTO M T第33頁(yè)/共57頁(yè)第34頁(yè)/共57頁(yè) 11,1,iiib viM 111 ,1,Mijjiijtt ab v tiM 1MTiiP VT計(jì)算復(fù)雜度：

6、計(jì)算復(fù)雜度：2O M T第35頁(yè)/共57頁(yè)法。第36頁(yè)/共57頁(yè) ti2.2.初始化：初始化：3.3.迭代計(jì)算迭代計(jì)算：4.4.結(jié)束：結(jié)束：5.5.路徑回朔路徑回朔： 11,1,iiibviM 10i 11max1 ,1,ijjiij Mtt ab v tiM 11argmaxijjij Mtt a *1max,Tjj MPVT *1argmaxjj MwTT *11wtwtt第37頁(yè)/共57頁(yè)第38頁(yè)/共57頁(yè)1212,nTTTnVVVV如何確定最優(yōu)的模型參數(shù)如何確定最優(yōu)的模型參數(shù)，使得模型產(chǎn)生，使得模型產(chǎn)生訓(xùn)練集合訓(xùn)練集合V V的聯(lián)合概率最大的聯(lián)合概率最大max P V這同樣是一個(gè)最大似然

7、估計(jì)問(wèn)題，需要采用這同樣是一個(gè)最大似然估計(jì)問(wèn)題，需要采用EMEM算法。算法。第39頁(yè)/共57頁(yè)第40頁(yè)/共57頁(yè)1it jt 11iiib v1121Mijjiijttab v t 1jT 111Mjjiijitatbv t第41頁(yè)/共57頁(yè) 1iijjjijTta bv tttP V第42頁(yè)/共57頁(yè) 11Miijj 111TijtijTMiktktat 1,111kTMiltv tvlikTMiltltb vt 第43頁(yè)/共57頁(yè)第44頁(yè)/共57頁(yè)123第45頁(yè)/共57頁(yè)1234第46頁(yè)/共57頁(yè)第47頁(yè)/共57頁(yè)第48頁(yè)/共57頁(yè) ,pDpD dppD dxx x 識(shí)別過(guò)程識(shí)別過(guò)程：類條

8、件概率密度的計(jì)算：類條件概率密度的計(jì)算 11niiniippp DppDp Dpdppdx x 學(xué)習(xí)過(guò)程學(xué)習(xí)過(guò)程：參數(shù)后驗(yàn)概率密度的估計(jì)：參數(shù)后驗(yàn)概率密度的估計(jì)第49頁(yè)/共57頁(yè)2,p xN 已知概率密度函數(shù)滿足正態(tài)分布，其中方已知概率密度函數(shù)滿足正態(tài)分布，其中方差差2 2已知，均值已知，均值未知，假設(shè)未知，假設(shè)的先驗(yàn)概的先驗(yàn)概率滿足正態(tài)分布，即：率滿足正態(tài)分布，即： 200,pN 第50頁(yè)/共57頁(yè) 1niip DppDp xpp Dpd202222100111exp22niinx經(jīng)推導(dǎo)可得，在已知訓(xùn)練樣本集合經(jīng)推導(dǎo)可得，在已知訓(xùn)練樣本集合D的條件的條件下，參數(shù)下，參數(shù)的分布：的分布：211exp22nnn第51頁(yè)/共57頁(yè)2200222200nnnnn11nniixn2220220nn 第52頁(yè)/共57頁(yè)第53頁(yè)