EM（最大期望算法）極大似然估計.ppt

1、EM（最大期望算法）,Expectation-maximization algorithm,極大似然估計 EM算法,極大似然估計方法是一種參數(shù)估計方法 是已知某個隨機樣本滿足某種概率分布，但是其中具體的參數(shù)不清楚，參數(shù)估計就是通過若干次試驗，觀察其結(jié)果，利用結(jié)果推出參數(shù)的大概值 原理：一個隨機試驗如果有若干個可能的 結(jié)果A，B，C，。若在一次試驗中，結(jié)果A出現(xiàn)，則一般認為試驗條件對A出現(xiàn)有利，也即A出現(xiàn)的概率很大 思想：已知某個參數(shù)能使這個樣本出現(xiàn)的概率最大，我們當(dāng)然不會再去選擇其他小概率的樣本，所以干脆就把這個參數(shù)作為估計的真實值,極大似然估計,極大似然估計,設(shè)總體X是離散型隨機變量，其分布

2、中含有未知參數(shù)，設(shè)x （x1，x2.xn）是取自總體X的一個樣本，（x1，x2.xn）是其觀察值。則取到這組樣本觀察值的概率是： 定義似然函數(shù)為： 這里x1，x2.xn是觀測值，且獨立同分布，L()看做參數(shù)的函數(shù)，它可作為已多大可能性產(chǎn)生樣本值X1，X2，.Xn的一種度量,極大似然估計,最大似然估計法就是使用L（）達到最大值的 去估計 稱 為的最大似然估計值。而相應(yīng)的統(tǒng)計量（X1，X2，.Xn）稱為的最大似然估計量。 同理，設(shè)總體X是連續(xù)型隨機變量，密度函數(shù)為f(x;),其中為未知參數(shù)，則定義似然函數(shù)為：,極大似然估計,上式，其中x1，x2.xn是樣本觀察值，,稱 為的最大似然估計值。而相應(yīng)的

3、統(tǒng)計量（X1，X2，.Xn）稱為的最大似然估計量。,求最大似然函數(shù)估計值的一般步驟 1寫出似然函數(shù)L（） 2對似然函數(shù)取對數(shù)，并整理lnL() 3求導(dǎo)數(shù)令導(dǎo)數(shù)為0，得到似然方程 4解似然方程，得到的參數(shù)即為所求,極大似然估計,EM算法Expectation-maximization algorithm,EM算法是一種基于模型的聚類算法,假設(shè)樣本分布符合高斯混合模型，算法目的是確定各個高斯部件的參數(shù)，充分擬合給定數(shù)據(jù)，并得到一個模糊聚類，即每個樣本以不同概率屬于每個高斯分布，概率數(shù)值將由以上各個參數(shù)計算得到， EM算法廣泛地應(yīng)用于擬合數(shù)據(jù)缺損的混合分布。 在求最大似然估計(MLE)時，當(dāng)分布中有

4、多余參數(shù)或數(shù)據(jù)為截尾或缺失，其MLE的求取是比較困難的，于是提出EM算法，其出發(fā)點是把求極大似然估計的過程分兩步走，第一步求期望即E，以便把多余的部分去掉。第二步求極大值即M。,EM算法Expectation-maximization algorithm,設(shè)一次實驗可能有四個結(jié)果，其發(fā)生的概率分別為 其中 (0,1) ，現(xiàn)進行了197次試驗，四種結(jié)果的發(fā)生次數(shù)分別為75，18，70，34，求MLE（極大似然估計） 解：以y1,y2,y3,y4表示四種類結(jié)果發(fā)生的次數(shù)，此時總體分布為多項分布，故其似然函數(shù):,EM算法Expectation-maximization algorithm,要求解的M

5、LE，由于其對數(shù)似然方程是一個三次多項式，就引入兩個變量z1,z2后使得求解要變得容易?，F(xiàn)在假設(shè)第一種結(jié)果可分成兩部分，其發(fā)生的概率分別為 令z1和y1-z1分別表示落入這兩部分的次數(shù)；再假設(shè)第三種結(jié)果分成兩部分，其發(fā)生的概率分別為 令z2和y3-z2分別表示落入這兩部分的次數(shù)。顯然z1,z2是我們認為引入的，它是不可觀測的，數(shù)據(jù)（y , z）為完全數(shù)據(jù)，而觀測到的數(shù)據(jù)稱之為不完全數(shù)據(jù)，此時完全數(shù)據(jù)的似然函數(shù)為：,EM算法Expectation-maximization algorithm,其對數(shù)似然為：,如果（y,z）均已知，則上式很容易求得MLE，但遺憾的是我們知道y,不知道Z，但當(dāng)y以及

6、已知時， 于是分兩步進行迭代求解，即E步，M步。 E步：在已有觀測數(shù)據(jù)y以及第i步估計值=(i)的條件下，求基于完全數(shù)據(jù)的對數(shù)似然函數(shù)的期望（即把其中的與z有關(guān)的部分積分掉）：Q( |y,(i)）=Ezl(;y , z),EM算法Expectation-maximization algorithm,M步：求Q （|y,(i)）關(guān)于 的最大值（i+1）,即找 （i+1）使得Q（i+1）|y,(i)）=max Q（|y,(i)）這樣就完成了由( i )到（i+1）的一次迭代。重復(fù)上式兩個步驟，直至收斂即可得到的MLE。 對于本例，其E步為：,EM算法Expectation-maximization algorithm,其M步即為上式兩邊關(guān)于求導(dǎo)，并令其等于0，即 解之，得如下迭代公式。開始時可取任意一個初始值進行迭代。,EM算法Expectation-maximization algorithm,說明： 以Z1為例，以A1表示第