EM算法在高斯混合模型中的應(yīng)用

1、EM算法在高斯混合模型中的應(yīng)用1. 定義對(duì)于一個(gè)隨機(jī)信號(hào)生成器，假設(shè)他的模型參數(shù)為0,我們能觀測(cè)到的數(shù)據(jù)輸出為X，不能觀測(cè)到的數(shù)據(jù)輸出為Y,且隨機(jī)系統(tǒng)模型結(jié)構(gòu)的概率密度函數(shù)為p(x,y|0)(1)能夠觀測(cè)到的一部分?jǐn)?shù)據(jù)輸出數(shù)據(jù)x,xx，模型的另一部分輸出數(shù)據(jù)12N未知，模型的參數(shù)0也未知。EM算法就是要求我們從觀測(cè)數(shù)據(jù)x,xx中估12N計(jì)出參數(shù)0。2. EM算法的描述假設(shè)每一對(duì)隨機(jī)系統(tǒng)的輸出樣本(x,y)對(duì)于不同的n相互獨(dú)立，這樣當(dāng)nnp(x,y,0)，x和y都已知的情況下，概率p(x,y,0)也已知。未觀測(cè)的輸出y的概率分布也屬于待求參數(shù)0。根據(jù)獨(dú)立性假設(shè)有：p(x,yI0)二廳p(x,yI

2、0)(2)nnn=13. EM算法的基本思路基本問題是求解下面的方程的解：0=argmaxp(x,yI0)(3)由于X是確定量，Y是未知的，因此即使給定了0，也無法求得p(x,yI0)的值，因此我們只能退一步求：0=argmaxp(xI0)(4)其中vvp(x10)=工p(x,y10)=工p(yI0),p(xIy,0)(5)yeYyeY表示考慮了未知數(shù)據(jù)y的所有可能的取值Y后對(duì)p(xIy,0)求平均值。最后根據(jù)log函數(shù)的單調(diào)性得到(4)的等效形式：0=argmaxlogp(xI0)(6)對(duì)于(6)給出的最優(yōu)化問題，考慮用下面的遞推算法解決，即：先給定一個(gè)估值0k并計(jì)算p(x10k)，然后更新

3、0k得到0k+1并且有l(wèi)ogp(xI0k+1)logp(xI0k)(7)logp(xI0)=log=log工yeY工p(yI0)p(xIy,0)p(yI0)p(xIy,0)p(yIx,0k)yeYp(yIx,0k)8)B(0k,0k)=logp(xI0k)9)p(yI0)p(xIy,0)p(yIx,0k)n工p(yIx,0k)logyeYI=B(0,0k)其中，等號(hào)在B(0k,0k)時(shí)成立，即:于是對(duì)logp(xI0)的遞推算法(7)可通過B(0,0k)進(jìn)行，步驟為：1) 令k=0,先給出估值0k2) 然后找出0k+i滿足B(0k+i,0k)B(0k,0k)(10)3) k更新為k+1并返回步

4、驟2)直到收斂令0k+i=argmaxB(0,0k)(11)0k+i=argmaxB(0,0k)=argmax工0.3Y(i)=normrnd(2,sqrt(0.36),1,1);else%高斯混合模型%設(shè)置參數(shù)a的初值%設(shè)置均值p的初值%設(shè)置方差02的初值Y(i)=normrnd(1,sqrt(0.25),1,1);endendA=0.30.7;M=0.81.8;S=0.20.25;forn=1:1000forj=1:2a3=0;a4=0;a5=0;fork=1:10000a1=0;fort=1:2al二A(t)*1/sqrt(2*pi*S(t)*exp(-(Y(k)-M(t)八”(2*S(

5、t)+a1;endf=A(j)*1/sqrt(2*pi*S(j)*exp(-(Y(k)-M(j)A2/(2*S(j);a2=f/a1;a3=a2+a3;%a3對(duì)應(yīng)公式迓p(mIx,0k)nn=1a4=a2*Y(k)+a4;%a4對(duì)應(yīng)公式迓p(mIx,0k)xnnn=1a5=a2*(Y(k)-M(j)A2+a5;%a5對(duì)應(yīng)公式p(mIx,0k)(x一卩k+1)2nnmn=1end%循環(huán)更新系數(shù)值%循環(huán)更新均值值%循環(huán)更新方差值A(chǔ)(j)=a3/10000;M(j)=a4/a3;S(j)=a5/a3;endend運(yùn)行程序，查看變量A,M,S的值，與真實(shí)值比較一下，就可以得到用EM算法估計(jì)的高斯混合模型的性能了。得到參數(shù)為A=0.30630.6937，M=1.00932.0013，S=