基于EM算法的混合模型參數(shù)估計

1、精選優(yōu)質(zhì)文檔-傾情為你奉上精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)基于EM算法的混合模型參數(shù)估計作者：樊菊蘭來源：科教導刊電子版2018年第06期摘 要 有限混合模型是用于分析復雜問題的一個有效的建模工具。在諸多的混合模型中，混合高斯模型的應用更為廣泛，尤其是在圖像處理、人臉識別、通信和信號處理等。理論及數(shù)值試驗充分證明：混合高斯分布模型能夠逼近任何一個光滑分布，而對該模型參數(shù)的有效估計是準確分析、模擬復雜問題的必要前提。EM算法自從提出，就已成為一種非常流行地處理不完全數(shù)據(jù)的極大似然估計的方法。恰好我們經(jīng)常處理的樣本數(shù)據(jù)集通?？煽醋?/p>

2、是不完全數(shù)據(jù)，進而EM算法就為混合高斯模型的參數(shù)估計提供了一種標準框架。關(guān)鍵詞 EM算法 R軟件 混合模型 高斯混合 參數(shù)估計中圖分類號：O212 文獻標識碼：A0引言EM 算法就是一種一般的從“不完全數(shù)據(jù)”中求解模型參數(shù)的極大似然估計的方法，它是在觀察數(shù)據(jù)的基礎上添加一些“潛在數(shù)據(jù)”，從而簡化計算并完成一系列簡單的極大化或模擬。EM 算法的每一步迭代中包括一個 E 步期望步（Expectation Step）和一個M 步極大似然步（Maximum Likelihood Step）。算法的優(yōu)勢在于它在一定意義下可靠地收斂到局部極大，也就是說在一般條件下每次迭代都增加似然函數(shù)值，當似然函數(shù)值是有

3、界的時候，迭代序列收斂到一個穩(wěn)定值的上確界。缺點是當缺失數(shù)據(jù)比例較大時候，它的收斂比率比較緩慢?；旌戏植际怯邢迋€分布的組合，它綜合了各個分支的性質(zhì)和特點，它具有許多優(yōu)勢：（1）可以用來模擬復雜的數(shù)據(jù)或問題。由于混合模型擁有許多不同類型的混合形式，有相同總體的混合，也有各種不同總體的混合。因此，可以根據(jù)數(shù)據(jù)的不同情況，來選擇與之相符的混合模型來進行模擬。（2）為同性質(zhì)和異性質(zhì)的模擬提供了一個方法。當m= l時，該模型就是一個單一分布。當ml時，它就是分布的線性組合。在現(xiàn)實生活中，許多現(xiàn)象都非常復雜，不同元素往往具有各不相同的性質(zhì)，這時，混合模型是一個最合適的工具，因為它可以把元素所滿足的分布都綜

4、合起來，組合成一個新的分布，在這個新的混合分布的基礎上，再進行下一步的分析。它具比單一分布有更多的益處。綜上所述，混合分布可以對大量的數(shù)據(jù)進行有效的模擬，尤其是在對數(shù)據(jù)先驗知識了解較少的情況下，混合分布是一個很好的選擇，它更加靈活、有效。1同分布同類型的混合分布一種類型的混合分布有：二項分布，指數(shù)分布，泊松分布，正態(tài)分布等等。下面我們以二項分布和正態(tài)分布為例研究混合分布的EM算法的過程。1.1 L階混合二項分布參數(shù)估計的EM算法L階混合二項分布的概率密度函數(shù)為其中，且為未知參數(shù)。現(xiàn)在設是來自于混合二項分布的樣本。我們的目的是求未知參數(shù)的極大似然估計。為此先考査其對數(shù)似然函數(shù)不難看化直接求它的最

5、大值點很難，我們下面將推導該問題的EM算法：引入潛在變量，其中，且相互獨立，是取值為0或1的指示變量，表示來自于第j個分支密度，且1.2 M階混合正態(tài)分布（高斯分布）的EM算法估計隨著社會、科學的不斷發(fā)展，混合模型已經(jīng)越來越被大家熟悉和認識。有限混合高斯分布的以其獨有的特性更是被大家熟知，并被用于實際生活中的各個領域。根據(jù)混合模型的介紹我們可以知道，有限混合正態(tài)分布就是有限個（2個或2個以上）正態(tài)分布的加權(quán)組合。它們的組合具有比單一高斯分布更豐富的性質(zhì)和特點，并且當混合正態(tài)分布的階數(shù)不斷增加時，它可以逼近任何連續(xù)的概率分布。正因為如此，它的應用非常廣泛，如在股票、金融、證券、醫(yī)藥、農(nóng)業(yè)等領域都

6、可以用到它。如今，利用它對數(shù)據(jù)進行擬合，即對其參數(shù)的估計已經(jīng)成為人們非常關(guān)心的問題。每個分支都有兩個參數(shù)需要估計，并且待估計參數(shù)的先驗分布也比較復雜。1.2.1當M己知時，用EM算法估計參數(shù)1.2.2當M未知時，基于聚類的EM算法以上的EM算法是設定混合元個數(shù)在計算過程中是不變的，而在實際應用中，混合高斯模型中的混合元個數(shù)M一般未知。下面就M未知時給出一種參數(shù)估計方法，該方法是建立在聚類算法和EM算法基礎上的一種方法，即初始狀態(tài)的混合元數(shù)比最終得到的混合元數(shù)要大（通常情況下將初始混合數(shù)設定為最終混合數(shù)的兩倍以上能得到比較好的結(jié)果）。這樣，在建模過程中可以將相近的兩個高斯分量并為一個聚類，然后在

7、重新有EM算法進行建模，以此往復，最終得到想要的混合數(shù)，具體步驟如下（1）設置初始混合數(shù)（一般將初始混合數(shù)設置為目標混合數(shù)的兩倍以上）。（2）用以上方法算得到元混合高斯分布參數(shù)估計為。（3）尋找相近（指均值和方差接近）的兩個高斯分量，將它們合并成一個新的高斯分量，并且將混合數(shù)減1。合并規(guī)則如下：設兩個相近高斯分量的參數(shù)分別為和，合并后新的高斯分量的參數(shù)為，則（4）這時混合個數(shù)減小一個，返回步驟（2）進行EM算法估計，依次下去直到混合數(shù)達到需要的混合數(shù)M即可?；诰垲惖腅M算法在識別率上有所提高，而且其實際運算速度也加快了。這是因為在將聚類算法融合進來以后，相似的高斯分量合并在一起，因而提高了識

8、別率；并且通過不斷地合并相似的高斯分量，使EM算法的收斂速度加快，迭代次數(shù)降低，從而提高了運算效率.聚類方法的選取和聚類數(shù)目的判定是聚類分析中經(jīng)常遇到的兩大問題一般說來，混合元個數(shù)越大，用樣本對總體擬合度越高，但是計算越復雜，如何選取合適的混合元個數(shù)很關(guān)鍵，混合模型聚類常通過貝葉斯信息準則（BIC）選擇模型。計算不同模型的BIC值，一般情況下模型的BIC值越大，該模型就越符合實際。BIC值的計算依賴于模型的參數(shù)估計，因此EM算法直接影響B(tài)IC值的計算。1.2.3基于EM算法的實例以3分支混合高斯分布模型為例做模擬試驗來說明EM算法估計混合高斯模型參數(shù)的具體過程并且驗證該算法的可行性，實驗步驟如

9、下：（1）按照上述產(chǎn)生隨機樣本點的方法隨機產(chǎn)生2000個三分支二維混合高斯分布模型的樣本點。（2）設定EM算法迭代計算過程中所涉及到的各參數(shù)的初始值，在本試驗中初始值的選擇為：先對混合比例執(zhí)行平均分配原則，各分支的均值從各樣本的最大值與最小值之間隨機產(chǎn)生，各分支參數(shù)的初始值及估計結(jié)果如下：從上表可以看出，通過大樣本的數(shù)值模擬試驗，證實了用EM算法對混合高斯分布模型的概率密度函數(shù)做參數(shù)估計時，其收斂速度比較快。尤其是在大樣本的情況下，其估計結(jié)果更加接近參數(shù)的真值。2結(jié)語EM算法可通過對不完全數(shù)據(jù)進行擴充之后成為完全數(shù)據(jù)，再對參數(shù)進行極大似然估升，使得分析的結(jié)果更加有效。參考文獻1 肖枝洪，朱強.統(tǒng)計模擬及其R實現(xiàn)M.武漢：武漢大學出版社，2010.2 連軍艷. EM算法及其改進在混合模型參數(shù)估計中的應用研究D.西安：長安大學， 2006.3 王愛平，張功營，劉方. EM算法研究與應用J.計算機技術(shù)與發(fā)展， 2009，19（09）：108-110.4 楊基棟.EM算法理論及其應用J.安慶師范學院學報（自然科學版），2009，15（04）： 30-35.5 張士峰，混合正態(tài)分布參數(shù)極大似然估計的EM算法J.飛行器測控學報，2004，23（04）：47-52.6 Dempster，A.P.&D.B.Ru