《EM算法簡介分析綜述》8000字

EM算法簡介分析綜述目錄TOC\o"1-2"\h\u24183EM算法簡介分析綜述 1297441.1算法概述 1234471.2最大似然估計 2302981.3Jensen不等式 356041.4EM算法推導(dǎo) 4250361.5EM算法的改進 589721.5.1改進E步 5192781.5.2改進M步 6157951.6算法步驟 10223911.7EM算法估計GMM參數(shù) 10245801.7.1混合模型 1027541.7.2單高斯模型 10111441.7.3高斯混合模型 111.1算法概述EM(expectation-maximization)算法，即期望最大化算法。最大期望算法是一種利用極大似然估計求取參數(shù)的優(yōu)化參數(shù)算法。其最大的特點是可以進行極大似然的估計非完整的數(shù)據(jù)集中的參數(shù)，主要應(yīng)用于處理截尾數(shù)據(jù)，殘缺數(shù)據(jù)和一些被污染的數(shù)據(jù)來說是效果突出的。通過以上描述，我們可以得知EM算法的幾個優(yōu)點，EM算法本身簡單，收斂穩(wěn)點，可以估計非完整數(shù)據(jù)。但是也會帶來一些問題，比如收斂速度較慢，容易陷入局部最優(yōu)值。EM算法來源于數(shù)據(jù)統(tǒng)計領(lǐng)域，其中非常熱門的領(lǐng)域有極大似然估計和貝葉斯統(tǒng)計，從算法上分析來說貝葉斯統(tǒng)計和極大似然估計的計算過程存在部分相似，比如極大似然函數(shù)估計在計算的方法，與貝葉斯的后驗概率的計算是近乎相同的。在學(xué)習(xí)統(tǒng)計之后，我們可以了解到，貝葉斯是分為兩種的大類的，一種是擁有顯式的后驗分布，可以應(yīng)用于似然函數(shù)的計算；另外一種是數(shù)據(jù)增添的方法，但數(shù)據(jù)處理會遇到問題，數(shù)據(jù)會存在缺失或者需要計算的似然函數(shù)非顯性，這時候就可以應(yīng)用數(shù)據(jù)增添，它可以通過增加”潛在數(shù)據(jù)”的方式，使我們?nèi)笔У臄?shù)據(jù)得到補充，完成極大化的工作。EM算法就是我們常用的一種數(shù)據(jù)添加法，將在下面詳細介紹。幾十年前，當時正處于數(shù)據(jù)快速增長得信息爆炸時代，這對處理信息能力提出了巨大挑戰(zhàn)。存在的問題不僅信息量大，還有信息不完善的問題，面對這些問題，專家學(xué)者們提出了很多方案，但是最終還是EM算法成為了處理這些問題的第一選擇。最主要的原因在于EM算法運用數(shù)據(jù)增添的方法，通過引入數(shù)據(jù)，降低問題復(fù)雜度，減少了數(shù)據(jù)缺失帶來的影響，相較于當時流行的神經(jīng)網(wǎng)絡(luò)擬合，填補法，卡爾曼濾波法能夠有效的解決我們的問題。這種簡化策略，為處理信息的效率帶來了不可忽視的影響。并且這種算法步驟簡單，可以很可靠的找到最優(yōu)的收斂值，。理解EM算法的作用，首先要理解“潛在數(shù)據(jù)”?！皾撛跀?shù)據(jù)”是比較難以直接觀測的數(shù)據(jù)，但包含“潛在數(shù)據(jù)”的數(shù)據(jù)組本身并未缺失。為了方便處理這類問題，通常會添加額外的變量，讓此類問題變得更容易處理。下面舉一個簡單的例子：假設(shè)數(shù)據(jù)X是已知的觀測數(shù)據(jù)，數(shù)據(jù)Y是一組缺失的或者為觀測完全的數(shù)組，Z是由XY聯(lián)合觀測得到的，即Z=(X，Y)為完全數(shù)據(jù)。考慮解決這個問題，如果我們從數(shù)據(jù)X出發(fā)，對其進行最大似然估計，就不得不考慮數(shù)據(jù)缺失帶來的影響。所以我們應(yīng)該從Y，Z的概率密度入手。EM算法就是利用這個原理，通過比較容易獲得的數(shù)據(jù)，繞過了P(0|X)數(shù)據(jù)不完整的陷阱。盡管有很多好處，我們也應(yīng)該注意到EM算法也存在有以下缺點:一、如果數(shù)據(jù)缺失量大，計算這些缺失數(shù)據(jù)就需要更多時間，收斂的速度較慢。二、EM算法中的E步的期望顯式的獲得收到制約，有時候并不能得出E步需要的結(jié)果。三、受制于似然函數(shù)的估計的局限，在一些較為復(fù)雜情況下，要完成算法中的M步難度較大。1.2最大似然估計通過學(xué)習(xí)最大似然估計問題，我們可以了解EM算法的基本思想。舉一個簡單的例子，一個信息處理問題可以表述為，已知一個概率密度函數(shù)p()，其中θ為參數(shù)集。這里假設(shè)概率密度函數(shù)的形式已知，未知的只是參數(shù)。例如，對于高斯分布，p為高斯概率密度函數(shù)，θ為均值和方差。假定我們已有從分布p中抽取出的長度為N的數(shù)據(jù)，即X=。如果這些數(shù)據(jù)都是獨立同分布，其概率密度由下式給出:(1.1)我們稱函數(shù)為似然函數(shù)，或稱是給定數(shù)據(jù)的參數(shù)似然?？蓪⑹阶铀迫豢醋魇枪潭〝?shù)據(jù)集X關(guān)于參數(shù)θ的函數(shù)。在極大似然估計問題中，目標是得出能最大化的θ。也就是，希望找到滿足下式的。(1.2)為了方便計算和分析，通常也最大化的對數(shù)，即log()，稱為對數(shù)似然，記為。p()的形式?jīng)Q定了極大似然估計問題求解的難易程度。例如，如果p()只是單變量高斯分布，那么θ=，運用數(shù)學(xué)知識，可以對log()求導(dǎo)并令其等于0，直接可以解出μ和。但是，實際問題往往更復(fù)雜，不能簡單的取求解，只能借助EM算法及類似方法進行簡化計算。作為一種基本方法的EM算法，采取的方法是搜尋潛在概率分布參數(shù)的極大似然估計，以補全不完全數(shù)據(jù)或有缺失數(shù)據(jù)的給定數(shù)據(jù)集。EM算法有兩種主要應(yīng)用場景，第一種是數(shù)據(jù)有缺失值，這種確實是由于測量技術(shù)的限制或其他原因而導(dǎo)致。第二種是簡化似然函數(shù)?？梢约僭O(shè)存在缺失(隱含)的參數(shù)，然后對于當前分析困難的似然函數(shù)進行簡化。這種簡化的方法在圖形處理應(yīng)用上更為普遍。1.3Jensen不等式先定義凸函數(shù)的概念。假設(shè)一個定義域為實域的函數(shù)f，如果對于所有的實數(shù)x，都有二階導(dǎo)數(shù)f"(x)≥0，則f為凸函數(shù)。對于向量x，如果其Hessian矩陣(二階偏導(dǎo)數(shù)構(gòu)成的方陣)H是半正定的，即H≥0，則f為凸函數(shù)。如果f"(x)>0或H>0，則稱f為嚴格凸函數(shù)。Jensen不等式可表述為:如果f為凸函數(shù)，X為隨機變量，則E[f(X)]≥f(EX)。為簡化書寫，將f(E[X])簡寫為f(EX)。特別地，如果f為嚴格凸函數(shù)，則當且僅當p(x=E[X])=1，即X為常量時，有E[f(X)]=f(EX)。Jensen不等式用圖來表示更為清晰。如圖4-1所示，曲線所表示f為凸函數(shù)，X為隨機變量，x取值為的概率為，取值為的概率為=1-。X的期望E[X]就在和之間且E[X]=，f(EX)位于凸函數(shù)f上，E[f(X)]就在f()和f()連線上，E[f(X)]=?？梢钥吹?，E[f(X)]≥f(EX)成立。圖3-1圖解Jensen不等式上圖的E[f(X)]≥f(EX)可寫為：(1.3)可將上式推廣至更一般的形式。如果滿足=1，則(1.4)即(1.5)如果使用g()來替換，可得:(1.6)將Jensen不等式在凹函數(shù)上進行應(yīng)用，凸函數(shù)與不等號方向相反，即f(EX)]≥E[f(X)。1.4EM算法推導(dǎo)對于N個訓(xùn)練樣本，每個樣本都對應(yīng)一個隱含的類別。我們的目標是找到隱變量，使得p(x,z)最大，其極大似然估計為:(1.7)其中，為對數(shù)似然函數(shù)。由于對數(shù)log內(nèi)有求和運算，并且有隱變量，直接求解似然函數(shù)并不容易。如果能夠確定，求解就變得相對容易。EM算法適合優(yōu)化含有隱變量的問題，基本思路是:既然無法直接極大化，可以先使用E步驟來不斷建立的下界，然后用M步驟來優(yōu)化提升的下界，進行重復(fù)迭代。對于任意的第i個樣本，用來表示該樣本的隱變量的某種分布，必須滿足的條件為。這里假設(shè)為離散型，如果為連續(xù)型，那么q應(yīng)為概率密度函數(shù)，我們可以將求和符號進行改寫，變?yōu)榉e分符號。對數(shù)似然函數(shù)可以表示為:(1.8)其中，上式利用了Jensen不等式。由于log(x)的二階導(dǎo)數(shù)為-1/，小于0，因此為凹函數(shù)，根據(jù)凹函數(shù)的Jensen不等式，有:上述過程可以看作是對求下界。分布有多種可能的選擇，需要選擇更好的。假設(shè)О已知，的值就由和p決定，可以通過迭代計算擬合這兩個概率使下界不斷向上提高，以逼近的真實值。當不等式變成等式，迭代過程終止。說明計算的值能夠等價于。要讓等式成立，根據(jù)Jensen不等式，需要將隨機變量變成常數(shù)，即:(1.9)其中，c為常數(shù)。對不依賴于的常數(shù)c，選擇≈p就能讓上式成立。我們已經(jīng)知道是一種分布，滿足=1，可推出下式:(1.10)這樣，就可以簡單設(shè)置為給定和參數(shù)θ后的后驗分布。至此，我們已經(jīng)知道如何設(shè)置，這就是E步驟，它建立了的下界。下面的M步驟就是在給定后，調(diào)整參數(shù)θ來極大化的下界。重復(fù)執(zhí)行上述兩個步驟就是EM算法的核心步驟。1.5EM算法的改進通過對于EM算法的基礎(chǔ)了解，我們知道了EM算法的最大優(yōu)點就是執(zhí)行夠簡單，上升的算法穩(wěn)定，可以得到似然函數(shù)最優(yōu)解或者是局部最優(yōu)解。因此，EM算法在工程實踐中擁有極強可操作性和廣泛地適用性，但是面對上面提出的三個主要問題，我們希望找到一些解決方法。所以接下來將介紹一下為了將EM算法應(yīng)用實踐能力的提升,專家學(xué)者們進行了那些研究。對于EM算法的改進將為兩部分,第一部分是介紹E步算法改進,另一部分是M步算法的改進。1.5.1改進E步在之前的介紹中，面對簡單問題，E步所需要求解的問題可以直接解決。,但是面對復(fù)雜問題，E步的計算想要在已知的非完整的數(shù)據(jù)的條件下，對于”缺失數(shù)據(jù)”求期望，再根據(jù)所求的期望，進行似然函數(shù)的估計。這個問題的重點是在求期望的過程中對于非完全數(shù)據(jù)的計算，因為在這種情況下顯式是難以通過期望輕易求取的，這種情況大大限制了算法的適用性。因此就有一些學(xué)者提出了MCEM算法的產(chǎn)生，這個方法主要利用近似的手段進行求解問題，下面將詳細的闡述下這個算法:在計算過程中,第k+1個E步被下面兩個步驟取代:E1:構(gòu)成獨立同分布的缺失數(shù)據(jù)集，從(y|x,)中隨機抽取個數(shù),將這m(k)個作為數(shù)據(jù)的添加，用來求解問題，這樣我們就有一個新的數(shù)據(jù)集z(j)=(x,)李柏椿.EM算法及其改進算法在參數(shù)估計中的研究[D].2017。李柏椿.EM算法及其改進算法在參數(shù)估計中的研究[D].2017E2:計算下面的公式:(1.11)計算上面的兩步驟，利用Monte,Carlo估計得到的結(jié)論，在M步中對Q(θ|θ(k))的進行極大化求解,從而得到θ(k+1)代替θ(k).MCEM算法的實踐中有幾個需要注意的問題:一、如何確定m(k),m(k)的選擇很大程度上決定了MCEM算法的結(jié)果精度,想要提升精度，就不得不選擇更多m(k)，舉一個極端的例子，如果選擇m(k)選擇數(shù)量多到和集合Y一樣，就等同于并未做優(yōu)化，所以m(k)個數(shù)的選擇成為了算法速度提升的關(guān)鍵點。一般使用的策略是在算法開始前選擇較小m(k)，在經(jīng)過初始判斷后逐漸增大m(k)，直到選取到合適值，這樣的策略更有利于以上兩步優(yōu)化效果的發(fā)揮。二、判斷算法收斂性。根據(jù)上述理論，我們可以看出MCEM算法和EM算法收斂方式不同，通過MCEM算法得到的θ(k)只能在理想最大值周圍波動，不會像EM算法一樣收斂，隨著迭代的進行，這種波動也不會變小張宏東.EM算法及其應(yīng)用[D].2017。所以在MCEM算法中，要有好的閾值判定MCEM張宏東.EM算法及其應(yīng)用[D].20171.5.2改進M步介紹完E步改良后，我們也應(yīng)當提升M步效率。回歸到算法本身，EM算法優(yōu)勢就在于簡化極大似然估計，在不完整數(shù)據(jù)的條件下，對Q(θ|θ(k))進行極大化計算。其原理在于完全數(shù)據(jù)下的似然計算)與Q(θ|θ(k)基本一致。然而，在比較復(fù)雜情況下,M步的計算過程并不容易，對于Q(θ|θ(k))的求解難度較大。通過不斷地努力研究，算法工程師提出了多種改進策略，以提升M步的效率。第一個有效的方法是減少M步的出現(xiàn)次數(shù)。通過主動選擇在每次M步計算中提升Q函數(shù)的值，即Q(θ(k+1|θ(k))>Q(θ(k)|θ(k))，而不是極大化Q函數(shù)，這樣可以減少M步的迭代?；谶@個原理提出了GEM算法，GEM算法增大似然函數(shù)的值，將其運用于每個迭代步驟中，但由于缺少函數(shù)增大的數(shù)據(jù)采集完善，所以收斂性難以得到保證。經(jīng)過不斷研究1993年，Men和Rubin提出了ECM算法，這種算法是GEM算法的一種優(yōu)化提升，有更廣泛的應(yīng)用空間。為了避免出現(xiàn)迭代的M步，ECM算法用來代替M步的基本思路是進行拆分。這種拆分的具體方法是用幾個簡單的的條件極大化(CM)步進行替代原本的步驟，它用算法設(shè)計的一個簡單的優(yōu)化問題代替p求函數(shù)Q的極大化，一次CM循環(huán)包括這一系列初級的條件極大化步驟，經(jīng)過這樣的替換之后，ECM算法也就等同于k次CM迭代與E步迭代的組合。上文說到的CM循環(huán)的步驟有如下兩步:每個CM循環(huán)里CM步的個數(shù)用N表示，迭代次數(shù)從1一直增加到N，對于第k次迭代過程的第k次CM循環(huán)，有以下限定：(1.12)θ(k+(s-1)/s)是第k次CM循環(huán)的第n個CM步得到的值，下一步求函數(shù)Q(θ|θ(k))的最大化。經(jīng)過S次CM步的循環(huán)計算后，進行下一次EM步循環(huán)的同時。令θ(k+l)=θ(k+n/N)。因為每一次CM步都增加了函數(shù)Q，Q(θ(k+n/N)|θ(k))>Q(θ(k)|θ(k))，所以顯然ECM算法是GEM的一個子類。同GEM一樣，為了保證算法的收斂性，需要確保每次的CM步的循環(huán)都是在任意的方向上搜索函數(shù)Q(θ|θ(k))的最大值點。才能使p的原始空間上進行極大化應(yīng)用于ECM算法那，最終收斂與一個穩(wěn)定的極大值點和EM算法一樣，并且有相同的收斂域。脫胎于GEM算法的ECM算法對于收斂到全局極大點或者局部最優(yōu)值也不能做出保證。與EM算法相似，對于收斂速度進行考慮，ECM算法的全局收斂速度表示如下:(1.13)通過計算看出，ECM算法要比EM算法快，主要是因為迭代次數(shù)的減少而在迭代速度方面，EMC與常規(guī)的EM算法迭代速度近乎一樣。但是矩陣()的最大特征值等于迭代算法的收斂率P，由于缺失信息比例越大也會讓P值相應(yīng)增加，收斂速度因此變慢，因此1-P就是ECM算法的收斂速度。由理論可以看出，我們?nèi)孕枰獜娀疎CM步驟中的技巧，完成更好的EMC結(jié)構(gòu)構(gòu)建。例如可以對需要對限制條件進行選擇。根據(jù)上述算法的把θ均勻分割為N個，寫作子向量θ=(,,,…,)。然后在第S個CM步中，為求函數(shù)Q的極大化，可以固定θ其余的元素。這相當于用g(θ)=(,,,…,)作為約束條件。這種方法被稱為條件迭代策略。通過以上描述，可以總結(jié)ECM算法的優(yōu)點:在一定條件下CM循環(huán)通常能簡化計算，降低運算的代價。作為ECM的升級，ECME算法在1994年被Lin和Rubin提出來，ECME算法簡化了某些CM步，作為ECM算法的一種升級方案，在CM步極大化的基礎(chǔ)上，ECME發(fā)展處出全新的特點，對于對數(shù)似然函數(shù)的期望Q(θ|θ(k))，在這個函數(shù)完整數(shù)據(jù)收到約束的情況下進行極大似然估計，并且對受約束ed實際似然函數(shù)L(θ|Z)進行部分極大化。ECME算法的第k+1次迭代的CM步形式:(1.14)E步和CM步相互交替，經(jīng)過迭代后計算得到θ(k+1)，繼續(xù)進行下一次E步計算，循環(huán)往復(fù)直至收斂于極大值。由此可見，這一算法并沒有失去單調(diào)穩(wěn)定收斂，操作簡單原理易懂特性，保持著EM，ECM的優(yōu)點。在收斂速度方面，這一算法青出于藍而勝于藍，單詞迭代速度更短，迭代次數(shù)更少，迭代收斂所需時間更短。這一改進主要有兩個原因：一、在ECME算法中的完全數(shù)據(jù)的實際似然函數(shù)把某些極大化步條件極大化了，這是一種對于提升單一循環(huán)速度很有效的策略;第二，ECME算法提升了收斂速度，受到約束的數(shù)值進行極大化后不再有對于判決門限的需求，這樣的計算方法效率更高。和EM、ECM算法一樣，對ECME算法的收斂速度，由斜率決定著，這個斜率所代表的就是θ(k)-θ(k+1)映射在上的導(dǎo)數(shù)。用觀測數(shù)據(jù)、不完整數(shù)據(jù)、完全數(shù)據(jù)信息陣來計算，經(jīng)過實驗證明，ECME算法的收斂速度在相同條件下確實比EM,ECM更快，但計算方法相對而言比較復(fù)雜;因為完全數(shù)據(jù)對數(shù)似然函數(shù)的期望Q(θ|θ(k))，實際似然函數(shù)L(θ|z)在CM步上極大化，經(jīng)過極大化的處理，因為Q函數(shù)是近似的，因此精確度有較大提升?？偟膩碚f，問題比較復(fù)雜時候，ECME算法能取得較好的成效。AECM算法從另一個角度入手，它的名稱是期望條件極大化算法，經(jīng)過對于ECME的研究，與ECM、ECME算法相同，AECM算法在CM步采用極大化的方法，但ACME會極大化另外一些不同的值。AECM的迭代也是將一大步分解為循環(huán)組成的，假設(shè)在數(shù)據(jù)無缺失的情況下，E步：每個循環(huán)由兩部分進行定義，包括完整數(shù)據(jù)組和缺失數(shù)據(jù)組；CM步：由于E步定義要求相互呼應(yīng)的CM計算式組成。AECM迭代就由重新定義循環(huán)構(gòu)成的集合完整確定下來，這種算法由著和ECME一樣的優(yōu)點，可以提高計算效率。PX—EM算法在1998年被提出，這種算法的提出是為了提升EM算法的收斂速度。為了得到更多關(guān)于完全數(shù)據(jù)的信息，修正M步進行協(xié)方差的調(diào)整角度出發(fā)進行研究。原本在EM算法中，由于參與不同的原因，完全數(shù)據(jù)下p(z|θ)和觀測數(shù)據(jù)下p(x|θ)也不相同。所以PX—EM算法抓住這一突破口，擴充參數(shù)集，引入附加參數(shù)。通過這樣的方法，如果在數(shù)據(jù)集中參數(shù)為θ，新擴展的參數(shù)空間為(，α)，就可以計算得出與EM算法中是相同維數(shù)的。且如果我們得到(z|θ)=p(z|參數(shù)空間)，即得到原來的模型，此時有α與α(θ)相等。在運用PX—EM算法時，有以下三點限制:我們可以使用一種變換R，使得θ=R(,α)，且這種方法是可實現(xiàn)的。2.當α=α(θ)時，擴展我們選擇的模型，使得α的信息不會出現(xiàn)在已經(jīng)觀測到的數(shù)據(jù)集X中，即(1.15)選擇模型進行擴展時，完全數(shù)據(jù)Z=(X，Y)是可識別參數(shù)的。從而我們可以的到PX—EM算法迭代模型，它的第k+1次迭代形式。PX—E:(1.16)PX—M步:(1.17)令PX—E,PX—M步不斷地重復(fù),直到收斂.PX—EM算法的每一步都增大p(x|,α)，當α=α(0)時，它等于p(x|)，PX—EM算法的每一輪迭代都增大了有關(guān)的似然函數(shù)p(x|)，與此同時，也保持了EM算法在收斂特性上的優(yōu)點，PX—EM算法一定會收斂到一個穩(wěn)定點。下面需要考慮的是PX—EM算法的收斂速度。在適當?shù)淖儞Qθ=R(,α)下，之前提到對一切a，a’存在p(x|,α)=p(x|)，根據(jù)p(z|,α)，經(jīng)過計算，就可以得出已觀測數(shù)據(jù)和完整數(shù)據(jù)下的信息矩陣△:(1.18)(1.19)(1.20)缺失信息比率為:(1.21)可以看出確實信息速率比和EM算法收斂類似。缺失信息比例如下:(1.22)由此可見，在矩陣之差為半正定的情況下，PX—EM的缺失信息比例更小。因為確實比例越大，收斂越慢。我們通過缺失信息的大小可以判斷,PX—EM算法的收斂速度是要比EM要更優(yōu)。原因也正如上面所說，通過拓展參數(shù)空間的方法增加參數(shù)a，將完全信息量進行增加。通過對于缺失數(shù)據(jù)的填補,減少的缺失信息所占比例,使信息變得更完整，加速算法。最后總結(jié)以下PX—EM的優(yōu)點:對EM算法修改幅度小,設(shè)計并不復(fù)雜；將有效信息充分利用，拓展完全,可以取得比EM算法更快收斂速度，不影響EM算法的單調(diào)收斂性。1.6算法步驟面對數(shù)據(jù)殘缺或數(shù)據(jù)不完整的情況，用EM算法可以較為簡單的求出求極大似然函數(shù)估計值。常用的EM算法分兩步，即E步（Expectation-step）和M步（Maximizationstep）。E步確定似然函數(shù)，并計算似然函數(shù)的期望值。M步在E步之后進行，通過M步估計期望值計算極大似然函數(shù)參數(shù)。EM算法詳細描述如下:將分布參數(shù)進行初始化；重復(fù)E步驟、M步驟，進行門限進行判決，確定是否收斂；E步驟:計算出隱性變量的后驗概率，帶入?yún)?shù)初始值或上一次迭代所得參數(shù)值，作為隱性變量的現(xiàn)估計值:(1.23)M步驟：將似然函數(shù)最大化，并作為下一次E步的參數(shù)：(1.24)1.7EM算法估計GMM參數(shù)1.7.1混合模型混合模型（MixtureModel）是一個含有K個子分布的概率模型的集合，換句話說，觀測數(shù)據(jù)在總體中的概率分布就是混合模型，K個子分布組成相互獨立，共同組成的混合分布。混合模型在觀測數(shù)據(jù)時，并不對子分布的信息做出要求，而是通過計算概率觀測數(shù)據(jù)在總體分布中的分布情況。1.7.2單高斯模型單高斯模型(GaussianModel)當樣本數(shù)據(jù)X是一維數(shù)據(jù)時，例如X={1,3,3,1}。一維高斯分布遵從下方概率密度函數(shù)：(1.25)其中為數(shù)據(jù)標準差，μ為數(shù)據(jù)均值（期望）。如果我們想擬合高緯度的模型，高斯分布遵從下方概率密度函數(shù)：(1.26)其中，μ為數(shù)據(jù)均值（期望），為協(xié)方差（Covariance），D為數(shù)據(jù)維度。1.7.3高斯混合模型高斯混合模型(GMM，Gaussianmixturemodel)就是混合模型和單高斯模型的聯(lián)合應(yīng)用，吸納了二者的優(yōu)點。利用高斯概率密度函數(shù)精確地擬合數(shù)據(jù)，也利用混合模型的特點，包含組合多種不同的高斯概率密度函數(shù)，可以用來處理復(fù)雜問題，是一種精準量化手段的體現(xiàn)。如果將高斯混合模型看作是K個單高斯概率密度函數(shù)組合而成的集合，如何選取這K個單高斯模型的概率，也就是隱變量（Hiddenvariable）。因為高斯分布具備便于計算的特點以及極強的擬合能力，所以在這個混合模型中我