機(jī)器學(xué)習(xí)課件-EM算法

聚類(lèi)算法

EM算法高斯混合模型混合模型(MixedModel)：其中

，滿(mǎn)足

即混合模型由K個(gè)成分組成，每個(gè)成分的權(quán)重為高斯分布的概率密度函數(shù)為

若混合模型中每個(gè)成分為高斯分布，則為高斯混合模型(GaussianMixtureModel)

GMM舉例混合模型的參數(shù)估計(jì)是EM(ExpectationMaximization)算法最典型的應(yīng)用問(wèn)題：給定獨(dú)立同分布(independentandidenticallydistributed----IID)的數(shù)據(jù)，求參數(shù)樣本集：其中兩組分布：GMM：最大似然函數(shù)從分布是p(x|θ)的總體樣本中抽取到n個(gè)樣本的概率，用下式表示：當(dāng)這個(gè)概率表示在概率密度函數(shù)的參數(shù)是θ時(shí)，得到X這組樣本的概率。因?yàn)檫@里X是已知的，抽取樣本也是已知的，所以它是θ的函數(shù)。稱(chēng)為參數(shù)θ相對(duì)于樣本集X的似然函數(shù)（likehoodfunction）。記為L(zhǎng)(θ)。問(wèn)題：當(dāng)抽取得到的每個(gè)樣本都不知道是從哪個(gè)分布抽取的需要估計(jì)：一、樣本的所屬類(lèi)別？二、各類(lèi)別所對(duì)應(yīng)的高斯分布的參數(shù)是多少？log似然函數(shù)定義為

的極大似然估計(jì)為EM算法的基本思想EM算法的基本思想通俗說(shuō)明：在開(kāi)始狀態(tài)下參數(shù)均未知，但假定已知A的信息就可以得到B的信息，反過(guò)來(lái)知道了B也就得到了A?？梢钥紤]首先賦予A某種初值，以此得到B的估計(jì)值，然后從B的當(dāng)前值出發(fā)，重新估計(jì)A的取值，持續(xù)迭代直到收斂為止。高斯混合模型參數(shù)估計(jì)的EM算法（以高維數(shù)據(jù)為例）EM算法總結(jié)EM算法是一種迭代算法，主要用于計(jì)算后驗(yàn)分布的眾數(shù)或極大似然估計(jì)，廣泛地應(yīng)用于缺損數(shù)據(jù)、截尾數(shù)據(jù)、成群數(shù)據(jù)、帶有討厭參數(shù)的數(shù)據(jù)等所謂不完全數(shù)據(jù)的統(tǒng)計(jì)推斷問(wèn)題。EM算法是一種非監(jiān)督的學(xué)習(xí)算法，它的輸入數(shù)據(jù)事先不需要進(jìn)行標(biāo)注。相反，該算法從給定的樣本集中，能計(jì)算出高斯混和參數(shù)的最大似然估計(jì)。也能得到每個(gè)樣本對(duì)應(yīng)的標(biāo)注值，類(lèi)似于kmeans聚類(lèi)（輸入樣本數(shù)據(jù)，輸出樣本標(biāo)注）。優(yōu)點(diǎn)：EM算法簡(jiǎn)單且穩(wěn)定，迭代能保證觀(guān)察數(shù)據(jù)對(duì)數(shù)后驗(yàn)似然是單調(diào)不減的。缺點(diǎn)：對(duì)于大規(guī)模數(shù)據(jù)和多維高斯分布，迭代速度易受影響；算法收斂速度，非常依賴(lài)初始值的設(shè)置，設(shè)置不當(dāng)，計(jì)算時(shí)代價(jià)大；EM算法中的M-Step依然是采用求導(dǎo)函數(shù)的