機(jī)器學(xué)習(xí)Bayes學(xué)習(xí)

第3.2節(jié)貝葉斯學(xué)習(xí)內(nèi)容貝葉斯理論概述Brute-Force貝葉斯分類器兩種概率學(xué)習(xí)算法貝葉斯最優(yōu)分類器樸素貝葉斯分類器EM算法與混合模型概述貝葉斯推理提供了一種概率手段，基于如下的假定：待考察的量遵循某概率分布，且可根據(jù)這些概率及已觀察到的數(shù)據(jù)進(jìn)行推理，以作出最優(yōu)的決策。貝葉斯推理為衡量多個(gè)假設(shè)的置信度提供了定量的方法貝葉斯推理為直接操作概率的學(xué)習(xí)算法提供了基礎(chǔ)，也為其他算法的分析提供了理論框架貝葉斯學(xué)習(xí)算法與機(jī)器學(xué)習(xí)相關(guān)的兩個(gè)原因：貝葉斯學(xué)習(xí)算法能夠計(jì)算顯示假設(shè)概率貝葉斯方法為理解多數(shù)學(xué)習(xí)算法提供了一種有效的分析手段，而這些算法不一定直接操縱概率數(shù)據(jù)，比如決策樹神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)：選擇使誤差平方和最小化的神經(jīng)網(wǎng)絡(luò)概述貝葉斯學(xué)習(xí)方法的特性觀察到的每個(gè)訓(xùn)練樣例可以增量地降低或升高某假設(shè)的估計(jì)概率。先驗(yàn)知識(shí)可以與觀察數(shù)據(jù)一起決定假設(shè)的最終概率，先驗(yàn)知識(shí)的形式是：1）每個(gè)候選假設(shè)的先驗(yàn)概率；2）每個(gè)可能假設(shè)在可觀察數(shù)據(jù)上的概率分布貝葉斯方法允許假設(shè)做出不確定性的預(yù)測(cè)新的實(shí)例分類可由多個(gè)假設(shè)一起做出預(yù)測(cè)，用它們的概率來加權(quán)貝葉斯方法計(jì)算復(fù)雜度有時(shí)較高，它們可作為一個(gè)最優(yōu)的決策標(biāo)準(zhǔn)衡量其他方法貝葉斯方法的難度難度之一：需要概率的初始知識(shí)，當(dāng)概率預(yù)先未知時(shí)，可以基于背景知識(shí)、預(yù)先準(zhǔn)備好的數(shù)據(jù)以及基準(zhǔn)分布的假定來估計(jì)這些概率難度之二：確定貝葉斯最優(yōu)假設(shè)的計(jì)算代價(jià)比較大在某些特定情形下，大多通過條件獨(dú)立性假設(shè),降低計(jì)算代價(jià)內(nèi)容貝葉斯理論概述Brute-Force貝葉斯分類器介紹兩種直接操作概率的學(xué)習(xí)算法貝葉斯最優(yōu)分類器樸素貝葉斯分類器EM算法與混合模型貝葉斯法則機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘的任務(wù)在給定訓(xùn)練數(shù)據(jù)D時(shí)，確定假設(shè)空間H中的最佳假設(shè)。最佳假設(shè)一種方法是把它定義為在給定數(shù)據(jù)D以及H中不同假設(shè)的先驗(yàn)概率的有關(guān)知識(shí)下的最可能假設(shè)貝葉斯理論提供了一種計(jì)算假設(shè)概率的方法基于假設(shè)的先驗(yàn)概率、給定假設(shè)下觀察到不同數(shù)據(jù)的概率以及觀察到的數(shù)據(jù)本身先驗(yàn)概率和后驗(yàn)概率用P(h)表示在沒有訓(xùn)練數(shù)據(jù)前假設(shè)h擁有的初始概率。P(h)被稱為h的先驗(yàn)概率。先驗(yàn)概率反映了關(guān)于h是一正確假設(shè)的機(jī)會(huì)的背景知識(shí)如果沒有這一先驗(yàn)知識(shí)，可以簡(jiǎn)單地將每一候選假設(shè)賦予相同的先驗(yàn)概率類似地，P(D)表示訓(xùn)練數(shù)據(jù)D的先驗(yàn)概率，P(D|h)表示假設(shè)h成立時(shí)D的概率機(jī)器學(xué)習(xí)中，我們關(guān)心的是P(h|D)即給定D時(shí)h的成立的概率，稱為h的后驗(yàn)概率貝葉斯公式貝葉斯公式提供了從先驗(yàn)概率P(h)、P(D)和P(D|h)計(jì)算后驗(yàn)概率P(h|D)的方法P(h|D)隨著P(h)和P(D|h)的增長(zhǎng)而增長(zhǎng)，隨著P(D)的增長(zhǎng)而減少即如果D獨(dú)立于h被觀察到的可能性越大，那么D對(duì)h的支持度越小極大后驗(yàn)假設(shè)學(xué)習(xí)器在候選假設(shè)集合H中尋找給定數(shù)據(jù)D時(shí)可能性最大的假設(shè)h，h被稱為極大后驗(yàn)假設(shè)（MAP）確定MAP的方法是用貝葉斯公式計(jì)算每個(gè)候選假設(shè)的后驗(yàn)概率，計(jì)算式如下 最后一步，去掉了P(D)，因?yàn)樗遣灰蕾囉趆的常量極大似然假設(shè)在某些情況下，可假定H中每個(gè)假設(shè)有相同的先驗(yàn)概率，這樣式子可以進(jìn)一步簡(jiǎn)化，只需考慮P(D|h)來尋找極大可能假設(shè)。P(D|h)常被稱為給定h時(shí)數(shù)據(jù)D的似然度，而使P(D|h)最大的假設(shè)被稱為極大似然假設(shè)只要這些命題的概率之和為1，假設(shè)空間H可擴(kuò)展為任意互斥命題集合舉例：一個(gè)醫(yī)療診斷問題有先驗(yàn)知識(shí)：在所有人口中，癌癥患病率是0.008，對(duì)確實(shí)有病的患者的化驗(yàn)準(zhǔn)確率為98%，對(duì)確實(shí)無病的患者的化驗(yàn)準(zhǔn)確率為97%，問題：假定有一個(gè)新病人，化驗(yàn)結(jié)果為+，是否應(yīng)將病人斷定為有癌癥？貝葉斯法則和概念學(xué)習(xí)貝葉斯法則為計(jì)算給定訓(xùn)練數(shù)據(jù)下任一假設(shè)的后驗(yàn)概率提供了原則性方法，因此可以直接將其作為一個(gè)基本的學(xué)習(xí)方法：計(jì)算每個(gè)假設(shè)的概率，再輸出其中概率最大的。這個(gè)方法稱為Brute-Force貝葉斯概念學(xué)習(xí)算法。Brute-Force貝葉斯學(xué)習(xí)總結(jié)概念學(xué)習(xí)問題有限假設(shè)空間H定義在實(shí)例空間X上，任務(wù)是學(xué)習(xí)某個(gè)目標(biāo)概念c。Brute-ForceMAP學(xué)習(xí)算法對(duì)于H中每個(gè)假設(shè)h，計(jì)算后驗(yàn)概率輸出有最高后驗(yàn)概率的假設(shè)上面算法需要較大計(jì)算量因?yàn)樗?jì)算每個(gè)假設(shè)的后驗(yàn)概率，對(duì)于大的假設(shè)空間顯得不切實(shí)際，但是它提供了一個(gè)標(biāo)準(zhǔn)以判斷其他概念學(xué)習(xí)算法的性能內(nèi)容貝葉斯理論概述Brute-Force貝葉斯分類器兩種概率學(xué)習(xí)算法貝葉斯最優(yōu)分類器樸素貝葉斯分類器EM算法與混合模型貝葉斯最優(yōu)分類器前面我們討論的問題是：給定訓(xùn)練數(shù)據(jù)，最可能的假設(shè)是什么？另一個(gè)相關(guān)的更有意義的問題是：給定訓(xùn)練數(shù)據(jù)，對(duì)新實(shí)例的最可能的分類是什么？顯然，第二個(gè)問題的解決可以將第一個(gè)問題的結(jié)果（MAP）應(yīng)用到新實(shí)例上得到還存在更好的算法？貝葉斯最優(yōu)分類器例子考慮一個(gè)包含三個(gè)假設(shè)h1,h2,h3的假設(shè)空間。假定已知訓(xùn)練數(shù)據(jù)時(shí)三個(gè)假設(shè)的后驗(yàn)概率分別是0.4,0.3,0.3，因此h1為MAP假設(shè)。若一新實(shí)例x被h1分類為正，被h2和h3分類為負(fù)，計(jì)算所有假設(shè)，x為正例的概率為0.4，為反例的概率為0.6。這時(shí)最可能的分類與MAP假設(shè)生成的分類不同。貝葉斯最優(yōu)分類器一般而言，新實(shí)例的最可能分類可通過合并所有假設(shè)的預(yù)測(cè)得到，用后驗(yàn)概率來加權(quán)。如果新實(shí)例的可能分類可取某集合Y中的任一值yj，那么概率P(yj|D)表示新實(shí)例分類為yj的概率新實(shí)例的最優(yōu)分類為使P(yj|D)最大的yj值，貝葉斯最優(yōu)分類器為：貝葉斯最優(yōu)分類器貝葉斯最優(yōu)分類器在給定可用數(shù)據(jù)、假設(shè)空間及這些假設(shè)的先驗(yàn)概率下使新實(shí)例被正確分類的可能性達(dá)到最大貝葉斯最優(yōu)分類器的一個(gè)屬性：它所做的分類可以對(duì)應(yīng)于H中不存在的假設(shè)使用式子(上頁最后一式)來分類X中的每個(gè)實(shí)例，按此定義的實(shí)例標(biāo)注不一定對(duì)應(yīng)于H中的任一單個(gè)假設(shè)h對(duì)實(shí)例的標(biāo)注將貝葉斯分類器看成是不同于假設(shè)空間H的另一空間H’，在其上應(yīng)用貝葉斯公式。H’有效地包含了一組假設(shè)，它能在H中多個(gè)假設(shè)的線性組合所作的預(yù)言中進(jìn)行比較內(nèi)容貝葉斯理論概述Brute-Force貝葉斯分類器兩種概率學(xué)習(xí)算法貝葉斯最優(yōu)分類器樸素貝葉斯分類器EM算法與混合模型樸素貝葉斯分類器*工程應(yīng)用的學(xué)習(xí)任務(wù)：每個(gè)實(shí)例x可由屬性值聯(lián)合描述，而目標(biāo)函數(shù)f(x)從某有限集Y中取值，忽略假設(shè)貝葉斯方法的新實(shí)例分類目標(biāo)是在給定描述實(shí)例的屬性值<x1,...,xn>下，得到最可能的目標(biāo)值yMAP使用貝葉斯公式變化上式樸素貝葉斯分類器*基于訓(xùn)練數(shù)據(jù)估計(jì)式(上頁)中的兩個(gè)數(shù)據(jù)項(xiàng)的值估計(jì)P(yj)很容易：計(jì)算每個(gè)目標(biāo)值yj出現(xiàn)在訓(xùn)練數(shù)據(jù)中的頻率估計(jì)P(x1,...xn|yj)遇到數(shù)據(jù)稀疏問題，除非有一個(gè)非常大的訓(xùn)練數(shù)據(jù)集，否則無法獲得可靠的估計(jì)樸素貝葉斯分類器引入一個(gè)簡(jiǎn)單的假設(shè)避免數(shù)據(jù)稀疏問題：在給定目標(biāo)值時(shí)，屬性值之間相互條件獨(dú)立，即樸素貝葉斯分類器*樸素貝葉斯分類器的定義：從訓(xùn)練數(shù)據(jù)中估計(jì)不同P(xi|yj)項(xiàng)的數(shù)量比要估計(jì)P(x1,...,xn|yj)項(xiàng)所需的量小得多只要條件獨(dú)立性得到滿足，樸素貝葉斯分類yNB等于MAP分類，否則是近似樸素貝葉斯分類器與其他已介紹的學(xué)習(xí)方法的一個(gè)區(qū)別：沒有明確地搜索可能假設(shè)空間的過程（假設(shè)的形成不需要搜索，只是簡(jiǎn)單地計(jì)算訓(xùn)練樣例中不同數(shù)據(jù)組合的出現(xiàn)頻率）編號(hào)天氣溫度濕度風(fēng)是否去打球1晴天炎熱高弱不去2晴天炎熱高強(qiáng)不去3陰天炎熱高弱去4下雨適中高弱去5下雨寒冷正常弱去6下雨寒冷正常強(qiáng)不去7陰天寒冷正常強(qiáng)去8晴天適中高弱不去9晴天寒冷正常弱去10下雨適中正常弱去11晴天適中正常強(qiáng)去12陰天適中高強(qiáng)去13陰天炎熱正常弱去14下雨適中高強(qiáng)不去表-1是否去打球的數(shù)據(jù)統(tǒng)計(jì)—訓(xùn)練數(shù)據(jù)樸素貝葉斯分類器計(jì)算是否去打球舉例：學(xué)習(xí)分類文本內(nèi)容貝葉斯理論概述Brute-Force貝葉斯分類器兩種概率學(xué)習(xí)算法貝葉斯最優(yōu)分類器樸素貝葉斯分類器EM算法與混合模型EM算法與GMMs如何獲得更準(zhǔn)確的概率分布？EM算法是存在隱含變量時(shí)廣泛使用的一種學(xué)習(xí)方法，可用于變量的值從來沒有被直接觀察到的情形，只要這些變量所遵循的概率分布的一般形式已知混合概率模型的學(xué)習(xí)用于貝葉斯網(wǎng)的訓(xùn)練GaussianMixtureModels(GMMS)高斯混合模型GMMS的參數(shù)估計(jì)當(dāng)給定從一個(gè)正態(tài)分布中抽取的數(shù)據(jù)實(shí)例x1,...,xN時(shí)，很容易計(jì)算該分布的均值的極大似然假設(shè)，它是一個(gè)特例，表示如下然而，現(xiàn)在的問題涉及k個(gè)不同正態(tài)分布，而且不知道哪個(gè)實(shí)例是哪個(gè)分布產(chǎn)生的。這是一個(gè)涉及隱藏變量的典型例子對(duì)于的例子，每個(gè)實(shí)例的完整描述yi=<xi,zij>，其中xi是第i個(gè)實(shí)例的觀測(cè)值，zij表示樣本xi屬于第j個(gè)正態(tài)分布，是隱藏變量GMMS的參數(shù)估計(jì)EM算法根據(jù)當(dāng)前假設(shè)<1...k>，不斷地再估計(jì)隱藏變量zij的期望值，然后用這些隱藏變量的期望值重新計(jì)算極大似然假設(shè)先將假設(shè)初始化為h=<1,…,k>計(jì)算每個(gè)隱藏變量zij的期望值E[zij]計(jì)算一個(gè)新的極大似然假設(shè)h’=<’1,…,’k>，假定每個(gè)隱藏變量zij所取值是第一步得到的期望值E[zij]。將假設(shè)替換為h’=<’1,…,’k>，然后循環(huán)GMMS的參數(shù)估計(jì)-EM算法E[zij]正是實(shí)例xi由第j個(gè)正態(tài)分布生成的概率第二步，使用第一步得到的P[zij]來導(dǎo)出新的極大似然假設(shè)多項(xiàng)分布及其數(shù)學(xué)期望假設(shè)A1,A2,...,An是某一試驗(yàn)下的完備事件群，即事件兩兩互斥，分別以p1,p2,...,pn記為事件A1,A2,...,An發(fā)生的概率。現(xiàn)將試驗(yàn)獨(dú)立重復(fù)N次，以Zi記為在N次試驗(yàn)中事件Ai出現(xiàn)的次數(shù)，Z=(Z1,Z2,...,Zn)為n維隨機(jī)向量。則Z的概率分布就叫做多項(xiàng)分布。對(duì)于N次獨(dú)立重復(fù)試驗(yàn)，事件A1,A2,...,An發(fā)生的次數(shù)分別為k1,k2,...,kn發(fā)生的概率是：GMMS的參數(shù)估計(jì)-EM算法第二步中表達(dá)式類似于求均值，只是變成了加權(quán)樣本均值EM算法的要點(diǎn)：當(dāng)前的假設(shè)用于估計(jì)未知變量，而這些變量的期望值再被用于改進(jìn)假設(shè)可以證明算法的每一次循環(huán)中，EM算法能使似然P(D|h)增加，除非P(D|h)達(dá)到局部最大，因此算法收斂到一個(gè)局部最大似然假設(shè)GMMS的參數(shù)估計(jì)-EM算法貝葉斯問題框架要估計(jì)k個(gè)正態(tài)分布的均值=<1...k>觀察到的數(shù)據(jù)是X={<xi>}隱藏變量Z={<zi1,...,zik>}表示k個(gè)正態(tài)分布中哪一個(gè)生成xi用于表達(dá)式Q(h’|h)的推導(dǎo)單個(gè)樣本的概率GMMS的參數(shù)估計(jì)-EM算法所有實(shí)例的概率的對(duì)數(shù)計(jì)算期望值EGM