機(jī)器學(xué)習(xí) 課件 第8-10章 聚類(lèi)、概率圖模型、人工神經(jīng)網(wǎng)絡(luò)

第8章聚類(lèi)《機(jī)器學(xué)習(xí)》胡曉8.1聚類(lèi)基本理論

8.1聚類(lèi)基本理論

相似性測(cè)度在聚類(lèi)算法，樣本間相似度通常需要采用兩個(gè)樣本之間的“距離測(cè)度(DistanceMetric,DM)”進(jìn)行衡量。

常見(jiàn)距離：歐氏距離、曼哈頓距離、閔可夫斯基距離、值差異值測(cè)度8.1聚類(lèi)基本理論類(lèi)簇中心類(lèi)簇中心，又稱為簇質(zhì)心，定義為簇內(nèi)樣本分布中心，如圖8.1中每簇的中心點(diǎn)。然而，不同聚類(lèi)算法定義各有差別，簡(jiǎn)單分為兩種：K均值聚類(lèi)簇中心

基于密度的類(lèi)簇中心AlexRodriguez和AlessandroLaio在Science期刊文章中提出：類(lèi)簇中心周?chē)际敲芏缺绕涞偷狞c(diǎn)，同時(shí)這些點(diǎn)距離該簇中心的距離相比于其他聚類(lèi)中心最近。8.1聚類(lèi)基本理論聚類(lèi)算法評(píng)價(jià)指標(biāo)

純度(Purity)將每個(gè)簇內(nèi)頻數(shù)最高的樣本類(lèi)別作為正確的類(lèi)簇，聚類(lèi)熵

8.1聚類(lèi)基本理論聚類(lèi)算法評(píng)價(jià)指標(biāo)同質(zhì)性也叫均一性，一個(gè)類(lèi)簇中僅有一個(gè)類(lèi)別的樣本，均一性最高同質(zhì)性(Homogeneity)

相當(dāng)于精確率，即被聚類(lèi)的類(lèi)簇中正確分類(lèi)的樣本數(shù)占該類(lèi)簇中的樣本數(shù)的比例,

8.1聚類(lèi)基本理論聚類(lèi)算法評(píng)價(jià)指標(biāo)完整性(Completeness)同類(lèi)別的樣本被歸類(lèi)到同一聚類(lèi)簇中，則滿足完整性。相當(dāng)于召回率，即每個(gè)聚類(lèi)中正確分類(lèi)的樣本數(shù)占該類(lèi)別樣本的數(shù)量，

8.1聚類(lèi)基本理論聚類(lèi)算法評(píng)價(jià)指標(biāo)蘭德指數(shù)和調(diào)整蘭德指數(shù)

8.2K均值聚類(lèi)

8.3層次聚類(lèi)層次聚類(lèi)(hierarchicalclustering)是基于簇間的相似度的樹(shù)形聚類(lèi)算法。一般有兩種劃分策略：自底向上的凝聚策略和自頂向下的分拆策略。凝聚策略

分拆策略

初始時(shí)將每個(gè)樣本點(diǎn)當(dāng)做一個(gè)類(lèi)簇，然后依據(jù)相似度準(zhǔn)則合并相似度最大的類(lèi)簇，直到達(dá)到終止條件。

8.4密度聚類(lèi)

密度聚類(lèi)(Density-BasedSpatialClustering)是一種基于密度的聚類(lèi)算法。8.4密度聚類(lèi)2、密度聚類(lèi)基本過(guò)程8.4密度聚類(lèi)

8.4.2高斯混合聚類(lèi)謝謝！第9章概率圖模型《機(jī)器學(xué)習(xí)》胡曉目錄9.1聯(lián)合概率9.2概率有向圖9.3概率圖向圖9.4因子圖與和積算法9.1聯(lián)合概率

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖定理9.1：父結(jié)點(diǎn)給定下，該結(jié)點(diǎn)與其所有非后代結(jié)點(diǎn)(non-descendants)條件獨(dú)立。

9.2概率有向圖

貝葉斯網(wǎng)絡(luò)表示通常由領(lǐng)域?qū)＜腋鶕?jù)研究對(duì)象先驗(yàn)知識(shí)進(jìn)行建立模貝葉斯網(wǎng)絡(luò)圖。一般分為三個(gè)步驟：確定變量集和變量域設(shè)計(jì)結(jié)點(diǎn)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)定義變量之間的依賴關(guān)系參數(shù)學(xué)習(xí)表示聯(lián)合概率分布(包括局部概率分布或局部密度函數(shù))。

9.2概率有向圖

(2)依據(jù)變量之間的依賴關(guān)系設(shè)計(jì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

(3)

采用概率理論進(jìn)行參數(shù)學(xué)習(xí)

9.2概率有向圖

(3)

采用概率理論進(jìn)行參數(shù)學(xué)習(xí)

假設(shè)根據(jù)訓(xùn)練數(shù)據(jù)已經(jīng)獲得，

概率分布形式

9.2概率有向圖

變量消除法9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.3概率無(wú)向圖

9.3概率無(wú)向圖

9.3概率無(wú)向圖

9.3概率無(wú)向圖

9.3概率無(wú)向圖

9.3概率無(wú)向圖

9.3概率無(wú)向圖

轉(zhuǎn)移特征函數(shù)狀態(tài)特征函數(shù)

9.4因子圖與和積算法

9.4因子圖與和積算法

9.4因子圖與和積算法

9.4因子圖與和積算法

9.4因子圖與和積算法

(2)變量結(jié)點(diǎn)則演化為邊緣

9.4因子圖與和積算法

如果

先求和再乘積謝謝！第10章人工神經(jīng)網(wǎng)絡(luò)《機(jī)器學(xué)習(xí)》胡曉10.1神經(jīng)元及基本模型

神經(jīng)元(Neuron)是人腦神經(jīng)系統(tǒng)的基本單元，負(fù)責(zé)接收和傳遞神經(jīng)信號(hào)

通過(guò)突觸(Synapse)與下一層神經(jīng)元的樹(shù)突連接起來(lái)，從而構(gòu)成基本神經(jīng)通路。美國(guó)心理學(xué)家FrankRosenblatt提出的感知機(jī)模擬了神經(jīng)元的細(xì)胞膜電位累加和激活過(guò)程，建立了神經(jīng)元的基本模型：線性變換和激活。

10.1神經(jīng)元及基本模型

10.2激活函數(shù)

10.2激活函數(shù)

校正線性單元泄露校正線性單元指數(shù)線性單元軟加函數(shù)softplus

10.2激活函數(shù)Swish激活函數(shù)2017年，GoogleBrain研究人員經(jīng)過(guò)大規(guī)模搜索發(fā)現(xiàn)一種在許多任務(wù)上比ReLU性能更好的非線性激活函數(shù)，稱為Swish，

10.3感知機(jī)感知機(jī)是1957年FrankRosenblatt在MP模型基礎(chǔ)之上建立一個(gè)線性分類(lèi)器。僅有一個(gè)神經(jīng)元，并用符號(hào)函數(shù)作為激活函數(shù)，感知機(jī)學(xué)習(xí)算法是一種錯(cuò)誤驅(qū)動(dòng)學(xué)習(xí)算法感知機(jī)的異或難題

10.4前饋神經(jīng)網(wǎng)絡(luò)10.4.1前饋神經(jīng)網(wǎng)絡(luò)模型前饋神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層之間有多個(gè)隱含層，各神經(jīng)元分屬于不同層。相鄰兩層神經(jīng)元采用全連接，即每個(gè)神經(jīng)元與相鄰層的所有神經(jīng)元相連接。每層神經(jīng)元可以接收前一層神經(jīng)元信號(hào)，并形成新信號(hào)，然后輸出到下一層。整個(gè)神經(jīng)網(wǎng)絡(luò)沒(méi)有反饋，信號(hào)從輸入層向輸出層單向傳播。

10.4前饋神經(jīng)網(wǎng)絡(luò)單個(gè)神經(jīng)元與前一層神經(jīng)元的信息傳遞關(guān)系當(dāng)前層所有神經(jīng)元與前一層神經(jīng)元的信息傳遞

10.4前饋神經(jīng)網(wǎng)絡(luò)

10.4前饋神經(jīng)網(wǎng)絡(luò)

10.4前饋神經(jīng)網(wǎng)絡(luò)10.4.3反向傳播算法

結(jié)合梯度下降法可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)參數(shù)10.5卷積神經(jīng)網(wǎng)絡(luò)

互相關(guān)和卷積

10.5卷積神經(jīng)網(wǎng)絡(luò)卷積層之所以稱該層為卷積層，因?yàn)檫@一層的基本操作是卷積，即一張或一組特征圖與濾波器核卷積。在神經(jīng)網(wǎng)絡(luò)中，把濾波器核在輸入特征圖覆蓋區(qū)域稱為感受野(ReceptiveField)，10.5.2卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)圖像卷積層中線性變換用矩陣表示為，

池化層在池化層主要完成特征圖的不重疊下采樣。池化函數(shù)主要有平局池化、最大池化、隨機(jī)池化和全局平均池化。10.5卷積神經(jīng)網(wǎng)絡(luò)10.5卷積神經(jīng)網(wǎng)絡(luò)10.5卷積神經(jīng)網(wǎng)絡(luò)10.5.3卷積神經(jīng)網(wǎng)絡(luò)殘差反向傳播解決如何把殘差往前級(jí)傳送。

10.6簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)10.6.1LeNet-51998年，LeCun等人提出LeNet-5是經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)。雖然LeNet簡(jiǎn)單，但模塊齊全。20世紀(jì)90年代被美國(guó)很多銀行使用，用來(lái)識(shí)別支票上面手寫(xiě)數(shù)字。網(wǎng)絡(luò)架構(gòu)由輸入層、3個(gè)卷積層、2個(gè)池化層、1個(gè)全連接層和輸出層組成。其中，每個(gè)卷積層包括卷積和激活2個(gè)子層組成。10.6簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)10.6.2AlexNet

10.6簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)10.6.3VGG2014年，由牛津大學(xué)視覺(jué)幾何組(VisualGeometryGroup)提出VGGNet在ILSVRC中獲得了定位任務(wù)第1名和分類(lèi)任務(wù)第2名，設(shè)計(jì)了A、A-LRN、B、C、D和E共6種網(wǎng)絡(luò)結(jié)構(gòu)，其中D和E分別是著名的VGG16和VGG19：(1)VGG16包含

13個(gè)卷積層和3個(gè)全連接層共16個(gè)隱藏層；(2)VGG19包含16個(gè)卷積層個(gè)3個(gè)全連接層共19個(gè)隱藏層。10.6簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)10.6.4Inception2014年至2016年，Google團(tuán)隊(duì)發(fā)表了多篇關(guān)于Inception的經(jīng)典論文詳細(xì)介紹了Inception演進(jìn)版本[15-18]：Inception-V1、-V2、-V3、-V4和Inception-ResNet等，10