機(jī)器學(xué)習(xí)導(dǎo)學(xué)

機(jī)器學(xué)習(xí)的導(dǎo)學(xué)匯報(bào)人：顧松敏導(dǎo)師：王琢2016.10.12目錄1引言2基本概念與學(xué)習(xí)系統(tǒng)3機(jī)器學(xué)習(xí)主要策略及R演示機(jī)器學(xué)習(xí)（ML）4發(fā)展與展望1引言隨著信息技術(shù)的發(fā)展,互聯(lián)網(wǎng)數(shù)據(jù)及資源呈現(xiàn)海量特征。為了有效地管理和利用這些分布的海量信息,如何使機(jī)器具有認(rèn)識(shí)問(wèn)題和解決問(wèn)題的能力,就是讓機(jī)器如何更聰明、更具有人的智能,這就是機(jī)器學(xué)習(xí)。ML基本概念機(jī)器學(xué)習(xí)的核心是學(xué)習(xí)。學(xué)習(xí)是一種多方面、綜合性的心理活動(dòng),它與記憶、思維、知覺(jué)、感覺(jué)等多種心理行為都有著密切的聯(lián)系2基本概念與學(xué)習(xí)系統(tǒng)

目前在機(jī)器學(xué)習(xí)研究領(lǐng)域影響較大的是H.Simon的觀點(diǎn):學(xué)習(xí)是系統(tǒng)中的任何改進(jìn),這種改進(jìn)使得系統(tǒng)在重復(fù)同樣的工作或進(jìn)行類(lèi)似的工作時(shí),能完成得更好。機(jī)器學(xué)習(xí)研究的就是如何使機(jī)器通過(guò)識(shí)別和利用現(xiàn)有知識(shí)來(lái)獲取新知識(shí)和新技能。機(jī)器學(xué)習(xí)是一門(mén)多領(lǐng)域交叉學(xué)科機(jī)器學(xué)習(xí)的一個(gè)形象描述基本概念研究一種算法：1）提高它的性能（P）2）在某項(xiàng)任務(wù)中（T）3）利用一些經(jīng)驗(yàn)（E）well-definedlearningtask:<P,T,E>目前在眾多涉及計(jì)算機(jī)處理的技術(shù)應(yīng)用中,機(jī)器學(xué)習(xí)在許多領(lǐng)域都取得了很大的進(jìn)步,如用于人工智能、數(shù)據(jù)挖掘、自然語(yǔ)言處理、漢字識(shí)別、機(jī)器翻譯、專(zhuān)家系統(tǒng)以及商業(yè)領(lǐng)域等。機(jī)器學(xué)習(xí)應(yīng)用學(xué)習(xí)系統(tǒng)學(xué)習(xí)系統(tǒng)為了使計(jì)算機(jī)系統(tǒng)具有某種程度的學(xué)習(xí)能力,使它能通過(guò)學(xué)習(xí)增長(zhǎng)知識(shí),改善性能,提高智能水平,需要為它建立相應(yīng)的學(xué)習(xí)系統(tǒng)。一個(gè)學(xué)習(xí)系統(tǒng)一般應(yīng)該由環(huán)境、學(xué)習(xí)、知識(shí)庫(kù)、執(zhí)行與評(píng)價(jià)四個(gè)基本部分組成。環(huán)境學(xué)習(xí)知識(shí)庫(kù)執(zhí)行與評(píng)價(jià)學(xué)習(xí)、學(xué)習(xí)、再學(xué)習(xí)！機(jī)器學(xué)習(xí)的發(fā)展極為迅速,應(yīng)用也亦日益廣泛,其中有很多優(yōu)秀的機(jī)器學(xué)習(xí)算法。算法基本上可以分為基于有監(jiān)督、無(wú)監(jiān)督、半監(jiān)督和強(qiáng)化學(xué)習(xí)這四大類(lèi)。

3機(jī)器學(xué)習(xí)主要策略及R演示

有監(jiān)督學(xué)習(xí)分為學(xué)習(xí)和預(yù)測(cè)兩個(gè)過(guò)程，對(duì)具有標(biāo)記的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，學(xué)習(xí)到一種模型后以盡可能對(duì)訓(xùn)練樣本集外的數(shù)據(jù)進(jìn)行標(biāo)記預(yù)測(cè)。這里，所有的標(biāo)記是已知的。因此，訓(xùn)練樣本的岐義性低。有監(jiān)督學(xué)習(xí)

有監(jiān)督學(xué)習(xí)X1X2X3X4Y0.100.010.930.2500.740.870.910.2710.130.210.870.250...............0.120.210.880.1500.840.12...0.210.12...0.430.12...0.340.12...10...0.700.050.930.281訓(xùn)練集測(cè)試集原始數(shù)據(jù)集預(yù)測(cè)集0.110.070.920.15?0.850.450.560.01?.....

無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)對(duì)沒(méi)有概念標(biāo)記的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，以發(fā)現(xiàn)訓(xùn)練樣本集中的結(jié)構(gòu)性知識(shí)。這里，所有的標(biāo)記是未知的。因此，訓(xùn)練樣本的岐義性高。關(guān)聯(lián)規(guī)則和聚類(lèi)就是典型的無(wú)監(jiān)督學(xué)習(xí)。最近鄰神經(jīng)網(wǎng)絡(luò)回歸樹(shù)模型樹(shù)分類(lèi)器線性回歸

主要學(xué)習(xí)策略ML主要策略支持向量機(jī)關(guān)聯(lián)規(guī)則樸素貝葉斯決策樹(shù)k均值聚類(lèi)雙重用處支持向量機(jī)神經(jīng)網(wǎng)絡(luò)分類(lèi)決策樹(shù)最近鄰樸素貝葉斯數(shù)值預(yù)測(cè)回歸樹(shù)按學(xué)習(xí)任務(wù)分類(lèi)——有監(jiān)督分類(lèi)器模型樹(shù)線性回歸模式識(shí)別關(guān)聯(lián)規(guī)則按學(xué)習(xí)任務(wù)分類(lèi)——無(wú)監(jiān)督聚類(lèi)K均值聚類(lèi)R語(yǔ)言簡(jiǎn)介R是用于統(tǒng)計(jì)分析、繪圖的語(yǔ)言和操作環(huán)境。R是屬于GNU系統(tǒng)的一個(gè)自由、免費(fèi)、源代碼開(kāi)放的軟件，它是一個(gè)用于統(tǒng)計(jì)計(jì)算和統(tǒng)計(jì)制圖的優(yōu)秀工具。R語(yǔ)言的優(yōu)缺

最近鄰算法（KNN）就是將待分類(lèi)樣本點(diǎn)決策為距離它最近的已知類(lèi)別樣本點(diǎn)所屬的類(lèi)別。K近鄰算法步奏如下描述：(1)計(jì)算已知類(lèi)別數(shù)據(jù)集中的點(diǎn)與當(dāng)前點(diǎn)的距離(2)按距離遞增次序排序(3)選取與當(dāng)前點(diǎn)距離最小的k個(gè)點(diǎn)(4)確定前K個(gè)點(diǎn)所在類(lèi)別出現(xiàn)的頻率(5)返回頻率最高的類(lèi)別作為當(dāng)前類(lèi)別的預(yù)測(cè)

最近鄰算法最近鄰算法蛋白質(zhì)水果蔬菜最近鄰算法種類(lèi)甜度脆度食物類(lèi)型蘋(píng)果109水果培根14蛋白質(zhì)芹菜310蔬菜香蕉101水果奶酪11蛋白質(zhì)............甜度脆度蘋(píng)果葡萄培根胡蘿卜香蕉橙子梨奶酪魚(yú)芹菜豌豆生菜黃瓜蝦西紅柿最近鄰算法如何選擇一個(gè)合適的K?K近鄰算法步奏如下描述：(1)計(jì)算已知類(lèi)別數(shù)據(jù)集中的點(diǎn)與當(dāng)前點(diǎn)的距離(2)按距離遞增次序排序(3)選取與當(dāng)前點(diǎn)距離最小的k個(gè)點(diǎn)(4)確定前K個(gè)點(diǎn)所在類(lèi)別出現(xiàn)的頻率(5)返回頻率最高的類(lèi)別作為當(dāng)前類(lèi)別的預(yù)測(cè)

最近鄰算法最近鄰算法

距離的度量：

特征空間中兩個(gè)例點(diǎn)的距離是它們相似程度的反映。K近鄰模型的特征空間一般是n維實(shí)數(shù)向量空間，可以使用歐氏距離，但也可以使用更一般的LP距離。最近鄰算法最近鄰算法

最近鄰算法是一種基于實(shí)例的算法，也是一種懶惰學(xué)習(xí)算法。在訓(xùn)練階段比渴望學(xué)習(xí)算法（如決策樹(shù)，神經(jīng)網(wǎng)絡(luò)等）有更少的計(jì)算時(shí)間，簡(jiǎn)單有效，對(duì)數(shù)據(jù)的分布沒(méi)有要求，訓(xùn)練階段很快。但在分類(lèi)過(guò)程中需要更多的計(jì)算時(shí)間，需要大量的內(nèi)存，不產(chǎn)生模型并且在發(fā)現(xiàn)特征之間關(guān)系上能力有限。該我表演啦！R樸素貝葉斯樸素貝葉斯；發(fā)現(xiàn)屬性變量之間的依賴(lài)相對(duì)于屬性變量與類(lèi)變量之間的依賴(lài)是可以忽略的。樸素貝葉斯具有如下三個(gè)特點(diǎn)：（1）樸素貝葉斯并不把一個(gè)對(duì)象絕對(duì)地指派給某一類(lèi)，而是通過(guò)計(jì)算得出屬于某一類(lèi)的概率，具有最大概率的類(lèi)便是該對(duì)象所屬的類(lèi)；（2）一般情況下在樸素貝葉斯中所有的屬性都潛在的起作用，即并不是一個(gè)或幾個(gè)屬性決定分類(lèi)，而是所有的屬性都參與分類(lèi)；（3）樸素貝葉斯的對(duì)象的屬性可以是離散的、連續(xù)的、也可以是混合的。樸素貝葉斯決策樹(shù)

決策樹(shù)就是根據(jù)特征值對(duì)實(shí)例進(jìn)行分類(lèi)。決定樹(shù)中的每個(gè)節(jié)點(diǎn)代表待分類(lèi)實(shí)例的一個(gè)特征，每個(gè)分支代表該節(jié)點(diǎn)可以假設(shè)的一個(gè)值。

決策樹(shù)模型決策樹(shù)決策樹(shù)可看作一個(gè)樹(shù)狀預(yù)測(cè)模型,它通過(guò)把實(shí)例從根節(jié)點(diǎn)排列到某個(gè)葉子節(jié)點(diǎn)來(lái)分類(lèi)實(shí)例,葉子節(jié)點(diǎn)即為實(shí)例所屬的分類(lèi)。決策樹(shù)的核心問(wèn)題是選擇分裂屬性和決策樹(shù)的剪枝。決策樹(shù)的算法有很多,有ID3、C4.5、CART等等。這些算法均采用自頂向下的貪婪算法,每個(gè)節(jié)點(diǎn)選擇分類(lèi)效果最好的屬性將節(jié)點(diǎn)分裂為2個(gè)或多個(gè)子結(jié)點(diǎn),繼續(xù)這一過(guò)程直到這棵樹(shù)能準(zhǔn)確地分類(lèi)訓(xùn)練集,或所有屬性都已被使用過(guò)。

決定樹(shù)最有用的特性之一是其可理解性。人們可以很容易地理解為什么一顆決策樹(shù)把一個(gè)實(shí)例分類(lèi)歸類(lèi)到一個(gè)特定的類(lèi)。決策樹(shù)原理及優(yōu)點(diǎn)

一個(gè)連接模型(神經(jīng)網(wǎng)絡(luò))是由一些簡(jiǎn)單的類(lèi)似神經(jīng)元的單元以及單元間帶權(quán)的連接組成。每個(gè)單元具有一個(gè)狀態(tài)，這個(gè)狀態(tài)是由與這個(gè)單元相連接的其他單元的輸入決定的。連接學(xué)習(xí)通過(guò)使用各類(lèi)例子來(lái)訓(xùn)練網(wǎng)絡(luò)，產(chǎn)生網(wǎng)絡(luò)的內(nèi)部表示，并用來(lái)識(shí)別其他輸入例子。學(xué)習(xí)主要表現(xiàn)在調(diào)整網(wǎng)絡(luò)中的連接權(quán),這種學(xué)習(xí)是非符號(hào)的，并且具有高度并行分布式處理的能力。

一個(gè)人工神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元節(jié)點(diǎn)經(jīng)廣泛互連而組成的復(fù)雜網(wǎng)絡(luò)拓?fù)洌糜谀M人類(lèi)進(jìn)行知識(shí)和信息表示、存儲(chǔ)和計(jì)算行為。人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的工作原理是：一個(gè)人工神經(jīng)網(wǎng)絡(luò)的工作由學(xué)習(xí)和使用兩個(gè)非線性的過(guò)程組成。從本質(zhì)上講，人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是一種歸納學(xué)習(xí)，它通過(guò)對(duì)大量實(shí)例的反復(fù)運(yùn)行，經(jīng)過(guò)內(nèi)部自適應(yīng)過(guò)程不斷修改權(quán)值分布，將網(wǎng)絡(luò)穩(wěn)定在一定的狀態(tài)下。

比較出名的網(wǎng)絡(luò)模型和學(xué)習(xí)算法有單層感知器(Perceptron)、Hopfield網(wǎng)絡(luò)、Boltzmann機(jī)和反向傳播算法(BackPropagation，BP)。人工神經(jīng)網(wǎng)絡(luò)ANN原理人工神經(jīng)網(wǎng)絡(luò)

是一個(gè)正數(shù)（為學(xué)習(xí)率），它決定梯度下降搜索的步長(zhǎng)。一個(gè)較大的值使反向傳播以更快的速度向目標(biāo)權(quán)重配置移動(dòng)，但同時(shí)也增加了不能達(dá)到這個(gè)目標(biāo)的幾率。對(duì)于輸出神元，

是第j個(gè)神經(jīng)元的期望輸出對(duì)于內(nèi)部（隱藏）神經(jīng)元，更新權(quán)重的一般規(guī)則是：其中：是第i個(gè)神經(jīng)元的計(jì)算輸出反向傳播ANN權(quán)重計(jì)算在神經(jīng)網(wǎng)絡(luò)中，因?yàn)槿狈?wèn)題的先驗(yàn)知識(shí)，往往需要經(jīng)過(guò)大量費(fèi)力費(fèi)時(shí)的試驗(yàn)摸索才能確定合適的神經(jīng)網(wǎng)絡(luò)模型、算法以及參數(shù)設(shè)置，其應(yīng)用效果完全取決于使用者的經(jīng)驗(yàn)?；诖嗽?，于1990年，Hansen和Salamon開(kāi)創(chuàng)性地提出了神經(jīng)網(wǎng)絡(luò)集成(NeuralNetworkEnsemble)方法。該技術(shù)來(lái)源于機(jī)器學(xué)習(xí)界目前極熱門(mén)的Boosting方法，也已成為當(dāng)前研究的熱點(diǎn)。神經(jīng)網(wǎng)絡(luò)的另一大缺陷就是其典型的“黑箱性”，即訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)學(xué)到的知識(shí)難以被人理解，神經(jīng)網(wǎng)絡(luò)集成又加深了這一缺陷。神經(jīng)網(wǎng)絡(luò)是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的學(xué)習(xí)算法,有一些固有的缺陷,比如層數(shù)和神經(jīng)元個(gè)數(shù)難以確定,容易陷入局部極小,還有過(guò)學(xué)習(xí)現(xiàn)象,這些本身的缺陷在SVM算法中可以得到很好的解決。人工神經(jīng)網(wǎng)絡(luò)ANN缺陷

支持向量機(jī)是Vapnik等人提出的一類(lèi)新型的機(jī)器學(xué)習(xí)算法。SVM算法的目的在于尋找一個(gè)超平面H(d)，該超平面可以將訓(xùn)練集中的數(shù)據(jù)分開(kāi)，且與類(lèi)域邊界的沿垂直于該超平面方向的距離最大，故SVM法亦被稱(chēng)為最大邊緣(MaximumMargin)算法。所謂最優(yōu)超平面就是要求超平面不但能將兩類(lèi)正確分開(kāi)，而且使分類(lèi)間隔最大；使分類(lèi)間隔最大實(shí)際上就是對(duì)模型推廣能力的控制，這正是SVM的核心思想所在?？偟膩?lái)說(shuō),支持向量機(jī)就是首先通過(guò)用核函數(shù)定義的非線性變換將輸入空間變換到一個(gè)高維空間,在這個(gè)空間中求(廣義)最優(yōu)分類(lèi)面。SVMs分類(lèi)函數(shù)形式上類(lèi)似于一個(gè)神經(jīng)網(wǎng)絡(luò),輸出是中間節(jié)點(diǎn)的線性組合,每個(gè)中間節(jié)點(diǎn)對(duì)應(yīng)一個(gè)支持向量,如圖所示。選擇不同的核函數(shù)就可以生成不同的支持向量機(jī)。常用的核包括:多項(xiàng)式核、高斯(徑向基函數(shù))核、二層神經(jīng)網(wǎng)絡(luò)核等。目前支持向量機(jī)的訓(xùn)練算法是以序貫最小最優(yōu)化(SMO)為代表的，其中工作集的選擇是實(shí)現(xiàn)SMO算法的關(guān)鍵。支持向量機(jī)SVM算法實(shí)現(xiàn)基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)（SVM）方法，與傳統(tǒng)的基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的學(xué)習(xí)方法不同，SVM基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化，能在訓(xùn)練誤差和分類(lèi)器容量之間達(dá)到一個(gè)較好的平衡,它具有全局最優(yōu)、適應(yīng)性強(qiáng)、推廣能力強(qiáng)等優(yōu)點(diǎn)。但是直到目前為止,支持向量機(jī)方法還存在一些問(wèn)題，例如訓(xùn)練時(shí)間過(guò)長(zhǎng)、核參數(shù)的選擇等，成為限制支持向量機(jī)應(yīng)用的瓶頸。支持向量機(jī)SVM模型及優(yōu)缺點(diǎn)機(jī)器學(xué)習(xí)算法的拓展在人工智能、數(shù)據(jù)挖掘、模式識(shí)別和機(jī)器學(xué)習(xí)中有許多的應(yīng)用都要進(jìn)行模型的參數(shù)估計(jì),也就是要進(jìn)行極大似然估計(jì)或極大后驗(yàn)似然估計(jì)。一種非常流行的極大似然估計(jì)方法是EM算法。算法的命名,是因?yàn)樗惴ǖ拿恳坏▋刹?第一步求期望(ExpectationStep)，稱(chēng)為E步；第二步求極大值(MaximizationStep)，稱(chēng)為M步。EM算法主要用來(lái)計(jì)算基于不完全數(shù)據(jù)的極大似然估計(jì)。EM算法的特點(diǎn)是簡(jiǎn)單和穩(wěn)定，

特別是每一次迭代能保證觀察數(shù)據(jù)對(duì)數(shù)后驗(yàn)似然是單調(diào)不減的。EM算法EM算法遺傳算法

遺傳算法（GA）是建立在自然選擇和群體遺傳學(xué)機(jī)理基礎(chǔ)上的隨機(jī)迭代和進(jìn)化,具有廣泛適用性的搜索方法,具有很強(qiáng)的全局優(yōu)化搜索能力。它模擬了自然選擇和自然遺傳過(guò)程中發(fā)生的繁殖、交配和變異現(xiàn)象,根據(jù)適者生存、優(yōu)勝劣汰的自然法則,利用遺傳算子選擇、交叉和變異逐代產(chǎn)生優(yōu)選個(gè)體(即候選解),最終搜索到較優(yōu)的個(gè)體。遺傳算法本質(zhì)上是基于自然進(jìn)化原理提出的一種優(yōu)化策略,在求解過(guò)程中,通過(guò)最好解的選擇和彼此組合,則可以期望解的集合將會(huì)愈來(lái)愈好。遺傳算法受到研究人員廣泛重視是由于它采用隨機(jī)搜索方法,其特點(diǎn)是幾乎不需要所求問(wèn)題的任何信息而僅需要目標(biāo)函數(shù)的信息,不受搜索空間是否連續(xù)或可微的限制就可找到最優(yōu)解,具有強(qiáng)的適應(yīng)能力和便于并行計(jì)算。遺傳算法介紹遺傳算法遺傳算法是一種種群型操作,該操作以種群中的所有個(gè)體為對(duì)象。具體求解步驟如下:(1)創(chuàng)建初始種群(2)循環(huán)：產(chǎn)生下一代(3)評(píng)價(jià)種群中的個(gè)體適應(yīng)度(4)定義選擇的適應(yīng)度函數(shù)(5)改變?cè)摲N群(交叉和變異)(6)返回第二步（7）滿足終止條件結(jié)束GA適用于解決復(fù)雜的非線性和多維空間尋優(yōu)問(wèn)題。經(jīng)典遺傳算法的缺點(diǎn)是:有時(shí)計(jì)算時(shí)間過(guò)長(zhǎng),不能保證解是全局最優(yōu)的。遺傳算法步驟及優(yōu)缺點(diǎn)初始種群產(chǎn)生下一代自然選擇個(gè)體適應(yīng)度交叉和變異終止適應(yīng)度函數(shù)繁殖滿足終止條件集成學(xué)習(xí)集成學(xué)習(xí)提出

集成學(xué)習(xí)（EnsembleLearning）始于Hansen和Salamon的開(kāi)創(chuàng)性工作。他們研究發(fā)現(xiàn)，通過(guò)訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)并將其結(jié)果按照一定的規(guī)則進(jìn)行組合，就能顯著提高整個(gè)學(xué)習(xí)系統(tǒng)的泛化性能。之后有人通過(guò)構(gòu)造性方法提出Boosting算法，證明了這一點(diǎn)。集成學(xué)習(xí)通過(guò)訓(xùn)練和組合多個(gè)準(zhǔn)確而有差異的分類(lèi)器，提高了分類(lèi)系統(tǒng)的泛化能力，成為近十年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域最主要的研究方向之一。目前，國(guó)內(nèi)外以神經(jīng)網(wǎng)絡(luò)、決策樹(shù)等為基分類(lèi)器的集成學(xué)習(xí)研究已經(jīng)取得了很大的進(jìn)展。在分類(lèi)時(shí)，采用投票的方式?jīng)Q定新樣本屬于哪一類(lèi)。

集成學(xué)習(xí)示意圖集成學(xué)習(xí)由于每個(gè)分類(lèi)器的分類(lèi)能力不同，在集成時(shí)，需要對(duì)所有分類(lèi)器加權(quán)均，以決定分哪類(lèi)。集成學(xué)習(xí)構(gòu)造集成學(xué)習(xí)基分類(lèi)器的構(gòu)造方法：1）采用不同訓(xùn)練樣本集2）采用不同輸入特征子集3）輸出編碼分解方法4）引入隨機(jī)性5）多種方法相結(jié)合分類(lèi)器的輸出信息可以分為抽象層、排序?qū)雍投攘繉尤齻€(gè)層次?；诸?lèi)器的組合方法有：a）排序?qū)咏M合方法b）抽象層組合方法c）度量層組合方法根據(jù)基分類(lèi)器是否屬于相同類(lèi)型，可以分為同類(lèi)分類(lèi)器集成和異類(lèi)分類(lèi)器集成。根據(jù)基分類(lèi)器是否由集