第5章 機(jī)器學(xué)習(xí)

第五章機(jī)器學(xué)習(xí)前言YOURENGLISHTITLE機(jī)器學(xué)習(xí)是一門多領(lǐng)域的交叉學(xué)科，它主要研究計(jì)算機(jī)如何模擬人和學(xué)習(xí)人的行為。發(fā)展至今的機(jī)器學(xué)習(xí)已經(jīng)應(yīng)用在了自然語言處理、手寫識別、機(jī)器人應(yīng)用、數(shù)據(jù)挖掘、計(jì)算機(jī)視覺等不同方向，很多機(jī)器學(xué)習(xí)中的方法都應(yīng)用在了計(jì)算機(jī)視覺中。本章旨在對機(jī)器學(xué)習(xí)的基礎(chǔ)知識進(jìn)行介紹，重點(diǎn)介紹決策樹算法、貝葉斯算法的基本流程。思維導(dǎo)圖學(xué)習(xí)目標(biāo)（1）掌握機(jī)器學(xué)習(xí)模型評估；（2）掌握線性回歸與邏輯回歸；（3）掌握決策樹算法；（4）掌握貝葉斯分類算法；（5）了解常用聚類方法。1機(jī)器學(xué)習(xí)介紹機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)是這樣一門學(xué)科，它通過大量的“經(jīng)驗(yàn)”來進(jìn)行預(yù)測。在計(jì)算機(jī)中，通過大量的數(shù)據(jù)得到一個模型，模型可以對新的數(shù)據(jù)進(jìn)行預(yù)測得到結(jié)果。這便是機(jī)器學(xué)習(xí)的基本解釋。其中策略，模型和算法被稱之為機(jī)器學(xué)習(xí)的三要素。模型就像是一個黑盒子，輸入數(shù)據(jù)然后模型輸出結(jié)果，策略是用來判斷模型的優(yōu)劣，算法則是指學(xué)習(xí)模型的具體計(jì)算方法。常用術(shù)語機(jī)器學(xué)習(xí)一般分為監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)指的是它的訓(xùn)練數(shù)據(jù)都是帶有標(biāo)記的，通過這些帶有標(biāo)記的數(shù)據(jù)去不斷修正模型。監(jiān)督學(xué)習(xí)一般有分類和回歸兩類任務(wù)。分類問題輸出物體所屬的類別，它的輸出值是離散的，而回歸任務(wù)則是輸出一個值，它的輸出是連續(xù)的。諸如貓狗分類，它是屬于分類問題，像房價(jià)預(yù)測便是屬于回歸問題。無監(jiān)督學(xué)習(xí)則表示數(shù)據(jù)沒有標(biāo)記。最常見的就是聚類與降維，關(guān)于這一點(diǎn)后面會有介紹。還有部分是半監(jiān)督學(xué)習(xí)，它通過少量帶有標(biāo)記的數(shù)據(jù)和大量不帶有標(biāo)記的數(shù)據(jù)來訓(xùn)練模型。常用術(shù)語在開始機(jī)器學(xué)習(xí)之前，需要大量的數(shù)據(jù)。比如（前夜天氣=陰，前夜溫度=低，前夜?jié)穸?高），這就是判斷天氣的一個記錄，多個記錄的組成叫做“數(shù)據(jù)集”。每一個記錄我們都稱為樣本。天氣，溫度，濕度等稱之為屬性，上面的陰，低等稱之為屬性值。如果是監(jiān)督學(xué)習(xí)還需要對數(shù)據(jù)進(jìn)行標(biāo)記，上面那個樣本第二天的天氣會標(biāo)記為晴天。要想得到一個模型，需要利用大量的數(shù)據(jù)進(jìn)行訓(xùn)練，我們把這些數(shù)據(jù)稱作“訓(xùn)練數(shù)據(jù)”，它們的集合稱之為“訓(xùn)練集”。訓(xùn)練好模型之后還需要數(shù)據(jù)來進(jìn)行測試不斷修正模型，我們稱之為“測試集”。最后我們需要數(shù)據(jù)來驗(yàn)證模型的好壞，我們稱之為“驗(yàn)證集”。機(jī)器學(xué)習(xí)發(fā)展歷史人工智能與機(jī)器學(xué)習(xí)的發(fā)展大致可以分為三個階段。二十世紀(jì)五十年代至七十年代運(yùn)用基于符號表示的演繹推理技術(shù)，一般稱之為推理期。二十世紀(jì)七十年代中期至八十年代屬于知識期，基于符號知識表示，通過獲取和利用領(lǐng)域知識來建立專家系統(tǒng)。二十世紀(jì)八十年代至今叫做學(xué)習(xí)期，其中兩大主流技術(shù)分別是符號主義學(xué)習(xí)和基于神經(jīng)網(wǎng)絡(luò)的連接主義學(xué)習(xí)。2模型的評估數(shù)據(jù)集的劃分?jǐn)?shù)據(jù)集一般分為訓(xùn)練集，測試集和驗(yàn)證集。常見的劃分方法有三種。留出法：將數(shù)據(jù)集D劃分成兩個互斥的集合。可以稱之為訓(xùn)練集X和測試集C，其中D=C+X。交叉驗(yàn)證法：將數(shù)據(jù)集D劃分成K個大小相同的互斥集合，然后用1個集合作為測試集，剩下的K-1個集合作為訓(xùn)練集。進(jìn)行K次訓(xùn)練與測試，最后返回它們的均值得到最終的結(jié)果。自助法：假設(shè)數(shù)據(jù)集D有a個樣本，每一次從D中選出一個樣本放入D1數(shù)據(jù)集，然后再放回樣本。如此重復(fù)a次得到D1數(shù)據(jù)集，D1中會有重復(fù)樣本或者一些樣本不出現(xiàn)樣本。沒采集到的樣本可以用來當(dāng)作測試集。性能度量錯誤率：指的是分類錯誤的樣本數(shù)占樣本總數(shù)的比例。精度:分類正確的樣本數(shù)占樣本總數(shù)的比例。機(jī)器學(xué)習(xí)預(yù)測中，存在四個重要的參數(shù)。TP表示將正類預(yù)測為正類數(shù)，F(xiàn)N表示將正類預(yù)測為負(fù)類數(shù)，F(xiàn)P表示將負(fù)類預(yù)測為正類數(shù)，TN表示將負(fù)類預(yù)測為負(fù)類數(shù)。機(jī)器學(xué)習(xí)中存在查全率和查準(zhǔn)率兩個指標(biāo)。查全率：R=TP/(TP+FN)。查準(zhǔn)率：P=TP/(TP+FN)。查準(zhǔn)率和查全率兩者相斥。當(dāng)查準(zhǔn)率較高時(shí)，查全率便低，查準(zhǔn)率低時(shí)，查全率便高。F1度量方法應(yīng)用的更為廣泛。F1=(2×P×R)/(P+R)3線性模型線性回歸線性回歸的最終目的就是通過訓(xùn)練來得出參數(shù)w讓f(x)接近y。在數(shù)學(xué)上就是找到一條曲線盡量擬合所有的數(shù)據(jù)樣本點(diǎn)。但是在線性模型中，直線幾乎不可能擬合所有的樣本點(diǎn)。所以機(jī)器學(xué)習(xí)中的線性模型訓(xùn)練是盡量調(diào)整參數(shù)使線離大多數(shù)數(shù)據(jù)點(diǎn)更近，線與數(shù)據(jù)的差距在定量上稱之為誤差。均方誤差的損失函數(shù)定義：(J(w)=1/m∑_(i=1)^m(f(x^((i)))-y^((i)))^2=1/m(XW-y)^T(XW-y)將J對w進(jìn)行求導(dǎo)進(jìn)行梯度下降。即：W←W-α?J(W)/?W最后可以得到梯度下降的迭代過程：W←W-2/mαX^T(XW-y)邏輯回歸機(jī)器學(xué)習(xí)中，除了線性回歸，邏輯回歸的使用也比較多。但邏輯回歸的作用和線性回歸卻大不相同。邏輯回歸并不是用來完成回歸任務(wù)，它經(jīng)常被用來進(jìn)行分類。邏輯回歸中用到了Sigmoid函數(shù)。Sigmoid的函數(shù)形式為：g(z)=1/(1+e^(-z)將線性回歸模型的表達(dá)式帶入g(z)，就得到邏輯回歸的表達(dá)式:hθ(x)=g(θ^Tx)=1/(1+e^(-θ^Tx))4決策樹算法基本流程決策樹學(xué)習(xí)的過程主要分為三個部分：（1）特征選擇：特征選擇是指從訓(xùn)練數(shù)據(jù)中眾多的特征中選擇一個特征作為當(dāng)前節(jié)點(diǎn)的分裂標(biāo)準(zhǔn)，如何選擇特征有著很多不同量化評估標(biāo)準(zhǔn)，從而衍生出不同的決策樹算法。（2）決策樹生成：根據(jù)選擇的特征評估標(biāo)準(zhǔn)，從上至下遞歸地生成子節(jié)點(diǎn)，直到數(shù)據(jù)集不可分則停止決策樹停止生長。（3）剪枝：決策樹容易過擬合，一般需要進(jìn)行剪枝，縮小樹結(jié)構(gòu)規(guī)模、緩解過擬合。剪枝技術(shù)有預(yù)剪枝和后剪枝兩種。劃分原則

剪枝

過擬合的樹在泛化能力的表現(xiàn)非常差。所以要進(jìn)行剪枝處理，剪枝又分為預(yù)剪枝和后剪枝，前剪枝是指在構(gòu)造樹的過程中就知道哪些節(jié)點(diǎn)可以剪掉。后剪枝是指構(gòu)造出完整的決策樹之后再來考查哪些子樹可以剪掉。預(yù)剪枝在節(jié)點(diǎn)劃分前確定是否繼續(xù)增長，及早停止增長的主要方法有：節(jié)點(diǎn)內(nèi)數(shù)據(jù)樣本數(shù)小于切分最小樣本數(shù)閾值；所有節(jié)點(diǎn)特征都已分裂；節(jié)點(diǎn)劃分前準(zhǔn)確率比劃分后準(zhǔn)確率高。后剪枝和預(yù)剪枝不同，它是等決策樹完全生成之后從下往上對決策樹進(jìn)行剪枝處理。如果決策樹的劃分使得精確度下降，就進(jìn)行剪枝（讓其不劃分）。4貝葉斯算法貝葉斯定理?xiàng)l件概率，一般記作P(A|B)，意思是當(dāng)B事件發(fā)生時(shí)，A事件發(fā)生的概率。其定義為：全概率公式：貝葉斯公式：貝葉斯算法

條件概率可以理解成下面的式子：后驗(yàn)概率＝先驗(yàn)概率×調(diào)整因子。

先預(yù)估一個“先驗(yàn)概率”，然后加入實(shí)驗(yàn)結(jié)果，看這個實(shí)驗(yàn)到底是增強(qiáng)還是削弱了“先驗(yàn)概率”，由此得到更接近事實(shí)的“后驗(yàn)概率”。樸素貝葉斯推斷：基于訓(xùn)練集D來估計(jì)類先驗(yàn)概率P(c)，并為每個屬性估計(jì)條件概率P(xi|c)。Dc表示訓(xùn)練集D中的第c類樣本組成的集合，若有充足的獨(dú)立同分布樣本，則可容易地估計(jì)出類別的先驗(yàn)概率：5聚類聚類介紹

聚類問題是機(jī)器學(xué)習(xí)中無監(jiān)督學(xué)習(xí)的典型代表，在數(shù)據(jù)分析、模式識別很多實(shí)際問題中得到了應(yīng)用。類也是要確定一個物體的類別，但和分類問題不同的是，這里沒有事先定義好的類別，聚類算法要自己想辦法把一批樣本分開，分成多個類，保證每一個類中的樣本之間是相似的，而不同類的樣本之間是不同的。在這里，類型被稱為“簇”（cluster）。聚類的分類

基于劃分的聚類方法應(yīng)用十分廣泛。該方法首先要確定這樣本點(diǎn)最后聚成幾類，然后挑選幾個點(diǎn)作為初始中心點(diǎn)，再然后給數(shù)據(jù)點(diǎn)做迭代重置（iterativerelocation），直到最后到達(dá)“類內(nèi)的點(diǎn)都足夠近，類間的點(diǎn)都足夠遠(yuǎn)”的目標(biāo)效果。層次聚類主要有兩種類型：合并的層次聚類和分裂的層次聚類。基于密度的方法能解決不規(guī)則形狀的聚類。該方法同時(shí)也對噪聲數(shù)據(jù)的處理比較好。基于網(wǎng)絡(luò)的方法的原理就是將數(shù)據(jù)空間劃分為網(wǎng)格單元，將數(shù)據(jù)對象集映射到網(wǎng)格單元中，并計(jì)算每個單元的密度。K-means聚類

K-means算法是找中心點(diǎn)到各個樣本點(diǎn)距離都相近的一個算法。K-means的算法步驟為：①選擇初始化的k個樣本作為初始聚類中心a=a1,a2,a3....。②針對數(shù)據(jù)集中每個樣本

計(jì)算它到k個聚類中心的距離并將其分到距離最小的聚類中心所對應(yīng)的類中；③針對每個類別，重新計(jì)算它的聚類中心。④一直重復(fù)步驟②和③直到收斂。6項(xiàng)目實(shí)戰(zhàn)：出行決策項(xiàng)目介紹下圖可以清楚的看到一共有四個屬性，分別是天氣，溫度，濕度，以及是否有風(fēng)，標(biāo)記表示是否出門。結(jié)果展示7項(xiàng)目實(shí)戰(zhàn)：鳶尾花聚類項(xiàng)目介紹Iris鳶尾花數(shù)據(jù)集是一個經(jīng)典數(shù)據(jù)集，在統(tǒng)計(jì)學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域都經(jīng)常被用作示例。數(shù)據(jù)集內(nèi)包含3類共150條記錄，每類各50個數(shù)據(jù)，每條記錄都有4項(xiàng)特征：花萼長度、花萼寬度、花瓣長度、花瓣寬度，可以通過這4個特征預(yù)測鳶尾花卉屬于（iris-setosa,iris-versicolour,iris-virginica）中的哪一品種。結(jié)果展示

數(shù)據(jù)分布聚類結(jié)果小結(jié)從引言開始，講解了機(jī)器學(xué)習(xí)一些常用術(shù)語以及它的