《機(jī)器學(xué)習(xí)技術(shù)》課件 第一章 機(jī)器學(xué)習(xí)導(dǎo)引

單元1機(jī)器學(xué)習(xí)導(dǎo)引機(jī)器學(xué)習(xí)電氣與信息工程系CONTENTS

目錄01020304機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)的發(fā)展歷程與趨勢(shì)機(jī)器學(xué)習(xí)的分類模型訓(xùn)練與評(píng)估方法PART01機(jī)器學(xué)習(xí)概述01機(jī)器學(xué)習(xí)概述什么是機(jī)器學(xué)習(xí)？從廣義上來(lái)說(shuō)，機(jī)器學(xué)習(xí)是一種能夠賦予機(jī)器學(xué)習(xí)的能力以此讓它完成直接編程無(wú)法完成的功能的方法。從實(shí)踐的意義上來(lái)說(shuō)，機(jī)器學(xué)習(xí)是一種通過利用數(shù)據(jù)，訓(xùn)練出模型，然后使用模型預(yù)測(cè)的一種方法。

01機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)（MachineLearning）是一門多領(lǐng)域交叉學(xué)科，它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑。其包含大量的學(xué)習(xí)算法。不同的學(xué)習(xí)算法在不同的行業(yè)及應(yīng)用中能夠表現(xiàn)出不同的性能和優(yōu)勢(shì)。PART02機(jī)器學(xué)習(xí)的發(fā)展歷程與分類02機(jī)器學(xué)習(xí)發(fā)展歷程智能集合體02機(jī)器學(xué)習(xí)發(fā)展歷程A.知識(shí)推理期B.知識(shí)工程期C.淺層學(xué)習(xí)D深度學(xué)習(xí)（1）機(jī)器學(xué)習(xí)經(jīng)歷了哪幾個(gè)發(fā)展階段？（2）機(jī)器學(xué)習(xí)是一門（）的學(xué)科？A.人工智能B.計(jì)算機(jī)C.網(wǎng)格D.統(tǒng)計(jì)學(xué)PART03機(jī)器學(xué)習(xí)的分類02機(jī)器學(xué)習(xí)分類學(xué)習(xí)目標(biāo)分類判別式模型，又稱非概率模型，是指通過學(xué)習(xí)輸入和輸出之間的映射關(guān)系來(lái)建立模型y=f(x)，然后利用該模型來(lái)預(yù)測(cè)新的輸出。判別式模型的典型代表是支持向量機(jī)模型，該模型通過學(xué)習(xí)輸入和輸出之間的映射關(guān)系來(lái)建立分類模型，然后利用該模型來(lái)預(yù)測(cè)新的分類結(jié)果。

生成式模型，又稱概率模型，是指通過學(xué)習(xí)數(shù)據(jù)的分布來(lái)建立模型P(y|x)，然后利用該模型來(lái)生成新的數(shù)據(jù)。生成式模型的典型代表是樸素貝葉斯模型，該模型通過學(xué)習(xí)數(shù)據(jù)的分布來(lái)建立概率模型，然后利用該模型來(lái)生成新的數(shù)據(jù)。

02機(jī)器學(xué)習(xí)分類生成式模型是所有變量的全概率模型，而判別模型是在給定觀測(cè)變量值的前提下目標(biāo)變量的條件概率模型。因此，生成式模型能夠用于模擬（即生成）模型中任意變量的分布情況，而判別模型只能根據(jù)觀測(cè)變量得到目標(biāo)變量的采樣值。判別模型不對(duì)觀測(cè)變量的分布建模。因此，它不能表達(dá)觀測(cè)變量與目標(biāo)變量之間更復(fù)雜的關(guān)系。生成式模型更普適；判別式模型更直接，目標(biāo)性更強(qiáng)。生成式模型關(guān)注數(shù)據(jù)是如何產(chǎn)生的，尋找的是數(shù)據(jù)分布模型；判別式模型關(guān)注數(shù)據(jù)的差異性，尋找的是分類面，由生成式模型可以產(chǎn)生判別式模型，但是由判別式模型沒法產(chǎn)生生成式模型。判別式模型和生成式模型的區(qū)別02機(jī)器學(xué)習(xí)分類①對(duì)條件概率進(jìn)行建模，學(xué)習(xí)不同類別之間的最佳邊界。②捕捉不同類別特征的差異信息，不學(xué)習(xí)本身分布信息，無(wú)法反映數(shù)據(jù)本身的特性。③學(xué)習(xí)成本較低，需要的計(jì)算資源較少。④需要的樣本數(shù)可以較少，少樣本也能很好地學(xué)習(xí)。⑤預(yù)測(cè)時(shí)擁有較好性能。⑥無(wú)法轉(zhuǎn)換成生成式。①對(duì)聯(lián)合概率進(jìn)行建模，學(xué)習(xí)所有分類數(shù)據(jù)的分布。②學(xué)習(xí)到的數(shù)據(jù)本身的信息更多，能反應(yīng)數(shù)據(jù)本身的特性。③學(xué)習(xí)成本較高，需要更多的計(jì)算資源。④需要的樣本數(shù)更多，當(dāng)樣本較少時(shí)，學(xué)習(xí)效果較差。⑤推斷時(shí)性能較差。02機(jī)器學(xué)習(xí)分類學(xué)習(xí)方法分類監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、對(duì)抗學(xué)習(xí)5種。

監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一種訓(xùn)練方式/學(xué)習(xí)方式。它是通過機(jī)器學(xué)習(xí)中大量帶有標(biāo)簽的樣本數(shù)據(jù)，訓(xùn)練出一個(gè)模型，并使該模型可以根據(jù)輸入得到相應(yīng)輸出的過程。監(jiān)督學(xué)習(xí)02機(jī)器學(xué)習(xí)分類常見的監(jiān)督學(xué)習(xí)有分類和回歸。分類（Classification）是將一些實(shí)例數(shù)據(jù)分到合適的類別中，它的預(yù)測(cè)結(jié)果是離散的?；貧w（Regression）是將數(shù)據(jù)歸到一條“線”上，即離散數(shù)據(jù)生成擬合曲線，因此其預(yù)測(cè)結(jié)果是連續(xù)的。02機(jī)器學(xué)習(xí)分類無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)表示機(jī)器學(xué)習(xí)的數(shù)據(jù)是沒有標(biāo)記的。機(jī)器從無(wú)標(biāo)記的數(shù)據(jù)中探索并推斷出潛在數(shù)據(jù)之間的聯(lián)系。聚類降維（手寫數(shù)字28*28）異常點(diǎn)檢測(cè)02機(jī)器學(xué)習(xí)分類半監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)是模式識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域研究的重點(diǎn)，是監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法。標(biāo)記軟件02機(jī)器學(xué)習(xí)分類對(duì)抗學(xué)習(xí)對(duì)抗學(xué)習(xí)實(shí)現(xiàn)的方法是讓兩個(gè)網(wǎng)絡(luò)相互競(jìng)爭(zhēng)對(duì)抗。其中一個(gè)是生成器網(wǎng)絡(luò)，它不斷捕捉訓(xùn)練庫(kù)里真實(shí)數(shù)據(jù)的概率分布，將輸入的隨機(jī)噪聲轉(zhuǎn)變成新的樣本（即假數(shù)據(jù)）；另一個(gè)是判別器網(wǎng)絡(luò)，它可以同時(shí)觀察真實(shí)和假造的數(shù)據(jù)，判斷這個(gè)數(shù)據(jù)到底是不是真的。通過反復(fù)對(duì)抗，生成器和判別器的能力都會(huì)不斷增強(qiáng)，直到達(dá)成一種平衡，最后生成器可生成高質(zhì)量的、以假亂真的數(shù)據(jù)。02機(jī)器學(xué)習(xí)分類應(yīng)用方向分類分類、聚類、回歸、排序和序列標(biāo)注5種。分類是一個(gè)有監(jiān)督的學(xué)習(xí)過程，目標(biāo)數(shù)據(jù)庫(kù)中有些類別是已知的，分類過程需要做的就是把每條記錄歸到對(duì)應(yīng)的類別之中。由于必須事先知道各個(gè)類別的信息，并且所有待分類的數(shù)據(jù)條目都默認(rèn)有對(duì)應(yīng)的類別，因此分類算法也有其局限性，當(dāng)上述條件無(wú)法滿足時(shí)，我們就需要嘗試使用聚類分析。聚類試圖將數(shù)據(jù)集中的樣本劃分為若干通常不相交的子集，每個(gè)子集稱為一個(gè)簇（Cluster）。每個(gè)簇可能對(duì)應(yīng)一些潛在的概念，這些概念對(duì)聚類算法而言，事先是未知的，聚類過程僅能自動(dòng)形成簇結(jié)構(gòu)，簇所對(duì)應(yīng)的概念語(yǔ)義需由使用者來(lái)把握和命名。回歸從一組數(shù)據(jù)出發(fā)，確定某些變量之間的定量關(guān)系式，也就是建立數(shù)學(xué)模型并估計(jì)未知參數(shù)?；貧w的目的是預(yù)測(cè)數(shù)值型的目標(biāo)值，它的目標(biāo)是接收連續(xù)數(shù)據(jù)，尋找最適合數(shù)據(jù)的方程，并能對(duì)特定的值進(jìn)行預(yù)測(cè)。其中，所尋求的方程叫作回歸方程。02機(jī)器學(xué)習(xí)分類排序以特征和數(shù)據(jù)為輸入，通過機(jī)器學(xué)習(xí)或者神經(jīng)網(wǎng)絡(luò)，輸出對(duì)于某個(gè)查詢，每個(gè)數(shù)據(jù)的相關(guān)度分?jǐn)?shù)，進(jìn)而實(shí)現(xiàn)對(duì)數(shù)據(jù)的排序。應(yīng)用方向分類序列標(biāo)注指給定一個(gè)序列，找出序列中每個(gè)元素對(duì)應(yīng)標(biāo)簽的問題。其中，標(biāo)簽所有可能的取值集合稱為標(biāo)注集。它可用于解決一系列對(duì)字符進(jìn)行分類的問題，如分詞、詞性標(biāo)注、命名實(shí)體識(shí)別、關(guān)系抽取等。02機(jī)器學(xué)習(xí)分類（3）下列說(shuō)法中正確的是（）生成式模型是所有變量的全概率模型可用于模擬（即生成）模型中任意變量的分布情況B.判別模型是在給定觀測(cè)變量值的前提下目標(biāo)變量的條件概率模型，只能根據(jù)觀測(cè)變量得到目標(biāo)變量的采樣值。C.判別模型不對(duì)觀測(cè)變量的分布建模。因此，它不能表達(dá)觀測(cè)變量與目標(biāo)變量之間更復(fù)雜的關(guān)系D.生成式模型關(guān)注數(shù)據(jù)是如何產(chǎn)生的，尋找的是數(shù)據(jù)分布模型E.判別式模型關(guān)注數(shù)據(jù)的差異性，尋找的是分類面，由生成式模型可以產(chǎn)生判別式模型，但是由判別式模型沒法產(chǎn)生生成式模型。02機(jī)器學(xué)習(xí)分類（4）關(guān)于監(jiān)督學(xué)習(xí)，下列說(shuō)法中正確的是（）監(jiān)督學(xué)習(xí)的數(shù)據(jù)是不帶標(biāo)記的分類將實(shí)例數(shù)據(jù)分到合適的類別中，其預(yù)測(cè)結(jié)果是離散的回歸其預(yù)測(cè)結(jié)果是連續(xù)的監(jiān)督學(xué)習(xí)過程能一次性生成魯棒的預(yù)測(cè)模型（5）按照應(yīng)用方向，機(jī)器學(xué)習(xí)可以分為哪幾類？（）分類聚類回歸排序序列標(biāo)注02機(jī)器學(xué)習(xí)分類（6）機(jī)器學(xué)習(xí)的核心要素包括（）數(shù)據(jù)操作人員算法算力（7）數(shù)據(jù)分類是一個(gè)兩階段過程，包括（）和分類階段分析階段學(xué)習(xí)階段預(yù)測(cè)階段實(shí)驗(yàn)階段PART04模型訓(xùn)練與評(píng)估方法04模型訓(xùn)練（1）模型訓(xùn)練數(shù)據(jù)集、探索性數(shù)據(jù)分析（EDA）、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分割、模型建立5個(gè)過程。04模型訓(xùn)練1.數(shù)據(jù)集數(shù)據(jù)集本質(zhì)上是一個(gè)M×N矩陣，其中，M代表列（特征），N代表行（樣本）。列可以分解為X和Y，其中，X是幾個(gè)術(shù)語(yǔ)［如特征（Feature）、獨(dú)立變量（IndependentVariable）和輸入變量（InputVariable）］的同義詞；Y也是幾個(gè)術(shù)語(yǔ)［如類標(biāo)簽（ClassLabel）、因變量（DependentVariable）和輸出變量（OutputVariable）］的同義詞。04模型訓(xùn)練2.探索性數(shù)據(jù)分析進(jìn)行探索性數(shù)據(jù)分析是為了獲得對(duì)數(shù)據(jù)的初步了解。常用的探索性數(shù)據(jù)分析方法如下：描述性統(tǒng)計(jì)：統(tǒng)計(jì)平均數(shù)、中位數(shù)、模式、標(biāo)準(zhǔn)差。數(shù)據(jù)可視化：辨別特征內(nèi)部相關(guān)性的熱圖，體現(xiàn)可視化群體差異的箱形圖，體現(xiàn)可視化特征之間相關(guān)性的散點(diǎn)圖，可視化數(shù)據(jù)集中呈現(xiàn)的聚類分布的主成分分析圖等。其中，箱型圖如圖1-6所示，主成分分析圖如圖1-7所示。數(shù)據(jù)整形：對(duì)數(shù)據(jù)進(jìn)行透視、分組、過濾等。3.數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理又稱數(shù)據(jù)清理、數(shù)據(jù)整理或數(shù)據(jù)處理，是指對(duì)數(shù)據(jù)進(jìn)行各種檢查和審查的過程，具有糾正缺失值、拼寫錯(cuò)誤（使數(shù)值正?；?標(biāo)準(zhǔn)化，以使其具有可比性）、轉(zhuǎn)換數(shù)據(jù)（如對(duì)數(shù)轉(zhuǎn)換）等作用。04模型訓(xùn)練4.數(shù)據(jù)分割①數(shù)據(jù)集訓(xùn)練-測(cè)試分割②數(shù)據(jù)集訓(xùn)練-驗(yàn)證-測(cè)試分割訓(xùn)練集用于訓(xùn)練模型，驗(yàn)證集用于選擇最佳的超參數(shù)和評(píng)估模型的性能，測(cè)試集用于評(píng)估模型的泛化性能。04模型訓(xùn)練③CV（交叉驗(yàn)證）最常用的交叉驗(yàn)證是

k折交叉驗(yàn)證（k-foldcross-validation），其中k是由用戶指定的數(shù)字，通常取5或10。5折交叉驗(yàn)證：

1、將數(shù)據(jù)劃分為（大致）相等的5部分，每一部分叫作折（fold）

2、訓(xùn)練一系列模型，每折輪流作為測(cè)試集評(píng)估精度，其他作為訓(xùn)練集訓(xùn)練模型04模型訓(xùn)練5.模型建立使用準(zhǔn)備的數(shù)據(jù)來(lái)建立模型。我們要根據(jù)目標(biāo)變量（通常稱為Y變量）的數(shù)據(jù)類型（定性或定量），建立一個(gè)分類（如果Y是定性的）模型或回歸（如果Y是定量的）模型。1.參數(shù)調(diào)優(yōu)超參數(shù)本質(zhì)上是機(jī)器學(xué)習(xí)算法的參數(shù)，直接影響學(xué)習(xí)過程和預(yù)測(cè)性能。由于沒有“一刀切”的超參數(shù)設(shè)置來(lái)普遍適用于所有數(shù)據(jù)集，因此需要進(jìn)行超參數(shù)優(yōu)化（也稱為超參數(shù)調(diào)整或模型調(diào)整）。（2）學(xué)習(xí)算法優(yōu)化04模型訓(xùn)練

（3）模型評(píng)估2.特征選擇特征選擇是特征工程里的一個(gè)重要問題，其目標(biāo)是尋找最優(yōu)特征子集。特征選擇能剔除不相關(guān)(irrelevant)或冗余(redundant)的特征，從而達(dá)到減少特征個(gè)數(shù)，提高模型精確度，減少運(yùn)行時(shí)間的目的。針對(duì)分類、排序、回歸、序列預(yù)測(cè)等不同類型的機(jī)器學(xué)習(xí)問題，評(píng)估指標(biāo)的選擇也有所不同。1.評(píng)估指標(biāo)分類分類模型的常用評(píng)估指標(biāo)有準(zhǔn)確率、精確率、召回率、F1—Score、ROC曲線等。04模型訓(xùn)練

TP就是樣本是正例的且用學(xué)習(xí)器分類出來(lái)也是正例的

FN就是樣本是正例的但學(xué)習(xí)器分類出來(lái)是反例的

FP是在樣本是反例的但學(xué)習(xí)器分類出來(lái)是正例的

TN是在樣本是反例的且學(xué)習(xí)器分類出來(lái)是反例的混淆矩陣混淆矩陣的每一列代表了預(yù)測(cè)類別，每一列的總數(shù)表示預(yù)測(cè)為該類別的數(shù)據(jù)的數(shù)目；每一行代表了數(shù)據(jù)的真實(shí)歸屬類別，每一行的數(shù)據(jù)總數(shù)表示該類別的數(shù)據(jù)實(shí)例的數(shù)目；每一列中的數(shù)值表示真實(shí)數(shù)據(jù)被預(yù)測(cè)為該類的數(shù)目。04模型訓(xùn)練①準(zhǔn)確率。準(zhǔn)確率是指正確分類的樣本數(shù)占總樣本數(shù)的比例，其計(jì)算公式為②

精確率。精確率是指預(yù)測(cè)為正例的樣本數(shù)中真實(shí)正例的樣本數(shù)所占的比例，其計(jì)算公式為③召回率。召回率是指真實(shí)正例的樣本數(shù)中預(yù)測(cè)為正例的樣本數(shù)所占的比例，其計(jì)算公式為04模型訓(xùn)練④P-R（Precision-Recall）曲線。P-R曲線的橫坐標(biāo)是召回率，縱坐標(biāo)是精確率。對(duì)一個(gè)排序模型來(lái)說(shuō)，其P-R曲線上的一個(gè)點(diǎn)代表在某一閾值下，模型將大于該閾值的結(jié)果判定為正樣本，將小于該閾值的結(jié)果判定為負(fù)樣本，此時(shí)返回結(jié)果對(duì)應(yīng)的召回率和精確率。04模型訓(xùn)練⑤F1分?jǐn)?shù)（F1Score），是統(tǒng)計(jì)學(xué)中用來(lái)衡量二分類（或多任務(wù)二分類）模型精確度的一種指標(biāo)。它同時(shí)兼顧了分類模型的準(zhǔn)確率和召回率。F1分?jǐn)?shù)可以看作是模型準(zhǔn)確率和召回率的一種加權(quán)平均，它的最大值是1，最小值是0，值越大意味著模型越好⑥ROC曲線。ROC曲線即曲線下面積（AreaUndertheCurve，AUC），是評(píng)估二元分類器的重要指標(biāo)之一。ROC曲線的橫坐標(biāo)是假正例率（FPR），縱坐標(biāo)是真正例率（TPR）。TPR和FPR的計(jì)算公式如下：04模型訓(xùn)練2.回歸問題由于回歸模型的輸出值為連續(xù)值，其模型的評(píng)估與分類模型評(píng)估有所差異，一般采用平均絕對(duì)誤差（MAE）、均方誤差（MSE）、均方根誤差（RMSE）等。①平均絕對(duì)誤差（MAE）。MAE被稱為L(zhǎng)1，其計(jì)算公式為②均方誤差（MSE）。MSE被稱為L(zhǎng)2，其計(jì)算公式為04模型訓(xùn)練③均方根誤差（RMSE）。RMSE能很好地反映回歸模型預(yù)測(cè)值與真實(shí)值的偏離程度。但在實(shí)際問題中，如果存在個(gè)別偏移程度非常大的離群點(diǎn)，即使離群點(diǎn)的數(shù)量非常少，也會(huì)讓RMSE指標(biāo)變得很差。02機(jī)器學(xué)習(xí)分類（8）模型訓(xùn)練主要包括哪幾個(gè)過程？（）數(shù)據(jù)集探索性數(shù)據(jù)分析數(shù)據(jù)分割模型建立數(shù)據(jù)預(yù)處理（9）關(guān)于模型評(píng)估，下列說(shuō)法中正確的是（）所有機(jī)器學(xué)習(xí)模型使用的評(píng)估方法是相同的模型評(píng)估主要分為離線評(píng)估和在線評(píng)估兩個(gè)階段準(zhǔn)確率是分類問題中最簡(jiǎn)單也最直觀的評(píng)估指標(biāo)，但其存在明顯的缺陷只用某個(gè)點(diǎn)對(duì)應(yīng)的準(zhǔn)確率和召回率不能全面地衡量模型的性能02機(jī)器學(xué)習(xí)分類（1