《人工智能應(yīng)用基礎(chǔ)》 課件-模塊七 機(jī)器學(xué)習(xí)概述

BasisofArtificialIntelligenceApplication人工智能應(yīng)用基礎(chǔ)模塊七機(jī)器學(xué)習(xí)概述07每分鐘的鳴叫聲與溫度（攝氏度）的關(guān)系人們早就知曉，相比涼爽的天氣，蟋蟀在較為炎熱的天氣里鳴叫更為頻繁。數(shù)十年來，專業(yè)和業(yè)余昆蟲學(xué)者已將每分鐘的鳴叫聲和溫度方面的數(shù)據(jù)編入目錄?，F(xiàn)在，我們已經(jīng)擁有蟋蟀數(shù)據(jù)庫，希望利用該數(shù)據(jù)庫訓(xùn)練一個(gè)模型，從而預(yù)測鳴叫聲與溫度的關(guān)系。我們首先將數(shù)據(jù)繪制成圖表，了解數(shù)據(jù)的分布情況，如圖左側(cè)所示?？梢园l(fā)現(xiàn)，數(shù)據(jù)的分布接近一條直線。如何讓機(jī)器自動學(xué)習(xí)這些數(shù)據(jù)，生成預(yù)測模型？任務(wù)七：線性回歸算法預(yù)測網(wǎng)絡(luò)通信正常已安裝Anaconda集成環(huán)境已安裝百度SDK并注冊用戶1、任務(wù)描述導(dǎo)入sklearn庫并生成模擬數(shù)據(jù)從sklearn庫中導(dǎo)入線性回歸模型構(gòu)造線性回歸對象，并訓(xùn)練模型回歸預(yù)測并繪圖呈現(xiàn)效果2、環(huán)境要求3、任務(wù)設(shè)計(jì)本次任務(wù)借助sklearn機(jī)器學(xué)習(xí)庫，對一組給定的數(shù)據(jù)，建立回歸模型。效果如下所示。原始數(shù)據(jù)回歸預(yù)測｝任務(wù)一請掃碼完成安裝Anaconda環(huán)境1.熟悉機(jī)器學(xué)習(xí)的概念2.了解機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)3.了解機(jī)器學(xué)習(xí)的分類4.了解機(jī)器學(xué)習(xí)的常用算法5.能用線性回歸算法進(jìn)行預(yù)測6.培養(yǎng)代碼編寫質(zhì)量意識重點(diǎn):1.機(jī)器學(xué)習(xí)的概念2.機(jī)器學(xué)習(xí)的常用算法3.回歸算法實(shí)踐難點(diǎn):1.機(jī)器學(xué)習(xí)的常用算法2.回歸算法實(shí)踐知識?技能?素質(zhì)重難點(diǎn)人工智能應(yīng)用基礎(chǔ)BasisofArtificialIntelligenceApplication1、機(jī)器學(xué)習(xí)的概念2、機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)3、機(jī)器學(xué)習(xí)的分類4、機(jī)器學(xué)習(xí)的常用算法5、機(jī)器學(xué)習(xí)的典型應(yīng)用6、任務(wù)七：線性回歸算法預(yù)測機(jī)器學(xué)習(xí)（MachineLearning）是使用數(shù)據(jù)和算法來模仿人類的學(xué)習(xí)方式，逐漸優(yōu)化模型，以提高預(yù)測準(zhǔn)確性的一個(gè)研究領(lǐng)域。機(jī)器學(xué)習(xí)是人工智能和計(jì)算機(jī)科學(xué)的一個(gè)分支，更是人工智能核心和基礎(chǔ)。機(jī)器學(xué)習(xí)概念圖1、機(jī)器學(xué)習(xí)的定義7.1機(jī)器學(xué)習(xí)的概念機(jī)器從經(jīng)驗(yàn)

中學(xué)習(xí)？人類從經(jīng)驗(yàn)

中學(xué)習(xí)機(jī)器遵守指令數(shù)據(jù)1、機(jī)器學(xué)習(xí)的定義7.1機(jī)器學(xué)習(xí)的概念

首先需要一組數(shù)據(jù)-訓(xùn)練數(shù)據(jù)集；其次，通過一些機(jī)器學(xué)習(xí)算法進(jìn)行訓(xùn)練；最后，訓(xùn)練得到的模型可以用于對新的數(shù)據(jù)（測試數(shù)據(jù)集）進(jìn)行處理（預(yù)測）。

人類在成長、生活過程中積累了不少的經(jīng)驗(yàn)。我們需要對這些經(jīng)驗(yàn)進(jìn)行歸納，并獲得一些規(guī)律。

機(jī)器學(xué)習(xí)中的“訓(xùn)練”與“預(yù)測”過程可以對應(yīng)到人類的“歸納”和“推測”過程。

訓(xùn)練

模型

模型

預(yù)測經(jīng)驗(yàn)數(shù)據(jù)模型規(guī)律新的問題新的問題未知屬性未來預(yù)測推測機(jī)器學(xué)習(xí)主要包括有監(jiān)督學(xué)習(xí)中的分類、回歸等，無監(jiān)督學(xué)習(xí)中的聚類等基礎(chǔ)研究方向，常用算法有支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、線性回歸、K均值聚類等。在用戶畫像、商品圖片分類、個(gè)人彺信評估等方面取得了良好的應(yīng)用。機(jī)器學(xué)習(xí)常用算法及應(yīng)用2、機(jī)器學(xué)習(xí)算法框架7.1機(jī)器學(xué)習(xí)的概念用戶畫像商品圖片分類個(gè)人彺信評估電影票房預(yù)測高維數(shù)據(jù)可視化業(yè)務(wù)場景支持向量機(jī)樸素貝葉斯K近鄰決策樹線性回歸嶺回歸K均值聚類層次聚類TSNE降維主成分分析常用算法邏輯回歸神經(jīng)網(wǎng)絡(luò)LASSO回歸譜聚類局部線性嵌入分類…研究方向回歸聚類降維有監(jiān)督學(xué)習(xí)方法無監(jiān)督學(xué)習(xí)方法3、機(jī)器學(xué)習(xí)的一般流程源數(shù)據(jù)特征產(chǎn)生建立模型應(yīng)用結(jié)果訓(xùn)練模型訓(xùn)練集模型評估7.1機(jī)器學(xué)習(xí)的概念1、機(jī)器學(xué)習(xí)的概念2、機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)3、機(jī)器學(xué)習(xí)的分類4、機(jī)器學(xué)習(xí)的常用算法5、機(jī)器學(xué)習(xí)的典型應(yīng)用6、任務(wù)七：線性回歸算法預(yù)測1、向量7.2機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)在開始應(yīng)用各種機(jī)器學(xué)習(xí)方法訓(xùn)練樣本數(shù)據(jù)時(shí),首先要對樣本數(shù)據(jù)進(jìn)行各種處理,使得樣本數(shù)據(jù)符合機(jī)器學(xué)習(xí)算法的要求。樣本通常以向量的形式描述，并組成數(shù)據(jù)集（DataSet）序號顏色形狀重量（克）類別1紅圓180蘋果2黃彎月120香蕉3紅圓12櫻桃4黃圓50桔子5紅圓161蘋果樣本序號樣本屬性類別標(biāo)簽1[11180]12[22120]23[1112]34[2150]45[11165]1｝數(shù)據(jù)集

2、距離(舉例)

7.2機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)

距離、相似度、誤差等，有多種形式，如歐氏距離、閔可夫斯基距離、漢明距離、余弦相似度等

1、機(jī)器學(xué)習(xí)的概念2、機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)3、機(jī)器學(xué)習(xí)的分類4、機(jī)器學(xué)習(xí)的常用算法5、機(jī)器學(xué)習(xí)的典型應(yīng)用6、任務(wù)七：線性回歸算法預(yù)測1、有監(jiān)督學(xué)習(xí)7.3機(jī)器學(xué)習(xí)的分類分類示意圖回歸示意圖

2、無監(jiān)督學(xué)習(xí)7.3機(jī)器學(xué)習(xí)的分類聚類示意圖

無監(jiān)督學(xué)習(xí)（unsupervisedlearning）指的是在輸出值未知的情況下，訓(xùn)練出一個(gè)模型，即從未被標(biāo)記的輸入數(shù)據(jù)中挖掘出潛在的結(jié)構(gòu)。主要方法有聚類及關(guān)聯(lián)規(guī)則分析。監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)目標(biāo)明確目標(biāo)不明確訓(xùn)練數(shù)據(jù)已被標(biāo)記訓(xùn)練數(shù)據(jù)未被標(biāo)記效果容易評估效果較難評估關(guān)聯(lián)分析：啤酒與尿布3、遷移學(xué)習(xí)7.3機(jī)器學(xué)習(xí)的分類遷移學(xué)習(xí)：象人類一樣,舉一反三

遷移學(xué)習(xí)（TransferLearning）是把一個(gè)領(lǐng)域（即源領(lǐng)域）的知識，遷移到另外一個(gè)領(lǐng)域（即目標(biāo)領(lǐng)域），使得目標(biāo)領(lǐng)域能夠取得更好的學(xué)習(xí)效果。4、強(qiáng)化學(xué)習(xí)7.3機(jī)器學(xué)習(xí)的分類強(qiáng)化學(xué)習(xí)（ReinforcementLearning，RL），又稱再勵(lì)學(xué)習(xí)、評價(jià)學(xué)習(xí)或增強(qiáng)學(xué)習(xí)，是機(jī)器學(xué)習(xí)的范式和方法論之一，用于描述和解決智能體（Agent）在與環(huán)境的交互過程中通過學(xué)習(xí)策略以達(dá)成回報(bào)最大化或?qū)崿F(xiàn)特定目標(biāo)的問題。通過“好奇心”驅(qū)動學(xué)習(xí)在這個(gè)游戲中，小蛇學(xué)習(xí)收集能增加獎(jiǎng)勵(lì)的綠球，同時(shí)避開能減少獎(jiǎng)勵(lì)的紅球，這些是通過“好奇心”機(jī)制實(shí)現(xiàn)的強(qiáng)化學(xué)習(xí)機(jī)制Agent

強(qiáng)化學(xué)習(xí)案例下列需求屬于什么問題？7.3機(jī)器學(xué)習(xí)的分類

無監(jiān)督學(xué)習(xí)：聚類。僅基于輸入數(shù)據(jù)對數(shù)據(jù)進(jìn)行分組和解釋。有監(jiān)督學(xué)習(xí)：分類、回歸?；谳斎牒洼敵鰯?shù)據(jù)開發(fā)預(yù)測模型。1、若無成績信息，僅挖掘個(gè)人興趣愛好等信息，則是一個(gè)聚類問題。

2、若有部分成績信息，將來要預(yù)測其余成績：1）若成績以等級制描述，則為分類問題。2）若成績以數(shù)值描述，則為回歸問題。1、機(jī)器學(xué)習(xí)的概念2、機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)3、機(jī)器學(xué)習(xí)的分類4、機(jī)器學(xué)習(xí)的常用算法5、機(jī)器學(xué)習(xí)的典型應(yīng)用6、任務(wù)七：線性回歸算法預(yù)測1、線性回歸7.4機(jī)器學(xué)習(xí)的常用算法y=kx+b/machine-learning/crash-course/introduction-to-neural-networks/playground-exercises2、支持向量機(jī)7.4機(jī)器學(xué)習(xí)的常用算法支持向量機(jī)（a）原始分類問題（b）（c）3、決策樹7.4機(jī)器學(xué)習(xí)的常用算法決策樹-西瓜甜不甜？大小大小圓彎月紅黃顏色櫻桃香蕉形狀蘋果桔子決策樹-什么水果？紋理=？清晰色澤=？根蒂=？好瓜壞瓜觸感=？壞瓜清晰模糊好瓜壞瓜蜷縮稍蜷硬挺硬滑軟粘觸感=？好瓜壞瓜青綠烏黑淺白好瓜壞瓜硬滑軟粘4、K近鄰算法7.4機(jī)器學(xué)習(xí)的常用算法K近鄰算法金色圓圈屬于哪一個(gè)類別呢？優(yōu)點(diǎn)：簡單，易于理解，無需建模與訓(xùn)練，易于實(shí)現(xiàn)；適合對稀有事件進(jìn)行分類；適合與多分類問題，例如根據(jù)基因特征來判斷其功能分類，KNN比SVM的表現(xiàn)要好。缺點(diǎn)：惰性算法，內(nèi)存開銷大，對測試樣本分類時(shí)計(jì)算量大，性能較低；可解釋性差，無法給出決策樹那樣的規(guī)則。？5、K均值聚類算法7.4機(jī)器學(xué)習(xí)的常用算法K均值聚類算法過程示例(圖源：data-analysis-stats.jp/)N更新簇內(nèi)質(zhì)心在數(shù)據(jù)集中隨機(jī)選取K個(gè)點(diǎn)作為初始聚類質(zhì)心計(jì)算剩余樣本點(diǎn)到聚類質(zhì)心距離并將其分配到距離最近的簇內(nèi)樣本所屬的簇未改變結(jié)束K-Means開始K-MeansYK均值聚類算法描述1、機(jī)器學(xué)習(xí)的概念2、機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)3、機(jī)器學(xué)習(xí)的分類4、機(jī)器學(xué)習(xí)的常用算法5、機(jī)器學(xué)習(xí)的典型應(yīng)用6、任務(wù)七：線性回歸算法預(yù)測1、虛擬個(gè)人助理7.5機(jī)器學(xué)習(xí)的典型應(yīng)用我今天的日程安排是什么？從德國到倫敦的航班是什么？第二天早上6點(diǎn)設(shè)置鬧鐘！后天提醒我訪問簽證辦事處！典型案例：度秘、Siri、小冰2、交通預(yù)測道路擁堵情況嗎？交通流量會怎樣變化？優(yōu)化交通信號燈的配時(shí)！調(diào)整公共交通線路！典型案例：打車軟件估算通過預(yù)測乘客需求及交通狀況，估算價(jià)格的漲跌3、社交媒體服務(wù)7.5機(jī)器學(xué)習(xí)的典型應(yīng)用你的朋友列表？你經(jīng)常訪問的資料？你的興趣愛好？你的工作場所？你與他人分享的群？目標(biāo)：向你推薦可能最成為你社交新朋友的人推薦你可能認(rèn)識的人：社交媒體4、視頻監(jiān)控跟蹤人們的不尋常行為長時(shí)間不動地站著？絆倒了？在長椅上打盹？目標(biāo)：在犯罪事件發(fā)生之前將其檢測出來5、智能客服7.5機(jī)器學(xué)習(xí)的典型應(yīng)用聊天行為變得更人性化更好地理解用戶查詢?yōu)橛脩籼峁└玫拇鸢改繕?biāo)：提升聊天機(jī)器人的體驗(yàn)，以更好地替代人類客服6、商品推薦你的行為特點(diǎn)你的購買歷史你的喜好和品牌

目標(biāo)：向用戶推薦符合其喜好的商品，提升用戶的購物體驗(yàn)。通過個(gè)性化推薦，提高用戶的購買率和滿意度1、機(jī)器學(xué)習(xí)的概念2、機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)3、機(jī)器學(xué)習(xí)的分類4、機(jī)器學(xué)習(xí)的常用算法5、機(jī)器學(xué)習(xí)的典型應(yīng)用6、任務(wù)七：線性回歸算法預(yù)測任務(wù)七：線性回歸算法預(yù)測網(wǎng)絡(luò)通信正常已安裝Anaconda集成環(huán)境已安裝百度SDK并注冊用戶1、任務(wù)描述導(dǎo)入sklearn庫并生成模擬數(shù)據(jù)從sklearn庫中導(dǎo)入線性回歸模型構(gòu)造線性回歸對象，并訓(xùn)練模型回歸預(yù)測并繪圖呈現(xiàn)效果2、環(huán)境要求3、任務(wù)設(shè)計(jì)本次任務(wù)借助sklearn機(jī)器學(xué)習(xí)庫，對一組給定的數(shù)據(jù)，建立回歸模型。效果如下所示。原始數(shù)據(jù)回歸預(yù)測｝任務(wù)一請掃碼完成安裝Anaconda環(huán)境左側(cè)為參考代碼，其中：實(shí)驗(yàn)數(shù)據(jù)可以從外部讀入生成的樣本數(shù)量及噪音可以調(diào)節(jié)參考代碼4、任務(wù)實(shí)施任務(wù)七：線性回歸算法預(yù)測編譯運(yùn)行結(jié)果4、任務(wù)實(shí)施任務(wù)七：線性回歸算法預(yù)測生成模擬數(shù)據(jù)，畫出散點(diǎn)圖紅色直線為回歸預(yù)測結(jié)果常見問題：編譯錯(cuò)誤1.NameError:name'X'isnotdefined：變量命名與使用時(shí)不統(tǒng)一，可能是大小寫的問題。2.AttributeError:Unknownpropertycolour:部分單詞拼寫錯(cuò)誤

其它問題程序能正常編譯運(yùn)行，但是沒有出現(xiàn)圖像：請查看..,可能是圖像已經(jīng)呈現(xiàn)，但相關(guān)窗口沒有被打開5、常見問題任務(wù)七：線性回歸算法預(yù)測本次項(xiàng)目通過簡單的生成數(shù)據(jù)、訓(xùn)練模型、預(yù)測數(shù)據(jù)，體驗(yàn)了機(jī)器學(xué)習(xí)流程。

學(xué)員們可以