人工智能導(dǎo)論：模型與算法4-機器學(xué)習(xí)及有監(jiān)督學(xué)習(xí)

機器學(xué)習(xí)：監(jiān)督學(xué)習(xí)

2020年2020《人工智能導(dǎo)論：模型與算法》師資培訓(xùn)提綱二、線性回歸一、機器學(xué)習(xí)基本概念三、AdaBoosting機器學(xué)習(xí):從數(shù)據(jù)中學(xué)習(xí)知識

圖像數(shù)據(jù)文本數(shù)據(jù)PersonDog…

喜悅憤怒…類別分類情感分類

}機器學(xué)習(xí)的分類

監(jiān)督學(xué)習(xí)(supervisedlearning)數(shù)據(jù)有標(biāo)簽、一般為回歸或分類等任務(wù)無監(jiān)督學(xué)習(xí)(un-supervisedlearning)

數(shù)據(jù)無標(biāo)簽、一般為聚類或若干降維任務(wù)強化學(xué)習(xí)(reinforcementlearning)序列數(shù)據(jù)決策學(xué)習(xí)，一般為與從環(huán)境交互中學(xué)習(xí)半監(jiān)督學(xué)習(xí)(semi-supervisedlearning)機器學(xué)習(xí)：分類問題

人員數(shù)學(xué)好身體好會編程嗓門大程序員AYesNoYesYes作家ANoNoYesNo程序員BYesYesNoNo……………醫(yī)生AYesYesYesYes程序員CYesYesYesYes程序員DYesYesYesNo從數(shù)據(jù)中學(xué)習(xí)

映射函數(shù)模式類別標(biāo)簽數(shù)據(jù)監(jiān)督學(xué)習(xí)的重要元素如何學(xué)習(xí)得到映射模型標(biāo)注數(shù)據(jù)學(xué)習(xí)模型標(biāo)識了類別信息的數(shù)據(jù)如何對學(xué)習(xí)結(jié)果進(jìn)行度量損失函數(shù)監(jiān)督學(xué)習(xí)：損失函數(shù)

監(jiān)督學(xué)習(xí)：損失函數(shù)典型的損失函數(shù)

損失函數(shù)名稱損失函數(shù)定義0-1損失函數(shù)平方損失函數(shù)絕對損失函數(shù)對數(shù)損失函數(shù)/對數(shù)似然損失函數(shù)監(jiān)督學(xué)習(xí)：訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)

監(jiān)督學(xué)習(xí)：經(jīng)驗風(fēng)險與期望風(fēng)險

經(jīng)驗風(fēng)險(empiricalrisk

)訓(xùn)練集中數(shù)據(jù)產(chǎn)生的損失。經(jīng)驗風(fēng)險越小說明學(xué)習(xí)模型對訓(xùn)練數(shù)據(jù)擬合程度越好。期望風(fēng)險(expectedrisk):當(dāng)測試集中存在無窮多數(shù)據(jù)時產(chǎn)生的損失。期望風(fēng)險越小，學(xué)習(xí)所得模型越好。

映射函數(shù)訓(xùn)練目標(biāo)：經(jīng)驗風(fēng)險最小化(empiricalriskminimization,

ERM)

選取一個使得訓(xùn)練集所有數(shù)據(jù)損失平均值最小的映射函數(shù)。這樣的考慮是否夠？映射函數(shù)訓(xùn)練目標(biāo)：期望風(fēng)險最小化(expectedriskminimization)

期望風(fēng)險是模型關(guān)于聯(lián)合分布期望損失，經(jīng)驗風(fēng)險是模型關(guān)于訓(xùn)練樣本集平均損失。根據(jù)大數(shù)定律，當(dāng)樣本容量趨于無窮時，經(jīng)驗風(fēng)險趨于期望風(fēng)險。所以在實踐中很自然用經(jīng)驗風(fēng)險來估計期望風(fēng)險。由于現(xiàn)實中訓(xùn)練樣本數(shù)目有限，用經(jīng)驗風(fēng)險估計期望風(fēng)險并不理想，要對經(jīng)驗風(fēng)險進(jìn)行一定的約束。監(jiān)督學(xué)習(xí)：經(jīng)驗風(fēng)險與期望風(fēng)險監(jiān)督學(xué)習(xí):“過學(xué)習(xí)(over-fitting)”與“欠學(xué)習(xí)(under-fitting)”經(jīng)驗風(fēng)險?。ㄓ?xùn)練集上表現(xiàn)好）期望風(fēng)險小（測試集上表現(xiàn)好)泛化能力強經(jīng)驗風(fēng)險?。ㄓ?xùn)練集上表現(xiàn)好）期望風(fēng)險大（測試集上表現(xiàn)不好)過學(xué)習(xí)（模型過于復(fù)雜）經(jīng)驗風(fēng)險大（訓(xùn)練集上表現(xiàn)不好）期望風(fēng)險大（測試集上表現(xiàn)不好)欠學(xué)習(xí)經(jīng)驗風(fēng)險大（訓(xùn)練集上表現(xiàn)不好）期望風(fēng)險?。y試集上表現(xiàn)好)“神仙算法”或“黃粱美夢”

經(jīng)驗風(fēng)險最小化期望風(fēng)險最小化監(jiān)督學(xué)習(xí):結(jié)構(gòu)風(fēng)險最小

經(jīng)驗風(fēng)險最小化：僅反映了局部數(shù)據(jù)期望風(fēng)險最小化：無法得到全量數(shù)據(jù)結(jié)構(gòu)風(fēng)險最小化(structuralriskminimization)：為了防止過擬合，在經(jīng)驗風(fēng)險上加上表示模型復(fù)雜度的正則化項(regulatizer)或懲罰項(penaltyterm)：

模型復(fù)雜度經(jīng)驗風(fēng)險在最小化經(jīng)驗風(fēng)險與降低模型復(fù)雜度之間尋找平衡監(jiān)督學(xué)習(xí)兩種方法：判別模型與生成模型監(jiān)督學(xué)習(xí)方法又可以分為生成方法(generativeapproach)和判別方法(discriminativeapproach)。所學(xué)到的模型分別稱為生成模型(generativemodel)和判別模型(discriminativemodel).

人臉

=0.99

監(jiān)督學(xué)習(xí)兩種方法：判別模型與生成模型監(jiān)督學(xué)習(xí)

分類識別推薦…提綱二、線性回歸一、機器學(xué)習(xí)基本概念三、AdaBoosting線性回歸(linearregression)在現(xiàn)實生活中，往往需要分析若干變量之間的關(guān)系，如碳排放量與氣候變暖之間的關(guān)系、某一商品廣告投入量與該商品銷售量之間的關(guān)系等，這種分析不同變量之間存在關(guān)系的研究叫回歸分析，刻畫不同變量之間關(guān)系的模型被稱為回歸模型。如果這個模型是線性的，則稱為線性回歸模型。一旦確定了回歸模型，就可以進(jìn)行預(yù)測等分析工作，如從碳排放量預(yù)測氣候變化程度、從廣告投入量預(yù)測商品銷售量等。

英國著名生物學(xué)家兼統(tǒng)計學(xué)家高爾頓SirFrancisGalton(1822-1911)

線性回歸(linearregression)給出任意一對父母平均身高，則可根據(jù)上述方程，計算得到其子女平均身高從父母平均身高來預(yù)測其子女平均身高如何求取上述線性方程（預(yù)測方程）的參數(shù)？

該回歸模型中兩個參數(shù)需要從標(biāo)注數(shù)據(jù)中學(xué)習(xí)得到(監(jiān)督學(xué)習(xí))線性回歸(linearregression)

線性回歸：參數(shù)學(xué)習(xí)線性回歸模型例子

5.18.211.513.915.116.219.623.32.144.628.2411.2413.9916.3319.2328.74線性回歸模型例子氣溫溫度取值和受到火災(zāi)影響森林面積之間的一元線性回歸模型（實線為最佳回歸模型）

線性回歸：參數(shù)學(xué)習(xí)

線性回歸：參數(shù)學(xué)習(xí)

線性回歸：參數(shù)學(xué)習(xí)

線性回歸：參數(shù)學(xué)習(xí)

線性回歸：參數(shù)學(xué)習(xí)

提綱二、線性回歸一、機器學(xué)習(xí)基本概念三、AdaBoosting對于一個復(fù)雜的分類任務(wù)，可以將其分解為若干子任務(wù)，然后將若干子任務(wù)完成方法綜合，最終完成該復(fù)雜任務(wù)。將若干個弱分類器(weakclassifiers)組合起來，形成一個強分類器(strongclassifier)。能用眾力，則無敵于天下矣；能用眾智，則無畏于圣人矣(語出《三國志·吳志·孫權(quán)傳》)Freund,Yoav;Schapire,RobertE(1997),Adecision-theoreticgeneralizationofon-linelearningandanapplicationtoboosting,JournalofComputerandSystemSciences(originalpaperofYoavFreundandRobertE.SchapirewhereAdaBoostisfirstintroduced.)Boosting(adaptiveboosting,自適應(yīng)提升)計算學(xué)習(xí)理論(ComputationalLearningTheory)可計算：什么任務(wù)是可以計算的？圖靈可停機可學(xué)習(xí)：什么任務(wù)是可以被學(xué)習(xí)的、從而被學(xué)習(xí)模型來完成？LeslieValiant(2010年圖靈獎獲得者)和其學(xué)生MichaelKearns兩位學(xué)者提出了這個問題并進(jìn)行了有益探索，逐漸完善了計算學(xué)習(xí)理論。計算學(xué)習(xí)理論：霍夫丁不等式(Hoeffding’sinequality)

對于統(tǒng)計電視節(jié)目收視率這樣的任務(wù)，可以通過不同的采樣方法（即不同模型）來計算收視率。每個模型會產(chǎn)生不同的誤差。問題：如果得到完成該任務(wù)的若干“弱模型”，是否可以將這些弱模型組合起來，形成一個“強模型”。該“強模型”產(chǎn)生誤差很小呢？這就是概率近似正確（PAC）要回答的問題。計算學(xué)習(xí)理論：概率近似正確(probablyapproximatelycorrect,PAC)

強可學(xué)習(xí)(stronglylearnable)學(xué)習(xí)模型能夠以較高精度對絕大多數(shù)樣本完成識別分類任務(wù)弱可學(xué)習(xí)(weaklylearnable)學(xué)習(xí)模型僅能完成若干部分樣本識別與分類，其精度略高于隨機猜測。強可學(xué)習(xí)和弱可學(xué)習(xí)是等價的，也就是說，如果已經(jīng)發(fā)現(xiàn)了“弱學(xué)習(xí)算法”，可將其提升（boosting）為“強學(xué)習(xí)算法”。AdaBoosting算法就是這樣的方法。具體而言，AdaBoosting將一系列弱分類器組合起來，構(gòu)成一個強分類器。計算學(xué)習(xí)理論：概率近似正確(probablyapproximatelycorrect,PAC)

在概率近似正確背景下，有“強可學(xué)習(xí)模型”和“弱可學(xué)習(xí)模型”AdaBoosting：思路描述

AdaBoosting算法中兩個核心問題：在每個弱分類器學(xué)習(xí)過程中，如何改變訓(xùn)練數(shù)據(jù)的權(quán)重：提高在上一輪中分類錯誤樣本的權(quán)重。如何將一系列弱分類器組合成強分類器：通過加權(quán)多數(shù)表決方法來提高分類誤差小的弱分類器的權(quán)重，讓其在最終分類中起到更大作用。同時減少分類誤差大的弱分類器的權(quán)重，讓其在最終分類中僅起到較小作用。AdaBoosting：算法描述---數(shù)據(jù)樣本權(quán)重初始化

AdaBoosting：算法描述---弱分類器組合成強分類器AdaBoosting：算法解釋

AdaBoosting：算法解釋

AdaBoosting：算法解釋

AdaBoosting：算法解釋

AdaBoosting：回看霍夫丁不等式

AdaBoosting：優(yōu)化目標(biāo)

回