模式識(shí)別與機(jī)器學(xué)習(xí) 課件 第1講 引言

模式識(shí)別與機(jī)器學(xué)習(xí)

PatternRecognition&MachineLearning第一講引言第一講引言本講學(xué)習(xí)目標(biāo)明確模式識(shí)別與機(jī)器學(xué)習(xí)的含義，感受它與人類智慧的聯(lián)系理解四類典型機(jī)器學(xué)習(xí)系統(tǒng)的計(jì)算流程了解部分前沿研究方向，體會(huì)模式識(shí)別與機(jī)器學(xué)習(xí)領(lǐng)域的魅力了解全書知識(shí)體系的構(gòu)成思路第一講引言目錄第一講引言基本概念典型的機(jī)器學(xué)習(xí)系統(tǒng)前沿研究方向舉例全書內(nèi)容安排第一講引言基本概念

第一講引言基本概念投票選舉

班長的選舉、人大代表的選舉

參考好朋友的選擇

近鄰法圖1?1機(jī)器學(xué)習(xí)中的近鄰法示意圖（5-近鄰分類，其中三角形表示的測(cè)試點(diǎn)會(huì)判別為與之距離最近的5個(gè)點(diǎn)中得票最高的類別，即五角星所在的類別。）

不了解，想偷懶？何為“好”？

第一講引言基本概念三個(gè)小皮匠勝過諸葛亮

以多勝寡、以弱勝強(qiáng)

集成學(xué)習(xí)方法考慮訓(xùn)練多個(gè)預(yù)測(cè)器，并且將它們的預(yù)測(cè)結(jié)果進(jìn)行集成的思路。圖1?2小皮匠與諸葛亮的故事

第一講引言基本概念主動(dòng)學(xué)習(xí)圖1?3機(jī)器學(xué)習(xí)中的主動(dòng)學(xué)習(xí)原理示意圖強(qiáng)調(diào)的是對(duì)未標(biāo)注樣本的主動(dòng)、選擇性標(biāo)注，通過標(biāo)注少量“重要”的樣本，減少人工標(biāo)注的成本。其中，主動(dòng)識(shí)別重要樣本以盡快提升學(xué)習(xí)系統(tǒng)性能的做法，和人類社會(huì)中通過自覺主動(dòng)學(xué)習(xí)盡快增強(qiáng)本領(lǐng)具有類似之處。第一講引言目錄第一講引言基本概念典型的機(jī)器學(xué)習(xí)系統(tǒng)前沿研究方向舉例全書內(nèi)容安排第一講引言典型的機(jī)器學(xué)習(xí)系統(tǒng)醫(yī)學(xué)圖像診斷醫(yī)學(xué)圖像，如計(jì)算機(jī)斷層掃描（CT）圖像、磁共振圖像、超聲成像、病理圖像等，是進(jìn)行疾病診斷和治療的重要依據(jù)。病理圖像是將人體組織做成病理切片后在高倍顯微鏡下看到的圖像，通過掃描儀進(jìn)行數(shù)字化后即可進(jìn)行計(jì)算機(jī)輔助分析。（a）正常組織病理圖（b）腫瘤組織病理圖第一講引言典型的機(jī)器學(xué)習(xí)系統(tǒng)醫(yī)學(xué)圖像診斷運(yùn)用機(jī)器學(xué)習(xí)進(jìn)行病理圖像診斷通常有兩種做法：首先運(yùn)用專家經(jīng)驗(yàn)或某種特征提取算法提取圖像特征（“特征工程”階段），然后基于此特征設(shè)計(jì)分類器進(jìn)行疾病診斷。運(yùn)用“端到端”的方式，直接從原始輸入圖像出發(fā)設(shè)計(jì)分類器，隱式地進(jìn)行特征提取。第一講引言典型的機(jī)器學(xué)習(xí)系統(tǒng)時(shí)間序列識(shí)別第一講引言典型的機(jī)器學(xué)習(xí)系統(tǒng)對(duì)話系統(tǒng)對(duì)話系統(tǒng)領(lǐng)域任務(wù)型對(duì)話系統(tǒng)以完成一項(xiàng)具體的領(lǐng)域任務(wù)為目標(biāo)如車載導(dǎo)航機(jī)器人和各公司的智能客服等開放域?qū)υ捪到y(tǒng)目的是滿足用戶的閑聊需求或者常識(shí)性問答需求，以產(chǎn)生內(nèi)容豐富且有意義的問答如閑聊型對(duì)話機(jī)器人等第一講引言典型的機(jī)器學(xué)習(xí)系統(tǒng)異常檢測(cè)圖1?7某數(shù)據(jù)中心服務(wù)器的CPU使用率的時(shí)間序列數(shù)據(jù)

（圖中黑色圓點(diǎn)表示異常點(diǎn)）第一講引言目錄第一講引言基本概念典型的機(jī)器學(xué)習(xí)系統(tǒng)前沿研究方向舉例全書內(nèi)容安排第一講引言前沿研究方向舉例多視圖機(jī)器學(xué)習(xí)當(dāng)前復(fù)雜數(shù)據(jù)中不斷呈現(xiàn)出的多源異質(zhì)或多傳感器感知等多視圖特性，正成為制約人工智能和機(jī)器學(xué)習(xí)技術(shù)應(yīng)用的關(guān)鍵之一。為突破多視圖數(shù)據(jù)處理瓶頸，實(shí)現(xiàn)信息的融合與增強(qiáng)，開展多視圖機(jī)器學(xué)習(xí)的研究至關(guān)重要。（a）視圖一：半月形結(jié)構(gòu)（b）視圖二：直線型結(jié)構(gòu)

圖1?8兩視圖數(shù)據(jù)及學(xué)習(xí)原理示意圖（兩個(gè)視圖分別呈現(xiàn)出半月形和直線型的類別結(jié)構(gòu)，一種可能的多視圖學(xué)習(xí)原理是約束同一樣本兩個(gè)視圖的分類結(jié)果盡可能一致。）第一講引言前沿研究方向舉例強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)對(duì)于現(xiàn)實(shí)世界任務(wù)的解決能力正在快速提升，在諸如神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯、物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)異常檢測(cè)等問題中逐漸得到成功應(yīng)用。隨著對(duì)低樣本需求算法（如基于環(huán)境模型的算法可通過環(huán)境模型產(chǎn)生更多數(shù)據(jù)）和可遷移算法的不斷研究，強(qiáng)化學(xué)習(xí)在現(xiàn)實(shí)世界問題中的應(yīng)用將會(huì)逐漸增多。圖1?9強(qiáng)化學(xué)習(xí)基本原理示意圖第一講引言前沿研究方向舉例可信人工智能機(jī)器學(xué)習(xí)算法所優(yōu)化的目標(biāo)有時(shí)與人類的預(yù)期并不一致算法過分依賴數(shù)據(jù)，使其性能與用于訓(xùn)練的數(shù)據(jù)質(zhì)量密切相關(guān)機(jī)器學(xué)習(xí)算法，尤其是深度學(xué)習(xí)算法，其運(yùn)行過程并不完全透明，有時(shí)就連它們的設(shè)計(jì)者也很難解釋其內(nèi)部工作原理。圖1?10不魯棒的機(jī)器學(xué)習(xí)系統(tǒng)示例（熊貓圖像在加入特定噪聲之后，人類仍然可以正確識(shí)別，然而機(jī)器卻識(shí)別為長臂猿）第一講引言目錄第一講引言基本概念典型的機(jī)器學(xué)習(xí)系統(tǒng)前沿研究方向舉例課程內(nèi)容安排第一講引言課程安排課程以貝葉斯學(xué)習(xí)的思想為潛在主線，從基礎(chǔ)理論到典型模型與算法再到近似推理，循序漸進(jìn)地呈現(xiàn)模式識(shí)別與機(jī)器學(xué)習(xí)的核心知識(shí)體系。引言模式識(shí)別與機(jī)器學(xué)習(xí)的概念以及部分典型系統(tǒng)和前沿方向，有助于讀者對(duì)整個(gè)領(lǐng)域的內(nèi)涵和外沿形成直觀的感受。第2-4講貝葉斯學(xué)習(xí)基礎(chǔ)包括貝葉斯學(xué)習(xí)的基本理念、分類器的相關(guān)概念以及常用的參數(shù)估計(jì)方法等重要內(nèi)容，構(gòu)成了本書大部分章節(jié)的基礎(chǔ)。邏輯回歸章節(jié)包括用于回歸問題的線性回歸和用于分類問題的邏輯回歸等簡(jiǎn)單且常用的方法。概率圖模型基礎(chǔ)全面地介紹了有向圖模型和無向圖模型的建模思路和理論支撐，以及和積算法和最大和算法等常用的推理算法?；谝陨险鹿?jié)，分別介紹隱馬爾可夫模型和條件隨機(jī)場(chǎng)這兩類具體的有向圖模型和無向圖模型。第一講引言課程安排第5-8講圍繞監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、回歸、分類、降維這些應(yīng)用場(chǎng)景分別介紹了支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)、聚類、主成分分析與相關(guān)的譜方法等當(dāng)前的主流方法。其中既包括運(yùn)用了貝葉斯學(xué)習(xí)理念的概率模型，也包括思想直觀、易于理解的非概率模型，對(duì)它們之間的聯(lián)系我們也適時(shí)地進(jìn)行了介紹。第9講強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)重要分支，它的應(yīng)用場(chǎng)景和學(xué)習(xí)方法與之前章節(jié)介紹的內(nèi)容有很大不同，但是可以用到前面介紹的深度學(xué)習(xí)、蒙特卡洛等方法。第一講引言參考文獻(xiàn)上海市中小學(xué)(幼兒園)課程改革委員會(huì).九年義務(wù)教育課本語文一年級(jí)第二學(xué)期[M].上海：上海教育出版社，2015.LiuY,YinM,SunS.Multi-viewLearningandDeepLearningforMicroscopicNeuroblastomaPathologyImageDiagnosis[C]//PRICAI2018:TrendsinArtificialIntelligence.Switzerland:SpringerInternationalPublishing,2018:545-558.NascimentoJC,FigueiredoMA,MarquesJS.TrajectoryClassificationUsingSwitchedDynamicalHiddenMarkovModels[J].IEEETransactionsonImageProcessing,2009,19(5):1338-1348.LavinA,AhmadS.EvaluatingReal-TimeAnomalyDetectionAlgorithms--TheNumentaAnomalyBenchmark[C]//Proceedingsofthe14thIEEEInternationalConferenceonMachineLearningandApplications.NewYork:IEEE,2015:38-44.ChaoG,SunS.ConsensusandComplementarityBasedMaximumEntropyDiscriminationforMulti-viewClassification[J].InformationSciences,2016,367-368(11):296-310.GoodfellowI,ShlensJ,