模式識別與機器學習 課件全套 孫仕亮 第1-9講 引言、貝葉斯學習基礎-強化學習

模式識別與機器學習

PatternRecognition&MachineLearning第一講引言第一講引言本講學習目標明確模式識別與機器學習的含義，感受它與人類智慧的聯(lián)系理解四類典型機器學習系統(tǒng)的計算流程了解部分前沿研究方向，體會模式識別與機器學習領域的魅力了解全書知識體系的構(gòu)成思路第一講引言目錄第一講引言基本概念典型的機器學習系統(tǒng)前沿研究方向舉例全書內(nèi)容安排第一講引言基本概念

第一講引言基本概念投票選舉

班長的選舉、人大代表的選舉

參考好朋友的選擇

近鄰法圖1?1機器學習中的近鄰法示意圖（5-近鄰分類，其中三角形表示的測試點會判別為與之距離最近的5個點中得票最高的類別，即五角星所在的類別。）

不了解，想偷懶？何為“好”？

第一講引言基本概念三個小皮匠勝過諸葛亮

以多勝寡、以弱勝強

集成學習方法考慮訓練多個預測器，并且將它們的預測結(jié)果進行集成的思路。圖1?2小皮匠與諸葛亮的故事

第一講引言基本概念主動學習圖1?3機器學習中的主動學習原理示意圖強調(diào)的是對未標注樣本的主動、選擇性標注，通過標注少量“重要”的樣本，減少人工標注的成本。其中，主動識別重要樣本以盡快提升學習系統(tǒng)性能的做法，和人類社會中通過自覺主動學習盡快增強本領具有類似之處。第一講引言目錄第一講引言基本概念典型的機器學習系統(tǒng)前沿研究方向舉例全書內(nèi)容安排第一講引言典型的機器學習系統(tǒng)醫(yī)學圖像診斷醫(yī)學圖像，如計算機斷層掃描（CT）圖像、磁共振圖像、超聲成像、病理圖像等，是進行疾病診斷和治療的重要依據(jù)。病理圖像是將人體組織做成病理切片后在高倍顯微鏡下看到的圖像，通過掃描儀進行數(shù)字化后即可進行計算機輔助分析。（a）正常組織病理圖（b）腫瘤組織病理圖第一講引言典型的機器學習系統(tǒng)醫(yī)學圖像診斷運用機器學習進行病理圖像診斷通常有兩種做法：首先運用專家經(jīng)驗或某種特征提取算法提取圖像特征（“特征工程”階段），然后基于此特征設計分類器進行疾病診斷。運用“端到端”的方式，直接從原始輸入圖像出發(fā)設計分類器，隱式地進行特征提取。第一講引言典型的機器學習系統(tǒng)時間序列識別第一講引言典型的機器學習系統(tǒng)對話系統(tǒng)對話系統(tǒng)領域任務型對話系統(tǒng)以完成一項具體的領域任務為目標如車載導航機器人和各公司的智能客服等開放域?qū)υ捪到y(tǒng)目的是滿足用戶的閑聊需求或者常識性問答需求，以產(chǎn)生內(nèi)容豐富且有意義的問答如閑聊型對話機器人等第一講引言典型的機器學習系統(tǒng)異常檢測圖1?7某數(shù)據(jù)中心服務器的CPU使用率的時間序列數(shù)據(jù)

（圖中黑色圓點表示異常點）第一講引言目錄第一講引言基本概念典型的機器學習系統(tǒng)前沿研究方向舉例全書內(nèi)容安排第一講引言前沿研究方向舉例多視圖機器學習當前復雜數(shù)據(jù)中不斷呈現(xiàn)出的多源異質(zhì)或多傳感器感知等多視圖特性，正成為制約人工智能和機器學習技術應用的關鍵之一。為突破多視圖數(shù)據(jù)處理瓶頸，實現(xiàn)信息的融合與增強，開展多視圖機器學習的研究至關重要。（a）視圖一：半月形結(jié)構(gòu)（b）視圖二：直線型結(jié)構(gòu)

圖1?8兩視圖數(shù)據(jù)及學習原理示意圖（兩個視圖分別呈現(xiàn)出半月形和直線型的類別結(jié)構(gòu)，一種可能的多視圖學習原理是約束同一樣本兩個視圖的分類結(jié)果盡可能一致。）第一講引言前沿研究方向舉例強化學習強化學習對于現(xiàn)實世界任務的解決能力正在快速提升，在諸如神經(jīng)網(wǎng)絡機器翻譯、物聯(lián)網(wǎng)時序數(shù)據(jù)異常檢測等問題中逐漸得到成功應用。隨著對低樣本需求算法（如基于環(huán)境模型的算法可通過環(huán)境模型產(chǎn)生更多數(shù)據(jù)）和可遷移算法的不斷研究，強化學習在現(xiàn)實世界問題中的應用將會逐漸增多。圖1?9強化學習基本原理示意圖第一講引言前沿研究方向舉例可信人工智能機器學習算法所優(yōu)化的目標有時與人類的預期并不一致算法過分依賴數(shù)據(jù)，使其性能與用于訓練的數(shù)據(jù)質(zhì)量密切相關機器學習算法，尤其是深度學習算法，其運行過程并不完全透明，有時就連它們的設計者也很難解釋其內(nèi)部工作原理。圖1?10不魯棒的機器學習系統(tǒng)示例（熊貓圖像在加入特定噪聲之后，人類仍然可以正確識別，然而機器卻識別為長臂猿）第一講引言目錄第一講引言基本概念典型的機器學習系統(tǒng)前沿研究方向舉例課程內(nèi)容安排第一講引言課程安排課程以貝葉斯學習的思想為潛在主線，從基礎理論到典型模型與算法再到近似推理，循序漸進地呈現(xiàn)模式識別與機器學習的核心知識體系。引言模式識別與機器學習的概念以及部分典型系統(tǒng)和前沿方向，有助于讀者對整個領域的內(nèi)涵和外沿形成直觀的感受。第2-4講貝葉斯學習基礎包括貝葉斯學習的基本理念、分類器的相關概念以及常用的參數(shù)估計方法等重要內(nèi)容，構(gòu)成了本書大部分章節(jié)的基礎。邏輯回歸章節(jié)包括用于回歸問題的線性回歸和用于分類問題的邏輯回歸等簡單且常用的方法。概率圖模型基礎全面地介紹了有向圖模型和無向圖模型的建模思路和理論支撐，以及和積算法和最大和算法等常用的推理算法?；谝陨险鹿?jié)，分別介紹隱馬爾可夫模型和條件隨機場這兩類具體的有向圖模型和無向圖模型。第一講引言課程安排第5-8講圍繞監(jiān)督學習、非監(jiān)督學習、回歸、分類、降維這些應用場景分別介紹了支持向量機、人工神經(jīng)網(wǎng)絡與深度學習、聚類、主成分分析與相關的譜方法等當前的主流方法。其中既包括運用了貝葉斯學習理念的概率模型，也包括思想直觀、易于理解的非概率模型，對它們之間的聯(lián)系我們也適時地進行了介紹。第9講強化學習是機器學習中的一個重要分支，它的應用場景和學習方法與之前章節(jié)介紹的內(nèi)容有很大不同，但是可以用到前面介紹的深度學習、蒙特卡洛等方法。第一講引言參考文獻上海市中小學(幼兒園)課程改革委員會.九年義務教育課本語文一年級第二學期[M].上海：上海教育出版社，2015.LiuY,YinM,SunS.Multi-viewLearningandDeepLearningforMicroscopicNeuroblastomaPathologyImageDiagnosis[C]//PRICAI2018:TrendsinArtificialIntelligence.Switzerland:SpringerInternationalPublishing,2018:545-558.NascimentoJC,FigueiredoMA,MarquesJS.TrajectoryClassificationUsingSwitchedDynamicalHiddenMarkovModels[J].IEEETransactionsonImageProcessing,2009,19(5):1338-1348.LavinA,AhmadS.EvaluatingReal-TimeAnomalyDetectionAlgorithms--TheNumentaAnomalyBenchmark[C]//Proceedingsofthe14thIEEEInternationalConferenceonMachineLearningandApplications.NewYork:IEEE,2015:38-44.ChaoG,SunS.ConsensusandComplementarityBasedMaximumEntropyDiscriminationforMulti-viewClassification[J].InformationSciences,2016,367-368(11):296-310.GoodfellowI,ShlensJ,SzegedyC.ExplainingandHarnessingAdversarialExamples[C/OL]//Proceedingsofthe3rdInternationalConferenceonLearningRepresentations.2015:1-11[2020-02-28]./pdf/1412.6572.pdf.模式識別與機器學習

PatternRecognition&MachineLearning第二講貝葉斯學習基礎本節(jié)學習目標掌握貝葉斯公式在機器學習中的應用思路能夠熟練運用貝葉斯決策方法明確分類器相關的基本概念掌握基于高斯分布的貝葉斯分類器理解樸素貝葉斯分類器能夠熟練運用各種參數(shù)估計方法第二講貝葉斯學習基礎第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎例：假設某個動物園里的雌性和雄性熊貓的比例是4：6，雌性熊貓中90%的熊貓是干凈整潔的，雄性熊貓中20%是干凈整潔的。1.求解“正向概率”：在動物園中看到一只干凈整潔的雄性熊貓的概率是多少？2.求解“逆向概率”：如果看到一只熊貓是干凈整潔的，它是雄性的概率是多少？

貝葉斯公式貝葉斯公式第二講貝葉斯學習基礎貝葉斯公式

第二講貝葉斯學習基礎

貝葉斯公式

第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎貝葉斯決策貝葉斯決策貝葉斯決策（Bayesiandecision）是概率框架下實施決策的基本方法，它通過綜合考慮決策的后驗分布和錯誤決策的損失來做出決策。其中，貝葉斯公式被用于計算后驗分布。貝葉斯決策的前提是假設：第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎最小錯誤率貝葉斯決策

貝葉斯決策第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎最小風險貝葉斯決策

貝葉斯決策第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎貝葉斯決策

第二講貝葉斯學習基礎貝葉斯決策最小風險貝葉斯決策&最小錯誤率貝葉斯決策

第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎二類分類問題：要機器來判斷一張圖像是大熊貓還是小熊貓多類分類問題：區(qū)分一張圖片是大熊貓、小熊貓還是棕熊分類器的相關概念（a）大熊貓（b）小熊貓（c）棕熊分類器是一個計算系統(tǒng)，它通過計算出一系列判別函數(shù)的值做出分類決策，實現(xiàn)對輸入數(shù)據(jù)進行分類的目的。判別函數(shù)是一個從輸入特征映射到?jīng)Q策的函數(shù)，其結(jié)果可以直接用于做出分類決策。分類問題中，分類器會把輸入空間劃分成多個決策區(qū)域，這些決策區(qū)域之間的邊界稱作決策面或決策邊界。第二講貝葉斯學習基礎

分類器的相關概念第二講貝葉斯學習基礎分類器的構(gòu)建方法有很多種，常用的方法大致可以分為三大類，這里按照復雜度依次降低的順序羅列。其中生成式模型和判別式模型都是基于概率框架，生成式模型構(gòu)建所有觀測的聯(lián)合分布，而判別式模型只關心給定輸入數(shù)據(jù)時輸出數(shù)據(jù)的條件分布。分類器的相關概念第二講貝葉斯學習基礎

分類器的相關概念第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎高斯密度函數(shù)/正態(tài)密度函數(shù)

基于高斯分布的貝葉斯決策第二講貝葉斯學習基礎基于高斯分布的貝葉斯決策

基于高斯分布的貝葉斯決策第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器圖2-3（圖中展示了當類別先驗概率相等，兩個類條件概率分布均為高斯分布且具有相等的非對角協(xié)方差矩陣時的貝葉斯決策的決策面，圖中橢圓形的環(huán)表示類條件概率密度等高線。）

第二講貝葉斯學習基礎基于高斯分布的貝葉斯決策的錯誤率

基于高斯分布的貝葉斯決策第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器第二講貝葉斯學習基礎

基于高斯分布的貝葉斯決策器

第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎樸素貝葉斯分類器

樸素貝葉斯分類器第二講貝葉斯學習基礎目錄貝葉斯公式貝葉斯決策分類器的相關概念基于高斯分布的貝葉斯分類器樸素貝葉斯分類器參數(shù)估計第二講貝葉斯學習基礎第二講貝葉斯學習基礎最大似然估計（maximumlikelihoodestimation）

參數(shù)估計第二講貝葉斯學習基礎

參數(shù)估計第二講貝葉斯學習基礎最大后驗估計

參數(shù)估計第二講貝葉斯學習基礎期望最大化算法（expectationmaximization，EM）

參數(shù)估計第二講參數(shù)估計第二講貝葉斯學習基礎貝葉斯參數(shù)估計

參數(shù)估計第二講貝葉斯學習基礎DengJ,DongW,SocherR,etal.Imagenet:ALarge-ScaleHierarchicalImageDatabase[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.NewYork:IEEE,2009:248-255.LoweDG.ObjectRecognitionfromLocalScale-InvariantFeatures[C]//Proceedingsofthe17thIEEEInternationalConferenceonComputerVision.NewYork:IEEE,1999:1150-1157.SunS.Multi-viewLaplacianSupportVectorMachines[C]//AdvancedDataMiningandApplications.Berlin:Springer,2011:209-222.SunS,Shawe-TaylorJ,MaoL.PAC-BayesAnalysisofMulti-viewLearning[J].InformationFusion,2017,35(5):117-131.張學工.模式識別[M].第三版.北京：清華大學出版社,2009.DempsterAP,LairdNM,RubinDB.MaximumLikelihoodfromIncompleteDataviatheEMAlgorithm[J].JournaloftheRoyalStatisticalSociety:SeriesB(Methodological),1977,39(1),1-22.參考文獻模式識別與機器學習

PatternRecognition&MachineLearning第三講邏輯回歸本節(jié)學習目標掌握線性回歸及其模型求解方法理解貝葉斯線性回歸掌握邏輯回歸及其模型求解方法理解貝葉斯邏輯回歸第三講邏輯回歸第三講邏輯回歸目錄線性回歸貝葉斯線性回歸邏輯回歸貝葉斯邏輯回歸第三講邏輯回歸

第三講邏輯回歸

線性回歸

第三講邏輯回歸

線性回歸（a）多項式基函數(shù)（b）高斯基函數(shù)（c）S形基函數(shù)

第三講邏輯回歸

線性回歸熊貓名稱性別年齡/歲體重/kg1月2月3月4月5月6月7月8月9月10月11月12月莉莉雌10-11102.52.83.32.63.52.74.91.31.71.91.62.53.9青青雌3-482.53.43.73.73.94.15.71.62.12.42.73.34.1金金雄22-23128.01.92.51.72.12.24.51.11.51.21.71.72.1平平雄9-1082.04.24.44.14.64.56.93.23.53.43.43.74.5

第三講邏輯回歸使用高斯隨機噪聲實現(xiàn)概率建模觀測輸出被假設為確定性的線性回歸再加上高斯隨機噪聲其中根據(jù)概率的線性變換關系，可以得到每個觀測數(shù)據(jù)的似然概率分布為假設數(shù)據(jù)是獨立同分布的，所有觀測的似然概率分布為在確定了模型的概率表示之后，對于新的測試數(shù)據(jù)，可以使用輸出變量的期望作為預測值線性回歸

第三講邏輯回歸最小二乘與最大似然

線性回歸圖3-2誤差幾何意義示意圖（圖中縱向線段長度代表不同數(shù)據(jù)點的誤差。）

第三講邏輯回歸

線性回歸

第三講邏輯回歸

線性回歸

第三講邏輯回歸

線性回歸

第三講邏輯回歸正則化最小二乘與最大后驗線性回歸（a）0階多項式擬合（b）2階多項式擬合（c）4階多項式擬合（d）10階多項式擬合圖3-3四種不同的多項式的擬合效果（圖中小圓圈表示樣本，虛線表示真實情況，實線表示擬合曲線，使用的多項式形式為

，deg表示多項式的階數(shù)，四張子圖分別使用不同的階數(shù)）

第三講邏輯回歸

線性回歸

第三講邏輯回歸

線性回歸

第三講邏輯回歸概率線性回歸的最大后驗估計在高斯似然的模型中，通常使用高斯分布作為先驗，這樣得到的概率線性回歸中參數(shù)的后驗分布還是高斯分布。一種簡單常用的先驗分布是根據(jù)貝葉斯公式可以得出參數(shù)的對數(shù)后驗分布是線性回歸第三講邏輯回歸目錄線性回歸貝葉斯線性回歸邏輯回歸貝葉斯邏輯回歸第三講邏輯回歸

第三講邏輯回歸

貝葉斯線性回歸

第三講邏輯回歸

貝葉斯線性回歸

第三講邏輯回歸

貝葉斯線性回歸第三講邏輯回歸目錄線性回歸貝葉斯線性回歸邏輯回歸貝葉斯邏輯回歸第三講邏輯回歸

第三講邏輯回歸二類邏輯回歸邏輯函數(shù)也稱為Sigmoid函數(shù)邏輯回歸圖3-5邏輯函數(shù)示意圖

第三講邏輯回歸

邏輯回歸

第三講邏輯回歸

邏輯回歸

第三講邏輯回歸

邏輯回歸

第三講邏輯回歸多類邏輯回歸

邏輯回歸第三講邏輯回歸目錄線性回歸貝葉斯線性回歸邏輯回歸貝葉斯邏輯回歸第三講邏輯回歸

第三講邏輯回歸

貝葉斯邏輯回歸

第三講邏輯回歸

貝葉斯邏輯回歸

第三講邏輯回歸

貝葉斯邏輯回歸

第三講邏輯回歸

貝葉斯邏輯回歸

第三講邏輯回歸

貝葉斯邏輯回歸

第三講邏輯回歸

貝葉斯邏輯回歸第三講邏輯回歸王雄清,劉安全,陳仁武.圈養(yǎng)大熊貓全年食竹量觀察[J].四川動物,1989,8(4):18-18.DraperNR,NostrandRCV.RidgeRegressionandJames-SteinEstimation:ReviewandComments[J].Technometrics,1979,21(4):451–466.CoxDR.TheRegressionAnalysisofBinarySequences[J].JournaloftheRoyalStatisticalSociety.SeriesB(Methodological),1958,20(2):215–242.BishopCM.PatternRecognitionandMachineLearning[M].NewYork:Springer,2006.參考文獻模式識別與機器學習

PatternRecognition&MachineLearning第四講概率圖模型基礎本節(jié)學習目標明確判別式和生成式概率圖模型的區(qū)別掌握有向圖模型的模型表示、條件獨立性刻畫，理解常見的有向圖模型掌握無向圖模型的模型表示、條件獨立性刻畫，理解常見的無向圖模型掌握對樹狀結(jié)構(gòu)因子圖進行推理的和積算法和最大和算法第四講概率圖模型基礎

第四講概率圖模型基礎目錄有向圖模型模型表示條件獨立性常見的有向圖模型無向圖模型圖模型中的推理第四講概率圖模型基礎

第四講概率圖模型基礎模型表示

有向圖模型

第四講概率圖模型基礎根據(jù)貝葉斯網(wǎng)絡的緊湊的聯(lián)合分布，可得上圖貝葉斯網(wǎng)絡的聯(lián)合分布為有向圖模型圖4?2貝葉斯網(wǎng)絡示例

第四講概率圖模型基礎條件獨立性（conditionalindependent）

有向圖模型

第四講概率圖模型基礎證明：只需證明左邊分子分母因此有向圖模型

第四講概率圖模型基礎通過聯(lián)合分布的緊湊表示或者通過局部條件獨立性的形式化語義，都可以分析出貝葉斯網(wǎng)絡中變量的一些條件獨立性，但是這兩種方法并沒有將所有的獨立性情況包括。事實上，通過圖的一些特殊結(jié)構(gòu)和規(guī)則可以簡單直觀地得到所關心變量的條件獨立性。接下來介紹三種基本的變量依賴情況，三種情況對應三種不同的圖結(jié)構(gòu)：有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎有向圖模型圖4?7使用d-分隔判斷條件獨立性

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎常見的有向圖模型有向圖模型是一類模型框架，針對不同的應用，研究者們提出了很多不同的模型實例，例如，用于分類的樸素貝葉斯和用于時序數(shù)據(jù)建模的隱馬爾可夫模型等。本節(jié)僅以樸素貝葉斯和隱馬爾可夫模型為例，介紹各自的模型假設及其概率圖模型表示。有向圖模型

第四講概率圖模型基礎

有向圖模型圖4-9樸素貝葉斯網(wǎng)絡示意圖

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型圖4-10隱馬爾可夫模型示意圖

第四講概率圖模型基礎目錄有向圖模型無向圖模型模型表示條件獨立性常見的無向圖模型圖模型中的推理第四講概率圖模型基礎

第四講概率圖模型基礎模型表示

無向圖模型圖4?11無向圖模型示例

第四講概率圖模型基礎

無向圖模型圖4-12無向圖模型中的團和最大團示例（實線中的節(jié)點和邊構(gòu)成一個團，虛線中的節(jié)點和邊構(gòu)成一個最大團）

第四講概率圖模型基礎

無向圖模型

第四講概率圖模型基礎條件獨立性

無向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎有向圖模型

第四講概率圖模型基礎常見的無向圖模型很多機器學習模型可以使用無向圖模型來描述，比如對數(shù)線性模型（也叫最大熵模型）和條件隨機場等。本節(jié)以對數(shù)線性模型和條件隨機場為例，介紹各自的模型假設及其概率圖模型表示。無向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎

有向圖模型

第四講概率圖模型基礎目錄有向圖模型無向圖模型圖模型中的推理鏈式結(jié)構(gòu)樹結(jié)構(gòu)因子圖和積算法最大和算法第四講概率圖模型基礎

第四講概率圖模型基礎鏈式結(jié)構(gòu)

圖模型中的推理圖4?16鏈式無向圖示例

第四講概率圖模型基礎

圖模型中的推理

第四講概率圖模型基礎樹結(jié)構(gòu)圖模型中的推理（a）無向樹（b）有向樹（c）有多向樹圖4?17三種樹圖的概率圖模型示意圖

第四講概率圖模型基礎因子圖

圖模型中的推理

第四講概率圖模型基礎和積算法和積算法可以利用因子圖的結(jié)構(gòu)實現(xiàn)如下兩個目標：

①獲得對因子圖中變量節(jié)點的邊緣分布的高效確切推理；

②在需要計算多個邊緣分布時實現(xiàn)計算共享。和積算法的核心數(shù)學思想是交換求和運算和求積運算的次序。交換求和與求積運算的依據(jù)是乘法分配律：和積算法體現(xiàn)了消息傳遞的思想。消息分為兩種：

①從因子節(jié)點到變量節(jié)點的消息；

②從變量節(jié)點到因子節(jié)點的消息。圖模型中的推理

第四講概率圖模型基礎

圖模型中的推理圖4?19消息傳遞的總過程示意圖

第四講概率圖模型基礎

圖模型中的推理

第四講概率圖模型基礎

圖模型中的推理（a）由變量節(jié)點到因子節(jié)點的初始消息（b）由因子節(jié)點到變量節(jié)點的初始消息圖4-22消息起始設置示意圖

第四講概率圖模型基礎對于一般的樹狀結(jié)構(gòu)的因子圖，如果要計算任意節(jié)點的邊緣分布，其和積算法的步驟如下：①選擇任何一個變量節(jié)點或因子節(jié)點作為根節(jié)點；②由葉子節(jié)點向根節(jié)點執(zhí)行一次消息傳遞；③由根節(jié)點向葉子節(jié)點執(zhí)行一次消息傳遞；④根據(jù)邊緣分布的計算公式得出任意變量節(jié)點的邊緣分布。圖模型中的推理

第四講概率圖模型基礎例：對下面因子圖運用和積算法圖模型中的推理圖4?23因子圖示例

第四講概率圖模型基礎

圖模型中的推理

第四講概率圖模型基礎

圖模型中的推理

第四講概率圖模型基礎最大和算法求解目標可以表示為最大化聯(lián)合概率分布最大值對應的概率為最大化聯(lián)合概率分布通常會轉(zhuǎn)化為最大化對數(shù)聯(lián)合概率分布使用乘法分配律來交換最大化和加法運算的次序，以三個變量為例可以表示為具體的求解算法叫做最大和算法，是一種動態(tài)規(guī)劃算法。圖模型中的推理

第四講概率圖模型基礎消息傳遞中的求和運算也對應地改為最大化運算，可以分別得到因子節(jié)點到變量節(jié)點和變量節(jié)點到因子節(jié)點的遞推表示為消息的起始設置為傳到根節(jié)點的消息的最大值就是所要求解的最大值使得概率分布取最大值的根節(jié)點的值為要求解使得聯(lián)合概率分布最大的所有變量的值，需要在消息傳遞過程中記錄使得當前消息取得最大值時變量之間的對應關系然后根據(jù)根節(jié)點的取值進行回溯求解。圖模型中的推理

第四講概率圖模型基礎

圖模型中的推理

第四講概率圖模型基礎PernkopfF,PeharzR,TschiatschekS.IntroductiontoProbabilisticGraphicalModels[J].AcademicPressLibraryinSignalProcessing,2014,1(1):989-1064.Larra?agaP,MoralS.ProbabilisticGraphicalModelsinArtificialIntelligence[J].AppliedSoftComputing,2011,11(2):1511-1528.PourretO,NaimP,MarcotB.BayesianNetworks:APracticalGuidetoApplications[M].Chichester:JohnWiley&Sons,2008.BilmesJ,BartelsC.AReviewofGraphicalModelArchitecturesforSpeechRecognition[J].IEEESignalProcessingMagazine,2005,22(5):89-100.LiSZ.MarkovRandomFieldModelinginImageAnalysis[M].Tokyo:SpringerScience&BusinessMedia,2009.KollerD,FriedmanN.ProbabilisticGraphicalModels:PrinciplesandTechniques[M].Cambridge,MA:MITPress,2009.CheungS.ProofofHammersley-CliffordTheorem[EB/OL],(2008-02)[2020-02-28].http://www.nada.kth.se/~stefan/kurs1447/slides/hc_proof.pdf.BergerAL,PietraSAD,PietraVJD.AMaximumEntropyApproachtoNaturalLanguageProcessing[J].ComputationalLinguistics,1996,22(1):39-71.PietraSAD,PietraVJD,LaffertyJ.InducingFeaturesofRandomFields[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1997,19(4):380-393.LaffertyJ,McCallumA,PereiraFCN.ConditionalRandomFields:ProbabilisticModelsforSegmentingandLabelingSequenceData[C]//ProceedingsoftheInternationalConferenceonMachineLearning.NewYork:ACM,2001:282-289.參考文獻模式識別與機器學習

PatternRecognition&MachineLearning第五講支持向量機本講學習目標理解大間隔原理掌握基本的支持向量機分類模型能夠熟練運用拉格朗日對偶優(yōu)化技術掌握數(shù)據(jù)線性不可分情形下的分類模型，以及核方法的建模原理理解支持向量機回歸的原理了解支持向量機的模型擴展

第五講支持向量機目錄大間隔原理基本分類模型拉格朗日對偶優(yōu)化線性不可分數(shù)據(jù)的分類支持向量機回歸模型擴展第五講支持向量機

第五講支持向量機大間隔原理圖7-1大間隔分界面選擇示意圖（H1是最大間隔分界面）大間隔原理

第五講支持向量機目錄大間隔原理基本分類模型拉格朗日對偶優(yōu)化線性不可分數(shù)據(jù)的分類支持向量機回歸模型擴展第五講支持向量機

第五講支持向量機基本分類模型

基本分類模型

第五講支持向量機

基本分類模型

第五講支持向量機目錄大間隔原理基本分類模型拉格朗日對偶優(yōu)化線性不可分數(shù)據(jù)的分類支持向量機回歸模型擴展第五講支持向量機

第五講支持向量機拉格朗日對偶優(yōu)化

拉格朗日對偶優(yōu)化

第五講支持向量機

拉格朗日對偶優(yōu)化

第五講支持向量機

拉格朗日對偶優(yōu)化

第五講支持向量機目錄大間隔原理基本分類模型拉格朗日對偶優(yōu)化線性不可分數(shù)據(jù)的分類支持向量機回歸模型擴展第五講支持向量機

第五講支持向量機松弛變量

線性不可分數(shù)據(jù)的分類

第五講支持向量機

線性不可分數(shù)據(jù)的分類

第五講支持向量機

線性不可分數(shù)據(jù)的分類

第五講支持向量機核方法

線性不可分數(shù)據(jù)的分類

第五講支持向量機

線性不可分數(shù)據(jù)的分類

第五講支持向量機目錄大間隔原理基本分類模型拉格朗日對偶優(yōu)化線性不可分數(shù)據(jù)的分類支持向量機回歸模型擴展第五講支持向量機

第五講支持向量機支持向量機回歸

支持向量機回歸

第五講支持向量機

支持向量機回歸

第五講支持向量機

支持向量機回歸

第五講支持向量機

支持向量機回歸

第五講支持向量機目錄大間隔原理基本分類模型拉格朗日對偶優(yōu)化線性不可分數(shù)據(jù)的分類支持向量機回歸模型擴展第五講支持向量機

第五講支持向量機模型擴展支持向量機分類的基本思想是在特征空間中學習一個超平面分類器。雙平面支持向量機的思想是使得一個超平面離一類樣本近并且離另一類樣本有一定的距離。與支持向量機求解單個二次優(yōu)化問題不同，它求解兩個二次優(yōu)化問題，而且每個優(yōu)化問題涉及的樣本數(shù)量少于支持向量機中的樣本數(shù)量。此外，支持向量機還被擴展到半監(jiān)督學習、主動學習和多任務學習等多個場景。在監(jiān)督分類方面，前面正文介紹的支持向量機面向兩類分類問題，后來支持向量機還被擴展到了多類分類問題。模型擴展

第五講支持向量機BlumerA,EhrenfeuchtA,HausslerD,etal.LearnabilityandtheVapnik-ChervonenkisDimension[J].JournaloftheACM,1989,36(4):929-965.BoserBE,GuyonIM,VapnikVN.ATrainingAlgorithmforOptimalMarginClassifiers[C]//Proceedingsofthe5thAnnualWorkshoponComputationalLearningTheory.NewYork:ACM,1992:144-152.Shawe-TaylorJ,SunS.AReviewofOptimizationMethodologiesinSupportVectorMachines[J].Neurocomputing,2011,74(17):3609-3618.BoydS,VandenbergheL.ConvexOptimization[M].Cambridge,UK:CambridgeUniversityPress,2004.Shawe-TaylorJ,CristianiniN.KernelMethodsforPatternAnalysis[M].Cambridge,UK:CambridgeUniversityPress,2004.Shawe-TaylorJ,SunS.KernelMethodsandSupportVectorMachines[M]//AcademicPressLibraryinSignalProcessing:Chapter16.Amsterdam:Elsevier,2014:857-881.VapnikVN.TheNatureofStatisticalLearningTheory[M].Berlin:Springer,1995.KhemchandaniR,ChandraS.TwinSupportVectorMachinesforPatternClassification[J].IEEETransactiononPatternAnalysisandMachineIntelligence,2007,29(5):905-910.XieX,SunS.PAC-BayesBoundsforTwinSupportVectorMachines[J].Neurocomputing,2017,234(4):137-143.SunS,MaoL,DongZ,etal.MultiviewMachineLearning[M].Singapore:Springer,2019.參考文獻模式識別與機器學習

PatternRecognition&MachineLearning第六講人工神經(jīng)網(wǎng)絡與深度學習本節(jié)學習目標掌握感知機模型和學習算法掌握多層神經(jīng)網(wǎng)絡模型和誤差反向傳播訓練算法理解深度神經(jīng)網(wǎng)絡的典型挑戰(zhàn)問題能夠熟練運用至少兩種常見的深度神經(jīng)網(wǎng)絡第六講人工神經(jīng)網(wǎng)絡與深度學習

第六講人工神經(jīng)網(wǎng)絡與深度學習目錄感知機多層神經(jīng)網(wǎng)絡深層神經(jīng)網(wǎng)絡常用的深度神經(jīng)網(wǎng)絡第六講人工神經(jīng)網(wǎng)絡與深度學習

第六講人工神經(jīng)網(wǎng)絡與深度學習感知機（perceptron）

感知機

第六講人工神經(jīng)網(wǎng)絡與深度學習

感知機

第六講人工神經(jīng)網(wǎng)絡與深度學習感知機

第六講人工神經(jīng)網(wǎng)絡與深度學習目錄感知機多層神經(jīng)網(wǎng)絡神經(jīng)元多層神經(jīng)網(wǎng)絡反向傳播算法深層神經(jīng)網(wǎng)絡常用的深度神經(jīng)網(wǎng)絡第六講人工神經(jīng)網(wǎng)絡與深度學習

第六講人工神經(jīng)網(wǎng)絡與深度學習神經(jīng)元

多層神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習

多層神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習多層神經(jīng)網(wǎng)絡圖8?3三種激活函數(shù)的形態(tài)

第六講人工神經(jīng)網(wǎng)絡與深度學習多層神經(jīng)網(wǎng)絡多層神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習反向傳播算法

多層神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習

多層神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習

多層神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習

多層神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習多層神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習目錄感知機多層神經(jīng)網(wǎng)絡深層神經(jīng)網(wǎng)絡淺層與深度神經(jīng)網(wǎng)絡過擬合問題局部極值問題梯度消失問題常用的深度神經(jīng)網(wǎng)絡第六講人工神經(jīng)網(wǎng)絡與深度學習

第六講人工神經(jīng)網(wǎng)絡與深度學習淺層與深度神經(jīng)網(wǎng)絡thin+tall深度神經(jīng)網(wǎng)絡fat+shortVS

第六講人工神經(jīng)網(wǎng)絡與深度學習過擬合問題過擬合問題是深度神經(jīng)網(wǎng)絡的主要挑戰(zhàn)之一，其主要原因是模型過于復雜或者訓練集過少。深度神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習早停止是指在模型訓練過程中，可通過觀察驗證集上的預測性能來決定何時停止對參數(shù)的優(yōu)化，從而可以在產(chǎn)生過擬合之前停止訓練。權重衰減是指為了防止得到的權重參數(shù)過大，而采取的在每步迭代中少量減少權重的方法。丟棄法是指在深度神經(jīng)網(wǎng)絡的訓練過程中，對于網(wǎng)絡中的神經(jīng)單元（包括節(jié)點以及與之連接的邊），按照一定的概率將其暫時從網(wǎng)絡中丟棄。深度神經(jīng)網(wǎng)絡（a）丟棄情況（b）丟棄后剩余的網(wǎng)絡結(jié)構(gòu)

第六講人工神經(jīng)網(wǎng)絡與深度學習局部極值問題隨機梯度下降使用隨機梯度下降代替批量的梯度下降，不僅使得優(yōu)化速度得以提升，而且還可以提高模型的整體性能。性能提高的主要原因是每次用于迭代的隨機梯度并非梯度的確切方向，使得模型容易跳出局部極值點?；趧恿康奶荻认陆祷趧恿康奶荻认陆档淖龇ㄊ敲看芜M行梯度下降時，在當前梯度方向上增加歷史梯度的加權值。動量方法能夠使得梯度更新的大小可以根據(jù)上一步的梯度進行適當調(diào)節(jié)，增加跳出局部極值點的幾率。多次隨機初始化假設損失函數(shù)的曲面具有許多局部極值點，多次隨機初始化待優(yōu)化的參數(shù)值可以增加離開局部極值的可能性，有助于找到更好的解。深度神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習梯度消失問題當使用反向傳播方法求解梯度時，使用sigmoid函數(shù)或者tanh函數(shù)作為激活函數(shù)的深度神經(jīng)網(wǎng)絡隨著網(wǎng)絡層數(shù)的增加，從輸出層到網(wǎng)絡最初幾層的反向傳播得到的梯度的幅度值可能會急劇增大（梯度爆炸）或減?。ㄌ荻认ВＩ疃壬窠?jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習逐層與訓練結(jié)合微調(diào)深度神經(jīng)網(wǎng)絡圖8?6逐層預訓練加微調(diào)方法示意圖（黑色方框表示需要微調(diào)的結(jié)構(gòu)。）

圖8?7預訓練網(wǎng)絡中的自編碼器結(jié)構(gòu)示意圖

第六講人工神經(jīng)網(wǎng)絡與深度學習使用合適的激活函數(shù)深度神經(jīng)網(wǎng)絡圖8?8ReLU函數(shù)圖8?9ReLU函數(shù)的變體

第六講人工神經(jīng)網(wǎng)絡與深度學習使用合適的激活函數(shù)深度神經(jīng)網(wǎng)絡圖8?10Maxout函數(shù)原理示意圖（將每層的節(jié)點分組，并選擇組內(nèi)最大數(shù)的作為下一層的輸入。）

第六講人工神經(jīng)網(wǎng)絡與深度學習目錄感知機多層神經(jīng)網(wǎng)絡深層神經(jīng)網(wǎng)絡常用的深度神經(jīng)網(wǎng)絡自編碼網(wǎng)絡深度玻爾茲曼機深度信念網(wǎng)絡卷積神經(jīng)網(wǎng)絡循環(huán)神經(jīng)網(wǎng)絡Transformer第六講人工神經(jīng)網(wǎng)絡與深度學習

第六講人工神經(jīng)網(wǎng)絡與深度學習自編碼網(wǎng)絡常用的深度神經(jīng)網(wǎng)絡圖8?11自編碼器架構(gòu)

第六講人工神經(jīng)網(wǎng)絡與深度學習深度玻爾茲曼機常用的深度神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習波爾茲曼機常用的深度神經(jīng)網(wǎng)絡圖8?12玻爾茲曼機示例

第六講人工神經(jīng)網(wǎng)絡與深度學習受限波爾茲曼機常用的深度神經(jīng)網(wǎng)絡圖8?13受限玻爾茲曼機示例

第六講人工神經(jīng)網(wǎng)絡與深度學習

常用的深度神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習深度波爾茲曼機常用的深度神經(jīng)網(wǎng)絡圖8?13深度玻爾茲曼機示例

第六講人工神經(jīng)網(wǎng)絡與深度學習深度信念網(wǎng)絡常用的深度神經(jīng)網(wǎng)絡圖8?14深度信念網(wǎng)絡示例

第六講人工神經(jīng)網(wǎng)絡與深度學習卷積神經(jīng)網(wǎng)絡（convolutionalneuralnetworks）三條性質(zhì)：某些模式總是存在于局部區(qū)域相同的模式會出現(xiàn)在多個區(qū)域?qū)D像中的像素做下采樣（subsampling）不會影響物體的識別常用的深度神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習卷積層與一般的全連接層不同，不再使用權重矩陣表示所有神經(jīng)元節(jié)點在相鄰網(wǎng)絡層之間的一一對應關系，而是使用多組共享參數(shù)來構(gòu)建兩個網(wǎng)絡層之間的聯(lián)系。在卷積網(wǎng)絡中，共享參數(shù)叫做卷積核。常用的深度神經(jīng)網(wǎng)絡圖8?18卷積操作的原理示意圖

第六講人工神經(jīng)網(wǎng)絡與深度學習循環(huán)神經(jīng)網(wǎng)絡（recurrentneuralnetworks，RNN）

常用的深度神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習常用的深度神經(jīng)網(wǎng)絡圖8?20使用seq2seq模型進行機器翻譯示意圖

第六講人工神經(jīng)網(wǎng)絡與深度學習

常用的深度神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習LSTM通過引入一個變量存儲“記憶”，增強了RNN把握長距離關系的能力，也可以緩解梯度消失問題。除了LSTM之外，門循環(huán)單元（gatedrecurrentunit，GRU）也是RNN的變體，它進一步簡化了LSTM的結(jié)構(gòu)，能使用更少的參數(shù)達到近似的性能。常用的深度神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習TransformerTransformer是一種seq2seq模型，其核心思想是使用注意力（attention）和自注意力（self-attention）機制。注意力機制用于捕獲輸入序列和輸出序列之間的關系。自注意力機制用于捕獲文本序列內(nèi)部的依賴關系，構(gòu)建對原始文本的語義表示。其中的自注意力是一種特殊的注意力模型。常用的深度神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習

常用的深度神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習常用的深度神經(jīng)網(wǎng)絡圖8?22有注意力機制的seq2seq模型進行機器翻譯的示意圖

第六講人工神經(jīng)網(wǎng)絡與深度學習自注意力所謂自注意力，是指輸入序列中的每個單詞（或字）都要和該序列中的所有單詞（或字）進行注意力計算。好處是學習序列內(nèi)部的單詞（或字）的依賴關系，捕獲句子的內(nèi)部結(jié)構(gòu)。Transformer編碼網(wǎng)絡包含“多頭自注意力（multi-headself-attention）”子結(jié)構(gòu)，用于表示多組不同的注意力分配機制。這個子結(jié)構(gòu)的實現(xiàn)方式是同時構(gòu)建多個自注意力單元，并在最后匯總。Transformer也用到了在解碼器中增加“遮蔽的多頭自注意力（maskedmulti-headself-attention）”和在輸入層增加位置編碼等技巧常用的深度神經(jīng)網(wǎng)絡

第六講人工神經(jīng)網(wǎng)絡與深度學習NovikoffABJ.OnConvergenceProofsforPerceptrons[C]//ProceedingsofSymposiumonMathematicalTheoryofAutomata,Brooklyn,N.Y.:PolytechnicPress,1962:615-622.RumelhartD,HintonG,WilliamsR.LearningRepresentationsbyBack-PropagatingErrors[J].Nature,1986,323(10):533–536.NgA.SparseAutoencoder[R/OL].Stanford,CA:StanfordUniversity,2011./~socherr/sparseAutoencoder_2011new.pdf.HornikK,StinchcombeM,WhiteH.MultilayerFeedforwardNetworksAreUniversalApproximators[J].NeuralNetworks,1989,2(5):359-366.SeideF,LiG,YuD.ConversationalSpeechTranscriptionUsingContext-DependentDeepNeuralNetworks[C/OL]//TwelfthAnnualConferenceofInternationalSpeechCommunicationAssociation.2011:437-440[2020-02-28]./archive/archive_papers/interspeech_2011/i11_0437.pdf.ZeilerMD,FergusR.VisualizingandUnderstandingConvolutionalNetworks[C]//ComputerVision--ECCV2014.Switzerland:SpringerInternationalPublishing,2014:818-833.SrivastavaN,HintonG,KrizhevskyA,etal.Dropout:ASimpleWaytoPreventNeuralNetworksfromOverfitting[J].JournalofMachineLearningResearch,2014,15(1):1929-1958.AckleyDH,HintonGE,SejnowskiTJ.ALearningAlgorithmforBoltzmannMachines[J].CognitiveScience,1985,9(1):147-169.參考文獻

第六講人工神經(jīng)網(wǎng)絡與深度學習SmolenskyP.InformationProcessinginDynamicalSystems:FoundationsofHarmonyTheory[M]//ParallelDistributedProcessing:ExplorationsintheMicrostructureofCognition,Volume1:Foundations.Cambridge,MA:ABradfordBook,1986:194-281.HintonGE,OsinderoS,TehYW.AFastLearningAlgorithmforDeepBeliefNets[J].NeuralComputation,2006,18(7):1527-1554.LeCunY.GeneralizationandNetworkDesignStrategies[M]//ConnectionisminPerspective.Switzerland:Elsevier,1989,19:143-155.GoodfellowI,BengioY,CourvilleA.DeepLearning[M].Cambridge,MA:MITPress,2016.ElmanJL.FindingStructureinTime[J].CognitiveScience,1990,14(2):179-211.HochreiterS,SchmidhuberJ.LongShort-TermMemory[J].NeuralComputation,1997,9(8):1735-1780.BahdanauD,ChoK,BengioY.NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate[C/OL]//Proceedingsofthe3rdInternationalConferenceonLearningRepresentations.2015:1-15[2020-02-28].https://arxiv.xilesou.top/pdf/1409.0473.pdf.VaswaniA,ShazeerN,ParmarN,etal.AttentionIsAllYouNeed[C]//AdvancesinNeuralInformationProcessingSystems.Cambridge,MA:MITPress,2017:5998-6008.參考文獻模式識別與機器學習

PatternRecognition&MachineLearning第七講聚類本講學習目標理解聚類的兩大類方法掌握K-均值聚類方法，理解模糊K-均值聚類的原理掌握譜聚類方法掌握高斯混合模型聚類方法，了解無限高斯混合模型第七講聚類第七講聚類目錄K-均值聚類算法介紹模糊K-均值聚類譜聚類高斯混合模型聚類模型表示模型推理與參數(shù)估計無限高斯混合模型第七講聚類第七講聚類聚類任務：在相同簇中的數(shù)據(jù)盡可能相似在不同簇中的數(shù)據(jù)盡可能不同聚類方法：基于數(shù)據(jù)間相似度的方法基于密度估計的方法K-均值（K-means）：將K個聚類簇的中心作為簇的代表，希望所有數(shù)據(jù)點與其所在聚類中心的距離總和最小K-均值聚類第七講聚類

K-均值聚類第七講聚類假設移動之后誤差和變?yōu)楹徒Y(jié)合可以得到，如果想要更新簇之后，需滿足K-均值聚類第七講聚類K-均值聚類第七講聚類K-均值聚類第七講聚類

K-均值聚類第七講聚類K-均值聚類第七講聚類目錄K-均值聚類算法介紹模糊K-均值聚類譜聚類高斯混合模型聚類模型表示模型推理與參數(shù)估計無限高斯混合模型第七講聚類第七講聚類

譜聚類（a）具有緊湊結(jié)構(gòu)的數(shù)據(jù)（b）具有連接結(jié)構(gòu)的數(shù)據(jù)第七講聚類

譜聚類第七講聚類

譜聚類第七講聚類

譜聚類第七講聚類

譜聚類第七講聚類以比率切割為例，優(yōu)化目標的每一項可以寫為因此優(yōu)化問題可以表示為譜聚類第七講聚類

譜聚類第七講聚類

譜聚類第七講聚類譜聚類第七講聚類目錄K-均值聚類算法介紹模糊K-均值聚類譜聚類高斯混合模型聚類模型表示模型推理與參數(shù)估計無限高斯混合模型第七講聚類第七講聚類模型表示

高斯混合模型聚類第七講聚類模型推理與參數(shù)估計

高斯混合模型聚類第七講聚類

高斯混合模型聚類模型推理與參數(shù)估計第七講聚類

高斯混合模型聚類模型推理與參數(shù)估計第七講聚類無限高斯混合模型

高斯混合模型聚類第七講聚類假設每個高斯成分的均值與方差的先驗分布為Normal-inverse-Wishart（NIW）分布，即其聯(lián)合分布為高斯混合模型聚類第七講聚類

高斯混合模型聚類第七講聚類

高斯混合模型聚類第七講聚類XuR,WunschD.SurveyofClusteringAlgorithms[J].IEEETransactionsonNeuralNetworks,2005,16(3):645–678.DudaRO,HartPE,StorkDG.PatternClassification[M].NewYork:JohnWiley&Sons,2012.張學工.模式識別[M].第三版.北京：清華大學出版社,2009.VonLuxburgU.ATutorialonSpectralClustering[J].StatisticsandComputing,2007,17(4):395-416.ShiJ,MalikJ.NormalizedCutsandImageSegmentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(8):888-905.BanfieldJD,RafteryAE.Model-BasedGaussianandNon-GaussianClustering[J].Biometrics,1993,49(3):803-821.RasmussenCE.TheInfiniteGaussianMixtureModel[C]//AdvancesinNeuralInformationProcessingSystems.Cambridge,MA:MITPress,2000:554-560.參考文獻模式識別與機器學習

PatternRecognition&MachineLearning第八講主成分分析與相關的譜方法本節(jié)學習目標能夠熟練運用主成分分析理解概率主成分分析的原理理解核主成分分析的原理能夠熟練運用線性判別分析和典型相關分析第八講主成分分析與相關的譜方法第八講主成分分析與相關的譜方法目錄主成分分析最大化方差最小化誤差主成分分析與K-L變換概率PCA核PCA相關的譜方法線性判定分析典型相關分析第八講主成分分析與相關的譜方法

第八講主成分分析與相關的譜方法最大化方差

主成分分析

第八講主成分分析與相關的譜方法

主成分分析圖11?1使用PCA將數(shù)據(jù)投影到一維空間的示例

第八講主成分分析與相關的譜方法

主成分分析

第八講主成分分析與相關的譜方法最小化誤差

主成分分析

第八講主成分分析與相關的譜方法

主成分分析

第八講主成分分析與相關的譜方法

主成分分析

第八講主成分分析與相關的譜方法

主成分分析

第八講主成分分析與相關的譜方法主成分分析與K-L變換

主成分分析第八講主成分分析與相關的譜方法目錄主成分分析最大化方差最小化誤差主成分分析與K-L變換概率PCA核PCA相關的譜方法線性判定分析典型相關分析第八講主成分分析與相關的譜方法

第八講主成分分析與相關的譜方法

概率PCA

第八講主成分分析與相關的譜方法

概率PCA第八講主成分分析與相關的譜方法目錄主成分分析最大化方差最小化誤差主成分分析與K-L變換概率PCA核PCA相關的譜方法線性判定分析典型相關分析第八講主成分分析與相關的譜方法

第八講主成分分析與相關的譜方法

核PCA

第八講主成分分析與相關的譜方法

核PCA

第八講主成分分析與相關的譜方法

核PCA第八講主成分分析與相關的譜方法目錄主成分分析最大化方差最小化誤差主成分分析與K-L變換概率PCA核PCA相關的譜方法線性判定分析典型相關分析第八講主成分分析與相關的譜方法

第八講主成分分析與相關的譜方法二類數(shù)據(jù)的線性判別分析

相關的譜方法

第八講主成分分析與相關的譜方法

相關的譜方法

第八講主成分分析與相關的譜方法多類數(shù)據(jù)的線性判別分析

相關的譜方法

第八講主成分分析與相關的譜方法

相關的譜方法

第八講主成分分析與相關的譜方法典型相關分析（canonicalcorrelationanalysis，CCA）

相關的譜方法

第八講主成分分析與相關的譜方法

相關的譜方法

第八講主成分分析與相關的譜方法

相關的譜方法

第八講主成分分析與相關的譜方法

相關的譜方法

第八講主成分分析與相關的譜方法

相關的譜方法

第八講主