模式識(shí)別與機(jī)器學(xué)習(xí) 課件 孫仕亮 第8、9講 主成分分析與相關(guān)的譜方法、強(qiáng)化學(xué)習(xí)

模式識(shí)別與機(jī)器學(xué)習(xí)

PatternRecognition&MachineLearning第八講主成分分析與相關(guān)的譜方法本節(jié)學(xué)習(xí)目標(biāo)能夠熟練運(yùn)用主成分分析理解概率主成分分析的原理理解核主成分分析的原理能夠熟練運(yùn)用線性判別分析和典型相關(guān)分析第八講主成分分析與相關(guān)的譜方法第八講主成分分析與相關(guān)的譜方法目錄主成分分析最大化方差最小化誤差主成分分析與K-L變換概率PCA核PCA相關(guān)的譜方法線性判定分析典型相關(guān)分析第八講主成分分析與相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法最大化方差

主成分分析

第八講主成分分析與相關(guān)的譜方法

主成分分析圖11?1使用PCA將數(shù)據(jù)投影到一維空間的示例

第八講主成分分析與相關(guān)的譜方法

主成分分析

第八講主成分分析與相關(guān)的譜方法最小化誤差

主成分分析

第八講主成分分析與相關(guān)的譜方法

主成分分析

第八講主成分分析與相關(guān)的譜方法

主成分分析

第八講主成分分析與相關(guān)的譜方法

主成分分析

第八講主成分分析與相關(guān)的譜方法主成分分析與K-L變換

主成分分析第八講主成分分析與相關(guān)的譜方法目錄主成分分析最大化方差最小化誤差主成分分析與K-L變換概率PCA核PCA相關(guān)的譜方法線性判定分析典型相關(guān)分析第八講主成分分析與相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法

概率PCA

第八講主成分分析與相關(guān)的譜方法

概率PCA第八講主成分分析與相關(guān)的譜方法目錄主成分分析最大化方差最小化誤差主成分分析與K-L變換概率PCA核PCA相關(guān)的譜方法線性判定分析典型相關(guān)分析第八講主成分分析與相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法

核PCA

第八講主成分分析與相關(guān)的譜方法

核PCA

第八講主成分分析與相關(guān)的譜方法

核PCA第八講主成分分析與相關(guān)的譜方法目錄主成分分析最大化方差最小化誤差主成分分析與K-L變換概率PCA核PCA相關(guān)的譜方法線性判定分析典型相關(guān)分析第八講主成分分析與相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法二類(lèi)數(shù)據(jù)的線性判別分析

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法多類(lèi)數(shù)據(jù)的線性判別分析

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法典型相關(guān)分析（canonicalcorrelationanalysis，CCA）

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法

相關(guān)的譜方法

第八講主成分分析與相關(guān)的譜方法HotellingH.AnalysisofaComplexofStatisticalVariablesintoPrincipalComponents[J].JournalofEducationalPsychology,1933,24(6):417-441.TippingME,BishopCM.ProbabilisticPrincipalComponentAnalysis[J].JournaloftheRoyalStatisticalSociety:SeriesB(StatisticalMethodology),1999,61(3):611-622.Sch?lkopfB,SmolaA,MüllerKR.NonlinearComponentAnalysisasaKernelEigenvalueProblem[J].NeuralComputation,1998,10(5):1299-1319.HaroldH.RelationsbetweenTwoSetsofVariates[J].Biometrika,1936,28(3-4):321-377.LaiPL,FyfeC.KernelandNonlinearCanonicalCorrelationAnalysis[J].InternationalJournalofNeuralSystems,2000,10(5):365-377.參考文獻(xiàn)模式識(shí)別與機(jī)器學(xué)習(xí)

PatternRecognition&MachineLearning第九講強(qiáng)化學(xué)習(xí)本節(jié)學(xué)習(xí)目標(biāo)明確強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)的區(qū)別掌握強(qiáng)化學(xué)習(xí)的基本概念，理解其理論基礎(chǔ)掌握有環(huán)境模型的預(yù)測(cè)與控制方法能夠熟練運(yùn)用至少兩種基于值函數(shù)的無(wú)環(huán)境模型控制方法能夠熟練運(yùn)用至少一種基于策略的無(wú)環(huán)境模型控制方法第九講強(qiáng)化學(xué)習(xí)第九講強(qiáng)化學(xué)習(xí)目錄基本概念與理論基礎(chǔ)規(guī)劃：有環(huán)境模型的預(yù)測(cè)與控制無(wú)環(huán)境模型的控制：基于值函數(shù)無(wú)環(huán)境模型的控制：基于策略第九講強(qiáng)化學(xué)習(xí)第九講強(qiáng)化學(xué)習(xí)基本概念與理論基礎(chǔ)常用概念

狀態(tài)-動(dòng)作-獎(jiǎng)勵(lì)序列：第九講強(qiáng)化學(xué)習(xí)基本概念與理論基礎(chǔ)

第九講強(qiáng)化學(xué)習(xí)

基本概念與理論基礎(chǔ)第九講強(qiáng)化學(xué)習(xí)

基本概念與理論基礎(chǔ)第九講強(qiáng)化學(xué)習(xí)目錄基本概念與理論基礎(chǔ)規(guī)劃：有環(huán)境模型的預(yù)測(cè)與控制策略迭代值迭代無(wú)環(huán)境模型的控制：基于值函數(shù)無(wú)環(huán)境模型的控制：基于策略第九講強(qiáng)化學(xué)習(xí)第九講強(qiáng)化學(xué)習(xí)

規(guī)劃：有環(huán)境模型的預(yù)測(cè)與控制第九講強(qiáng)化學(xué)習(xí)規(guī)劃：有環(huán)境模型的預(yù)測(cè)與控制第九講強(qiáng)化學(xué)習(xí)規(guī)劃：有環(huán)境模型的預(yù)測(cè)與控制第九講強(qiáng)化學(xué)習(xí)值迭代

規(guī)劃：有環(huán)境模型的預(yù)測(cè)與控制第九講強(qiáng)化學(xué)習(xí)規(guī)劃：有環(huán)境模型的預(yù)測(cè)與控制第九講強(qiáng)化學(xué)習(xí)規(guī)劃：有環(huán)境模型的預(yù)測(cè)與控制問(wèn)題思想算法預(yù)測(cè)根據(jù)給定策略，由貝爾曼期望方程迭代更新值函數(shù)。策略評(píng)估控制隨機(jī)初始化策略，交替根據(jù)貝爾曼期望方程更新值函數(shù)和根據(jù)值函數(shù)改進(jìn)當(dāng)前策略兩個(gè)步驟。策略迭代（策略評(píng)估+貪婪策略改進(jìn)）控制使用貝爾曼最優(yōu)方程更新值函數(shù)。值迭代表14-1策略評(píng)估、策略迭代、值迭代三種方法的比較第九講強(qiáng)化學(xué)習(xí)目錄基本概念與理論基礎(chǔ)規(guī)劃：有環(huán)境模型的預(yù)測(cè)與控制無(wú)環(huán)境模型的控制：基于值函數(shù)蒙特卡洛控制時(shí)序差分控制：SARSA基于Q學(xué)習(xí)的異常策略控制基于Q學(xué)習(xí)的深度Q網(wǎng)絡(luò)控制無(wú)環(huán)境模型的控制：基于策略第九講強(qiáng)化學(xué)習(xí)第九講強(qiáng)化學(xué)習(xí)

無(wú)環(huán)境模型的控制：基于值函數(shù)第九講強(qiáng)化學(xué)習(xí)蒙特卡洛控制

無(wú)環(huán)境模型的控制：基于值函數(shù)時(shí)序差分控制：SARSA第九講強(qiáng)化學(xué)習(xí)

第九講強(qiáng)化學(xué)習(xí)目錄基本概念與理論基礎(chǔ)規(guī)劃：有環(huán)境模型的預(yù)測(cè)與控制無(wú)環(huán)境模型的控制：基于值函數(shù)無(wú)環(huán)境模型的控制：基于策略蒙特卡洛策略梯度法和REINFORCE算法行動(dòng)者-評(píng)論者算法第九講強(qiáng)化學(xué)習(xí)第九講強(qiáng)化學(xué)習(xí)蒙特卡洛策略梯度法和REINFORCE算法

無(wú)環(huán)境模型的控制：基于策略第九講強(qiáng)化學(xué)習(xí)

無(wú)環(huán)境模型的控制：基于策略第九講強(qiáng)化學(xué)習(xí)

無(wú)環(huán)境模型的控制：基于策略第九講強(qiáng)化學(xué)習(xí)無(wú)環(huán)境模型的控制：基于策略第九講強(qiáng)化學(xué)習(xí)行動(dòng)者-評(píng)論者算法

無(wú)環(huán)境模型的控制：基于策略第九講強(qiáng)化學(xué)習(xí)無(wú)環(huán)境模型的控制：基于策略第九講強(qiáng)化學(xué)習(xí)SuttonRS,BartoAG.ReinforcementLearning:AnIntroduction[M].Cambridge,MA:MITPress,2018.SuttonRS.LearningtoPredictbytheMethodsofTemporalDifferences[J].MachineLearning,1988,3(1):9-44.RummeryGA,NiranjanM.On-LineQ-learningUsingConnectionistSystems[R].CambridgeEngland:CambridgeUniversityEngineerDepartment,1994.WatkinsCJ,DayanP.Q-learning[J].MachineLearning,1992,8(3):279–292.WilliamsRJ.SimpleStatisticalGradient-FollowingAlgorithmsforConnectionistReinforc