第1章-機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)習(xí)ppt課件

1、第一章統(tǒng)計(jì)學(xué)習(xí)方法概論,提綱：1 大,機(jī)器學(xué)習(xí),維基百科： 機(jī)器學(xué)習(xí)是近20多年興起的一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。機(jī)器學(xué)習(xí)理論主要是設(shè)計(jì)和分析一些讓計(jì)算機(jī)可以自動(dòng)“學(xué)習(xí)”的算法。機(jī)器學(xué)習(xí)算法是一類從數(shù)據(jù)中自動(dòng)分析獲得規(guī)律，并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的算法。因?yàn)閷W(xué)習(xí)算法中涉及了大量的統(tǒng)計(jì)學(xué)理論，機(jī)器學(xué)習(xí)與統(tǒng)計(jì)推斷學(xué)聯(lián)系尤為密切，也被稱為統(tǒng)計(jì)學(xué)習(xí)理論。算法設(shè)計(jì)方面，機(jī)器學(xué)習(xí)理論關(guān)注可以實(shí)現(xiàn)的，行之有效的學(xué)習(xí)算法。很多推論問(wèn)題屬于無(wú)程序可循難度，所以部分的機(jī)器學(xué)習(xí)研究是開(kāi)發(fā)容易處理的近似算法,提綱：1 大,網(wǎng)絡(luò)教學(xué)信息,斯坦福機(jī)器學(xué)習(xí) http

2、:/ CMU 機(jī)器學(xué)習(xí)課程 /epxing/Class/10715/ /epxing/Class/10708/ 視頻 /epxing/Class/10701 https:/ http:/,提綱：1 大,相關(guān)學(xué)術(shù)文章下載資源,COLT和ICML(每年度的官網(wǎng)): http:/www.cs.mcgill.ca/colt2009/proceedings.html CV:http:/ NIPS: http:/books.nips.cc/; JMLR(期刊): http:/jmlr.c

3、/papers,提綱：1 大,機(jī)器學(xué)習(xí),維基百科： 機(jī)器學(xué)習(xí)有下面幾種定義： “機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能”。 “機(jī)器學(xué)習(xí)是對(duì)能通過(guò)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究”。 “機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)?！?英文定義：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its pe

4、rformance at tasks in T, as measured by P, improves with experience E,提綱：1 大,機(jī)器學(xué)習(xí)應(yīng)用,數(shù)據(jù)挖掘 計(jì)算機(jī)視覺(jué) 自然語(yǔ)言處理 生物特征識(shí)別 搜索引擎 醫(yī)學(xué)診斷 檢測(cè)信用卡欺詐 證券市場(chǎng)分析 DNA序列測(cè)序 語(yǔ)音和手寫識(shí)別 戰(zhàn)略游戲 機(jī)器人,提綱：1 大,Game,深藍(lán)是并行計(jì)算的電腦系統(tǒng)，建基于RS/6000 SP，另加上480顆特別制造的VLSI象棋芯片。下棋程式以C語(yǔ)言寫成，運(yùn)行AIX 操作系統(tǒng)。1997年版本的深藍(lán)運(yùn)算速度為每秒2億步棋，是其1996年版本的2倍。1997年 6月，深藍(lán)在世界超級(jí)電腦中排名第25

5、9位，計(jì)算能力為11.38 gigaflops,提綱：1 大,Text to speech and speech recognition,提綱：1 大,Computer vision,提綱：1 大,Gene,bioinformatics,提綱：1 大,bioinformatics,Gene,提綱：1 大,Financial Information,提綱：1 大,Robotic Control,提綱：1 大,Deep Learning,提綱：1 大,aerospace,提綱：1 大,機(jī)器學(xué)習(xí)的發(fā)展歷程,黑暗時(shí)代”，人工智能的誕生（1943年1956年） Warren McCulloch和Walt

6、er Pitts在1943年發(fā)表了人工智能領(lǐng)域的開(kāi)篇之作，提出了人工神經(jīng)網(wǎng)絡(luò)模型。 John von Neumann。他在1930年加入了普林斯頓大學(xué)，在數(shù)學(xué)物理系任教，和阿蘭圖靈是同事。 Marvin Minsky和Dean Edmonds建造第一臺(tái)神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)。 1956年：John McCarthy從普林斯頓大學(xué)畢業(yè)后去達(dá)特茅斯學(xué)院工作，說(shuō)服了Marvin Minsky和Claude Shannon在達(dá)特茅斯學(xué)院組織一個(gè)暑期研討會(huì)，召集了對(duì)機(jī)器智能、人工神經(jīng)網(wǎng)絡(luò)和自動(dòng)理論感興趣的研究者，參加由IBM贊助的研討會(huì),提綱：1 大,機(jī)器學(xué)習(xí)的發(fā)展歷程,提綱：1 大,新的方向： 集成學(xué)習(xí) 可擴(kuò)

7、展機(jī)器學(xué)習(xí)（對(duì)大數(shù)據(jù)集、高維數(shù)據(jù)的學(xué)習(xí)等） 強(qiáng)化學(xué)習(xí) 遷移學(xué)習(xí) 概率網(wǎng)絡(luò) 深度學(xué)習(xí),機(jī)器學(xué)習(xí)的發(fā)展歷程,提綱：1 大,國(guó)內(nèi)外的研究者,M. I. Jordan Andrew Ng Tommi Jaakkola David Blei Eric Xing。 D.Koller 2001年IJCAI計(jì)算機(jī)與思維獎(jiǎng):TerryWinograd、David Marr、Tom Mitchell、RodneyBrooks等人之后的第18位獲獎(jiǎng)?wù)?Peter L. Bartlett J. D. Lafferty 國(guó)內(nèi)：李航,周志華, 楊強(qiáng),王曉剛，唐曉鷗，唐杰，劉鐵巖，何曉飛，朱筠，吳軍， 張棟，戴文淵，余凱，

8、鄧力，孫健,提綱：1 大,卡內(nèi)基梅隆大學(xué)的計(jì)算機(jī)科學(xué)學(xué)士學(xué)位， 麻省理工學(xué)院的電子工程和計(jì)算機(jī)科學(xué)碩士學(xué)位， 加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)博士學(xué)位。 在斯坦福大學(xué)計(jì)算機(jī)科學(xué)和電子工程學(xué)系擔(dān)任教授，講授機(jī)器學(xué)習(xí)課程 吳恩達(dá)(Andrew Ng) 硅谷人工智能實(shí)驗(yàn)室 北京深度學(xué)習(xí)實(shí)驗(yàn)室 北京大數(shù)據(jù)實(shí)驗(yàn)室,國(guó)內(nèi)外的研究者,提綱：1 大,機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的關(guān)系,機(jī)器學(xué)習(xí)是數(shù)據(jù)挖掘的重要工具。 數(shù)據(jù)挖掘不僅僅要研究、拓展、應(yīng)用一些機(jī)器學(xué)習(xí)方法，還要通過(guò)許多非機(jī)器學(xué)習(xí)技術(shù)解決數(shù)據(jù)倉(cāng)儲(chǔ)、大規(guī)模數(shù)據(jù)、數(shù)據(jù)噪音等等更為實(shí)際的問(wèn)題。 機(jī)器學(xué)習(xí)的涉及面更寬，常用在數(shù)據(jù)挖掘上的方法通常只是“從數(shù)據(jù)學(xué)習(xí)”，然則機(jī)器

9、學(xué)習(xí)不僅僅可以用在數(shù)據(jù)挖掘上，一些機(jī)器學(xué)習(xí)的子領(lǐng)域甚至與數(shù)據(jù)挖掘關(guān)系不大，例如增強(qiáng)學(xué)習(xí)與自動(dòng)控制等等。 數(shù)據(jù)挖掘試圖從海量數(shù)據(jù)中找出有用的知識(shí)。 大體上看，數(shù)據(jù)挖掘可以視為機(jī)器學(xué)習(xí)和數(shù)據(jù)庫(kù)的交叉，它主要利用機(jī)器學(xué)習(xí)界提供的技術(shù)來(lái)分析海量數(shù)據(jù)，利用數(shù)據(jù)庫(kù)界提供的技術(shù)來(lái)管理海量數(shù)據(jù),提綱：1 大,機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的關(guān)系,提綱：1 大,機(jī)器學(xué)習(xí)的一個(gè)形象描述,23,提綱：1 大,為什么要研究大數(shù)據(jù)機(jī)器學(xué)習(xí),例“尿布啤酒”關(guān)聯(lián)規(guī)則 實(shí)際上，在面對(duì)少量數(shù)據(jù)時(shí)關(guān)聯(lián)分析并不難，可以直接使用統(tǒng)計(jì)學(xué)中有關(guān)相關(guān)性的知識(shí)，這也正是機(jī)器學(xué)習(xí)界沒(méi)有研究關(guān)聯(lián)分析的一個(gè)重要原因。 關(guān)聯(lián)分析的困難其實(shí)完全是由海量數(shù)據(jù)造成的

10、，因?yàn)閿?shù)據(jù)量的增加會(huì)直接造成挖掘效率的下降，當(dāng)數(shù)據(jù)量增加到一定程度，問(wèn)題的難度就會(huì)產(chǎn)生質(zhì)變， 例如，在關(guān)聯(lián)分析中必須考慮因數(shù)據(jù)太大而無(wú)法承受多次掃描數(shù)據(jù)庫(kù)的開(kāi)銷、可能產(chǎn)生在存儲(chǔ)和計(jì)算上都無(wú)法接受的大量中間結(jié)果等,提綱：1 大,機(jī)器學(xué)習(xí)相關(guān)學(xué)術(shù)期刊和會(huì)議,機(jī)器學(xué)習(xí) 學(xué)術(shù)會(huì)議：NIPS、ICML、ECML和COLT， 學(xué)術(shù)期刊：Machine Learning和Journal of Machine Learning Research 數(shù)據(jù)挖掘 學(xué)術(shù)會(huì)議：SIGKDD、ICDM、SDM、PKDD和PAKDD 學(xué)術(shù)期刊：Data Mining and Knowledge Discovery和IEEE

11、Transactions on Knowledge and Data Engineering 人工智能 學(xué)術(shù)會(huì)議：IJCAI和AAAI、 數(shù)據(jù)庫(kù) 學(xué)術(shù)會(huì)議：SIGMOD、VLDB、ICDE， 其它一些頂級(jí)期刊如 Artificial Intelligence、 Journal of Artificial Intelligence Research、 IEEE Transactions on Pattern Analysis and Machine Intelligence、 Neural Computation等也經(jīng)常發(fā)表機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘方面的論文,提綱：1 大,機(jī)器學(xué)習(xí)相關(guān)學(xué)術(shù)期刊和會(huì)議,

12、提綱：1 大,機(jī)器學(xué)習(xí)相關(guān)學(xué)術(shù)期刊和會(huì)議,提綱：1 大,機(jī)器學(xué)習(xí)相關(guān)學(xué)術(shù)期刊和會(huì)議,提綱：1 大,機(jī)器學(xué)習(xí)相關(guān)學(xué)術(shù)期刊和會(huì)議,提綱：1 大,機(jī)器學(xué)習(xí)相關(guān)學(xué)術(shù)期刊和會(huì)議,提綱：1 大,機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)習(xí),維基百科： 機(jī)器學(xué)習(xí)是近20多年興起的一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。機(jī)器學(xué)習(xí)理論主要是設(shè)計(jì)和分析一些讓計(jì)算機(jī)可以自動(dòng)“學(xué)習(xí)”的算法。機(jī)器學(xué)習(xí)算法是一類從數(shù)據(jù)中自動(dòng)分析獲得規(guī)律，并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的算法。因?yàn)閷W(xué)習(xí)算法中涉及了大量的統(tǒng)計(jì)學(xué)理論，機(jī)器學(xué)習(xí)與統(tǒng)計(jì)推斷學(xué)聯(lián)系尤為密切，也被稱為統(tǒng)計(jì)學(xué)習(xí)理論。算法設(shè)計(jì)方面，機(jī)器學(xué)習(xí)理論關(guān)注可以實(shí)現(xiàn)的

13、，行之有效的學(xué)習(xí)算法。很多推論問(wèn)題屬于無(wú)程序可循難度，所以部分的機(jī)器學(xué)習(xí)研究是開(kāi)發(fā)容易處理的近似算法,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)和機(jī)器學(xué)習(xí),Brendan OConnor的博文Statistics vs. Machine Learning, fight!，初稿是08年寫的，或許和作者的機(jī)器學(xué)習(xí)背景有關(guān)，他在初稿中主要是貶低了統(tǒng)計(jì)學(xué)，思想和1有點(diǎn)類似，認(rèn)為機(jī)器學(xué)習(xí)比統(tǒng)計(jì)學(xué)多了些Algorithm Modeling方面內(nèi)容，比如SVM的Max-margin，決策樹(shù)等，此外他認(rèn)為機(jī)器學(xué)習(xí)更偏實(shí)際。但09年十月的時(shí)候他轉(zhuǎn)而放棄自己原來(lái)的觀點(diǎn)，認(rèn)為統(tǒng)計(jì)才是real deal: Statistics, not

14、 machine learning, is the real deal, but unfortunately suffers from bad marketing,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)和機(jī)器學(xué)習(xí),提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)和機(jī)器學(xué)習(xí),Simon Blomberg: From Rs fortunes package: To paraphrase provocatively, machine learning is statistics minus any checking of models and assumptions. -Andrew Gelman: In that case, maybe

15、we should get rid of checking of models and assumptions more often. Then maybe wed be able to solve some of the problems that the machine learning people can solve but we cant,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)和機(jī)器學(xué)習(xí),研究方法差異 統(tǒng)計(jì)學(xué)研究形式化和推導(dǎo) 機(jī)器學(xué)習(xí)更容忍一些新方法 維度差異 統(tǒng)計(jì)學(xué)強(qiáng)調(diào)低維空間問(wèn)題的統(tǒng)計(jì)推導(dǎo)（confidence intervals, hypothesis tests, optimal estim

16、ators） 機(jī)器學(xué)習(xí)強(qiáng)調(diào)高維預(yù)測(cè)問(wèn)題 統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)各自更關(guān)心的領(lǐng)域： 統(tǒng)計(jì)學(xué): survival analysis, spatial analysis, multiple testing, minimax theory, deconvolution, semiparametric inference, bootstrapping, time series. 機(jī)器學(xué)習(xí): online learning, semisupervised learning, manifold learning, active learning, boosting,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)和機(jī)器學(xué)習(xí)（專業(yè)術(shù)語(yǔ),統(tǒng)計(jì)

17、學(xué) 機(jī)器學(xué)習(xí)EstimationLearningClassifier HypothesisData point Example/InstanceRegression Supervised LearningClassification Supervised LearningCovariate FeatureResponse Label,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí),統(tǒng)計(jì)學(xué)習(xí)的對(duì)象 data ：計(jì)算機(jī)及互聯(lián)網(wǎng)上的各種數(shù)字、文字、圖像、視頻、音頻數(shù)據(jù)以及它們的組合。 數(shù)據(jù)的基本假設(shè)是同類數(shù)據(jù)具有一定的統(tǒng)計(jì)規(guī)律性。 統(tǒng)計(jì)學(xué)習(xí)的目的 用于對(duì)數(shù)據(jù)（特別是未知數(shù)據(jù)）進(jìn)行預(yù)測(cè)和分析,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí),統(tǒng)計(jì)學(xué)習(xí)

18、的方法 分類： Supervised learning Unsupervised learning Semi-supervised learning Reinforcement learning 監(jiān)督學(xué)習(xí)： 訓(xùn)練數(shù)據(jù) training data 模型 model - 假設(shè)空間 hypothesis 評(píng)價(jià)準(zhǔn)則 evaluation criterion - 策略 strategy 算法 algorithm,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)的研究： 統(tǒng)計(jì)學(xué)習(xí)方法 統(tǒng)計(jì)學(xué)習(xí)理論（統(tǒng)計(jì)學(xué)習(xí)方法的有效性和效率和基本理論） 統(tǒng)計(jì)學(xué)習(xí)應(yīng)用,統(tǒng)計(jì)學(xué)習(xí),提綱：1 大,監(jiān)督學(xué)習(xí),Instance，feature vector

19、，feature space 輸入實(shí)例x的特征向量： x(i)與xi 不同,后者表示多個(gè)輸入變量中的第i個(gè) 訓(xùn)練集： 輸入變量和輸出變量： 分類問(wèn)題、回歸問(wèn)題、標(biāo)注問(wèn)題,提綱：1 大,聯(lián)合概率分布 假設(shè)輸入與輸出的隨機(jī)變量X和Y遵循聯(lián)合概率分布P(X,Y) P(X,Y)為分布函數(shù)或分布密度函數(shù) 對(duì)于學(xué)習(xí)系統(tǒng)來(lái)說(shuō)，聯(lián)合概率分布是未知的， 訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)被看作是依聯(lián)合概率分布P(X,Y)獨(dú)立同分布產(chǎn)生的。 假設(shè)空間 監(jiān)督學(xué)習(xí)目的是學(xué)習(xí)一個(gè)由輸入到輸出的映射，稱為模型 模式的集合就是假設(shè)空間（hypothesis space） 概率模型:條件概率分布P(Y|X), 決策函數(shù)：Y=f(X,監(jiān)督學(xué)習(xí)

20、,提綱：1 大,問(wèn)題的形式化,監(jiān)督學(xué)習(xí),提綱：1 大,無(wú)監(jiān)督學(xué)習(xí),訓(xùn)練集： 模型函數(shù)： 條件概率分布,提綱：1 大,強(qiáng)化學(xué)習(xí),提綱：1 大,強(qiáng)化學(xué)習(xí),狀態(tài)轉(zhuǎn)移概率函數(shù)： 獎(jiǎng)勵(lì)函數(shù)： 策略：給定狀態(tài)下動(dòng)作的函數(shù) 或者條件概率分布 狀態(tài)價(jià)值函數(shù)： 動(dòng)作價(jià)值函數(shù),提綱：1 大,強(qiáng)化學(xué)習(xí)方法,無(wú)模型（model-free） 基于策略（policy-based）：求解最優(yōu)策略* 基于價(jià)值（value-based）：求解最優(yōu)價(jià)值函數(shù) 有模型（model-based） 通過(guò)學(xué)習(xí)馬爾可夫決策過(guò)程的模型，包括轉(zhuǎn)移概率函數(shù)和獎(jiǎng)勵(lì)函數(shù) 通過(guò)模型對(duì)環(huán)境的反饋進(jìn)行預(yù)測(cè) 求解價(jià)值函數(shù)最大的策略,提綱：1 大,半監(jiān)督學(xué)習(xí),

21、少量標(biāo)注數(shù)據(jù)，大量未標(biāo)注數(shù)據(jù) 利用未標(biāo)注數(shù)據(jù)的信息，輔助標(biāo)注數(shù)據(jù)，進(jìn)行監(jiān)督學(xué)習(xí) 較低成本,主動(dòng)學(xué)習(xí),機(jī)器主動(dòng)給出實(shí)例，教師進(jìn)行標(biāo)注 利用標(biāo)注數(shù)據(jù)學(xué)習(xí)預(yù)測(cè)模型,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí),按算法分類： 在線學(xué)習(xí)（online learning） 批量學(xué)習(xí)（batch learning,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí),按技巧分類： 貝葉斯學(xué)習(xí)（Bayesian learning,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí),按技巧分類： 貝葉斯學(xué)習(xí)（Bayesian learning,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí),按技巧分類： 核方法（Kernel method） 使用核函數(shù)表示和學(xué)習(xí)非線性模型，將線性模型學(xué)習(xí)方法擴(kuò)展到非線性模型的學(xué)習(xí)

22、 不顯式地定義輸入空間到特征空間的映射，而是直接定義核函數(shù)，即映射之后在特征空間的內(nèi)積 假設(shè)x1，x2是輸入空間的任意兩個(gè)實(shí)例，內(nèi)積為，輸入空間到特征空間的映射為， 核方法在輸入空間中定義核函數(shù) K(x1, x2)，使其滿足 K(x1, x2) =,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)三要素,模型： 決策函數(shù)的集合： 參數(shù)空間 條件概率的集合： 參數(shù)空間,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)三要素,策略 損失函數(shù)：一次預(yù)測(cè)的好壞 風(fēng)險(xiǎn)函數(shù)：平均意義下模型預(yù)測(cè)的好壞 0-1損失函數(shù) 0-1 loss function 平方損失函數(shù) quadratic loss function 絕對(duì)損失函數(shù) absolute loss f

23、unction,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)三要素,策略 對(duì)數(shù)損失函數(shù) logarithmic loss function 或?qū)?shù)似然損失函數(shù) loglikelihood loss function 損失函數(shù)的期望 風(fēng)險(xiǎn)函數(shù) risk function 期望損失 expected loss 由P(x,y)可以直接求出P(x|y),但不知道， 經(jīng)驗(yàn)風(fēng)險(xiǎn) empirical risk ，經(jīng)驗(yàn)損失 empirical loss,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)三要素,策略：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化與結(jié)構(gòu)風(fēng)險(xiǎn)最小化 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化最優(yōu)模型 當(dāng)樣本容量很小時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化學(xué)習(xí)的效果未必很好，會(huì)產(chǎn)生“過(guò)擬合over-fittin

24、g” 結(jié)構(gòu)風(fēng)險(xiǎn)最小化 structure risk minimization，為防止過(guò)擬合提出的策略，等價(jià)于正則化（regularization），加入正則化項(xiàng)regularizer，或罰項(xiàng) penalty term,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)三要素,求最優(yōu)模型就是求解最優(yōu)化問(wèn)題,提綱：1 大,統(tǒng)計(jì)學(xué)習(xí)三要素,算法： 如果最優(yōu)化問(wèn)題有顯式的解析式，算法比較簡(jiǎn)單 但通常解析式不存在，就需要數(shù)值計(jì)算的方法,提綱：1 大,模型評(píng)估與模型選擇,訓(xùn)練誤差，訓(xùn)練數(shù)據(jù)集的平均損失 測(cè)試誤差，測(cè)試數(shù)據(jù)集的平均損失 損失函數(shù)是0-1 損失時(shí)： 測(cè)試數(shù)據(jù)集的準(zhǔn)確率,提綱：1 大,模型評(píng)估與模型選擇,過(guò)擬合與模型選擇

25、假設(shè)給定訓(xùn)練數(shù)據(jù)集 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小,提綱：1 大,模型評(píng)估與模型選擇,提綱：1 大,模型評(píng)估與模型選擇,提綱：1 大,正則化與交叉驗(yàn)證,正則化一般形式： 回歸問(wèn)題中,提綱：1 大,交叉驗(yàn)證： 訓(xùn)練集 training set： 用于訓(xùn)練模型 驗(yàn)證集 validation set：用于模型選擇 測(cè)試集 test set： 用于最終對(duì)學(xué)習(xí)方法的評(píng)估 簡(jiǎn)單交叉驗(yàn)證 S折交叉驗(yàn)證 留一交叉驗(yàn)證,正則化與交叉驗(yàn)證,提綱：1 大,泛化能力 generalization ability,泛化誤差 generalization error 泛化誤差上界 比較學(xué)習(xí)方法的泛化能力-比較泛化誤差上界 性質(zhì)：樣本容量增

26、加，泛化誤差趨于0，假設(shè)空間容量越大， 泛化誤差越大 二分類問(wèn)題 期望風(fēng)險(xiǎn)和經(jīng)驗(yàn)風(fēng)險(xiǎn),提綱：1 大,泛化能力 generalization ability,經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化函數(shù)： 泛化能力： 定理：泛化誤差上界，二分類問(wèn)題， 當(dāng)假設(shè)空間是有限個(gè)函數(shù)的結(jié)合 ， 對(duì)任意一個(gè)函數(shù)f， 至少以概率1-，以下不等式成立,提綱：1 大,生成模型與判別模型,監(jiān)督學(xué)習(xí)的目的就是學(xué)習(xí)一個(gè)模型： 決策函數(shù)： 條件概率分布： 生成方法Generative approach 對(duì)應(yīng)生成模型：generative model， 樸素貝葉斯法和隱馬爾科夫模型,提綱：1 大,生成模型與判別模型,判別方法由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù)f(X)或條件概率分布P(Y|X)作為預(yù)測(cè)的模型，即判別模型 Discriminative approach對(duì)應(yīng)discriminative model K近鄰法、感知機(jī)、決策樹(shù)、logistic回歸模型、最大熵模型、支持向量機(jī)、提升方法和條件隨機(jī)場(chǎng),提綱：1 大,生成模型與判別模型,各自優(yōu)缺點(diǎn)： 生成方法：可還原出聯(lián)合概率分布P(X,Y), 而判別方法不能。生成方法的收斂速度更快，當(dāng)樣本容量增加的時(shí)候，學(xué)到的模型可以更快地收斂于真實(shí)模型；當(dāng)存