機器學習 Chap01緒論課件

機器學習導論(2016春季學期)一、緒論

機器學習Chap01緒論機器學習機器學習是從人工智能中產(chǎn)生的一個重要學科分支，是實現(xiàn)智能化的關(guān)鍵機器學習Chap01緒論機器學習機器學習（MachineLearning）究竟是什么東東？看個例子機器學習Chap01緒論“文獻篩選”的故事[C.Brodleyetal.,AIMagazine2012]在“循證醫(yī)學”（evidence-basedmedicine）中，針對特定的臨床問題，先要對相關(guān)研究報告進行詳盡評估查詢PubMed以獲取候選摘要人工找出值得全文審讀的文章機器學習Chap01緒論“文獻篩選”的故事

在一項關(guān)于嬰兒和兒童殘疾的研 究中，美國Tufts醫(yī)學中心篩選 了約33,000篇摘要 盡管Tufts醫(yī)學中心的專家效率 很高，對每篇摘要只需30秒鐘，但該工作仍花費了250小時每項新的研究都要重復

這個麻煩的過程！需篩選的文章數(shù)在不斷顯著增長！機器學習Chap01緒論“文獻篩選”的故事為了降低昂貴的成本,Tufts醫(yī)學中心引入了機器學習技術(shù)邀請專家閱讀少量摘要，標記為“有關(guān)”或“無關(guān)”分類模型對是否“有關(guān)”進行預測人類專家只需閱讀50篇摘要，系統(tǒng)的自動篩選精度就達到93%人類專家閱讀1,000篇摘要，則系統(tǒng)的自動篩選敏感度達到95%(人類專家以前需閱讀33,000篇摘要才能獲得此效果)機器學習Chap01緒論色澤根蒂敲聲好瓜青綠蜷縮濁響是烏黑蜷縮濁響是青綠硬挺清脆否烏黑稍蜷沉悶否決策樹，神經(jīng)網(wǎng)絡，支持向量機，

Boosting，貝葉斯網(wǎng)，……模型訓練數(shù)據(jù)（label）訓練

新數(shù)據(jù)樣本(淺白,蜷縮,濁響,?)

?=是類別標記 未知典型的機器學習過程

使用學習算法（learningalgorithm）

類別標記機器學習Chap01緒論機器學習與數(shù)據(jù)挖掘機器學習Chap01緒論機器學習能做什么？我們可能每天都在用機器學習機器學習Chap01緒論權(quán)16南京大學機器學習導論課程專用所有20保留

機器 學習

模型

搜索引擎機器學習技術(shù)正在支撐著各種搜索引擎

搜索：南京大學例如：互聯(lián)網(wǎng)搜索

……機器學習Chap01緒論有器學習導論課程專保留權(quán)用所2016南京大學機例如：自動汽車駕駛（即將改變?nèi)祟惿睿C器學習模型方向盤旋 轉(zhuǎn)幅度油門幅度剎車幅度車載攝像頭

車載雷達 控制汽車

美國在20世紀

80年代就開始 研究基于機器 學習的汽車自 動駕駛技術(shù)DARPAGrandChallenge–2004機器學習Chap01緒論2016南京大學機器學習導論課程專用所有權(quán)保留機器學習能做什么？小數(shù)據(jù)上就已經(jīng)很有用機器學習Chap01緒論2016南京大學機器學習導論課程專用所有權(quán)保留例如：畫作鑒別（藝術(shù)）

畫作鑒別(paintingauthentication)：確定作品的真?zhèn)?/p>

勃魯蓋爾（1525-1569） 的作品？

出自[J.Hughesetal.,PNAS2009]梵高（1853-1890）的作品？

出自[C.Johnsonetal.,IEEE-SP,2008]機器學習Chap01緒論機器學習導論2016南京大學課程專用所有權(quán)保留例如：畫作鑒別（藝術(shù)）除專用技術(shù)手段外，筆觸分析(brushstrokeanalysis)是畫作鑒定的重要工具；它旨在從視覺上判斷畫作中是否具有藝術(shù)家的特有“筆跡”。該工作對專業(yè)知識要求極高-具有較高的繪畫藝術(shù)修養(yǎng)-掌握畫家的特定繪畫習慣只有少數(shù)專家花費很大精力才能完成分析工作！

很難同時掌握不同時期、不同流派多位畫家的繪畫風格！[C.Johnsonetal.,IEEE-SP,2008]機器學習Chap01緒論論課程專用所有權(quán)16南京大學20機器學習導保留例如：畫作鑒別（藝術(shù)）真跡+贗品特有“筆跡”待鑒定畫作為了降低分析成本,機器學習技術(shù)被引入

自動鑒定

分類模型Kr?llerMüller美術(shù)館與Cornell等大學的學者對82幅梵高真跡和6幅贗品進行分析，自動鑒別精度達95%[C.Johnsonetal.,IEEE-SP,2008]Dartmouth學院、巴黎高師的學者對8幅勃魯蓋爾真跡和5幅贗品進行分析，自動鑒別精度達100%[J.Hughesetal.,PNAS2009][J.Mairaletal.,PAMI’12](對用戶要求低、準確高效、適用范圍廣)機器學習Chap01緒論2016南京大學機器學習導論課程專用所有權(quán)保留例如：古文獻修復（文化）

古文獻是進行歷史研究的重要素材，但是其中很多損毀嚴重

DeadSeaScrolls(死海古卷)

-1947年出土

-超過30,000個羊皮紙片段

CairoGenizah -19世紀末被發(fā)現(xiàn)

-超過300,000個片段

-散布于全球多家博物館

高水平專家的大量精力 被用于古文獻修復[L.Wolfetal.,IJCV2011]機器學習Chap01緒論2016南京大學機器學習導論課程專用所有權(quán)保留例如：古文獻修復（文化）一個重要問題：

原書籍已經(jīng)變成分散且混雜的多個書頁，如何拼接相鄰的書頁？

人工完成書頁拼接十分困難

-書頁數(shù)量大，且分布在多處

-部分損毀較嚴重，字跡模糊

-需要大量掌握古文字的專業(yè)人才

近年來，古文獻的數(shù)字化浪潮給自動文學修復提供了機會機器學習Chap01緒論所有權(quán)保留2016南京大學機器學習導論課程專用例如：古文獻修復（文化）以色列特拉維夫大學的學者將機器學習用于自動的書頁拼接已確定相鄰已確定不相鄰分類模型

判斷是否相鄰專家確認相鄰在CairoGenizah測試數(shù)據(jù)上，系統(tǒng)的自動判斷精度超過93%新完成約1,000篇CairoGenizah文章的拼接(對比：過去整個世紀，數(shù)百人類專家只完成了幾千篇文章拼接)機器學習Chap01緒論2016南京大學機器學習導論課程專用所有權(quán)保留機器學習能做什么？大數(shù)據(jù)上更驚人機器學習Chap01緒論2016南京大學機器學習導論課程專用所有權(quán)保留例如：幫助奧巴馬勝選（政治）《時代》周刊機器學習Chap01緒論2016南京大學機器學習導論課程專用所有權(quán)保留例如：幫助奧巴馬勝選（政治）通過機器學習模型：

在總統(tǒng)候選人第一次辯論后，分析出哪些選民將倒戈，為每位選民找出一 個最能說服他的理由

精準定位不同選民群體，建議購買冷門廣告時段，廣告資金效率比2008年 提高14%

向奧巴馬推薦，競選后期應當在什么地方展開活動——那里有很多爭取 對象

借助模型幫助奧巴馬籌集到創(chuàng)紀錄的10億美元

例如：利用模型分析出，明星喬治克魯尼（GeorgeClooney）對于年齡在40- 49歲的美西地區(qū)女性頗具吸引力，而她們恰是最愿意為和克魯尼/奧巴馬共 進晚餐而掏錢的人……

喬治克魯尼為奧巴馬舉辦的競選籌資晚宴成功募集 到1500萬美元

……機器學習Chap01緒論導論課程專用學習2016南京大學機器所有權(quán)保留例如：幫助奧巴馬勝選（政治）

隊長：RayidGhani

卡內(nèi)基梅隆大學機器學習系 首任系主任TomMitchell

教授的博士生

這個團隊行動保密，定期向奧巴馬報送結(jié)果； 被奧巴馬公開稱為總統(tǒng)競選的“核武器按鈕”(“Theyareournuclearcodes”)機器學習Chap01緒論權(quán)專用所有2016南京大學機器學習導論課程保留

約翰麥卡錫

(1927-2011)“人工智能之父”1971年圖靈獎1956年夏美國達特茅斯學院J.McCarthy,M.Minsky,N.Lochester,C.E.Shannon,H.A.Simon,A.Newell,A.L.Samuel等10余人達特茅斯會議標志著人工智能這一學科的誕生JohnMcCarthy(1927-2011): 1971年獲圖靈獎,1985年獲IJCAI終身成就獎。人工智能之父。他提出了“人工智能”的概念，設計出函數(shù)型程序設計語言Lisp，發(fā)展了遞歸的概念，提出常識推理和情境演算。出生于共產(chǎn)黨家庭，從小閱讀《10萬個為什么》，中學時自修CalTech的數(shù)學課程，17歲進入CalTech時免修兩年數(shù)學，22歲在Princeton獲博士學位，37歲擔任Stanford大學AI實驗室主任。機器學習源自“人工智能”

ArtificialIntelligence(AI),1956-機器學習Chap01緒論權(quán)程專用所有保16南京大20學機器學習導論課留赫伯特西蒙

(1916-2001)1975年圖靈獎第一階段：推理期

1956-1960s:LogicReasoning

出發(fā)點:“數(shù)學家真聰明！”

主要成就:自動定理證明系統(tǒng)(例如， 西蒙與紐厄爾的“LogicTheorist”

系統(tǒng))漸漸地，研究者們意識到，僅有邏輯推理能力是不夠的…

阿倫紐厄爾

(1927-1992) 1975年圖靈獎機器學習Chap01緒論用所有權(quán)保留2016南京大學機器學習導論課程專

出發(fā)點:“知識就是力量！”愛德華費根鮑姆

(1936-)

1994年圖靈獎

主要成就:專家系統(tǒng)(例如，費根鮑 姆等人的“DENDRAL”系統(tǒng))

漸漸地，研究者們發(fā)現(xiàn)，要總結(jié)出知識再“教”給 系統(tǒng)，實在太難了…第二階段：知識期

1970s-1980s:KnowledgeEngineering機器學習Chap01緒論2016南京大學機器學習導論課程專用所有權(quán)保留

出發(fā)點:“讓系統(tǒng)自己學！”第三階段：學習期

1990s-now:MachineLearning

主要成就:……

機器學習是作為“突破知識工程瓶頸” 之利器而出現(xiàn)的恰好在20世紀90年代中后期，人類發(fā)現(xiàn)自己淹沒在數(shù)據(jù)的汪洋中，對自動數(shù)據(jù)分析技術(shù)——機器學習的需求日益迫切機器學習Chap01緒論權(quán)專用所有16南京大學機器學保習導論留課程20

汽車自動駕駛(DARPAGrandChallenge)機器學習已經(jīng)“無處不在”

入侵檢測

Web搜索 生物信息學 決策助手(DARPA)火星機器人(JPL)機器學習Chap01緒論2016南京大學機器學習導論課程專用所有權(quán)保留今天的“機器學習”已經(jīng)是一個廣袤的學科領(lǐng)域經(jīng)常被談到的“深度學習”

(DeepLearning)僅是

機器學習中的一個小分支 例如，這是第32屆 國際機器學習大會 的“主題領(lǐng)域”

2006年，美國CMU (卡內(nèi)基梅隆大學)成立“機器學習系”機器學習Chap01緒論導論課程專用所2016南京大學機器學習有權(quán)保留大數(shù)據(jù)時代的關(guān)鍵技術(shù)奧巴馬提出“大數(shù)據(jù)計劃”后，美國NSF進一步加強資助UCBerkeley研究如何整合將”數(shù)據(jù)”轉(zhuǎn)變?yōu)椤毙畔ⅰ钡娜箨P(guān)鍵技術(shù)——機器學習、云計算、眾包(crowdsourcing)整合三大關(guān)鍵技術(shù)機器學習Chap01緒論權(quán)保2016南京留大學機器學習導論課程專用所有大數(shù)據(jù)時代，機器學習必不可少收集、傳輸、存儲大數(shù)據(jù)的目的，是為了“利用”大數(shù)據(jù)沒有機器學習技術(shù)分析大數(shù)據(jù)，“利用”無從談起機器學習Chap01緒論權(quán)有所習導論課程專用保2016南京大學機器學留基本術(shù)語???????數(shù)據(jù)集;訓練,測試示例(instance),樣例(example)樣本(sample)屬性(attribute),特征(feature);屬性值屬性空間,樣本空間,輸入空間特征向量(featurevector)標記空間,輸出空間??監(jiān)督學習(supervisedlearning)無監(jiān)督學習(unsupervisedlearning)???假設(hypothesis)真相(ground-truth)學習器(learner)????

?

分類,回歸

?

二分類,多分類

?

正類,反類未見樣本(unseeninstance)未知“分布”獨立同分布(i.i.d.)泛化(generalization)機器學習Chap01緒論權(quán)2016南京大學機器學習導論課程專用所有保留假設空間(色澤=?)?(根蒂=?)?(敲聲=?)?好瓜學習過程

在所有假設(hypothesis)組成的空間中進行搜索的過程目標:找到與訓練集“匹配”(fit)的假設假設空間的大小：n1xn2xn3+1機器學習Chap01緒論權(quán)用所有保留論課程專機器學習導2016南京大學例如:(青綠;蜷縮;沉悶)應該采用哪一個 模型(假設)?版本空間

版本空間(versionspace):與訓練集一致的假設集合

濁響 濁響

在面臨新樣本時，會產(chǎn)生不同的輸出機器學習Chap01緒論課程專用所有2016南京大學機器學習導論權(quán)保留歸納偏好(inductivebias)機器學習算法在學習過程中對某種類型假設的偏好A更好？B更好？一般原則：奧卡姆剃刀

(Oca