機器學(xué)習(xí)及其挑戰(zhàn)

1、機器學(xué)習(xí)及其挑戰(zhàn)周志華http:/ 2003 年 12 月 27 日機器學(xué)習(xí)及其重要性機器學(xué)習(xí)角色的轉(zhuǎn)變五個挑戰(zhàn)問題匯報內(nèi)容機器學(xué)習(xí)經(jīng)典定義：利用經(jīng)驗改善系統(tǒng)自身的性能 T.Mitchell, Book 97隨著該領(lǐng)域的發(fā)展，主要做智能數(shù)據(jù)分析典型任務(wù)：預(yù)測例如：天氣預(yù)報機器學(xué)習(xí)（續(xù)）數(shù)據(jù)挖掘數(shù)據(jù)庫機器學(xué)習(xí)數(shù)據(jù)分析技術(shù)數(shù)據(jù)管理技術(shù)美國航空航天局JPL實驗室的科學(xué)家在Science（2001年9月）上撰文指出：機器學(xué)習(xí)對科學(xué)研究的整個過程正起到越來越大的支持作用，該領(lǐng)域在今后的若干年內(nèi)將取得穩(wěn)定而快速的發(fā)展重要性生物信息學(xué)計算金融學(xué)分子生物學(xué)行星地質(zhì)學(xué)工業(yè)過程控制機器人遙感信息處理信息安全機 器

2、 學(xué) 習(xí)重要性：例子網(wǎng)絡(luò)安全入侵檢測：是否是入侵？是何種入侵？如何檢測？歷史數(shù)據(jù)：以往的正常訪問模式及其表現(xiàn)、以往的入侵模式及其表現(xiàn)對當(dāng)前訪問模式分類這是一個典型的預(yù)測型機器學(xué)習(xí)問題常用技術(shù)：神經(jīng)網(wǎng)絡(luò) 決策樹支持向量機 k近鄰序列分析 聚類 重要性：例子生物信息學(xué)常用技術(shù)：神經(jīng)網(wǎng)絡(luò) 支持向量機隱馬爾可夫模型k近鄰 決策樹序列分析 聚類 重要性（續(xù)）計算機科學(xué)在過去十年中發(fā)展極為迅速，今后會快速穩(wěn)定地發(fā)展、對科學(xué)做出更大貢獻(xiàn)的領(lǐng)域E.Mjolsness & D. DesCoste, Science 01人工智能中最活躍、應(yīng)用潛力最明顯的領(lǐng)域（之一）T.G. Dietterich, AIMag 9

3、7美國、歐洲各國都投入了大量人力物力大型公司如波音、微軟、通用電器等都有研究課題已有一些研究成果進入產(chǎn)品機器學(xué)習(xí)角色的轉(zhuǎn)變?nèi)绻覀兿胱龀鲋匾呢暙I(xiàn)，首先需要把握住該領(lǐng)域發(fā)展的脈搏機器學(xué)習(xí)現(xiàn)在似乎已經(jīng)發(fā)展到一個新階段機器學(xué)習(xí)起源于人工智能對人類學(xué)習(xí)能力的追求，上一階段的研究幾乎完全局限在人工智能這一領(lǐng)域中（學(xué)習(xí)本身是目的）而現(xiàn)在，機器學(xué)習(xí)已經(jīng)開始進入了計算機科學(xué)的不同領(lǐng)域，甚至其他學(xué)科，成為一種支持技術(shù)、服務(wù)技術(shù)（學(xué)習(xí)本身是手段）機器學(xué)習(xí)角色的轉(zhuǎn)變（續(xù)）現(xiàn)階段對機器學(xué)習(xí)的研究可能不應(yīng)再過多地強調(diào)模擬人的學(xué)習(xí)能力可能應(yīng)該把機器學(xué)習(xí)真正當(dāng)成一種支持技術(shù)（手段而非目的），考慮不同領(lǐng)域甚至不同學(xué)科對機器

4、學(xué)習(xí)的需求，找出其中具有共性的、必須解決的問題，并進而著手研究 我們暫且把這種視角下的機器學(xué)習(xí)稱為： “普適機器學(xué)習(xí)”（Pervasive ML）挑戰(zhàn)問題(1)：泛化能力共性問題：幾乎所有的領(lǐng)域，都希望越準(zhǔn)越好提高泛化能力是永遠(yuǎn)的追求目前泛化能力最強的技術(shù)：支持向量機（SVM）產(chǎn)生途徑：理論-實踐集成學(xué)習(xí)（ensemble learning） 產(chǎn)生途徑：實踐-理論挑戰(zhàn)問題(1)：泛化能力（續(xù)）第一個挑戰(zhàn)問題：今后10年能否更“準(zhǔn)”？如果能，會從哪兒來？挑戰(zhàn)問題(2)：速度共性問題：幾乎所有的領(lǐng)域，都希望越快越好加快速度也是永遠(yuǎn)的追求“訓(xùn)練速度” vs. “測試速度 訓(xùn)練速度快的往往測試速度慢：

5、k近鄰 測試速度快的往往訓(xùn)練速度慢：神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)問題(2)：速度（續(xù)）第二個挑戰(zhàn)問題：今后10年能否更“快”？能做到“訓(xùn)練快”、“測試也快”嗎？如果能，如何做？挑戰(zhàn)問題(3)：可理解性共性問題：絕大多數(shù)領(lǐng)域都希望有“可理解性” 例子：醫(yī)療診斷 地震預(yù)測目前強大的技術(shù)幾乎都是（或基本上是）“黑盒子” 神經(jīng)網(wǎng)絡(luò)、支持向量機、集成學(xué)習(xí)“黑盒子”能滿足需要嗎？挑戰(zhàn)問題(3)：可理解性（續(xù)）第三個挑戰(zhàn)問題：今后10年能否產(chǎn)生“白盒子”？是和“黑盒子”完全不同的東西，還是從“黑盒子”變出來？挑戰(zhàn)問題(4)：數(shù)據(jù)利用能力傳統(tǒng)的機器學(xué)習(xí)技術(shù) 對有標(biāo)記數(shù)據(jù)進行學(xué)習(xí)“標(biāo)記” 事件所對應(yīng)的結(jié)果共性問題： 隨著數(shù)據(jù)收

6、集能力飛速提高、Internet的出現(xiàn)，在大多數(shù)領(lǐng)域中都可以很容易地獲得大量未標(biāo)記數(shù)據(jù) 例子：醫(yī)學(xué)圖象分析 垃圾郵件過濾沒有標(biāo)記的數(shù)據(jù)是沒用的嗎？挑戰(zhàn)問題(4)：數(shù)據(jù)利用能力（續(xù)）共性問題： 在絕大多數(shù)領(lǐng)域中都會遇到“壞”數(shù)據(jù)，有時甚至只有“壞”數(shù)據(jù) 例子：海軍艦隊 Web“壞”數(shù)據(jù) 大量噪音、屬性缺失、不一致、傳統(tǒng)的“壞”數(shù)據(jù)處理方式 “扔掉”“壞”數(shù)據(jù)一點用也沒有嗎？第四個挑戰(zhàn)問題：今后10年能否“數(shù)據(jù)通吃”？如何“吃”？挑戰(zhàn)問題(4)：數(shù)據(jù)利用能力（續(xù)）挑戰(zhàn)問題(5)：代價敏感目前的機器學(xué)習(xí)技術(shù) 降低錯誤率“錯誤”是沒有區(qū)別的嗎？把“好”當(dāng)成“壞”把“壞”當(dāng)成“好”共性問題：大多數(shù)領(lǐng)域中的錯誤代價都不一樣 例子：入侵檢測 癌癥診斷一樣嗎？第五個挑戰(zhàn)問題：今后10年能否“趨利避害”？在達(dá)到較低