第7章 機器學習

1、第七章 機器(j q)學習7.1 機器學習的定義、研究意義與發(fā)展歷史 7.2 機器學習的主要策略與基本結構7.3 7.7 幾種常用(chn yn)的學習方法7.8 知識發(fā)現(xiàn)7.9 小結共二十五頁 7.1 機器學習(xux)的定義和發(fā)展歷史7.1.1 機器學習的定義機器學習的定義 顧名思義(g mng s y),機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門研究機器獲取新知識和新技 能,并識別現(xiàn)有知識的學問。 2共二十五頁7.1.2機器(j q)學習的發(fā)展史機器學習的發(fā)展分為4個時期第一階段是在50年代中葉到60年代中葉，屬于熱烈時期。第二階段在60年代

2、中葉至70年代中葉，被稱為機器學習的冷靜(lngjng)時期。第三階段從70年代中葉至80年代中葉，稱為復興時期。機器學習的最新階段始于1986年 。7.1 機器學習的定義和發(fā)展歷史3共二十五頁機器學習進入新階段的表現(xiàn)機器學習已成為新的邊緣學科并在高校形成課程。綜合各種學習方法 機器學習與人工智能問題的統(tǒng)一性觀點正在形成。各種學習方法的應用范圍不斷擴大。數(shù)據(jù)挖掘和知識發(fā)現(xiàn)(fxin)的研究已形成熱潮 。與機器學習有關的學術活動空前活躍 。 7.1 機器(j q)學習的定義和發(fā)展歷史4共二十五頁7. 2 機器學習(xux)的主要策略和基本結構 7.2.1 機器學習的主要策略 按照學習中使用推理的

3、多少，機器學習所采用(ciyng)的策略大體上可分為4種機械學習、通過傳授學習、類比學習和通過事例學習。機械學習傳授學習策略類比學習系統(tǒng)通過事例學習策略5共二十五頁7.2.2 機器學習系統(tǒng)(xtng)的基本結構 1.學習系統(tǒng)的基本結構 環(huán) 境學 習知識庫執(zhí) 行圖6.1 學習系統(tǒng)的基本結構7.2 機器學習的主要策略和基本(jbn)結構6共二十五頁2.影響學習系統(tǒng)設計的要素影響學習系統(tǒng)設計的最重要因素是環(huán)境向系統(tǒng)提供的信息，或者更具體地說是信息的質(zhì)量。 知識庫是影響學習系統(tǒng)設計的第二個因素。知識的表示有特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡(wnglu)和框架等多種形式。7.2 機器學習(x

4、ux)的主要策略和基本結構7共二十五頁7.3 機械學習1.機械學習模式 機器學習是最簡單的學習方法。機器學習就是記憶，即把新的知識存儲起來，供需要時檢索調(diào)用，而不需要計算(j sun)和推理。它是一種最基本的學習過程。 7.3 機械學習8共二十五頁存儲計算推導歸納算法與理論機械記憶搜索規(guī)則圖7.2 數(shù)據(jù)化簡級別圖 Lenat，Hayes-Roth，和Klahr等人于1979年關于機械學習提出(t ch)一種有趣的觀點，見圖6.2。7.3 機械學習9共二十五頁2.機械學習的主要問題存儲組織信息：要采用適當?shù)拇鎯Ψ绞剑箼z索速度(sd)盡可能地快。環(huán)境的穩(wěn)定性與存儲信息的適用性問題： 機械學習系統(tǒng)

5、必須保證所保存的信息適應于外界環(huán)境變化的需要。存儲與計算之間的權衡：對于機械學習來說很重要的一點是它不能降低系統(tǒng)的效率。7.3 機械學習10共二十五頁 7.4 歸納(gun)學習歸納學習（induction learning）是應用歸納推理進行學習的一種方法。根據(jù)歸納學習有無教師指導，可把它分為示例學習和觀察與發(fā)現(xiàn)學習。7.4.1 歸納學習的模式(msh)和規(guī)則 歸納學習的模式 解釋過程 實例空間 規(guī)則空間 規(guī)劃過程 11共二十五頁7.5 類比(lib)學習7.5.1 類比推理(li b tu l)和類比學習方式 類比學習（learning by analogy）就是通過類比，即通過對相似事物

6、加以比較所進行的一種學習 。其推理過程如下 ：回憶與聯(lián)想- 選擇 - 建立對應關系-轉換 12共二十五頁7.5.2 類比學習過程與研究(ynji)類型類比學習主要包括如下(rxi)四個過程：輸入一組已知條件和一組未完全確定的條件 。對兩組出入條件尋找其可類比的對應關系。根據(jù)相似轉換的方法，進行映射。對類推得到的知識進行校驗。7.5 類比學習13共二十五頁類比學習(xux)的研究可分為兩大類： (1) 問題求解型的類比學習 (2) 預測推定型的類比學習。它又分為兩種方式： 一是傳統(tǒng)的類比法 另一是因果關系型的類比 7.5 類比(lib)學習14共二十五頁7.6 解釋(jish)學習7.6.1 解

7、釋學習過程和算法 1986年米切爾（Mitchell）等人為基于解釋的學習提出(t ch)了一個統(tǒng)一的算法EBG： 訓練例子 操作準則 知識庫 新規(guī)則 目標概念15共二十五頁EBG求解問題的形式(xngsh)可描述于下:給定：(1) 目標概念描述TC；(2) 訓練實例TE；(3) 領域知識DT；(4) 操作準則(zhnz)OC。求解：訓練實例的一般化概括，使之滿足：(1) 目標概念的充分概括描述TC；(2) 操作準則OC。7.6 解釋學習16共二十五頁7.7 神經(jīng)學習7.7.1 基于反向傳播網(wǎng)絡的學習 反向傳播（back-propagation,BP）算法是一種計算單個權值變化(binhu)引

8、起網(wǎng)絡性能變化(binhu)值的較為簡單的方法。BP算法過程包含從輸出節(jié)點開始，反向地向第一隱含層傳播由總誤差引起的權值修正。17共二十五頁7.7.2 基于(jy)Hopfield網(wǎng)絡的學習 反饋神經(jīng)網(wǎng)絡，它是一種動態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡具有更強的計算能力。 Hopfield網(wǎng)絡是一種具有正反相輸出的帶反饋人工神經(jīng)元。7.7 神經(jīng)(shnjng)學習18共二十五頁7.8 知識發(fā)現(xiàn)7.8.1 知識發(fā)現(xiàn)的發(fā)展和定義知識發(fā)現(xiàn)的產(chǎn)生和發(fā)展 知識發(fā)現(xiàn)最早是于1989年8月在第11屆國際人工智能聯(lián)合會議的專題討論會上提出。知識發(fā)現(xiàn)的定義 數(shù)據(jù)庫中的知識發(fā)現(xiàn)是從大量數(shù) 據(jù)中辨識出有效的、新穎的、潛在有用(y

9、u yn)的、并可被理解的 模式的高級處理過程 。19共二十五頁7.8.2 知識(zh shi)發(fā)現(xiàn)的處理過程 1. 數(shù)據(jù)選擇。根據(jù)用戶的需求(xqi)從數(shù)據(jù)庫中提取與KDD相關的數(shù)據(jù)。 2. 數(shù)據(jù)預處理。主要是對上述數(shù)據(jù)進行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對丟失的數(shù)據(jù)利用統(tǒng)計方法進行填補，形成發(fā)掘數(shù)據(jù)庫。 7.8 知識發(fā)現(xiàn)20共二十五頁3. 數(shù)據(jù)(shj)變換。即從發(fā)掘數(shù)據(jù)庫里選擇數(shù)據(jù)4.數(shù)據(jù)挖掘。根據(jù)用戶要求，確定(qudng)KDD的目標是發(fā)現(xiàn)何種類型的知識。5. 知識評價。這一過程主要用于對所獲得的規(guī)則進行價值評定，以決定所得的規(guī)則是否存入基礎知識庫。 7.8 知識發(fā)現(xiàn)21共二

10、十五頁7.8.3 知識(zh shi)發(fā)現(xiàn)的方法 1.統(tǒng)計方法(fngf)：統(tǒng)計方法(fngf)是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。2. 機器學習方法 3. 神經(jīng)計算方法 4.可視化方法 ：可視化（visualization）就是把數(shù)據(jù)、信息和知識轉化為可視的表示形式的過程。 7.8 知識發(fā)現(xiàn)22共二十五頁7.8.4 知識發(fā)現(xiàn)(fxin)的應用 知識發(fā)現(xiàn)已在許多領域得到應用?，F(xiàn)在，知識發(fā)現(xiàn)已在銀行業(yè)、保險業(yè)、零售業(yè)、醫(yī)療保健、工程(gngchng)和制造業(yè)、科學研究、衛(wèi)星觀察和娛樂業(yè)等行業(yè)和部門得到成功應用，為人們的科學決策提供很大幫助。 7.8 知識發(fā)現(xiàn)23共二十五頁7.9 小結(xioji) 本章只對機器學習作個入門介紹。 機器學習在過去十多年中獲得(hud)較大發(fā)展。今后機器學習將在理論概念、計算機理、綜合技術和推廣應用等方面開展新的研究。其中，對結構模型、計算理論、算法和混合學習的開發(fā)尤為重要。在這些方面，有許多事要做，有許多新問題需要人們?nèi)ソ鉀Q。 24共二十五頁內(nèi)容摘要第七章 機器學習。第一階段是在50年代中葉到60年代中葉，屬于熱烈(rli)時期。第二階段在60年代中葉至70年代中葉，被稱為機器學習的冷靜時期。第三階段從70年代中葉至80年代中葉，稱為復興時期。圖7.2 數(shù)據(jù)化簡級別圖。存儲組織信息：要采用適當?shù)拇鎯Ψ绞剑箼z索速