機器學習-教學設(shè)計

第七章機器學習教學內(nèi)容：機器學習是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域。本章主要介紹機器學習的有關(guān)知識及其主要的幾種學習方法，并介紹了知識發(fā)現(xiàn)的相關(guān)內(nèi)容。教學重點：機器學習的基本結(jié)構(gòu)、類比學習、神經(jīng)學習、知識發(fā)現(xiàn)教學難點：學習系統(tǒng)的結(jié)構(gòu)，知識發(fā)現(xiàn)的處理過程，教學方法：課堂教學為主。注意結(jié)合學生已學的內(nèi)容。及時提問、收集學生學習情況，多實用具體實例來加以說明，注意難易結(jié)合，將課程講述得較為淺顯易懂。教學要求：重點掌握類比學習和知識發(fā)現(xiàn)，掌握機器學習的發(fā)展史和神經(jīng)學習，了解解釋學習、歸納學習，一般了解機械學習。機器學習的定義和發(fā)展歷史教學內(nèi)容：本小節(jié)主要介紹了機器學習的定義以及其發(fā)展的過程，為后面的進一步學習打下基礎(chǔ)。教學重點：機器學習的定義教學難點：對定義的準確把握和理解教學方法：通過舉例引入機器學習的定義，在講述發(fā)展歷史時，簡介各階段的具體產(chǎn)物，讓學生有較為具體的感受和體會。教學要求：重點掌握機器學習的定義，了解機器學習的發(fā)展史。7.1.1機器學習的定義1.機器學習的基本概念：按照人工智能大師西蒙的觀點，學習就是系統(tǒng)在不斷重復(fù)的工作中對本身能力的增強或者改進，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或類似任務(wù)時，會比現(xiàn)在做得更好或效率更高。2.機器學習的定義機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門研究機器獲取新知識和新技能，并識別現(xiàn)有知識的學問。舉例：列舉1959年美國的塞繆爾設(shè)計的一下棋程序，由這一事件引出關(guān)于機器學習的概念的相關(guān)討論。提問：討論關(guān)于機器學習的各種概念的提出以及其區(qū)別。7.1.2機器學習的發(fā)展史機器學習是人工智能應(yīng)用研究較為重

要的分支，它的發(fā)展過程大體上可分為4個時期：1.第一階段是在50年代中葉到60年代中葉，屬于熱烈時期。在這個時期，所研究的是“沒有知識”的學習，即“無知”學習；其研究目標是各類自組織系統(tǒng)和自適應(yīng)系統(tǒng)；指導(dǎo)本階段研究的理論基礎(chǔ)是早在40年代就開始研究的神經(jīng)網(wǎng)絡(luò)模型。在這個時期，我國研制了數(shù)字識別學習機。2.第二階段在60年代中葉至70年代中葉，被稱為機器學習的冷靜時期。本階段的研究目標是模擬人類的概念學習過程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機器內(nèi)部描述。這個時期正是我國“史無前例”的十年，對機器學習的研究不可能取得實質(zhì)進展。討論：根據(jù)對四個時期的劃分和分段了解，討論機器學習在現(xiàn)實生活中的具體運用及其影響。討論：根據(jù)對四個時期的劃分和分段了解，討論機器學習在現(xiàn)實生活中的具體運用及其影響。4.機器學習的最新階段始于1986年。一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興起，另一方面，對實驗研究和應(yīng)用研究得到前所未有的重視。我國的機器學習研究開始進入穩(wěn)步發(fā)展和逐漸繁榮的新時期。機器學習的主要策略與基本結(jié)構(gòu)內(nèi)容與作用：本小節(jié)概括了機器學習的主要策略，同時給出了機器學習的基本結(jié)構(gòu)，讓學生對機器學習的機制有了基本的認識。教學重點：機器學習的基本結(jié)構(gòu)。教學難點：機器學習基本結(jié)構(gòu)的內(nèi)在聯(lián)系。教學方法：通過概括介紹讓學生了解幾種基本的策略，按從易到難的順序，層層鋪墊，為后面的學習埋下伏筆。詳細講述機器學習的基本結(jié)構(gòu)，通過圖示讓更為形象的說明。教學要求：重點掌握機器學習的基本結(jié)構(gòu)，了解機器學習的幾種主要策略，一般了解影響學習系統(tǒng)設(shè)計的因素。7.2.1機器學習的主要策略學習過程與推理過程是緊密相連的，按照學習中使用推理的多少，機器學習所采用的策略大體上可分為4種——機械學習、示教學習、類比學習和示例學習。學習中所用的推理越多，系統(tǒng)的能力越強。1.機械學習就是記憶，是最簡單的學習策略。這種學習策略不需要任何推理過程。討論：通過對比四種主要策略，討論其各自的優(yōu)缺點以及其適用的環(huán)境。討論：通過對比四種主要策略，討論其各自的優(yōu)缺點以及其適用的環(huán)境。3.類比學習系統(tǒng)只能得到完成類似任務(wù)的有關(guān)因此，他比上述兩種學習策略需要更多的推理。4.采用示例學習策略的計算機系統(tǒng)，事先完全沒有完成任務(wù)的任何規(guī)律性的信息，因此需要推理是最多的。7.2.21.基本結(jié)構(gòu)圖表示學習系統(tǒng)的基本結(jié)構(gòu)：環(huán)境環(huán)境學習知識庫執(zhí)行圖學習系統(tǒng)的基本結(jié)構(gòu)舉例：舉例：以人為例，說明機器學習和人學習一樣，有著其自身的規(guī)律和基本過程。而且，其學習過程也有著共性。提問：能否就機器學習的基本結(jié)構(gòu)，舉出相關(guān)的例子，并參照其基本結(jié)構(gòu)對其進行分析。通過對這個簡單模型的討論，總結(jié)出設(shè)計學習系統(tǒng)應(yīng)當注意的某些總的原則：環(huán)境向系統(tǒng)的學習部分提供某些信息，學習部分利用這些信息修改知識庫，以增進系統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行部分根據(jù)知識庫完成任務(wù)，同時把獲得的信息反饋給學習部分。在具體的應(yīng)用中，環(huán)境，知識庫和執(zhí)行部分決定了具體的工作內(nèi)容，學習部分所需要解決的問題完全由上述3部分確定。2.影響學習系統(tǒng)設(shè)計的重要因素(1).影響學習系統(tǒng)設(shè)計的最重要的因素是環(huán)境向系統(tǒng)提供的信息。整個過程要遵循“取之精華，棄之糟粕”的原則，同時謹記“實踐是檢驗真理的唯一標準”。(2).知識庫是影響學習系統(tǒng)設(shè)計的第二個因素。知識的表示有多種形式，在選擇表示方式時要兼顧以下4個方面：eq\o\ac(○,1)表達能力強。所選擇的表示方式能很容易地表達有關(guān)的知識。eq\o\ac(○,2)易于推理。為了使學習系統(tǒng)的計算代價比較低，希望知識表示方式能使推理較為容易。舉例：可舉特征向量的例子來說明表達能力和推理的問題。eq\o\ac(○,3)容易修改知識庫。學習系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識庫，當推廣得出一般執(zhí)行規(guī)則后，要加到知識庫中。舉例：可舉特征向量的例子來說明表達能力和推理的問題。eq\o\ac(○,4)知識表示易于擴展。學習系統(tǒng)不能在全然沒有任何知識的情況下憑空獲取知識，每一個學習系統(tǒng)都要求具有某些知識理解環(huán)境提供的信息，分析比較，做出假設(shè)，檢驗并修改這些假設(shè)。因此，更確切地說，學習系統(tǒng)是對現(xiàn)有知識的擴展和改進。機械學習教學內(nèi)容：本小節(jié)詳細介紹了機械學習，對機械學習模式和一種數(shù)據(jù)化簡模式以及機械學習的主要缺點都有較為細致的講解。通過對這種最基本的機器學習的了解，為以后學習更為復(fù)雜的策略打下良好的基礎(chǔ)。教學重點：機械學習的模式和其數(shù)據(jù)化簡模式教學難點：基本原理教學方法：用較為通俗的語言將機械學習的模式講通徹，同時通過圖表對其數(shù)據(jù)化簡過程進行講解。多結(jié)合日常生活中常有的學習過程，和機械學習參照，讓學生更容易接受。教學要求：重點掌握機械學習模式，了解機械學習的數(shù)據(jù)化簡模式以及機械學習的優(yōu)缺點。舉例：舉例：可用嬰兒剛開始學東西時所才用的學習方式和成人的思維方式比較。機械學習是最簡單的機器學習方法。機械學習就是記憶，即把新的知識存儲起來，供需要時檢索調(diào)用，而不需要計算和推理。機械學習又是最基本的學習過程。任何學習系統(tǒng)都必須記住它們獲取的知識。在機械學習系統(tǒng)中，知識的獲取是以較為穩(wěn)定和直接的方式進行的，不需要系統(tǒng)進行過多的加工。2、數(shù)據(jù)化簡Lenat,HayesRoth，和Klahr等人于1979年關(guān)于機械學習提出一種有趣的觀點。他們指出，可以把機械學習看成是數(shù)據(jù)化簡分級中的第一級。數(shù)據(jù)化簡與計算機語言編譯類似；其目的是把原始信息變成可執(zhí)行的信息。在機械學習中我們只記憶計算的輸入輸出，忽略了計算過程，這樣就把計算問題化簡成存取問題。見圖：算法和理論機械記憶搜索規(guī)則計算存儲算法和理論機械記憶搜索規(guī)則計算存儲推導(dǎo)歸納圖數(shù)據(jù)化簡級別圖3、主要問題對于機械學習，需要注意3個重要的問題：存儲組織，穩(wěn)定性和存儲與計算之間的權(quán)衡。（1）存儲組織信息：采用適當?shù)拇鎯Ψ绞?，使檢索速度討論：機械學習中存在的主要問題以及對學習模型的影響。討論：機械學習中存在的主要問題以及對學習模型的影響。（2）環(huán)境的穩(wěn)定性與存儲信息的適用性問題：機械學習系統(tǒng)必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要，這也就是所謂的信息適用性問題。（3）存儲與計算之間的權(quán)衡：對于機械學習來說很重要的一點是它不能降低系統(tǒng)的效率。歸納學習教學內(nèi)容：本小節(jié)詳細介紹了歸納學習，對歸納學習的模式有較為細致的講解，對其定義有詳細的介紹，后半部分介紹了幾種常見的歸納學習的方法。教學重點：歸納學習的定義和其學習模式教學難點：歸納學習的基本原理教學方法：仍然使用到圖表對歸納學習的模式進行講授，結(jié)合幾種常用的歸納學習方法，讓學生形成系統(tǒng)的認識。教學要求：重點掌握歸納學習的定義及其模式，了解歸納學習的幾種常見方法。歸納學習的定義（1）歸納（induction）是人類拓展認識能力的重要方法，是一種從個別到一般的，從部分到整體的推理行為。（2）歸納推理是應(yīng)用歸納方法，從足夠多的具體事例中歸納出一般性知識，提取事物的一般規(guī)律；它是一種從個別到一般的推理。（3）歸納學習（inductionlearning）是應(yīng)用歸納推理進行學習的一種方法。根據(jù)歸納學習有無教師指導(dǎo)，可把它分為示例學習和觀察與發(fā)現(xiàn)學習。前者屬于有師學習，后者屬于無師學習。7.4.1歸納學習的模式和規(guī)則歸納學習的一般模式為：給定：(1)觀察陳述（事實）F，用以表示有關(guān)某些對象、狀態(tài)、過程等的特定知識；(2)假定的初始歸納斷言（可能為空）；(3)背景知識，用于定義有關(guān)觀察陳述、候選歸納斷言以及任何相關(guān)問題領(lǐng)域知識、假設(shè)和約束，其中包括能夠刻畫所求歸納斷言的性質(zhì)的優(yōu)先準則。求：歸納斷言（假設(shè)）H，能重言蘊涵或弱蘊涵觀察陳述，并滿足背景知識。假設(shè)H永真蘊涵事實F，說明F是H的邏輯推理，則有：H|>F（讀作H特殊化為F）或F|<H（讀作F一般化或消解為H）這里，從H推導(dǎo)F是演繹推理，因此是保真的；而從事實F推導(dǎo)出假設(shè)H是歸納推理，因此不是保真的，而是保假的。歸納學習系統(tǒng)的模型如圖所示。實例空間規(guī)則空間解釋過程規(guī)劃工程SHAPE\*ME實例空間規(guī)則空間解釋過程規(guī)劃工程圖歸納學習系統(tǒng)模型思考：思考：引導(dǎo)學生通過對歸納學習模型的學習，結(jié)合身邊的實例加以分析。實驗規(guī)劃過程通過對實例空間的搜索完成實例選擇，并將這些選中的活躍實例提交解釋過程。解釋過程對實例加以適當轉(zhuǎn)換，把活躍實例變換為規(guī)則空間中的特定概念，以引導(dǎo)規(guī)則空間的搜索。7.4.2歸納學習方法1、示例學習示例學習（learningfromexamples）又稱為實例學習，它是通過環(huán)境中若干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學習方法。在這種學習方法中，外部環(huán)境提供的是一組例子（正例和反例），示例學習就是要從這些特殊知識中歸納出適用于更大范圍的一般性知識，以覆蓋所有的正例并排除所有反例。舉例：通過書上的例子引出示例學習的概念，并加以說明。舉例：通過書上的例子引出示例學習的概念，并加以說明。觀察發(fā)現(xiàn)學習又稱為描述性概括，其目標是確定一個定律或理論的一般性描述，刻畫觀察集，指定某類對象的性質(zhì)。觀察發(fā)現(xiàn)學習可分為觀察學習與機器發(fā)現(xiàn)兩種。前者用于對事例進行聚類，形成概念描述；后者用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定律或規(guī)則。類比學習教學內(nèi)容：本小節(jié)詳細介紹了類比學習，首先介紹類比推理，然后討論類比學習的形式和學習步驟，最后研究類比學習的過程和研究類型。教學重點：類比推理，類比學習的學習過程教學難點：類比推理的步驟教學方法：本節(jié)的知識較為枯燥，講述的時候要盡量多結(jié)合相關(guān)的示例讓學生能有具體的感受，更有力于接受知識。教學要求：重點掌握類比推理的定義，了解類比學習的過程。7.5.1類比推理和類比學習形式類比推理是由新情況與已知情況在某些方面的相似來推出它們在其它相關(guān)方面的相似。顯然，類比推理是在兩個相似域之間進行的：類比推理的目的是從源域中選出與當前問題最近似的問題及其求解方法以求解決當前的問題，或者建立起目標域中已有命題間的聯(lián)系，形成新知識。其推理過程如下：(1)回憶與聯(lián)想遇到新情況或新問題時，首先通過回憶與聯(lián)想在S中找出與當前情況相似的情況，這些情況是過去已經(jīng)處理過的，有現(xiàn)成的解決方法及相關(guān)的知識。(2)選擇舉例：舉出現(xiàn)實中的具體實例，按推理過程對其步驟進行一步步的細分。舉例：舉出現(xiàn)實中的具體實例，按推理過程對其步驟進行一步步的細分。(3)建立對應(yīng)映射在S與T的相似情況之間建立相似元素的對應(yīng)關(guān)系，并建立起相應(yīng)的映射。(4)轉(zhuǎn)換在上一步建立的映射下，把S中的有關(guān)知識引到T中來，從而建立起求解當前問題的方法或者學習到關(guān)于T的新知識。7.5.2類比學習過程與研究類型類比學習主要包括如下四個過程：(1)輸入一組已知條件（已解決問題）和一組未完全確定的條件（新問題）。(2)對輸入的兩組條件，根據(jù)其描述，按某種相似性的定義尋找兩者可類比的對應(yīng)關(guān)系。(3)按相似變換的方法，將已有問題的概念、特性、方法、關(guān)系等映射到新問題上，以獲得待求解新問題所需的新知識。(4)對類推得到的新問題的知識進行校驗。驗證正確的知識存入知識庫中，而暫時還無法驗證的知識只能作為參考性知識，置于數(shù)據(jù)庫中。解釋學習教學內(nèi)容：本小節(jié)對兩種基本的學習進行了介紹，對相關(guān)知識能有所了解，對以后的學習有很大的幫助。教學重點：解釋學習的過程和算法，神經(jīng)學習的相關(guān)知識教學難點：解釋學習的過程和算法教學方法：由于本節(jié)知識只做一般了解，所以只需對相關(guān)概念做個簡介即可。教學要求：了解解釋學習的過程及神經(jīng)學習的概念。7.6.1解釋學習過程和算法解釋學習一般包括下列3個步驟：(1)利用基于解釋的方法對訓練例子進行分析與解釋。(2)對例子的結(jié)構(gòu)進行概括性解釋。(3)從解釋結(jié)構(gòu)中識別出訓練例子的特性，獲取一般控制知識。1986年米切爾（Mitchell）等人為基于解釋的學習提出了一個統(tǒng)一的算法EBG，該算法建立了基于解釋的概括過程，并運用知識的邏輯表示和演繹推理進行問題求解。圖表示EBG問題。操作準則操作準則新規(guī)則知識庫目標概念訓練例子圖EBG問題思考：引導(dǎo)學生自學本小節(jié)的某些知識，結(jié)合書上的示例對數(shù)學推理有一定了解。EBG求解問題的形式可描述于下思考：引導(dǎo)學生自學本小節(jié)的某些知識，結(jié)合書上的示例對數(shù)學推理有一定了解。給定：(1)目標概念描述TC；(2)訓練實例TE；(3)領(lǐng)域知識DT；(4)操作準則OC。求解：訓練實例的一般化概括，使之滿足：(1)目標概念的充分概括描述TC；(2)操作準則OC。7.6.2解釋學習舉例例子：通過解釋學習獲得一個物體(x)可安全放置到另一個物體(y)上的概念。神經(jīng)學習教學內(nèi)容：討論基于神經(jīng)網(wǎng)絡(luò)學習的基本原理。教學重點：基于反向傳播網(wǎng)絡(luò)的學習，基于Hopfield網(wǎng)絡(luò)的學習。教學難點：上述兩種神經(jīng)學習的算法。教學方法：課堂講授為主。教學要求：掌握上述神經(jīng)學習的結(jié)構(gòu)，了解神經(jīng)學習的算法。7.7.1基于反向傳播網(wǎng)絡(luò)的學習反向傳播算法是一種計算單個權(quán)值變化引起網(wǎng)絡(luò)性能變化值的較為簡單的方法。由于BP算法過程包含從輸出節(jié)點開始，反向地向第一隱含層(即最接近輸入層的隱含層)傳播由總誤差引起的權(quán)值修正，所以稱為“反向傳播”。反向傳播特性與所求解問題的性質(zhì)和所作細節(jié)選擇有極為密切的關(guān)系。7.7.2基于Hopfield網(wǎng)絡(luò)的學習反饋神經(jīng)網(wǎng)絡(luò)，它是一種動態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡(luò)具有更強的計算能力。Hopfield網(wǎng)絡(luò)是一種具有正反相輸出的帶反饋人工神經(jīng)元。Hopfield網(wǎng)絡(luò)系統(tǒng)不僅能夠?qū)崿F(xiàn)聯(lián)想記憶，而且能夠執(zhí)行線性和非線性規(guī)劃等優(yōu)化求解任務(wù)。知識發(fā)現(xiàn)教學內(nèi)容：知識發(fā)現(xiàn)的發(fā)展過程和定義，知識發(fā)現(xiàn)的處理過程，知識發(fā)現(xiàn)的方法和應(yīng)用。教學重點：知識發(fā)現(xiàn)的處理過程，知識發(fā)現(xiàn)的方法。教學難點：知識發(fā)現(xiàn)的方法教學方法：通過實例激發(fā)學生對知識發(fā)現(xiàn)的學習興趣，進而重點講解知識發(fā)現(xiàn)的過程和方法。教學要求：重點掌握知識發(fā)現(xiàn)的過程，了解知識發(fā)現(xiàn)的方法，了解知識發(fā)現(xiàn)的應(yīng)用。6.8.1知識發(fā)現(xiàn)的發(fā)展和定義1.知識發(fā)現(xiàn)的產(chǎn)生和發(fā)展知識發(fā)現(xiàn)最早是于1989年8月在第11屆國際人工智能聯(lián)合會議的專題討論會上提出。隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上已設(shè)立了不少研究KDD的網(wǎng)站、論壇和新聞報導(dǎo)。在研究的基礎(chǔ)上，也出現(xiàn)一些KDD產(chǎn)品和應(yīng)用系統(tǒng)，引起企業(yè)界的關(guān)注。2.定義：數(shù)據(jù)庫中的知識發(fā)現(xiàn)是從大量數(shù)據(jù)中辨識出有效的、新穎的、潛在有用的、并可被理解的模式的高級處理過程。（1）數(shù)據(jù)集：是指一個有關(guān)事實F的集合，它是用來描述事物有關(guān)方面的信息，是進一步發(fā)現(xiàn)知識的原材料。（2）新穎：經(jīng)過知識發(fā)現(xiàn)提取出的模式必須是新穎的。（3）潛在有用：提取出的模式應(yīng)該是有意義的，這可以通過某些函數(shù)的值來衡量。（4）可被人理解：知識發(fā)現(xiàn)的一個目標就是將數(shù)據(jù)庫中隱含的模式以容易被人理解的形式表現(xiàn)出來，從而幫助人們更好地了解數(shù)據(jù)庫中所包含的信息。7.8.2知識發(fā)現(xiàn)的處理過程1、數(shù)據(jù)選擇。根據(jù)用戶的需求從數(shù)據(jù)庫中提取與KDD相關(guān)的數(shù)據(jù)。2、數(shù)據(jù)預(yù)處理。主要是對上述數(shù)據(jù)進行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對丟失的數(shù)據(jù)利用統(tǒng)計方法進行填補，形成發(fā)掘數(shù)據(jù)庫。3、數(shù)據(jù)變換。即從發(fā)掘數(shù)據(jù)庫里選擇數(shù)據(jù)。4.數(shù)據(jù)挖掘。根據(jù)用戶要求，確定KDD的目標是發(fā)現(xiàn)何種類型的知識。5、知識評價。這一過程主要用于對所獲得的舉例