人工智能及其應(yīng)用蔡自興第四版7

第七章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的定義、探討意義與發(fā)展歷史7.2機(jī)器學(xué)習(xí)的主要策略與基本結(jié)構(gòu)7.3–7.7幾種常用的學(xué)習(xí)方法7.8學(xué)問(wèn)發(fā)覺(jué)7.9小結(jié)1

7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史7.1.1機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)的定義顧名思義,機(jī)器學(xué)習(xí)是探討如何運(yùn)用機(jī)器來(lái)模擬人類(lèi)學(xué)習(xí)活動(dòng)的一門(mén)學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門(mén)探討機(jī)器獲得新學(xué)問(wèn)和新技能,并識(shí)別現(xiàn)有學(xué)問(wèn)的學(xué)問(wèn)。27.1.2 機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的發(fā)展分為4個(gè)時(shí)期第一階段是在50年頭中葉到60年頭中葉，屬于熱忱時(shí)期。其次階段在60年頭中葉至70年頭中葉，被稱(chēng)為機(jī)器學(xué)習(xí)的冷靜時(shí)期。第三階段從70年頭中葉至80年頭中葉，稱(chēng)為復(fù)興時(shí)期。機(jī)器學(xué)習(xí)的最新階段始于1986年。7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史3機(jī)器學(xué)習(xí)進(jìn)入新階段的表現(xiàn)機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科并在高校形成課程。綜合各種學(xué)習(xí)方法機(jī)器學(xué)習(xí)與人工智能問(wèn)題的統(tǒng)一性觀點(diǎn)正在形成。各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大。數(shù)據(jù)挖掘和學(xué)問(wèn)發(fā)覺(jué)的探討已形成熱潮。與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍。

7.1機(jī)器學(xué)習(xí)的定義和發(fā)展歷史47.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)7.2.1機(jī)器學(xué)習(xí)的主要策略依據(jù)學(xué)習(xí)中運(yùn)用推理的多少，機(jī)器學(xué)習(xí)所接受的策略大體上可分為4種———機(jī)械學(xué)習(xí)、傳授學(xué)習(xí)、類(lèi)比學(xué)習(xí)和示例學(xué)習(xí)。機(jī)械學(xué)習(xí)（死記硬背）傳授學(xué)習(xí)（灌輸；推理、翻譯、轉(zhuǎn)化）類(lèi)比學(xué)習(xí)（仿照；找尋相像的案例）示例學(xué)習(xí)（舉一反三,歸納，抽象）57.2.2機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)

1.學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)

環(huán)境學(xué)習(xí)知識(shí)庫(kù)執(zhí)行圖6.1學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)62.影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的要素影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要因素是環(huán)境向系統(tǒng)供應(yīng)的信息，或者更具體地說(shuō)是信息的質(zhì)量。學(xué)問(wèn)庫(kù)是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的其次個(gè)因素。學(xué)問(wèn)的表示有特征向量、一階邏輯語(yǔ)句、產(chǎn)生式規(guī)則、語(yǔ)義網(wǎng)絡(luò)和框架等多種形式。選擇學(xué)問(wèn)表達(dá)方式的四原則：表達(dá)實(shí)力推理實(shí)力修改實(shí)力擴(kuò)展實(shí)力7.2機(jī)器學(xué)習(xí)的主要策略和基本結(jié)構(gòu)77.3機(jī)械學(xué)習(xí)1.機(jī)械學(xué)習(xí)模式機(jī)械學(xué)習(xí)是最簡(jiǎn)潔的學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶，即把新的學(xué)問(wèn)存儲(chǔ)起來(lái)，供須要時(shí)檢索調(diào)用，而不須要計(jì)算和推理。它是一種最基本的學(xué)習(xí)過(guò)程。

特點(diǎn)：忽視推理、計(jì)算過(guò)程，提高效率7.3機(jī)械學(xué)習(xí)8存儲(chǔ)計(jì)算推導(dǎo)歸納算法與理論機(jī)械記憶搜索規(guī)則圖7.2數(shù)據(jù)化簡(jiǎn)級(jí)別圖Lenat，Hayes-Roth，和Klahr等人于1979年關(guān)于機(jī)械學(xué)習(xí)提出一種好玩的觀點(diǎn)，見(jiàn)圖7.2。7.3機(jī)械學(xué)習(xí)92.機(jī)械學(xué)習(xí)的主要問(wèn)題存儲(chǔ)組織信息：要接受適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速度盡可能地快。提高檢索效率：索引、排序、雜湊環(huán)境的穩(wěn)定性與存儲(chǔ)信息的適用性問(wèn)題：機(jī)械學(xué)習(xí)系統(tǒng)必需保證所保存的信息適應(yīng)于外界環(huán)境變更的須要。學(xué)問(wèn)過(guò)時(shí)，設(shè)置有效期存儲(chǔ)與計(jì)算之間的權(quán)衡：對(duì)于機(jī)械學(xué)習(xí)來(lái)說(shuō)很重要的一點(diǎn)是它不能降低系統(tǒng)的效率。重新計(jì)算比檢索更省有效率時(shí)，失去意義；方法：設(shè)置存儲(chǔ)量閥值；選擇忘卻7.3機(jī)械學(xué)習(xí)10

7.4歸納學(xué)習(xí)歸納學(xué)習(xí)（inductionlearning）是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一種方法。依據(jù)歸納學(xué)習(xí)有無(wú)老師指導(dǎo)，可把它分為示例學(xué)習(xí)和視察與發(fā)覺(jué)學(xué)習(xí)。（從個(gè)別到一般）7.4.1歸納學(xué)習(xí)的模式和規(guī)則歸納學(xué)習(xí)的模式其一般模式如下：給定：視察陳述（事實(shí)）F，假定的初始斷言（可能為空），背景學(xué)問(wèn)（領(lǐng)域?qū)W問(wèn)，約束，假設(shè)，優(yōu)先準(zhǔn)則）求：歸納斷言（假設(shè)）H11假設(shè)H永真蘊(yùn)涵事實(shí)F，說(shuō)明F是H的邏輯推理，則有：H|>F或F|<H；選擇型概括，構(gòu)造性概括：選擇性概括規(guī)則：取消部分條件放松條件沿概念樹(shù)上溯形成閉合區(qū)域?qū)⒊Ａ哭D(zhuǎn)化成變量解釋過(guò)程實(shí)例空間規(guī)則空間規(guī)劃過(guò)程127.4.2歸納學(xué)習(xí)方法1.示例學(xué)習(xí)（learningfromexamples）動(dòng)物識(shí)別中醫(yī)診斷2.視察發(fā)覺(jué)學(xué)習(xí)（learningfromobservationanddiscovery）視察學(xué)習(xí)：事例聚類(lèi)，形成概念描述；機(jī)器發(fā)覺(jué)：發(fā)覺(jué)規(guī)律，產(chǎn)生定理或規(guī)則；137.5類(lèi)比學(xué)習(xí)7.5.1類(lèi)比推理和類(lèi)比學(xué)習(xí)方式類(lèi)比學(xué)習(xí)（learningbyanalogy）就是通過(guò)類(lèi)比，即通過(guò)對(duì)相像事物加以比較所進(jìn)行的一種學(xué)習(xí)。其推理過(guò)程如下： 回憶與聯(lián)想選擇建立對(duì)應(yīng)關(guān)系轉(zhuǎn)換 P(a)∧Q(a),P(a)≌P(b)├Q(b)Q(a)147.5.2類(lèi)比學(xué)習(xí)過(guò)程與探討類(lèi)型類(lèi)比學(xué)習(xí)主要包括如下四個(gè)過(guò)程：輸入一組已知條件和一組未完全確定的條件。對(duì)兩組出入條件找尋其可類(lèi)比的對(duì)應(yīng)關(guān)系。依據(jù)相像轉(zhuǎn)換的方法，進(jìn)行映射。對(duì)類(lèi)推得到的學(xué)問(wèn)進(jìn)行校驗(yàn)。7.5類(lèi)比學(xué)習(xí)15類(lèi)比學(xué)習(xí)的探討可分為兩大類(lèi)：(1)問(wèn)題求解型的類(lèi)比學(xué)習(xí)(2)預(yù)料推定型的類(lèi)比學(xué)習(xí)。它又分為兩種方式：一是傳統(tǒng)的類(lèi)比法另一是因果關(guān)系型的類(lèi)比7.5類(lèi)比學(xué)習(xí)167.6說(shuō)明學(xué)習(xí)(explanation-basedlearning)7.6.1說(shuō)明學(xué)習(xí)過(guò)程和算法1986年米切爾（Mitchell）等人為基于說(shuō)明的學(xué)習(xí)提出了一個(gè)統(tǒng)一的算法EBG：訓(xùn)練例子操作準(zhǔn)則知識(shí)庫(kù)新規(guī)則目標(biāo)概念17EBG求解問(wèn)題的形式可描述于下:給定：(1)目標(biāo)概念描述TC；(2)訓(xùn)練實(shí)例TE；(3)領(lǐng)域?qū)W問(wèn)DT；(4)操作準(zhǔn)則OC。求解：訓(xùn)練實(shí)例的一般化概括，使之滿足：(1)目標(biāo)概念的充分概括描述TC；(2)操作準(zhǔn)則OC。7.6說(shuō)明學(xué)習(xí)187.7神經(jīng)學(xué)習(xí)7.7.1基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)反向傳播（back-propagation,BP）算法是一種計(jì)算單個(gè)權(quán)值變更引起網(wǎng)絡(luò)性能變更值的較為簡(jiǎn)潔的方法。BP算法過(guò)程包含從輸出節(jié)點(diǎn)起先，反向地向第一隱含層傳播由總誤差引起的權(quán)值修正。19BP算法網(wǎng)絡(luò)模型：BP網(wǎng)絡(luò)的前向計(jì)算關(guān)系：以三層網(wǎng)絡(luò)為例，n個(gè)輸入結(jié)點(diǎn)，m個(gè)輸出結(jié)點(diǎn)，H個(gè)隱層結(jié)點(diǎn)，訓(xùn)練樣本由（xk，dk）（k=1,2…p）組成訓(xùn)練對(duì)，轉(zhuǎn)移函數(shù)微f（）當(dāng)輸入第k個(gè)樣本數(shù)據(jù)時(shí)隱層結(jié)點(diǎn)h與輸出層結(jié)點(diǎn)j的加權(quán)和與輸出分別為：x1x2xny1y2ymWihWhjd1e2dme1emyh(k)xi(k)yj(k)20BP算法的權(quán)值調(diào)整方法：令輸出結(jié)點(diǎn)家j的誤差為 則k個(gè)訓(xùn)練樣本的誤差平方和為性能指標(biāo)隱層到輸出層的權(quán)值調(diào)整（梯度法）：輸入層到隱層的權(quán)值調(diào)整（梯度法）： BP網(wǎng)絡(luò)的訓(xùn)練步驟：用小隨機(jī)數(shù)初始化網(wǎng)絡(luò)各層權(quán)值；樣本數(shù)據(jù)輸入；誤差計(jì)算；權(quán)值變更量計(jì)算；權(quán)值調(diào)整217.7.2基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí)反饋神經(jīng)網(wǎng)絡(luò)，它是一種動(dòng)態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算實(shí)力。Hopfield網(wǎng)絡(luò)是一種具有正反相輸出的帶反饋人工神經(jīng)元。7.7神經(jīng)學(xué)習(xí)22反饋型神經(jīng)網(wǎng)絡(luò)（Hopfield網(wǎng)絡(luò)）Hopfield網(wǎng)絡(luò)結(jié)構(gòu)Hopfield離散隨機(jī)網(wǎng)絡(luò)是Hopfield于1982提出的，1984年又提出了連續(xù)時(shí)間模型。一般在進(jìn)行計(jì)算機(jī)仿真時(shí)接受離散模型，而在硬件實(shí)現(xiàn)時(shí)接受連續(xù)模型。Hopfield網(wǎng)絡(luò)的重要意義；f(.)f(.)f(.)I1I2InVnV2V1W2nW22W1223一種特定的Hopfield離散網(wǎng)絡(luò)的特性（CAM）f(.)=sign(.)網(wǎng)絡(luò)計(jì)算：Hopfield證明當(dāng)Wij＝Wji，網(wǎng)絡(luò)是收斂的。數(shù)據(jù)網(wǎng)絡(luò)演化方式：同步與異步網(wǎng)絡(luò)的穩(wěn)定性：穩(wěn)定吸引子、極限環(huán)狀態(tài)、狀態(tài)發(fā)散Hopfiled算法：（1）設(shè)置互聯(lián)權(quán)值具有m個(gè)樣本，x為輸入樣本變量，為1或-1的n維向量；（2）對(duì)未知類(lèi)別的采樣初始化 yi(0)=xi0<=i<=n-1（3）迭代運(yùn)算：（4）網(wǎng)絡(luò)收斂，則結(jié)束；否則轉(zhuǎn)（2）247.8學(xué)問(wèn)發(fā)覺(jué)7.8.1學(xué)問(wèn)發(fā)覺(jué)的發(fā)展和定義學(xué)問(wèn)發(fā)覺(jué)的產(chǎn)生和發(fā)展學(xué)問(wèn)發(fā)覺(jué)最早是于1989年8月在第11屆國(guó)際人工智能聯(lián)合會(huì)議的專(zhuān)題探討會(huì)上提出。學(xué)問(wèn)發(fā)覺(jué)的定義數(shù)據(jù)庫(kù)中的學(xué)問(wèn)發(fā)覺(jué)是從大量數(shù)據(jù)中辨識(shí)出有效的、新穎 的、潛在有用的、并可被理解的模式的高級(jí)處理過(guò)程。數(shù)據(jù)集、新穎 、潛在有用、可被人理解的、模式、高級(jí)過(guò)程257.8.2學(xué)問(wèn)發(fā)覺(jué)的處理過(guò)程1.數(shù)據(jù)選擇。依據(jù)用戶(hù)的需求從數(shù)據(jù)庫(kù)中提取與KDD相關(guān)的數(shù)據(jù)。2.數(shù)據(jù)預(yù)處理。主要是對(duì)上述數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一樣性，對(duì)丟失的數(shù)據(jù)利用統(tǒng)計(jì)方法進(jìn)行填補(bǔ)，形成發(fā)掘數(shù)據(jù)庫(kù)。

7.8學(xué)問(wèn)發(fā)覺(jué)263.數(shù)據(jù)變換。即從發(fā)掘數(shù)據(jù)庫(kù)里選擇數(shù)據(jù)4.數(shù)據(jù)挖掘。依據(jù)用戶(hù)要求，確定KDD的目標(biāo)是發(fā)覺(jué)何種類(lèi)型的學(xué)問(wèn)。5.學(xué)問(wèn)評(píng)價(jià)。這一過(guò)程主要用于對(duì)所獲得的規(guī)則進(jìn)行價(jià)值評(píng)定，以確定所得的規(guī)則是否存入基礎(chǔ)學(xué)問(wèn)庫(kù)。7.8學(xué)問(wèn)發(fā)覺(jué)277.8.3學(xué)問(wèn)發(fā)覺(jué)的方法1.統(tǒng)計(jì)方法：統(tǒng)計(jì)方法是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。（1）傳統(tǒng)方法： 收集數(shù)據(jù)，分析數(shù)據(jù)，進(jìn)行推理（回來(lái)分析，判別方法，聚類(lèi)分析，探究性分析）（2）模糊集（3）支持向量機(jī)（SVM）（4）粗糙集： 具有三值隸屬函數(shù)的模糊集，確定屬于、或許屬于、確定不屬于該概念。7.8學(xué)問(wèn)發(fā)覺(jué)282.機(jī)器學(xué)習(xí)方法（1）規(guī)則歸納如：AQ算法（2）決策樹(shù)（3）范例推理（4）貝葉斯信念網(wǎng)絡(luò)（5）科學(xué)發(fā)覺(jué)如：BACON系統(tǒng)（6）遺傳算法

3.神經(jīng)計(jì)算方法(MLP、BP、Hopfield、RBF)4.可視化方法：可視化（visualization）就是把數(shù)據(jù)、信息和學(xué)問(wèn)轉(zhuǎn)化為可視的表示形式的過(guò)程。297.8.4學(xué)問(wèn)發(fā)覺(jué)的應(yīng)用學(xué)問(wèn)發(fā)覺(jué)已在很多領(lǐng)域得到應(yīng)用?，F(xiàn)在，學(xué)問(wèn)發(fā)覺(jué)已在銀行業(yè)、保險(xiǎn)業(yè)、零售業(yè)、醫(yī)療保健、工程和制造業(yè)、科學(xué)探討、衛(wèi)星視察和消遣業(yè)等行業(yè)和部門(mén)得到成功應(yīng)用，為人們的科學(xué)決策供應(yīng)很大幫助。

7.8學(xué)問(wèn)發(fā)覺(jué)30金融（1）市場(chǎng)分析與預(yù)料（2）帳戶(hù)分類(lèi)、信用評(píng)估保險(xiǎn)（1）潛在客戶(hù)評(píng)估、分析（2）索賠合理性分析制造業(yè)（生產(chǎn)過(guò)程優(yōu)化）市場(chǎng)與零售業(yè)（銷(xiāo)售、