人工智能教案05章 機器學習5.1 概述

1、5.1 概述機器學習是人工智能的一個重要研究領(lǐng)域，也是人工智能和神經(jīng)計算的核心研究課題之一。到目前為止的大多數(shù)人工智能系統(tǒng)還完全沒有或僅有很有限的學習能力。系統(tǒng)中的知識是由人工編程送入系統(tǒng)，知識中的錯誤也不能自動改正。換句話說，現(xiàn)有的大多數(shù)人工智能系統(tǒng)是演繹的，沒有歸納推理，因而不能自動獲取和生成知識。什么叫機器學習，至今，還沒有統(tǒng)一的定義，而且也很難給出一個被廣泛認可的和準確的定義。顧名思義，機器學習是研究如何使用機器來模擬人類學習活動的一門學科。關(guān)于機器的能力是否能超過人的能力這個問題有很多爭論。持否定意見的人的一個主要論據(jù)是：機器是人造的，其性能和動作完全是由設計者來規(guī)定的，因此無論如何

2、其能力也不會超過設計者本人。這種觀點，對不具備學習能力的機器來說的確是對的，可是對具備學習能力的機器就值得考慮了，因為這種機器的能力在應用中不斷地提高，過一段時間以后，設計者本人也不知他的能力到了何種水平。這就是機器學習的不可預測問題。學習結(jié)果的不確定性帶來新的問題就是學習系統(tǒng)產(chǎn)生的知識可能是系統(tǒng)設計者都無法預測，如果用這種系統(tǒng)解決重要問題，就可能產(chǎn)生意外的困難或危險。因此我們必須設計新的有自適應能力的系統(tǒng)，用于安排測試過程來審查學習系統(tǒng)產(chǎn)生的知識。而且這個系統(tǒng)必須具有與被監(jiān)測的系統(tǒng)相當?shù)膶W習（自適應）能力，才能夠跟隨系統(tǒng)知識的變化，完成實時的檢測。然而，這個監(jiān)測系統(tǒng)本身的變化又如何了解、控制

3、那？本章討論的內(nèi)容不涉及機器學習的不可預測性。主要介紹機器學習的基本思想和基于實例的學習、基于解釋學習等具體的機器學習方法，希望讀者能對這一領(lǐng)域有一個初步的了解和認識。學習是系統(tǒng)積累經(jīng)驗以改善其性能的過程。從1956年人工智能創(chuàng)立至今，研究人員就一直非常重視機器學習的研究。50年代末，塞繆爾編寫了著名的跳棋程序，這一程序可以從經(jīng)驗中學習，不斷調(diào)整棋盤局勢評估函數(shù)，提高自己的棋藝。1970年，溫斯頓（P. H. Winston）建立了一個從例子進行概念學習的系統(tǒng)，它可以學會積木世界中一系列概念的結(jié)構(gòu)描述。70年代末至80年代，機器學習更是蓬勃發(fā)展起來，逐漸成為人工智能研究的主流之一。未來的計算機

4、將有自動獲取知識的能力。它們直接由書本學習，通過與人談話學習，通過觀察環(huán)境學習。它們通過實踐自我完善，克服人的局限性，例如存儲量少、效率低、注意力分散和難以傳送所獲取的知識等等弱點。而一臺計算機獲取的知識很容易復制給任何其它機器。人類的這些設想可望在不久變成現(xiàn)實。我們有必要對這一前景給以關(guān)注。5.1.1機器學習的定義學習是人類具有的一種重要智能行為，但究竟什么是學習，長期以來卻眾說紛壇。社會學家、邏輯學家和心理學家都各有其不同的看法。按照人工智能大師西蒙（Simon，1983）的觀點，學習就是系統(tǒng)在不斷重復的工作中對本身能力的增強或者改進，使得系統(tǒng)在下一次執(zhí)行同樣任務或相類似的任務時，會比現(xiàn)在

5、做得更好或效率更高。西蒙對學習給出的定義本身，就說明了學習的重要作用。另一位人工智能大師Minsky（1985），也給出了學習的定義：學習是在我們頭腦中（心理內(nèi)部）進行有用的變化。學習是一種具有多側(cè)面的現(xiàn)象。學習基本形式有：知識獲取和技能求精。知識獲?。簩W習的本質(zhì)就是獲取新的知識，包括物理系統(tǒng)、行為的描述和模型的建立，構(gòu)造客觀現(xiàn)實的表示。將新知識組織成為通用化和有效的表達形式。例如科學知識的學習。技能求精：通過教育或?qū)嵺`改進機制和認知能力。這些技能包括意識的或機制的。這種改變是通過反復實踐和從失敗中糾正錯誤來進行的。借助觀察和實驗發(fā)現(xiàn)新的事實和新的理論。例如學習騎自行車。知識獲取的本質(zhì)是一個自

6、覺的過程，其結(jié)果是產(chǎn)生新的符號知識結(jié)構(gòu)和智力模型。而技能求精則是下意識地借助于反復地實踐來實現(xiàn)的。本課程中涉及到的方法主要是針對知識獲取型的機器學習。學習的任務是 獲得對于輸入的數(shù)據(jù)進行分類能力：如醫(yī)療診斷，信用卡業(yè)務或交易，投資，DNA序列，口語，手寫字，天文圖象等等。 獲得解決問題，行為計劃和行為控制等的能力。如，解決微分問題，下跳棋，象棋，平衡杠桿，駕車等等。我們可以從以下幾個方面對系統(tǒng)學習性能進行評價： 分類精度：是否能夠?qū)斎氲臄?shù)據(jù)進行正確、精確的分類。此類系統(tǒng)性能由待分類模式的規(guī)模，大規(guī)模（成千上萬種）、中規(guī)模（幾千種）、小規(guī)模（幾十、幾百種）；待分類樣本的性質(zhì)、質(zhì)量；系統(tǒng)結(jié)構(gòu)；系

7、統(tǒng)學習方法等多種因素決定。如，分類結(jié)果是精確的還是模糊的、含有多義性的；給出分類結(jié)果的同時是否還可以給出分類結(jié)果的可信度；分類精確度等等。 解答的正確性和質(zhì)量：無論是用于分類的，還是解決問題的系統(tǒng)都有解答正確性問題。同時，正確性不一定保證有好的質(zhì)量，好的質(zhì)量包括：可讀性、穩(wěn)定性等多方面的因素。 學習的速度：雖然大多數(shù)系統(tǒng)的學習都是在后臺進行的，但是，學習速度還是一個很重要的系統(tǒng)指標。它不僅僅影響系統(tǒng)的設計，同時，影響系統(tǒng)的實現(xiàn)。一個很費時的學習方法，某種意義上也是很難實現(xiàn)的。因為，通常花費大量時間所進行的操作表現(xiàn)在對學習樣本量的要求、系統(tǒng)空間的要求、系統(tǒng)硬件性能的要求上。5.1.2機器學習研究

8、意義為什么要研究機器學習？如前所述，一個真正的智能系統(tǒng)必須具備真正的學習功能?；谶@種學習功能，人們不僅可以根據(jù)數(shù)據(jù)和經(jīng)驗等構(gòu)造一個具有一定智能的系統(tǒng)，而且該系統(tǒng)還可以在這個初始數(shù)據(jù)庫的基礎上，通過歸納、推理等方法進一步豐富自己，完善自己，使自己適應外界環(huán)境。大的智能系統(tǒng)如醫(yī)療診斷、勘探等，不僅有大量的數(shù)據(jù)庫，比較完全的規(guī)則庫，豐富的專家經(jīng)驗。同時，由于其系統(tǒng)規(guī)模大，開發(fā)投資高，應用領(lǐng)域明確，使用環(huán)境變化較小，所以，研究開發(fā)的過程中比較重視靜態(tài)知識的學習，而忽視動態(tài)知識的學習，或者說環(huán)境的自適應問題。而一些較小型的智能系統(tǒng)，如網(wǎng)絡上使用的“螞蟻”等，開發(fā)時比較困難或者無法手工創(chuàng)建，原因在于它們

9、需要特定的細節(jié)知識或技能來完成特別復雜的任務（知識獲取的瓶頸）。系統(tǒng)要能夠根據(jù)經(jīng)驗來自動適應和定制自身，以滿足具體用戶的需求，例如個性化新聞或郵件過濾，個性化教程等等。在數(shù)據(jù)庫中發(fā)現(xiàn)知識和模式，數(shù)據(jù)庫挖掘，例如發(fā)現(xiàn)購買模式來指導市場經(jīng)營，更好地理解人和其它生物的學習和教學過程等等。這樣的系統(tǒng)更需要動態(tài)機器學習，系統(tǒng)自適應的方法。當前機器學習研究時機比較成熟。主要原因是，一方面該領(lǐng)域的研究已經(jīng)具備初步的算法和理論基礎；另一方面，隨著網(wǎng)絡技術(shù)的發(fā)展在線數(shù)據(jù)量的不斷增長，為機器學習提供了充足的數(shù)據(jù)；同時，計算機軟硬件的發(fā)展使得機器本身已經(jīng)具備了一定強度的計算能力，能夠承受一定規(guī)模的計算量的算法。人工

10、智能主要是為了研究人的智能，模仿其機理，并將其應用于工程的科學。在這個過程中必然會問道：“人類怎樣做才能獲取這種特殊技能（或知識）？”。當前人工智能研究的主要障礙和發(fā)展方向之一就是機器學習。包括學習的計算理論和構(gòu)造學習系統(tǒng)。現(xiàn)在的人工智能系統(tǒng)還完全沒有或僅有很有限的學習能力。不能自動獲取和生成知識，未來的計算機將有自動獲取知識的能力。 5-01_swf.htm機器學習實現(xiàn)的困難1.預測難2.歸納推理3.判斷難1.預測難：學習后知識庫發(fā)生了什么變化，系統(tǒng)功能的變化的預測難；目前的大多數(shù)專家系統(tǒng)都是脫離環(huán)境的學習，即將人類專家準備好的知識，以某種方式傳授給機器。盡管如此，機器學習的不可預測性使得中

11、國的主要專家系統(tǒng)：中醫(yī)醫(yī)療診斷系統(tǒng)難以得到真正的實際應用。如果將機器學習的目的擴展到從環(huán)境中、從工作中、從人機交互中自動提取、更新知識，那么學習產(chǎn)生的效果就更加不可預測。2.歸納推理：現(xiàn)有的歸納推理只保證假，不保證真（演繹推理保真）。而且，歸納的結(jié)論是無限多的，其中相當多是假的，給生成的知識帶來不可靠性；演繹推理是從多數(shù)現(xiàn)象中總結(jié)出結(jié)論，如：根據(jù)今天下雨了同時也陰天，昨天下雨了也是陰天，前天.，可以演繹出規(guī)則：下雨 陰天。即從一般的現(xiàn)象推倒出總結(jié)性的結(jié)論。歸納推理是從特殊的數(shù)個例子中總結(jié)出一般的規(guī)律。例如：燕子會飛 鳥會飛。比較容易產(chǎn)生錯誤，比如：鴕鳥不會飛?？兹敢膊粫w。當然死鳥更不會飛。演

12、繹與歸納不是矛盾的，各有利弊，二者經(jīng)常是在一起使用的。由于歸納的結(jié)論有可能是假的，因此，推理過程中要使用很多假設和約定，加上適當?shù)幕厮菀员苊庵虚g過程中的錯誤。同時，這些也都是人為制定的，因此機器學習中依然存在著不可靠性。3.判斷難：機器目前很難判斷什么重要、什么有意義、應該學習什么。如果要使得機器能夠從實踐中提取知識，自動學習，就必須首先要求機器懂得什么是該學的、什么是值得學的。5.1.3發(fā)展歷史機器學習是人工智能研究較為年輕的分支之一，大約有50年的歷史，其發(fā)展過程大體上可分為兩個時期。早期（10年以前）機器學習的發(fā)展經(jīng)歷了下面三個發(fā)展階段。1.神經(jīng)系統(tǒng)模型和決策理論50年代開始。其特點是對

13、開始于無初始結(jié)構(gòu)和面向作業(yè)知識的通用學習系統(tǒng)感興趣。包括構(gòu)造多種具有隨機或部分隨機的初始結(jié)構(gòu)的基于神經(jīng)模型的機器。這些系統(tǒng)一般稱為神經(jīng)網(wǎng)絡或自組織系統(tǒng)。由于當時計算機技術(shù)狀態(tài)，該方面的研究多停留在理論和硬件上。這些元件類似于神經(jīng)元，他們實現(xiàn)簡單的邏輯功能。1965年左右，神經(jīng)網(wǎng)絡經(jīng)驗模式導致了模式識別這一新學科以及機器學習的決策理論方法。這種方法中學習就是從給定的一組經(jīng)過選擇的例子中獲得判斷函數(shù)，這些函數(shù)大多是線性的、多項式的、或相關(guān)的形式的。當時，Samuel(1059-1963)的跳棋程序是最著名的成功的學習系統(tǒng)之一。達到了跳棋大師的水平。2.符號概念獲取符號概念獲取的學習方法是1975年

14、左右提出的。這類學習過程通過分析一些概念的正例和反例構(gòu)造出這些概念的符號表示。表示的形式一般是邏輯表達式、決策樹、產(chǎn)生式規(guī)則或語義網(wǎng)絡。采用這類方法的代表性的系統(tǒng)有Winston的ARCH。3.知識加強和論域?qū)Ｓ脤W習此方法是70年代中期開始，沿著符號主義路線進行的。在原有基礎上逐步加強、重于專業(yè)的專用性。強調(diào)使用面向任務的知識和它對學習過程的引導作用。系統(tǒng)包括預先確定的概念、知識結(jié)構(gòu)、論域約束、啟發(fā)式規(guī)則和論域有關(guān)的變換。系統(tǒng)在開始并不具有所有的屬性或概念，在學習過程中系統(tǒng)應得到一些新的屬性或概念。注意：其實并沒有絕對的學習方法，許多系統(tǒng)是上述各種途徑組合的方法實現(xiàn)的。近十年機器學習進入新階段的重要標志：.機器學習已成為新的邊緣科學并在高校形成一門課程。它綜合應用心理學、生物學和神經(jīng)生理學以及數(shù)學、自動理論和計算機科學形成機器學習理論基礎。.結(jié)合各種學習方法，取長補短的多種形式的集成學習系統(tǒng)的研究正在興起。多種學習方法的綜合不僅僅是人工智能，也是其他相近學科如模式識別等學科的一個發(fā)展趨勢。人工智能機器學習方面尤其是連接學習和符號學習的耦合可以更好地解決連續(xù)性信號處理中知識與技能的獲取與求精問題，因此而受到重視。.機器學習與人工智能各種基礎問題的統(tǒng)一性觀點正在形成。例如：學習與問題求解結(jié)合進行，知識表達便于學習的觀點產(chǎn)生了通用智能系統(tǒng)SOAR的組塊學習。類比學習與問題求解結(jié)合的