人工智能：第六章 機器學習

《人工智能》第六章機器學習第六章機器學習概述實例學習基于解釋的學習決策樹學習神經(jīng)網(wǎng)絡(luò)學習《人工智能》第六章機器學習第六章機器學習概述實例學習基于解釋的學習決策樹學習神經(jīng)網(wǎng)絡(luò)學習《人工智能》第六章機器學習機器學習—

概述什么是機器學習？(machinelearning)學習是一種具有多側(cè)面的現(xiàn)象。學習的過程有：獲取新的陳述性知識、通過教育或?qū)嵺`發(fā)展機械技能和認知能力、將新知識組織成為通用化和有效的表達形式、借助觀察和實驗發(fā)現(xiàn)新的事實和新的理論。

Simon（1983）：學習就是系統(tǒng)中的變化，這種變化使系統(tǒng)比以前更有效地去做同樣的工作。Minsky(1985)：學習是在我們頭腦中（心里內(nèi)部）進行有用的變化。《人工智能》第六章機器學習機器學習—

概述Learningtypes知識獲取學習的本質(zhì)就是獲取新的知識。包括物理系統(tǒng)和行為的描述和建模，構(gòu)造客觀現(xiàn)實的表示。(Theoryemphasized)

技能求精通過實踐逐漸改造機制和認知技能。Learningfromexperience

例：騎自行車。這些技能包括意識的或機制的協(xié)調(diào)。這種改進又是通過反復實踐和從失敗的行為中糾正偏差來進行的。(Skillemphasized)《人工智能》第六章機器學習機器學習—

概述知識獲取的本質(zhì)可能是一個自覺的過程，其結(jié)果是產(chǎn)生新的符號知識結(jié)構(gòu)和智力模型。技能求精則是下意識地借助于反復地實踐來實現(xiàn)的。本章只涉及學習的知識獲取問題?！度斯ぶ悄堋返诹聶C器學習機器學習—

概述為什么要研究機器學習？--AIrequired)人工智能主要是為了研究人的智能，模仿其機理將其應用于工程的科學。在這個過程中必然會問道：“人類怎樣做才能獲取這種特殊技能（或知識）？”。《人工智能》第六章機器學習機器學習—

概述為什么要研究機器學習？-Currentdifficulties當前人工智能研究的主要障礙和發(fā)展方向之一就是機器學習。包括學習的計算理論和構(gòu)造學習系統(tǒng)。現(xiàn)在的人工智能系統(tǒng)還完全沒有或僅有很有限的學習能力。系統(tǒng)中的知識由人工編程送入系統(tǒng)，知識中的錯誤也不能自動改正。也就是說，現(xiàn)有的大多數(shù)人工智能是演繹的、沒有歸納推理，因而不能自動獲取和生成知識。解決新問題,需要新知識《人工智能》第六章機器學習機器學習—

概述為什么要研究機器學習？---howtolearnTroublesforearlyexpertsystemisknowledgeacquisition.未來的計算機將有自動獲取知識的能力直接由書本學習通過與人談話學習通過觀察學習。Advantagesofmachinelearning它們通過實踐自我完善，克服人的存儲少、效率低、注意力分散、難以傳送所獲取的知識等局限性。一臺計算機獲取的知識很容易復制給任何其它機器?！度斯ぶ悄堋返诹聶C器學習機器學習—

概述實現(xiàn)的困難：

學習后的結(jié)果難以預測：學習后知識庫發(fā)生了什么變化，系統(tǒng)功能的變化的預測困難。學好學壞?機器統(tǒng)治人類?

歸納推理(證偽方法論)：現(xiàn)有的歸納推理只保證假，不保證真。演繹推理保真。而且，歸納的結(jié)論是無限多的，其中相當多是假的，給生成的知識帶來不可靠性。

機器目前很難觀察什么重要、什么有意義。(Thisisalsodifficultforhumanbeingtomakedecision,asdecisiondependsontime,mind,etc.)《人工智能》第六章機器學習機器學習—

概述發(fā)展歷史

神經(jīng)系統(tǒng)模型和決策理論50年代開始。模擬大腦,構(gòu)造基于神經(jīng)模型的機器。這些系統(tǒng)一般稱為神經(jīng)網(wǎng)絡(luò)或自組織系統(tǒng)。由于當時計算機技術(shù)狀態(tài)，多停留在理論和硬件上。這些元件類似于神經(jīng)元，他們實現(xiàn)簡單的邏輯功能?！度斯ぶ悄堋返诹聶C器學習機器學習—

概述發(fā)展歷史

神經(jīng)系統(tǒng)模型和決策理論1965年左右，神經(jīng)網(wǎng)絡(luò)經(jīng)驗模式導致了模式識別這一新學科以及機器學習的決策理論方法。這種方法中學習就是從給定的一組經(jīng)過選擇的例子中獲得判斷函數(shù)，有線性的、多項式的、或相關(guān)的形式。(車牌條碼等)當時，Samuel(1959-1963)的跳棋程序是最著名的成功的學習系統(tǒng)之一。達到了跳棋大師的水平。

NeuralNetworkhasbeenappliedtoclassificationandprediction《人工智能》第六章機器學習機器學習—

概述符號概念獲取(InstanceLearning)1975年左右提出的。這類學習過程通過分析一些概念的正例和反例構(gòu)造出這些概念的符號表示。表示的形式一般是邏輯表達式、決策樹、產(chǎn)生式規(guī)則或語義網(wǎng)絡(luò)。代表有Winston的ARCH?！度斯ぶ悄堋返诹聶C器學習機器學習—

概述機器學習進入新階段的重要表現(xiàn)：（近十年）（1）

機器學習已成為新的邊緣科學(crossoverscience)并在高校形成一門課程。它綜合應用心理學、生物學和神經(jīng)生理學以及數(shù)學、自動化和計算機科學形成機器學習理論基礎(chǔ)。

《人工智能》第六章機器學習機器學習—

概述機器學習進入新階段的重要表現(xiàn)：（近十年）（2）結(jié)合各種學習方法，取長補短的多種形式的集成學習系統(tǒng)的研究正在興起。特別是連接學習，符號學習的耦合可以更好地解決連續(xù)性信號處理中知識與技能的獲取與求精問題而受到重視。《人工智能》第六章機器學習機器學習—

概述機器學習進入新階段的重要表現(xiàn)：（近十年）（3）機器學習與人工智能各種基礎(chǔ)問題的統(tǒng)一性觀點正在形成。例如：學習與問題求解結(jié)合進行，知識表達便于學習的觀點產(chǎn)生了通用智能系統(tǒng)的組塊學習。類比學習與問題求解結(jié)合的基于案例學習已成為經(jīng)驗學習的重要方向。

《人工智能》第六章機器學習機器學習—

概述機器學習進入新階段的重要表現(xiàn)：（近十年）（4）各種學習方法的應用范圍不斷擴大，一部分已形成商品。(1)歸納學習的知識獲取工具已在診斷分類性專家系統(tǒng)中廣泛應用。(2)連接學習在聲圖文識別中占優(yōu)勢。(3)分析學習用于設(shè)計綜合性專家系統(tǒng)。(4)遺傳算法與強化學習在工程控制中有較好的應用前景。(5)與符號系統(tǒng)耦合的神經(jīng)網(wǎng)絡(luò)連接學習將在企業(yè)的智能管理與智能機器人運動規(guī)劃中發(fā)揮作用?！度斯ぶ悄堋返诹聶C器學習機器學習—

概述機器學習進入新階段的重要表現(xiàn)：（近十年）（5）與機器學習有關(guān)的學術(shù)活動空前活躍。國際上除每年一次的機器學習研究會外，還有計算機學習理論會議及遺傳算法會議ManifoldLearning(NowHot)。

《人工智能》第六章機器學習機器學習—

概述分類：按學習策略機械式學習，直接輸入新知識（記憶學習） 學習者不需要進行任何推理或知識轉(zhuǎn)換，將知識直接裝進機器中。根據(jù)示教學習（suchasClassification） 從老師或其它有結(jié)構(gòu)的事物獲取知識。要求學習者將輸入語言的知識轉(zhuǎn)換成它本身的內(nèi)部表示形式。并把新的信息和它原有的知識有機地結(jié)合為一體?！?《人工智能》第六章機器學習機器學習—

概述通過類推學習（演繹學習） 學習者找出現(xiàn)有知識中所要產(chǎn)生的新概念或技能十分類似的部分。將它們轉(zhuǎn)換或擴大成適合新情況的形式，從而取得新的事實或技能。從例子中學習（歸納學習） 給學習者提供某一概念的一組正例和反例，學習者歸納出一個總的概念描述，使它適合于所有的正例且排除所有的反例。（目前研究較多的一種方法）ClassificationandPrediction……….《人工智能》第六章機器學習機器學習—

概述

……….

類比學習

演繹學習與歸納學習的組合。匹配不同論域的描述、確定公共的結(jié)構(gòu)。以此作為類比映射的基礎(chǔ)。尋找公共子結(jié)構(gòu)是歸納推理，而實現(xiàn)類比映射是演繹推理?！度斯ぶ悄堋返诹聶C器學習機器學習—

概述研究目的TheoryStudy---Newmachinelearningmodel,involvingincognitivescienceInvestigatenewandgeneralalgorithmBuildtheknowledgebaseandsystemforrealapplications《人工智能》第六章機器學習機器學習—基本系統(tǒng)結(jié)構(gòu)機器學習模型學習是建立理論、形成假設(shè)和進行歸納推理的過程。

環(huán)境學習環(huán)節(jié)知識庫

執(zhí)行環(huán)節(jié)環(huán)境:數(shù)據(jù)或信息知識庫:知識表示執(zhí)行環(huán)節(jié):評價學到的知識,指導進一步的學習(推理)《人工智能》第六章機器學習第六章機器學習概述實例學習基于解釋的學習決策樹學習神經(jīng)網(wǎng)絡(luò)學習《人工智能》第六章機器學習第六章機器學習概述實例學習基于解釋的學習決策樹學習神經(jīng)網(wǎng)絡(luò)學習《人工智能》第六章機器學習實例學習概述50年代興起的實例學習是歸納學習的一種。目前實例學習在某些系統(tǒng)中的應用已成為機器學習走向?qū)嵺`的先導。環(huán)境提供給系統(tǒng)一些特殊的實例，這些實例事先由施教者劃分為正例和反例。實例學習系統(tǒng)由此進行歸納推理得到一般規(guī)則。環(huán)境提供給學習環(huán)節(jié)的正例和反例是低水平的信息，這是特殊情況下執(zhí)行環(huán)節(jié)的行為。學習環(huán)節(jié)歸納出的規(guī)則是高水平的信息，可以在一般情況下用這些規(guī)則指導執(zhí)行環(huán)節(jié)的工作?！度斯ぶ悄堋返诹聶C器學習實例學習實例學習的兩個空間模型例子空間規(guī)則空間選擇例子解釋例子用規(guī)則表示概念《人工智能》第六章機器學習實例學習－兩個空間模型例：取實例空間為所有的人。

正例集合為張衡、華羅庚、李四光、吳有訓、張光斗反例為馬克思、羅斯福、斯大林、丘吉爾。

學到的概念可以是中國人，或科學家，或中國科學家，等。而電影明星,政治家等待是不可能學到的。學到的概念可能是不唯一的，除非正例集和反例集加起來正好等于整個實例空間。《人工智能》第六章機器學習實例學習－兩個空間模型Winston的積木世界中的“拱”的概念?！度斯ぶ悄堋返诹聶C器學習實例學習－兩個空間模型《人工智能》第六章機器學習實例學習－兩個空間模型例子的描述(知識表示)例子空間的描述語言可以描述所有例子；規(guī)則空間的描述語言可以描述所有規(guī)則。例如：紙牌，同花5張正例：{(2,c),(3,c),(5,c),(J,c),(A,c)},其中c，草花club規(guī)則：描述一手牌的全部謂詞表達式的集合。符號：SUIT(牌,花色)，RANK（點數(shù)）常量：A,2,3,…,10.J,Q,K,clubs(草花),diamonds(方塊),hearts（紅桃）,spades(黑桃)合取連接詞∧，存在量詞所以有規(guī)則：對c1,c2,c3,c4,c5SUIT(c1,*)∧SUIT(c2,*)∧SUIT(c3,*)∧SUIT(c4,*)∧SUIT(c5,*)FLUSH(c1,c2,c3,c4,c5)《人工智能》第六章機器學習實例學習－兩個空間模型例子空間示教例子的質(zhì)量：不能有錯，同時提供正例和反例，逐步分批由選擇地送入。選擇的條件：最有力地劃分規(guī)則空間；證實肯定假設(shè)規(guī)則的集合(正例)；否定假設(shè)規(guī)則的集合(反例)?！度斯ぶ悄堋返诹聶C器學習實例學習－兩個空間模型解釋例子解釋例子的目的是把示教例子變換成易于進行符號歸納的形式(如語義網(wǎng)絡(luò))。（有時很難）例如：Winston的積木世界中的“拱”的概念?！度斯ぶ悄堋返诹聶C器學習實例學習－兩個空間模型規(guī)則空間（最根本，真正學習的部分）定義：一套符號來規(guī)定表示規(guī)則的算符、術(shù)語，所有的描述都在其中(知識表示)。歸納方法：從特殊到一般的推理常量化為變量。例P189，從幾個正例中找到共性的部分改成變量。去掉條件。同上例。去掉牌點數(shù)這個條件增加選擇（析?。?。例人臉牌。從RANK(c1,J),RANK(c2,K)推出還有RANK(c3,Q)曲線擬合。幾組值，解方程或用最小二乘法擬合成一條曲線或曲面?！度斯ぶ悄堋返诹聶C器學習實例學習－兩個空間模型規(guī)則空間（最根本，真正學習的部分）歸納方法：從特殊到一般的推理常量化為變量。1.SUIT(c1,clubs)∧SUIT(c2,clubs)∧SUIT(c3,clubs)∧SUIT(c4,clubs)∧SUIT(c5,clubs)FLUSH(c1,c2,c3,c4,c5)2.SUIT(c1,spades)∧SUIT(c2,spades)∧SUIT(c3,spades)∧SUIT(c4,spades)∧SUIT(c5,spades)FLUSH(c1,c2,c3,c4,c5)=SUIT(c1,x)∧SUIT(c2,x)∧SUIT(c3,x)∧SUIT(c4,x)∧SUIT(c5,x)FLUSH(c1,c2,c3,c4,c5)《人工智能》第六章機器學習實例學習－兩個空間模型規(guī)則空間（最根本，真正學習的部分）歸納方法：從特殊到一般的推理去掉條件。SUIT(c1,clubs)∧SUIT(c2,clubs)∧SUIT(c3,clubs)∧SUIT(c4,clubs)∧SUIT(c5,clubs)∧RANK(c1,2)∧RANK(c2,5)∧RANK(c3,8)∧RANK(c4,9)∧RANK(c5,6)FLUSH(c1,c2,c3,c4,c5)=SUIT(c1,x)∧SUIT(c2,x)∧SUIT(c3,x)∧SUIT(c4,x)∧SUIT(c5,x)FLUSH(c1,c2,c3,c4,c5)《人工智能》第六章機器學習實例學習－兩個空間模型規(guī)則空間（最根本，真正學習的部分）歸納方法：從特殊到一般的推理增加選擇（析?。＠四樑?。RANK(c1,J)----->FACE(c1)RANK(c1,K)----->FACE(c1)=RANK(c1,J)VRANK(c1,K)----->FACE(c1)推出還有RANK(c3,Q)RANK(c1,J)VRANK(c1,K)VRANK(c1,Q)----->FACE(c1)《人工智能》第六章機器學習實例學習－兩個空間模型（規(guī)則空間）應用實例學習:不管是去掉還是增加，都是擴大范圍。把已有的知識總結(jié)歸納推廣。但是要小心。越快越強的方法越容易出錯。原因是歸納推理方法是保假不保真。因此，用歸納方法的過程就是搜索過程。找到包含在少數(shù)例子中的正確信息。歸納出錯就要回溯。要經(jīng)常檢驗，用新例子去否定歸納出的錯誤規(guī)則。即解釋例子和選擇例子的反復，反復于例子空間和規(guī)則空間之間?！度斯ぶ悄堋返诹聶C器學習實例學習－兩個空間模型（規(guī)則空間）對規(guī)則空間的要求表示應適應于歸納。如：有謂詞才可以增減；有狀態(tài)空間才能擬合。不同的歸納方法要求不同的規(guī)則表示方法。如果規(guī)則空間描述的語言的表達能力較弱，可以使用的歸納方法就比較少，規(guī)則空間的搜索范圍就比較小，搜索就比較容易。但解決的問題就較少。因此，設(shè)計是在規(guī)則空間表達能力與規(guī)則空間搜索難度之間進行權(quán)衡。表示和例子的一致。如相差很大，解釋例子和選擇例子的過程就很復雜。引入新術(shù)語（規(guī)則空間）。當表示語言不能描述學習過程中產(chǎn)生的新狀態(tài)時，要產(chǎn)生新的術(shù)語?！度斯ぶ悄堋返诹聶C器學習實例學習－兩個空間模型（規(guī)則空間）搜索規(guī)則空間的方法 最終的目的是為了搜索，先建立一個假設(shè)空間，在其中進行搜索。

方法：怎樣改進假設(shè)規(guī)則集，以便求得要求的規(guī)則。變形空間法Version-space：數(shù)據(jù)驅(qū)動

改進假設(shè)法Hypothesis-refinement：數(shù)據(jù)驅(qū)動產(chǎn)生與測試GenerateandTest：模型驅(qū)動方案示例法SchemaInstantiation：模型驅(qū)動選擇例子。選擇合適的例子，以能更好的搜索?！度斯ぶ悄堋返诹聶C器學習實例學習－實例學習的分類

實例學習的分類按搜索方法分類：

變形空間法；改進假設(shè)法；產(chǎn)生與測試法；方案示例法按論域分類：數(shù)字表示：多用于電子工程、系統(tǒng)理論和模式分析 知識：多項式、矩陣；系統(tǒng)：自適應系統(tǒng)；任務：模式分類、自適應控制、濾波等。符號表示：AI領(lǐng)域主要研究對象。 知識：符號的特征向量、一階謂詞、產(chǎn)生式規(guī)則、框架、語義網(wǎng)絡(luò)；《人工智能》第六章機器學習實例學習－實例學習的分類按任務復雜程度分類：學習單個概念：最基本的學習多個概念：歸納出多個相互獨立的概念學習執(zhí)行多步任務： 一個操作序列去完成任務，即執(zhí)行環(huán)節(jié)對任務要規(guī)劃?！度斯ぶ悄堋返诹聶C器學習實例學習學習單個概念概念：采用謂詞邏輯的知識表示時，一個概念就是一個謂詞公式。學習單個概念就是給系統(tǒng)一個概念的若干正例合反例，系統(tǒng)由此歸納出表示這個概念的謂詞公式。過程：給定：概念的表示語言；正例和反例尋找：一條規(guī)則。覆蓋全部正例，不覆蓋 全部反例?！度斯ぶ悄堋返诹聶C器學習實例學習－學習單個概念變形空間法變形空間方法以整個規(guī)則空間為初始的假設(shè)規(guī)則集合H。依據(jù)示教例子中的信息，對集合H進行一般化或特殊化處理。逐步縮小集合H，最后使H收斂為只含有要求的規(guī)則由于被搜索的空間H逐步縮小，故稱為變形空間。變形空間圖《人工智能》第六章機器學習實例學習－學習單個概念（變形空間法）搜索：使用一個可能合理的假設(shè)規(guī)則的集合H，H是規(guī)則空間的子集，是規(guī)則空間中間的一段。H中最一般的元素組成的子集稱為G集合，最特殊的元素組成的子集稱為S集合。（H是上界G和下界S之間的一段。）學習基本思想：盡可能合理的進行特殊化和一般化處理，通過搜索減小H，找到一個假設(shè)規(guī)則。具體方法：消除候選元素法?！度斯ぶ悄堋返诹聶C器學習實例學習－學習單個概念（變形空間法）結(jié)論S是規(guī)則充分條件，G是規(guī)則必要條件的集合。學習結(jié)束時找到的應是充分必要條件。正例的主要工作是對S一般化，反例是對G特殊化。搜索的過程是在例子的引導下，數(shù)據(jù)驅(qū)動。遵循的是變量優(yōu)先的原則。正例去掉G中不符合的概念，然后修改S,歸納出最特殊的結(jié)果,盡量少改S。反例去掉S中符合的概念，然后修改G,做特殊化得到最一般的結(jié)果,盡量少改G.《人工智能》第六章機器學習實例學習《人工智能》第六章機器學習實例學習－學習單個概念（變形空間法）變形空間法的優(yōu)缺點：搜索空間太大，有可能引起計算爆炸問題（規(guī)則總地來說是越擴越多）抗干擾性差，所有數(shù)據(jù)驅(qū)動方法的通病。解決方法：例子一組一組地給。采用析取規(guī)則，即此算法不可能發(fā)現(xiàn)“或”的關(guān)系?！度斯ぶ悄堋返诹聶C器學習實例學習學習多個概念單個規(guī)則：可存在規(guī)則將空間一分為二規(guī)則集合有相交，主要問題是重疊部分。學習多步任務多步學習就是選擇一系列規(guī)則，去完成一系列步驟。如下棋，積分。難點多規(guī)則一起使用，規(guī)則之間的相互聯(lián)系，影響。獎罰分配問題透明度《人工智能》第六章機器學習第六章機器學習概述實例學習決策樹學習神經(jīng)網(wǎng)絡(luò)學習《人工智能》第六章機器學習第六章機器學習概述實例學習決策樹學習神經(jīng)網(wǎng)絡(luò)學習《人工智能》第六章機器學習第六章機器學習概述實例學習決策樹學習神經(jīng)網(wǎng)絡(luò)學習《人工智能》第六章機器學習決策樹學習決策樹(DecisionTree)

一種描述概念空間的有效的歸納推理辦法?；跊Q策樹的學習方法可以進行不相關(guān)的多概念學習，具有簡單快捷的優(yōu)勢，已經(jīng)在各個領(lǐng)域取得廣泛應用。《人工智能》第六章機器學習決策樹學習（應用）根據(jù)病情對病人分類根據(jù)起因?qū)收戏诸惛鶕?jù)付款信用情況對貸款申請者分類這些都是將輸入樣本分類成可能離散集

分類問題《人工智能》第六章機器學習《人工智能》第六章機器學習《人工智能》第六章機器學習《人工智能》第六章機器學習簡介決策樹方法的起源是概念學習系統(tǒng)CLS，然后發(fā)展到ID3方法而為高潮，最后又演化為能處理連續(xù)屬性的C4.5。有名的決策樹方法還有CART和Assistant。是應用最廣的歸納推理算法之一一種逼近離散值目標函數(shù)的方法對噪聲數(shù)據(jù)有很好的健壯性且能學習析取表達式《人工智能》第六章機器學習決策樹的表示法決策樹通過把實例從根節(jié)點排列到某個葉子節(jié)點來分類實例，葉子節(jié)點即為實例所屬的分類。樹上的每一個節(jié)點說明了對實例的某個屬性的測試，并且該節(jié)點的每一個后繼分支對應于該屬性的一個可能值《人工智能》第六章機器學習決策樹

根結(jié)點個子大可能是松鼠可能是老鼠可能是大象在水里會吱吱叫鼻子長脖子長個子小不會吱吱叫鼻子短脖子短可能是長頸鹿在陸地上可能是犀?？赡苁呛玉R判定結(jié)構(gòu)可以機械的轉(zhuǎn)變成產(chǎn)生式規(guī)則?？梢酝ㄟ^對結(jié)構(gòu)進行深度優(yōu)先搜索，并在每個節(jié)點生成“IF…THEN”規(guī)則來實現(xiàn)。如圖6-13的決策樹可以轉(zhuǎn)換成下規(guī)則：

IF“個子大”THENIF“脖子短”THENIF“鼻子長”THEN可能是大象形式化表示成《人工智能》第六章機器學習圖《人工智能》第六章機器學習表達式《人工智能》第六章機器學習決策樹學習（ID3根據(jù)實例構(gòu)造決策樹）設(shè)學習的實例集為其中Si為學習實例，T實例集大小。對于有指導的學習，任一個Si具有明確標定的類別，向量表示該實例的特性，即Si的信息為，如果一個觀測值具有屬性s則應該劃歸為u類，應該有下面的規(guī)則總結(jié)出來式中xi為事件所具有的第i個屬性。每次引用一個屬性分裂,相當于引入一個信息源,該層結(jié)點的信息熵下降,葉結(jié)點的信息熵為0ID3降信息熵下降速度作為屬性選擇標準《人工智能》第六章機器學習決策樹學習的適用問題實例是由屬性-值對表示的目標函數(shù)具有離散的輸出值可能需要析取的描述訓練數(shù)據(jù)可以包含錯誤訓練數(shù)據(jù)可以包含缺少屬性值的實例《人工智能》第六章機器學習決策樹學習（決策樹）構(gòu)造一棵決策樹要解決四個問題：收集待分類的數(shù)據(jù)設(shè)計分類原則，即數(shù)據(jù)的哪些屬性可以被用來分類，以及如何將該屬性量化。分類原則的選擇，即在眾多分類準則中，每一步選擇哪一準則使最終的樹更令人滿意。設(shè)計分類停止條件，實際應用中數(shù)據(jù)的屬性很多，真正有分類意義的屬性往往是有限幾個，因此在必要的時候應該停止數(shù)據(jù)集分裂：該節(jié)點包含的數(shù)據(jù)太少不足以分裂，繼續(xù)分裂數(shù)據(jù)集對樹生成的目標(例如ID3中的熵下降準則)沒有貢獻，樹的深度過大不宜再分?！度斯ぶ悄堋返诹聶C器學習屬性選擇構(gòu)造好的決策樹的關(guān)鍵在于如何選擇好的邏輯判斷或?qū)傩?。對于同樣一組例子，可以有很多決策樹能符合這組例子。人們研究出，一般情況下或具有較大概率地說，樹越小則樹的預測能力越強。要構(gòu)造盡可能小的決策樹，關(guān)鍵在于選擇恰當?shù)倪壿嬇袛嗷驅(qū)傩?。由于?gòu)造最小的樹是NP-難問題，因此只能采取用啟發(fā)式策略選擇好的邏輯判斷或?qū)傩浴Ｍㄓ玫臎Q策樹分裂目標是整棵樹的熵總量最小，每一步分裂時，選擇使熵減小最大的準則，這種方案使最具有分類潛力的準則最先被提取出來《人工智能》第六章機器學習決策樹學習（學習）信息熵自信息量設(shè)信源X發(fā)出ai的概率p(ai)，在收到符號ai之前，收信者對ai的不確定性定義為ai的自信息量I(ai)。I(ai)=-logp(ai)。信息熵自信息量只能反映符號的不確定性，而信息熵用來度量整個信源整體的不確定性，定義為：

其中，r為信源X發(fā)出的所有可能的符號類型。信息熵反應了信源每發(fā)出一個符號所提供的平均信息量。條件熵設(shè)信源為X，收信者收到信息Y，用條件熵H(X|Y)來描述收信者在收到Y(jié)后對X的不確定性估計。設(shè)X的符號ai，Y的符號bj，p(ai|bj)為當Y為bj時，X為ai的概率，則有：平均互信息量用平均互信息量來表示信號Y所能提供的關(guān)于X的信息量的大小，用I(X,Y)表示：

《人工智能》第六章機器學習《人工智能》第六章機器學習用熵度量樣例的均一性（純度）H(X)H(X)《人工智能》第六章機器學習《人工智能》第六章機器學習決策樹學習（ID3根據(jù)實例構(gòu)造決策樹）設(shè)學習的實例集為其中Si為學習實例，T實例集大小。對于有指導的學習，任一個Si具有明確標定的類別，向量表示該實例的特性，即Si的信息為，如果一個觀測值具有屬性s則應該劃歸為u類，應該有下面的規(guī)則總結(jié)出來式中xi為事件所具有的第i個屬性。每次引用一個屬性分裂,相當于引入一個信息源,該層結(jié)點的信息熵下降,葉結(jié)點的信息熵為0ID3降信息熵下降速度作為屬性選擇標準《人工智能》第六章機器學習決策樹學習（ID3應用）假設(shè)我們希望用ID3決定天氣是否適合打壘球。在過去的兩周中，收集了14天的數(shù)據(jù)幫助ID3建立決策樹。目標分類是“我們可以去打壘球嗎？”，它有兩種選擇，可以或不可以。天氣可以用四個屬性來刻畫，戶外，溫度，濕度和風速。它們的屬性值分別為:戶外={晴天,陰天,雨天}溫度={炎熱,溫柔,涼爽}濕度={高,正常}風速={弱,強}根節(jié)點的選擇：根節(jié)點的選擇標準就是看哪一個屬性的增益最大。下面是計算四個屬性的增益：《人工智能》第六章機器學習《人工智能》第六章機器學習決策樹學習（ID3應用）1.準備訓練數(shù)據(jù)天數(shù)(A8)戶外(A8)溫度(A8)濕度(A8)風速(A8)活動(A8).D1 晴天 炎熱 高 弱 取消D2 晴天 炎熱 高 強 取消D3 陰天 炎熱 高 弱 進行D4 雨天 溫柔 高 弱 進行D5 雨天 涼爽 正常 弱 進行D6 雨天 涼爽 正常 強 取消D7 陰天 涼爽 正常 強 進行D8 晴天 溫柔 高 弱 取消D9 晴天 涼爽 正常 弱 進行D10 雨天 溫柔 正常 弱 進行D11 晴天 溫柔 正常 強 進行D12 陰天 溫柔 高 強 進行D13 陰天 炎熱 正常 弱 進行D14 雨天 溫柔 高 強 取消《人工智能》第六章機器學習決策樹學習（ID3應用）2.計算決策屬性的熵決策屬性活動有14個記錄，其中9個記錄活動可以進行，5個記錄不適合活動，那么使用公式1計算”活動”屬性的熵H(活動)=-(9/14)Log2(9/14)-(5/14)Log2(5/14)=0.940第二步：計算條件屬性的熵樣本集共有四個條件屬性，戶外，溫度，濕度和風速。使用公式2計算條件屬性的熵。風速的熵：計算分兩個過程，首先使用公式1計算屬性值的熵，即風速強和風速弱。H(弱)=-(6/8)*log2(6/8)-(2/8)*log2(2/8)=0.811H(強)=-(3/6)*log2(3/6)-(3/6)*log2(3/6)=1.00然后使用公式2計算屬性的熵。H(S|風速)=(8/14)*H(S弱)+(6/14)*H(S強)=(8/14)*0.811+(6/14)*1.00=0.892《人工智能》第六章機器學習決策樹學習（ID3應用）H(S|風速)=0.892H(S|戶外)=0.693H(S|溫度)=0.911H(S|濕度)=0.789《人工智能》第六章機器學習決策樹學習（ID3應用）第三步：計算條件屬性的增益I(S,戶外)=H(活動)-H(S|戶外)=0.94-0.693=0.246I(S,溫度)=H(活動)-H(S|溫度)=0.94-0.911=0.029I(S,濕度)=H(活動)-H(S|濕度)=0.94-0.789=0.151I(S,風速)=H(活動)-H(S|風速)=0.94-0.892=0.048條件屬性戶外有最大的增益，所以它用于決策樹的根節(jié)點。

《人工智能》第六章機器學習舉例《人工智能》第六章機器學習《人工智能》第六章機器學習《人工智能》第六章機器學習決策樹的優(yōu)點可以生成可以理解的規(guī)則；計算量相對來說不是很大；可以處理連續(xù)和離散字段；決策樹可以清晰的顯示哪些字段比較重要

《人工智能》第六章機器學習不足之處對連續(xù)性的字段比較難預測當類別太多時，錯誤可能會增加的比較快一般的算法分類的時候，只是根據(jù)一個屬性來分類。不是全局最優(yōu)。

《人工智能》第六章機器學習第六章機器學習概述實例學習基于解釋的學習決策樹學習神經(jīng)網(wǎng)絡(luò)學習《人工智能》第六章機器學習第六章機器學習概述實例學習基于解釋的學習決策樹學習神經(jīng)網(wǎng)絡(luò)學習《人工智能》第六章機器學習人工神經(jīng)元網(wǎng)絡(luò)概述基本原理前饋型人工神經(jīng)元網(wǎng)絡(luò)自組織競爭人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的應用與人工智能原理的結(jié)合參考書：《人工神經(jīng)網(wǎng)絡(luò)的模型及其應用》

復旦大學出版社，張立明《人工智能》第六章機器學習概述什么叫人工神經(jīng)網(wǎng)絡(luò)采用物理可實現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細胞的結(jié)構(gòu)和功能的系統(tǒng)。為什么要研究神經(jīng)網(wǎng)絡(luò)用計算機代替人的腦力勞動。計算機速度為納秒級，人腦細胞反應時間是毫秒級。而計算機不如人。長期以來人類的夢想，機器既能超越人的計算能力，又有類似于人的識別、分析、聯(lián)想等能力?！度斯ぶ悄堋返诹聶C器學習概述發(fā)展史1890年，美國生物學家W.James出版了《Physiology》（生理學）一書。首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能，以及相關(guān)學習、聯(lián)想、記憶的基本規(guī)律。指出：人腦中當兩個基本處理單元同時活動，或兩個單元靠得比較近時，一個單元的興奮會傳到另一個單元。而且一個單元的活動程度與他周圍的活動數(shù)目和活動密度成正比。圖《人工智能》第六章機器學習概述－發(fā)展史1943年McCulloch（心理學家）和Pitts（數(shù)理邏輯學家）發(fā)表文章，提出M-P模型。描述了一個簡單的人工神經(jīng)元模型的活動是服從二值（興奮和抑制）變化的?？偨Y(jié)了神經(jīng)元的基本生理特性，提出了神經(jīng)元的數(shù)學描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法?！獦酥旧窠?jīng)計算時代的開始輸出表達式圖

《人工智能》第六章機器學習概述－發(fā)展史MP模型的意義：M-P模型能完成一定的邏輯運算第一個采用集體并行計算結(jié)構(gòu)來描述人工神經(jīng)元和網(wǎng)絡(luò)工作。為進一步的研究提供了依據(jù)（可以完成布爾邏輯計算）《人工智能》第六章機器學習概述－發(fā)展史1949年DonalaU.Hebb（心理學家）論著《TheOrganizationofBehavior（行為自組織）》，提出突觸聯(lián)系強度可變的假設(shè)，認為學習的過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強度隨著突觸前后神經(jīng)元的活動而變化。

——赫布規(guī)則（p129)

多用于自組織網(wǎng)絡(luò)的學習。即：若兩個神經(jīng)元輸出興奮，則它們之間的連接權(quán)加強，反之減少?！度斯ぶ悄堋返诹聶C器學習概述－發(fā)展史赫布規(guī)則意義（提出了變化的概念）提出了一個神經(jīng)網(wǎng)絡(luò)里信息是儲藏在突觸連接的權(quán)中的概念連接權(quán)的學習律是正比于兩個被連接神經(jīng)細胞的活動狀態(tài)值的乘積假設(shè)權(quán)是對稱的細胞的互相連接的結(jié)構(gòu)是他們權(quán)的改變創(chuàng)造出來的《人工智能》第六章機器學習概述－發(fā)展史1957年FrankRosenblatt定義了一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron)。規(guī)則學習

意義：第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實現(xiàn)，在IBM704計算機上進行了模擬，證明了該模型有能力通過調(diào)整權(quán)的學習達到正確分類的結(jié)果。掀起了神經(jīng)網(wǎng)絡(luò)研究高潮?！度斯ぶ悄堋返诹聶C器學習概述－發(fā)展史1969M.Minsky和S.Papert發(fā)表了《Perceptrons》的論著，指出感知器僅能解決一階謂詞邏輯，只能做線性劃分。對于非線性或其他分類會遇到很大困難。一個簡單的XOR問題的例子就證明了這一點?！窠?jīng)網(wǎng)絡(luò)研究一度達到低潮。原因還有：計算機不夠發(fā)達、VLSI還沒出現(xiàn)、而人工智能和專家系統(tǒng)正處于發(fā)展高潮。圖能劃分的、不能劃分的《人工智能》第六章機器學習概述－發(fā)展史七十年代,據(jù)說全球只有幾十個人在研究，但還是成功的。如：芬蘭Kohonen的自組織神經(jīng)網(wǎng)絡(luò)；StephenCrossberg的共振自適應理論ART網(wǎng)絡(luò)等?！度斯ぶ悄堋返诹聶C器學習概述－發(fā)展史1982年JohnJ.Hopfield（物理學家）提出了全聯(lián)接網(wǎng)絡(luò)，離散的神經(jīng)網(wǎng)絡(luò)模型?！碌木哂型暾碚摶A(chǔ)的神經(jīng)網(wǎng)絡(luò)模型?；舅枷胧菍τ谝粋€給定的神經(jīng)網(wǎng)絡(luò)，對于一個能量函數(shù)，這個能量函數(shù)是正比于每一個神經(jīng)元的活動值和神經(jīng)元之間的聯(lián)接權(quán)。而活動值的改變算法是向能量函數(shù)減少的方向進行，一直達到一個極小值為止。證明了網(wǎng)絡(luò)可達到穩(wěn)定的離散和連續(xù)兩種情況。３年后AT&T等做出了半導體芯片?！窠?jīng)網(wǎng)絡(luò)復興時期開始。

《人工智能》第六章機器學習概述－發(fā)展史1986年美國的一個平行計算研究小組提出了前項反饋神經(jīng)網(wǎng)絡(luò)的BackPropagation（BP）學習算法。成為當今應用最廣泛的方法之一。該方法克服了感知器非線性不可分類問題，給神經(jīng)網(wǎng)絡(luò)研究帶來了新的希望。《人工智能》第六章機器學習概述－發(fā)展史1987年在美國召開了第一屆世界神經(jīng)網(wǎng)絡(luò)大會1000人參加。IJCNN等大會NeuralComputing,IEEENeuralNetwork等期刊《人工智能》第六章機器學習概述人工智能與神經(jīng)網(wǎng)絡(luò)共同之處：研究怎樣使用計算機來模仿人腦工作過程。學習——實踐——再學習——再實踐。不同之處：人工智能研究人腦的推理、學習、思考、規(guī)劃等思維活動，解決需人類專家才能處理的復雜問題。神經(jīng)網(wǎng)絡(luò)企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關(guān)學習、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學習和靈活性）《人工智能》第六章機器學習概述例如：人工智能專家系統(tǒng)是制造一個專家，幾十年難以培養(yǎng)的專家。 神經(jīng)網(wǎng)絡(luò)是制造一個嬰兒，一個幼兒，一個可以學習，不斷完善，從一些自然知識中汲取智慧的生命成長過程。同樣是模仿人腦，但所考慮的角度不同。成年人和嬰兒。學習過程不一樣。一個是總結(jié)出常人都不懂的規(guī)律；一個是沒完沒了向他出示、重復一樣東西，就象教一個小孩子說話。《人工智能》第六章機器學習概述《人工智能》第六章機器學習基本原理－神經(jīng)元模型《人工智能》第六章機器學習基本原理－神經(jīng)元模型神經(jīng)元每一個細胞處于兩種狀態(tài)。突觸聯(lián)接有強度。多輸入單輸出。實質(zhì)上傳播的是脈沖信號，信號的強弱與脈沖頻率成正比?！度斯ぶ悄堋返诹聶C器學習基本原理－神經(jīng)元模型轉(zhuǎn)移函數(shù)：神經(jīng)細胞的輸出對輸入的反映。典型的轉(zhuǎn)移函數(shù)是非線性的?！度斯ぶ悄堋返诹聶C器學習基本原理－網(wǎng)絡(luò)結(jié)構(gòu)人腦神經(jīng)網(wǎng)絡(luò)： 人腦中約有１４０億個神經(jīng)細胞，根據(jù)Stubbz的估計這些細胞被安排在約１０００個主要模塊內(nèi)，每個模塊上有上百個神經(jīng)網(wǎng)絡(luò)，每個網(wǎng)絡(luò)約有１０萬個神經(jīng)細胞。《人工智能》第六章機器學習基本原理－網(wǎng)絡(luò)模型前饋網(wǎng)絡(luò)：每層只與前層相聯(lián)接《人工智能》第六章機器學習基本原理－網(wǎng)絡(luò)模型輸入輸出有反饋的前饋網(wǎng)絡(luò)：輸出層上存在一個反饋回路，將信號反饋到輸入層。而網(wǎng)絡(luò)本身還是前饋型的《人工智能》第六章機器學習基本原理－網(wǎng)絡(luò)模型前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)：外部看還是一個前向網(wǎng)絡(luò)，內(nèi)部有很多自組織網(wǎng)絡(luò)在層內(nèi)互聯(lián)著?！度斯ぶ悄堋返诹聶C器學習基本原理－網(wǎng)絡(luò)模型反饋型全互聯(lián)網(wǎng)絡(luò)：所有計算單元之間都有聯(lián)接。如：Hopfield網(wǎng)絡(luò)反饋型局部聯(lián)接網(wǎng)絡(luò)：特例，每個神經(jīng)元的輸出只與其周圍的神經(jīng)元相連，形成反饋網(wǎng)絡(luò)。《人工智能》第六章機器學習基本原理－網(wǎng)絡(luò)分類分類前饋型；反饋型；自組織競爭；隨機網(wǎng)絡(luò)其它《人工智能》第六章機器學習基本原理－基本屬性基本屬性：非線性： 非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制兩種不同的狀態(tài)。這種行為在數(shù)學上表現(xiàn)為一種非線性。非局域性： 一個神經(jīng)網(wǎng)絡(luò)通常由多個神經(jīng)元廣泛聯(lián)接而成。一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互聯(lián)接所決定。通過單元之間的大量聯(lián)接模擬大腦的非局域性。聯(lián)想記憶是非局域性的典型例子?！度斯ぶ悄堋返诹聶C器學習基本原理－基本屬性非定常性： 人工神經(jīng)網(wǎng)絡(luò)具有自適應、自組織、自學習能力。神經(jīng)網(wǎng)絡(luò)不但處理的信息有各種各樣，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動力系統(tǒng)的演化過程。非凸性： 一個系統(tǒng)的演化方向，在一定條件下，將取決于某個特定的狀態(tài)函數(shù)，如能量函數(shù)，它的極值相應于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導致系統(tǒng)演化的多樣性?！度斯ぶ悄堋返诹聶C器學習基本原理－優(yōu)缺點評價優(yōu)點： 并行性；分布存儲；容錯性；學習能力缺點： 不適合高精度計算；學習問題沒有根本解決，慢；目前沒有完整的設(shè)計方法，經(jīng)驗參數(shù)太多。《人工智能》第六章機器學習前饋型神經(jīng)網(wǎng)單層感知器：基本原理，結(jié)構(gòu)簡單。很少在實際應用中出現(xiàn)。采用階躍函數(shù)作為傳遞函數(shù)。從２維空間可以很顯然的看出其分類功能，但Minsky等揭示的致命弱點也一目了然。關(guān)鍵是學習算法及網(wǎng)絡(luò)設(shè)計方法《人工智能》第六章機器學習《人工智能》第六章機器學習前饋型神經(jīng)網(wǎng)－單層感知器例子：2維空間希望找到一根直線，把A,B兩類樣本分開，其分界線為:解有無數(shù)個。

單層感只能解決線性可分類的樣本的分類問題。如樣本不能用一個超平面分開，就會產(chǎn)生當年Minsky等提出的不可分問題。

《人工智能》第六章機器學習++++++++X1X2二維輸入感知器及其在狀態(tài)空間中的劃分

《人工智能》第六章機器學習前饋型神經(jīng)網(wǎng)Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(BackPropagation)學習算法BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。J.McClelland

DavidRumelhart

《人工智能》第六章機器學習BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)三層BP網(wǎng)絡(luò)《人工智能》第六章機器學習2.4.1BP神經(jīng)網(wǎng)絡(luò)模型激活函數(shù)必須處處可導一般都使用S型函數(shù)使用S型激活函數(shù)時BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出《人工智能》第六章機器學習2.4.2BP網(wǎng)絡(luò)的標準學習算法學習的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學習的本質(zhì)：對各連接權(quán)值的動態(tài)調(diào)整學習規(guī)則：權(quán)值調(diào)整規(guī)則，即在學習過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則?！度斯ぶ悄堋返诹聶C器學習2.4.2BP網(wǎng)絡(luò)的標準學習算法-算法思想學習的類型：有導師學習核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學習的過程：信號的正向傳播誤差的反向傳播將誤差分攤給各層的所有單元－－－各層單元的誤差信號修正各單元權(quán)值《人工智能》第六章機器學習2.4.2BP網(wǎng)絡(luò)的標準學習算法-學習過程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進行到預先設(shè)定的學習次數(shù)為止《人工智能》第六章機器學習前饋型神經(jīng)網(wǎng)采用BP算法學習時要求傳遞函數(shù)為有界連續(xù)可微函數(shù)如sigmoid函數(shù)。因此，網(wǎng)絡(luò)可以用一個連續(xù)的超曲面（而不僅僅是一個超平面）來完成劃分輸入樣本空間的功能。先求誤差，用梯度下降的方法求誤差的傳遞。從后往前算?！度斯ぶ悄堋返诹聶C器學習《人工智能》第六章機器學習前饋型神經(jīng)網(wǎng)n層網(wǎng)絡(luò)可以以n-1個超曲面構(gòu)成一個復合曲面，彌補了單層感知器的缺陷?；贐P算法，依據(jù)大量樣本通過逐步調(diào)整神經(jīng)元之間的聯(lián)接權(quán)重來構(gòu)造網(wǎng)絡(luò)。理論上，多層前饋網(wǎng)絡(luò)在不考慮結(jié)果規(guī)模的前提下，可以模擬任意的輸出函數(shù)。《人工智能》第六章機器學習BP神經(jīng)網(wǎng)絡(luò)應用例2-3，下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個如下的三層BP神經(jīng)網(wǎng)絡(luò)對藥品的銷售進行預測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點數(shù)為1個，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對藥品的銷售量進行預測，預測方法采用滾動預測方式，即用前三個月的銷售量來預測第四個月的銷售量，如用1、2、3月的銷售量為輸入預測第4個月的銷售量，用2、3、4月的銷售量為輸入預測第5個月的銷售量.如此反復直至滿足預測精度要求為止。月份123456銷量205623952600229816341600月份789101112銷量187314781900150020461556《人工智能》第六章機器學習%以每三個月的銷售量經(jīng)歸一化處理后作為輸入P=[0.5152 0.8173 1.0000;0.8173 1.0000 0.7308;1.0000 0.7308 0.1390;0.7308 0.1390 0.1087;0.1390 0.1087 0.3520;0.1087 0.3520 0.0000;]';%以第四個月的銷售量歸一化處理后作為目標向量T=[0.73080.13900.10870.35200.00000.3761];%創(chuàng)建一個BP神經(jīng)網(wǎng)絡(luò)，每一個輸入向量的取值范圍為[0,1]，隱含層有5個神經(jīng)元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為logsig，訓練函數(shù)為梯度下降函數(shù)net=newff([01;01;01],[5,1],{'tansig','logsig'},'traingd');net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設(shè)置學習速率為0.1LP.lr=0.1;net=train(net,P,T);《人工智能》第六章機器學習BP網(wǎng)絡(luò)應用于藥品預測對比圖由對比圖可以看出預測效果與實際存在一定誤差，此誤差可以通過增加運行步數(shù)和提高預設(shè)誤差精度業(yè)進一步縮小《人工智能》第六章機器學習BP神經(jīng)網(wǎng)絡(luò)的特點非線性映射能力能學習和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學方程。只要能提供足夠多的樣本模式對供網(wǎng)絡(luò)進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當向網(wǎng)絡(luò)輸入訓練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小?！度斯ぶ悄堋返诹聶C器學習自組織競爭人工神經(jīng)網(wǎng)絡(luò)概述在實際的神經(jīng)網(wǎng)絡(luò)中，存在一種側(cè)抑制的現(xiàn)象。即一個細胞興奮后，通過它的分支會對周圍其他神經(jīng)細胞產(chǎn)生抑制。這種側(cè)抑制在脊髓和海馬中存在，在人眼的視網(wǎng)膜中也存在?！度斯ぶ悄堋返诹聶C器學習自組織競爭人工神經(jīng)網(wǎng)絡(luò)概述這種抑制使神經(jīng)細胞之間出現(xiàn)競爭，一個興奮最強的神經(jīng)細胞對周圍神經(jīng)細胞的抑制也強。雖然一開始各個神經(jīng)細胞都處于興奮狀態(tài)，但最后是那個輸出最大的神經(jīng)細胞“贏”，而其周圍的神經(jīng)細胞“輸”了。勝者為王?！度斯ぶ悄堋返诹聶C器學習自組織競爭人工神經(jīng)網(wǎng)絡(luò)概述自組織競爭神經(jīng)網(wǎng)絡(luò)是在“無師自通”的現(xiàn)象的基礎(chǔ)上生成的。人類等生物的生長過程。自組織神經(jīng)網(wǎng)絡(luò)特別適合于解決模式分類和識別方面的應用問題。自組織神經(jīng)網(wǎng)絡(luò)屬于前向神經(jīng)網(wǎng)絡(luò)類型，采用無導師學習算法，自組織特征映射神經(jīng)網(wǎng)絡(luò)不僅能夠像自組織競爭神經(jīng)網(wǎng)絡(luò)一樣學習輸入的分布情況，而且可以學習神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)《人工智能》第六章機器學習自組織競爭神經(jīng)網(wǎng)絡(luò)類型自適應共振理論(AdaptiveResonanceTheory，ART)網(wǎng)絡(luò)自組織特征映射(self-OrganizingMap，SOM)網(wǎng)絡(luò)對傳(CounterPropagation，CP)網(wǎng)絡(luò)協(xié)同神經(jīng)網(wǎng)絡(luò)(SynergeticNeuralNetwork．SNN)《人工智能》第六章機器學習自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)由芬蘭學者TeuvoKohonen于1981年提出基本上為輸入層和映射層的雙層結(jié)構(gòu),映射層的神經(jīng)元互相連接，每個輸出神經(jīng)元連接至所有輸入神經(jīng)元I’mTeuvoKohonen《人工智能》第六章機器學習自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)競爭層輸入層SOM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)《人工智能》第六章機器學習自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)SOM神經(jīng)網(wǎng)絡(luò)平面示意圖競爭層輸入層《人工智能》第六章機器學習自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)SOM神經(jīng)網(wǎng)絡(luò)立體示意圖競爭層輸入層x2x1輸入層輸出層《人工智能》第六章機器學習自組織競爭人工神經(jīng)網(wǎng)絡(luò)自組織映射模型是以實際神經(jīng)細胞中的一種特征敏感的細胞為模型的。各個細胞分別對各種輸入敏感，可以代表各種輸入，反映各種輸入樣本的特征。如果在二維空間上描述這些細胞，則，功能相近的細胞聚在一起，靠得比較近。功能不同的離得比較遠。網(wǎng)絡(luò)形成過程： 開始是無序的，當輸入樣本出現(xiàn)后各個細胞反映不同，強者依照“勝者為王”的原則，加強自己的同時對周圍細胞進行壓抑。使其對該種樣本更加敏感，也同時對其他種類的樣本更加不敏感。此過程的反復過程中，各種不同輸入樣本將會分別映射到不同的細胞上?！度斯ぶ悄堋返诹聶C器學習自組織競爭人工神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中的權(quán)值是輸入樣本的記憶。如果輸出神經(jīng)元j與輸入n個神經(jīng)元之間的聯(lián)接用wj表示，對應其一類樣本x輸入，使yj達到匹配最大。那么wj通過學習后十分靠近x，因此，以后當x再次輸入時，yj這個神經(jīng)元必定會興奮，yj是x的代表。《人工智能》第六章機器學習自組織特征映射網(wǎng)絡(luò)的學習算法

自組織特征映射學習算法原理Kohonen自組織特征映射算法，能夠自動找出輸入數(shù)據(jù)之間的類似度，將相似的輸入在網(wǎng)絡(luò)上就近配置。因此是一種可以構(gòu)成對輸入數(shù)據(jù)有選擇地給予響應的網(wǎng)絡(luò)。類似度準則歐氏距離

《人工智能》第六章機器學習自組織特征映射網(wǎng)絡(luò)的學習算法自組織特征映射學習算法步驟(1)網(wǎng)絡(luò)初始化用隨機數(shù)設(shè)定輸入層和映射層之間權(quán)值的初始值(2)輸入向量把輸入向量輸入給輸入層(3)計算映射層的權(quán)值向量和輸入向量的距離映射層的神經(jīng)元和輸入向量的距離，按下式給出《人工智能》第六章機器學習自組織特征映射網(wǎng)絡(luò)的學習算法自組織特征映射學習算法步驟(4)選擇與權(quán)值向量的距離最小的神經(jīng)元計算并選擇使輸入向量和權(quán)值向量的距離最小的神經(jīng)元，把其稱為勝出神經(jīng)元并記為，并給出其鄰接神經(jīng)元集合。

(5)調(diào)整權(quán)值勝出神經(jīng)元和位于其鄰接神經(jīng)元的權(quán)值，按下式更新：

(6)是否達到預先設(shè)定的要求如達到要求則算法結(jié)束，否則返回(2)，進入下一輪學習《人工智能》第六章機器學習自組織競爭人工神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)學習時對權(quán)的調(diào)整不只是對興奮的那個細胞所對應的權(quán)進行，而對其周圍Nc區(qū)域內(nèi)的神經(jīng)元同時進行調(diào)整。因此，對于在Nc內(nèi)的神經(jīng)元可以代表不只是一個樣本x，而是與x比較相近的樣本都可以在Nc內(nèi)得到反映。因此，這種網(wǎng)絡(luò)對于樣本的畸變和噪聲的容差大。（調(diào)整區(qū)域函數(shù)有。。。）各種函數(shù)網(wǎng)絡(luò)學習的結(jié)果是：比較相近的輸入樣本在輸出平面上映射的位置也比較接近。