機器學(xué)習(xí)與知識發(fā)現(xiàn)

第四篇學(xué)習(xí)與發(fā)現(xiàn)學(xué)習(xí)是系統(tǒng)積累經(jīng)驗或運用規(guī)律指導(dǎo)自己的行為或改進自身性能的過程。發(fā)現(xiàn)是系統(tǒng)從接收的信息中發(fā)現(xiàn)規(guī)律的過程。人工智能中的機器學(xué)習(xí)(machinelearning)主要指機器對自身行為的修正或性能的改善〔類似于人類的技能訓(xùn)練和對環(huán)境的適應(yīng)〕和機器對客觀規(guī)律的發(fā)現(xiàn)〔類似與人類的科學(xué)發(fā)現(xiàn)〕。1/18/20241機器學(xué)習(xí)主要分為符號學(xué)習(xí)連接學(xué)習(xí)統(tǒng)計學(xué)習(xí)機器對于客觀規(guī)律的發(fā)現(xiàn)，也稱為知識發(fā)現(xiàn)(KnowledgeDiscovery,KD)。數(shù)據(jù)挖掘(DataMining)是知識發(fā)現(xiàn)的一個重要研究和應(yīng)用領(lǐng)域。目前的機器學(xué)習(xí)主要是機器的直接發(fā)現(xiàn)性學(xué)習(xí)，而間接性繼承機器學(xué)習(xí)需要“理解〞為根底。1/18/20242

第9章機器學(xué)習(xí)與知識發(fā)現(xiàn)

9.1機器學(xué)習(xí)概述

9.2符號學(xué)習(xí)

9.3神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

9.4知識發(fā)現(xiàn)與數(shù)據(jù)挖掘1/18/202439.1機器學(xué)習(xí)概述9.1.1機器學(xué)習(xí)的概念9.1.2機器學(xué)習(xí)的原理9.1.3機器學(xué)習(xí)的分類1/18/202449.1.1機器學(xué)習(xí)的概念心理學(xué)中對學(xué)習(xí)的解釋是：學(xué)習(xí)是指〔人或動物〕依靠經(jīng)驗的獲得而使行為持久變化的過程。Simon認(rèn)為：如果一個系統(tǒng)能夠通過執(zhí)行某種過程而改進它的性能，這就是學(xué)習(xí)。Minsky認(rèn)為：學(xué)習(xí)是在人們頭腦中〔心理內(nèi)部〕進行有用的變化。TomM.Mitchell在《機器學(xué)習(xí)》一書中對學(xué)習(xí)的定義是：對于某類任務(wù)T和性能度P，如果一個計算機程序在T上以P衡量的性能隨著經(jīng)驗E而自我完善，那么，我們稱這個計算機程序從經(jīng)驗E中學(xué)習(xí)。當(dāng)前關(guān)于機器學(xué)習(xí)的許多文獻中也大都認(rèn)為：學(xué)習(xí)是系統(tǒng)積累經(jīng)驗以改善其自身性能的過程。1/18/20245總之：①學(xué)習(xí)與經(jīng)驗有關(guān)；②學(xué)習(xí)可以改善系統(tǒng)性能；③學(xué)習(xí)是一個有反響的信息處理與控制過程。因為經(jīng)驗是在系統(tǒng)與環(huán)境的交互過程中產(chǎn)生的，而經(jīng)驗中應(yīng)該包含系統(tǒng)輸入、響應(yīng)和效果等信息。因此經(jīng)驗的積累、性能的完善正是通過重復(fù)這一過程而實現(xiàn)的。1/18/202469.1.2機器學(xué)習(xí)的原理圖9-1機器學(xué)習(xí)原理1②③①記憶學(xué)習(xí)、基于范例的學(xué)習(xí)希望能在積累的經(jīng)驗中發(fā)現(xiàn)規(guī)律〔知識〕，然后利用知識來指導(dǎo)行為經(jīng)驗積累過程緩慢經(jīng)驗不可靠1/18/20247圖9-2機器學(xué)習(xí)原理2

1/18/20248圖9-3機器學(xué)習(xí)原理31/18/20249圖9-4機器學(xué)習(xí)原理41/18/202410圖9-5機器學(xué)習(xí)原理51/18/2024119.1.3機器學(xué)習(xí)的分類1.基于學(xué)習(xí)策略的分類〔1〕模擬人腦的機器學(xué)習(xí)●符號學(xué)習(xí)：模擬人腦的宏觀心理級學(xué)習(xí)過程，以認(rèn)知心理學(xué)原理為根底，以符號數(shù)據(jù)為輸入，以符號運算為方法，用推理過程在圖或狀態(tài)空間中搜索，學(xué)習(xí)的目標(biāo)為概念或規(guī)那么等。符號學(xué)習(xí)的典型方法有：記憶學(xué)習(xí)、例如學(xué)習(xí)、演繹學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)等?！裆窠?jīng)網(wǎng)絡(luò)學(xué)習(xí)〔或連接學(xué)習(xí)〕：模擬人腦的微觀生理級學(xué)習(xí)過程，以腦和神經(jīng)科學(xué)原理為根底，以人工神經(jīng)網(wǎng)絡(luò)為函數(shù)結(jié)構(gòu)模型，以數(shù)值數(shù)據(jù)為輸入，以數(shù)值運算為方法，用迭代過程在系數(shù)向量空間中搜索，學(xué)習(xí)的目標(biāo)為函數(shù)。典型的連接學(xué)習(xí)有權(quán)值修正學(xué)習(xí)、拓撲結(jié)構(gòu)學(xué)習(xí)。1/18/202412〔2〕直接采用數(shù)學(xué)方法的機器學(xué)習(xí)●主要有統(tǒng)計機器學(xué)習(xí)〔貝葉斯學(xué)習(xí)、貝葉斯網(wǎng)絡(luò)學(xué)習(xí)、幾何分類學(xué)習(xí)、支持向量機SVM〕。2.基于學(xué)習(xí)方法的分類〔1〕歸納學(xué)習(xí)●符號歸納學(xué)習(xí)：典型的符號歸納學(xué)習(xí)有例如學(xué)習(xí)，決策樹學(xué)習(xí)?！窈瘮?shù)歸納學(xué)習(xí)〔發(fā)現(xiàn)學(xué)習(xí)〕：典型的函數(shù)歸納學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、例如學(xué)習(xí)，發(fā)現(xiàn)學(xué)習(xí)，統(tǒng)計學(xué)習(xí)?！?〕演繹學(xué)習(xí)〔3〕類比學(xué)習(xí)：典型的類比學(xué)習(xí)有案例〔范例〕學(xué)習(xí)?！?〕分析學(xué)習(xí)：典型的分析學(xué)習(xí)有案例〔范例〕學(xué)習(xí)、解釋學(xué)習(xí)。1/18/2024133.基于學(xué)習(xí)方式的分類〔1〕有導(dǎo)師學(xué)習(xí)〔監(jiān)督學(xué)習(xí)〕：輸入數(shù)據(jù)中有導(dǎo)師信號，以概率函數(shù)、代數(shù)函數(shù)或人工神經(jīng)網(wǎng)絡(luò)為基函數(shù)模型，采用迭代計算方法，學(xué)習(xí)結(jié)果為函數(shù)。〔2〕無導(dǎo)師學(xué)習(xí)〔非監(jiān)督學(xué)習(xí)〕：輸入數(shù)據(jù)中無導(dǎo)師信號，采用聚類方法，學(xué)習(xí)結(jié)果為類別。典型的無導(dǎo)師學(xué)習(xí)有發(fā)現(xiàn)學(xué)習(xí)、聚類、競爭學(xué)習(xí)等?！?〕強化學(xué)習(xí)〔增強學(xué)習(xí)〕：以環(huán)境反響〔獎/懲信號〕作為輸入，以統(tǒng)計和動態(tài)規(guī)劃技術(shù)為指導(dǎo)的一種學(xué)習(xí)方法。1/18/2024144.基于數(shù)據(jù)形式的分類〔1〕結(jié)構(gòu)化學(xué)習(xí)：以結(jié)構(gòu)化數(shù)據(jù)為輸入，以數(shù)值計算或符號推演為方法。典型的結(jié)構(gòu)化學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、統(tǒng)計學(xué)習(xí)、決策樹學(xué)習(xí)、規(guī)那么學(xué)習(xí)?！?〕非結(jié)構(gòu)化學(xué)習(xí)：以非結(jié)構(gòu)化數(shù)據(jù)為輸入，典型的非結(jié)構(gòu)化學(xué)習(xí)有類比學(xué)習(xí)、案例學(xué)習(xí)、解釋學(xué)習(xí)、文本挖掘、圖像挖掘、Web挖掘等。1/18/2024155.基于學(xué)習(xí)目標(biāo)的分類〔1〕概念學(xué)習(xí)：即學(xué)習(xí)的目標(biāo)和結(jié)果為概念，或者說是為了獲得概念的一種學(xué)習(xí)。典型的概念學(xué)習(xí)有例如學(xué)習(xí)。〔2〕規(guī)那么學(xué)習(xí)：即學(xué)習(xí)的目標(biāo)和結(jié)果為規(guī)那么，或者說是為了獲得規(guī)那么的一種學(xué)習(xí)。典型的規(guī)那么學(xué)習(xí)有決策樹學(xué)習(xí)?！?〕函數(shù)學(xué)習(xí)：即學(xué)習(xí)的目標(biāo)和結(jié)果為規(guī)那么，或者說是為了獲得函數(shù)的一種學(xué)習(xí)。典型的函數(shù)學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)?！?〕類別學(xué)習(xí)：即學(xué)習(xí)的目標(biāo)和結(jié)果為對象類，或者說是為了獲得類別的一種學(xué)習(xí)。典型的類別學(xué)習(xí)有聚類分析?！?〕貝葉斯網(wǎng)絡(luò)學(xué)習(xí)：即學(xué)習(xí)的目標(biāo)和結(jié)果是貝葉斯網(wǎng)絡(luò)，或者說是為了獲得貝葉斯網(wǎng)絡(luò)的一種學(xué)習(xí)。其又可分為結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)。1/18/2024169.2符號學(xué)習(xí)9.2.1記憶學(xué)習(xí)9.2.2例如學(xué)習(xí)9.2.3決策樹學(xué)習(xí)9.2.4演繹學(xué)習(xí)9.2.5類比學(xué)習(xí)1/18/2024179.2.1記憶學(xué)習(xí)

記憶學(xué)習(xí)又稱死記硬背學(xué)習(xí)或機械學(xué)習(xí)，這種學(xué)習(xí)方法不要求系統(tǒng)具有對復(fù)雜問題求解的能力，也就是沒有推理能力，系統(tǒng)的學(xué)習(xí)方法就是直接記錄與問題有關(guān)的信息，然后檢索并利用這些存儲的信息來解決問題。

AAvS1/18/202418記憶學(xué)習(xí)是基于記憶和檢索的方法，學(xué)習(xí)方法簡單,但學(xué)習(xí)系統(tǒng)需要幾種能力：(1)能實現(xiàn)有組織的存儲信息。(2)能進行信息綜合。(3)能控制檢索方向。當(dāng)存儲對象愈多時,其中可能有多個對象與給定的狀態(tài)有關(guān)，這樣就要求程序能從有關(guān)的存儲對象中進行選擇，以便把注意力集中到有希望的方向上來。1/18/2024199.2.2例如學(xué)習(xí)例如學(xué)習(xí)也稱實例學(xué)習(xí),它是一種歸納學(xué)習(xí)。例如學(xué)習(xí)是從假設(shè)干實例(包括正例和反例)中歸納出一般概念或規(guī)那么的學(xué)習(xí)方法。圖9-6第一個拱橋的語義網(wǎng)絡(luò)圖9-7第二個拱橋的語義網(wǎng)絡(luò)1/18/202420圖9-8學(xué)習(xí)程序歸納出的語義網(wǎng)絡(luò)圖9-9拱橋概念的語義網(wǎng)絡(luò)1/18/202421例9.1假設(shè)例如空間中有橋牌中"同花"概念的兩個例如:例如1：花色(c1，梅花)∧花色(c2，梅花)∧花色(c3，梅花)∧花色(c4，梅花)→同花(c1，c2，c3，c4)例如2：花色(c1，紅桃)∧花色(c2，紅桃)∧花色(c3，紅桃)∧花色(c4，紅桃)→同花(c1，c2，c3，c4)關(guān)于同花的一般性規(guī)那么:花色(c1，x)∧花色(c2，x)∧花色(c3，x)∧花色(c4，x)→同花(c1，c2，c3，c4)1/18/202422對于這個問題可采用通常的曲線擬合技術(shù)，歸納出規(guī)那么：(x，y，2x+3y+1)即 z＝2x＋3y＋1例9.2假設(shè)例如空間存放有如下的三個例如：例如1：(0，2，7)例如2：(6，-1，10)例如3：(-1，-5，-10)這是三個3維向量，表示空間中的三個點?，F(xiàn)要求求出過這三點的曲線。1/18/2024239.2.3決策樹學(xué)習(xí)

1．什么是決策樹

2.怎樣學(xué)習(xí)決策樹

3.ID3算法

1/18/2024241．什么是決策樹決策樹(decisiontree)也稱判定樹，它是由對象的假設(shè)干屬性、屬性值和有關(guān)決策組成的一棵樹。其中的節(jié)點為屬性〔一般為語言變量〕，分枝〔邊〕為相應(yīng)的屬性值〔一般為語言值〕。從同一節(jié)點出發(fā)的各個分枝之間是邏輯“或〞關(guān)系；根節(jié)點為對象的某一個屬性；從根節(jié)點到每一個葉子節(jié)點的所有節(jié)點和邊，按順序串連成一條分枝路徑，位于同一條分枝路徑上的各個“屬性-值〞對之間是邏輯“與〞關(guān)系，葉子節(jié)點為這個與關(guān)系的對應(yīng)結(jié)果，即決策。1/18/202425圖9-10決策樹示意圖

規(guī)那么：A=a1且B=b1那么d11/18/202426例9.3以下圖所示是機場指揮臺關(guān)于飛機起飛的簡單決策樹。1/18/202427例9.4以下圖是一個描述“兔子〞概念的決策樹。1/18/2024282.怎樣學(xué)習(xí)決策樹決策樹學(xué)習(xí)首先要有一個實例集。對實例集的要求：實例集中的實例都含有假設(shè)干“屬性-值〞對和一個相應(yīng)的決策、結(jié)論或結(jié)果。一個實例集中的實例要求是相容的，即相同的前提不能有不同的結(jié)論。對實例集中的結(jié)論不能完全相同也不能完全不同。否那么該實例集無學(xué)習(xí)意義。1/18/202429決策樹學(xué)習(xí)的根本方法和步驟：首先，選取一個屬性，按這個屬性的不同取值對實例集進行分類；并以該屬性作為根節(jié)點，以這個屬性的諸取值作為根節(jié)點的分枝，進行畫樹。然后，考察所得的每一個子類，看其中的實例的結(jié)論是否完全相同。如果完全相同，那么以這個相同的結(jié)論作為相應(yīng)分枝路徑末端的葉子節(jié)點；否那么，選取一個非父節(jié)點的屬性，按這個屬性的不同取值對該子集進行分類，并以該屬性作為節(jié)點，以這個屬性的諸取值作為節(jié)點的分枝，繼續(xù)進行畫樹。如此繼續(xù)，直到所分的子集全都滿足：實例結(jié)論完全相同，而得到所有的葉子節(jié)點為止。1/18/202430●決策樹學(xué)習(xí)舉例設(shè)表9.1所示的是某保險公司的汽車駕駛保險類別劃分的局部事例。我們將這張表作為一個實例集，用決策樹學(xué)習(xí)來歸納該保險公司的汽車駕駛保險類別劃分規(guī)那么。1/18/202431表9.1汽車駕駛保險類別劃分實例集

1/18/202432將實例集簡記為S={(1,C),(2,C),(3,C),(4,B),(5,A),(6,A),(7,C),(8,B),(9,A),(10,A),(11,B),(12,B)}其中每個元組表示一個實例，前面的數(shù)字為實例序號，后面的字母為實例的決策項保險類別。用“小〞、“中〞、“大〞分別代表“＜21〞、“≥21且≤25〞、“＞25〞這三個年齡段。1/18/202433對于S，我們按屬性“性別〞的不同取值將其分類。由表9.1可見，這時S應(yīng)被分類為兩個子集：S1={(3,C),(4,B),(7,C),(8,B),(11,B),(12,B)}S2={(1,C),(2,C),(5,A),(6,A),(9,A),(10,A)}于是，我們得到以性別作為根節(jié)點的局部決策樹〔見以下圖〕。1/18/202434

決策樹生成過程

1/18/202435

決策樹生成過程

1/18/202436

決策樹生成過程

1/18/202437最后生成的決策樹

1/18/202438由決策樹所得的規(guī)那么集：①女性且年齡在25歲以上，那么給予A類保險；②女性且年齡在21歲到25歲之間，那么給予A類保險；③女性且年齡在21歲以下，那么給予C類保險；④男性且年齡在25歲以上，那么給予B類保險；⑤男性且年齡在21歲到25歲之間且未婚，那么給予C類保險；⑥男性且年齡在21歲到25歲之間且已婚，那么給予B類保險；⑦男性且年齡在21歲以下且未婚，那么給予C類保險；⑧男性且年齡在21歲以下且已婚，那么給予B類保險。1/18/2024393.ID3算法ID3算法是一個經(jīng)典的決策樹學(xué)習(xí)算法，由Quinlan于1979年提出。ID3算法的根本思想是，以信息熵為度量，用于決策樹節(jié)點的屬性選擇，每次優(yōu)先選取信息量最多的屬性，亦即能使熵值變成最小的屬性，以構(gòu)造一棵熵值下降最快的決策樹，到葉子節(jié)點處的熵值為0。此時，每個葉子節(jié)點對應(yīng)的實例集中的實例屬于同一類。1/18/202440〔1〕信息熵和條件熵設(shè)S是一個實例集(S也可以是子實例集),A為S中實例的一個屬性。H(S)和H(S|A)分別稱為實例集S的信息熵和條件熵,其計算公式如下:其中,μi(i=1,2,…,n)為S中各實例所有可能的結(jié)論；lb即log2。其中,ak(k=1,2,…,m)為屬性A的取值,Sak為按屬性A對實例集S進行分類時所得諸子類中與屬性值ak對應(yīng)的那個子類。1/18/202441〔2〕基于條件熵的屬性選擇按性別劃分,實例集S被分為兩個子類:S男={(3,C),(4,B),(7,C),(8,B),(11,B),(12,B)}S女

={(1,C),(2,C),(5,A),(6,A),(9,A),(10,A)}從而,對子集S男而言,對子集S女而言,1/18/202442于是,由公式(9-1)有:1/18/202443又

1/18/202444將以上3式代入公式(9-2)得:用同樣的方法可求得:可見,條件熵H(S|性別)為最小,所以,應(yīng)取“性別〞這一屬性對實例集進行分類,即以“性別〞作為決策樹的根節(jié)點。1/18/202445〔3〕決策樹學(xué)習(xí)的開展繼ID3算法之后，1986、1988年相繼提出ID4和ID5算法。1993年Quinlan那么進一步將ID3開展為C4.5算法。還有著名的決策樹學(xué)習(xí)算法CART〔ClassificationandRegressionTrees〕。多變量決策樹算法GA-NN-C4.5算法SVM決策樹算法1/18/202446

9.3神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)9.3.1生物神經(jīng)元9.3.2人工神經(jīng)元9.3.3神經(jīng)網(wǎng)絡(luò)9.3.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)9.3.5BP網(wǎng)絡(luò)及其學(xué)習(xí)舉例1/18/202447生物神經(jīng)元

生物神經(jīng)元的根本結(jié)構(gòu)1/18/202448人工神經(jīng)元

人工神經(jīng)元結(jié)構(gòu)模型人工神經(jīng)元的輸入、輸出關(guān)系可描述為：

1/18/202449神經(jīng)元特性函數(shù)

1.閾值型2.S型

3.分段線性型

1/18/202450神經(jīng)元特性函數(shù)1/18/2024519.3.3神經(jīng)網(wǎng)絡(luò)1.分層前向網(wǎng)絡(luò)2.反響前向網(wǎng)絡(luò)3.互連前向網(wǎng)絡(luò)4.廣泛互連網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型1/18/202452神經(jīng)網(wǎng)絡(luò)至少可以實現(xiàn)如下功能：——數(shù)學(xué)上的映射逼近——數(shù)據(jù)聚類、壓縮通過自組織方式對所選輸入模式聚類——優(yōu)化計算和組合優(yōu)化問題求解——模式分類——概率密度函數(shù)的估計1/18/202453神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)〔訓(xùn)練〕是神經(jīng)網(wǎng)絡(luò)的重要特征之一。神經(jīng)網(wǎng)絡(luò)能夠通過學(xué)習(xí)，改變其內(nèi)部狀態(tài)，使輸入-輸出呈現(xiàn)某種規(guī)律性。網(wǎng)絡(luò)學(xué)習(xí)一般是利用一組稱為樣本的數(shù)據(jù)，作為網(wǎng)絡(luò)的輸入〔和輸出〕，網(wǎng)絡(luò)按照一定的訓(xùn)練規(guī)那么〔又稱學(xué)習(xí)規(guī)那么或?qū)W習(xí)算法〕自動調(diào)節(jié)神經(jīng)元之間的連接強度或拓撲結(jié)構(gòu)，當(dāng)網(wǎng)絡(luò)的實際輸出滿足期望的要求，或者趨于穩(wěn)定時，那么認(rèn)為學(xué)習(xí)成功。學(xué)習(xí)規(guī)那么權(quán)值修正學(xué)派相關(guān)規(guī)那么〔Hebb規(guī)那么〕誤差修正規(guī)那么〔δ學(xué)習(xí)規(guī)那么〕結(jié)構(gòu)修正學(xué)派1/18/202454Hebb規(guī)那么：如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時處于興奮狀態(tài)，那么兩個神經(jīng)元之間的連接強度應(yīng)該加強。

Wij〔t＋1〕修正一次后的某一權(quán)值η為正常量，為學(xué)習(xí)因子Xi(t),Xj(t)分別表示在t時刻i，j神經(jīng)元的狀態(tài)

1/18/202455

最根本的誤差修正規(guī)那么,即δ學(xué)習(xí)規(guī)那么：步1選擇一組初始權(quán)值Wij(0)。步2計算某一輸入模式對應(yīng)的實際輸出與期望輸出的誤差。步3用下式更新權(quán)值(閾值可視為輸入恒為-1的一個權(quán)值)Wij(t＋1)=Wij(t)＋η［dj－yj(t)］xi(t)步4返回步2，直到對所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。1/18/2024562.學(xué)習(xí)方法分類

表9.2神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法的常見分類

1/18/2024579.3.5BP網(wǎng)絡(luò)及其學(xué)習(xí)舉例BP(Back-Propagation)網(wǎng)絡(luò)的特點：(1)BP網(wǎng)絡(luò)的拓撲結(jié)構(gòu)為分層前向網(wǎng)絡(luò)。(2)神經(jīng)元的特性函數(shù)為Sigmoid型(S型)函數(shù),一般取為

(3)輸入為連續(xù)信號量(實數(shù))。(4)學(xué)習(xí)方式為有導(dǎo)師學(xué)習(xí)。(5)學(xué)習(xí)算法為推廣的δ學(xué)習(xí)規(guī)那么,稱為誤差反向傳播算法,簡稱BP學(xué)習(xí)算法。1/18/202458BP網(wǎng)絡(luò)舉例1/18/202459BP學(xué)習(xí)算法：步1初始化網(wǎng)絡(luò)權(quán)值、閾值及有關(guān)參數(shù)。步2計算總誤差

其中p為樣本個數(shù)，ykj為輸出層節(jié)點j對第k個樣本的輸入對應(yīng)的輸出〔稱為期望輸出〕，ykj′為節(jié)點j的實際輸出。如果誤差E滿足要求，學(xué)習(xí)成功。步3對樣本集中各個樣本依次重復(fù)以下過程，然后轉(zhuǎn)步2。1/18/202460

首先，取一樣本數(shù)據(jù)輸入網(wǎng)絡(luò)，然后按如下公式向前計算各層節(jié)點(記為j)的輸出：

其次，從輸出層節(jié)點到輸入層節(jié)點以反向順序，對各連接權(quán)值wij按下面的公式進行修正：

對于輸出節(jié)點對于中間節(jié)點1/18/202461中間層的誤差項：對受隱藏單元影響的誤差δl進行加權(quán)求和，每個誤差δl權(quán)值為wlj，wlj這個就是從隱藏單元j到輸出單元l的權(quán)值，這個權(quán)值刻畫了隱藏單元j對輸出單元l的誤差應(yīng)“負責(zé)〞的程度。對每個訓(xùn)練樣例k，利用有關(guān)這個樣例的誤差Ek的梯度修正權(quán)值，對每一個訓(xùn)練樣例k，每個權(quán)被增加Δwij，即1/18/202462

算法中的δj稱為節(jié)點j的誤差。它的來歷如下:

令1/18/202463又當(dāng)j為輸出節(jié)點時：當(dāng)j為中間節(jié)點時1/18/202464可以看出，(9―3)式中Ek是網(wǎng)絡(luò)輸出ykj(j=1，2，…，n)的函數(shù)，而ykj又是權(quán)值wij的函數(shù)，所以，Ek實際是wij的函數(shù)。網(wǎng)絡(luò)學(xué)習(xí)的目的就是要使這個誤差函數(shù)到達最小值。(9―4)式及δ的定義，就是用梯度下降法，在權(quán)值空間沿負梯度方向調(diào)整權(quán)值wij，以使(9―3)式所示的準(zhǔn)那么函數(shù)到達最小。所以，BP網(wǎng)絡(luò)的學(xué)習(xí)過程就是一個非線性優(yōu)化過程。1/18/202465由于BP網(wǎng)絡(luò)的輸入(x1,x2,…，xn)∈Rn，輸出(y1,y2,…，ym)∈Rm，所以一個BP網(wǎng)絡(luò)其實就是一個從n維空間到m維空間的高度非線性映射。通過學(xué)習(xí)，BP網(wǎng)絡(luò)可以在任意希望的精度上逼近任意的連續(xù)函數(shù)。所以BP網(wǎng)絡(luò)可以作為一種函數(shù)估計器。BP網(wǎng)絡(luò)的相鄰兩層的節(jié)點之間的連接權(quán)值wij構(gòu)成一個矩陣，而輸入又是一個向量，所以，網(wǎng)絡(luò)學(xué)習(xí)中要屢次用到矩陣運算。1/18/202466例9.5設(shè)計一個BP網(wǎng)絡(luò),對下表所示的樣本數(shù)據(jù)進行學(xué)習(xí),使學(xué)成的網(wǎng)絡(luò)能解決類似的模式分類問題。

輸入輸出x1

x2

x3y1

y2

y30.30.80.10.70.10.30.60.60.610001