第八講 人工神經(jīng)網(wǎng)絡(luò)(精簡(jiǎn)版)

1、人工神經(jīng)網(wǎng)絡(luò)內(nèi)容安排內(nèi)容安排一、生物神經(jīng)元二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)三、神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法神經(jīng)計(jì)算n大腦模型生物神經(jīng)系統(tǒng)生物神經(jīng)系統(tǒng)n生物神經(jīng)系統(tǒng)是一個(gè)有高度組織和相互作用的數(shù)生物神經(jīng)系統(tǒng)是一個(gè)有高度組織和相互作用的數(shù)量巨大的細(xì)胞組織群體。人類大腦的神經(jīng)細(xì)胞大量巨大的細(xì)胞組織群體。人類大腦的神經(jīng)細(xì)胞大約在約在10101111一一10101313個(gè)左右。神經(jīng)細(xì)胞也稱神經(jīng)元，是個(gè)左右。神經(jīng)細(xì)胞也稱神經(jīng)元，是神經(jīng)系統(tǒng)的基本單元，它們按不同的結(jié)合方式構(gòu)神經(jīng)系統(tǒng)的基本單元，它們按不同的結(jié)合方式構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。通過(guò)神經(jīng)元及其聯(lián)接的可成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。通過(guò)神經(jīng)元及其聯(lián)接的可塑性，使得大腦具有學(xué)習(xí)、記憶和

2、認(rèn)知等各種智塑性，使得大腦具有學(xué)習(xí)、記憶和認(rèn)知等各種智能。能。生物神經(jīng)系統(tǒng)生物神經(jīng)系統(tǒng)n生物神經(jīng)元主要由以下幾個(gè)部分組成：生物神經(jīng)元主要由以下幾個(gè)部分組成：n胞體，是神經(jīng)細(xì)胞的本體胞體，是神經(jīng)細(xì)胞的本體; ;n樹突樹突，用以接受來(lái)自其它細(xì)胞元的信號(hào)用以接受來(lái)自其它細(xì)胞元的信號(hào); ;n軸突，用以輸出信號(hào)，與多個(gè)神經(jīng)元連接軸突，用以輸出信號(hào)，與多個(gè)神經(jīng)元連接; ;n突觸，是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)系的特殊部突觸，是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)系的特殊部位，通過(guò)神經(jīng)元軸突的端部靠化學(xué)接觸和電接觸將信位，通過(guò)神經(jīng)元軸突的端部靠化學(xué)接觸和電接觸將信號(hào)傳遞給下一個(gè)神經(jīng)元的樹突或胞體。號(hào)傳遞給下一個(gè)神經(jīng)

3、元的樹突或胞體。 生物神經(jīng)元示意圖 生物神經(jīng)元的基本工作機(jī)制生物神經(jīng)元的基本工作機(jī)制 一個(gè)神經(jīng)元有兩種狀態(tài)一個(gè)神經(jīng)元有兩種狀態(tài)- -興奮和抑制。平時(shí)處于抑制興奮和抑制。平時(shí)處于抑制狀態(tài)的神經(jīng)元，其樹突和胞體接受其它神經(jīng)元經(jīng)由突觸狀態(tài)的神經(jīng)元，其樹突和胞體接受其它神經(jīng)元經(jīng)由突觸傳來(lái)的興奮電位，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式傳來(lái)的興奮電位，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加；如輸入興奮總量超過(guò)閾值，神經(jīng)元被激發(fā)進(jìn)入興疊加；如輸入興奮總量超過(guò)閾值，神經(jīng)元被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，由軸突的突觸傳遞給其它神經(jīng)奮狀態(tài)，發(fā)出輸出脈沖，由軸突的突觸傳遞給其它神經(jīng)元。元。一個(gè)神經(jīng)元的興奮和抑制兩種狀

4、態(tài)是由細(xì)胞膜內(nèi)外之間不同的電位差來(lái)表征的。一個(gè)神經(jīng)元的興奮和抑制兩種狀態(tài)是由細(xì)胞膜內(nèi)外之間不同的電位差來(lái)表征的。在抑制狀態(tài)，細(xì)胞膜內(nèi)外之間有內(nèi)負(fù)外正的電位差，這個(gè)電位差大約在在抑制狀態(tài)，細(xì)胞膜內(nèi)外之間有內(nèi)負(fù)外正的電位差，這個(gè)電位差大約在-50-100mv之間。在興奮狀態(tài)，則產(chǎn)生內(nèi)正外負(fù)的相反電位差，這時(shí)表現(xiàn)為約之間。在興奮狀態(tài)，則產(chǎn)生內(nèi)正外負(fù)的相反電位差，這時(shí)表現(xiàn)為約60100mv的電脈沖。細(xì)胞膜內(nèi)外的電位差是由膜內(nèi)外的離子濃度不同導(dǎo)致的。細(xì)胞的電脈沖。細(xì)胞膜內(nèi)外的電位差是由膜內(nèi)外的離子濃度不同導(dǎo)致的。細(xì)胞的興奮電脈沖寬度一般大約為的興奮電脈沖寬度一般大約為1ms。 生物神經(jīng)特性生物神經(jīng)特性(

5、1)(1)并行分布處理的工作模式并行分布處理的工作模式 實(shí)際上大腦中單個(gè)神經(jīng)元的信息處理速度是很慢的，每次約實(shí)際上大腦中單個(gè)神經(jīng)元的信息處理速度是很慢的，每次約1 1毫秒毫秒(ms)(ms)，比通常的電子門電路要慢幾個(gè)數(shù)量級(jí)。每個(gè)神經(jīng)元的處理功，比通常的電子門電路要慢幾個(gè)數(shù)量級(jí)。每個(gè)神經(jīng)元的處理功能也很有限，估計(jì)不會(huì)比計(jì)算機(jī)的一條指令更復(fù)雜。能也很有限，估計(jì)不會(huì)比計(jì)算機(jī)的一條指令更復(fù)雜。 但是人腦對(duì)某但是人腦對(duì)某一復(fù)雜過(guò)程的處理和反應(yīng)卻很快，一般只需幾百毫秒。例如要判定一復(fù)雜過(guò)程的處理和反應(yīng)卻很快，一般只需幾百毫秒。例如要判定人眼看到的兩個(gè)圖形是否一樣，實(shí)際上約需人眼看到的兩個(gè)圖形是否一樣，實(shí)

6、際上約需400ms400ms，而在這個(gè)處理過(guò)，而在這個(gè)處理過(guò)程中，與腦神經(jīng)系統(tǒng)的一些主要功能，如視覺(jué)、記億、推理等有關(guān)。程中，與腦神經(jīng)系統(tǒng)的一些主要功能，如視覺(jué)、記億、推理等有關(guān)。按照上述神經(jīng)元的處理速度，如果采用串行工作模式，就必須在幾按照上述神經(jīng)元的處理速度，如果采用串行工作模式，就必須在幾百個(gè)串行步內(nèi)完成，這實(shí)際上是不可能辦到的。因此只能把它看成百個(gè)串行步內(nèi)完成，這實(shí)際上是不可能辦到的。因此只能把它看成是一個(gè)由眾多神經(jīng)元所組成的超高密度的并行處理系統(tǒng)。例如在一是一個(gè)由眾多神經(jīng)元所組成的超高密度的并行處理系統(tǒng)。例如在一張照片尋找一個(gè)熟人的面孔，對(duì)人腦而言，幾秒鐘便可完成，但如張照片尋找一個(gè)

7、熟人的面孔，對(duì)人腦而言，幾秒鐘便可完成，但如用計(jì)算機(jī)來(lái)處理，以現(xiàn)有的技術(shù)，是不可能在短時(shí)間內(nèi)完成的。由用計(jì)算機(jī)來(lái)處理，以現(xiàn)有的技術(shù)，是不可能在短時(shí)間內(nèi)完成的。由此可見(jiàn)，大腦信息處理的并行速度已達(dá)到了極高的程度此可見(jiàn)，大腦信息處理的并行速度已達(dá)到了極高的程度生物神經(jīng)特性生物神經(jīng)特性(2)(2)神經(jīng)系統(tǒng)的可塑性和自組織性。神經(jīng)系統(tǒng)的可塑性和自組織性。 神經(jīng)系統(tǒng)的可塑性和自組織性與人腦的生長(zhǎng)發(fā)育過(guò)程神經(jīng)系統(tǒng)的可塑性和自組織性與人腦的生長(zhǎng)發(fā)育過(guò)程有關(guān)。例如，人的幼年時(shí)期約在有關(guān)。例如，人的幼年時(shí)期約在9 9歲左右，學(xué)習(xí)語(yǔ)言的能歲左右，學(xué)習(xí)語(yǔ)言的能力十分強(qiáng)，說(shuō)明在幼年時(shí)期，大腦的可塑性和柔軟性特別力十分

8、強(qiáng)，說(shuō)明在幼年時(shí)期，大腦的可塑性和柔軟性特別良好。從生理學(xué)的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接良好。從生理學(xué)的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時(shí)還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。例狀態(tài)的變化，同時(shí)還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。例如在某一外界信息反復(fù)刺激下接受該信息的神經(jīng)細(xì)胞之如在某一外界信息反復(fù)刺激下接受該信息的神經(jīng)細(xì)胞之間的突觸結(jié)合強(qiáng)度會(huì)增強(qiáng)。這種可塑性反映出大腦功能既間的突觸結(jié)合強(qiáng)度會(huì)增強(qiáng)。這種可塑性反映出大腦功能既有先天的制約因素，也有可能通過(guò)后天的訓(xùn)練和學(xué)習(xí)而得有先天的制約因素，也有可能通過(guò)后天的訓(xùn)練和學(xué)習(xí)而得到加強(qiáng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制就是基于這種可塑性現(xiàn)象，到加強(qiáng)。神

9、經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制就是基于這種可塑性現(xiàn)象，并通過(guò)修正突觸的結(jié)合強(qiáng)度來(lái)實(shí)現(xiàn)的。并通過(guò)修正突觸的結(jié)合強(qiáng)度來(lái)實(shí)現(xiàn)的。生物神經(jīng)特性生物神經(jīng)特性(3)(3)信息處理與信息存貯合二為一。信息處理與信息存貯合二為一。 大腦中的信息處理與信息存貯是有機(jī)結(jié)合在一起的，而不像現(xiàn)行計(jì)大腦中的信息處理與信息存貯是有機(jī)結(jié)合在一起的，而不像現(xiàn)行計(jì)算機(jī)那樣存貯地址和存貯內(nèi)容是彼此分開的。由于大腦神經(jīng)元兼有算機(jī)那樣存貯地址和存貯內(nèi)容是彼此分開的。由于大腦神經(jīng)元兼有信息處理和存貯功能，所以在進(jìn)行回億時(shí)，不但不存在先找存貯地址信息處理和存貯功能，所以在進(jìn)行回億時(shí)，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容的問(wèn)題，而且還可以由一部分內(nèi)

10、容恢復(fù)全部?jī)?nèi)容而后再調(diào)出所存內(nèi)容的問(wèn)題，而且還可以由一部分內(nèi)容恢復(fù)全部?jī)?nèi)容. .(4)(4)信息處理的系統(tǒng)性信息處理的系統(tǒng)性 大腦是一個(gè)復(fù)雜的大規(guī)模信息處理系統(tǒng)，單個(gè)的元大腦是一個(gè)復(fù)雜的大規(guī)模信息處理系統(tǒng)，單個(gè)的元“神經(jīng)元神經(jīng)元”不能不能體現(xiàn)全體宏觀系統(tǒng)的功能。實(shí)際上，可以將大腦的各個(gè)部位看成是一體現(xiàn)全體宏觀系統(tǒng)的功能。實(shí)際上，可以將大腦的各個(gè)部位看成是一個(gè)大系統(tǒng)中的許多子系統(tǒng)。各個(gè)子系統(tǒng)之間具有很強(qiáng)的相互聯(lián)系，一個(gè)大系統(tǒng)中的許多子系統(tǒng)。各個(gè)子系統(tǒng)之間具有很強(qiáng)的相互聯(lián)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如，視覺(jué)系統(tǒng)和運(yùn)動(dòng)系統(tǒng)些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如，視覺(jué)系統(tǒng)和運(yùn)動(dòng)系統(tǒng)就

11、存在很強(qiáng)的系統(tǒng)聯(lián)系，可以相互協(xié)調(diào)各種信息處理功能就存在很強(qiáng)的系統(tǒng)聯(lián)系，可以相互協(xié)調(diào)各種信息處理功能生物神經(jīng)特性生物神經(jīng)特性(5)(5)能接受和處理模糊的、模擬的、隨機(jī)的信息。能接受和處理模糊的、模擬的、隨機(jī)的信息。(6)(6)求滿意解而不是精確解求滿意解而不是精確解. .人類處理日常行為時(shí)，往往都不人類處理日常行為時(shí)，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問(wèn)是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問(wèn)題為原則，即求得滿意解就行了。題為原則，即求得滿意解就行了。(7)(7)系統(tǒng)具有魯棒性和容錯(cuò)性系統(tǒng)具有魯棒性和容錯(cuò)性人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)n人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)

12、絡(luò)n人工神經(jīng)元模型人工神經(jīng)元模型n常見(jiàn)響應(yīng)函數(shù)常見(jiàn)響應(yīng)函數(shù)n人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的進(jìn)展n初創(chuàng)階段（二十世紀(jì)四十年代至六十年代） n19431943年，美國(guó)心理學(xué)家W. S. MccullochW. S. Mcculloch和數(shù)理邏輯學(xué)家W. Pitts 合作，以數(shù)學(xué)邏輯為研究手段，探討了客觀事件在神經(jīng)網(wǎng)絡(luò)的形式問(wèn)題，在此基礎(chǔ)上提出了神經(jīng)元的數(shù)學(xué)模型，即MP （Mcculloch-PittsMcculloch-Pitts）模型。 n 19601960年，威德羅和霍夫率先把神經(jīng)網(wǎng)絡(luò)用于自動(dòng)控制研究。n過(guò)度階段（二十世紀(jì)六十年代初至七十年代）n M. MinskyM.

13、 Minsky和S. PapertS. Papert經(jīng)過(guò)多年的潛心研究,于19691969年出版了影響深遠(yuǎn)的Perceptron一 書，從理論上證明了以單層感知機(jī)為代表的網(wǎng)絡(luò)系統(tǒng)在某些能力方面的局限性。 n 6060年代末期至8080年代中期，神經(jīng)網(wǎng)絡(luò)控制與整個(gè)神經(jīng)網(wǎng)絡(luò)研究一樣，處于低潮n高潮階段（二十世紀(jì)八十年代）n 19821982和19841984年，美國(guó)加州理工學(xué)院的生物物理學(xué)家，J. Hopfield在美國(guó)科學(xué)院院刊發(fā)表的兩篇文章，有力地推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用，并引發(fā)了研究神經(jīng)網(wǎng)絡(luò)的一次熱潮。 n 8080年代后期以來(lái)，隨著人工神經(jīng)網(wǎng)絡(luò)研究的復(fù)蘇和發(fā)展，對(duì)神經(jīng)網(wǎng)絡(luò)控制的研究也

14、十分活躍。 這方面的研究進(jìn)展主要在神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制和模糊神經(jīng)網(wǎng)絡(luò)控制及其在機(jī)器人控制中的應(yīng)用上n平穩(wěn)發(fā)展階段（二十世紀(jì)九十年代以后） 人工神經(jīng)網(wǎng)絡(luò)的進(jìn)展1.1.可以充分逼近任意復(fù)雜的非線性關(guān)系可以充分逼近任意復(fù)雜的非線性關(guān)系2. 2. 所有定量或定性的信息都等勢(shì)分布貯存于所有定量或定性的信息都等勢(shì)分布貯存于 網(wǎng)絡(luò)內(nèi)的各神經(jīng)網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，故有很強(qiáng)的魯棒性和容錯(cuò)性元，故有很強(qiáng)的魯棒性和容錯(cuò)性3. 3. 采用并行分布處理方法，使得快速進(jìn)行大量運(yùn)算成為可能采用并行分布處理方法，使得快速進(jìn)行大量運(yùn)算成為可能4. 4. 可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)5. 5.

15、能夠同時(shí)處理定量、定性知識(shí)。能夠同時(shí)處理定量、定性知識(shí)。6. 6. 可以通過(guò)軟件和硬件實(shí)現(xiàn)?？梢酝ㄟ^(guò)軟件和硬件實(shí)現(xiàn)。人工神經(jīng)網(wǎng)絡(luò)的特性人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) n直觀理解直觀理解 神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)結(jié)構(gòu)它一般由大量神經(jīng)元組成它一般由大量神經(jīng)元組成n每個(gè)神經(jīng)元只有一個(gè)輸出，可以連接到很多其他的每個(gè)神經(jīng)元只有一個(gè)輸出，可以連接到很多其他的神經(jīng)元神經(jīng)元n每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù)應(yīng)于一個(gè)連接權(quán)系數(shù) n概念概念人工神經(jīng)網(wǎng)絡(luò)是反映人腦結(jié)構(gòu)及功能的一種抽人工神經(jīng)

16、網(wǎng)絡(luò)是反映人腦結(jié)構(gòu)及功能的一種抽象數(shù)學(xué)模型，是由大量神經(jīng)元節(jié)點(diǎn)互連而成的象數(shù)學(xué)模型，是由大量神經(jīng)元節(jié)點(diǎn)互連而成的復(fù)雜網(wǎng)絡(luò)，用以模擬人類進(jìn)行知識(shí)的表示與存復(fù)雜網(wǎng)絡(luò)，用以模擬人類進(jìn)行知識(shí)的表示與存儲(chǔ)以及利用知識(shí)進(jìn)行推理的行為。儲(chǔ)以及利用知識(shí)進(jìn)行推理的行為。人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（ANNANN）可以看成是以人工神經(jīng)元）可以看成是以人工神經(jīng)元為結(jié)點(diǎn)，用有向加權(quán)弧連接起來(lái)的有向圖。在為結(jié)點(diǎn)，用有向加權(quán)弧連接起來(lái)的有向圖。在此有向圖中此有向圖中，人工神經(jīng)元人工神經(jīng)元就是對(duì)就是對(duì)生物神經(jīng)元生物神經(jīng)元的的模擬，而模擬，而有向弧有向弧則是則是軸突軸突突觸突觸樹突樹突對(duì)的模對(duì)的模擬。有向弧的擬。有向弧的權(quán)值權(quán)

17、值表示相互連接的兩個(gè)人工神表示相互連接的兩個(gè)人工神經(jīng)元間經(jīng)元間相互作用的強(qiáng)弱相互作用的強(qiáng)弱。人工神經(jīng)元模型 n通用模型通用模型n求和操作求和操作n激勵(lì)函數(shù)激勵(lì)函數(shù)f( )yf sn激勵(lì)函數(shù)的基本作用激勵(lì)函數(shù)的基本作用控制輸入對(duì)輸出的激活作用控制輸入對(duì)輸出的激活作用對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換將可能無(wú)限域的輸入變換成指定的有限將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出范圍內(nèi)的輸出為輸出變換函數(shù)，也叫激勵(lì)函數(shù)，往往為輸出變換函數(shù)，也叫激勵(lì)函數(shù)，往往采用采用0 0、1 1二值函數(shù)或形函數(shù)，這三種函二值函數(shù)或形函數(shù)，這三種函數(shù)都是連續(xù)和非線性的，如下圖。數(shù)都是連續(xù)和非線性的，如

18、下圖。001,( )0,xxf xxxb. Sigmoidb. Sigmoid型激發(fā)函數(shù)稱為西格莫伊德（型激發(fā)函數(shù)稱為西格莫伊德（SigmoidSigmoid）函數(shù)，簡(jiǎn)稱函數(shù)，簡(jiǎn)稱S S型函數(shù)，其輸入輸出特性常用對(duì)數(shù)曲線型函數(shù)，其輸入輸出特性常用對(duì)數(shù)曲線或正切曲線等表示。這類曲線反映了神經(jīng)元的飽和或正切曲線等表示。這類曲線反映了神經(jīng)元的飽和特性。特性。S S型函數(shù)是最常用的激發(fā)函數(shù)，它便于應(yīng)用梯型函數(shù)是最常用的激發(fā)函數(shù)，它便于應(yīng)用梯度技術(shù)進(jìn)行搜索求解。度技術(shù)進(jìn)行搜索求解。1( ),0( )11axf xf xe閾值型閾值型對(duì)于這種模型，神經(jīng)元沒(méi)有內(nèi)部狀態(tài)，激發(fā)函數(shù)對(duì)于這種模型，神經(jīng)元沒(méi)有內(nèi)部狀

19、態(tài)，激發(fā)函數(shù) 為一階躍函數(shù)，如上圖（為一階躍函數(shù)，如上圖（a a）所示。這時(shí)，輸出為：）所示。這時(shí)，輸出為：1( ),1( )11axaxef xf xec. c. 雙曲正切函數(shù)（見(jiàn)圖（雙曲正切函數(shù)（見(jiàn)圖（c c）來(lái)取代常規(guī)形）來(lái)取代常規(guī)形函數(shù)，因?yàn)樾魏瘮?shù)的輸出均為正值，而雙曲正函數(shù)，因?yàn)樾魏瘮?shù)的輸出均為正值，而雙曲正切函數(shù)的輸出值可為正或負(fù)。雙曲正切函數(shù)如下切函數(shù)的輸出值可為正或負(fù)。雙曲正切函數(shù)如下式所示：式所示： 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)n人工神經(jīng)網(wǎng)絡(luò)是具有下列特性的有向圖人工神經(jīng)網(wǎng)絡(luò)是具有下列特性的有向圖 n 對(duì)于每個(gè)節(jié)點(diǎn)對(duì)于每個(gè)節(jié)點(diǎn)i i 存在一個(gè)狀態(tài)變量存在一個(gè)狀態(tài)變量x x

20、i i ； n從節(jié)點(diǎn)從節(jié)點(diǎn)j j 至節(jié)點(diǎn)至節(jié)點(diǎn)i ,i ,存在一個(gè)連接權(quán)系數(shù)存在一個(gè)連接權(quán)系數(shù)w wijij；n對(duì)于每個(gè)節(jié)點(diǎn)對(duì)于每個(gè)節(jié)點(diǎn)i i ，存在一個(gè)閾值，存在一個(gè)閾值 i i； n對(duì)于每個(gè)節(jié)點(diǎn)對(duì)于每個(gè)節(jié)點(diǎn) i i ，定義一個(gè)變換函數(shù)，定義一個(gè)變換函數(shù)f fi i ；對(duì)于最一；對(duì)于最一般的情況，此函般的情況，此函 數(shù)取如下的形式數(shù)取如下的形式神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)n神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法學(xué)習(xí)方法n人工神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式人工神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式前向

21、網(wǎng)絡(luò)前向網(wǎng)絡(luò) (a) (a) 從輸出到輸入有反饋的前向網(wǎng)絡(luò)從輸出到輸入有反饋的前向網(wǎng)絡(luò) (b)(b)n用來(lái)存儲(chǔ)某種模式序列用來(lái)存儲(chǔ)某種模式序列層內(nèi)互連前向網(wǎng)絡(luò)層內(nèi)互連前向網(wǎng)絡(luò) (c)(c)n限制層內(nèi)同時(shí)動(dòng)作的神經(jīng)元；分類功能限制層內(nèi)同時(shí)動(dòng)作的神經(jīng)元；分類功能相互結(jié)合型網(wǎng)絡(luò)相互結(jié)合型網(wǎng)絡(luò) (d)(d) 人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)x1x2xny1y2ynx1x2xny1y2yna）b）x1x2xny1y2ynx1x2x3x4y1y2y3y4c）d）n人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重學(xué)習(xí)能力。學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重要內(nèi)容，神經(jīng)

22、網(wǎng)絡(luò)的適應(yīng)性是通過(guò)學(xué)習(xí)實(shí)要內(nèi)容，神經(jīng)網(wǎng)絡(luò)的適應(yīng)性是通過(guò)學(xué)習(xí)實(shí)現(xiàn)的現(xiàn)的. .人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是對(duì)它人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是對(duì)它的訓(xùn)練過(guò)程的訓(xùn)練過(guò)程. . 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法什么是學(xué)習(xí)？什么是學(xué)習(xí)？ 學(xué)習(xí)就是對(duì)信息進(jìn)行編碼學(xué)習(xí)就是對(duì)信息進(jìn)行編碼, ,其目的就是其目的就是通過(guò)向有限個(gè)例子（訓(xùn)練樣本）的學(xué)習(xí)來(lái)通過(guò)向有限個(gè)例子（訓(xùn)練樣本）的學(xué)習(xí)來(lái)找到隱藏在例子背后（即產(chǎn)生這些例子）找到隱藏在例子背后（即產(chǎn)生這些例子）的規(guī)律（如函數(shù)形式）。的規(guī)律（如函數(shù)形式）。 當(dāng)樣本數(shù)據(jù)改變系統(tǒng)參數(shù)時(shí)，系統(tǒng)會(huì)對(duì)當(dāng)樣本數(shù)據(jù)改變系統(tǒng)參數(shù)時(shí)，系統(tǒng)會(huì)對(duì)這些改變進(jìn)行自適應(yīng)或自組織的學(xué)習(xí)，在這些改變進(jìn)行自適應(yīng)或自組織的

23、學(xué)習(xí)，在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為突觸的改變。神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為突觸的改變。 按突觸修正假說(shuō)，神經(jīng)網(wǎng)絡(luò)在拓?fù)浣Y(jié)構(gòu)按突觸修正假說(shuō)，神經(jīng)網(wǎng)絡(luò)在拓?fù)浣Y(jié)構(gòu)固定時(shí)，其學(xué)習(xí)歸結(jié)為連接權(quán)的變化。固定時(shí)，其學(xué)習(xí)歸結(jié)為連接權(quán)的變化。主要學(xué)習(xí)算法n神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法分為：分為：有師學(xué)習(xí)（監(jiān)督學(xué)習(xí)）有師學(xué)習(xí)（監(jiān)督學(xué)習(xí)）無(wú)師學(xué)習(xí)（非監(jiān)督學(xué)習(xí)）無(wú)師學(xué)習(xí)（非監(jiān)督學(xué)習(xí)）強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)n有師學(xué)習(xí)有師學(xué)習(xí) 有師（監(jiān)督）就是對(duì)每一個(gè)輸入有師（監(jiān)督）就是對(duì)每一個(gè)輸入Xi, 都假都假定我們已經(jīng)知道它的期望輸出定我們已經(jīng)知道它的期望輸出Yi,這個(gè)這個(gè)Yi可以可以理解為監(jiān)督信號(hào)，也叫理解為監(jiān)督信號(hào)，也叫“教師信號(hào)教師信號(hào)”。

24、對(duì)每。對(duì)每一個(gè)輸入一個(gè)輸入Xi及其對(duì)其估計(jì)的期望輸出及其對(duì)其估計(jì)的期望輸出Yi，就，就構(gòu)成了一個(gè)訓(xùn)練樣本。根據(jù)這若干組訓(xùn)練樣構(gòu)成了一個(gè)訓(xùn)練樣本。根據(jù)這若干組訓(xùn)練樣本本（Xi，Yi），），對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用學(xué)習(xí)系統(tǒng)的誤差（利用學(xué)習(xí)系統(tǒng)的誤差（ 期望輸出與實(shí)際輸出期望輸出與實(shí)際輸出之差），不斷校正學(xué)習(xí)系統(tǒng)的行為（即突觸之差），不斷校正學(xué)習(xí)系統(tǒng)的行為（即突觸權(quán)值），直到誤差滿足要求，算法停止。有權(quán)值），直到誤差滿足要求，算法停止。有師學(xué)習(xí)算法主要有師學(xué)習(xí)算法主要有 規(guī)則、規(guī)則、BPBP算法、算法、LVQLVQ算算法等。法等。 其關(guān)鍵之處，就是將教師信號(hào)加入到了其關(guān)鍵

25、之處，就是將教師信號(hào)加入到了網(wǎng)絡(luò)中網(wǎng)絡(luò)中.n無(wú)師學(xué)習(xí)無(wú)師學(xué)習(xí) 無(wú)師學(xué)習(xí)不需要知道期望輸出。在訓(xùn)練無(wú)師學(xué)習(xí)不需要知道期望輸出。在訓(xùn)練過(guò)程中，只要向神經(jīng)網(wǎng)絡(luò)提供輸入模式，神過(guò)程中，只要向神經(jīng)網(wǎng)絡(luò)提供輸入模式，神經(jīng)網(wǎng)絡(luò)就能夠自動(dòng)地適應(yīng)連接權(quán)，以便按照經(jīng)網(wǎng)絡(luò)就能夠自動(dòng)地適應(yīng)連接權(quán)，以便按照相似特征把輸入模式分組聚集。無(wú)師學(xué)習(xí)算相似特征把輸入模式分組聚集。無(wú)師學(xué)習(xí)算法主要在自適應(yīng)諧振理論法主要在自適應(yīng)諧振理論ART等自組織競(jìng)爭(zhēng)等自組織競(jìng)爭(zhēng)型網(wǎng)絡(luò)中采用。型網(wǎng)絡(luò)中采用。n 強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí) 人類通常從與外界環(huán)境的交互中學(xué)習(xí)。人類通常從與外界環(huán)境的交互中學(xué)習(xí)。強(qiáng)化學(xué)強(qiáng)化學(xué)習(xí)技術(shù)是從控制理論、統(tǒng)計(jì)學(xué)、心理學(xué)等相

26、關(guān)學(xué)科習(xí)技術(shù)是從控制理論、統(tǒng)計(jì)學(xué)、心理學(xué)等相關(guān)學(xué)科發(fā)展而來(lái)，最早可以追溯到巴甫洛夫的條件反射實(shí)發(fā)展而來(lái)，最早可以追溯到巴甫洛夫的條件反射實(shí)驗(yàn)。驗(yàn)。所謂強(qiáng)化（所謂強(qiáng)化（reinforcement）學(xué)習(xí)是指從環(huán)境）學(xué)習(xí)是指從環(huán)境狀態(tài)到行為映射的學(xué)習(xí)，以使系統(tǒng)行為從環(huán)境中獲狀態(tài)到行為映射的學(xué)習(xí)，以使系統(tǒng)行為從環(huán)境中獲得的累積獎(jiǎng)勵(lì)值最大。我們并沒(méi)有直接告訴主體要得的累積獎(jiǎng)勵(lì)值最大。我們并沒(méi)有直接告訴主體要做什么或者要采取哪個(gè)動(dòng)作做什么或者要采取哪個(gè)動(dòng)作,而是主體通過(guò)看哪個(gè)動(dòng)而是主體通過(guò)看哪個(gè)動(dòng)作得到了最多的獎(jiǎng)勵(lì)來(lái)自己發(fā)現(xiàn)。主體的動(dòng)作的影作得到了最多的獎(jiǎng)勵(lì)來(lái)自己發(fā)現(xiàn)。主體的動(dòng)作的影響不只是立即得到的獎(jiǎng)勵(lì)

27、，而且還影響接下來(lái)的動(dòng)響不只是立即得到的獎(jiǎng)勵(lì)，而且還影響接下來(lái)的動(dòng)作和最終的獎(jiǎng)勵(lì)。作和最終的獎(jiǎng)勵(lì)。強(qiáng)化學(xué)習(xí)模型i: inputr: reward s: statea: action狀態(tài) sisi+1ri+1獎(jiǎng)勵(lì) ri行為行為 aia0a1a2s0s1s2s3基本原理是：如果主體的某個(gè)行為策略導(dǎo)基本原理是：如果主體的某個(gè)行為策略導(dǎo)致環(huán)境正的獎(jiǎng)賞（強(qiáng)化信號(hào)），那么主體致環(huán)境正的獎(jiǎng)賞（強(qiáng)化信號(hào)），那么主體以后產(chǎn)生這個(gè)行為策略的趨勢(shì)便會(huì)加強(qiáng)以后產(chǎn)生這個(gè)行為策略的趨勢(shì)便會(huì)加強(qiáng). . n監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)的區(qū)別：監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)的區(qū)別： 在監(jiān)督學(xué)習(xí)中，假定我們知道每一輸入對(duì)應(yīng)的在監(jiān)督學(xué)習(xí)中，假定我們

28、知道每一輸入對(duì)應(yīng)的期望輸出，并利用學(xué)習(xí)系統(tǒng)的誤差，不斷校正系統(tǒng)期望輸出，并利用學(xué)習(xí)系統(tǒng)的誤差，不斷校正系統(tǒng)的行為；的行為； 在非監(jiān)督學(xué)習(xí)中，我們不知道學(xué)習(xí)系統(tǒng)的期望在非監(jiān)督學(xué)習(xí)中，我們不知道學(xué)習(xí)系統(tǒng)的期望輸出輸出。n監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的區(qū)別：監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的區(qū)別：p Supervised Learning Learn from examples provided by a knowledgable external supervisor.p Reinforcement Learning Learn from interaction learn from its own experience

29、, and the objective is to get as much reward as possible. The learner is not told which actions to take, but instead must discover which actions yield the most reward by trying them. 人工神經(jīng)網(wǎng)絡(luò)基本模型1. MP1. MP模型模型 MPMP模型屬于一種閾值元件模型，它是由模型屬于一種閾值元件模型，它是由美國(guó)美國(guó)Mc CullochMc Culloch和和PittsPitts提出的最早神經(jīng)元模提出的最早神經(jīng)元模型之

30、一。型之一。MPMP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)?；A(chǔ)。 標(biāo)準(zhǔn)MP模型 njijjiivwu1)(iiufv w wij ij 代表神經(jīng)元代表神經(jīng)元i i與神經(jīng)元與神經(jīng)元j j之間的連接強(qiáng)度之間的連接強(qiáng)度( (模擬模擬生物神經(jīng)元之間突觸連接強(qiáng)度生物神經(jīng)元之間突觸連接強(qiáng)度) )，稱之為連接權(quán)；，稱之為連接權(quán)； u ui i代表神經(jīng)元代表神經(jīng)元i i的活躍值，即神經(jīng)元狀態(tài)；的活躍值，即神經(jīng)元狀態(tài)； v vj j代表神經(jīng)元代表神經(jīng)元j j的輸出，即是神經(jīng)元的輸出，即是神經(jīng)元i i的一個(gè)輸?shù)囊粋€(gè)輸入；入； i i代表神經(jīng)元代表神經(jīng)元i i的閾值。的閾值。 函數(shù)函數(shù)f f表達(dá)

31、了神經(jīng)元的輸入輸出特性。在表達(dá)了神經(jīng)元的輸入輸出特性。在MPMP模型模型中，中，f f定義為階躍函數(shù)：定義為階躍函數(shù)： 0,00,1iiiuuv 如果把閾值如果把閾值 i i看作為一個(gè)特殊的權(quán)值，看作為一個(gè)特殊的權(quán)值，則可改寫為則可改寫為: :其中，其中，w w0i 0i-i-i，v v0 01 1 為用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性為用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力，常采用變換能力，常采用s s型函數(shù)型函數(shù): :)(0jnjjiivwfviuieuf11)( MPMP模型在發(fā)表時(shí)并沒(méi)有給出一個(gè)學(xué)習(xí)算法來(lái)調(diào)整模型在發(fā)表時(shí)并沒(méi)有給出一個(gè)學(xué)習(xí)算法來(lái)調(diào)整神經(jīng)元之間的連接權(quán)。但是，我們可以根據(jù)

32、需要，采神經(jīng)元之間的連接權(quán)。但是，我們可以根據(jù)需要，采用一些常見(jiàn)的算法來(lái)調(diào)整神經(jīng)元連接權(quán)，以達(dá)到學(xué)習(xí)用一些常見(jiàn)的算法來(lái)調(diào)整神經(jīng)元連接權(quán)，以達(dá)到學(xué)習(xí)目的。下面介紹的目的。下面介紹的HebbHebb學(xué)習(xí)規(guī)則就是一個(gè)常見(jiàn)學(xué)習(xí)算學(xué)習(xí)規(guī)則就是一個(gè)常見(jiàn)學(xué)習(xí)算法。法。 HebbHebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對(duì)于人工神經(jīng)網(wǎng)絡(luò)而言，神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對(duì)于人工神經(jīng)網(wǎng)絡(luò)而言，這種學(xué)習(xí)歸結(jié)為神經(jīng)元連接權(quán)的變化。調(diào)整這種學(xué)習(xí)歸結(jié)為神經(jīng)元連接權(quán)的變化。調(diào)整w wij ij的原則的原則為：若第為：若第i i和第和第j j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)

33、，即：之間的連接應(yīng)當(dāng)加強(qiáng)，即： wwij ijuui iv vj j 這一規(guī)則與這一規(guī)則與“條件反射條件反射”學(xué)說(shuō)一致，并已得到神經(jīng)細(xì)學(xué)說(shuō)一致，并已得到神經(jīng)細(xì)胞學(xué)說(shuō)的證實(shí)。胞學(xué)說(shuō)的證實(shí)。 是表示學(xué)習(xí)速率的比例常數(shù)。是表示學(xué)習(xí)速率的比例常數(shù)。 2 2 感知器模型感知器模型 感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國(guó)感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國(guó)學(xué)者學(xué)者F.RosenblattF.Rosenblatt于于19571957年提出年提出. .感知器中第一感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在基于符號(hào)處理的數(shù)學(xué)到了一定程度的功能在基于符號(hào)處理的

34、數(shù)學(xué)到了一定程度的模擬，所以引起了廣泛的關(guān)注。模擬，所以引起了廣泛的關(guān)注。n 簡(jiǎn)單感知器簡(jiǎn)單感知器 簡(jiǎn)單感知器模型實(shí)際上仍然是簡(jiǎn)單感知器模型實(shí)際上仍然是MPMP模型的結(jié)模型的結(jié)構(gòu)，但是它通過(guò)采用監(jiān)督學(xué)習(xí)來(lái)逐步增強(qiáng)模構(gòu)，但是它通過(guò)采用監(jiān)督學(xué)習(xí)來(lái)逐步增強(qiáng)模式劃分的能力，達(dá)到所謂學(xué)習(xí)的目的。式劃分的能力，達(dá)到所謂學(xué)習(xí)的目的。其結(jié)構(gòu)如下圖所示其結(jié)構(gòu)如下圖所示 感知器處理單元對(duì)感知器處理單元對(duì)n n個(gè)輸入進(jìn)行加權(quán)和操作即：個(gè)輸入進(jìn)行加權(quán)和操作即： 其中，其中，WWi i為第為第i i個(gè)輸入到處理單元的連接權(quán)值，個(gè)輸入到處理單元的連接權(quán)值， 為閾值。為閾值。 f f取階躍函數(shù)取階躍函數(shù). .)(0inii

35、ixwfv 感知器在形式上與感知器在形式上與MPMP模型差不多，它模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。利用簡(jiǎn)單感知器就被賦予了學(xué)習(xí)的特性。利用簡(jiǎn)單感知器可以實(shí)現(xiàn)邏輯代數(shù)中的一些運(yùn)算。器可以實(shí)現(xiàn)邏輯代數(shù)中的一些運(yùn)算。 Y=f(w Y=f(w1 1x x1 1+w+w2 2x x2 2-)-)(1)“(1)“與與”運(yùn)算。當(dāng)取運(yùn)算。當(dāng)取w w1 1w w2 21 1， 1.51.5時(shí)，上式完成邏輯時(shí)，上式完成邏輯“與與”的運(yùn)算。的運(yùn)算。 (2)“(2)

36、“或或”運(yùn)算，運(yùn)算， 當(dāng)取當(dāng)取w wl lw w2 21 1， 0.50.5時(shí)，上式完成時(shí)，上式完成邏輯邏輯“或或”的運(yùn)算。的運(yùn)算。(3)“(3)“非非”運(yùn)算，運(yùn)算， 當(dāng)取當(dāng)取w wl l=-1=-1，w w2 20 0， -1 -1時(shí)，完成邏時(shí)，完成邏輯輯“非非”的運(yùn)算。的運(yùn)算。 與許多代數(shù)方程一樣，上式也具有一與許多代數(shù)方程一樣，上式也具有一定的幾何意義。對(duì)于一個(gè)兩輸入的簡(jiǎn)單定的幾何意義。對(duì)于一個(gè)兩輸入的簡(jiǎn)單感知器，每個(gè)輸入取值為感知器，每個(gè)輸入取值為0 0和和1 1，如上面，如上面結(jié)出的邏輯運(yùn)算，所有輸入樣本有四個(gè)，結(jié)出的邏輯運(yùn)算，所有輸入樣本有四個(gè)，記為記為(x1(x1，x2)x2)：

37、(0 (0，0) 0)，(0 (0，1) 1)，(1 (1，0) 0)，(1 (1，1) 1)，構(gòu)成了樣本輸入空間。例如，在，構(gòu)成了樣本輸入空間。例如，在二維平面上，對(duì)于二維平面上，對(duì)于“或或”運(yùn)算，各個(gè)樣運(yùn)算，各個(gè)樣本的分布如下圖所示。本的分布如下圖所示。直線直線 1 1 * * x x1 1+1 +1 * * x x2 2 - 0.5 - 0.5 0 0將二維平面分為兩部分，上部為激發(fā)區(qū)將二維平面分為兩部分，上部為激發(fā)區(qū)(y (y，=1=1，用表示用表示) )，下部為抑制區(qū)，下部為抑制區(qū)(y (y0 0，用表示，用表示) )。 nRoseblattRoseblatt已經(jīng)證明，如果兩類模式是

38、線性可已經(jīng)證明，如果兩類模式是線性可分的（指存在一個(gè)超平面將它們分開），分的（指存在一個(gè)超平面將它們分開），則算法一定收斂則算法一定收斂. .n可以把感知器看作是可以把感知器看作是n n維實(shí)例空間（即點(diǎn)空維實(shí)例空間（即點(diǎn)空間）中的超平面決策面間）中的超平面決策面. .n對(duì)于超平面一側(cè)的實(shí)例，感知器輸出對(duì)于超平面一側(cè)的實(shí)例，感知器輸出1 1，對(duì)，對(duì)于另一側(cè)的實(shí)例，輸出于另一側(cè)的實(shí)例，輸出-1.-1.基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示和推理基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示和推理1 1、基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示、基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示 基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)中知識(shí)的表示方法與傳統(tǒng)人基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)中知識(shí)的表示方法與傳統(tǒng)人工智能系

39、統(tǒng)中所用的方法（如產(chǎn)生式、框架、語(yǔ)工智能系統(tǒng)中所用的方法（如產(chǎn)生式、框架、語(yǔ)義網(wǎng)絡(luò)等）完全不同，傳統(tǒng)人工智能系統(tǒng)中所用義網(wǎng)絡(luò)等）完全不同，傳統(tǒng)人工智能系統(tǒng)中所用的方法是知識(shí)的顯式表示，而神經(jīng)網(wǎng)絡(luò)中的知識(shí)的方法是知識(shí)的顯式表示，而神經(jīng)網(wǎng)絡(luò)中的知識(shí)表示是一種隱式的表示方法。在這里，知識(shí)并不表示是一種隱式的表示方法。在這里，知識(shí)并不像產(chǎn)生式系統(tǒng)中獨(dú)立地表示為每一條規(guī)則，而是像產(chǎn)生式系統(tǒng)中獨(dú)立地表示為每一條規(guī)則，而是將某一問(wèn)題的若干知識(shí)在同一網(wǎng)絡(luò)中表示。將某一問(wèn)題的若干知識(shí)在同一網(wǎng)絡(luò)中表示。n例如，在有些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，知識(shí)是用神經(jīng)網(wǎng)例如，在有些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，知識(shí)是用神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)有向權(quán)圖的鄰接矩陣

40、及閾值向量表示的。絡(luò)所對(duì)應(yīng)有向權(quán)圖的鄰接矩陣及閾值向量表示的。如對(duì)下圖所示的異或邏輯的神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，其鄰如對(duì)下圖所示的異或邏輯的神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，其鄰接矩陣為：接矩陣為： 異或邏輯的神經(jīng)網(wǎng)絡(luò)表示001.0041.0700001.1351.100000002.10200003.12100000 IF x1=0 AND x2=0 THEN y=0 IF x1=0 AND x2=1 THEN y=1 IF x1=1 AND x2=0 THEN y=1 IF x1=1 AND x2=1 THEN y=0 如果用產(chǎn)生工規(guī)則描述，則該網(wǎng)絡(luò)代表下述如果用產(chǎn)生工規(guī)則描述，則該網(wǎng)絡(luò)代表下述的的4 4條規(guī)則：條規(guī)則：

41、 一般而言一般而言, ANN, ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越與經(jīng)典計(jì)算方法相比并非優(yōu)越, , 只有當(dāng)常規(guī)方只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)法解決不了或效果不佳時(shí)ANNANN方法才能顯示出其優(yōu)越性。尤其對(duì)方法才能顯示出其優(yōu)越性。尤其對(duì)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng), ,如故障診斷、如故障診斷、特征提取和預(yù)測(cè)等問(wèn)題特征提取和預(yù)測(cè)等問(wèn)題, ANN, ANN往往是最有利的工具。另一方面往往是最有利的工具。另一方面, , ANNANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題, , 表現(xiàn)表現(xiàn)

42、出極大的靈活性和自適應(yīng)性。出極大的靈活性和自適應(yīng)性。細(xì)胞體突觸軸突樹突圖12.2 生物神經(jīng)元功能模型輸入輸出信息處理電脈沖形成傳輸黑箱 下面討論一個(gè)用于醫(yī)療診斷的例子。假設(shè)系統(tǒng)的下面討論一個(gè)用于醫(yī)療診斷的例子。假設(shè)系統(tǒng)的診斷模型只有六種癥狀、兩種疾病、三種治療方案。診斷模型只有六種癥狀、兩種疾病、三種治療方案。對(duì)網(wǎng)絡(luò)訓(xùn)練樣本是選擇一批合適的病人并從病歷中對(duì)網(wǎng)絡(luò)訓(xùn)練樣本是選擇一批合適的病人并從病歷中采集如下信息：采集如下信息：（1 1）癥狀：對(duì)每一癥狀只采集有、無(wú)及沒(méi)有記）癥狀：對(duì)每一癥狀只采集有、無(wú)及沒(méi)有記錄這三種信息。錄這三種信息。（2 2）疾病：對(duì)每一疾病也只采集有、無(wú)及沒(méi)有）疾病：對(duì)每一

43、疾病也只采集有、無(wú)及沒(méi)有記錄這三種信息。記錄這三種信息。（3 3）治療方案：對(duì)每一治療方案只采集是否采）治療方案：對(duì)每一治療方案只采集是否采用這兩種信息。用這兩種信息。n其中，對(duì)其中，對(duì)“有有”、“無(wú)無(wú)”、“沒(méi)有記錄沒(méi)有記錄”分別用分別用+1+1，-1 -1，0 0表示。這樣對(duì)每一個(gè)病人就可以構(gòu)成一個(gè)訓(xùn)練表示。這樣對(duì)每一個(gè)病人就可以構(gòu)成一個(gè)訓(xùn)練樣本。樣本。n假設(shè)根據(jù)癥狀、疾病及治療方案間的因果關(guān)系以及假設(shè)根據(jù)癥狀、疾病及治療方案間的因果關(guān)系以及通過(guò)訓(xùn)練本對(duì)網(wǎng)絡(luò)的訓(xùn)練得到了下圖所示的神經(jīng)網(wǎng)通過(guò)訓(xùn)練本對(duì)網(wǎng)絡(luò)的訓(xùn)練得到了下圖所示的神經(jīng)網(wǎng)絡(luò)。絡(luò)。n其中其中,x ,x1 1,x ,x2 2, , ，x x6 6 為癥狀；為癥狀；x x7 7, x, x8 8 為疾病名；為疾病名； x x9 9, x, x1010, , x x1111為治療方案；為治療方案；x xa a, x, xb b, x, xc c是附加層，這是由是附加層，這是由 于學(xué)習(xí)于學(xué)習(xí)算法的需要算法的需要 而增加的。在此網(wǎng)絡(luò)中，而增加的。在此網(wǎng)絡(luò)中， x x1 1，x x2 2, , ， x x6 6是輸入層；是輸入層； x x9 9, x, x1010,x ,x1111是輸出層；兩者之間以疾病是輸出層；兩者之間以疾病名作為中間層。名作為中間層。一個(gè)醫(yī)療診斷系統(tǒng)