第八講人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)

內(nèi)容安排一、生物神經(jīng)元二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)三、神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法學(xué)科交叉是當(dāng)前研究領(lǐng)域的一個重要特征信息科學(xué)與生命科學(xué)的相互交叉、相互滲透和相互促進(jìn)是現(xiàn)代科學(xué)技術(shù)發(fā)展的一個顯著特點。概述計算智能是是學(xué)科交叉研究過程中出現(xiàn)的一個重要研究方向．計算智能涉及神經(jīng)網(wǎng)絡(luò)、模糊邏輯、進(jìn)化計算和人工生命等領(lǐng)域，它的研究和發(fā)展正是反映了當(dāng)代科學(xué)技術(shù)多學(xué)科交叉與集成的重要發(fā)展趨勢。

什么是計算智能

神經(jīng)網(wǎng)絡(luò)與人工智能（AI）

把神經(jīng)網(wǎng)絡(luò)歸類于人工智能可能不大合適，而歸類于計算智能（CI）更能說明問題實質(zhì)。進(jìn)化計算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都?xì)w類于計算智能．

計算智能與人工智能

計算智能取決于制造者（manufacturers）提供的數(shù)值數(shù)據(jù)，不依賴于知識；人工智能應(yīng)用知識精品（knowledgetidbits），故此，一種說法是人工神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)稱為計算神經(jīng)網(wǎng)絡(luò)。

計算智能與人工智能的區(qū)別和關(guān)系

計算智能與人工智能的區(qū)別和關(guān)系A(chǔ)－Artificial，即人工的（非生物的）B－Biological，即物理的＋化學(xué)的＋(？)C－Computational，表示數(shù)學(xué)＋計算機(jī)

計算智能是一種智力方式的低層認(rèn)知，它與人工智能的區(qū)別只是認(rèn)知層次從中層下降至低層而已。中層系統(tǒng)含有知識（精品），低層系統(tǒng)則沒有。

計算智能與人工智能的區(qū)別和關(guān)系當(dāng)一個系統(tǒng)只涉及數(shù)值（低層）數(shù)據(jù)，含有模式識別部分，不應(yīng)用人工智能意義上的知識，而且能夠呈現(xiàn)出：（1）計算適應(yīng)性；（2）計算容錯性；（3）接近人的速度；（4）誤差率與人相近，則該系統(tǒng)就是計算智能系統(tǒng)。當(dāng)一個智能計算系統(tǒng)以非數(shù)值方式加上知識（精品）值，即成為人工智能系統(tǒng)。

神經(jīng)計算大腦模型生物神經(jīng)系統(tǒng)生物神經(jīng)系統(tǒng)是一個有高度組織和相互作用的數(shù)量巨大的細(xì)胞組織群體。人類大腦的神經(jīng)細(xì)胞大約在1011一1013個左右。神經(jīng)細(xì)胞也稱神經(jīng)元，是神經(jīng)系統(tǒng)的基本單元，它們按不同的結(jié)合方式構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。通過神經(jīng)元及其聯(lián)接的可塑性，使得大腦具有學(xué)習(xí)、記憶和認(rèn)知等各種智能。生物神經(jīng)系統(tǒng)生物神經(jīng)元主要由以下幾個部分組成：胞體，是神經(jīng)細(xì)胞的本體;樹突，用以接受來自其它細(xì)胞元的信號;軸突，用以輸出信號，與多個神經(jīng)元連接;突觸，是一個神經(jīng)元與另一個神經(jīng)元相聯(lián)系的特殊部位，通過神經(jīng)元軸突的端部靠化學(xué)接觸和電接觸將信號傳遞給下一個神經(jīng)元的樹突或胞體。

生物神經(jīng)元示意圖生物神經(jīng)元的基本工作機(jī)制

一個神經(jīng)元有兩種狀態(tài)-興奮和抑制。平時處于抑制狀態(tài)的神經(jīng)元，其樹突和胞體接受其它神經(jīng)元經(jīng)由突觸傳來的興奮電位，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加；如輸入興奮總量超過閾值，神經(jīng)元被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，由軸突的突觸傳遞給其它神經(jīng)元。一個神經(jīng)元的興奮和抑制兩種狀態(tài)是由細(xì)胞膜內(nèi)外之間不同的電位差來表征的。在抑制狀態(tài)，細(xì)胞膜內(nèi)外之間有內(nèi)負(fù)外正的電位差，這個電位差大約在-50—-100mv之間。在興奮狀態(tài)，則產(chǎn)生內(nèi)正外負(fù)的相反電位差，這時表現(xiàn)為約60—100mv的電脈沖。細(xì)胞膜內(nèi)外的電位差是由膜內(nèi)外的離子濃度不同導(dǎo)致的。細(xì)胞的興奮電脈沖寬度一般大約為1ms。

生物神經(jīng)特性(1)并行分布處理的工作模式

實際上大腦中單個神經(jīng)元的信息處理速度是很慢的，每次約1毫秒(ms)，比通常的電子門電路要慢幾個數(shù)量級。每個神經(jīng)元的處理功能也很有限，估計不會比計算機(jī)的一條指令更復(fù)雜。但是人腦對某一復(fù)雜過程的處理和反應(yīng)卻很快，一般只需幾百毫秒。例如要判定人眼看到的兩個圖形是否一樣，實際上約需400ms，而在這個處理過程中，與腦神經(jīng)系統(tǒng)的一些主要功能，如視覺、記億、推理等有關(guān)。按照上述神經(jīng)元的處理速度，如果采用串行工作模式，就必須在幾百個串行步內(nèi)完成，這實際上是不可能辦到的。因此只能把它看成是一個由眾多神經(jīng)元所組成的超高密度的并行處理系統(tǒng)。例如在一張照片尋找一個熟人的面孔，對人腦而言，幾秒鐘便可完成，但如用計算機(jī)來處理，以現(xiàn)有的技術(shù)，是不可能在短時間內(nèi)完成的。由此可見，大腦信息處理的并行速度已達(dá)到了極高的程度．生物神經(jīng)特性(2)神經(jīng)系統(tǒng)的可塑性和自組織性。神經(jīng)系統(tǒng)的可塑性和自組織性與人腦的生長發(fā)育過程有關(guān)。例如，人的幼年時期約在9歲左右，學(xué)習(xí)語言的能力十分強(qiáng)，說明在幼年時期，大腦的可塑性和柔軟性特別良好。從生理學(xué)的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。例如在某一外界信息反復(fù)刺激下．接受該信息的神經(jīng)細(xì)胞之間的突觸結(jié)合強(qiáng)度會增強(qiáng)。這種可塑性反映出大腦功能既有先天的制約因素，也有可能通過后天的訓(xùn)練和學(xué)習(xí)而得到加強(qiáng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制就是基于這種可塑性現(xiàn)象，并通過修正突觸的結(jié)合強(qiáng)度來實現(xiàn)的。生物神經(jīng)特性(3)信息處理與信息存貯合二為一。大腦中的信息處理與信息存貯是有機(jī)結(jié)合在一起的，而不像現(xiàn)行計算機(jī)那樣．存貯地址和存貯內(nèi)容是彼此分開的。由于大腦神經(jīng)元兼有信息處理和存貯功能，所以在進(jìn)行回億時，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容的問題，而且還可以由一部分內(nèi)容恢復(fù)全部內(nèi)容.(4)信息處理的系統(tǒng)性大腦是一個復(fù)雜的大規(guī)模信息處理系統(tǒng)，單個的元“神經(jīng)元”不能體現(xiàn)全體宏觀系統(tǒng)的功能。實際上，可以將大腦的各個部位看成是一個大系統(tǒng)中的許多子系統(tǒng)。各個子系統(tǒng)之間具有很強(qiáng)的相互聯(lián)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如，視覺系統(tǒng)和運(yùn)動系統(tǒng)就存在很強(qiáng)的系統(tǒng)聯(lián)系，可以相互協(xié)調(diào)各種信息處理功能生物神經(jīng)特性(5)能接受和處理模糊的、模擬的、隨機(jī)的信息。(6)求滿意解而不是精確解.人類處理日常行為時，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問題為原則，即求得滿意解就行了。(7)系統(tǒng)具有魯棒性和容錯性人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型常見響應(yīng)函數(shù)人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)

人工神經(jīng)網(wǎng)絡(luò)的進(jìn)展初創(chuàng)階段（二十世紀(jì)四十年代至六十年代）

1943年，美國心理學(xué)家W.S.Mcculloch和數(shù)理邏輯學(xué)家W.Pitts合作，以數(shù)學(xué)邏輯為研究手段，探討了客觀事件在神經(jīng)網(wǎng)絡(luò)的形式問題，在此基礎(chǔ)上提出了神經(jīng)元的數(shù)學(xué)模型，即MP（Mcculloch-Pitts）模型。

1960年，威德羅和霍夫率先把神經(jīng)網(wǎng)絡(luò)用于自動控制研究。過度階段（二十世紀(jì)六十年代初至七十年代）

M.Minsky和S.Papert經(jīng)過多年的潛心研究,于1969年出版了影響深遠(yuǎn)的《Perceptron》一書，從理論上證明了以單層感知機(jī)為代表的網(wǎng)絡(luò)系統(tǒng)在某些能力方面的局限性。

60年代末期至80年代中期，神經(jīng)網(wǎng)絡(luò)控制與整個神經(jīng)網(wǎng)絡(luò)研究一樣，處于低潮高潮階段（二十世紀(jì)八十年代）

1982和1984年，美國加州理工學(xué)院的生物物理學(xué)家，J.Hopfield在美國科學(xué)院院刊發(fā)表的兩篇文章，有力地推動了人工神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用，并引發(fā)了研究神經(jīng)網(wǎng)絡(luò)的一次熱潮。

80年代后期以來，隨著人工神經(jīng)網(wǎng)絡(luò)研究的復(fù)蘇和發(fā)展，對神經(jīng)網(wǎng)絡(luò)控制的研究也十分活躍。這方面的研究進(jìn)展主要在神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制和模糊神經(jīng)網(wǎng)絡(luò)控制及其在機(jī)器人控制中的應(yīng)用上平穩(wěn)發(fā)展階段（二十世紀(jì)九十年代以后）

人工神經(jīng)網(wǎng)絡(luò)的進(jìn)展1.可以充分逼近任意復(fù)雜的非線性關(guān)系2.所有定量或定性的信息都等勢分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，故有很強(qiáng)的魯棒性和容錯性3.采用并行分布處理方法，使得快速進(jìn)行大量運(yùn)算成為可能4.可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)5.能夠同時處理定量、定性知識。6.可以通過軟件和硬件實現(xiàn)。

人工神經(jīng)網(wǎng)絡(luò)的特性人工神經(jīng)網(wǎng)絡(luò)

直觀理解神經(jīng)網(wǎng)絡(luò)是一個并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)它一般由大量神經(jīng)元組成每個神經(jīng)元只有一個輸出，可以連接到很多其他的神經(jīng)元每個神經(jīng)元輸入有多個連接通道，每個連接通道對應(yīng)于一個連接權(quán)系數(shù)

概念人工神經(jīng)網(wǎng)絡(luò)是反映人腦結(jié)構(gòu)及功能的一種抽象數(shù)學(xué)模型，是由大量神經(jīng)元節(jié)點互連而成的復(fù)雜網(wǎng)絡(luò)，用以模擬人類進(jìn)行知識的表示與存儲以及利用知識進(jìn)行推理的行為。人工神經(jīng)網(wǎng)絡(luò)（ANN）可以看成是以人工神經(jīng)元為結(jié)點，用有向加權(quán)弧連接起來的有向圖。在此有向圖中，人工神經(jīng)元就是對生物神經(jīng)元的模擬，而有向弧則是軸突—突觸—樹突對的模擬。有向弧的權(quán)值表示相互連接的兩個人工神經(jīng)元間相互作用的強(qiáng)弱。人工神經(jīng)元模型

通用模型求和操作激勵函數(shù)f激勵函數(shù)的基本作用控制輸入對輸出的激活作用對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出f為輸出變換函數(shù)，也叫激勵函數(shù)，往往采用0、1二值函數(shù)或Ｓ形函數(shù)，這三種函數(shù)都是連續(xù)和非線性的，如下圖。b.Sigmoid型激發(fā)函數(shù)稱為西格莫伊德（Sigmoid）函數(shù)，簡稱S型函數(shù)，其輸入輸出特性常用對數(shù)曲線或正切曲線等表示。這類曲線反映了神經(jīng)元的飽和特性。S型函數(shù)是最常用的激發(fā)函數(shù)，它便于應(yīng)用梯度技術(shù)進(jìn)行搜索求解。a.閾值型對于這種模型，神經(jīng)元沒有內(nèi)部狀態(tài)，激發(fā)函數(shù)為一階躍函數(shù)，如上圖（a）所示。這時，輸出為：c.雙曲正切函數(shù)（見圖（c））來取代常規(guī)Ｓ形函數(shù)，因為Ｓ形函數(shù)的輸出均為正值，而雙曲正切函數(shù)的輸出值可為正或負(fù)。雙曲正切函數(shù)如下式所示：

人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)是具有下列特性的有向圖

對于每個節(jié)點i存在一個狀態(tài)變量xi；

從節(jié)點j至節(jié)點i,存在一個連接權(quán)系數(shù)wij；

對于每個節(jié)點i，存在一個閾值θ

i；

對于每個節(jié)點i，定義一個變換函數(shù)fi

；對于最一般的情況，此函數(shù)取如下的形式

神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法人工神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式前向網(wǎng)絡(luò)(a)從輸出到輸入有反饋的前向網(wǎng)絡(luò)(b)用來存儲某種模式序列層內(nèi)互連前向網(wǎng)絡(luò)(c)限制層內(nèi)同時動作的神經(jīng)元；分類功能相互結(jié)合型網(wǎng)絡(luò)(d)

人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)x1x2xn………y1y2ynx1x2xn………y1y2yn有反饋的前饋網(wǎng)絡(luò)單純前饋網(wǎng)絡(luò)a）b）x1x2xn………y1y2yn前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)x1x2x3x4y1y2y3y4反饋型全互聯(lián)網(wǎng)絡(luò)c）d）人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學(xué)習(xí)能力。學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)研究的一個重要內(nèi)容，神經(jīng)網(wǎng)絡(luò)的適應(yīng)性是通過學(xué)習(xí)實現(xiàn)的.人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程.

神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法什么是學(xué)習(xí)？

學(xué)習(xí)就是對信息進(jìn)行編碼,其目的就是通過向有限個例子（訓(xùn)練樣本）的學(xué)習(xí)來找到隱藏在例子背后（即產(chǎn)生這些例子）的規(guī)律（如函數(shù)形式）。當(dāng)樣本數(shù)據(jù)改變系統(tǒng)參數(shù)時，系統(tǒng)會對這些改變進(jìn)行自適應(yīng)或自組織的學(xué)習(xí)，在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為突觸的改變。按突觸修正假說，神經(jīng)網(wǎng)絡(luò)在拓?fù)浣Y(jié)構(gòu)固定時，其學(xué)習(xí)歸結(jié)為連接權(quán)的變化。主要學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法分為：有師學(xué)習(xí)（監(jiān)督學(xué)習(xí)）無師學(xué)習(xí)（非監(jiān)督學(xué)習(xí)）強(qiáng)化學(xué)習(xí)有師學(xué)習(xí)有師（監(jiān)督）就是對每一個輸入Xi,都假定我們已經(jīng)知道它的期望輸出Yi,這個Yi可以理解為監(jiān)督信號，也叫“教師信號”。對每一個輸入Xi及其對其估計的期望輸出Yi，就構(gòu)成了一個訓(xùn)練樣本。根據(jù)這若干組訓(xùn)練樣本（Xi，Yi），對人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用學(xué)習(xí)系統(tǒng)的誤差（期望輸出與實際輸出之差），不斷校正學(xué)習(xí)系統(tǒng)的行為（即突觸權(quán)值），直到誤差滿足要求，算法停止。有師學(xué)習(xí)算法主要有δ規(guī)則、BP算法、LVQ算法等。

其關(guān)鍵之處，就是將教師信號加入到了網(wǎng)絡(luò)中.無師學(xué)習(xí)無師學(xué)習(xí)不需要知道期望輸出。在訓(xùn)練過程中，只要想神經(jīng)網(wǎng)絡(luò)提供輸入模式，神經(jīng)網(wǎng)絡(luò)就能夠自動地適應(yīng)連接權(quán)，以便按照相似特征把輸入模式分組聚集。無師學(xué)習(xí)算法主要在自適應(yīng)諧振理論ART、Kohonen等自組織競爭型網(wǎng)絡(luò)中采用。

強(qiáng)化學(xué)習(xí)人類通常從與外界環(huán)境的交互中學(xué)習(xí)。強(qiáng)化學(xué)習(xí)技術(shù)是從控制理論、統(tǒng)計學(xué)、心理學(xué)等相關(guān)學(xué)科發(fā)展而來，最早可以追溯到巴甫洛夫的條件反射實驗。所謂強(qiáng)化（reinforcement）學(xué)習(xí)是指從環(huán)境狀態(tài)到行為映射的學(xué)習(xí)，以使系統(tǒng)行為從環(huán)境中獲得的累積獎勵值最大。我們并沒有直接告訴主體要做什么或者要采取哪個動作,而是主體通過看哪個動作得到了最多的獎勵來自己發(fā)現(xiàn)。主體的動作的影響不只是立即得到的獎勵，而且還影響接下來的動作和最終的獎勵。主體強(qiáng)化學(xué)習(xí)模型i:inputr:rewards:statea:action狀態(tài)sisi+1ri+1獎勵ri環(huán)境行為

aia0a1a2s0s1s2s3基本原理是：如果主體的某個行為策略導(dǎo)致環(huán)境正的獎賞（強(qiáng)化信號），那么主體以后產(chǎn)生這個行為策略的趨勢便會加強(qiáng).監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)的區(qū)別：

在監(jiān)督學(xué)習(xí)中，假定我們知道每一輸入對應(yīng)的期望輸出，并利用學(xué)習(xí)系統(tǒng)的誤差，不斷校正系統(tǒng)的行為；在非監(jiān)督學(xué)習(xí)中，我們不知道學(xué)習(xí)系統(tǒng)的期望輸出。監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的區(qū)別：

SupervisedLearning–Learnfromexamplesprovidedbyaknowledgableexternalsupervisor.

ReinforcementLearning–Learnfrominteractionlearnfromitsownexperience,andtheobjectiveistogetasmuchrewardaspossible.Thelearnerisnottoldwhichactionstotake,butinsteadmustdiscoverwhichactionsyieldthemostrewardbytryingthem.

人工神經(jīng)網(wǎng)絡(luò)基本模型

1.MP模型

MP模型屬于一種閾值元件模型，它是由美國McCulloch和Pitts提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。

標(biāo)準(zhǔn)MP模型

wij——代表神經(jīng)元i與神經(jīng)元j之間的連接強(qiáng)度(模擬生物神經(jīng)元之間突觸連接強(qiáng)度)，稱之為連接權(quán)；

ui——代表神經(jīng)元i的活躍值，即神經(jīng)元狀態(tài)；

vj——代表神經(jīng)元j的輸出，即是神經(jīng)元i的一個輸入；

θi——代表神經(jīng)元i的閾值。函數(shù)f表達(dá)了神經(jīng)元的輸入輸出特性。在MP模型中，f定義為階躍函數(shù)：

如果把閾值θi看作為一個特殊的權(quán)值，則可改寫為:其中，w0i＝-θi，v0＝1

為用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力，常采用s型函數(shù):

MP模型在發(fā)表時并沒有給出一個學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的連接權(quán)。但是，我們可以根據(jù)需要，采用一些常見的算法來調(diào)整神經(jīng)元連接權(quán)，以達(dá)到學(xué)習(xí)目的。下面介紹的Hebb學(xué)習(xí)規(guī)則就是一個常見學(xué)習(xí)算法。

Hebb學(xué)習(xí)規(guī)則

神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對于人工神經(jīng)網(wǎng)絡(luò)而言，這種學(xué)習(xí)歸結(jié)為神經(jīng)元連接權(quán)的變化。調(diào)整wij的原則為：若第i和第j個神經(jīng)元同時處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)，即：

Δwij＝αuivj

這一規(guī)則與“條件反射”學(xué)說一致，并已得到神經(jīng)細(xì)胞學(xué)說的證實。α是表示學(xué)習(xí)速率的比例常數(shù)。2感知器模型感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國學(xué)者F.Rosenblatt于1957年提出.感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在基于符號處理的數(shù)學(xué)到了一定程度的模擬，所以引起了廣泛的關(guān)注。簡單感知器簡單感知器模型實際上仍然是MP模型的結(jié)構(gòu)，但是它通過采用監(jiān)督學(xué)習(xí)來逐步增強(qiáng)模式劃分的能力，達(dá)到所謂學(xué)習(xí)的目的。其結(jié)構(gòu)如下圖所示

感知器處理單元對n個輸入進(jìn)行加權(quán)和操作即：其中，Wi為第i個輸入到處理單元的連接權(quán)值θ為閾值。f取階躍函數(shù).

感知器在形式上與MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。利用簡單感知器可以實現(xiàn)邏輯代數(shù)中的一些運(yùn)算。Y=f(w1x1+w2x2-θ)(1)“與”運(yùn)算。當(dāng)取w1＝w2＝1，θ＝1.5時，上式完成邏輯“與”的運(yùn)算。(2)“或”運(yùn)算，當(dāng)取wl＝w2＝1，θ

＝0.5時，上式完成邏輯“或”的運(yùn)算。(3)“非”運(yùn)算，當(dāng)取wl=-1，w2＝0，θ＝-1時，完成邏輯“非”的運(yùn)算。

與許多代數(shù)方程一樣，上式也具有一定的幾何意義。對于一個兩輸入的簡單感知器，每個輸入取值為0和1，如上面結(jié)出的邏輯運(yùn)算，所有輸入樣本有四個，記為(x1，x2)：(0，0)，(0，1)，(1，0)，(1，1)，構(gòu)成了樣本輸入空間。例如，在二維平面上，對于“或”運(yùn)算，各個樣本的分布如下圖所示。直線

1*x1+1*x2-0.5＝0將二維平面分為兩部分，上部為激發(fā)區(qū)(y，=1，用★表示)，下部為抑制區(qū)(y＝0，用☆表示)。

Roseblatt已經(jīng)證明，如果兩類模式是線性可分的（指存在一個超平面將它們分開），則算法一定收斂.可以把感知器看作是n維實例空間（即點空間）中的超平面決策面.對于超平面一側(cè)的實例，感知器輸出1，對于另一側(cè)的實例，輸出-1.

基于神經(jīng)網(wǎng)絡(luò)的知識表示和推理

1、基于神經(jīng)網(wǎng)絡(luò)的知識表示基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)中知識的表示方法與傳統(tǒng)人工智能系統(tǒng)中所用的方法（如產(chǎn)生式、框架、語義網(wǎng)絡(luò)等）完全不同，傳統(tǒng)人工智能系統(tǒng)中所用的方法是知識的顯式表示，而神經(jīng)網(wǎng)絡(luò)中的知識表示是一種隱式的表示方法。在這里，知識并不像產(chǎn)生式系統(tǒng)中獨立地表示為每一條規(guī)則，而是將某一問題的若干知識在同一網(wǎng)絡(luò)中表示。例如，在有些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，知識是用神經(jīng)網(wǎng)絡(luò)所對應(yīng)有向權(quán)圖的鄰接矩陣及閾值向量表示的。如對下圖所示的異或邏輯的神經(jīng)網(wǎng)絡(luò)來說，其鄰接矩陣為：

異或邏輯的神經(jīng)網(wǎng)絡(luò)表示IFx1=0ANDx2=0THENy=0IFx1=0ANDx2=1THENy=1IFx1=1ANDx2=0THENy=1IFx1=1ANDx2=1THENy=0

如果用產(chǎn)生工規(guī)則描述，則該網(wǎng)絡(luò)代表下述的4條規(guī)則：

一般而言,ANN與經(jīng)典計算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。尤其對問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測等問題,ANN往往是最有利的工具。另一方面,ANN對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題,表現(xiàn)出極大的靈活性和自適應(yīng)性。黑箱下面討論一個用于醫(yī)療診斷的例子。假設(shè)系統(tǒng)的診斷模型只有六種癥狀、兩種疾病、三種治療方案。對網(wǎng)絡(luò)訓(xùn)練樣本是選擇一批合適的病人并從病歷中采集如下信息：（1）癥狀：對每一癥狀只采集有、無及沒有記錄這三種信息。（2）疾病：對每一疾病也只采集有、無及沒有記錄這三種信息。（3）治療方案：對每一治療方案只采集是否采用這兩種信息。其中，對“有”、“無”、“沒有記錄”分別用+1，-1，0表示。這樣對每一個病人就可以構(gòu)成一個訓(xùn)練樣本。假設(shè)根據(jù)癥狀、疾病及治療方案間的因果關(guān)系以及通過訓(xùn)練本對網(wǎng)絡(luò)的訓(xùn)練得到了下圖所示的神經(jīng)網(wǎng)絡(luò)。其中,x1,x2,…，x6

為癥狀；x7,x8為疾病名；x9,x10,x11為治療方案；xa,xb,xc是附加層，這是由于學(xué)習(xí)算法的需要而增加的。在此網(wǎng)絡(luò)中，x1，x2,…，x6是輸入層；x9,x10,x11是輸出層；兩者之間以疾病名作