人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座

人工神經(jīng)網(wǎng)絡(luò)概述前向多層網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)（SOFM）人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第1頁(yè)一人工神經(jīng)網(wǎng)絡(luò)發(fā)展二生物學(xué)基礎(chǔ)三人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)四神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第2頁(yè)一人工神經(jīng)網(wǎng)絡(luò)發(fā)展最早研究能夠追溯到20世紀(jì)40年代。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作提出了形式神經(jīng)元數(shù)學(xué)模型。這一模型普通被簡(jiǎn)稱(chēng)M-P神經(jīng)網(wǎng)絡(luò)模型，至今仍在應(yīng)用，能夠說(shuō)，人工神經(jīng)網(wǎng)絡(luò)研究時(shí)代，就由此開(kāi)始了。1949年，心理學(xué)家Hebb提出神經(jīng)系統(tǒng)學(xué)習(xí)規(guī)則，為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法奠定了基礎(chǔ)。現(xiàn)在，這個(gè)規(guī)則被稱(chēng)為Hebb規(guī)則，許多人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)還遵照這一規(guī)則。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第3頁(yè)1957年，F(xiàn).Rosenblatt提出“感知器”(Perceptron)模型，第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論探討付諸工程實(shí)踐，掀起了人工神經(jīng)網(wǎng)絡(luò)研究第一次高潮。1969年，人工智能學(xué)者專(zhuān)著《感知機(jī)》發(fā)表，從數(shù)學(xué)上嚴(yán)格論證了簡(jiǎn)單線(xiàn)性感知機(jī)不能處理“異或”（XOR）問(wèn)題。同時(shí)也指出假如在感知器中引入隱含神經(jīng)元，增加神經(jīng)網(wǎng)絡(luò)層次，能夠提升神經(jīng)網(wǎng)絡(luò)處理能力，不過(guò)卻無(wú)法給出對(duì)應(yīng)網(wǎng)絡(luò)學(xué)習(xí)算法。于是，從20世紀(jì)60年代末期起，人工神經(jīng)網(wǎng)絡(luò)研究進(jìn)入了低潮。一人工神經(jīng)網(wǎng)絡(luò)發(fā)展人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第4頁(yè)1982年，美國(guó)加州工學(xué)院物理學(xué)家Hopfield提出了離散神經(jīng)網(wǎng)絡(luò)模型，標(biāo)志著神經(jīng)網(wǎng)絡(luò)研究又進(jìn)入了一個(gè)新高潮。1984年，Hopfield又提出連續(xù)神經(jīng)網(wǎng)絡(luò)模型，開(kāi)拓了計(jì)算機(jī)應(yīng)用神經(jīng)網(wǎng)絡(luò)新路徑。1986年，Rumelhart和Meclelland提出多層網(wǎng)絡(luò)誤差反傳(backpropagation)學(xué)習(xí)算法，簡(jiǎn)稱(chēng)BP算法。處理了多層前向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問(wèn)題，證實(shí)了多層神經(jīng)網(wǎng)絡(luò)含有很強(qiáng)學(xué)習(xí)能力，它能夠完成許多學(xué)習(xí)任務(wù)，處理許多實(shí)際問(wèn)題。

一人工神經(jīng)網(wǎng)絡(luò)發(fā)展人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第5頁(yè)自20世紀(jì)80年代中期以來(lái)，世界上許多國(guó)家掀起了神經(jīng)網(wǎng)絡(luò)研究熱潮，能夠說(shuō)神經(jīng)網(wǎng)絡(luò)已成為國(guó)際上一個(gè)研究熱點(diǎn)。

一人工神經(jīng)網(wǎng)絡(luò)發(fā)展人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第6頁(yè)神經(jīng)網(wǎng)絡(luò)研究?jī)纱笈桑褐饕?生物學(xué)家、物理學(xué)家和心理學(xué)家研究目標(biāo)：給出大腦活動(dòng)精細(xì)模型和描述。主要包含:工程技術(shù)人員主要目標(biāo)：怎樣利用神經(jīng)網(wǎng)絡(luò)基本原理，來(lái)結(jié)構(gòu)處理實(shí)際問(wèn)題算法，使得這些算法含有有趣和有效計(jì)算能力。人工神經(jīng)網(wǎng)絡(luò)屬于這類(lèi)一人工神經(jīng)網(wǎng)絡(luò)發(fā)展人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第7頁(yè)人工神經(jīng)網(wǎng)絡(luò)概念：人工神經(jīng)網(wǎng)絡(luò)：就是把一個(gè)描述生物神經(jīng)網(wǎng)絡(luò)運(yùn)行機(jī)理和工作過(guò)程抽象和簡(jiǎn)化了數(shù)學(xué)-物理模型，表示成為一個(gè)以其中人工神經(jīng)元為節(jié)點(diǎn)、以神經(jīng)元之間連接關(guān)系為路徑權(quán)值有向圖，再用硬件或軟件程序?qū)崿F(xiàn)該有向圖運(yùn)行，其穩(wěn)態(tài)運(yùn)行結(jié)果表示生物神經(jīng)系統(tǒng)某種特殊能力。一人工神經(jīng)網(wǎng)絡(luò)發(fā)展人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第8頁(yè)人工神經(jīng)網(wǎng)絡(luò)是近年來(lái)得到快速發(fā)展一個(gè)前沿課題。神經(jīng)網(wǎng)絡(luò)因?yàn)槠浯笠?guī)模并行處理、容錯(cuò)性、自組織和自適應(yīng)能力和聯(lián)想功效強(qiáng)等特點(diǎn)，已成為處理很多問(wèn)題有力工具。一人工神經(jīng)網(wǎng)絡(luò)發(fā)展人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第9頁(yè)二生物學(xué)基礎(chǔ)生物神經(jīng)元突觸信息處理信息傳遞功效與特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第10頁(yè)1、生物神經(jīng)元神經(jīng)元是大腦處理信息基本單元人腦約由101l-1012個(gè)神經(jīng)元組成，其中，每個(gè)神經(jīng)元約與104-105個(gè)神經(jīng)元經(jīng)過(guò)突觸聯(lián)接，形成極為錯(cuò)縱復(fù)雜而且又靈活多變神經(jīng)網(wǎng)絡(luò)神經(jīng)元以細(xì)胞體為主體，由許多向周?chē)由觳灰?guī)則樹(shù)枝狀纖維組成神經(jīng)細(xì)胞，其形狀很像一棵枯樹(shù)枝干主要由細(xì)胞體、樹(shù)突、軸突組成

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第11頁(yè)樹(shù)突是樹(shù)狀神經(jīng)纖維接收網(wǎng)絡(luò)，它將電信號(hào)傳送到細(xì)胞體細(xì)胞體對(duì)這些輸入信號(hào)進(jìn)行整合并進(jìn)行閾值處理軸突是單根長(zhǎng)纖維，它把細(xì)胞體輸出信號(hào)導(dǎo)向其它神經(jīng)元神經(jīng)元排列和突觸強(qiáng)度(由復(fù)雜化學(xué)過(guò)程決定)確立了神經(jīng)網(wǎng)絡(luò)功效。1、生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第12頁(yè)生物學(xué)研究表明一些神經(jīng)結(jié)構(gòu)是與生俱來(lái)，而其它部分則是在學(xué)習(xí)過(guò)程中形成。在學(xué)習(xí)過(guò)程中，可能會(huì)產(chǎn)生一些新連接，也可能會(huì)使以前一些連接消失。這個(gè)過(guò)程在生命早期最為顯著。1、生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第13頁(yè)2、突觸信息處理生物神經(jīng)元傳遞信息過(guò)程為多輸入、單輸出；神經(jīng)元各組成部分功效來(lái)看，信息處理與傳遞主要發(fā)生在突觸附近；當(dāng)神經(jīng)元細(xì)胞體經(jīng)過(guò)軸突傳到突觸前膜脈沖幅度到達(dá)一定強(qiáng)度，即超出其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞化學(xué)物質(zhì)；突觸有兩種類(lèi)型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第14頁(yè)3、信息傳遞功效與特點(diǎn)

含有時(shí)空整合能力不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞神經(jīng)纖維傳導(dǎo)速度，即脈沖沿神經(jīng)纖維傳遞速度，在1—150m／s之間信息傳遞時(shí)延和不應(yīng)期，普通為0.3～lms可塑性，突觸傳遞信息強(qiáng)度是可變，即含有學(xué)習(xí)功效存在學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng)對(duì)應(yīng)突觸傳遞作用增強(qiáng)、減弱和飽和人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第15頁(yè)三人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型常見(jiàn)神經(jīng)元激發(fā)函數(shù)人工神經(jīng)網(wǎng)絡(luò)經(jīng)典結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第16頁(yè)1943，神經(jīng)生理學(xué)家McCulloch和數(shù)學(xué)家Pitts基于早期神經(jīng)元學(xué)說(shuō)，歸納總結(jié)了生物神經(jīng)元基本特征，建立了含有邏輯演算功效神經(jīng)元模型以及這些人工神經(jīng)元互聯(lián)形成人工神經(jīng)網(wǎng)絡(luò)，即所謂McCulloch-Pitts模型。McCulloch-Pitts模型（MP模型）是世界上第一個(gè)神經(jīng)計(jì)算模型，即人工神經(jīng)系統(tǒng)。二、人工神經(jīng)元模型

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第17頁(yè)MP模型：稱(chēng)為輸出函數(shù)或激活函數(shù)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第18頁(yè)激活函數(shù)求和操作MP模型：人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第19頁(yè)

f(x)是激活函數(shù)(ActivationFunction)，也稱(chēng)輸出函數(shù)。MP神經(jīng)元模型中輸出函數(shù)為階躍函數(shù)：其表示式為：MP模型：人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第20頁(yè)激活函數(shù)基本作用控制輸入對(duì)輸出激活作用對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換將可能無(wú)限域輸入變換成指定有限范圍內(nèi)輸出可知當(dāng)神經(jīng)元i輸入信號(hào)加權(quán)和超出閾值時(shí)，輸出為“1”，即“興奮”狀態(tài)；反之輸出為“0”，是“抑制”狀態(tài)。MP模型：人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第21頁(yè)例：實(shí)現(xiàn)邏輯函數(shù)“與門(mén)”（ANDgate）運(yùn)算。1—真，0—假人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第22頁(yè)例：實(shí)現(xiàn)邏輯函數(shù)“與門(mén)”（ANDgate）運(yùn)算。1—真，0—假人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第23頁(yè)3、常見(jiàn)神經(jīng)元激活函數(shù)MP神經(jīng)元模型是人工神經(jīng)元模型基礎(chǔ)，也是神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)。在神經(jīng)元模型中，激活函數(shù)除了階躍函數(shù)之外，還有其它形式。不一樣激活函數(shù)，可組成不一樣神經(jīng)元模型。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第24頁(yè)<1>對(duì)稱(chēng)型Sigmoid函數(shù)

或人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第25頁(yè)<2>非對(duì)稱(chēng)型Sigmoid函數(shù)或人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第26頁(yè)<3>對(duì)稱(chēng)型階躍函數(shù)采取階躍作用函數(shù)神經(jīng)元，稱(chēng)為閾值邏輯單元。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第27頁(yè)<4>線(xiàn)性函數(shù)

（1）線(xiàn)性作用函數(shù)：輸出等于輸入，即（2）飽和線(xiàn)性作用函數(shù)（3）對(duì)稱(chēng)飽和線(xiàn)性作用函數(shù)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第28頁(yè)<5>高斯函數(shù)

反應(yīng)出高斯函數(shù)寬度人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第29頁(yè)<6>雙曲正切函數(shù)

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第30頁(yè)眾所周知，神經(jīng)網(wǎng)絡(luò)強(qiáng)大計(jì)算功效是經(jīng)過(guò)神經(jīng)元互連而到達(dá)。依據(jù)神經(jīng)元拓?fù)浣Y(jié)構(gòu)形式不一樣，神經(jīng)網(wǎng)絡(luò)可分成以下兩大類(lèi)：4、人工神經(jīng)網(wǎng)絡(luò)經(jīng)典結(jié)構(gòu)當(dāng)前，神經(jīng)網(wǎng)絡(luò)模型種類(lèi)比較多，已經(jīng)有近40余種神經(jīng)網(wǎng)絡(luò)模型，其中經(jīng)典有BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART自適應(yīng)共振理論和Blotzman機(jī)網(wǎng)絡(luò)等人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第31頁(yè)<1>層次型神經(jīng)網(wǎng)絡(luò)（1）前向神經(jīng)網(wǎng)絡(luò)

神經(jīng)元分層排列，次序連接。由輸入層施加輸入信息，經(jīng)過(guò)中間各層，加權(quán)后傳遞到輸出層后輸出。每層神經(jīng)元只接收前一層神經(jīng)元輸入，各神經(jīng)元之間不存在反饋。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第32頁(yè)（2）層內(nèi)有互聯(lián)前向神經(jīng)網(wǎng)絡(luò)

在前向神經(jīng)網(wǎng)絡(luò)中有在同一層中各神經(jīng)元相互有連接,經(jīng)過(guò)層內(nèi)神經(jīng)元相互結(jié)合，能夠?qū)崿F(xiàn)同一層內(nèi)神經(jīng)元之間橫向抑制或興奮機(jī)制，這么能夠限制每層內(nèi)能同時(shí)動(dòng)作神經(jīng)元數(shù)，或者把每層內(nèi)神經(jīng)元分為若干組，讓每組作為一個(gè)整體來(lái)動(dòng)作。<1>層次型神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第33頁(yè)（3）有反饋前向神經(jīng)網(wǎng)絡(luò)在層次網(wǎng)絡(luò)結(jié)構(gòu)中，只在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接收來(lái)自外部輸入和來(lái)自輸出神經(jīng)元反饋。這種模式可用來(lái)存放某種模式序列，如神經(jīng)認(rèn)知機(jī)即屬于這類(lèi)，也能夠用于動(dòng)態(tài)時(shí)間序列過(guò)程神經(jīng)網(wǎng)絡(luò)建模。<1>層次型神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第34頁(yè)<2>互聯(lián)型神經(jīng)網(wǎng)絡(luò)在互連網(wǎng)絡(luò)模型中，任意兩個(gè)神經(jīng)元之間都可能有相互連接關(guān)系。其中，有神經(jīng)元之間是雙向，有是單向。Hopfield網(wǎng)絡(luò)、Boltzman機(jī)網(wǎng)絡(luò)屬于這一類(lèi)。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第35頁(yè)<2>互聯(lián)型神經(jīng)網(wǎng)絡(luò)

在無(wú)反饋前向網(wǎng)絡(luò)中，信號(hào)一旦經(jīng)過(guò)某個(gè)神經(jīng)元，過(guò)程就結(jié)束了。而在互連網(wǎng)絡(luò)中，信號(hào)要在神經(jīng)元之間重復(fù)往返傳遞，神經(jīng)網(wǎng)絡(luò)處于一個(gè)不停改變狀態(tài)動(dòng)態(tài)之中。從某個(gè)初始狀態(tài)開(kāi)始，經(jīng)過(guò)若干次改變，才會(huì)抵達(dá)某種平衡狀態(tài)，依據(jù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和神經(jīng)元特征，還有可能進(jìn)入周期振蕩或其它如渾沌等平衡狀態(tài)。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第36頁(yè)2、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則聯(lián)想式學(xué)習(xí)—Hebb學(xué)習(xí)規(guī)則誤差糾正式學(xué)習(xí)——Delta(δ)學(xué)習(xí)規(guī)則三神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)方式和學(xué)習(xí)規(guī)則1、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式有監(jiān)督（誤差校正）學(xué)習(xí)方式無(wú)監(jiān)督學(xué)習(xí)方式人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第37頁(yè)人工神經(jīng)網(wǎng)絡(luò)連接權(quán)確實(shí)定通常有兩種方法依據(jù)詳細(xì)要求，直接計(jì)算，如Hopfield網(wǎng)絡(luò)作優(yōu)化計(jì)算經(jīng)過(guò)學(xué)習(xí)得到。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采取這種方法學(xué)習(xí)是改變各神經(jīng)元連接權(quán)值有效方法，也是表達(dá)人工神經(jīng)網(wǎng)絡(luò)智能特征最主要標(biāo)志。離開(kāi)了學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)就失去了誘人自適應(yīng)、自組織能力學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中關(guān)鍵問(wèn)題三神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)方式和學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第38頁(yè)1、有監(jiān)督學(xué)習(xí)方式特點(diǎn)：不能確保得到全局最優(yōu)解要求大量訓(xùn)練樣本，收斂速度慢對(duì)樣當(dāng)?shù)乇硎敬涡蚋淖儽容^敏感

神經(jīng)網(wǎng)絡(luò)依據(jù)實(shí)際輸出與期望輸出偏差，按照一定準(zhǔn)則調(diào)整各神經(jīng)元連接權(quán)系數(shù)，見(jiàn)下列圖。期望輸出又稱(chēng)為導(dǎo)師信號(hào)，是評(píng)價(jià)學(xué)習(xí)標(biāo)準(zhǔn)，故這種學(xué)習(xí)方式又稱(chēng)為有導(dǎo)師學(xué)習(xí)。<1>神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第39頁(yè)無(wú)導(dǎo)師信號(hào)提供給網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)僅僅依據(jù)其輸入調(diào)整連接權(quán)系數(shù)和閾值，此時(shí)，網(wǎng)絡(luò)學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于內(nèi)部。其結(jié)構(gòu)見(jiàn)下列圖。這種學(xué)習(xí)方式主要完成聚類(lèi)操作。2、無(wú)監(jiān)督學(xué)習(xí)方式<1>神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第40頁(yè)DonallHebb依據(jù)生理學(xué)中條件反射機(jī)理，于1949年提出神經(jīng)元連接強(qiáng)度改變規(guī)則：假如兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間突觸連接加強(qiáng)

為學(xué)習(xí)速率，oi、oj為神經(jīng)元i和j輸出1、聯(lián)想式學(xué)習(xí)—Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)基本規(guī)則，幾乎全部神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則都能夠看作Hebb學(xué)習(xí)規(guī)則變形<2>神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第41頁(yè)2、糾錯(cuò)式學(xué)習(xí)—Delta(δ)學(xué)習(xí)規(guī)則首先我們考慮一個(gè)簡(jiǎn)單情況：設(shè)某神經(jīng)網(wǎng)絡(luò)輸出層中只有一個(gè)神經(jīng)元i，給該神經(jīng)網(wǎng)絡(luò)加上輸入，這么就產(chǎn)生了輸出yi(n)，稱(chēng)該輸出為實(shí)際輸出。對(duì)于所加上輸入，我們期望該神經(jīng)網(wǎng)絡(luò)輸出為d(n),稱(chēng)為期望輸出或目標(biāo)輸出（樣本對(duì)里面包含輸入和期望輸出）。實(shí)際輸出與期望輸出之間存在著誤差，用e(n)表示：<2>神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則現(xiàn)在要調(diào)整權(quán)值，是誤差信號(hào)e(n)減小到一個(gè)范圍。為此，可設(shè)定代價(jià)函數(shù)或性能指數(shù)E(n)：人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第42頁(yè)重復(fù)調(diào)整突觸權(quán)值使代價(jià)函數(shù)到達(dá)最小或者使系統(tǒng)到達(dá)一個(gè)穩(wěn)定狀態(tài)（及突觸權(quán)值穩(wěn)定不變），就完成了該學(xué)習(xí)過(guò)程。該學(xué)習(xí)過(guò)程成為糾錯(cuò)學(xué)習(xí)，或Delta學(xué)習(xí)規(guī)則。

wij表示神經(jīng)元xi到xj學(xué)突觸權(quán)值，在學(xué)習(xí)步驟為n時(shí)對(duì)突觸權(quán)值調(diào)整為：學(xué)習(xí)速率參數(shù)則<二>神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第43頁(yè)網(wǎng)絡(luò)運(yùn)行普通分為訓(xùn)練和仿真兩個(gè)階段。訓(xùn)練目標(biāo)是為了從訓(xùn)練數(shù)據(jù)中提取隱含知識(shí)和規(guī)律，并存放于網(wǎng)絡(luò)中供仿真工作階段使用神經(jīng)網(wǎng)絡(luò)仿真過(guò)程實(shí)質(zhì)上是神經(jīng)網(wǎng)絡(luò)依據(jù)網(wǎng)絡(luò)輸入數(shù)據(jù)，經(jīng)過(guò)數(shù)值計(jì)算得出對(duì)應(yīng)網(wǎng)絡(luò)輸出過(guò)程。經(jīng)過(guò)仿真，我們能夠及時(shí)了解當(dāng)前神經(jīng)網(wǎng)絡(luò)性能．從而決定是否對(duì)網(wǎng)絡(luò)進(jìn)行深入訓(xùn)練。人工神經(jīng)網(wǎng)絡(luò)運(yùn)行人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第44頁(yè)感知器模型是美國(guó)學(xué)者羅森勃拉特（Rosenblatt）為研究大腦存放、學(xué)習(xí)和認(rèn)知過(guò)程而提出一類(lèi)含有自學(xué)習(xí)能力神經(jīng)網(wǎng)絡(luò)模型，它把神經(jīng)網(wǎng)絡(luò)研究從純理論探討引向了從工程上實(shí)現(xiàn)。Rosenblatt提出感知器模型是一個(gè)只有單層計(jì)算單元前向神經(jīng)網(wǎng)絡(luò)，稱(chēng)為單層感知器。感知器尤其適合于簡(jiǎn)單模式分類(lèi)問(wèn)題，模式分類(lèi)學(xué)習(xí)控制和多模態(tài)控制中感知器神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第45頁(yè)采取階躍函數(shù)作為神經(jīng)元激活函數(shù)是感知器神經(jīng)元經(jīng)典特征p為輸入矢量，學(xué)習(xí)誤差e為目標(biāo)矢量t和網(wǎng)絡(luò)實(shí)際輸出矢量a之間差值感知器神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第46頁(yè)感知器神經(jīng)網(wǎng)絡(luò)訓(xùn)練

感知器訓(xùn)練主要是重復(fù)對(duì)感知器神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真和學(xué)習(xí)，最終得到最優(yōu)網(wǎng)絡(luò)閥值和權(quán)值1）確定我們所處理問(wèn)題輸入向量P、目標(biāo)向量t，并確定各向量維數(shù)，以及網(wǎng)絡(luò)結(jié)構(gòu)大小、神經(jīng)元數(shù)目。2）初始化：權(quán)值向量w和閥值向量b分別賦予[－1,+1]之間隨機(jī)值，而且給出訓(xùn)練最大次數(shù)。3）依據(jù)輸入向量P、最新權(quán)值向量w和閥值向量b，計(jì)算網(wǎng)絡(luò)輸出向量a。4）檢驗(yàn)感知器輸出向量與目標(biāo)向量是否一致，或者是否到達(dá)了最大訓(xùn)練次數(shù)，假如是則結(jié)束訓(xùn)練，不然轉(zhuǎn)入（5）。5）依據(jù)感知器學(xué)習(xí)規(guī)則調(diào)查權(quán)向量，并返回3）。人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第47頁(yè)感知器神經(jīng)網(wǎng)絡(luò)應(yīng)用舉例

兩種蠓蟲(chóng)Af和Apf已由生物學(xué)家W.L.Grogan與w.w.Wirth(1981)依據(jù)它們觸角長(zhǎng)度和翼長(zhǎng)以區(qū)分。見(jiàn)下表中9只Af蠓和6只Apf蠓數(shù)據(jù)。依據(jù)給出觸角長(zhǎng)度和翼長(zhǎng)可識(shí)別出一只標(biāo)本是Af還是Apf。1．給定一只Af或者Apf族蒙，你怎樣正確地域分它屬于哪一族？2．將你方法用于觸角長(zhǎng)和翼長(zhǎng)分別為（1.24,1.80）、（1.28,1.84）、(1.40,2.04)三個(gè)標(biāo)本Af觸重長(zhǎng)1.241.361.381.3781.381.401.481.541.56翼長(zhǎng)1.721.741.641.821.901.701.701.822.08Apf觸角長(zhǎng)1.141.181.201.261.281.30翼長(zhǎng)1.781.961.862.002.001.96人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)講義專(zhuān)家講座第48頁(yè)輸入向量為：p=[1.241.361.3