人工神經(jīng)網(wǎng)絡(luò)-專題知識專家講座

人工神經(jīng)網(wǎng)絡(luò)

ArtificialNeuralNetworks4/24/20231人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第1頁蔣宗禮軟件學(xué)科部聯(lián)絡(luò)電話：67392508Email：jiangzl@辦公地點：信息北樓2144/24/20232人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第2頁教材書名：《人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論》出版社：高等教育出版社出版日期：年8月定價：12.4元作者：蔣宗禮4/24/20233人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第3頁主要參考書目1、PhilipD.Wasserman，NeuralComputing:TheoryandPractice，VanNostrandReinhold，19892、胡守仁、余少波、戴葵，神經(jīng)網(wǎng)絡(luò)導(dǎo)論，國防科技大學(xué)出版社，1993年10月3、楊行峻、鄭君里，人工神經(jīng)網(wǎng)絡(luò)，高等教育出版社，1992年9月4、聞新、周露、王丹力、熊曉英，MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計，科學(xué)出版社，.5.4/24/20234人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第4頁課程目標(biāo)和基本要求

作為人工神經(jīng)網(wǎng)絡(luò)入門課程，用于將學(xué)生引入人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究領(lǐng)域。介紹人工神經(jīng)網(wǎng)絡(luò)及其基本網(wǎng)絡(luò)模型，使學(xué)生了解智能系統(tǒng)描述基本模型掌握人工神經(jīng)網(wǎng)絡(luò)基本概念、單層網(wǎng)、多層網(wǎng)、循環(huán)網(wǎng)等各種基本網(wǎng)絡(luò)模型結(jié)構(gòu)、特點、經(jīng)典訓(xùn)練算法、運行方式、經(jīng)典問題掌握軟件實現(xiàn)方法。4/24/20235人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第5頁課程目標(biāo)和基本要求了解人工神經(jīng)網(wǎng)絡(luò)相關(guān)研究思想，從中學(xué)習(xí)開拓者們部分問題求解方法。經(jīng)過試驗深入體會相關(guān)模型使用方法和性能，獲取一些初步經(jīng)驗。查閱適當(dāng)參考文件，將所學(xué)知識與自己未來研究課題（包含碩士論文階段研究課題）相結(jié)合起來，到達(dá)既豐富學(xué)習(xí)內(nèi)容，又有一定研究和應(yīng)用目標(biāo)。4/24/20236人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第6頁主要內(nèi)容

智能及其實現(xiàn)ANN基礎(chǔ)PerceptronBPCPN統(tǒng)計方法Hopfield網(wǎng)與BAMART4/24/20237人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第7頁主要內(nèi)容第一章：引論智能概念、智能系統(tǒng)特點及其描述基本模型，物理符號系統(tǒng)與連接主義觀點及其比較；人工神經(jīng)網(wǎng)絡(luò)特點、發(fā)展歷史。

4/24/20238人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第8頁主要內(nèi)容第二章

人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)本章在介紹了基本神經(jīng)元后，將概要介紹人工神經(jīng)網(wǎng)絡(luò)普通特征。主要包含，生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與經(jīng)典激勵函數(shù)；人工神經(jīng)網(wǎng)絡(luò)基本拓?fù)涮卣?，存放類型（CAM──LTM，AM──STM）及映象，Supervised訓(xùn)練與Unsupervised訓(xùn)練。4/24/20239人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第9頁主要內(nèi)容第三章

感知器感知器與人工神經(jīng)網(wǎng)絡(luò)早期發(fā)展；單層網(wǎng)能處理線性可分問題，而無法處理線形不可分問題，要想處理這一問題，必須引入多層網(wǎng)；Hebb學(xué)習(xí)律，Delta規(guī)則，感知器訓(xùn)練算法。試驗：實現(xiàn)一個感知器。

4/24/202310人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第10頁主要內(nèi)容第四章

向后傳輸BP（Backpropagation）網(wǎng)絡(luò)組成及其訓(xùn)練過程；隱藏層權(quán)調(diào)整方法直觀分析，BP訓(xùn)練算法中使用Delta規(guī)則（最速下降法）理論推導(dǎo)；算法收斂速度及其改進(jìn)討論；BP網(wǎng)絡(luò)中幾個主要問題。試驗：實現(xiàn)BP算法。

4/24/202311人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第11頁主要內(nèi)容第五章

對傳網(wǎng)生物神經(jīng)系統(tǒng)與異構(gòu)網(wǎng)引入；對傳網(wǎng)網(wǎng)絡(luò)結(jié)構(gòu)，Kohonen層與Grossberg層正常運行，對傳網(wǎng)輸入向量預(yù)處理，Kohonen層訓(xùn)練算法及其權(quán)矩陣初始化方法；Grossberg層訓(xùn)練；完整對傳網(wǎng)。試驗：實現(xiàn)基本對傳網(wǎng)。

4/24/202312人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第12頁主要內(nèi)容第六章

統(tǒng)計方法統(tǒng)計方法是為了處理局部極小點問題而引入，統(tǒng)計網(wǎng)絡(luò)基本訓(xùn)練算法，模擬退火算法與收斂分析，Cauchy訓(xùn)練，人工熱處理與臨界溫度在訓(xùn)練中使用，BP算法與Cauchy訓(xùn)練相結(jié)合。試驗：實現(xiàn)模擬退火算法。

4/24/202313人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第13頁主要內(nèi)容第七章循環(huán)網(wǎng)絡(luò)循環(huán)網(wǎng)絡(luò)組織，穩(wěn)定性分析；相聯(lián)存放；統(tǒng)計Hopfield網(wǎng)與Boltzmann機(jī)；Hopfield網(wǎng)用于處理TSP問題。BAM(BidirectionalAssociativeMemory)用于實現(xiàn)雙聯(lián)存放；基本雙聯(lián)存放網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練；其它幾個相聯(lián)存放網(wǎng)絡(luò)。試驗：實現(xiàn)一個Hopfield網(wǎng)。

4/24/202314人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第14頁主要內(nèi)容第八章

自適應(yīng)共振理論人腦穩(wěn)定性與可塑性問題；ART模型總體結(jié)構(gòu)與分塊描述；比較層與識別層之間兩個聯(lián)接矩陣初始化，識別過程與比較過程，查找實現(xiàn)；訓(xùn)練討論。

4/24/202315人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第15頁第1章

引言主要內(nèi)容：智能與人工智能；ANN特點；歷史回顧與展望重點：智能本質(zhì)；ANN是一個非線性大規(guī)模并行處理系統(tǒng)難點：對智能刻畫

4/24/202316人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第16頁第1章

引言1.1人工神經(jīng)網(wǎng)絡(luò)提出1.2人工神經(jīng)網(wǎng)絡(luò)特點1.3歷史回顧4/24/202317人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第17頁第1章

引言人類對人工智能研究能夠分成兩種方式對應(yīng)著兩種不一樣技術(shù)：傳統(tǒng)人工智能技術(shù)——心理角度模擬基于人工神經(jīng)網(wǎng)絡(luò)技術(shù)——生理角度模擬4/24/202318人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第18頁1.1人工神經(jīng)網(wǎng)絡(luò)提出

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡記作ANN），是對人類大腦系統(tǒng)一階特征一個描述。簡單地講，它是一個數(shù)學(xué)模型，能夠用電子線路來實現(xiàn)，也能夠用計算機(jī)程序來模擬，是人工智能研究一個方法。

4/24/202319人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第19頁1.1人工神經(jīng)網(wǎng)絡(luò)提出1.1.1智能與人工智能

一、

智能含義智能是個體有目標(biāo)行為，合理思維，以及有效、適應(yīng)環(huán)境綜合能力。

智能是個體認(rèn)識客觀事物和利用知識處理問題能力。

人類個體智能是一個綜合能力。4/24/202320人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第20頁1.1人工神經(jīng)網(wǎng)絡(luò)提出智能能夠包含8個方面感知與認(rèn)識客觀事物、客觀世界和自我能力感知是智能基礎(chǔ)——最基本能力

經(jīng)過學(xué)習(xí)取得經(jīng)驗與積累知識能力這是人類在世界中能夠不停發(fā)展最基本能力。了解知識，利用知識和經(jīng)驗分析、處理問題能力這一能力能夠算作是智能高級形式。是人類對世界進(jìn)行適當(dāng)改造，推進(jìn)社會不停發(fā)展基本能力。4/24/202321人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第21頁1.1人工神經(jīng)網(wǎng)絡(luò)提出聯(lián)想、推理、判斷、決議語言能力這是智能高級形式又首先。預(yù)測和認(rèn)識“主動”和“被動”之分。聯(lián)想、推理、判斷、決議能力是“主動”基礎(chǔ)。利用進(jìn)行抽象、概括能力上述這5種能力，被認(rèn)為是人類智能最為基本能力

4/24/202322人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第22頁1.1人工神經(jīng)網(wǎng)絡(luò)提出作為5種能力綜合表現(xiàn)形式3種能力發(fā)覺、創(chuàng)造、創(chuàng)造、創(chuàng)新能力實時、快速、合理地應(yīng)付復(fù)雜環(huán)境能力預(yù)測、洞察事物發(fā)展、改變能力

4/24/202323人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第23頁1.1人工神經(jīng)網(wǎng)絡(luò)提出二、人工智能人工智能：研究怎樣使類似計算機(jī)這么設(shè)備去模擬人類這些能力。研究人工智能目標(biāo)增加人類探索世界，推進(jìn)社會前進(jìn)能力深入認(rèn)識自己三大學(xué)術(shù)流派符號主義（或叫做符號/邏輯主義）學(xué)派聯(lián)接主義（或者叫做PDP）學(xué)派進(jìn)化主義（或者叫做行動/響應(yīng)）學(xué)派4/24/202324人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第24頁1.1人工神經(jīng)網(wǎng)絡(luò)提出1.1.2物理符號系統(tǒng)

人腦反應(yīng)形式化

現(xiàn)實信息數(shù)據(jù)

物理系統(tǒng)物理符號系統(tǒng)

表現(xiàn)智能4/24/202325人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第25頁1.1人工神經(jīng)網(wǎng)絡(luò)提出Newell和Simon假說：一個物理系統(tǒng)表現(xiàn)智能行為充要條件是它有一個物理符號系統(tǒng)概念：物理符號系統(tǒng)需要有一組稱為符號實體組成，它們都是物理模型，能夠在另一類稱為符號結(jié)構(gòu)實體中作為成份出現(xiàn)，以組成更高級別系統(tǒng)4/24/202326人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第26頁1.1人工神經(jīng)網(wǎng)絡(luò)提出困難：抽象——舍棄一些特征，同時保留一些特征形式化處理——用物理符號及對應(yīng)規(guī)則表示物理系統(tǒng)存在和運行。局限：對全局性判斷、含糊信息處理、多粒度視覺信息處理等是非常困難。4/24/202327人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第27頁1.1人工神經(jīng)網(wǎng)絡(luò)提出1.1.3聯(lián)接主義觀點

關(guān)鍵：智能本質(zhì)是聯(lián)接機(jī)制。

神經(jīng)網(wǎng)絡(luò)是一個由大量簡單處理單元組成高度復(fù)雜大規(guī)模非線性自適應(yīng)系統(tǒng)

ANN力爭從四個方面去模擬人腦智能行為物理結(jié)構(gòu)

計算模擬

存放與操作

訓(xùn)練

4/24/202328人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第28頁1.1人工神經(jīng)網(wǎng)絡(luò)提出1.1.4兩種模型比較

心理過程邏輯思維高級形式（思維表象）

生理過程

形象思維

低級形式（思維根本）

仿生

人工神經(jīng)網(wǎng)絡(luò)聯(lián)結(jié)主義觀點物理符號系統(tǒng)4/24/202329人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第29頁1.1人工神經(jīng)網(wǎng)絡(luò)提出物理符號系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)差異

項目物理符號系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)處理方式邏輯運算模擬運算執(zhí)行方式串行并行動作離散連續(xù)存放局部集中全局分布4/24/202330人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第30頁1.1人工神經(jīng)網(wǎng)絡(luò)提出兩種人工智能技術(shù)比較項目傳統(tǒng)AI技術(shù)ANN技術(shù)

基本實現(xiàn)方式

串行處理；由程序?qū)崿F(xiàn)控制

并行處理；對樣本數(shù)據(jù)進(jìn)行多目標(biāo)學(xué)習(xí)；經(jīng)過人工神經(jīng)元之間相互作用實現(xiàn)控制基本開發(fā)方法

設(shè)計規(guī)則、框架、程序；用樣本數(shù)據(jù)進(jìn)行調(diào)試（由人依據(jù)已知環(huán)境去結(jié)構(gòu)一個模型）定義人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)原型，經(jīng)過樣本數(shù)據(jù)，依據(jù)基本學(xué)習(xí)算法完成學(xué)習(xí)——自動從樣本數(shù)據(jù)中抽取內(nèi)涵（自動適應(yīng)應(yīng)用環(huán)境）適應(yīng)領(lǐng)域

準(zhǔn)確計算：符號處理，數(shù)值計算非準(zhǔn)確計算：模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理模擬對象

左腦（邏輯思維）右腦（形象思維）4/24/202331人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第31頁1.2人工神經(jīng)網(wǎng)絡(luò)特點信息分布表示運算全局并行和局部操作處理非線性

4/24/202332人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第32頁1.2.1人工神經(jīng)網(wǎng)絡(luò)概念1、定義

1）Hecht—Nielsen（1988年）人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接無向訊號通道互連而成。這些處理單元（PE—ProcessingElement）含有局部內(nèi)存，并能夠完成局部操作。每個處理單元有一個單一輸出聯(lián)接，這個輸出能夠依據(jù)需要被分枝成希望個數(shù)許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同信號，即對應(yīng)處理單元信號，信號大小不因分支多少而改變。4/24/202333人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第33頁1.2.1人工神經(jīng)網(wǎng)絡(luò)概念（1）Hecht—Nielsen（1988年）（續(xù)）處理單元輸出信號能夠是任何需要數(shù)學(xué)模型，每個處理單元中進(jìn)行操作必須是完全局部。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接抵達(dá)處理單元全部輸入信號當(dāng)前值和存放在處理單元局部內(nèi)存中值。4/24/202334人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第34頁1.2.1人工神經(jīng)網(wǎng)絡(luò)概念強(qiáng)調(diào)：

①

并行、分布處理結(jié)構(gòu)；②一個處理單元輸出能夠被任意分枝，且大小不變；③輸出信號能夠是任意數(shù)學(xué)模型；④處理單元完全局部操作

4/24/202335人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第35頁1.2.1人工神經(jīng)網(wǎng)絡(luò)概念（2）Rumellhart，McClelland，HintonPDP1）

一組處理單元（PE或AN）；2）

處理單元激活狀態(tài)（ai）；3）

每個處理單元輸出函數(shù)（fi）；4）

處理單元之間聯(lián)接模式；5）

傳遞規(guī)則（∑wijoi）；6）

把處理單元輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激活值激活規(guī)則（Fi）；7）

經(jīng)過經(jīng)驗修改聯(lián)接強(qiáng)度學(xué)習(xí)規(guī)則；8）

系統(tǒng)運行環(huán)境（樣本集合）。

4/24/202336人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第36頁1.2.1人工神經(jīng)網(wǎng)絡(luò)概念（3）Simpson（1987年）人工神經(jīng)網(wǎng)絡(luò)是一個非線性有向圖，圖中含有能夠經(jīng)過改變權(quán)大小來存放模式加權(quán)邊，而且能夠從不完整或未知輸入找到模式。

4/24/202337人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第37頁1.2.1人工神經(jīng)網(wǎng)絡(luò)概念2、關(guān)鍵點（1）

信息分布表示（2）

運算全局并行與局部操作（3）

處理非線性特征3、對大腦基本特征模擬1）

形式上：神經(jīng)元及其聯(lián)接；BN對AN2）

表現(xiàn)特征：信息存放與處理4/24/202338人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第38頁1.2.1人工神經(jīng)網(wǎng)絡(luò)概念4、別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（NN）自適應(yīng)系統(tǒng)（AdaptiveSystems）、自適應(yīng)網(wǎng)（AdaptiveNetworks）聯(lián)接模型（Connectionism）神經(jīng)計算機(jī)（Neurocomputer）4/24/202339人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第39頁1.2.2學(xué)習(xí)（Learning）能力人工神經(jīng)網(wǎng)絡(luò)能夠依據(jù)所在環(huán)境去改變它行為自相聯(lián)網(wǎng)絡(luò)異相聯(lián)網(wǎng)絡(luò)：它在接收樣本集合A時，能夠抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間映射關(guān)系。——“抽象”功效。不一樣人工神經(jīng)網(wǎng)絡(luò)模型，有不一樣學(xué)習(xí)/訓(xùn)練算法4/24/202340人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第40頁1.2.3基本特征自動提取

因為其運算不準(zhǔn)確性，表現(xiàn)成“去噪音、容殘缺”能力，利用這種不準(zhǔn)確性，比較自然地實現(xiàn)模式自動分類。普化（Generalization）能力與抽象能力

4/24/202341人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第41頁1.2.4信息分布存放信息分布存提供容錯功效因為信息被分布存放在幾乎整個網(wǎng)絡(luò)中，所以，當(dāng)其中某一個點或者某幾個點被破壞時，信息依然能夠被存取。系統(tǒng)在受到局部損傷時還能夠正常工作。并不是說能夠任意地對完成學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行修改。也正是因為信息分布存放，對一類網(wǎng)來說，當(dāng)它完成學(xué)習(xí)后，假如再讓它學(xué)習(xí)新東西，這時就會破壞原來已學(xué)會東西。

4/24/202342人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第42頁1.2.5適應(yīng)性(Applicability)問題

擅長兩個方面：對大量數(shù)據(jù)進(jìn)行分類，而且只有較少幾個情況；必須學(xué)習(xí)一個復(fù)雜非線性映射。當(dāng)前應(yīng)用：人們主要將其用于語音、視覺、知識處理、輔助決議等方面。在數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、含糊控制、求組合優(yōu)化問題最正確解近似解（不是最正確近似解）等方面也有很好應(yīng)用。

4/24/202343人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第43頁1.3歷史回顧

1.3.1萌芽期（20世紀(jì)40年代）人工神經(jīng)網(wǎng)絡(luò)研究最早能夠追溯到人類開始研究自己智能時期，到1949年止。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會刊《BulletinofMethematicalBiophysics》1949年，心理學(xué)家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)絡(luò)是可變假說——Hebb學(xué)習(xí)律。

4/24/202344人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第44頁1.3.2第一高潮期（1950~1968）

以MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級感知器（Perceptron）。可用電子線路模擬。人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能關(guān)鍵。許多部門都開始大批地投入此項研究，希望盡快占領(lǐng)制高點。

4/24/202345人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第45頁1.3.3反思期（1969~1982）

M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年

異或”運算不可表示

二十世紀(jì)70年代和80年代早期研究結(jié)果

認(rèn)識規(guī)律：認(rèn)識——實踐——再認(rèn)識

4/24/202346人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第46頁1.3.4第二高潮期（1983~1990）

1982年，J.Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定能量函數(shù)，建立ANN穩(wěn)定性判別依據(jù)說明了ANN與動力學(xué)關(guān)系用非線性動力學(xué)方法來研究ANN特征指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元聯(lián)接上

4/24/202347人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第47頁1.3.4第二高潮期（1983~1990）2）1984年，J.Hopfield設(shè)計研制了以后被人們稱為Hopfield網(wǎng)電路。很好地處理了著名TSP問題，找到了最正確解近似解，引發(fā)了較大轟動。3）1985年，UCSDHinton、Sejnowsky、Rumelhart等人所在并行分布處理（PDP）小組研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂Boltzmann機(jī)。

4/24/202348人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第48頁1.3.4第二高潮期（1983~1990）4）1986年，并行分布處理小組Rumelhart等研究者重新獨立地提出多層網(wǎng)絡(luò)學(xué)習(xí)算法——BP算法，很好地處理了多層網(wǎng)絡(luò)學(xué)習(xí)問題。（Paker1982和Werbos1974年）國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會是1990年12月在北京舉行。

4/24/202349人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第49頁1.3.5再認(rèn)識與應(yīng)用研究期（1991~）

問題：1）應(yīng)用面還不夠?qū)?）結(jié)果不夠準(zhǔn)確3）存在可信度問題

4/24/202350人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第50頁1.3.5再認(rèn)識與應(yīng)用研究期（1991~）

研究：1）開發(fā)覺有模型應(yīng)用，并在應(yīng)用中依據(jù)實際運行情況對模型、算法加以改造，以提升網(wǎng)絡(luò)訓(xùn)練速度和運行準(zhǔn)確度。2）充分發(fā)揮兩種技術(shù)各自優(yōu)勢是一個有效方法3）希望在理論上尋找新突破，建立新專用/通用模型和算法。4）深入對生物神經(jīng)系統(tǒng)進(jìn)行研究，不停地豐富對人腦認(rèn)識。

4/24/202351人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第51頁第2章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)主要內(nèi)容：BN與AN；拓?fù)浣Y(jié)構(gòu)；存放；訓(xùn)練重點：AN；拓?fù)浣Y(jié)構(gòu)；訓(xùn)練難點：訓(xùn)練4/24/202352人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第52頁第2章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1生物神經(jīng)網(wǎng)2.2人工神經(jīng)元2.3人工神經(jīng)網(wǎng)絡(luò)拓?fù)涮卣?.4存放與映射2.5人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練4/24/202353人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第53頁2.1生物神經(jīng)網(wǎng)1、組成胞體(Soma)枝蔓（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）2、工作過程4/24/202354人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第54頁2.1生物神經(jīng)網(wǎng)3、六個基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間聯(lián)接強(qiáng)度決定信號傳遞強(qiáng)弱；3）神經(jīng)元之間聯(lián)接強(qiáng)度是能夠隨訓(xùn)練改變；4）信號能夠是起刺激作用，也能夠是起抑制作用；5）一個神經(jīng)元接收信號累積效果決定該神經(jīng)元狀態(tài)；6)每個神經(jīng)元能夠有一個“閾值”。4/24/202355人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第55頁2.2人工神經(jīng)元

神經(jīng)元是組成神經(jīng)網(wǎng)絡(luò)最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該含有生物神經(jīng)元六個基本特征。

4/24/202356人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第56頁2.2.1人工神經(jīng)元基本組成

人工神經(jīng)元模擬生物神經(jīng)元一階特征。輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡(luò)輸入： net=∑xiwi向量形式： net=XWxnwn∑x1w1x2w2net=XW…4/24/202357人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第57頁2.2.2激活函數(shù)(ActivationFunction)

激活函數(shù)——執(zhí)行對該神經(jīng)元所取得網(wǎng)絡(luò)輸入變換，也能夠稱為激勵函數(shù)、活化函數(shù)：o=f（net）

1、線性函數(shù)（LinerFunction）

f（net）=k*net+c

netooc4/24/202358人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第58頁2、非線性斜面函數(shù)(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元最大輸出。

4/24/202359人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第59頁2、非線性斜面函數(shù)（RampFunction）γ-γθ

-θ

net

o

4/24/202360人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第60頁3、閾值函數(shù)（ThresholdFunction）階躍函數(shù)

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負(fù)實數(shù)，θ為閾值二值形式： 1 ifnet>θf（net）= 0 ifnet≤θ雙極形式： 1 ifnet>θf（net）= -1 ifnet≤θ

4/24/202361人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第61頁3、閾值函數(shù)（ThresholdFunction）階躍函數(shù)β

-γθonet04/24/202362人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第62頁4、S形函數(shù)

壓縮函數(shù)（SquashingFunction）和邏輯斯特函數(shù)（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))函數(shù)飽和值為0和1。S形函數(shù)有很好增益控制

4/24/202363人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第63頁4、S形函數(shù)

a+bo(0,c)netac=a+b/24/24/202364人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第64頁2.2.3M-P模型

x2w2

∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也稱為處理單元（PE）

4/24/202365人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第65頁上次課內(nèi)容回顧擅長兩個方面當(dāng)前應(yīng)用語音、視覺、知識處理數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、含糊控制、求組合優(yōu)化問題最正確解近似解（不是最正確近似解）輔助決議——預(yù)報與智能管理通信——自適應(yīng)均衡、回波抵消、路由選擇、ATM中呼叫接納、識別與控制空間科學(xué)——對接、導(dǎo)航、制導(dǎo)、飛行程序優(yōu)化4/24/202366人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第66頁上次課內(nèi)容回顧發(fā)展過程萌芽期（20世紀(jì)40年代）M-P模型Hebb學(xué)習(xí)律第一高潮期（1950~1968）Perceptron興衰反思期（1969~1982）第二高潮期（1983~1990）4個標(biāo)志性結(jié)果再認(rèn)識與應(yīng)用研究期（1991~）4/24/202367人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第67頁上次課內(nèi)容回顧生物神經(jīng)網(wǎng)六個基本特征神經(jīng)元及其聯(lián)接、信號傳遞、訓(xùn)練、刺激與抑制、累積效果、“閾值”。人工神經(jīng)元基本組成xnwn∑x1w1x2w2net=XW…4/24/202368人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第68頁上次課內(nèi)容回顧激活函數(shù)與M-P模型

線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù)

S形函數(shù)

M-P模型x2w2

∑fo=f（net）xnwn…net=XWx1w14/24/202369人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第69頁2.3人工神經(jīng)網(wǎng)絡(luò)拓?fù)涮卣?/p>

連接拓?fù)浔硎?/p>

ANi wij ANj

4/24/202370人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第70頁2.3.1聯(lián)接模式

用正號（“+”，可省略）表示傳送來信號起刺激作用，它用于增加神經(jīng)元活躍度；用負(fù)號（“-”）表示傳送來信號起抑制作用，它用于降低神經(jīng)元活躍度。層次（又稱為“級”）劃分，造成了神經(jīng)元之間三種不一樣互連模式：

4/24/202371人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第71頁2.3.1聯(lián)接模式

1、層（級）內(nèi)聯(lián)接層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)接或側(cè)聯(lián)接（Lateral）。用來加強(qiáng)和完成層內(nèi)神經(jīng)元之間競爭2、

循環(huán)聯(lián)接反饋信號。

4/24/202372人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第72頁2.3.1聯(lián)接模式3、層（級）間聯(lián)接

層間（Inter-field）聯(lián)接指不一樣層中神經(jīng)元之間聯(lián)接。這種聯(lián)接用來實現(xiàn)層間信號傳遞前饋信號反饋信號

4/24/202373人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第73頁2.3.2網(wǎng)絡(luò)分層結(jié)構(gòu)

單級網(wǎng)

簡單單級網(wǎng)

4/24/202374人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第74頁簡單單級網(wǎng)……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 4/24/202375人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第75頁簡單單級網(wǎng)W=（wij）輸出層第j個神經(jīng)元網(wǎng)絡(luò)輸入記為netj： netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）4/24/202376人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第76頁單級橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V4/24/202377人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第77頁單級橫向反饋網(wǎng)

V=（vij）NET=XW+OVO=F（NET）時間參數(shù)——神經(jīng)元狀態(tài)在主時鐘控制下同時改變考慮X總加在網(wǎng)上情況NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1))O（0）=0考慮僅在t=0時加X情況。

穩(wěn)定性判定4/24/202378人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第78頁多級網(wǎng)輸出層隱藏層輸入層o1o2om…x1x2xn………………4/24/202379人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第79頁層次劃分

信號只被允許從較低層流向較高層。層號確定層高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部信息輸出層隱藏層輸入層o1o2om…x1x2xn………………4/24/202380人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第80頁第j層：第j-1層直接后繼層（j>0），它直接接收第j-1層輸出。輸出層：它是網(wǎng)絡(luò)最終一層，含有該網(wǎng)絡(luò)最大層號，負(fù)責(zé)輸出網(wǎng)絡(luò)計算結(jié)果。隱藏層：除輸入層和輸出層以外其它各層叫隱藏層。隱藏層不直接接收外界信號，也不直接向外界發(fā)送信號輸出層隱藏層輸入層o1o2om…x1x2xn………………4/24/202381人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第81頁約定:輸出層層號為該網(wǎng)絡(luò)層數(shù)：n層網(wǎng)絡(luò)，或n級網(wǎng)絡(luò)。第j-1層到第j層聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應(yīng)矩陣叫輸出層聯(lián)接矩陣。今后，在需要時候，普通我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)4/24/202382人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第82頁多級網(wǎng)——h層網(wǎng)絡(luò)輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)4/24/202383人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第83頁多級網(wǎng)非線性激活函數(shù)

F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))4/24/202384人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第84頁循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn…………………4/24/202385人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第85頁循環(huán)網(wǎng)

假如將輸出信號反饋到輸入端,就可組成一個多層循環(huán)網(wǎng)絡(luò)。輸入原始信號被逐步地“加強(qiáng)”、被“修復(fù)”。大腦短期記憶特征——看到東西不是一下子就從腦海里消失。穩(wěn)定：反饋信號會引發(fā)網(wǎng)絡(luò)輸出不停改變。我們希望這種改變逐步減小，而且最終能消失。當(dāng)改變最終消失時，網(wǎng)絡(luò)到達(dá)了平衡狀態(tài)。假如這種改變不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定。

4/24/202386人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第86頁2.4存放與映射

空間模式（SpatialModel）時空模式（SpatialtemporalModel）空間模式三種存放類型1、

RAM方式（RandomAccessMemory）隨機(jī)訪問方式是將地址映射到數(shù)據(jù)。2、

CAM方式（ContentAddressableMemory）內(nèi)容尋址方式是將數(shù)據(jù)映射到地址。3、

AM方式（AssociativeMemory）相聯(lián)存放方式是將數(shù)據(jù)映射到數(shù)據(jù)。

4/24/202387人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第87頁2.4存放與映射后續(xù)兩種方式是人工神經(jīng)網(wǎng)絡(luò)工作方式。在學(xué)習(xí)/訓(xùn)練期間，人工神經(jīng)網(wǎng)絡(luò)以CAM方式工作；權(quán)矩陣又被稱為網(wǎng)絡(luò)長久存放（LongTermMemory，簡記為LTM）。網(wǎng)絡(luò)在正常工作階段是以AM方式工作；神經(jīng)元狀態(tài)表示模式為短期存放（ShortTermMemory，簡記為STM）。

4/24/202388人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第88頁2.4存放與映射自相聯(lián)（Auto-associative）映射：訓(xùn)練網(wǎng)絡(luò)樣本集為向量集合為{A1，A2，…，An}在理想情況下，該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放將是上面所給向量集合。

4/24/202389人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第89頁2.4存放與映射異相聯(lián)（Hetero-associative）映射

{（A1，B1），（A2，B2），…，（An，Bn）}該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放將是上面所給向量集合所蘊(yùn)含對應(yīng)關(guān)系。當(dāng)輸入向量A不是樣本第一分量時，樣本中不存在這么元素（Ak，Bk），使得 Ai≤Ak≤A或者A≤Ak≤Aj且此時有 Ai≤A≤Aj則向量B是Bi與Bj插值。

4/24/202390人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第90頁2.5人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練

人工神經(jīng)網(wǎng)絡(luò)最含有吸引力特點是它學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)能夠?qū)W會它能夠表示任何東西。人工神經(jīng)網(wǎng)絡(luò)表示能力大大地限制了它學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程就是對它訓(xùn)練過程4/24/202391人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第91頁2.5.1無導(dǎo)師學(xué)習(xí)

無導(dǎo)師學(xué)習(xí)(UnsupervisedLearning)與無導(dǎo)師訓(xùn)練(UnsupervisedTraining)相對應(yīng)

抽取樣本集合中蘊(yùn)含統(tǒng)計特征，并以神經(jīng)元之間聯(lián)接權(quán)形式存于網(wǎng)絡(luò)中。4/24/202392人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第92頁2.5.1無導(dǎo)師學(xué)習(xí)Hebb學(xué)習(xí)律、競爭與協(xié)同（CompetitiveandCooperative）學(xué)習(xí)、隨機(jī)聯(lián)接系統(tǒng)（RandomlyConnectedLearning）等。Hebb算法[D.O.Hebb在1961年]關(guān)鍵：當(dāng)兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加強(qiáng)，不然被減弱。數(shù)學(xué)表示式表示：Wij（t+1）=Wij（t）+αoi（t）oj（t）4/24/202393人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第93頁2.5.2有導(dǎo)師學(xué)習(xí)

有導(dǎo)師學(xué)習(xí)(SupervisedLearning)與有導(dǎo)師訓(xùn)練(SupervisedTraining)相對應(yīng)。輸入向量與其對應(yīng)輸出向量組成一個“訓(xùn)練對”。有導(dǎo)師學(xué)習(xí)訓(xùn)練算法主要步驟包含： 1）

從樣本集合中取一個樣本（Ai，Bi）；

2）

計算出網(wǎng)絡(luò)實際輸出O；

3）

求D=Bi-O； 4）

依據(jù)D調(diào)整權(quán)矩陣W；5）對每個樣本重復(fù)上述過程，直到對整個樣本集來說，誤差不超出要求范圍。

4/24/202394人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第94頁Delta規(guī)則

Widrow和Hoff寫法：Wij(t+1)=Wij(t)+α(yj-aj(t))oi(t)也能夠?qū)懗桑篧ij(t+1)=Wij(t)+?Wij(t)?Wij(t)=αδjoi(t)δj=yj-aj(t)Grossberg寫法為：?Wij(t)=αai(t)(oj(t)-Wij(t))更普通Delta規(guī)則為：?Wij(t)=g(ai(t)，yj，oj(t)，Wij(t))4/24/202395人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第95頁其它再例學(xué)習(xí)外部環(huán)境對系統(tǒng)輸出結(jié)果給出評價，學(xué)習(xí)系統(tǒng)經(jīng)過強(qiáng)化受獎動作來改進(jìn)本身性能。學(xué)習(xí)規(guī)則誤差糾錯學(xué)習(xí)Hebb學(xué)習(xí)競爭學(xué)習(xí)4/24/202396人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第96頁練習(xí)題P291、4、6、10、15

4/24/202397人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第97頁上次課內(nèi)容回顧:網(wǎng)絡(luò)分層結(jié)構(gòu)聯(lián)接模式刺激聯(lián)接與抑制聯(lián)接前饋信號與反饋信號層（級）內(nèi)聯(lián)接循環(huán)聯(lián)接層（級）間聯(lián)接簡單單級網(wǎng)：NET=XW；O=F(NET)單級橫向反饋網(wǎng):NET=XW+O(t)V;O(t)=F(NET)4/24/202398人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第98頁上次課內(nèi)容回顧:網(wǎng)絡(luò)分層結(jié)構(gòu)非循環(huán)多級網(wǎng)層次劃分非線性激活函數(shù)：

F3(F2(F1(XW1)W2)W3)循環(huán)網(wǎng)短期記憶特征及其對輸入信號修復(fù)作用時間參數(shù)與主時鐘穩(wěn)定性4/24/202399人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第99頁上次課內(nèi)容回顧：存放與映射模式空間模式時空模式模式三種存放類型RAM、CAM、AM模式存放與運行CAM——LTM——訓(xùn)練AM——STM——運行相聯(lián)：自相聯(lián)映射、異相聯(lián)映射4/24/2023100人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第100頁上次課內(nèi)容回顧：訓(xùn)練Rosenblatt學(xué)習(xí)定理無導(dǎo)師學(xué)習(xí)抽取樣本集合中蘊(yùn)含統(tǒng)計特征樣本集：{A1，A2，…，An}Hebb算法：Wij(t+1)=Wij(t)+αoi(t)oj(t)有導(dǎo)師學(xué)習(xí)抽取樣本蘊(yùn)含映射關(guān)系樣本集：{(A1,B1)，(A2,B2)，…，(An,Bn)}

訓(xùn)練算法Delta規(guī)則4/24/2023101人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第101頁第3章

感知器

主要內(nèi)容：感知器與人工神經(jīng)網(wǎng)絡(luò)早期發(fā)展；線性可分問題與線性不可分問題；Hebb學(xué)習(xí)律；Delta規(guī)則;感知器訓(xùn)練算法。重點：感知器結(jié)構(gòu)、表示能力、學(xué)習(xí)算法難點：感知器表示能力

4/24/2023102人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第102頁第3章

感知器3.1感知器與人工神經(jīng)網(wǎng)絡(luò)早期發(fā)展

3.2感知器學(xué)習(xí)算法

3.2.1離散單輸出感知器訓(xùn)練算法

3.2.2離散多輸出感知器訓(xùn)練算法3.2.3連續(xù)多輸出感知器訓(xùn)練算法3.3線性不可分問題3.3.1異或(Exclusive–OR)問題

3.3.2線性不可分問題克服

實現(xiàn)！問題發(fā)覺與處理！4/24/2023103人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第103頁3.1感知器與ANN早期發(fā)展McCulloch和Pitts1943年，發(fā)表第一個系統(tǒng)ANN研究——閾值加權(quán)和(M-P)數(shù)學(xué)模型。1947年，開發(fā)出感知器。1949年，提出Hebb學(xué)習(xí)律。單輸出感知器(M-P模型)x2x1oxn…4/24/2023104人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第104頁3.1感知器與ANN早期發(fā)展1962年，Rosenblatt宣告：人工神經(jīng)網(wǎng)絡(luò)能夠?qū)W會它能表示任何東西

o1多輸出感知器x1x2o2omxn…

………輸入層輸出層4/24/2023105人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第105頁3.2感知器學(xué)習(xí)算法

感知器學(xué)習(xí)是有導(dǎo)師學(xué)習(xí)感知器訓(xùn)練算法基本原理起源于著名Hebb學(xué)習(xí)律基本思想：逐步地將樣本集中樣本輸入到網(wǎng)絡(luò)中,依據(jù)輸出結(jié)果和理想輸出之間差異來調(diào)整網(wǎng)絡(luò)中權(quán)矩陣

4/24/2023106人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第106頁3.2.1離散單輸出感知器訓(xùn)練算法

二值網(wǎng)絡(luò)：自變量及其函數(shù)值、向量分量值只取0和1函數(shù)、向量。權(quán)向量：W=(w1，w2，…，wn)輸入向量：X=(x1，x2，…，xn)訓(xùn)練樣本集：{(X，Y)|Y為輸入向量X對應(yīng)輸出}4/24/2023107人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第107頁算法3-1離散單輸出感知器訓(xùn)練算法

1.初始化權(quán)向量W；2.重復(fù)以下過程，直到訓(xùn)練完成： 2.1對每個樣本（X，Y），重復(fù)以下過程： 2.1.1輸入X； 2.1.2計算o=F（XW）； 2.1.3假如輸出不正確，則 當(dāng)o=0時，取W=W+X， 當(dāng)o=1時，取W=W-X4/24/2023108人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第108頁3.2.2離散多輸出感知器訓(xùn)練算法

樣本集：{(X,Y)|Y為輸入向量X對應(yīng)輸出}輸入向量：X=(x1,x2,…,xn)理想輸出向量：Y=(y1,y2,…,ym)激活函數(shù)：F

權(quán)矩陣W=(wij)實際輸出向量：O=(o1,o2,…,om)o1多輸出感知器x1x2o2omxn…

………輸入層輸出層4/24/2023109人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第109頁算法3-2離散多輸出感知器訓(xùn)練算法

1.初始化權(quán)矩陣W；2.重復(fù)以下過程，直到訓(xùn)練完成：2.1對每個樣本（X，Y），重復(fù)以下過程： 2.1.1輸入X； 2.1.2計算O=F（XW）； 2.1.3forj=1tomdo執(zhí)行以下操作： ifoj≠yjthen ifoi=0thenfori=1ton wij=wij+xi elsefori=1tondo wij=wij-xi4/24/2023110人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第110頁算法3-2離散多輸出感知器訓(xùn)練算法算法思想：將單輸出感知器處理逐一地用于多輸出感知器輸出層每一個神經(jīng)元處理。第1步，權(quán)矩陣初始化：一系列小偽隨機(jī)數(shù)。

4/24/2023111人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第111頁算法3-2離散多輸出感知器訓(xùn)練算法第2步，循環(huán)控制。方法1：循環(huán)次數(shù)控制法：對樣本集執(zhí)行要求次數(shù)迭代改進(jìn)——分階段迭代控制：設(shè)定一個基本迭代次數(shù)N，每當(dāng)訓(xùn)練完成N次迭代后，就給出一個中間結(jié)果4/24/2023112人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第112頁算法3-2離散多輸出感知器訓(xùn)練算法方法2：精度控制法：給定一個精度控制參數(shù)精度度量：實際輸出向量與理想輸出向量對應(yīng)分量差絕對值之和；實際輸出向量與理想輸出向量歐氏距離和

“死循環(huán)”：網(wǎng)絡(luò)無法表示樣本所代表問題4/24/2023113人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第113頁算法3-2離散多輸出感知器訓(xùn)練算法方法3：綜合控制法：將這兩種方法結(jié)合起來使用

注意：精度參數(shù)設(shè)置。依據(jù)實際問題選定；初始測試階段，精度要求低，測試完成后，再給出實際精度要求。4/24/2023114人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第114頁3.2.3連續(xù)多輸出感知器訓(xùn)練算法

用公式wij=wij+α（yj-oj）xi取代了算法3-2第2.1.3步中多個判斷yj與oj之間差異對wij影響由α（yj-oj）xi表現(xiàn)出來好處：不但使得算法控制在結(jié)構(gòu)上更輕易了解，而且還使得它適應(yīng)面更寬

4/24/2023115人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第115頁算法3-3連續(xù)多輸出感知器訓(xùn)練算法

1．用適當(dāng)小偽隨機(jī)數(shù)初始化權(quán)矩陣W；2.初置精度控制參數(shù)ε，學(xué)習(xí)率α，精度控制變量d=ε+1；3．Whiled≥εdo3.1d=0；3.2for每個樣本（X，Y）do 3.2.1輸入X（=(x1，x2，…，xn)）； 3.2.2求O=F（XW）； 3.2.3修改權(quán)矩陣W： fori=1ton，j=1tomdo wij=wij+α(yj-oj)xi； 3.2.4累積誤差 forj=1tomdo d=d+(yj-oj)24/24/2023116人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第116頁算法3-3連續(xù)多輸出感知器訓(xùn)練算法

1、程序?qū)崿F(xiàn):ε、α、d、i、j、n、m為簡單變量來表示，W為n行m列二維數(shù)組。樣本集二維數(shù)組2、系統(tǒng)調(diào)試3、Minsky在1969年證實，有許多基本問題是感知器無法處理4、問題線性可分性可能與時間相關(guān)5、極難從樣本數(shù)據(jù)集直接看出問題是否線性可分6、未能證實，一個感知器終究需要經(jīng)過多少步才能完成訓(xùn)練。4/24/2023117人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第117頁3.3線性不可分問題

3.3.1異或(Exclusive–OR)問題

g（x，y）y01x0011104/24/2023118人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第118頁用于求解XOR單神經(jīng)元感知器

xyo單神經(jīng)元感知器圖像ax+by=θ1yx1(0,0)(1,1)4/24/2023119人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第119頁線性不可分函數(shù)變量函數(shù)及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f160000000000111111110100001111000011111000110011001100111101010101010101014/24/2023120人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第120頁線性不可分函數(shù)R.O.Windner1960年

自變量個數(shù)函數(shù)個數(shù)線性可分函數(shù)個數(shù)144216143256104465,536188254.3*10994,57261.8*10195,028,1344/24/2023121人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第121頁3.3.2線性不可分問題克服

用多個單級網(wǎng)組合在一起，并用其中一個去綜合其它單級網(wǎng)結(jié)果，我們就能夠組成一個兩級網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠被用來在平面上劃分出一個封閉或者開放凸域來一個非凸域能夠拆分成多個凸域。按照這一思緒，三級網(wǎng)將會更普通一些，我們能夠用它去識別出一些非凸域來。處理好隱藏層聯(lián)接權(quán)調(diào)整問題是非常關(guān)鍵

4/24/2023122人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第122頁兩級單輸出網(wǎng)在n維空間中劃分出m邊凸域

…x1ANmAN1ANoxn…o4/24/2023123人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第123頁第1次課堂測試（5分*4）Newell和Simon物理符號系統(tǒng)所基于假說是什么？它在什么層面上怎樣實現(xiàn)對人類智能模擬？聯(lián)接主義觀點所基于假說是什么？它在什么層面上怎樣實現(xiàn)對人類智能模擬？畫出有導(dǎo)師算法流程圖。證實：一個激活函數(shù)為線性函數(shù)3級非循環(huán)網(wǎng)等價于一個單級網(wǎng)。4/24/2023124人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第124頁習(xí)題P381、64/24/2023125人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第125頁第1次課堂測試解答關(guān)鍵點Newell和Simon物理符號系統(tǒng)所基于假說是什么？它在什么層面上怎樣實現(xiàn)對人類智能模擬？關(guān)鍵點：物理符號系統(tǒng)；心理；符號對事務(wù)及變換描述聯(lián)接主義觀點所基于假說是什么？它在什么層面上怎樣實現(xiàn)對人類智能模擬？

關(guān)鍵點：聯(lián)接機(jī)制；生理；模式、聯(lián)接權(quán)調(diào)整與對變換表示4/24/2023126人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第126頁第1次課堂測試解答關(guān)鍵點畫出有導(dǎo)師學(xué)習(xí)算法流程圖。

關(guān)鍵點：怎樣處理精度與樣本集兩層循環(huán)證實：一個激活函數(shù)為線性函數(shù)3級非循環(huán)網(wǎng)等價于一個單級網(wǎng)。

關(guān)鍵點：一級網(wǎng)與多級網(wǎng)數(shù)學(xué)模型4/24/2023127人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第127頁上次課內(nèi)容回顧:學(xué)習(xí)算法離散單輸出感知器訓(xùn)練算法W=W+X;W=W-XW=W+(Y-O)X離散多輸出感知器訓(xùn)練算法Wj=Wj+(yj-oj)X連續(xù)多輸出感知器訓(xùn)練算法wij=wij+α(yj-oj)xi4/24/2023128人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第128頁上次課內(nèi)容回顧:線性不可分問題ax+by=θ1yx1(0,0)(1,1)線性不可分問題克服兩級網(wǎng)絡(luò)能夠劃分出封閉或開放凸域多級網(wǎng)將能夠識別出非凸域隱藏層聯(lián)接權(quán)調(diào)整問題是非常關(guān)鍵4/24/2023129人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第129頁第4章BP網(wǎng)絡(luò)

主要內(nèi)容：BP網(wǎng)絡(luò)組成隱藏層權(quán)調(diào)整分析Delta規(guī)則理論推導(dǎo)算法收斂速度及其改進(jìn)討論BP網(wǎng)絡(luò)中幾個主要問題

重點：BP算法難點：Delta規(guī)則理論推導(dǎo)

4/24/2023130人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第130頁第4章BP網(wǎng)絡(luò)4.1概述

4.2基本BP算法

4.3算法改進(jìn)

4.4算法實現(xiàn)

4.5算法理論基礎(chǔ)

4.6幾個問題討論

4/24/2023131人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第131頁4.1概述

1、BP算法出現(xiàn)非循環(huán)多級網(wǎng)絡(luò)訓(xùn)練算法UCSDPDP小組Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單描述1982年，Paker就完成了相同工作1974年，Werbos已提出了該方法2、弱點：訓(xùn)練速度非常慢、局部極小點逃離問題、算法不一定收斂。3、優(yōu)點：廣泛適應(yīng)性和有效性。4/24/2023132人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第132頁4.2基本BP算法

4.2.1網(wǎng)絡(luò)組成

神經(jīng)元網(wǎng)絡(luò)輸入： neti=x1w1i+x2w2i+…+xnwni神經(jīng)元輸出：4/24/2023133人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第133頁輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應(yīng)該將net值盡可能控制在收斂比較快范圍內(nèi)能夠用其它函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)4/24/2023134人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第134頁網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)4/24/2023135人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第135頁網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

BP網(wǎng)結(jié)構(gòu)輸入向量、輸出向量維數(shù)、網(wǎng)絡(luò)隱藏層層數(shù)和各個隱藏層神經(jīng)元個數(shù)決定試驗：增加隱藏層層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提升網(wǎng)絡(luò)精度和表示能力。BP網(wǎng)普通都選取二級網(wǎng)絡(luò)。4/24/2023136人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第136頁網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………WV4/24/2023137人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第137頁4.2.2訓(xùn)練過程概述

樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機(jī)數(shù)”與飽和狀態(tài)；“不一樣”確保網(wǎng)絡(luò)能夠?qū)W。1、向前傳輸階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計算對應(yīng)實際輸出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))4/24/2023138人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第138頁4.2.2訓(xùn)練過程概述

2、向后傳輸階段——誤差傳輸階段：（1）計算實際輸出Op與對應(yīng)理想輸出Yp差；（2）按極小化誤差方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第p個樣本誤差測度：（4）網(wǎng)絡(luò)關(guān)于整個樣本集誤差測度：4/24/2023139人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第139頁4.2.3誤差傳輸分析

1、輸出層權(quán)調(diào)整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq4/24/2023140人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第140頁2、隱藏層權(quán)調(diào)整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……4/24/2023141人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第141頁2、隱藏層權(quán)調(diào)整δpk-1值和δ1k，δ2k，…，δmk相關(guān)不妨認(rèn)為δpk-1經(jīng)過權(quán)wp1對δ1k做出貢獻(xiàn)，經(jīng)過權(quán)wp2對δ2k做出貢獻(xiàn)，……經(jīng)過權(quán)wpm對δmk做出貢獻(xiàn)。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)4/24/2023142人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第142頁2、隱藏層權(quán)調(diào)整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……4/24/2023143人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第143頁上次課內(nèi)容回顧基本BP算法neti=x1w1i+x2w2i+…+xnwni

4/24/2023144人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第144頁上次課內(nèi)容回顧x1o1輸出層隱藏層輸入層x2o2omxn…………WV4/24/2023145人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第145頁上次課內(nèi)容回顧樣本權(quán)初始化向前傳輸階段Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))誤差測度4/24/2023146人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第146頁上次課內(nèi)容回顧向后傳輸階段——誤差傳輸階段輸出層權(quán)調(diào)整?wpq=αδqop=αfn′(netq)(yq-oq)op=αoq(1-oq)(yq-oq)op隱藏層權(quán)調(diào)整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk……?vhp=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-24/24/2023147人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第147頁4.2.4基本BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地依據(jù)樣本集中樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)

，W(2)

，…，W(L)各做一次調(diào)整，重復(fù)這個循環(huán)，直到∑Ep<ε。用輸出層誤差調(diào)整輸出層權(quán)矩陣，并用此誤差預(yù)計輸出層直接前導(dǎo)層誤差，再用輸出層前導(dǎo)層誤差預(yù)計更前一層誤差。如此取得全部其它各層誤差預(yù)計，并用這些預(yù)計實現(xiàn)對權(quán)矩陣修改。形成將輸出端表現(xiàn)出誤差沿著與輸入信號相反方向逐層向輸入端傳遞過程

4/24/2023148人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第148頁算法4-1

基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo

4.1E=0;

4/24/2023149人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第149頁算法4-1

基本BP算法4.2對S中每一個樣本（Xp,Yp）： 4.2.1計算出Xp對應(yīng)實際輸出Op； 4.2.2計算出Ep； 4.2.3E=E+Ep； 4.2.4依據(jù)對應(yīng)式子調(diào)整W(L)； 4.2.5k=L-1； 4.2.6whilek≠0do 依據(jù)對應(yīng)式子調(diào)整W(k)； k=k-1

4.3E=E/2.0

4/24/2023150人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第150頁4.3算法改進(jìn)

1、BP網(wǎng)絡(luò)接收樣本次序?qū)τ?xùn)練結(jié)果有較大影響。它更“偏愛”較后出現(xiàn)樣本2、給集中樣本安排一個適當(dāng)次序，是非常困難。3、樣本次序影響結(jié)果原因：“分別”、“依次”

4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）“總效果”修改W(1)

，W(2)

，…，W(L)。 ?w(k)ij=∑?pw(k)ij

4/24/2023151人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第151頁算法4-2消除樣本次序影響B(tài)P算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對全部i，j，k：?w(k)ij=0；

4/24/2023152人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第152頁4.3對S中每一個樣本（Xp,Yp）： 4.3.1計算出Xp對應(yīng)實際輸出Op； 4.3.2計算出Ep； 4.3.3E=E+Ep； 4.3.4對全部i，j依據(jù)對應(yīng)式子計算?pw(L)ij； 4.3.5對全部i，j：?w(L)ij=?w(L)ij+?pw(L)ij； 4.3.6k=L-1； 4.3.7whilek≠0do 對全部i,j依據(jù)對應(yīng)式子計算?pw(k)ij； 對全部i,j：?w(k)ij=?w(k)ij+?pw(k)ij； k=k-1

4.4對全部i，j，k：w(k)ij=w(k)ij+?w(k)ij;4.5E=E/2.0

4/24/2023153人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第153頁算法4-2分析

很好地處理了因樣本次序引發(fā)精度問題和訓(xùn)練抖動問題

收斂速度：比較慢偏移量：給每一個神經(jīng)元增加一個偏移量來加緊收斂速度沖量：聯(lián)接權(quán)此次修改要考慮上次修改影響，以降低抖動問題

4/24/2023154人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第154頁算法4-2分析——沖量設(shè)置Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次修改量，β為沖量系數(shù)，普通可取到0.9

Sejnowski與Rosenberg，1987年?wij=α((1-β)δjoi+β?wij′)

?wij′也是上一次修改量，β在0和1之間取值

4/24/2023155人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第155頁4.4算法實現(xiàn)

主要數(shù)據(jù)結(jié)構(gòu)W[H，m]——輸出層權(quán)矩陣；V[n，H]——輸入（隱藏）層權(quán)矩陣；?o[m]——輸出層各聯(lián)接權(quán)修改量組成向量；?h[H]——隱藏層各聯(lián)接權(quán)修改量組成向量；O1——隱藏層輸出向量；O2——輸出層輸出向量；(X，Y)——一個樣本。

4/24/2023156人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第156頁算法主要實現(xiàn)步驟

用不一樣小偽隨機(jī)數(shù)初始化W，V；初始化精度控制參數(shù)ε；學(xué)習(xí)率α；

循環(huán)控制參數(shù)E=ε+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2對每一個樣本(X,Y)，執(zhí)行以下操作

4/24/2023157人工神經(jīng)網(wǎng)絡(luò)專題知識專家講座第157頁4.2對每一個樣本(X,Y)