浙江大學(xué)人工神經(jīng)網(wǎng)絡(luò)課件完整版.ppt

1、2020/10/8,1,人工神經(jīng)網(wǎng)絡(luò) Artificial Neural Networks,2020/10/8,2,蔣宗禮 軟件學(xué)科部 聯(lián)系電話：67392508 Email： 辦公地點(diǎn)：信息北樓214,2020/10/8,3,教材,書(shū)名：人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論 出版社：高等教育出版社 出版日期：2001年8月 定價(jià)：12.4元 作者：蔣宗禮,2020/10/8,4,主要參考書(shū)目,1、Philip D. Wasserman， Neural Computing: Theory and Practice，Van Nostrand Reinhold，1989 2、胡守仁、余少波、戴葵，神經(jīng)網(wǎng)絡(luò)導(dǎo)論，國(guó)防科

2、技大學(xué)出版社，1993年10月 3、楊行峻、鄭君里，人工神經(jīng)網(wǎng)絡(luò)，高等教育出版社，1992年9月 4、聞新、周露、王丹力、熊曉英，MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)，科學(xué)出版社，2001.5.,2020/10/8,5,課程目的和基本要求,作為人工神經(jīng)網(wǎng)絡(luò)的入門(mén)課程，用于將學(xué)生引入人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用的研究領(lǐng)域。 介紹人工神經(jīng)網(wǎng)絡(luò)及其基本網(wǎng)絡(luò)模型，使學(xué)生 了解智能系統(tǒng)描述的基本模型 掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念、單層網(wǎng)、多層網(wǎng)、循環(huán)網(wǎng)等各種基本網(wǎng)絡(luò)模型的結(jié)構(gòu)、特點(diǎn)、典型訓(xùn)練算法、運(yùn)行方式、典型問(wèn)題 掌握軟件實(shí)現(xiàn)方法。,2020/10/8,6,課程目的和基本要求,了解人工神經(jīng)網(wǎng)絡(luò)的有關(guān)研究思想，從中學(xué)習(xí)開(kāi)

3、拓者們的部分問(wèn)題求解方法。 通過(guò)實(shí)驗(yàn)進(jìn)一步體會(huì)有關(guān)模型的用法和性能，獲取一些初步的經(jīng)驗(yàn)。 查閱適當(dāng)?shù)膮⒖嘉墨I(xiàn)，將所學(xué)的知識(shí)與自己未來(lái)研究課題（包括研究生論文階段的研究課題）相結(jié)合起來(lái)，達(dá)到既豐富學(xué)習(xí)內(nèi)容，又有一定的研究和應(yīng)用的目的。,2020/10/8,7,主要內(nèi)容,智能及其實(shí)現(xiàn) ANN基礎(chǔ) Perceptron BP CPN 統(tǒng)計(jì)方法 Hopfield網(wǎng)與BAM ART,2020/10/8,8,主要內(nèi)容,第一章：引論 智能的概念、智能系統(tǒng)的特點(diǎn)及其描述基本模型，物理符號(hào)系統(tǒng)與連接主義的觀點(diǎn)及其比較；人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、發(fā)展歷史。,2020/10/8,9,主要內(nèi)容,第二章 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 本

4、章在介紹了基本神經(jīng)元后，將概要介紹人工神經(jīng)網(wǎng)絡(luò)的一般特性。主要包括，生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與典型的激勵(lì)函數(shù)；人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)涮匦裕鎯?chǔ)類型（CAMLTM，AMSTM）及映象，Supervised訓(xùn)練與Unsupervised訓(xùn)練。,2020/10/8,10,主要內(nèi)容,第三章 感知器 感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；單層網(wǎng)能解決線性可分問(wèn)題，而無(wú)法解決線形不可分問(wèn)題，要想解決這一問(wèn)題，必須引入多層網(wǎng)；Hebb學(xué)習(xí)律，Delta規(guī)則，感知器的訓(xùn)練算法。 實(shí)驗(yàn)：實(shí)現(xiàn)一個(gè)感知器。,2020/10/8,11,主要內(nèi)容,第四章 向后傳播 BP（Backpropagation）網(wǎng)絡(luò)的構(gòu)成及其

5、訓(xùn)練過(guò)程；隱藏層權(quán)調(diào)整方法的直觀分析，BP訓(xùn)練算法中使用的Delta規(guī)則（最速下降法）的理論推導(dǎo)；算法的收斂速度及其改進(jìn)討論；BP網(wǎng)絡(luò)中的幾個(gè)重要問(wèn)題。 實(shí)驗(yàn)：實(shí)現(xiàn)BP算法。,2020/10/8,12,主要內(nèi)容,第五章 對(duì)傳網(wǎng) 生物神經(jīng)系統(tǒng)與異構(gòu)網(wǎng)的引入；對(duì)傳網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)，Kohonen層與Grossberg層的正常運(yùn)行，對(duì)傳網(wǎng)的輸入向量的預(yù)處理，Kohonen層的訓(xùn)練算法及其權(quán)矩陣的初始化方法；Grossberg層的訓(xùn)練；完整的對(duì)傳網(wǎng)。 實(shí)驗(yàn)：實(shí)現(xiàn)基本的對(duì)傳網(wǎng)。,2020/10/8,13,主要內(nèi)容,第六章 統(tǒng)計(jì)方法 統(tǒng)計(jì)方法是為了解決局部極小點(diǎn)問(wèn)題而引入的，統(tǒng)計(jì)網(wǎng)絡(luò)的基本訓(xùn)練算法，模擬退火算

6、法與收斂分析，Cauchy訓(xùn)練，人工熱處理與臨界溫度在訓(xùn)練中的使用，BP算法與Cauchy訓(xùn)練相結(jié)合。 實(shí)驗(yàn)：實(shí)現(xiàn)模擬退火算法。,2020/10/8,14,主要內(nèi)容,第七章 循環(huán)網(wǎng)絡(luò) 循環(huán)網(wǎng)絡(luò)的組織，穩(wěn)定性分析；相聯(lián)存儲(chǔ)；統(tǒng)計(jì)Hopfield網(wǎng)與Boltzmann機(jī)；Hopfield網(wǎng)用于解決TSP問(wèn)題。 BAM(Bidirectional Associative Memory)用于實(shí)現(xiàn)雙聯(lián)存儲(chǔ)；基本雙聯(lián)存儲(chǔ)網(wǎng)絡(luò)的結(jié)構(gòu)及訓(xùn)練；其他的幾種相聯(lián)存儲(chǔ)網(wǎng)絡(luò)。 實(shí)驗(yàn)：實(shí)現(xiàn)一個(gè)Hopfield網(wǎng)。,2020/10/8,15,主要內(nèi)容,第八章 自適應(yīng)共振理論 人腦的穩(wěn)定性與可塑性問(wèn)題；ART模型的總體結(jié)構(gòu)與

7、分塊描述；比較層與識(shí)別層之間的兩個(gè)聯(lián)接矩陣的初始化，識(shí)別過(guò)程與比較過(guò)程，查找的實(shí)現(xiàn)；訓(xùn)練討論。,2020/10/8,16,第1章 引言,主要內(nèi)容： 智能與人工智能； ANN的特點(diǎn)； 歷史回顧與展望 重點(diǎn)： 智能的本質(zhì)； ANN是一個(gè)非線性大規(guī)模并行處理系統(tǒng) 難點(diǎn)：對(duì)智能的刻畫(huà),2020/10/8,17,第1章 引言,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出 1.2 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn) 1.3 歷史回顧,2020/10/8,18,第1章 引言,人類對(duì)人工智能的研究可以分成兩種方式對(duì)應(yīng)著兩種不同的技術(shù)： 傳統(tǒng)的人工智能技術(shù)心理的角度模擬 基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)生理的角度模擬,2020/10/8,19,1.1 人

8、工神經(jīng)網(wǎng)絡(luò)的提出,人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡(jiǎn)記作ANN），是對(duì)人類大腦系統(tǒng)的一階特性的一種描述。簡(jiǎn)單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來(lái)實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來(lái)模擬，是人工智能研究的一種方法。,2020/10/8,20,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,1.1.1 智能與人工智能 一、 智能的含義 智能是個(gè)體有目的的行為，合理的思維，以及有效的、適應(yīng)環(huán)境的綜合能力。 智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問(wèn)題的能力。 人類個(gè)體的智能是一種綜合能力。,2020/10/8,21,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,智能可以包含8個(gè)方面 感知與認(rèn)識(shí)客觀事物、客觀世界

9、和自我的能力 感知是智能的基礎(chǔ)最基本的能力 通過(guò)學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力 這是人類在世界中能夠不斷發(fā)展的最基本能力。 理解知識(shí)，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問(wèn)題的能力 這一能力可以算作是智能的高級(jí)形式。是人類對(duì)世界進(jìn)行適當(dāng)?shù)母脑欤苿?dòng)社會(huì)不斷發(fā)展的基本能力。,2020/10/8,22,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,聯(lián)想、推理、判斷、決策語(yǔ)言的能力 這是智能的高級(jí)形式的又一方面。 預(yù)測(cè)和認(rèn)識(shí) “主動(dòng)”和“被動(dòng)”之分。聯(lián)想、推理、判斷、決策的能力是“主動(dòng)”的基礎(chǔ)。 運(yùn)用進(jìn)行抽象、概括的能力 上述這5種能力，被認(rèn)為是人類智能最為基本的能力,2020/10/8,23,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,作為5種

10、能力綜合表現(xiàn)形式的3種能力 發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力 實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力 預(yù)測(cè)、洞察事物發(fā)展、變化的能力,2020/10/8,24,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,二、人工智能 人工智能：研究如何使類似計(jì)算機(jī)這樣的設(shè)備去模擬人類的這些能力。 研究人工智能的目的 增加人類探索世界，推動(dòng)社會(huì)前進(jìn)的能力 進(jìn)一步認(rèn)識(shí)自己 三大學(xué)術(shù)流派 符號(hào)主義（或叫做符號(hào)/邏輯主義）學(xué)派 聯(lián)接主義（或者叫做PDP）學(xué)派 進(jìn)化主義（或者叫做行動(dòng)/響應(yīng)）學(xué)派,2020/10/8,25,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,1.1.2 物理符號(hào)系統(tǒng),人腦的反映 形式化 現(xiàn)實(shí) 信息 數(shù)據(jù) 物理系統(tǒng) 物理符號(hào)系統(tǒng) 表現(xiàn)

11、智能,2020/10/8,26,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,Newell和Simon假說(shuō) ：一個(gè)物理系統(tǒng)表現(xiàn)智能行為的充要條件是它有一個(gè)物理符號(hào)系統(tǒng) 概念：物理符號(hào)系統(tǒng)需要有一組稱為符號(hào)的實(shí)體組成，它們都是物理模型，可以在另一類稱為符號(hào)結(jié)構(gòu)的實(shí)體中作為成分出現(xiàn)，以構(gòu)成更高級(jí)別的系統(tǒng),2020/10/8,27,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,困難： 抽象舍棄一些特性，同時(shí)保留一些特性 形式化處理用物理符號(hào)及相應(yīng)規(guī)則表達(dá)物理系統(tǒng)的存在和運(yùn)行。 局限： 對(duì)全局性判斷、模糊信息處理、多粒度的視覺(jué)信息處理等是非常困難的。,2020/10/8,28,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,1.1.3 聯(lián)接主義觀點(diǎn) 核心：

12、智能的本質(zhì)是聯(lián)接機(jī)制。 神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡(jiǎn)單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng) ANN力求從四個(gè)方面去模擬人腦的智能行為 物理結(jié)構(gòu) 計(jì)算模擬 存儲(chǔ)與操作 訓(xùn)練,2020/10/8,29,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,1.1.4 兩種模型的比較 心理過(guò)程 邏輯思維 高級(jí)形式（思維的表象） 生理過(guò)程 形象思維 低級(jí)形式（思維的根本） 仿生人工神經(jīng)網(wǎng)絡(luò),聯(lián)結(jié)主義觀點(diǎn),物理符號(hào)系統(tǒng),2020/10/8,30,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,物理符號(hào)系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別,2020/10/8,31,1.1 人工神經(jīng)網(wǎng)絡(luò)的提出,兩種人工智能技術(shù)的比較,2020/10/8,32,1.2 人

13、工神經(jīng)網(wǎng)絡(luò)的特點(diǎn),信息的分布表示 運(yùn)算的全局并行和局部操作 處理的非線性,2020/10/8,33,1.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念,1、定義 1）HechtNielsen（1988年） 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無(wú)向訊號(hào)通道互連而成。這些處理單元（PEProcessing Element）具有局部?jī)?nèi)存，并可以完成局部操作。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分枝成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化。,2020/10/8,34,1.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念,（1）

14、HechtNielsen（1988年）（續(xù)） 處理單元的輸出信號(hào)可以是任何需要的數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。也就是說(shuō)，它必須僅僅依賴于經(jīng)過(guò)輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。,2020/10/8,35,1.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念,強(qiáng)調(diào)： 并行、分布處理結(jié)構(gòu)； 一個(gè)處理單元的輸出可以被任意分枝，且大小不變； 輸出信號(hào)可以是任意的數(shù)學(xué)模型； 處理單元完全的局部操作,2020/10/8,36,1.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念,（2） Rumellhart，McClelland，Hinton的PDP 1） 一組處理單元（PE或AN）； 2

15、） 處理單元的激活狀態(tài)（ai）； 3） 每個(gè)處理單元的輸出函數(shù)（fi）； 4） 處理單元之間的聯(lián)接模式； 5） 傳遞規(guī)則（wijoi）； 6） 把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來(lái)產(chǎn)生激活值的激活規(guī)則（Fi）； 7） 通過(guò)經(jīng)驗(yàn)修改聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)則； 8） 系統(tǒng)運(yùn)行的環(huán)境（樣本集合）。,2020/10/8,37,1.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念,（3） Simpson（1987年） 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以通過(guò)改變權(quán)大小來(lái)存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。,2020/10/8,38,1.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念,2、關(guān)鍵點(diǎn) （1） 信息的分布表示 （

16、2） 運(yùn)算的全局并行與局部操作 （3） 處理的非線性特征 3、對(duì)大腦基本特征的模擬 1） 形式上：神經(jīng)元及其聯(lián)接；BN對(duì)AN 2） 表現(xiàn)特征：信息的存儲(chǔ)與處理,2020/10/8,39,1.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念,4、別名 人工神經(jīng)系統(tǒng)（ANS） 神經(jīng)網(wǎng)絡(luò)（NN） 自適應(yīng)系統(tǒng)（Adaptive Systems）、自適應(yīng)網(wǎng)（Adaptive Networks） 聯(lián)接模型（Connectionism） 神經(jīng)計(jì)算機(jī)（Neurocomputer）,2020/10/8,40,1.2.2 學(xué)習(xí)（Learning）能力,人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為 自相聯(lián)的網(wǎng)絡(luò) 異相聯(lián)的網(wǎng)絡(luò)：它在接受樣

17、本集合A時(shí)，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系?！俺橄蟆惫δ?。 不同的人工神經(jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習(xí)/訓(xùn)練算法,2020/10/8,41,1.2.3 基本特征的自動(dòng)提取,由于其運(yùn)算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實(shí)現(xiàn)模式的自動(dòng)分類。 普化（Generalization）能力與抽象能力,2020/10/8,42,1.2.4 信息的分布存放,信息的分布存提供容錯(cuò)功能 由于信息被分布存放在幾乎整個(gè)網(wǎng)絡(luò)中，所以，當(dāng)其中的某一個(gè)點(diǎn)或者某幾個(gè)點(diǎn)被破壞時(shí)，信息仍然可以被存取。 系統(tǒng)在受到局部損傷時(shí)還可以正常工作。 并不是說(shuō)可以任意地對(duì)完成學(xué)習(xí)的網(wǎng)絡(luò)進(jìn)行修

18、改。也正是由于信息的分布存放，對(duì)一類網(wǎng)來(lái)說(shuō)，當(dāng)它完成學(xué)習(xí)后，如果再讓它學(xué)習(xí)新的東西，這時(shí)就會(huì)破壞原來(lái)已學(xué)會(huì)的東西。,2020/10/8,43,1.2.5適應(yīng)性(Applicability)問(wèn)題,擅長(zhǎng)兩個(gè)方面： 對(duì)大量的數(shù)據(jù)進(jìn)行分類，并且只有較少的幾種情況； 必須學(xué)習(xí)一個(gè)復(fù)雜的非線性映射。 目前應(yīng)用： 人們主要將其用于語(yǔ)音、視覺(jué)、知識(shí)處理、輔助決策等方面。 在數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問(wèn)題的最佳解的近似解（不是最佳近似解）等方面也有較好的應(yīng)用。,2020/10/8,44,1.3 歷史回顧,1.3.1 萌芽期（20世紀(jì)40年代） 人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開(kāi)始研究

19、自己的智能的時(shí)期，到1949年止。 1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡(jiǎn)稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊Bulletin of Methematical Biophysics 1949年，心理學(xué)家D. O. Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說(shuō)Hebb學(xué)習(xí)律。,2020/10/8,45,1.3.2 第一高潮期（19501968）,以Marvin Minsky，F(xiàn)rank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級(jí)感知器（Perceptron）。 可用電子線路模擬。 人們樂(lè)觀地認(rèn)為幾乎已經(jīng)找到了智

20、能的關(guān)鍵。許多部門(mén)都開(kāi)始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。,2020/10/8,46,1.3.3 反思期（19691982）,M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 異或”運(yùn)算不可表示 二十世紀(jì)70年代和80年代早期的研究結(jié)果 認(rèn)識(shí)規(guī)律：認(rèn)識(shí)實(shí)踐再認(rèn)識(shí),2020/10/8,47,1.3.4 第二高潮期（19831990）,1982年，J. Hopfield提出循環(huán)網(wǎng)絡(luò) 用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù) 闡明了ANN與動(dòng)力學(xué)的關(guān)系 用非線性動(dòng)力學(xué)的方法來(lái)研究ANN的特性 指出信息被存放在

21、網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上,2020/10/8,48,1.3.4 第二高潮期（19831990）,2）1984年， J. Hopfield設(shè)計(jì)研制了后來(lái)被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問(wèn)題，找到了最佳解的近似解，引起了較大的轟動(dòng)。 3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)。,2020/10/8,49,1.3.4 第二高潮期（19831990）,4）1986年，并行分布處理小組的Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)

22、絡(luò)的學(xué)習(xí)算法BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題。（Paker1982和Werbos1974年） 國(guó)內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)是1990年12月在北京舉行的。,2020/10/8,50,1.3.5 再認(rèn)識(shí)與應(yīng)用研究期（1991）,問(wèn)題： 1）應(yīng)用面還不夠?qū)?2）結(jié)果不夠精確 3）存在可信度的問(wèn)題,2020/10/8,51,1.3.5 再認(rèn)識(shí)與應(yīng)用研究期（1991）,研究： 1）開(kāi)發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。 2）充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法 3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法。 4）進(jìn)一步

23、對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。,2020/10/8,52,第2章 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ),主要內(nèi)容： BN與AN； 拓?fù)浣Y(jié)構(gòu)； 存儲(chǔ)； 訓(xùn)練 重點(diǎn)：AN；拓?fù)浣Y(jié)構(gòu)；訓(xùn)練 難點(diǎn)：訓(xùn)練,2020/10/8,53,第2章 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ),2.1 生物神經(jīng)網(wǎng) 2.2 人工神經(jīng)元 2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?2.4 存儲(chǔ)與映射 2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,2020/10/8,54,2.1 生物神經(jīng)網(wǎng),1、構(gòu)成,2、工作過(guò)程,2020/10/8,55,2.1 生物神經(jīng)網(wǎng),3、六個(gè)基本特征： 1）神經(jīng)元及其聯(lián)接； 2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱； 3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以

24、隨訓(xùn)練改變的； 4）信號(hào)可以是起刺激作用的，也可以是起抑制作用的； 5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)； 6) 每個(gè)神經(jīng)元可以有一個(gè)“閾值”。,2020/10/8,56,2.2 人工神經(jīng)元,神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。 人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個(gè)基本特性。,2020/10/8,57,2.2.1 人工神經(jīng)元的基本構(gòu)成,人工神經(jīng)元模擬生物神經(jīng)元的一階特性。 輸入：X=（x1，x2，xn） 聯(lián)接權(quán)：W=（w1，w2，wn）T 網(wǎng)絡(luò)輸入：net=xiwi 向量形式：net=XW,2020/10/8,58,2.2.2 激活函數(shù)(Activation Funct

25、ion),激活函數(shù)執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)： o=f（net） 1、線性函數(shù)（Liner Function） f（net）=k*net+c,2020/10/8,59,2、非線性斜面函數(shù)(Ramp Function), if net f（net）= k*netif |net|0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。,2020/10/8,60,2、非線性斜面函數(shù)（Ramp Function）,2020/10/8,61,3、閾值函數(shù)（Threshold Function）階躍函數(shù),if net f（net）= -if net 、均為非負(fù)實(shí)數(shù)，為閾值

26、二值形式： 1if net f（net）= 0if net 雙極形式： 1if net f（net）= -1if net ,2020/10/8,62,3、閾值函數(shù)（Threshold Function）階躍函數(shù),-,o,net,0,2020/10/8,63,4、S形函數(shù),壓縮函數(shù)（Squashing Function）和邏輯斯特函數(shù)（Logistic Function）。 f（net）=a+b/(1+exp(-d*net) a，b，d為常數(shù)。它的飽和值為a和a+b。 最簡(jiǎn)單形式為： f（net）= 1/(1+exp(-d*net) 函數(shù)的飽和值為0和1。 S形函數(shù)有較好的增益控制,2020/1

27、0/8,64,4、S形函數(shù),2020/10/8,65,2.2.3 M-P模型,McCullochPitts（MP）模型，也稱為處理單元（PE）,2020/10/8,66,上次課內(nèi)容回顧,擅長(zhǎng)兩個(gè)方面 目前應(yīng)用 語(yǔ)音、視覺(jué)、知識(shí)處理 數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問(wèn)題的最佳解的近似解（不是最佳近似解） 輔助決策預(yù)報(bào)與智能管理 通信自適應(yīng)均衡、回波抵消、路由選擇、ATM中的呼叫接納、識(shí)別與控制 空間科學(xué)對(duì)接、導(dǎo)航、制導(dǎo)、飛行程序優(yōu)化,2020/10/8,67,上次課內(nèi)容回顧,發(fā)展過(guò)程 萌芽期（20世紀(jì)40年代） M-P模型 Hebb學(xué)習(xí)律 第一高潮期（19501968） Per

28、ceptron的興衰 反思期（19691982） 第二高潮期（19831990） 4個(gè)標(biāo)志性成果 再認(rèn)識(shí)與應(yīng)用研究期（1991）,2020/10/8,68,上次課內(nèi)容回顧,生物神經(jīng)網(wǎng)六個(gè)基本特征 神經(jīng)元及其聯(lián)接、信號(hào)傳遞、訓(xùn)練、刺激與抑制、累積效果、 “閾值”。 人工神經(jīng)元的基本構(gòu)成,2020/10/8,69,上次課內(nèi)容回顧,激活函數(shù)與M-P模型 線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù) S形函數(shù) M-P模型,2020/10/8,70,2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?連接的拓?fù)浔硎?2020/10/8,71,2.3.1 聯(lián)接模式,用正號(hào)（“+”，可省略）表示傳送來(lái)的信號(hào)起刺激作用，它用于增加神經(jīng)元的

29、活躍度； 用負(fù)號(hào)（“-”）表示傳送來(lái)的信號(hào)起抑制作用，它用于降低神經(jīng)元的活躍度。 層次（又稱為“級(jí)”）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的互連模式：,2020/10/8,72,2.3.1 聯(lián)接模式,1、 層（級(jí)）內(nèi)聯(lián)接 層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)接或側(cè)聯(lián)接（Lateral）。 用來(lái)加強(qiáng)和完成層內(nèi)神經(jīng)元之間的競(jìng)爭(zhēng) 2、 循環(huán)聯(lián)接 反饋信號(hào)。,2020/10/8,73,2.3.1 聯(lián)接模式,3、層（級(jí)）間聯(lián)接 層間（Inter-field）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來(lái)實(shí)現(xiàn)層間的信號(hào)傳遞 前饋信號(hào) 反饋信號(hào),2020/10/8,74,2.3.2 網(wǎng)絡(luò)的分層結(jié)構(gòu)

30、,單級(jí)網(wǎng) 簡(jiǎn)單單級(jí)網(wǎng),2020/10/8,75,簡(jiǎn)單單級(jí)網(wǎng),2020/10/8,76,簡(jiǎn)單單級(jí)網(wǎng),W=（wij） 輸出層的第j個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為netj： netj=x1w1j+x2w2j+xnwnj 其中, 1 j m。取 NET=（net1，net2，netm） NET=XW O=F（NET）,2020/10/8,77,單級(jí)橫向反饋網(wǎng),2020/10/8,78,單級(jí)橫向反饋網(wǎng),V=（vij） NET=XW+OV O=F（NET） 時(shí)間參數(shù)神經(jīng)元的狀態(tài)在主時(shí)鐘的控制下同步變化 考慮X總加在網(wǎng)上的情況 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1) O（0）=

31、0 考慮僅在t=0時(shí)加X(jué)的情況。 穩(wěn)定性判定,2020/10/8,79,多級(jí)網(wǎng),2020/10/8,80,層次劃分 信號(hào)只被允許從較低層流向較高層。 層號(hào)確定層的高低：層號(hào)較小者，層次較低，層號(hào)較大者，層次較高。 輸入層：被記作第0層。該層負(fù)責(zé)接收來(lái)自網(wǎng)絡(luò)外部的信息,2020/10/8,81,第j層：第j-1層的直接后繼層（j0），它直接接受第j-1層的輸出。 輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號(hào)，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。 隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號(hào)，也不直接向外界發(fā)送信號(hào),2020/10/8,82,約定 : 輸出層的層號(hào)為該網(wǎng)絡(luò)的層

32、數(shù)：n層網(wǎng)絡(luò)，或n級(jí)網(wǎng)絡(luò)。 第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對(duì)應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時(shí)候，一般我們用W（j）表示第j層矩陣。,2020/10/8,83,多級(jí)網(wǎng)h層網(wǎng)絡(luò),2020/10/8,84,多級(jí)網(wǎng),非線性激活函數(shù) F(X)=kX+C F3(F2(F1(XW(1)W(2)W(3),2020/10/8,85,循環(huán)網(wǎng),2020/10/8,86,循環(huán)網(wǎng),如果將輸出信號(hào)反饋到輸入端,就可構(gòu)成一個(gè)多層的循環(huán)網(wǎng)絡(luò)。 輸入的原始信號(hào)被逐步地“加強(qiáng)”、被“修復(fù)”。 大腦的短期記憶特征看到的東西不是一下子就從腦海里消失的。 穩(wěn)定：反饋信號(hào)會(huì)引起網(wǎng)絡(luò)輸出的不斷變化。我們希望

33、這種變化逐漸減小，并且最后能消失。當(dāng)變化最后消失時(shí)，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。,2020/10/8,87,2.4 存儲(chǔ)與映射,空間模式（Spatial Model） 時(shí)空模式（Spatialtemporal Model） 空間模式三種存儲(chǔ)類型 1、 RAM方式（Random Access Memory） 隨機(jī)訪問(wèn)方式是將地址映射到數(shù)據(jù)。 2、 CAM方式（Content Addressable Memory） 內(nèi)容尋址方式是將數(shù)據(jù)映射到地址。 3、 AM方式（Associative Memory） 相聯(lián)存儲(chǔ)方式是將數(shù)據(jù)映射到數(shù)據(jù)。,2020/10/8,88

34、,2.4 存儲(chǔ)與映射,后續(xù)的兩種方式是人工神經(jīng)網(wǎng)絡(luò)的工作方式。 在學(xué)習(xí)/訓(xùn)練期間，人工神經(jīng)網(wǎng)絡(luò)以CAM方式工作；權(quán)矩陣又被稱為網(wǎng)絡(luò)的長(zhǎng)期存儲(chǔ)（Long Term Memory，簡(jiǎn)記為L(zhǎng)TM）。 網(wǎng)絡(luò)在正常工作階段是以AM方式工作的；神經(jīng)元的狀態(tài)表示的模式為短期存儲(chǔ)（Short Term Memory，簡(jiǎn)記為STM）。,2020/10/8,89,2.4 存儲(chǔ)與映射,自相聯(lián)（Auto-associative）映射：訓(xùn)練網(wǎng)絡(luò)的樣本集為向量集合為 A1，A2，An 在理想情況下，該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放的將是上面所給的向量集合。,2020/10/8,90,2.4 存儲(chǔ)與映射,異相聯(lián)（Heter

35、o-associative）映射 （A1，B1），（A2，B2），（An，Bn） 該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放的將是上面所給的向量集合所蘊(yùn)含的對(duì)應(yīng)關(guān)系。 當(dāng)輸入向量A不是樣本的第一的分量時(shí)，樣本中不存在這樣的元素（Ak，Bk），使得 AiAkA或者AAkAj 且此時(shí)有 AiAAj 則向量B是Bi與Bj的插值。,2020/10/8,91,2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。 1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。 人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程

36、就是對(duì)它的訓(xùn)練過(guò)程,2020/10/8,92,2.5.1無(wú)導(dǎo)師學(xué)習(xí),無(wú)導(dǎo)師學(xué)習(xí)(Unsupervised Learning)與無(wú)導(dǎo)師訓(xùn)練(Unsupervised Training)相對(duì)應(yīng) 抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。,2020/10/8,93,2.5.1無(wú)導(dǎo)師學(xué)習(xí),Hebb學(xué)習(xí)律、競(jìng)爭(zhēng)與協(xié)同（Competitive and Cooperative）學(xué)習(xí)、隨機(jī)聯(lián)接系統(tǒng)（Randomly Connected Learning）等。 Hebb算法D. O. Hebb在1961年的核心： 當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)被加強(qiáng)，否則被減弱。 數(shù)學(xué)表達(dá)式表示：

37、Wij（t+1）=Wij（t）+oi（t）oj（t）,2020/10/8,94,2.5.2 有導(dǎo)師學(xué)習(xí),有導(dǎo)師學(xué)習(xí)(Supervised Learning)與有導(dǎo)師訓(xùn)練(Supervised Training)相對(duì)應(yīng)。 輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè)“訓(xùn)練對(duì)”。 有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括： 1） 從樣本集合中取一個(gè)樣本（Ai，Bi）； 2） 計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O； 3） 求D=Bi-O； 4） 根據(jù)D調(diào)整權(quán)矩陣W； 5） 對(duì)每個(gè)樣本重復(fù)上述過(guò)程，直到對(duì)整個(gè)樣本集來(lái)說(shuō)，誤差不超過(guò)規(guī)定范圍。,2020/10/8,95,Delta規(guī)則,Widrow和Hoff的寫(xiě)法： Wij(t+1)

38、=Wij(t)+(yj- aj(t)oi(t) 也可以寫(xiě)成： Wij(t+1)=Wij(t)+ Wij(t) Wij(t)=joi(t) j=yj- aj(t) Grossberg的寫(xiě)法為： Wij(t)=ai(t)(oj(t)-Wij(t) 更一般的Delta規(guī)則為： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t),2020/10/8,96,其它,再例學(xué)習(xí) 外部環(huán)境對(duì)系統(tǒng)的輸出結(jié)果給出評(píng)價(jià)，學(xué)習(xí)系統(tǒng)通過(guò)強(qiáng)化受獎(jiǎng)的動(dòng)作來(lái)改善自身性能。 學(xué)習(xí)規(guī)則 誤差糾錯(cuò)學(xué)習(xí) Hebb學(xué)習(xí) 競(jìng)爭(zhēng)學(xué)習(xí),2020/10/8,97,練習(xí)題,P29 1、4、6、10、15,2020/10/8,98,上次課

39、內(nèi)容回顧:網(wǎng)絡(luò)的分層結(jié)構(gòu),聯(lián)接模式 刺激聯(lián)接與抑制聯(lián)接 前饋信號(hào)與反饋信號(hào) 層（級(jí)）內(nèi)聯(lián)接 循環(huán)聯(lián)接 層（級(jí)）間聯(lián)接 簡(jiǎn)單單級(jí)網(wǎng)： NET=XW； O=F(NET) 單級(jí)橫向反饋網(wǎng): NET=XW+O(t)V;O (t) =F(NET),2020/10/8,99,上次課內(nèi)容回顧:網(wǎng)絡(luò)的分層結(jié)構(gòu),非循環(huán)多級(jí)網(wǎng) 層次劃分 非線性激活函數(shù)： F3(F2(F1(XW1)W2)W3) 循環(huán)網(wǎng) 短期記憶特征及其對(duì)輸入信號(hào)的修復(fù)作用 時(shí)間參數(shù)與主時(shí)鐘 穩(wěn)定性,2020/10/8,100,上次課內(nèi)容回顧：存儲(chǔ)與映射,模式 空間模式 時(shí)空模式 模式三種存儲(chǔ)類型 RAM 、CAM、AM 模式的存儲(chǔ)與運(yùn)行 CAML

40、TM訓(xùn)練 AMSTM運(yùn)行 相聯(lián)：自相聯(lián)映射、異相聯(lián)映射,2020/10/8,101,上次課內(nèi)容回顧：訓(xùn)練,Rosenblatt的學(xué)習(xí)定理 無(wú)導(dǎo)師學(xué)習(xí) 抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性 樣本集：A1，A2，An Hebb算法：Wij(t+1)=Wij(t)+oi(t)oj(t) 有導(dǎo)師學(xué)習(xí) 抽取樣本蘊(yùn)含的映射關(guān)系 樣本集： (A1,B1)，(A2,B2)，(An,Bn) 訓(xùn)練算法 Delta規(guī)則,2020/10/8,102,第3章 感知器,主要內(nèi)容： 感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展； 線性可分問(wèn)題與線性不可分問(wèn)題； Hebb學(xué)習(xí)律； Delta規(guī)則; 感知器的訓(xùn)練算法。 重點(diǎn)：感知器的結(jié)構(gòu)、表達(dá)能力

41、、學(xué)習(xí)算法 難點(diǎn)：感知器的表達(dá)能力,2020/10/8,103,第3章 感知器,3.1 感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展 3.2 感知器的學(xué)習(xí)算法 3.2.1 離散單輸出感知器訓(xùn)練算法 3.2.2 離散多輸出感知器訓(xùn)練算法 3.2.3 連續(xù)多輸出感知器訓(xùn)練算法 3.3 線性不可分問(wèn)題 3.3.1 異或(Exclusive OR)問(wèn)題 3.3.2 線性不可分問(wèn)題的克服,實(shí)現(xiàn)！,問(wèn)題的發(fā)現(xiàn)與解決！,2020/10/8,104,3.1 感知器與ANN的早期發(fā)展,McCulloch 和Pitts 1943年，發(fā)表第一個(gè)系統(tǒng)的ANN研究閾值加權(quán)和(M-P)數(shù)學(xué)模型。 1947年，開(kāi)發(fā)出感知器。 1949年

42、，提出Hebb學(xué)習(xí)律。,單輸出的感知器(M-P模型),2020/10/8,105,3.1 感知器與ANN的早期發(fā)展,1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它能表示的任何東西,2020/10/8,106,3.2 感知器的學(xué)習(xí)算法,感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí) 感知器的訓(xùn)練算法的基本原理來(lái)源于著名的Hebb學(xué)習(xí)律 基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中,根據(jù)輸出結(jié)果和理想輸出之間的差別來(lái)調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣,2020/10/8,107,3.2.1離散單輸出感知器訓(xùn)練算法,二值網(wǎng)絡(luò)：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。 權(quán)向量：W=(w1，w2，wn) 輸入向量

43、：X=(x1，x2，xn) 訓(xùn)練樣本集： (X，Y)|Y為輸入向量X對(duì)應(yīng)的輸出,2020/10/8,108,算法3-1離散單輸出感知器訓(xùn)練算法,1. 初始化權(quán)向量W； 2. 重復(fù)下列過(guò)程，直到訓(xùn)練完成： 2.1 對(duì)每個(gè)樣本（X，Y），重復(fù)如下過(guò)程： 2.1.1 輸入X； 2.1.2 計(jì)算o=F（XW）； 2.1.3 如果輸出不正確，則 當(dāng)o=0時(shí)，取 W=W+X， 當(dāng)o=1時(shí)，取 W=W-X,2020/10/8,109,3.2.2離散多輸出感知器訓(xùn)練算法,樣本集：(X,Y)|Y為輸入向量X對(duì)應(yīng)的輸出 輸入向量：X=(x1,x2,xn) 理想輸出向量：Y=(y1,y2,ym) 激活函數(shù)：F 權(quán)矩

44、陣W=(wij) 實(shí)際輸出向量：O=(o1,o2,om),2020/10/8,110,算法3-2離散多輸出感知器訓(xùn)練算法,1.初始化權(quán)矩陣W； 2.重復(fù)下列過(guò)程，直到訓(xùn)練完成： 2.1 對(duì)每個(gè)樣本（X，Y），重復(fù)如下過(guò)程： 2.1.1 輸入X； 2.1.2 計(jì)算O=F（XW）； 2.1.3 for j=1 to m do 執(zhí)行如下操作： if oj yj then if oi = 0 then for i = 1 to n wij=wij+xi else for i= 1 to n do wij=wij-xi,2020/10/8,111,算法3-2離散多輸出感知器訓(xùn)練算法,算法思想：將單輸出感

45、知器的處理逐個(gè)地用于多輸出感知器輸出層的每一個(gè)神經(jīng)元的處理。 第1步，權(quán)矩陣的初始化：一系列小偽隨機(jī)數(shù)。,2020/10/8,112,算法3-2離散多輸出感知器訓(xùn)練算法,第2步，循環(huán)控制。 方法1：循環(huán)次數(shù)控制法：對(duì)樣本集執(zhí)行規(guī)定次數(shù)的迭代 改進(jìn)分階段迭代控制：設(shè)定一個(gè)基本的迭代次數(shù)N，每當(dāng)訓(xùn)練完成N次迭代后，就給出一個(gè)中間結(jié)果,2020/10/8,113,算法3-2離散多輸出感知器訓(xùn)練算法,方法2：精度控制法：給定一個(gè)精度控制參數(shù) 精度度量：實(shí)際輸出向量與理想輸出向量的對(duì)應(yīng)分量的差的絕對(duì)值之和； 實(shí)際輸出向量與理想輸出向量的歐氏距離的和 “死循環(huán)”：網(wǎng)絡(luò)無(wú)法表示樣本所代表的問(wèn)題,2020/1

46、0/8,114,算法3-2離散多輸出感知器訓(xùn)練算法,方法3：綜合控制法：將這兩種方法結(jié)合起來(lái)使用 注意：精度參數(shù)的設(shè)置。根據(jù)實(shí)際問(wèn)題選定；初始測(cè)試階段，精度要求低，測(cè)試完成后，再給出實(shí)際的精度要求。,2020/10/8,115,3.2.3 連續(xù)多輸出感知器訓(xùn)練算法,用公式wij=wij+（yj-oj）xi取代了算法3-2 第2.1.3步中的多個(gè)判斷 yj與oj之間的差別對(duì)wij的影響由（yj-oj）xi表現(xiàn)出來(lái) 好處：不僅使得算法的控制在結(jié)構(gòu)上更容易理解，而且還使得它的適應(yīng)面更寬,2020/10/8,116,算法3-3 連續(xù)多輸出感知器訓(xùn)練算法,1用適當(dāng)?shù)男坞S機(jī)數(shù)初始化權(quán)矩陣W； 2. 初置

47、精度控制參數(shù)，學(xué)習(xí)率，精度控制變量d=+1； 3While d do 3.1 d=0； 3.2 for 每個(gè)樣本（X，Y）do 3.2.1 輸入X（=(x1，x2，xn)）； 3.2.2 求O=F（XW）； 3.2.3 修改權(quán)矩陣W： for i=1 to n，j=1 to m do wij=wij+(yj-oj)xi； 3.2.4 累積誤差 for j = 1 to m do d=d+(yj-oj)2,2020/10/8,117,算法3-3 連續(xù)多輸出感知器訓(xùn)練算法,1、程序?qū)崿F(xiàn):、d、i、j、n、m為簡(jiǎn)單變量來(lái)表示，W為n行m列的二維數(shù)組。樣本集二維數(shù)組 2、系統(tǒng)的調(diào)試 3、Minsky在

48、1969年證明，有許多基本問(wèn)題是感知器無(wú)法解決 4、問(wèn)題線性可分性可能與時(shí)間有關(guān) 5、很難從樣本數(shù)據(jù)集直接看出問(wèn)題是否線性可分 6、未能證明，一個(gè)感知器究竟需要經(jīng)過(guò)多少步才能完成訓(xùn)練。,2020/10/8,118,3.3 線性不可分問(wèn)題,3.3.1 異或(Exclusive OR)問(wèn)題,2020/10/8,119,用于求解XOR的單神經(jīng)元感知器,2020/10/8,120,線性不可分函數(shù),2020/10/8,121,線性不可分函數(shù),R. O. Windner 1960年,2020/10/8,122,3.3.2 線性不可分問(wèn)題的克服,用多個(gè)單級(jí)網(wǎng)組合在一起，并用其中的一個(gè)去綜合其它單級(jí)網(wǎng)的結(jié)果，

49、我們就可以構(gòu)成一個(gè)兩級(jí)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以被用來(lái)在平面上劃分出一個(gè)封閉或者開(kāi)放的凸域來(lái) 一個(gè)非凸域可以拆分成多個(gè)凸域。按照這一思路，三級(jí)網(wǎng)將會(huì)更一般一些，我們可以用它去識(shí)別出一些非凸域來(lái)。 解決好隱藏層的聯(lián)接權(quán)的調(diào)整問(wèn)題是非常關(guān)鍵的,2020/10/8,123,兩級(jí)單輸出網(wǎng)在n維空間中劃分出m邊凸域,2020/10/8,124,第1次課堂測(cè)試（5分*4）,Newell和Simon的物理符號(hào)系統(tǒng)所基于的假說(shuō)是什么？它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬？ 聯(lián)接主義觀點(diǎn)所基于的假說(shuō)是什么？它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬？ 畫(huà)出有導(dǎo)師算法的流程圖。 證明：一個(gè)激活函數(shù)為線性函數(shù)的3級(jí)非循環(huán)網(wǎng)等價(jià)

50、于一個(gè)單級(jí)網(wǎng)。,2020/10/8,125,習(xí)題,P38 1、6,2020/10/8,126,第1次課堂測(cè)試解答要點(diǎn),Newell和Simon的物理符號(hào)系統(tǒng)所基于的假說(shuō)是什么？它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬？ 要點(diǎn)：物理符號(hào)系統(tǒng)；心理；符號(hào)對(duì)事務(wù)及變換的描述 聯(lián)接主義觀點(diǎn)所基于的假說(shuō)是什么？它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬？ 要點(diǎn)：聯(lián)接機(jī)制；生理；模式、聯(lián)接權(quán)的調(diào)整與對(duì)變換的表示,2020/10/8,127,第1次課堂測(cè)試解答要點(diǎn),畫(huà)出有導(dǎo)師學(xué)習(xí)算法的流程圖。 要點(diǎn)：如何處理精度與樣本集兩層循環(huán) 證明：一個(gè)激活函數(shù)為線性函數(shù)的3級(jí)非循環(huán)網(wǎng)等價(jià)于一個(gè)單級(jí)網(wǎng)。 要點(diǎn)：一級(jí)網(wǎng)與多級(jí)網(wǎng)的

51、的數(shù)學(xué)模型,2020/10/8,128,上次課內(nèi)容回顧:學(xué)習(xí)算法,離散單輸出感知器訓(xùn)練算法 W=W+X;W=W-X W=W+(Y-O)X 離散多輸出感知器訓(xùn)練算法 Wj=Wj+(yj-oj)X 連續(xù)多輸出感知器訓(xùn)練算法 wij=wij+(yj-oj)xi,2020/10/8,129,上次課內(nèi)容回顧:線性不可分問(wèn)題,線性不可分問(wèn)題的克服 兩級(jí)網(wǎng)絡(luò)可以劃分出封閉或開(kāi)放的凸域 多級(jí)網(wǎng)將可以識(shí)別出非凸域 隱藏層的聯(lián)接權(quán)的調(diào)整問(wèn)題是非常關(guān)鍵,2020/10/8,130,第4章 BP網(wǎng)絡(luò),主要內(nèi)容： BP網(wǎng)絡(luò)的構(gòu)成 隱藏層權(quán)的調(diào)整分析 Delta規(guī)則理論推導(dǎo) 算法的收斂速度及其改進(jìn)討論 BP網(wǎng)絡(luò)中的幾個(gè)重

52、要問(wèn)題 重點(diǎn)：BP算法 難點(diǎn)：Delta規(guī)則的理論推導(dǎo),2020/10/8,131,第4章 BP網(wǎng)絡(luò),4.1 概述 4.2 基本BP算法 4.3 算法的改進(jìn) 4.4 算法的實(shí)現(xiàn) 4.5 算法的理論基礎(chǔ) 4.6 幾個(gè)問(wèn)題的討論,2020/10/8,132,4.1 概述,1、BP算法的出現(xiàn) 非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法 UCSD PDP小組的Rumelhart、Hinton和Williams1986年獨(dú)立地給出了BP算法清楚而簡(jiǎn)單的描述 1982年，Paker就完成了相似的工作 1974年，Werbos已提出了該方法 2、弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問(wèn)題、算法不一定收斂。 3、優(yōu)點(diǎn)：廣泛的適

53、應(yīng)性和有效性。,2020/10/8,133,4.2 基本BP算法,4.2.1 網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的網(wǎng)絡(luò)輸入： neti=x1w1i+x2w2i+xnwni 神經(jīng)元的輸出：,2020/10/8,134,輸出函數(shù)分析,應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi) 可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的,2020/10/8,135,網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),2020/10/8,136,網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),BP網(wǎng)的結(jié)構(gòu) 輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定 實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。 BP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)。,20

54、20/10/8,137,網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),2020/10/8,138,4.2.2 訓(xùn)練過(guò)程概述,樣本：(輸入向量，理想輸出向量) 權(quán)初始化：“小隨機(jī)數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡(luò)可以學(xué)。 1、向前傳播階段： （1）從樣本集中取一個(gè)樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)； （2）計(jì)算相應(yīng)的實(shí)際輸出Op： Op=Fl(F2(F1(XpW(1)W(2)W(L),2020/10/8,139,4.2.2 訓(xùn)練過(guò)程概述,2、向后傳播階段誤差傳播階段： （1）計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差； （2）按極小化誤差的方式調(diào)整權(quán)矩陣。 （3）網(wǎng)絡(luò)關(guān)于第p個(gè)樣本的誤差測(cè)度：,（4） 網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)

55、度：,2020/10/8,140,4.2.3 誤差傳播分析,1、輸出層權(quán)的調(diào)整,wpq= wpq+wpq wpq=qop =fn (netq)(yq-oq)op =oq(1-oq) (yq-oq)op,2020/10/8,141,2、隱藏層權(quán)的調(diào)整,2020/10/8,142,2、隱藏層權(quán)的調(diào)整,pk-1的值和1k，2k，mk 有關(guān) 不妨認(rèn)為pk-1 通過(guò)權(quán)wp1對(duì)1k做出貢獻(xiàn)， 通過(guò)權(quán)wp2對(duì)2k做出貢獻(xiàn)， 通過(guò)權(quán)wpm對(duì)mk做出貢獻(xiàn)。 pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k),2020/10/8,143,2、隱藏層權(quán)的調(diào)整,vhp=vhp+vhp vh

56、p=pk-1ohk-2 =fk-1 (netp)( wp11k+ wp22k+ wpmmk)ohk-2 =opk-1(1-opk-1)( wp11k+ wp22k+ wpmmk)ohk-2,2020/10/8,144,上次課內(nèi)容回顧,基本BP算法 neti=x1w1i+x2w2i+xnwni,2020/10/8,145,上次課內(nèi)容回顧,2020/10/8,146,上次課內(nèi)容回顧,樣本 權(quán)初始化 向前傳播階段 Op=Fn(F2(F1(XpW(1)W(2)W(n) 誤差測(cè)度,2020/10/8,147,上次課內(nèi)容回顧,向后傳播階段誤差傳播階段 輸出層權(quán)的調(diào)整 wpq= qop =fn (netq)

57、(yq-oq)op =oq(1-oq) (yq-oq)op 隱藏層權(quán)的調(diào)整,vhp =opk-1(1-opk-1)( wp11k+ wp22k+ wpmmk)ohk-2,2020/10/8,148,4.2.4 基本的BP算法,樣本集：S=(X1,Y1),(X2,Y2),(Xs,Ys) 基本思想 ： 逐一地根據(jù)樣本集中的樣本(Xk,Yk)計(jì)算出實(shí)際輸出Ok和誤差測(cè)度E1，對(duì)W(1) ，W(2) ，W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到Ep。 用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì)，并用這些估

58、計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過(guò)程,2020/10/8,149,算法4-1 基本BP算法,1 for k=1 to L do 1.1 初始化W(k)； 2 初始化精度控制參數(shù)； 3 E=+1; 4 while E do 4.1 E=0;,2020/10/8,150,算法4-1 基本BP算法,4.2 對(duì)S中的每一個(gè)樣本（Xp,Yp）： 4.2.1 計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出Op； 4.2.2 計(jì)算出Ep； 4.2.3 E=E+Ep； 4.2.4 根據(jù)相應(yīng)式子調(diào)整W(L)； 4.2.5 k=L-1； 4.2.6 while k0 do 4.2

59、.6.1 根據(jù)相應(yīng)式子調(diào)整W(k)； 4.2.6.2 k=k-1 4.3 E=E/2.0,2020/10/8,151,4.3 算法的改進(jìn),1、BP網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響。它更“偏愛(ài)”較后出現(xiàn)的樣本 2、給集中的樣本安排一個(gè)適當(dāng)?shù)捻樞?，是非常困難的。 3、樣本順序影響結(jié)果的原因：“分別”、“依次” 4、用(X1,Y1)，（X2,Y2），（Xs,Ys）的“總效果”修改W(1) ，W(2) ，W(L)。 w(k)ij=p w(k)ij,2020/10/8,152,算法4-2 消除樣本順序影響的BP算法,1 for k=1 to L do 1.1 初始化W(k)； 2 初始化精度控制參數(shù)； 3 E=+1; 4 while E do 4.1 E=0; 4.2 對(duì)所有的i，j，k： w (k)ij=0；,2020/10/8,153,4.3 對(duì)S中的每一個(gè)樣本（Xp,Yp）： 4.3.1 計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出Op； 4.3.2 計(jì)算出Ep； 4.3.3 E=E+Ep； 4.3.4 對(duì)所有i，j根據(jù)相應(yīng)式子計(jì)算p w