清華人工神經網絡電子講稿34910

人工神經網絡

ArtificialNeuralNetworks2/21/20241蔣宗禮軟件學科部聯(lián)系：67392508Email：jiangzl@辦公地點：信息北樓2142/21/20242教材書名：?人工神經網絡導論?出版社：高等教育出版社出版日期：2001年8月定價：12.4元蔣宗禮2/21/20243主要參考書目1、PhilipD.Wasserman，NeuralComputing:TheoryandPractice，VanNostrandReinhold，19892、胡守仁、余少波、戴葵，神經網絡導論，國防科技大學出版社，1993年10月3、楊行峻、鄭君里，人工神經網絡，高等教育出版社，1992年9月4、聞新、周露、王丹力、熊曉英，MATLAB神經網絡應用設計，科學出版社，2001.5.2/21/20244課程目的和根本要求作為人工神經網絡的入門課程，用于將學生引入人工神經網絡及其應用的研究領域。介紹人工神經網絡及其根本網絡模型，使學生了解智能系統(tǒng)描述的根本模型掌握人工神經網絡的根本概念、單層網、多層網、循環(huán)網等各種根本網絡模型的結構、特點、典型訓練算法、運行方式、典型問題掌握軟件實現(xiàn)方法。2/21/20245課程目的和根本要求了解人工神經網絡的有關研究思想，從中學習開拓者們的局部問題求解方法。通過實驗進一步體會有關模型的用法和性能，獲取一些初步的經驗。查閱適當?shù)膮⒖嘉墨I，將所學的知識與自己未來研究課題〔包括研究生論文階段的研究課題〕相結合起來，到達既豐富學習內容，又有一定的研究和應用的目的。2/21/20246主要內容

智能及其實現(xiàn)ANN根底PerceptronBPCPN統(tǒng)計方法Hopfield網與BAMART2/21/20247主要內容第一章：引論智能的概念、智能系統(tǒng)的特點及其描述根本模型，物理符號系統(tǒng)與連接主義的觀點及其比較；人工神經網絡的特點、開展歷史。2/21/20248主要內容第二章人工神經網絡根底本章在介紹了根本神經元后，將概要介紹人工神經網絡的一般特性。主要包括，生物神經網絡模型，人工神經元模型與典型的鼓勵函數(shù)；人工神經網絡的根本拓撲特性，存儲類型〔CAM──LTM，AM──STM〕及映象，Supervised訓練與Unsupervised訓練。2/21/20249主要內容第三章感知器感知器與人工神經網絡的早期開展；單層網能解決線性可分問題，而無法解決線形不可分問題，要想解決這一問題，必須引入多層網；Hebb學習律，Delta規(guī)那么，感知器的訓練算法。實驗：實現(xiàn)一個感知器。2/21/202410主要內容第四章向后傳播BP〔Backpropagation〕網絡的構成及其訓練過程；隱藏層權調整方法的直觀分析，BP訓練算法中使用的Delta規(guī)那么〔最速下降法〕的理論推導；算法的收斂速度及其改進討論；BP網絡中的幾個重要問題。實驗：實現(xiàn)BP算法。2/21/202411主要內容第五章對傳網生物神經系統(tǒng)與異構網的引入；對傳網的網絡結構，Kohonen層與Grossberg層的正常運行，對傳網的輸入向量的預處理，Kohonen層的訓練算法及其權矩陣的初始化方法；Grossberg層的訓練；完整的對傳網。實驗：實現(xiàn)根本的對傳網。2/21/202412主要內容第六章統(tǒng)計方法統(tǒng)計方法是為了解決局部極小點問題而引入的，統(tǒng)計網絡的根本訓練算法，模擬退火算法與收斂分析，Cauchy訓練，人工熱處理與臨界溫度在訓練中的使用，BP算法與Cauchy訓練相結合。實驗：實現(xiàn)模擬退火算法。2/21/202413主要內容第七章循環(huán)網絡循環(huán)網絡的組織，穩(wěn)定性分析；相聯(lián)存儲；統(tǒng)計Hopfield網與Boltzmann機；Hopfield網用于解決TSP問題。BAM(BidirectionalAssociativeMemory)用于實現(xiàn)雙聯(lián)存儲；根本雙聯(lián)存儲網絡的結構及訓練；其他的幾種相聯(lián)存儲網絡。實驗：實現(xiàn)一個Hopfield網。2/21/202414主要內容第八章自適應共振理論人腦的穩(wěn)定性與可塑性問題；ART模型的總體結構與分塊描述；比較層與識別層之間的兩個聯(lián)接矩陣的初始化，識別過程與比較過程，查找的實現(xiàn)；訓練討論。2/21/202415第1章

引言主要內容：智能與人工智能；ANN的特點；歷史回憶與展望重點：智能的本質；ANN是一個非線性大規(guī)模并行處理系統(tǒng)難點：對智能的刻畫2/21/202416第1章

引言1.1人工神經網絡的提出1.2人工神經網絡的特點1.3歷史回憶2/21/202417第1章

引言人類對人工智能的研究可以分成兩種方式對應著兩種不同的技術：傳統(tǒng)的人工智能技術——心理的角度模擬基于人工神經網絡的技術——生理的角度模擬2/21/2024181.1人工神經網絡的提出

人工神經網絡〔ArtificialNeuralNetworks，簡記作ANN〕，是對人類大腦系統(tǒng)的一階特性的一種描述。簡單地講，它是一個數(shù)學模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研究的一種方法。2/21/2024191.1人工神經網絡的提出1.1.1智能與人工智能

一、

智能的含義智能是個體有目的的行為，合理的思維，以及有效的、適應環(huán)境的綜合能力。

智能是個體認識客觀事物和運用知識解決問題的能力。

人類個體的智能是一種綜合能力。2/21/2024201.1人工神經網絡的提出智能可以包含8個方面感知與認識客觀事物、客觀世界和自我的能力感知是智能的根底——最根本的能力通過學習取得經驗與積累知識的能力這是人類在世界中能夠不斷開展的最根本能力。理解知識，運用知識和經驗分析、解決問題的能力這一能力可以算作是智能的高級形式。是人類對世界進行適當?shù)母脑?，推動社會不斷開展的根本能力。2/21/2024211.1人工神經網絡的提出聯(lián)想、推理、判斷、決策語言的能力這是智能的高級形式的又一方面。預測和認識“主動〞和“被動〞之分。聯(lián)想、推理、判斷、決策的能力是“主動〞的根底。運用進行抽象、概括的能力上述這5種能力，被認為是人類智能最為根本的能力2/21/2024221.1人工神經網絡的提出作為5種能力綜合表現(xiàn)形式的3種能力發(fā)現(xiàn)、創(chuàng)造、創(chuàng)造、創(chuàng)新的能力實時、迅速、合理地應付復雜環(huán)境的能力預測、洞察事物開展、變化的能力2/21/2024231.1人工神經網絡的提出二、人工智能人工智能：研究如何使類似計算機這樣的設備去模擬人類的這些能力。研究人工智能的目的增加人類探索世界，推動社會前進的能力進一步認識自己三大學術流派符號主義〔或叫做符號/邏輯主義〕學派聯(lián)接主義〔或者叫做PDP〕學派進化主義〔或者叫做行動/響應〕學派2/21/2024241.1人工神經網絡的提出1.1.2物理符號系統(tǒng)

人腦的反映形式化

現(xiàn)實信息數(shù)據

物理系統(tǒng)物理符號系統(tǒng)

表現(xiàn)智能2/21/2024251.1人工神經網絡的提出Newell和Simon假說：一個物理系統(tǒng)表現(xiàn)智能行為的充要條件是它有一個物理符號系統(tǒng)概念：物理符號系統(tǒng)需要有一組稱為符號的實體組成，它們都是物理模型，可以在另一類稱為符號結構的實體中作為成分出現(xiàn)，以構成更高級別的系統(tǒng)2/21/2024261.1人工神經網絡的提出困難：抽象——舍棄一些特性，同時保存一些特性形式化處理——用物理符號及相應規(guī)那么表達物理系統(tǒng)的存在和運行。局限：對全局性判斷、模糊信息處理、多粒度的視覺信息處理等是非常困難的。2/21/2024271.1人工神經網絡的提出1.1.3聯(lián)接主義觀點

核心：智能的本質是聯(lián)接機制。

神經網絡是一個由大量簡單的處理單元組成的高度復雜的大規(guī)模非線性自適應系統(tǒng)

ANN力求從四個方面去模擬人腦的智能行為物理結構

計算模擬

存儲與操作

訓練

2/21/2024281.1人工神經網絡的提出1.1.4兩種模型的比較

心理過程邏輯思維高級形式〔思維的表象〕

生理過程形象思維低級形式〔思維的根本〕

仿生 人工神經網絡聯(lián)結主義觀點物理符號系統(tǒng)2/21/2024291.1人工神經網絡的提出物理符號系統(tǒng)和人工神經網絡系統(tǒng)的差異項目物理符號系統(tǒng)人工神經網絡處理方式邏輯運算模擬運算執(zhí)行方式串行并行動作離散連續(xù)存儲局部集中全局分布2/21/2024301.1人工神經網絡的提出兩種人工智能技術的比較項目傳統(tǒng)的AI技術

ANN技術

基本實現(xiàn)方式

串行處理；由程序實現(xiàn)控制

并行處理；對樣本數(shù)據進行多目標學習；通過人工神經元之間的相互作用實現(xiàn)控制

基本開發(fā)方法

設計規(guī)則、框架、程序；用樣本數(shù)據進行調試（由人根據已知的環(huán)境去構造一個模型）

定義人工神經網絡的結構原型，通過樣本數(shù)據，依據基本的學習算法完成學習——自動從樣本數(shù)據中抽取內涵（自動適應應用環(huán)境）

適應領域

精確計算：符號處理，數(shù)值計算非精確計算：模擬處理，感覺，大規(guī)模數(shù)據并行處理模擬對象

左腦（邏輯思維）右腦（形象思維）2/21/2024311.2人工神經網絡的特點信息的分布表示運算的全局并行和局部操作處理的非線性

2/21/2024321.2.1人工神經網絡的概念1、定義1〕Hecht—Nielsen〔1988年〕人工神經網絡是一個并行、分布處理結構，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元〔PE—ProcessingElement〕具有局部內存，并可以完成局部操作。每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據需要被分枝成希望個數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號，即相應處理單元的信號，信號的大小不因分支的多少而變化。2/21/2024331.2.1人工神經網絡的概念〔1〕Hecht—Nielsen〔1988年〕〔續(xù)〕處理單元的輸出信號可以是任何需要的數(shù)學模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經過輸入聯(lián)接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內存中的值。2/21/2024341.2.1人工神經網絡的概念強調：

①

并行、分布處理結構；②一個處理單元的輸出可以被任意分枝，且大小不變；③輸出信號可以是任意的數(shù)學模型；④處理單元完全的局部操作

2/21/2024351.2.1人工神經網絡的概念〔2〕Rumellhart，McClelland，Hinton的PDP1〕

一組處理單元〔PE或AN〕；2〕

處理單元的激活狀態(tài)〔ai〕；3〕

每個處理單元的輸出函數(shù)〔fi〕；4〕

處理單元之間的聯(lián)接模式；5〕

傳遞規(guī)那么〔∑wijoi〕；6〕

把處理單元的輸入及當前狀態(tài)結合起來產生激活值的激活規(guī)那么〔Fi〕；7〕

通過經驗修改聯(lián)接強度的學習規(guī)那么；8〕

系統(tǒng)運行的環(huán)境〔樣本集合〕。2/21/2024361.2.1人工神經網絡的概念〔3〕Simpson〔1987年〕人工神經網絡是一個非線性的有向圖，圖中含有可以通過改變權大小來存放模式的加權邊，并且可以從不完整的或未知的輸入找到模式。2/21/2024371.2.1人工神經網絡的概念2、關鍵點〔1〕

信息的分布表示〔2〕

運算的全局并行與局部操作〔3〕

處理的非線性特征3、對大腦根本特征的模擬1〕

形式上：神經元及其聯(lián)接；BN對AN2〕

表現(xiàn)特征：信息的存儲與處理2/21/2024381.2.1人工神經網絡的概念4、別名人工神經系統(tǒng)〔ANS〕神經網絡〔NN〕自適應系統(tǒng)〔AdaptiveSystems〕、自適應網〔AdaptiveNetworks〕聯(lián)接模型〔Connectionism〕神經計算機〔Neurocomputer〕2/21/2024391.2.2學習〔Learning〕能力人工神經網絡可以根據所在的環(huán)境去改變它的行為自相聯(lián)的網絡異相聯(lián)的網絡：它在接受樣本集合A時，可以抽取集合A中輸入數(shù)據與輸出數(shù)據之間的映射關系?！俺橄蟥暪δ堋２煌娜斯ど窠浘W絡模型，有不同的學習/訓練算法2/21/2024401.2.3根本特征的自動提取由于其運算的不精確性，表現(xiàn)成“去噪音、容殘缺〞的能力，利用這種不精確性，比較自然地實現(xiàn)模式的自動分類。普化〔Generalization〕能力與抽象能力2/21/2024411.2.4信息的分布存放信息的分布存提供容錯功能由于信息被分布存放在幾乎整個網絡中，所以，當其中的某一個點或者某幾個點被破壞時，信息仍然可以被存取。系統(tǒng)在受到局部損傷時還可以正常工作。并不是說可以任意地對完成學習的網絡進行修改。也正是由于信息的分布存放，對一類網來說，當它完成學習后，如果再讓它學習新的東西，這時就會破壞原來已學會的東西。

2/21/202442適應性(Applicability)問題

擅長兩個方面：對大量的數(shù)據進行分類，并且只有較少的幾種情況；必須學習一個復雜的非線性映射。目前應用：人們主要將其用于語音、視覺、知識處理、輔助決策等方面。在數(shù)據壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最正確解的近似解〔不是最正確近似解〕等方面也有較好的應用。2/21/2024431.3歷史回憶1.3.1萌芽期〔20世紀40年代〕人工神經網絡的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。1943年，心理學家McCulloch和數(shù)學家Pitts建立起了著名的閾值加權和模型，簡稱為M-P模型。發(fā)表于數(shù)學生物物理學會刊?BulletinofMethematicalBiophysics?1949年，心理學家D.O.Hebb提出神經元之間突觸聯(lián)系是可變的假說——Hebb學習律。2/21/2024441.3.2第一高潮期〔1950~1968〕以MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級感知器〔Perceptron〕?？捎秒娮泳€路模擬。人們樂觀地認為幾乎已經找到了智能的關鍵。許多部門都開始大批地投入此項研究，希望盡快占領制高點。2/21/2024451.3.3反思期〔1969~1982〕M.L.Minsky和S.Papert，?Perceptron?，MITPress，1969年異或〞運算不可表示二十世紀70年代和80年代早期的研究結果認識規(guī)律：認識——實踐——再認識2/21/2024461.3.4第二高潮期〔1983~1990〕1982年，J.Hopfield提出循環(huán)網絡用Lyapunov函數(shù)作為網絡性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據說明了ANN與動力學的關系用非線性動力學的方法來研究ANN的特性指出信息被存放在網絡中神經元的聯(lián)接上2/21/2024471.3.4第二高潮期〔1983~1990〕2〕1984年，J.Hopfield設計研制了后來被人們稱為Hopfield網的電路。較好地解決了著名的TSP問題，找到了最正確解的近似解，引起了較大的轟動。3〕1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理〔PDP〕小組的研究者在Hopfield網絡中引入了隨機機制，提出所謂的Boltzmann機。2/21/2024481.3.4第二高潮期〔1983~1990〕4〕1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網絡的學習算法——BP算法，較好地解決了多層網絡的學習問題。〔Paker1982和Werbos1974年〕國內首屆神經網絡大會是1990年12月在北京舉行的。2/21/2024491.3.5再認識與應用研究期〔1991~〕問題：1〕應用面還不夠寬2〕結果不夠精確3〕存在可信度的問題2/21/2024501.3.5再認識與應用研究期〔1991~〕研究：1〕開發(fā)現(xiàn)有模型的應用，并在應用中根據實際運行情況對模型、算法加以改造，以提高網絡的訓練速度和運行的準確度。2〕充分發(fā)揮兩種技術各自的優(yōu)勢是一個有效方法3〕希望在理論上尋找新的突破，建立新的專用/通用模型和算法。4〕進一步對生物神經系統(tǒng)進行研究，不斷地豐富對人腦的認識。2/21/202451第2章人工神經網絡根底主要內容：BN與AN；拓撲結構；存儲；訓練重點：AN；拓撲結構；訓練難點：訓練2/21/202452第2章人工神經網絡根底2.1生物神經網2.2人工神經元2.3人工神經網絡的拓撲特性2.4存儲與映射2.5人工神經網絡的訓練2/21/2024532.1生物神經網1、構成胞體(Soma)枝蔓（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）2、工作過程2/21/2024542.1生物神經網3、六個根本特征：1〕神經元及其聯(lián)接；2〕神經元之間的聯(lián)接強度決定信號傳遞的強弱；3〕神經元之間的聯(lián)接強度是可以隨訓練改變的；4〕信號可以是起刺激作用的，也可以是起抑制作用的；5〕一個神經元接受的信號的累積效果斷定該神經元的狀態(tài)；6)每個神經元可以有一個“閾值〞。2/21/2024552.2人工神經元

神經元是構成神經網絡的最根本單元〔構件〕。人工神經元模型應該具有生物神經元的六個根本特性。2/21/2024562.2.1人工神經元的根本構成人工神經元模擬生物神經元的一階特性。輸入：X=〔x1，x2，…，xn〕聯(lián)接權：W=〔w1，w2，…，wn〕T網絡輸入： net=∑xiwi向量形式： net=XWxnwn∑x1w1x2w2net=XW…2/21/2024572.2.2激活函數(shù)(ActivationFunction)

激活函數(shù)——執(zhí)行對該神經元所獲得的網絡輸入的變換，也可以稱為鼓勵函數(shù)、活化函數(shù)：o=f〔net〕1、線性函數(shù)〔LinerFunction〕f〔net〕=k*net+cnetooc2/21/2024582、非線性斜面函數(shù)(RampFunction) γ ifnet≥θf〔net〕=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經元的最大輸出。2/21/2024592、非線性斜面函數(shù)〔RampFunction〕γ-γθ

-θ

net

o

2/21/2024603、閾值函數(shù)〔ThresholdFunction〕階躍函數(shù) β ifnet>θf〔net〕= -γ ifnet≤θβ、γ、θ均為非負實數(shù)，θ為閾值二值形式： 1 ifnet>θf〔net〕= 0 ifnet≤θ雙極形式： 1 ifnet>θf〔net〕= -1 ifnet≤θ2/21/2024613、閾值函數(shù)〔ThresholdFunction〕階躍函數(shù)β

-γθonet02/21/2024624、S形函數(shù)

壓縮函數(shù)〔SquashingFunction〕和邏輯斯特函數(shù)〔LogisticFunction〕。f〔net〕=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：f〔net〕=1/(1+exp(-d*net))函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制2/21/2024634、S形函數(shù)

a+bo(0,c)netac=a+b/22/21/202464M-P模型

x2w2

∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts〔M—P〕模型，也稱為處理單元〔PE〕2/21/202465上次課內容回憶擅長兩個方面目前應用語音、視覺、知識處理數(shù)據壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最正確解的近似解〔不是最正確近似解〕輔助決策——預報與智能管理通信——自適應均衡、回波抵消、路由選擇、ATM中的呼叫接納、識別與控制空間科學——對接、導航、制導、飛行程序優(yōu)化2/21/202466上次課內容回憶開展過程萌芽期〔20世紀40年代〕M-P模型Hebb學習律第一高潮期〔1950~1968〕Perceptron的興衰反思期〔1969~1982〕第二高潮期〔1983~1990〕4個標志性成果再認識與應用研究期〔1991~〕2/21/202467上次課內容回憶生物神經網六個根本特征神經元及其聯(lián)接、信號傳遞、訓練、刺激與抑制、累積效果、“閾值〞。人工神經元的根本構成xnwn∑x1w1x2w2net=XW…2/21/202468上次課內容回憶激活函數(shù)與M-P模型

線性函數(shù)、非線性斜面函數(shù)、閾值函數(shù)

S形函數(shù)

M-P模型x2w2

∑fo=f（net）xnwn…net=XWx1w12/21/2024692.3人工神經網絡的拓撲特性

連接的拓撲表示

ANi wij ANj

2/21/2024702.3.1聯(lián)接模式

用正號〔“+〞，可省略〕表示傳送來的信號起刺激作用，它用于增加神經元的活潑度；用負號〔“-〞〕表示傳送來的信號起抑制作用，它用于降低神經元的活潑度。層次〔又稱為“級〞〕的劃分，導致了神經元之間的三種不同的互連模式：2/21/2024712.3.1聯(lián)接模式

1、層〔級〕內聯(lián)接層內聯(lián)接又叫做區(qū)域內〔Intra-field〕聯(lián)接或側聯(lián)接〔Lateral〕。用來加強和完成層內神經元之間的競爭2、循環(huán)聯(lián)接反響信號。2/21/2024722.3.1聯(lián)接模式3、層〔級〕間聯(lián)接層間〔Inter-field〕聯(lián)接指不同層中的神經元之間的聯(lián)接。這種聯(lián)接用來實現(xiàn)層間的信號傳遞前饋信號反響信號2/21/2024732.3.2網絡的分層結構

單級網

簡單單級網

2/21/202474簡單單級網……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 2/21/202475簡單單級網W=〔wij〕輸出層的第j個神經元的網絡輸入記為netj： netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=〔net1，net2，…，netm〕NET=XWO=F〔NET〕2/21/202476單級橫向反響網輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V2/21/202477單級橫向反響網V=〔vij〕NET=XW+OVO=F〔NET〕時間參數(shù)——神經元的狀態(tài)在主時鐘的控制下同步變化考慮X總加在網上的情況NET〔t+1〕=X〔t〕W+O〔t〕V O(t+1)=F(NET(t+1))O〔0〕=0考慮僅在t=0時加X的情況。穩(wěn)定性判定2/21/202478多級網輸出層隱藏層輸入層o1o2om…x1x2xn………………2/21/202479層次劃分信號只被允許從較低層流向較高層。層號確定層的上下：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負責接收來自網絡外部的信息輸出層隱藏層輸入層o1o2om…x1x2xn………………2/21/202480第j層：第j-1層的直接后繼層〔j>0〕，它直接接受第j-1層的輸出。輸出層：它是網絡的最后一層，具有該網絡的最大層號，負責輸出網絡的計算結果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號輸出層隱藏層輸入層o1o2om…x1x2xn………………2/21/202481約定:輸出層的層號為該網絡的層數(shù)：n層網絡，或n級網絡。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時候，一般我們用W〔j〕表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2/21/202482多級網——h層網絡輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2/21/202483多級網非線性激活函數(shù)

F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))2/21/202484循環(huán)網x1o1輸出層隱藏層輸入層x2o2omxn…………………2/21/202485循環(huán)網

如果將輸出信號反響到輸入端,就可構成一個多層的循環(huán)網絡。輸入的原始信號被逐步地“加強〞、被“修復〞。大腦的短期記憶特征——看到的東西不是一下子就從腦海里消失的。穩(wěn)定：反響信號會引起網絡輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當變化最后消失時，網絡到達了平衡狀態(tài)。如果這種變化不能消失，那么稱該網絡是不穩(wěn)定的。2/21/2024862.4存儲與映射

空間模式〔SpatialModel〕時空模式〔SpatialtemporalModel〕空間模式三種存儲類型1、

RAM方式〔RandomAccessMemory〕隨機訪問方式是將地址映射到數(shù)據。2、

CAM方式〔ContentAddressableMemory〕內容尋址方式是將數(shù)據映射到地址。3、

AM方式〔AssociativeMemory〕相聯(lián)存儲方式是將數(shù)據映射到數(shù)據。2/21/2024872.4存儲與映射后續(xù)的兩種方式是人工神經網絡的工作方式。在學習/訓練期間，人工神經網絡以CAM方式工作；權矩陣又被稱為網絡的長期存儲〔LongTermMemory，簡記為LTM〕。網絡在正常工作階段是以AM方式工作的；神經元的狀態(tài)表示的模式為短期存儲〔ShortTermMemory，簡記為STM〕。2/21/2024882.4存儲與映射自相聯(lián)〔Auto-associative〕映射：訓練網絡的樣本集為向量集合為{A1，A2，…，An}在理想情況下，該網絡在完成訓練后，其權矩陣存放的將是上面所給的向量集合。2/21/2024892.4存儲與映射異相聯(lián)〔Hetero-associative〕映射 {〔A1，B1〕，〔A2，B2〕，…，〔An，Bn〕}該網絡在完成訓練后，其權矩陣存放的將是上面所給的向量集合所蘊含的對應關系。當輸入向量A不是樣本的第一的分量時，樣本中不存在這樣的元素〔Ak，Bk〕，使得 Ai≤Ak≤A或者A≤Ak≤Aj且此時有 Ai≤A≤Aj那么向量B是Bi與Bj的插值。2/21/2024902.5人工神經網絡的訓練

人工神經網絡最具有吸引力的特點是它的學習能力。1962年，Rosenblatt給出了人工神經網絡著名的學習定理：人工神經網絡可以學會它可以表達的任何東西。人工神經網絡的表達能力大大地限制了它的學習能力。人工神經網絡的學習過程就是對它的訓練過程2/21/202491無導師學習

無導師學習(UnsupervisedLearning)與無導師訓練(UnsupervisedTraining)相對應

抽取樣本集合中蘊含的統(tǒng)計特性，并以神經元之間的聯(lián)接權的形式存于網絡中。2/21/202492無導師學習Hebb學習律、競爭與協(xié)同〔CompetitiveandCooperative〕學習、隨機聯(lián)接系統(tǒng)〔RandomlyConnectedLearning〕等。Hebb算法[D.O.Hebb在1961年]的核心：當兩個神經元同時處于激發(fā)狀態(tài)時被加強，否那么被減弱。數(shù)學表達式表示：Wij〔t+1〕=Wij〔t〕+αoi〔t〕oj〔t〕2/21/2024932.5.2有導師學習

有導師學習(SupervisedLearning)與有導師訓練(SupervisedTraining)相對應。輸入向量與其對應的輸出向量構成一個“訓練對〞。有導師學習的訓練算法的主要步驟包括： 1〕

從樣本集合中取一個樣本〔Ai，Bi〕； 2〕

計算出網絡的實際輸出O； 3〕

求D=Bi-O； 4〕

根據D調整權矩陣W；5〕對每個樣本重復上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍。2/21/202494Delta規(guī)那么Widrow和Hoff的寫法：Wij(t+1)=Wij(t)+α(yj-aj(t))oi(t)也可以寫成：Wij(t+1)=Wij(t)+?Wij(t)?Wij(t)=αδjoi(t)δj=yj-aj(t)Grossberg的寫法為：?Wij(t)=αai(t)(oj(t)-Wij(t))更一般的Delta規(guī)那么為：?Wij(t)=g(ai(t)，yj，oj(t)，Wij(t))2/21/202495其它再例學習外部環(huán)境對系統(tǒng)的輸出結果給出評價，學習系統(tǒng)通過強化受獎的動作來改善自身性能。學習規(guī)那么誤差糾錯學習Hebb學習競爭學習2/21/202496練習題P291、4、6、10、15

2/21/202497上次課內容回憶:網絡的分層結構聯(lián)接模式刺激聯(lián)接與抑制聯(lián)接前饋信號與反響信號層〔級〕內聯(lián)接循環(huán)聯(lián)接層〔級〕間聯(lián)接簡單單級網：NET=XW；O=F(NET)單級橫向反響網:NET=XW+O(t)V;O(t)=F(NET)2/21/202498上次課內容回憶:網絡的分層結構非循環(huán)多級網層次劃分非線性激活函數(shù)：

F3(F2(F1(XW1)W2)W3)循環(huán)網短期記憶特征及其對輸入信號的修復作用時間參數(shù)與主時鐘穩(wěn)定性2/21/202499上次課內容回憶：存儲與映射模式空間模式時空模式模式三種存儲類型RAM、CAM、AM模式的存儲與運行CAM——LTM——訓練AM——STM——運行相聯(lián)：自相聯(lián)映射、異相聯(lián)映射2/21/2024100上次課內容回憶：訓練Rosenblatt的學習定理無導師學習抽取樣本集合中蘊含的統(tǒng)計特性樣本集：{A1，A2，…，An}Hebb算法：Wij(t+1)=Wij(t)+αoi(t)oj(t)有導師學習抽取樣本蘊含的映射關系樣本集：{(A1,B1)，(A2,B2)，…，(An,Bn)}訓練算法Delta規(guī)那么2/21/2024101第3章

感知器

主要內容：感知器與人工神經網絡的早期開展；線性可分問題與線性不可分問題；Hebb學習律；Delta規(guī)那么;感知器的訓練算法。重點：感知器的結構、表達能力、學習算法難點：感知器的表達能力2/21/2024102第3章

感知器3.1感知器與人工神經網絡的早期開展3.2感知器的學習算法3.2.1離散單輸出感知器訓練算法3.2.2離散多輸出感知器訓練算法3.2.3連續(xù)多輸出感知器訓練算法3.3線性不可分問題3.3.1異或(Exclusive–OR)問題3.3.2線性不可分問題的克服實現(xiàn)！問題的發(fā)現(xiàn)與解決！2/21/20241033.1感知器與ANN的早期開展McCulloch和Pitts1943年，發(fā)表第一個系統(tǒng)的ANN研究——閾值加權和(M-P)數(shù)學模型。1947年，開發(fā)出感知器。1949年，提出Hebb學習律。單輸出的感知器(M-P模型)x2x1oxn…2/21/20241043.1感知器與ANN的早期開展1962年，Rosenblatt宣布：人工神經網絡可以學會它能表示的任何東西

o1多輸出感知器x1x2o2omxn…

………輸入層輸出層2/21/20241053.2感知器的學習算法

感知器的學習是有導師學習感知器的訓練算法的根本原理來源于著名的Hebb學習律根本思想：逐步地將樣本集中的樣本輸入到網絡中,根據輸出結果和理想輸出之間的差異來調整網絡中的權矩陣2/21/2024106離散單輸出感知器訓練算法

二值網絡：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權向量：W=(w1，w2，…，wn)輸入向量：X=(x1，x2，…，xn)訓練樣本集：{(X，Y)|Y為輸入向量X對應的輸出}2/21/2024107算法3-1離散單輸出感知器訓練算法

1.初始化權向量W；2.重復以下過程，直到訓練完成： 2.1對每個樣本〔X，Y〕，重復如下過程： 2.1.1輸入X； 2.1.2計算o=F〔XW〕； 2.1.3如果輸出不正確，那么 當o=0時，取W=W+X， 當o=1時，取W=W-X2/21/2024108離散多輸出感知器訓練算法

樣本集：{(X,Y)|Y為輸入向量X對應的輸出}輸入向量：X=(x1,x2,…,xn)理想輸出向量：Y=(y1,y2,…,ym)激活函數(shù)：F

權矩陣W=(wij)實際輸出向量：O=(o1,o2,…,om)o1多輸出感知器x1x2o2omxn…

………輸入層輸出層2/21/2024109算法3-2離散多輸出感知器訓練算法

1.初始化權矩陣W；2.重復以下過程，直到訓練完成：2.1對每個樣本〔X，Y〕，重復如下過程： 2.1.1輸入X； 2.1.2計算O=F〔XW〕； 2.1.3forj=1tomdo執(zhí)行如下操作： ifoj≠yjthen ifoi=0thenfori=1ton wij=wij+xi elsefori=1tondo wij=wij-xi2/21/2024110算法3-2離散多輸出感知器訓練算法算法思想：將單輸出感知器的處理逐個地用于多輸出感知器輸出層的每一個神經元的處理。第1步，權矩陣的初始化：一系列小偽隨機數(shù)。

2/21/2024111算法3-2離散多輸出感知器訓練算法第2步，循環(huán)控制。方法1：循環(huán)次數(shù)控制法：對樣本集執(zhí)行規(guī)定次數(shù)的迭代改進——分階段迭代控制：設定一個根本的迭代次數(shù)N，每當訓練完成N次迭代后，就給出一個中間結果2/21/2024112算法3-2離散多輸出感知器訓練算法方法2：精度控制法：給定一個精度控制參數(shù)精度度量：實際輸出向量與理想輸出向量的對應分量的差的絕對值之和；實際輸出向量與理想輸出向量的歐氏距離的和“死循環(huán)〞：網絡無法表示樣本所代表的問題2/21/2024113算法3-2離散多輸出感知器訓練算法方法3：綜合控制法：將這兩種方法結合起來使用

注意：精度參數(shù)的設置。根據實際問題選定；初始測試階段，精度要求低，測試完成后，再給出實際的精度要求。2/21/20241143.2.3連續(xù)多輸出感知器訓練算法

用公式wij=wij+α〔yj-oj〕xi取代了算法3-2第步中的多個判斷yj與oj之間的差異對wij的影響由α〔yj-oj〕xi表現(xiàn)出來好處：不僅使得算法的控制在結構上更容易理解，而且還使得它的適應面更寬2/21/2024115算法3-3連續(xù)多輸出感知器訓練算法

1．用適當?shù)男坞S機數(shù)初始化權矩陣W；2.初置精度控制參數(shù)ε，學習率α，精度控制變量d=ε+1；3．Whiled≥εdo3.1d=0；3.2for每個樣本〔X，Y〕do 3.2.1輸入X〔=(x1，x2，…，xn)〕； 3.2.2求O=F〔XW〕； 3.2.3修改權矩陣W： fori=1ton，j=1tomdo wij=wij+α(yj-oj)xi； 3.2.4累積誤差 forj=1tomdo d=d+(yj-oj)22/21/2024116算法3-3連續(xù)多輸出感知器訓練算法

1、程序實現(xiàn):ε、α、d、i、j、n、m為簡單變量來表示，W為n行m列的二維數(shù)組。樣本集二維數(shù)組2、系統(tǒng)的調試3、Minsky在1969年證明，有許多根本問題是感知器無法解決4、問題線性可分性可能與時間有關5、很難從樣本數(shù)據集直接看出問題是否線性可分6、未能證明，一個感知器究竟需要經過多少步才能完成訓練。2/21/20241173.3線性不可分問題

3.3.1異或(Exclusive–OR)問題

g（x，y）y01x0011102/21/2024118用于求解XOR的單神經元感知器

xyo單神經元感知器的圖像ax+by=θ1yx1(0,0)(1,1)2/21/2024119線性不可分函數(shù)變量函數(shù)及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f160000000000111111110100001111000011111000110011001100111101010101010101012/21/2024120線性不可分函數(shù)R.O.Windner1960年

自變量個數(shù)函數(shù)的個數(shù)線性可分函數(shù)的個數(shù)144216143256104465,536188254.3*10994,57261.8*10195,028,1342/21/20241213.3.2線性不可分問題的克服

用多個單級網組合在一起，并用其中的一個去綜合其它單級網的結果，我們就可以構成一個兩級網絡，該網絡可以被用來在平面上劃分出一個封閉或者開放的凸域來一個非凸域可以拆分成多個凸域。按照這一思路，三級網將會更一般一些，我們可以用它去識別出一些非凸域來。解決好隱藏層的聯(lián)接權的調整問題是非常關鍵的

2/21/2024122兩級單輸出網在n維空間中劃分出m邊凸域

…x1ANmAN1ANoxn…o2/21/2024123第1次課堂測試〔5分*4〕Newell和Simon的物理符號系統(tǒng)所基于的假說是什么？它在什么層面上如何實現(xiàn)對人類智能的模擬？聯(lián)接主義觀點所基于的假說是什么？它在什么層面上如何實現(xiàn)對人類智能的模擬？畫出有導師算法的流程圖。證明：一個激活函數(shù)為線性函數(shù)的3級非循環(huán)網等價于一個單級網。2/21/2024124習題P381、62/21/2024125第1次課堂測試解答要點Newell和Simon的物理符號系統(tǒng)所基于的假說是什么？它在什么層面上如何實現(xiàn)對人類智能的模擬？要點：物理符號系統(tǒng)；心理；符號對事務及變換的描述聯(lián)接主義觀點所基于的假說是什么？它在什么層面上如何實現(xiàn)對人類智能的模擬？

要點：聯(lián)接機制；生理；模式、聯(lián)接權的調整與對變換的表示2/21/2024126第1次課堂測試解答要點畫出有導師學習算法的流程圖。

要點：如何處理精度與樣本集兩層循環(huán)證明：一個激活函數(shù)為線性函數(shù)的3級非循環(huán)網等價于一個單級網。

要點：一級網與多級網的的數(shù)學模型2/21/2024127上次課內容回憶:學習算法離散單輸出感知器訓練算法W=W+X;W=W-XW=W+(Y-O)X離散多輸出感知器訓練算法Wj=Wj+(yj-oj)X連續(xù)多輸出感知器訓練算法wij=wij+α(yj-oj)xi2/21/2024128上次課內容回憶:線性不可分問題ax+by=θ1yx1(0,0)(1,1)線性不可分問題的克服兩級網絡可以劃分出封閉或開放的凸域多級網將可以識別出非凸域隱藏層的聯(lián)接權的調整問題是非常關鍵2/21/2024129第4章BP網絡

主要內容：BP網絡的構成隱藏層權的調整分析Delta規(guī)那么理論推導算法的收斂速度及其改進討論BP網絡中的幾個重要問題重點：BP算法難點：Delta規(guī)那么的理論推導2/21/2024130第4章BP網絡4.1概述4.2根本BP算法4.3算法的改進4.4算法的實現(xiàn)4.5算法的理論根底4.6幾個問題的討論2/21/20241314.1概述

1、BP算法的出現(xiàn)非循環(huán)多級網絡的訓練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點的逃離問題、算法不一定收斂。3、優(yōu)點：廣泛的適應性和有效性。2/21/20241324.2根本BP算法4.2.1網絡的構成

神經元的網絡輸入： neti=x1w1i+x2w2i+…+xnwni神經元的輸出：2/21/2024133輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應該將net的值盡量控制在收斂比較快的范圍內可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導的2/21/2024134網絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)2/21/2024135網絡的拓撲結構

BP網的結構輸入向量、輸出向量的維數(shù)、網絡隱藏層的層數(shù)和各個隱藏層神經元的個數(shù)的決定實驗：增加隱藏層的層數(shù)和隱藏層神經元個數(shù)不一定總能夠提高網絡精度和表達能力。BP網一般都選用二級網絡。2/21/2024136網絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxn…………WV2/21/20241374.2.2訓練過程概述

樣本：(輸入向量，理想輸出向量)權初始化：“小隨機數(shù)〞與飽和狀態(tài)；“不同〞保證網絡可以學。1、向前傳播階段：〔1〕從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網絡；〔2〕計算相應的實際輸出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))2/21/20241384.2.2訓練過程概述

2、向后傳播階段——誤差傳播階段：〔1〕計算實際輸出Op與相應的理想輸出Yp的差；〔2〕按極小化誤差的方式調整權矩陣?！?〕網絡關于第p個樣本的誤差測度：〔4〕網絡關于整個樣本集的誤差測度：2/21/20241394.2.3誤差傳播分析

1、輸出層權的調整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq2/21/20241402、隱藏層權的調整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……2/21/20241412、隱藏層權的調整δpk-1的值和δ1k，δ2k，…，δmk有關不妨認為δpk-1通過權wp1對δ1k做出奉獻，通過權wp2對δ2k做出奉獻，……通過權wpm對δmk做出奉獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)2/21/20241422、隱藏層權的調整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……2/21/2024143上次課內容回憶根本BP算法neti=x1w1i+x2w2i+…+xnwni 2/21/2024144上次課內容回憶x1o1輸出層隱藏層輸入層x2o2omxn…………WV2/21/2024145上次課內容回憶樣本權初始化向前傳播階段Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))誤差測度2/21/2024146上次課內容回憶向后傳播階段——誤差傳播階段輸出層權的調整?wpq=αδqop=αfn′(netq)(yq-oq)op=αoq(1-oq)(yq-oq)op隱藏層權的調整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk……?vhp=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-22/21/20241474.2.4根本的BP算法樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}根本思想：逐一地根據樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)，W(2)，…，W(L)各做一次調整，重復這個循環(huán)，直到∑Ep<ε。用輸出層的誤差調整輸出層權矩陣，并用此誤差估計輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程2/21/2024148算法4-1根本BP算法1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo

4.1E=0;

2/21/2024149算法4-1根本BP算法4.2對S中的每一個樣本〔Xp,Yp〕： 4.2.1計算出Xp對應的實際輸出Op； 4.2.2計算出Ep； 4.2.3E=E+Ep； 4.2.4根據相應式子調整W(L)； 4.2.5k=L-1； 4.2.6whilek≠0do 根據相應式子調整W(k)； k=k-14.3E=E/2.02/21/20241504.3算法的改進1、BP網絡接受樣本的順序對訓練結果有較大影響。它更“偏愛〞較后出現(xiàn)的樣本2、給集中的樣本安排一個適當?shù)捻樞颍欠浅＠щy的。3、樣本順序影響結果的原因：“分別〞、“依次〞4、用(X1,Y1)，〔X2,Y2〕，…，〔Xs,Ys〕的“總效果〞修改W(1)，W(2)，…，W(L)。 ?w(k)ij=∑?pw(k)ij 2/21/2024151算法4-2消除樣本順序影響的BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對所有的i，j，k：?w(k)ij=0；

2/21/20241524.3對S中的每一個樣本〔Xp,Yp〕： 4.3.1計算出Xp對應的實際輸出Op； 4.3.2計算出Ep； 4.3.3E=E+Ep； 4.3.4對所有i，j根據相應式子計算?pw(L)ij； 4.3.5對所有i，j：?w(L)ij=?w(L)ij+?pw(L)ij； 4.3.6k=L-1； 4.3.7whilek≠0do 對所有i,j根據相應式子計算?pw(k)ij； 對所有i,j：?w(k)ij=?w(k)ij+?pw(k)ij； k=k-14.4對所有i，j，k：w(k)ij=w(k)ij+?w(k)ij;4.5E=E/2.02/21/2024153算法4-2分析

較好地解決了因樣本的順序引起的精度問題和訓練的抖動問題收斂速度：比較慢偏移量：給每一個神經元增加一個偏移量來加快收斂速度沖量：聯(lián)接權的本次修改要考慮上次修改的影響，以減少抖動問題2/21/2024154算法4-2分析——沖量設置Rumelhart等人1986年?wij=αδjoi+β?wij′?wij′為上一次的修改量，β為沖量系數(shù)，一般可取到0.9

Sejnowski與Rosenberg，1987年?wij=α((1-β)δjoi+β?wij′)

?wij′也是上一次的修改量，β在0和1之間取值

2/21/20241554.4算法的實現(xiàn)

主要數(shù)據結構W[H，m]——輸出層的權矩陣；V[n，H]——輸入〔隱藏〕層的權矩陣；?o[m]——輸出層各聯(lián)接權的修改量組成的向量；?h[H]——隱藏層各聯(lián)接權的修改量組成的向量；O1——隱藏層的輸出向量；O2——輸出層的輸出向量；(X，Y)——一個樣本。2/21/2024156算法的主要實現(xiàn)步驟

用不同的小偽隨機數(shù)初始化W，V；初始化精度控制參數(shù)ε；學習率α；

循環(huán)控制參數(shù)E=ε+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控制參數(shù)N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2對每一個樣本(X,Y)，執(zhí)行如下操作

2/21/20241574.2對每一個樣本(X,Y)，執(zhí)行的操作

4.2.1計算：O1=F1(XV)；O2=F2(O1W)；4.2.2計算輸出層的權修改量fori=1tom ?o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3計算輸出誤差：fori=1tomE=E+(Y[i]-O2[i])2；2/21/20241584.2對每一個樣本(X，Y)，執(zhí)行的操作4.2.4計算隱藏層的權修改量：fori=1toH Z=0； forj=1tomdoZ=Z+W[i,j]*?o[j]； Δh[i]=Z*O1[i](1-O1[i])

；4.2.5修改輸出層權矩陣：fork=1toH&i=1tom W[k,i]=W[k,i]+α*O1[k]*?o[i]；4.2.5修改隱藏層權矩陣：fork=1ton&i=1toH V[k,i]=V[k,i]+α*X[k]*?h[i]；2/21/2024159建議

隱藏層的神經元的個數(shù)H作為一個輸入參數(shù)同時將ε、循環(huán)最大次數(shù)M等，作為算法的輸入參數(shù)在調試階段，最外層循環(huán)內，加一層控制，以探測網絡是否陷入了局部極小點

2/21/20241604.5算法的理論根底根本假設網絡含有L層聯(lián)接矩陣：W(1)，W(2)，…，W(L)第k層的神經元：Hk個自變量數(shù)：n*H1+H1*H2+H2*H3+…+HL*m樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}誤差測度: 2/21/2024161用E代表EP，用〔X，Y〕代表〔XP，YP〕 X=(x1，x2，…，xn) Y=(y1，y2，…，ym)該樣本對應的實際輸出為 O=〔o1，o2，…，om〕誤差測度2/21/2024162誤差測度用理想輸出與實際輸出的方差作為相應的誤差測度2/21/2024163最速下降法，要求E的極小點

wijE>0，此時Δwij<0取E<0,此時Δwij>0wij2/21/2024164而其中的

所以，

最速下降法，要求E的極小點2/21/2024165令所以Δwij=αδjoiα為學習率最速下降法，要求E的極小點2/21/2024166ANj為輸出層神經元

oj=f(netj)

容易得到

從而

2/21/2024167ANj為輸出層神經元2/21/2024168所以，故，當ANj為輸出層的神經元時，它對應的聯(lián)接權wij應該按照以下公式進行調整：ANj為輸出層神經元2/21/2024169ANj為隱藏層神經元

函數(shù)2/21/2024170ANj為隱藏層神經元netk=oj…o2o1oHhnetk是oj下一級的神經元的網絡輸入2/21/2024171ANj為隱藏層神經元2/21/2024172ANj為隱藏層神經元2/21/2024173ANj為隱藏層神經元2/21/20241744.6幾個問題的討論

收斂速度問題

局部極小點問題

逃離/避開局部極小點：修改W、V的初值——并不是總有效。逃離——統(tǒng)計方法；[Wasserman，1986]將Cauchy訓練與BP算法結合起來，可以在保證訓練速度不被降低的情況下，找到全局極小點。

2/21/20241754.6幾個問題的討論

網絡癱瘓問題

在訓練中，權可能變得很大，這會使神經元的網絡輸入變得很大，從而又使得其激活函數(shù)的導函數(shù)在此點上的取值很小。根據相應式子，此時的訓練步長會變得非常小，進而將導致訓練速度降得非常低，最終導致網絡停止收斂

穩(wěn)定性問題

用修改量的綜合實施權的修改連續(xù)變化的環(huán)境，它將變成無效的

2/21/20241764.6幾個問題的討論

步長問題

BP網絡的收斂是基于無窮小的權修改量步長太小，收斂就非常慢步長太大，可能會導致網絡的癱瘓和不穩(wěn)定自適應步長，使得權修改量能隨著網絡的訓練而不斷變化。[1988年，Wasserman]

2/21/2024177練習P541、5、102/21/2024178上次課內容回憶根本BP算法算法的改進用(X1,Y1)，〔X2,Y2〕，…，〔Xs,Ys〕的“總效果〞修改W(1)，W(2)，…，W(L)?w(k)ij=∑?pw(k)ij2/21/2024179上次課內容回憶改進算法有關問題抖動、收斂速度、偏移量、沖量算法的實現(xiàn)循環(huán)控制、算法的調試算法的理論根底2/21/2024180上次課內容回憶問題的討論收斂速度局部極小點網絡癱瘓穩(wěn)定性步長2/21/2024181第5章

對傳網

主要內容：CPN的網絡結構，正常運行，輸入向量的預處理，Kohonen層的訓練算法及其權矩陣的初始化方法；Grossberg層的訓練；完整的對傳網重點：Kohonen層與Grossberg層的正常運行與訓練難點：Kohonen層的訓練算法及其權矩陣的初始化方法

2/21/2024182第5章

對傳網

5.1網絡結構

5.2網絡的正常運行

5.3Kohonen層的訓練

5.4Kohonen層聯(lián)接權的初始化方法

5.5Grossberg層的訓練

5.6補充說明

2/21/2024183第5章

對傳網RobertHecht-Nielson在1987年提出了對傳網〔CounterpropagationNetworks，CPN〕。CPN為異構網：Kohonen1981年提出的Self-organizationmapSOM——Kohonen層Grossberg1969年提出的Outstar——Grossberg層訓練時間短：BP的1%。應用面：比較窄讓網絡的隱藏層執(zhí)行無導師學習，是解決多級網絡訓練的另一個思路2/21/20241845.1網絡結構

單向CPN，完整CPN〔雙向網〕除拓撲結構外，網絡的運行機制也是確定網絡結構〔同構、異構〕和性能的重要因素網絡的層數(shù)計算2/21/20241855.1網絡結構x1y1WV自組織映射（無導師學習）Kohonen層散射星（有導師學習）Grossberg層輸入層K1G1K2G2x2y2………KhGmxnym2/21/20241865.1網絡結構以Kohonen層的神經元為“中心〞討論問題K1W1=(w11，w21，…，wn1)TV1=(v11，v12，…，v1m)K2 W2=(w12，w22，…，wn2)TV2=(v21，v22，…，v2m) ……KhWh=(w1h，w2h，…，wnh)TVh=(vh1，vh2，…，vhm)2/21/20241875.2網絡的正常運行

5.2.1Kohonen層“強者占先、弱者退出〞〔thewinnertakesall〕knetj=XWj=(x1，x2，…，xn)(w1j，w2j，…，wnj)T=w1jx1+w2jx2+…+wnjxn 向量形式KNET=(knet1，knet2，…，kneth)2/21/20241885.2.1Kohonen層K1，K2，…，Kh的輸出k1，k2，…，kh構成向量

K=(k1，k2，…，kh)

1≦j≦h 1 knetj=Max{knet1，knet2，…，kneth}kj=

0 其它

幾何意義2/21/20241895.2.2Grossberg層

Grossberg層的每個神經元Gj〔1≦j≦m〕gnetj=K(v1j，v2j，…，vhj)T =(k1，k2，…，kh)(v1j，v2j，…，vhj)T =k1v1j+k2v2j+…+khvhj 唯一輸出1的神經元為Kognetj=k1v1j+k2v2j+…+khvhj =voj2/21/20241905.2.2Grossberg層

GNET=(gnet1

，gnet2

，…，gnetm) =(vo1，vo2，…，vom)=Vo散射星：Vo的各個分量是從Ko到Grossberg層各神經元的聯(lián)接權

2/21/20241915.2.2Grossberg層

CPN用于模式的完善，此時n=m：接受含有噪音的輸入模式(x1，x2，…，xn)，而輸出去掉噪音后的模式(vo1，vo2，…，vom)對訓練啟示W1，W2，…，Wh，各類X的共同特征V1，V2，…，Vh，X對應的理想輸出Y的共同特征

2/21/20241925.3Kohonen層的訓練

5.3.1輸入向量的預處理

單位化處理X=(x1，x2，…，xn)X′=(x1′，x2′，…，xn′) =(x1/‖X‖，x2/‖X‖，…，xn/‖X‖)

2/21/20241935.3.2訓練

算法5-1Kohonen層訓練算法

對所有的輸入向量，進行