人工神經(jīng)網(wǎng)絡(luò)1課件

1、人工神經(jīng)網(wǎng)絡(luò) Artificial Neural Networks2022/10/121郭文生計算機科學(xué)與技術(shù)系聯(lián)系電話mail：2022/10/122教材書名：人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論出版社：高等教育出版社出版日期：2006年12月作者：蔣宗禮2022/10/123主要參考書目1、Simon Haykin，神經(jīng)網(wǎng)絡(luò)原理（第2版），機械工業(yè)出版社，20042、閻平凡、張長水，人工神經(jīng)網(wǎng)絡(luò)與模擬進化計算，清華大學(xué)出版社，20053、Nello Cristianini、John Shawe-Taylor，支持向量機導(dǎo)論，電子工業(yè)出版社，20044、韓立群，人工神經(jīng)網(wǎng)絡(luò)教程，北京郵

2、電大學(xué)出版社，20062022/10/124本課程的公共空間用戶名：密碼：friday我會把每次課件放到草稿箱當(dāng)中，大家有什么看法可以給我的郵箱或這個郵箱發(fā)信，一些通知也可以從收件箱看到。2022/10/125課程目的和基本要求了解人工神經(jīng)網(wǎng)絡(luò)的有關(guān)研究思想，從中學(xué)習(xí)開拓者們的部分問題求解方法。通過實驗進一步體會有關(guān)模型的用法和性能，獲取一些初步的經(jīng)驗。查閱適當(dāng)?shù)膮⒖嘉墨I，將所學(xué)的知識與自己未來研究課題（包括研究生論文階段的研究課題）相結(jié)合起來，達(dá)到既豐富學(xué)習(xí)內(nèi)容，又有一定的研究和應(yīng)用的目的。2022/10/127主要內(nèi)容 智能及其實現(xiàn)ANN基礎(chǔ)PerceptronBP自組織競爭網(wǎng)RBF統(tǒng)計學(xué)

3、習(xí)初步Hopfield網(wǎng)與BAM小腦模型支持向量機2022/10/128第1章 引言主要內(nèi)容：智能與人工智能；ANN的特點；歷史回顧與展望重點：智能的本質(zhì)；ANN是一個非線性大規(guī)模并行處理系統(tǒng)難點：對智能的刻畫 2022/10/1210第1章 引言1.1 人工神經(jīng)網(wǎng)絡(luò)的提出1.2 人工神經(jīng)網(wǎng)絡(luò)的特點1.3 歷史回顧1.4 應(yīng)用領(lǐng)域2022/10/1211第1章 引言人類對人工智能的研究可以分成兩種方式對應(yīng)著兩種不同的技術(shù)：傳統(tǒng)的人工智能技術(shù)心理的角度模擬基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)生理的角度模擬2022/10/12121.1 人工神經(jīng)網(wǎng)絡(luò)的提出1.1.1 智能與人工智能 一、 智能的含義智能是個體有

4、目的的行為，合理的思維，以及有效的、適應(yīng)環(huán)境的綜合能力。 智能是個體認(rèn)識客觀事物和運用知識解決問題的能力。 人類個體的智能是一種綜合能力。2022/10/12141.1 人工神經(jīng)網(wǎng)絡(luò)的提出智能可以包含8個方面感知與認(rèn)識客觀事物、客觀世界和自我的能力感知是智能的基礎(chǔ)最基本的能力 通過學(xué)習(xí)取得經(jīng)驗與積累知識的能力這是人類在世界中能夠不斷發(fā)展的最基本能力。理解知識，運用知識和經(jīng)驗分析、解決問題的能力這一能力可以算作是智能的高級形式。是人類對世界進行適當(dāng)?shù)母脑?，推動社會不斷發(fā)展的基本能力。2022/10/12151.1 人工神經(jīng)網(wǎng)絡(luò)的提出作為5種能力綜合表現(xiàn)形式的3種能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力

5、實時、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力 預(yù)測、洞察事物發(fā)展、變化的能力 2022/10/12171.1 人工神經(jīng)網(wǎng)絡(luò)的提出二、人工智能人工智能：研究如何使類似計算機這樣的設(shè)備去模擬人類的這些能力。研究人工智能的目的增加人類探索世界，推動社會前進的能力進一步認(rèn)識自己三大學(xué)術(shù)流派符號主義（或叫做符號/邏輯主義）學(xué)派聯(lián)接主義（或者叫做PDP）學(xué)派進化主義（或者叫做行動/響應(yīng)）學(xué)派2022/10/1218偃師造人 偃師謁見王，王薦之曰：“若與偕來者何人邪？”對曰：“臣之所造能倡者?！蹦峦躞@視之，趣步俯仰，信人也。巧夫頜其頤，則歌合律；摔其手，則舞應(yīng)節(jié)。千變?nèi)f化，惟意所適。王以為實人也，與盛姬內(nèi)御并觀之。

6、技將終，倡者瞬其目而招王之左右侍妾。王大怒，立欲誅偃師。偃師大懾，立剖散倡者以示王，皆傅會革、木、膠、漆、白、黑、丹、青之所為。王諦料之，內(nèi)則肝、膽、心、肺、脾、腎、腸、胃，外則筋骨、支節(jié)、皮毛、齒發(fā)，皆假物也，而無不畢具者。合會復(fù)如初見。列子2022/10/1219巴貝奇艾達(dá)馮.諾依曼2022/10/1220他狂怒之下回過頭來，只見裘千尺膝頭放著一碟待賀客的蜜棗，正吃得津津有味，緩緩的道：“我二十年前就已說過，你公孫家這門功夫難練易破，不練也罷?！比斯ぶ悄艿睦Ь撑c希望 2022/10/12211.1 人工神經(jīng)網(wǎng)絡(luò)的提出1.1.2 物理符號系統(tǒng) 人腦的反映 形式化現(xiàn)實 信息 數(shù)據(jù) 物理系統(tǒng) 物

7、理符號系統(tǒng) 表現(xiàn)智能2022/10/12221.1 人工神經(jīng)網(wǎng)絡(luò)的提出Newell和Simon假說 ：一個物理系統(tǒng)表現(xiàn)智能行為的充要條件是它有一個物理符號系統(tǒng)概念：物理符號系統(tǒng)需要有一組稱為符號的實體組成，它們都是物理模型，可以在另一類稱為符號結(jié)構(gòu)的實體中作為成分出現(xiàn)，以構(gòu)成更高級別的系統(tǒng) 2022/10/12241.1 人工神經(jīng)網(wǎng)絡(luò)的提出困難：抽象舍棄一些特性，同時保留一些特性形式化處理用物理符號及相應(yīng)規(guī)則表達(dá)物理系統(tǒng)的存在和運行。局限：對全局性判斷、模糊信息處理、多粒度的視覺信息處理等是非常困難的。2022/10/12251.1 人工神經(jīng)網(wǎng)絡(luò)的提出1997年IBM的Deep Blue 超級

8、計算機戰(zhàn)勝稱霸國際象棋棋壇十二年的俄羅斯人Kasporov.2022/10/12271.1 人工神經(jīng)網(wǎng)絡(luò)的提出1.1.3 聯(lián)接主義觀點 核心：智能的本質(zhì)是聯(lián)接機制。 神經(jīng)網(wǎng)絡(luò)是一個由大量簡單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng) ANN力求從四個方面去模擬人腦的智能行為物理結(jié)構(gòu) 計算模擬 存儲與操作 訓(xùn)練 2022/10/12281.1 人工神經(jīng)網(wǎng)絡(luò)的提出1.1.4 兩種模型的比較心理過程 邏輯思維 高級形式（思維的表象）生理過程 形象思維 低級形式（思維的根本） 仿生人工神經(jīng)網(wǎng)絡(luò)聯(lián)結(jié)主義觀點物理符號系統(tǒng)2022/10/12291.1 人工神經(jīng)網(wǎng)絡(luò)的提出物理符號系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)

9、的差別 項目物理符號系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)處理方式邏輯運算模擬運算執(zhí)行方式串行并行動作離散連續(xù)存儲局部集中全局分布2022/10/12301.1 人工神經(jīng)網(wǎng)絡(luò)的提出兩種人工智能技術(shù)的比較項目傳統(tǒng)的AI技術(shù) ANN技術(shù) 基本實現(xiàn)方式 串行處理；由程序?qū)崿F(xiàn)控制 并行處理；對樣本數(shù)據(jù)進行多目標(biāo)學(xué)習(xí)；通過人工神經(jīng)元之間的相互作用實現(xiàn)控制 基本開發(fā)方法 設(shè)計規(guī)則、框架、程序；用樣本數(shù)據(jù)進行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個模型） 定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本數(shù)據(jù)，依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)自動從樣本數(shù)據(jù)中抽取內(nèi)涵（自動適應(yīng)應(yīng)用環(huán)境） 適應(yīng)領(lǐng)域 精確計算：符號處理，數(shù)值計算非精確計算：模擬處理，感覺，大

10、規(guī)模數(shù)據(jù)并行處理模擬對象 左腦（邏輯思維）右腦（形象思維）2022/10/12311.2 人工神經(jīng)網(wǎng)絡(luò)的特點信息的分布表示運算的全局并行和局部操作處理的非線性 2022/10/12321.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念1、定義 1）HechtNielsen（1988年）人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元（PEProcessing Element）具有局部內(nèi)存，并可以完成局部操作。每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據(jù)需要被分枝成希望個數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號，即相應(yīng)處理單元的信號，信號的大小不因分支

11、的多少而變化。2022/10/12331.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念（1）HechtNielsen（1988年）（續(xù)）處理單元的輸出信號可以是任何需要的數(shù)學(xué)模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號的當(dāng)前值和存儲在處理單元局部內(nèi)存中的值。2022/10/12341.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念強調(diào)： 并行、分布處理結(jié)構(gòu)； 一個處理單元的輸出可以被任意分枝，且大小不變； 輸出信號可以是任意的數(shù)學(xué)模型； 處理單元完全的局部操作 2022/10/12351.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念（2） Rumellhart，McClelland

12、，Hinton的PDP 1） 一組處理單元（PE或AN）；2） 處理單元的激活狀態(tài)（ai）；3） 每個處理單元的輸出函數(shù)（fi）；4） 處理單元之間的聯(lián)接模式；5） 傳遞規(guī)則（wijoi）；6） 把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激活值的激活規(guī)則（Fi）；7） 通過經(jīng)驗修改聯(lián)接強度的學(xué)習(xí)規(guī)則；8） 系統(tǒng)運行的環(huán)境（樣本集合）。 2022/10/12361.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念（3） Simpson（1987年）人工神經(jīng)網(wǎng)絡(luò)是一個非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。 2022/10/12371.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念

13、2、關(guān)鍵點（1） 信息的分布表示（2） 運算的全局并行與局部操作（3） 處理的非線性特征3、對大腦基本特征的模擬1） 形式上：神經(jīng)元及其聯(lián)接；BN對AN2） 表現(xiàn)特征：信息的存儲與處理2022/10/12381.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念4、別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（NN）自適應(yīng)系統(tǒng)（Adaptive Systems）、自適應(yīng)網(wǎng)（Adaptive Networks）聯(lián)接模型（Connectionism）神經(jīng)計算機（Neurocomputer）2022/10/12391.2.2 學(xué)習(xí)（Learning）能力 人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡(luò)異相聯(lián)的網(wǎng)絡(luò)：它在接受

14、樣本集合A時，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系?！俺橄蟆惫δ?。不同的人工神經(jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習(xí)/訓(xùn)練算法2022/10/12401.2.3 基本特征的自動提取 由于其運算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實現(xiàn)模式的自動分類。泛化（Generalization）能力與抽象能力 2022/10/12411.2.4 信息的分布存放信息的分布存提供容錯功能由于信息被分布存放在幾乎整個網(wǎng)絡(luò)中，所以，當(dāng)其中的某一個點或者某幾個點被破壞時，信息仍然可以被存取。系統(tǒng)在受到局部損傷時還可以正常工作。并不是說可以任意地對完成學(xué)習(xí)的網(wǎng)絡(luò)進行修改。也正是由于信

15、息的分布存放，對一類網(wǎng)來說，當(dāng)它完成學(xué)習(xí)后，如果再讓它學(xué)習(xí)新的東西，這時就會破壞原來已學(xué)會的東西。 2022/10/12421.2.5適應(yīng)性(Applicability)問題 擅長兩個方面：對大量的數(shù)據(jù)進行分類，并且只有較少的幾種情況；必須學(xué)習(xí)一個復(fù)雜的非線性映射。目前應(yīng)用：人們主要將其用于語音、視覺、知識處理、輔助決策等方面。在數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳近似解）等方面也有較好的應(yīng)用。 2022/10/12431.3 歷史回顧 1.3.1 萌芽期（20世紀(jì)40年代）人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止

16、。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會刊Bulletin of Methematical Biophysics1949年，心理學(xué)家D. O. Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說Hebb學(xué)習(xí)律。 2022/10/12441.3.2 第一高潮期（19501968） 以Marvin Minsky，F(xiàn)rank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級感知器（Perceptron）?？捎秒娮泳€路模擬。人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項研究

17、，希望盡快占領(lǐng)制高點。 2022/10/12451.3.3 反思期（19691982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 “異或”運算不可表示 二十世紀(jì)70年代和80年代早期的研究結(jié)果 認(rèn)識規(guī)律：認(rèn)識實踐再認(rèn)識 2022/10/12461.3.4 第二高潮期（19831990） 1982年，J. Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動力學(xué)的關(guān)系用非線性動力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上 2022/10/12471.3

18、.4 第二高潮期（19831990）2）1984年， J. Hopfield設(shè)計研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機機制，提出所謂的Boltzmann機。 2022/10/12481.3.4 第二高潮期（19831990）4）1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。（Pak

19、er1982和Werbos1974年）國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會是1990年12月在北京舉行的。 2022/10/12491.3.5 再認(rèn)識與應(yīng)用研究期（1991） 問題：1）應(yīng)用面還不夠?qū)?）結(jié)果不夠精確3）存在可信度的問題 2022/10/12501.3.5 再認(rèn)識與應(yīng)用研究期（1991） 研究：1）開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準(zhǔn)確度。2）充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個有效方法3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法。4）進一步對生物神經(jīng)系統(tǒng)進行研究，不斷地豐富對人腦的認(rèn)識。 2022/10/12511.4

20、應(yīng)用領(lǐng)域 1.4.1 信息處理領(lǐng)域信號處理模式識別數(shù)據(jù)壓縮 2022/10/12521.4.2 自動化領(lǐng)域 系統(tǒng)辨識神經(jīng)控制器智能檢測 2022/10/12531.4.3 工程領(lǐng)域 汽車工程軍事工程化學(xué)工程水利工程 2022/10/12541.4.4 醫(yī)學(xué)領(lǐng)域 檢測數(shù)據(jù)分析生物活性研究醫(yī)學(xué)專家系統(tǒng) 2022/10/12551.4.5 經(jīng)濟領(lǐng)域 信貸分析市場預(yù)測2022/10/12562022/10/1257第2章 人工神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)主要內(nèi)容：BN與AN；拓?fù)浣Y(jié)構(gòu)；存儲；訓(xùn)練重點：AN；拓?fù)浣Y(jié)構(gòu)；訓(xùn)練難點：訓(xùn)練2022/10/1258第2章 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1 生物神經(jīng)網(wǎng) 2.2 人工神經(jīng)

21、元 2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練2022/10/12592.1 生物神經(jīng)網(wǎng)1、構(gòu)成胞體(Soma)樹突（Dendrite）胞體(Soma) 軸突（Axon）突觸（Synapse）2、工作過程2022/10/12602.1 生物神經(jīng)網(wǎng)生物神經(jīng)網(wǎng)絡(luò)復(fù)雜多樣，不僅在于神經(jīng)元和突觸的數(shù)量大、組合方式復(fù)雜和聯(lián)系廣泛，還在于突觸傳遞的機制復(fù)雜。已經(jīng)發(fā)現(xiàn)的傳遞機制有突觸后興奮、突觸后抑制、突觸前興奮、突觸前抑制，遠(yuǎn)程“抑制”。2022/10/12612.1 生物神經(jīng)網(wǎng)3、六個基本特征：1）每個神經(jīng)元都是一個多輸入單輸出的信息處理單元；2）神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類

22、型；3）每個神經(jīng)元可以有一個“閾值” ；4）神經(jīng)元輸入與輸出間有固定的時滯，主要取決于突觸延擱；5）忽略時間整合作用和不應(yīng)期；6) 神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。2022/10/12622.2 人工神經(jīng)元 神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個基本特性。 2022/10/12632.2.1 人工神經(jīng)元的基本構(gòu)成 人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：X=（x1，x2，xn）聯(lián)接權(quán)：W=（w1，w2，wn）T網(wǎng)絡(luò)輸入：net=xiwi向量形式：net=XWxn wnx1 w1x2 w2net=XW2022/10/12642.2

23、.1 人工神經(jīng)元的基本構(gòu)成 神經(jīng)元的數(shù)學(xué)模型 2022/10/1265囂魏牟顯然未想過這問題，怒道：有什么不同，人腦獸腦我全看過，還不是骨殼和肉醬吧！項少龍哈哈一笑道：“你正說出了人和禽獸的最大分別，禽獸會研究它們的腦和人的腦有什么分別嗎？”尋秦記2.2 人工神經(jīng)元2022/10/12662.2.1 人工神經(jīng)元的基本構(gòu)成 定理：令(*)為有界、非常量的單調(diào)遞增連續(xù)函數(shù)，Ip代表p維單位超立方體0,1p。C(Ip)表示定義在Ip上的連續(xù)函數(shù)構(gòu)成的集合，則給定任何函數(shù)f C(Ip)和0，存在整數(shù)M和一組實數(shù)i，i和wij，其中i=1,M，j=1,p，使得網(wǎng)絡(luò)輸出可任意逼近f(*)，即2022/10

24、/12672.2.2 激活函數(shù)(Activation Function) 激活函數(shù)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)： o=f（net） 1、線性函數(shù)（Liner Function） f（net）=k*net+c netooc2022/10/12682、非線性斜面函數(shù)(Ramp Function) if netf（net）= k*netif |net|0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。 2022/10/12692、非線性斜面函數(shù)（Ramp Function） - - net o 2022/10/12703、閾值函數(shù)（Threshold Functi

25、on）階躍函數(shù)if netf（net）=-if net 、均為非負(fù)實數(shù)，為閾值二值形式：1if netf（net）=0if net 雙極形式：1if netf（net）=-1if net 2022/10/12713、閾值函數(shù)（Threshold Function）階躍函數(shù) -onet02022/10/12724、S形函數(shù) 壓縮函數(shù)（Squashing Function）和邏輯斯特函數(shù)（Logistic Function）。f（net）=a+b/(1+exp(-d*net)a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：f（net）= 1/(1+exp(-d*net) 函數(shù)的飽和值為0和

26、1。S形函數(shù)有較好的增益控制 2022/10/12734、S形函數(shù) a+b o(0,c)netac=a+b/22022/10/12742.2.3 M-P模型 x2 w2fo=f（net）xn wnnet=XWx1 w1McCullochPitts（MP）模型，也稱為處理單元（PE） 2022/10/12752.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦?連接的拓?fù)浔硎?ANiwijANj 2022/10/12762.3.1 聯(lián)接模式 用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用于增加神經(jīng)元的活躍度；用負(fù)號（“-”）表示傳送來的信號起抑制作用，它用于降低神經(jīng)元的活躍度。層次（又稱為“級”）的劃分，導(dǎo)

27、致了神經(jīng)元之間的三種不同的互連模式： 2022/10/12772.3.1 聯(lián)接模式 1、 層（級）內(nèi)聯(lián)接層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)接或側(cè)聯(lián)接（Lateral）。用來加強和完成層內(nèi)神經(jīng)元之間的競爭2、 循環(huán)聯(lián)接反饋信號。 2022/10/12782.3.1 聯(lián)接模式3、層（級）間聯(lián)接 層間（Inter-field）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來實現(xiàn)層間的信號傳遞前饋信號反饋信號 2022/10/12792.3.2 網(wǎng)絡(luò)的分層結(jié)構(gòu) 單級網(wǎng) 簡單單級網(wǎng) 2022/10/1280簡單單級網(wǎng)x1x2xno1o2omwnmw11w1mw2mwn1輸出層輸入層2022/

28、10/1281簡單單級網(wǎng)W=（wij）輸出層的第j個神經(jīng)元的網(wǎng)絡(luò)輸入記為netj：netj=x1w1j+x2w2j+xnwnj其中, 1 j m。取NET=（net1，net2，netm）NET=XWO=F（NET）2022/10/1282單級橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2mxnomwn1輸入層V2022/10/1283單級橫向反饋網(wǎng) V=（vij）NET=XW+OVO=F（NET）時間參數(shù)神經(jīng)元的狀態(tài)在主時鐘的控制下同步變化考慮X總加在網(wǎng)上的情況NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1)O（0）=0考慮僅在t=0時加X的情況。 穩(wěn)定性判定20

29、22/10/1284多級網(wǎng)輸出層隱藏層輸入層o1o2omx1x2xn2022/10/1285層次劃分 信號只被允許從較低層流向較高層。層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部的信息輸出層隱藏層輸入層o1o2omx1x2xn2022/10/1286第j層：第j-1層的直接后繼層（j0），它直接接受第j-1層的輸出。輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號，負(fù)責(zé)輸出網(wǎng)絡(luò)的計算結(jié)果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號輸出層隱藏層輸入層o1o2omx1x2xn20

30、22/10/1287約定 :輸出層的層號為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或n級網(wǎng)絡(luò)。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時候，一般我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)2022/10/1288多級網(wǎng)h層網(wǎng)絡(luò)輸出層隱藏層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)2022/10/1289多級網(wǎng)非線性激活函數(shù) F(X)=kX+CF3(F2(F1(XW(1)W(2)W(3)2022/10/1290循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn2022/10/129

31、1循環(huán)網(wǎng) 如果將輸出信號反饋到輸入端,就可構(gòu)成一個多層的循環(huán)網(wǎng)絡(luò)。輸入的原始信號被逐步地“加強”、被“修復(fù)”。大腦的短期記憶特征看到的東西不是一下子就從腦海里消失的。穩(wěn)定：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當(dāng)變化最后消失時，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。 2022/10/12922.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的

32、學(xué)習(xí)過程就是對它的訓(xùn)練過程2022/10/12932.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 2022/10/12942.4.1無導(dǎo)師學(xué)習(xí) 無導(dǎo)師學(xué)習(xí)(Unsupervised Learning)與無導(dǎo)師訓(xùn)練(Unsupervised Training)相對應(yīng) 抽取樣本集合中蘊含的統(tǒng)計特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。2022/10/12952.4.1無導(dǎo)師學(xué)習(xí)Hebb學(xué)習(xí)律、競爭與協(xié)同（Competitive and Cooperative）學(xué)習(xí)、隨機聯(lián)接系統(tǒng)（Randomly Connected Learning）等。Hebb算法D. O. Hebb在1961年的核心：當(dāng)兩個神經(jīng)元同時處于激發(fā)

33、狀態(tài)時權(quán)值被加強，否則被減弱。數(shù)學(xué)表達(dá)式表示：Wij（t+1）=Wij（t）+oi（t）oj（t）2022/10/12962.4.1無導(dǎo)師學(xué)習(xí)在Hebb學(xué)習(xí)規(guī)則中，學(xué)習(xí)信號簡單地等于神經(jīng)元的輸出：r=f(WjTX)則權(quán)向量的調(diào)整公式為Wj=f(WjTX) X顯然，經(jīng)常出現(xiàn)的輸入模式將對權(quán)向量有最大的影響，在這種情況下，需要預(yù)先設(shè)置權(quán)飽和值。2022/10/12972.4.1無導(dǎo)師學(xué)習(xí)例2.1 設(shè)有4輸入單輸出神經(jīng)元網(wǎng)絡(luò)，其閾值T=0，學(xué)習(xí)率=1，3個輸入樣本和初始的權(quán)向量分別為X1=(1,-2,1.5,0)T， X2=(1,-0.5,-2,-1.5)T，X3=(0, 1,-1,1.5)T，W(

34、0)=(1,-1,0,0.5)T，激活函數(shù)為雙極性離散函數(shù)。2022/10/12982.4.2 有導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí)(Supervised Learning)與有導(dǎo)師訓(xùn)練(Supervised Training)相對應(yīng)。輸入向量與其對應(yīng)的輸出向量構(gòu)成一個“訓(xùn)練對”。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：1） 從樣本集合中取一個樣本（Ai，Bi）；2） 計算出網(wǎng)絡(luò)的實際輸出O； 3） 求r=Bi-O；4） 根據(jù)r調(diào)整權(quán)矩陣W； 5） 對每個樣本重復(fù)上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍。 2022/10/1299Delta規(guī)則 Widrow和Hoff的寫法：Wij(t+1)=Wij(

35、t)+ (dj- oj(t)oi(t)也可以寫成：Wij(t+1)=Wij(t)+ Wij(t) Wij(t)= joi(t)j=dj- oj(t)2022/10/12100Delta規(guī)則 事實上，delta規(guī)則可以由輸出值與期望值的最小平方誤差條件推導(dǎo)出來：其中誤差E是權(quán)向量Wj的函數(shù)。欲使誤差E最小，Wj應(yīng)與誤差的負(fù)梯度成正比所以權(quán)值調(diào)整的公式為2022/10/12101第3章 感知器3.1 感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展 3.2 感知器的學(xué)習(xí)算法 3.2.1 離散單輸出感知器訓(xùn)練算法 3.2.2 離散多輸出感知器訓(xùn)練算法3.2.3 連續(xù)多輸出感知器訓(xùn)練算法3.3 線性不可分問題3.3.1

36、 異或(Exclusive OR)問題 3.3.2 線性不可分問題的克服 實現(xiàn)！問題的發(fā)現(xiàn)與解決！2022/10/121023.1 感知器與ANN的早期發(fā)展McCulloch 和Pitts 1943年，發(fā)表第一個系統(tǒng)的ANN研究閾值加權(quán)和(M-P)數(shù)學(xué)模型。1947年，開發(fā)出感知器。1949年，提出Hebb學(xué)習(xí)律。單輸出的感知器(M-P模型)x2 x1o xn2022/10/121033.1 感知器與ANN的早期發(fā)展1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它能表示的任何東西 o1多輸出感知器x1x2o2omxn輸入層輸出層2022/10/121043.2 感知器的學(xué)習(xí)算法 感

37、知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí) 感知器的訓(xùn)練算法的基本原理來源于著名的Hebb學(xué)習(xí)律 基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中,根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣 2022/10/121053.2.1離散單輸出感知器訓(xùn)練算法 二值網(wǎng)絡(luò)：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權(quán)向量：W=(w1，w2，wn)輸入向量：X=(x1，x2，xn)訓(xùn)練樣本集：(X，Y)|Y為輸入向量X對應(yīng)的輸出 2022/10/12106算法3-1離散單輸出感知器訓(xùn)練算法 1. 初始化權(quán)向量W；2. 重復(fù)下列過程，直到訓(xùn)練完成：2.1 對每個樣本（X，Y），重復(fù)如下過程：2.1.1 輸入X

38、；2.1.2 計算o=F（XW）；2.1.3 如果輸出不正確，則當(dāng)o=0時，取 W=W+X，當(dāng)o=1時，取 W=W-X 2022/10/121073.2.2離散多輸出感知器訓(xùn)練算法 樣本集：(X,Y)|Y為輸入向量X對應(yīng)的輸出輸入向量：X=(x1,x2,xn)理想輸出向量：Y=(y1,y2,ym)激活函數(shù)：F 權(quán)矩陣W=(wij)實際輸出向量：O=(o1,o2,om)o1多輸出感知器x1x2o2omxn輸入層輸出層2022/10/12108算法3-2離散多輸出感知器訓(xùn)練算法 1.初始化權(quán)矩陣W；2.重復(fù)下列過程，直到訓(xùn)練完成： 2.1 對每個樣本（X，Y），重復(fù)如下過程：2.1.1 輸入X；2

39、.1.2 計算O=F（XW）；2.1.3 for j=1 to m do 執(zhí)行如下操作：if oj yj then if oi = 0 then for i = 1 to n wij=wij+xi else for i= 1 to n do wij=wij-xi2022/10/12109算法3-2離散多輸出感知器訓(xùn)練算法算法思想：將單輸出感知器的處理逐個地用于多輸出感知器輸出層的每一個神經(jīng)元的處理。第1步，權(quán)矩陣的初始化：一系列小偽隨機數(shù)。 2022/10/12110算法3-2離散多輸出感知器訓(xùn)練算法第2步，循環(huán)控制。方法1：循環(huán)次數(shù)控制法：對樣本集執(zhí)行規(guī)定次數(shù)的迭代改進分階段迭代控制：設(shè)定一

40、個基本的迭代次數(shù)N，每當(dāng)訓(xùn)練完成N次迭代后，就給出一個中間結(jié)果2022/10/12111算法3-2離散多輸出感知器訓(xùn)練算法方法2：精度控制法：給定一個精度控制參數(shù)精度度量：實際輸出向量與理想輸出向量的對應(yīng)分量的差的絕對值之和；實際輸出向量與理想輸出向量的歐氏距離的和 “死循環(huán)”：網(wǎng)絡(luò)無法表示樣本所代表的問題2022/10/12112算法3-2離散多輸出感知器訓(xùn)練算法方法3：綜合控制法：將這兩種方法結(jié)合起來使用 注意：精度參數(shù)的設(shè)置。根據(jù)實際問題選定；初始測試階段，精度要求低，測試完成后，再給出實際的精度要求。2022/10/121133.2.3 連續(xù)多輸出感知器訓(xùn)練算法 用公式wij=wij+

41、 （yj-oj）xi取代了算法3-2 第2.1.3步中的多個判斷yj與oj之間的差別對wij的影響由 （yj-oj）xi表現(xiàn)出來好處：不僅使得算法的控制在結(jié)構(gòu)上更容易理解，而且還使得它的適應(yīng)面更寬 2022/10/12114算法3-3 連續(xù)多輸出感知器訓(xùn)練算法 1用適當(dāng)?shù)男坞S機數(shù)初始化權(quán)矩陣W；2. 初置精度控制參數(shù)，學(xué)習(xí)率 ，精度控制變量d=+1；3While d do 3.1 d=0； 3.2 for 每個樣本（X，Y）do3.2.1 輸入X（=(x1，x2，xn)）；3.2.2 求O=F（XW）；3.2.3 修改權(quán)矩陣W：for i=1 to n，j=1 to m dowij=wij+

42、 (yj-oj)xi；3.2.4 累積誤差for j = 1 to m dod=d+(yj-oj)22022/10/12115算法3-3 連續(xù)多輸出感知器訓(xùn)練算法 1、程序?qū)崿F(xiàn):、d、i、j、n、m為簡單變量來表示，W為n行m列的二維數(shù)組。樣本集二維數(shù)組2、系統(tǒng)的調(diào)試3、Minsky在1969年證明，有許多基本問題是感知器無法解決4、問題線性可分性可能與時間有關(guān)5、很難從樣本數(shù)據(jù)集直接看出問題是否線性可分6、未能證明，一個感知器究竟需要經(jīng)過多少步才能完成訓(xùn)練。2022/10/121163.3 線性不可分問題 3.3.1 異或(Exclusive OR)問題 g（x，y）y01x00111020

43、22/10/12117用于求解XOR的單神經(jīng)元感知器 xyo單神經(jīng)元感知器的圖像ax+by=1yx1(0,0)(1,1)2022/10/12118線性不可分函數(shù)變量函數(shù)及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f160000000000111111110100001111000011111000110011001100111101010101010101012022/10/12119線性不可分函數(shù)R. O. Windner 1960年 自變量個數(shù)函數(shù)的個數(shù)線性可分函數(shù)的個數(shù)144216143256104465,536188254.3*10994,5726

44、1.8*10195,028,1342022/10/121203.3.2 線性不可分問題的克服 用多個單級網(wǎng)組合在一起，并用其中的一個去綜合其它單級網(wǎng)的結(jié)果，我們就可以構(gòu)成一個兩級網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以被用來在平面上劃分出一個封閉或者開放的凸域來一個非凸域可以拆分成多個凸域。按照這一思路，三級網(wǎng)將會更一般一些，我們可以用它去識別出一些非凸域來。解決好隱藏層的聯(lián)接權(quán)的調(diào)整問題是非常關(guān)鍵的 2022/10/12121兩級單輸出網(wǎng)在n維空間中劃分出m邊凸域 x1ANmAN1ANoxno2022/10/12122第1次課堂測試（5分*4）Newell和Simon的物理符號系統(tǒng)所基于的假說是什么？它在什么層面上

45、如何實現(xiàn)對人類智能的模擬？聯(lián)接主義觀點所基于的假說是什么？它在什么層面上如何實現(xiàn)對人類智能的模擬？畫出有導(dǎo)師算法的流程圖。證明：一個激活函數(shù)為線性函數(shù)的3級非循環(huán)網(wǎng)等價于一個單級網(wǎng)。2022/10/12123第4章 BP網(wǎng)絡(luò) 主要內(nèi)容：BP網(wǎng)絡(luò)的構(gòu)成隱藏層權(quán)的調(diào)整分析Delta規(guī)則理論推導(dǎo)算法的收斂速度及其改進討論BP網(wǎng)絡(luò)中的幾個重要問題 重點：BP算法難點：Delta規(guī)則的理論推導(dǎo) 2022/10/12124第4章 BP網(wǎng)絡(luò)4.1 概述 4.2 基本BP算法 4.3 算法的改進 4.4 算法的實現(xiàn) 4.5 算法的理論基礎(chǔ) 4.6 幾個問題的討論 2022/10/121254.1 概述 1、B

46、P算法的出現(xiàn)非循環(huán)多級網(wǎng)絡(luò)的訓(xùn)練算法UCSD PDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓(xùn)練速度非常慢、局部極小點的逃離問題、算法不一定收斂。3、優(yōu)點：廣泛的適應(yīng)性和有效性。2022/10/121264.2 基本BP算法 4.2.1 網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的網(wǎng)絡(luò)輸入：neti=x1w1i+x2w2i+xnwni神經(jīng)元的輸出：2022/10/12127輸出函數(shù)分析0.5f (net)0.25o0 11（0,0.5）net（0,0）o應(yīng)該將net的值

47、盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的2022/10/12128網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxnW(1)W(2)W(3)W(L)2022/10/12129網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) BP網(wǎng)的結(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定實驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。BP網(wǎng)一般都選用二級網(wǎng)絡(luò)。2022/10/12130網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxnWV2022/10/121314.2.2 訓(xùn)練過程概述 樣本：(輸入向量，理想輸出向量)權(quán)初始化

48、：“小隨機數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡(luò)可以學(xué)。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計算相應(yīng)的實際輸出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)2022/10/121324.2.2 訓(xùn)練過程概述 2、向后傳播階段誤差傳播階段：（1）計算實際輸出Op與相應(yīng)的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第p個樣本的誤差測度：（4） 網(wǎng)絡(luò)關(guān)于整個樣本集的誤差測度：2022/10/121334.2.3 誤差傳播分析 1、輸出層權(quán)的調(diào)整wpq= wpq+wpqwpq=qop=fn (netq)(yq-oq)op=oq

49、(1-oq) (yq-oq)op wpqANpANq第L-1層第L層wpq2022/10/121342、隱藏層權(quán)的調(diào)整 ANpANqANhvhppk-11kwp1wpqqkwpmmk第k-2層第k層第k-1層2022/10/121352、隱藏層權(quán)的調(diào)整pk-1的值和1k，2k，mk 有關(guān)不妨認(rèn)為pk-1通過權(quán)wp1對1k做出貢獻，通過權(quán)wp2對2k做出貢獻，通過權(quán)wpm對mk做出貢獻。pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k)2022/10/121362、隱藏層權(quán)的調(diào)整vhp=vhp+vhp vhp=pk-1ohk-2 =fk-1 (netp)( wp11k

50、+ wp22k+ wpmmk)ohk-2=opk-1(1-opk-1)( wp11k+ wp22k+ wpmmk)ohk-2ANpANqANhvhppk-11kwp1wpmqkwpqmk第k-2層第k層第k-1層2022/10/121374.2.4 基本的BP算法 樣本集：S=(X1,Y1),(X2,Y2),(Xs,Ys) 基本思想 ：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1) ，W(2) ，W(L)各做一次調(diào)整，重復(fù)這個循環(huán)，直到Ep do 4.1 E=0; 2022/10/12139算法4-1 基本BP算法 4.2 對S中的每一個樣本（Xp,Yp）：

51、 4.2.1 計算出Xp對應(yīng)的實際輸出Op； 4.2.2 計算出Ep； 4.2.3 E=E+Ep； 4.2.4 根據(jù)相應(yīng)式子調(diào)整W(L)； 4.2.5 k=L-1； 4.2.6 while k0 do 根據(jù)相應(yīng)式子調(diào)整W(k)； k=k-1 4.3 E=E/2.0 2022/10/121404.3 算法的改進 1、BP網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響。它更“偏愛”較后出現(xiàn)的樣本2、給集中的樣本安排一個適當(dāng)?shù)捻樞颍欠浅＠щy的。3、樣本順序影響結(jié)果的原因：“分別”、“依次” 4、用(X1,Y1)，（X2,Y2），（Xs,Ys）的“總效果”修改W(1) ，W(2) ，W(L)。w(k)ij=

52、p w(k)ij2022/10/12141算法4-2 消除樣本順序影響的BP算法 1 for k=1 to L do1.1 初始化W(k)；2 初始化精度控制參數(shù)；3 E=+1;4 while E do 4.1 E=0;4.2 對所有的i，j，k： w (k)ij=0； 2022/10/121424.3 對S中的每一個樣本（Xp,Yp）：4.3.1 計算出Xp對應(yīng)的實際輸出Op；4.3.2 計算出Ep；4.3.3 E=E+Ep；4.3.4 對所有i，j根據(jù)相應(yīng)式子計算p w (L)ij；4.3.5 對所有i，j： w (L)ij= w (L)ij+p w (L)ij；4.3.6 k=L-1；4

53、.3.7 while k0 do 對所有i,j根據(jù)相應(yīng)式子計算p w (k)ij； 對所有i,j： w (k)ij= w (k)ij+p w (k)ij； k=k-1 4.4 對所有i，j，k：w (k)ij= w (k)ij+ w (k)ij;4.5 E=E/2.0 2022/10/12143算法4-2 分析 較好地解決了因樣本的順序引起的精度問題和訓(xùn)練的抖動問題 收斂速度：比較慢偏移量：給每一個神經(jīng)元增加一個偏移量來加快收斂速度 沖量：聯(lián)接權(quán)的本次修改要考慮上次修改的影響，以減少抖動問題 2022/10/12144算法4-2 分析沖量設(shè)置Rumelhart等人1986年wij=joi+wi

54、jwij為上一次的修改量，為沖量系數(shù)，一般可取到0.9 Sejnowski與Rosenberg ，1987年wij=(1-)joi+wij) wij也是上一次的修改量，在0和1之間取值 2022/10/121454.4 算法的實現(xiàn) 主要數(shù)據(jù)結(jié)構(gòu)WH，m輸出層的權(quán)矩陣；Vn，H輸入（隱藏）層的權(quán)矩陣；om輸出層各聯(lián)接權(quán)的修改量組成的向量；hH隱藏層各聯(lián)接權(quán)的修改量組成的向量；O1隱藏層的輸出向量；O2輸出層的輸出向量；(X，Y)一個樣本。 2022/10/12146算法的主要實現(xiàn)步驟 用不同的小偽隨機數(shù)初始化W，V；初始化精度控制參數(shù)；學(xué)習(xí)率 ； 循環(huán)控制參數(shù)E=+1；循環(huán)最大次數(shù)M；循環(huán)次數(shù)控

55、制參數(shù)N=0； while E & N0，此時wij0取E0wij2022/10/12154而其中的 所以， 最速下降法，要求E的極小點2022/10/12155令所以wij=joi為學(xué)習(xí)率最速下降法，要求E的極小點2022/10/12156ANj為輸出層神經(jīng)元 oj=f(netj) 容易得到 從而 2022/10/12157ANj為輸出層神經(jīng)元2022/10/12158所以，故，當(dāng)ANj為輸出層的神經(jīng)元時，它對應(yīng)的聯(lián)接權(quán)wij應(yīng)該按照下列公式進行調(diào)整：ANj為輸出層神經(jīng)元2022/10/12159ANj為隱藏層神經(jīng)元 函數(shù)2022/10/12160ANj為隱藏層神經(jīng)元netk= ojo2o1

56、oHhnetk是 oj下一級的神經(jīng)元的網(wǎng)絡(luò)輸入2022/10/12161ANj為隱藏層神經(jīng)元2022/10/12162ANj為隱藏層神經(jīng)元2022/10/12163ANj為隱藏層神經(jīng)元2022/10/121644.6 幾個問題的討論 收斂速度問題 局部極小點問題 逃離/避開局部極小點：修改W、V的初值并不是總有效。逃離統(tǒng)計方法；Wasserman，1986將Cauchy訓(xùn)練與BP算法結(jié)合起來，可以在保證訓(xùn)練速度不被降低的情況下，找到全局極小點。 2022/10/121654.6 幾個問題的討論 網(wǎng)絡(luò)癱瘓問題 在訓(xùn)練中，權(quán)可能變得很大，這會使神經(jīng)元的網(wǎng)絡(luò)輸入變得很大，從而又使得其激活函數(shù)的導(dǎo)函數(shù)

57、在此點上的取值很小。根據(jù)相應(yīng)式子，此時的權(quán)值調(diào)整會變得非常小，進而將導(dǎo)致訓(xùn)練速度降得非常低，最終導(dǎo)致網(wǎng)絡(luò)停止收斂 穩(wěn)定性問題 用修改量的綜合實施權(quán)的修改連續(xù)變化的環(huán)境，它將變成無效的 2022/10/121664.6 幾個問題的討論 步長問題 BP網(wǎng)絡(luò)的收斂是基于無窮小的權(quán)修改量步長太小，收斂就非常慢步長太大，可能會導(dǎo)致網(wǎng)絡(luò)的癱瘓和不穩(wěn)定自適應(yīng)步長，使得權(quán)修改量能隨著網(wǎng)絡(luò)的訓(xùn)練而不斷變化。1988年，Wasserman 2022/10/121674.6 幾個問題的討論 引入陡度因子 2022/10/12168上次課內(nèi)容回顧基本BP算法算法的改進用(X1,Y1)，（X2,Y2），（Xs,Ys）的

58、“總效果”修改W(1) ，W(2) ，W(L)w(k)ij=p w(k)ij2022/10/12169上次課內(nèi)容回顧改進算法有關(guān)問題抖動、收斂速度、偏移量、沖量算法的實現(xiàn)循環(huán)控制、算法的調(diào)試算法的理論基礎(chǔ)2022/10/12170上次課內(nèi)容回顧問題的討論收斂速度局部極小點網(wǎng)絡(luò)癱瘓穩(wěn)定性步長2022/10/121714.7 BP網(wǎng)絡(luò)設(shè)計 網(wǎng)絡(luò)信息容量與訓(xùn)練樣本數(shù)訓(xùn)練樣本集的準(zhǔn)備初始權(quán)值的設(shè)計多層感知器結(jié)構(gòu)設(shè)計網(wǎng)絡(luò)訓(xùn)練與測試2022/10/121724.7.1 網(wǎng)絡(luò)信息容量與訓(xùn)練樣本數(shù) 網(wǎng)絡(luò)的權(quán)值和閾值總數(shù)nw代表網(wǎng)絡(luò)信息容量訓(xùn)練誤差訓(xùn)練樣本數(shù)P2022/10/121734.7.2 訓(xùn)練樣本集的準(zhǔn)

59、備 輸入輸出量的選擇輸入量的提取與表示輸出量的表示輸入輸出數(shù)據(jù)的預(yù)處理訓(xùn)練集的設(shè)計2022/10/12174 輸入輸出量的選擇 輸出量代表系統(tǒng)要實現(xiàn)的功能目標(biāo)，例如系統(tǒng)的性能指標(biāo)，分類問題的類別歸屬或非線性函數(shù)的函數(shù)值。輸入量對輸出影響大且能夠檢測或提取的變量各輸入變量之間互不相關(guān)或相關(guān)性很小變量類型數(shù)值變量語言變量2022/10/12175 輸入量的提取與表示 文字符號輸入2022/10/12176 輸入量的提取與表示 曲線輸入（Time Sequence）2022/10/12177 輸入量的提取與表示 曲線輸入采樣周期的大小應(yīng)滿足香農(nóng)采樣定理的要求，周期越小，要求的網(wǎng)絡(luò)輸入層節(jié)點數(shù)也越多。

60、采樣區(qū)間的劃分也可以采用不等分的方法，對于曲線變化較大的部分或能提供重要信息的部分，可以將區(qū)間分的較細(xì)，而對于曲線較平緩的部分，可將區(qū)間放寬。（存疑）2022/10/12178 輸入量的提取與表示 函數(shù)自變量輸入用BP網(wǎng)建立系統(tǒng)的數(shù)學(xué)模型屬于典型的非線性映射問題。一般當(dāng)系統(tǒng)已有大量輸入-輸出數(shù)據(jù)對，建模的目的是提取其中隱含的映射規(guī)則（即函數(shù)關(guān)系）。2022/10/12179 輸入量的提取與表示 圖像輸入（手寫字符圖像識別）全局統(tǒng)計特征是將整個字符點陣作為研究對象，從整體上抽取特征。常用的是全局變換特征：對字符圖象進行各種變換，利用變換系數(shù)作為特征，常用的變換有Fourier變換、Hadamar