神經(jīng)網(wǎng)絡(luò)概述課件

神經(jīng)網(wǎng)絡(luò)技術(shù)概述人工神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)技術(shù)概述人工神經(jīng)網(wǎng)絡(luò)概述1什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互聯(lián)的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所做出的交互反應(yīng)?！比斯ど窠?jīng)網(wǎng)絡(luò)是針對(duì)生物神經(jīng)網(wǎng)絡(luò)提出的，來模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，目前實(shí)現(xiàn)了對(duì)生物神經(jīng)網(wǎng)絡(luò)最低級(jí)的模擬。什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen的定義：2人工神經(jīng)網(wǎng)絡(luò)研究的發(fā)展?fàn)顩r探索時(shí)期（開始于20世紀(jì)40年代）1943年，神經(jīng)生理學(xué)家麥克拉奇（W.McCulloch)和數(shù)學(xué)家匹茨（Pitts）合作，應(yīng)用反饋機(jī)制建立了世界上第一個(gè)神經(jīng)網(wǎng)絡(luò)模型，即人工神經(jīng)網(wǎng)絡(luò)（ANN）；1949年，赫布提出改變神經(jīng)元連接強(qiáng)度的Hebb學(xué)習(xí)規(guī)則；第一次熱潮時(shí)期（20世紀(jì)50年代末——20世紀(jì)60年代初）1958年，羅森布.拉特（F.Rosenblatt）設(shè)計(jì)制作了“感知機(jī)”，它是一種多層的神經(jīng)網(wǎng)絡(luò)，這項(xiàng)工作首次把ANN的理論探討付諸于工程實(shí)踐；1959年，威德羅（Widrow）等提出了自適應(yīng)線性元件網(wǎng)絡(luò)，通過訓(xùn)練后可用于抵消通信中的回波赫噪聲，在此基礎(chǔ)上發(fā)展了非線性自適應(yīng)網(wǎng)絡(luò)；1960年，他和M.Hoff提出了LMS（LeastMeanSquare)最小方差算法的學(xué)習(xí)規(guī)則；人工神經(jīng)網(wǎng)絡(luò)研究的發(fā)展?fàn)顩r3低潮時(shí)期（20世紀(jì)60年代末——20世紀(jì)70年代）1969年，明斯基等在《perceperon》中對(duì)感知器的功能得出了悲觀結(jié)論；1972年，T.Kohonen和J.Anderson分別提出能完成記憶的新型新網(wǎng)絡(luò)；1976年，S.Grossberg在自組織神經(jīng)網(wǎng)絡(luò)的研究；第二次熱潮（20世紀(jì)80年代至今）1982年，美國物理學(xué)家霍普菲爾德（J.Hopfield）陸續(xù)提出離散和連續(xù)的全互聯(lián)神經(jīng)網(wǎng)絡(luò)模型，并成功求解旅行商問題（TSP）,引起巨大反響；1986年，Rumelhart和McCelland領(lǐng)導(dǎo)的科學(xué)家小組提出了（B-P）算法；1987年，首屆國際ANN大會(huì)在圣地亞哥召開，國際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國際刊物；1990年，北京召開首屆學(xué)術(shù)會(huì)議。人工神經(jīng)網(wǎng)絡(luò)研究的發(fā)展?fàn)顩r低潮時(shí)期（20世紀(jì)60年代末——20世紀(jì)70年代）人工神經(jīng)網(wǎng)4生物神經(jīng)元構(gòu)成神經(jīng)系統(tǒng)的基本單元，簡(jiǎn)稱神經(jīng)元。包括細(xì)胞體、樹突、軸突。軸突樹突突觸細(xì)胞體神經(jīng)末梢生物神經(jīng)元構(gòu)成神經(jīng)系統(tǒng)的基本單元，簡(jiǎn)稱神經(jīng)元。包括細(xì)胞體、樹5人工神經(jīng)元模型人工神經(jīng)元模型可以看成是由三種基本元素組成：（1）一組連接連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值可以取正值也可以取負(fù)值，權(quán)值為正表示激活，權(quán)值為負(fù)表示抑制；（2）一個(gè)加法器用于求輸入信號(hào)對(duì)神經(jīng)元的相應(yīng)突觸加權(quán)之和；（3）一個(gè)激活函數(shù)用限制神經(jīng)元輸出振幅，激活函數(shù)也稱為壓制函數(shù)。因?yàn)樗麑⑤斎胄盘?hào)壓制（限制）到允許范圍之內(nèi)的一定值。人工神經(jīng)元模型人工神經(jīng)元模型可以看成是由三種基本元素組成：6人工神經(jīng)元模型輸入信號(hào)連接權(quán)求和閾值激活函數(shù)輸出圖中是神經(jīng)元的輸入，即是來自前級(jí)n哥神經(jīng)元的軸突的信息A，是i神經(jīng)元的閾值；分別是i神經(jīng)元對(duì)的權(quán)系數(shù)，也即突觸的傳遞效率；yi是i神經(jīng)元的輸出；f[.]是激勵(lì)函數(shù)它決定i神經(jīng)元受到輸入的共同刺激達(dá)到閾值時(shí)以何種方式輸出。

人工神經(jīng)元模型輸入信號(hào)連接權(quán)求和閾值激活函數(shù)輸出圖中是7人工神經(jīng)元模型由神經(jīng)元模型，可以得到神經(jīng)元的數(shù)學(xué)模型表達(dá)式：基本特性：（1）非線性（2）非局限性（3）非常定性（4）非凸性人工神經(jīng)元模型由神經(jīng)元模型，可以得到神經(jīng)元的數(shù)學(xué)模型表達(dá)式：8激活函數(shù)的主要形式一些典型的特性函數(shù)

閾值型 線性 s型激活函數(shù)的主要形式一些典型的特性函數(shù)9人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元的連接方式把人工神經(jīng)網(wǎng)絡(luò)分為不同的網(wǎng)絡(luò)模型：（1）分層網(wǎng)絡(luò)單純的前向網(wǎng)絡(luò)具有反饋的前向網(wǎng)絡(luò)層內(nèi)互聯(lián)的前向網(wǎng)絡(luò)（2）互聯(lián)網(wǎng)絡(luò)任意兩個(gè)神經(jīng)元之間可以互相連接?；ミB網(wǎng)絡(luò)一直處于動(dòng)態(tài)變化之中，最后到達(dá)某種穩(wěn)定狀態(tài)，也可能進(jìn)入周期振蕩。人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元的連接方式把人工神經(jīng)網(wǎng)絡(luò)分為不同的網(wǎng)10單純的前向網(wǎng)絡(luò) 神經(jīng)元分層排列(輸入層、隱層和輸出層)。各層之間的神經(jīng)元全互聯(lián)，各層內(nèi)的神經(jīng)元無連接。每一層只接受來自前一層的輸入。單純的前向網(wǎng)絡(luò)11從輸出層到輸入層有反饋的前向網(wǎng)絡(luò)從輸出層到輸入層有反饋的前向網(wǎng)絡(luò)12層內(nèi)有互連接的網(wǎng)絡(luò)

同一層的神經(jīng)元可以互相連接.層內(nèi)有互連接的網(wǎng)絡(luò)13人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式把人工神經(jīng)網(wǎng)絡(luò)分為：（1）有導(dǎo)師學(xué)習(xí)有監(jiān)督的學(xué)習(xí)（2）無導(dǎo)師學(xué)習(xí)無監(jiān)督的學(xué)習(xí)（3）再勵(lì)學(xué)習(xí)

每次都給一個(gè)假定，自己去不斷縮小。人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式把人工神經(jīng)網(wǎng)絡(luò)分為：14人工神經(jīng)網(wǎng)絡(luò)模型按算法分類：（1）Hebb學(xué)習(xí)算法（2）學(xué)習(xí)算法（3）隨機(jī)學(xué)習(xí)算法（4）競(jìng)爭(zhēng)學(xué)習(xí)算法人工神經(jīng)網(wǎng)絡(luò)模型按算法分類：15人工神經(jīng)網(wǎng)絡(luò)模型Hebb學(xué)習(xí)算法由DonaldO.Hebb提出，如果兩個(gè)神經(jīng)元同時(shí)興奮則它們之間的突觸連接加強(qiáng)，如果神經(jīng)元i是神經(jīng)元j的上層結(jié)點(diǎn)，用，分別表示兩個(gè)神經(jīng)元之間的激活值表示兩個(gè)神經(jīng)元之間的連接權(quán)則Hebb學(xué)習(xí)規(guī)則可以表示為：式中表示學(xué)習(xí)效率Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形。人工神經(jīng)網(wǎng)絡(luò)模型Hebb學(xué)習(xí)算法式中表示學(xué)習(xí)效率16人工神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)方法：誤差校正學(xué)習(xí)算法是根據(jù)神經(jīng)網(wǎng)絡(luò)的輸出誤差對(duì)神經(jīng)元的連接強(qiáng)度進(jìn)行修正，屬于有導(dǎo)師學(xué)習(xí)。權(quán)值調(diào)整公式：調(diào)整目標(biāo)是使下述公式所表達(dá)的誤差為最小人工神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)方法：權(quán)值調(diào)整公式：調(diào)整目標(biāo)是使17神經(jīng)網(wǎng)絡(luò)的特點(diǎn)不確定性，模糊及數(shù)學(xué)建模特點(diǎn)并行分布式處理非線性處理具有自學(xué)習(xí)功能神經(jīng)網(wǎng)絡(luò)可采用硬件實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的特點(diǎn)不確定性，模糊及數(shù)學(xué)建模特點(diǎn)18神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域模式識(shí)別（1）語音識(shí)別語音識(shí)別娃娃（2）圖像識(shí)別與理解

人臉檢測(cè)神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域模式識(shí)別19神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域消費(fèi)電子電氣產(chǎn)品中的應(yīng)用（1）空調(diào)裝置的神經(jīng)網(wǎng)絡(luò)控制（2）全自動(dòng)洗衣機(jī)的模糊神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域消費(fèi)電子電氣產(chǎn)品中的應(yīng)用20神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域機(jī)器人智能故障檢測(cè)神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域機(jī)器人智能故障檢測(cè)21神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域醫(yī)學(xué)應(yīng)用醫(yī)學(xué)圖像處理神