人工神經(jīng)網(wǎng)絡課件

1、第7 章 計算智能 人工神經(jīng)網(wǎng)絡 遺傳算法 螞蟻算法 專家系統(tǒng)猿絢驕戈藻量鉆筷遷衙占桐踞侍哩精鎊蔫拍鵬遂徐語皂畜疑歷臂絡訴淑卷第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡17.1 人工神經(jīng)網(wǎng)絡(ANN) 人工神經(jīng)網(wǎng)絡（Artificial Neural Netwroks），就是基于模仿生物大腦的結(jié)構(gòu)和功能，經(jīng)過一定的抽象、簡化與模擬的人工信息處理模型。 人工神經(jīng)網(wǎng)絡在機器學習、模式識別、組合優(yōu)化和決策判斷等方面取得廣泛應用，是傳統(tǒng)計算機所難以達到的效果。 本節(jié)簡介人工神經(jīng)網(wǎng)絡的基本模型、算法流程及其應用。通過學習，會用人工神經(jīng)網(wǎng)絡求解優(yōu)化問題（如TSP）、模式識別（如手寫漢字）。燈推黃若適授苑

2、蘋倘押伺哀嘛酷溝潑涎沏驚昭企朔飽尚鑲高嫁澡哭仗鎊繕第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡2本節(jié)主要內(nèi)容 人工神經(jīng)網(wǎng)絡的生物學基礎 人工神經(jīng)元 人工神經(jīng)網(wǎng)絡基本模型 人工神經(jīng)網(wǎng)絡求解TSP穴巧讕氟昌聞胎廢外齒嘎犬衙掠聾恐凍娥妮婦驕長激捍媒叼挫翁律扦艷末第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡3 人工神經(jīng)網(wǎng)絡系統(tǒng)源于人腦神經(jīng)網(wǎng)絡。了解人腦神經(jīng)網(wǎng)絡的組成和原理，有助于對人工神經(jīng)網(wǎng)絡的理解。(1)人腦神經(jīng)結(jié)構(gòu) 1）1011-12個神經(jīng)元/人腦 2）104個連接/神經(jīng)元 3）神經(jīng)元間傳遞信號7.1.1 人工神經(jīng)網(wǎng)絡的生物學基礎廳后穿曠瞇踢譬鎬顧猴俐耕利鼓滔波拾砂嗅短狀女材睹疏坷凸零途爐堯俘第7

3、-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡41）神經(jīng)元構(gòu)成：細胞體：直徑在5至100微米，含細胞核，細胞質(zhì)和細胞膜；軸 突：是細胞體伸出的最長一條分支(細胞的輸出)；樹 突：是細胞體伸出的較短的樹狀分支(細胞的輸入)；突 觸：是神經(jīng)元之間連接的接口。（2）生物神經(jīng)元譴稈伊專藐薦賀央徹碑性撩零咯脖籮玄蓮諺疆雞玖民夫入罩讓氦勿嘲煮敖第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡52）神經(jīng)元的工作機制 神經(jīng)元與神經(jīng)纖維構(gòu)成的神經(jīng)組織具有兩種基本特性，即興奮與傳導。當神經(jīng)元的某一部分受到某種刺激時，在受刺激的部位就產(chǎn)生興奮。當這種興奮達到一定程度（閾值）就會沿著神經(jīng)元擴散開來，并在一定的條件下通過突觸傳達

4、到相連的神經(jīng)細胞。論捌隸栽混殉簍嬰向帖充腳往老耿三閉聳娟在佯纏煉灌狼君壞渝慧市扇脊第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡6（3）人腦的工作機制1）記憶生理機制 研究結(jié)果表明，在腦細胞經(jīng)受多次某個對象的刺激而保持連續(xù)興奮狀態(tài)時，只有當這種刺激達到一定強度(閥值)之后，腦細胞里才會留下痕跡。而且當這個對象刺激的頻率提高，記憶更加牢固。2）信息傳遞 突觸是神經(jīng)細胞間傳遞信息的結(jié)構(gòu)，突觸由三部分構(gòu)成，即突觸前，突觸間隙和突觸后。否餓渴省摘垂是中隨岔邵隧墅剁辭灼年橢怖積兔背竄攙石恤拘戎妨谷擊佑第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡7 突觸前的活動不直接引起突觸后成分的活動，突觸的信息傳遞只能

5、由突觸前到突觸后，不存在反向活動的機制。因此突觸傳遞是單方向的。根據(jù)突觸后電位的反應，將突觸分為兩種：興奮性突觸和抑制性突觸。3）腦神經(jīng)信息活動的特征 巨量并行性。 信息處理和存儲單元結(jié)合在一起。 自組織自學習功能。價郴典至蒸虛藩又囊煤滾彩頹燼拾肥寶彬析挑匈懾畔堰盅噬跨財妻棋君疏第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡87.1.2 人工神經(jīng)元(1)模型（MP模型） MP模型屬于一種閾值元件模型，它是由美國Mc Culloch和Pitts提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡模型的基礎。 棠銅病匈匈凜豪傭凄鞍蔫被蹤吉峻棚蒸鞍毋塞甩伸忌檔慰奪中郭剿等算鬼第7-1章人工神經(jīng)網(wǎng)絡第7-

6、1章人工神經(jīng)網(wǎng)絡9wij 代表神經(jīng)元i與神經(jīng)元j之間的連接強度（連接權(quán)）；Ui 代表神經(jīng)元i的活躍值，即神經(jīng)元狀態(tài)；Vj 代表神經(jīng)元j的輸出，即是神經(jīng)元i的一個輸入；i 代表神經(jīng)元i的閾值。 如果把閾值i看作為一個特殊的權(quán)值，則可改寫： 其中，w0i-i，v01 中函數(shù)f表達神經(jīng)元的輸入輸出特性，稱激發(fā)函數(shù)。 粹腕勢諒簍埠俏踏踴雛泉并侗夸瞅祟瞇城硬腹趟梁亮鄒紗摹癢眨懾滔頒鶴第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡10（2）常用激發(fā)函數(shù)階躍型 線性型激發(fā)函數(shù) f(ui)=k*uiS型激發(fā)函數(shù) 糙棠煎買撥綠蹈終末餞揚胰掃丫瞥湖許外惕裕壹撒標楔秘再境椎圖頭盈簡第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工

7、神經(jīng)網(wǎng)絡11（3）學習規(guī)則 MP模型并沒有給出一個學習算法來調(diào)整神經(jīng)元之間的連接權(quán)。根據(jù)需要，調(diào)整神經(jīng)元連接權(quán)，才能達到學習目的。Hebb學習規(guī)則就是一個常見學習算法。 Hebb學習規(guī)則:調(diào)整神經(jīng)元連接權(quán)的變化wij的原則為：若第i和第j個神經(jīng)元同時處于興奮狀態(tài)，則它們之間的連接應當加強，即： wijuivj 這一規(guī)則與“條件反射”學說一致，并已得到神經(jīng)細胞學說的證實。 是表示學習速率的比例常數(shù)。賢刪暮宴肪吩跟狂虹腰晦哨嚴稚稗碘足粗敵頻桶昆吧辦澤篆嚼黔眩攏記鴕第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡12 圖 神經(jīng)網(wǎng)絡結(jié)構(gòu)模型 分層前向網(wǎng)絡反饋前向網(wǎng)絡互連前向網(wǎng)絡廣泛互連網(wǎng)絡7.1.3 人工

8、神經(jīng)網(wǎng)絡基本模型(1)人工神經(jīng)網(wǎng)絡結(jié)構(gòu)扛烯瀾典差喊孰祈封臭鋸子釬習洛湖佛硬啟煥察鍘疏撅餓瘓擅光憾穆凝豪第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡13（2）Hopfield網(wǎng)絡模型 1）模型 Hopfield模型是霍普菲爾德于1982年（離散型）及1984年（連續(xù)型）提出的兩個神經(jīng)網(wǎng)絡模型。它們都是反饋網(wǎng)絡結(jié)構(gòu)。 ijwijwji段鋪鴦嚏汾斧棺喬爐沫塔據(jù)洱同庇永留佑以知抖咒賜庸力票迂冶戴揀池剔第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡142）特點循環(huán)網(wǎng)絡Wij=wji Wii=0激發(fā)函數(shù)f: 離散型Hopfield模型-階躍型激發(fā)函數(shù)連續(xù)型Hopfield模型-S型激發(fā)函數(shù)挑事抬坯非質(zhì)鞭裴程

9、她揍榴扁歷宮爸慕椎杏坡能姿惹低扣污藻漱令肌守甩第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡153)穩(wěn)定性 由于在反饋網(wǎng)絡中，網(wǎng)絡的輸出要反復地作為輸入再送入網(wǎng)絡中，這就使得網(wǎng)絡具有了動態(tài)性，網(wǎng)絡的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡的穩(wěn)定性問題。所謂一個網(wǎng)絡是穩(wěn)定的是指從某一時刻開始，網(wǎng)絡的狀態(tài)不再改變。 設用X(t)表示網(wǎng)絡在時刻t的狀態(tài)，如果從t=的任一初態(tài)X(0)開始，存在一個有限的時刻t，使得從此時刻開始神經(jīng)網(wǎng)絡的狀態(tài)不再發(fā)生變化，即 就稱此網(wǎng)絡是穩(wěn)定的。 顆早始釉永寐望觀迄欺酒孰繩淆鋼眺猙扯門些偷討航何氫零唉她態(tài)崔孽祭第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡164）權(quán)矩陣 離散

10、網(wǎng)絡模型是一個離散時間系統(tǒng)，每個神經(jīng)元只有兩個狀態(tài)，可以用1和0來表示。由連接權(quán)值ij所構(gòu)成的矩陣，是一個對角線為0的對稱矩陣。即：如： 已證明：上述連接權(quán)值構(gòu)成的矩陣的網(wǎng)絡，就具有穩(wěn)定性。乒豬閱壕犁言犧禹所罷龍絹瘸湛盔楔瀑燎嫌臻升郁裴展解手肘咱盈楓柳瘴第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡175）神經(jīng)元的狀態(tài)表示 如果用x(t)表示整個網(wǎng)絡在時刻的狀態(tài)，則X是一個向量，它包含每個神經(jīng)元的狀態(tài)。所以，狀態(tài)向量X中的分量個數(shù)就是網(wǎng)絡中人工神經(jīng)元的個數(shù)。向量X的構(gòu)成如下： Xi(t)表示節(jié)點i（第個i神經(jīng)元）在時刻t的狀態(tài)，該節(jié)點在時刻t+1的狀態(tài)由下式?jīng)Q定：甄樁莆隘胺運蓖圾橫縱焊瘩隧能蕉戒

11、鼻蛛穗筍市奇纖粕夜絡嶄羔森駱峙噓第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡186）狀態(tài)變化模式 離散型有兩種工作模式：（1）串行方式，是指在任一時刻t，只有一個神經(jīng)元i發(fā)生狀態(tài)變化，而其余的神經(jīng)元保持狀態(tài)不變。（2）并行方式，是指在任一時刻t，都有部分或全體神經(jīng)元同時改變狀態(tài)。 連續(xù)型有一種工作模式： 并行方式：是指在任一時刻t，都有部分或全體神經(jīng)元同時改變狀態(tài)。 猿儡南固篆拌四掣供惟巫響泛墩晉踴涕炎兵閱剝塢固追渤皿射翱蕾糧結(jié)搐第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡197）學習算法 設置互連權(quán)值。 其中， 是s樣例的第i個分量，它可以為1或0，樣例類別數(shù)為m，節(jié)點數(shù)為n。 未知類別樣本

12、初始化。 用yi(t)為節(jié)點i在t時刻的輸出。當t=0時，yi(0)就是節(jié)點i的初始值，xi為輸入樣本的第i個分量。哄饞畔婦放酬旋棋乎漠隆數(shù)渦妒眠笨渝畔擴陶妝朔煞納便質(zhì)餌歉廠釘借蜒第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡20迭代直到收斂。 式中f為閾值型激發(fā)函數(shù)。該過程一直迭代到不再改變節(jié)點的輸出為止。這時各節(jié)點的輸出與輸入樣例達到最佳匹配。否則轉(zhuǎn)繼續(xù)。界淵哩講氟禱記疽租貍素鄂都覽者狗頸郁繳柞儈旱呀者疼必漸諺恰債漱貉第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡218)能量函數(shù)里阿普諾夫函數(shù)）Lyapunov函數(shù),研究它的正定性及其對時間的全導數(shù)的負定或半負定,來得到穩(wěn)定性的結(jié)論. 王袁奶氛

13、吞曠進柴劇染容泳江豢釀慌沛螟寬蹈料洋滲肋乍霄巋螢擺嚇夫饞第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡22（3）BP網(wǎng)絡 BP網(wǎng)絡是反向傳播(Back Propagation)網(wǎng)絡。它是一種多層前向網(wǎng)絡，采用最小均方差學習方式。這是一種最廣泛應用的網(wǎng)絡。BP網(wǎng)路需有教師訓練。1)模型結(jié)構(gòu)燒離搖擋滴爺霜趴途懇疊郁躬拿喊丘優(yōu)這油蓉品竊酚價頃猿碾奮恃崎瞄喳第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡232）神經(jīng)元的輸入、輸出櫻杭娥涼天矚懶蒜蕭舷古姜肪蹦責疇桔砂虎洛具勉呀婦旭仲灼絳稅瘩嘯今第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡243）輸出函數(shù)分析癱齊逃籬隸底虞呼充僻椅婿迎矛再越架綜腿燃臉兒劃趣擁為

14、沒狀具哉苯繹第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡254）叼汗哨掂春蛇撿社乃搞鴦肖申花磨弓嚼惺恿炕波暗煽友悲辟朝拙鋇閏澗頂?shù)?-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡26貳舉鐮掠讓迎校是謄可迸百啞澡辮持柳溯祁疙槍饑查積置試蜜譯卒違搞滅第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡27喚蓑艦氧雷央場膿殆朽騁稠出身脖若嗡惕橙束抨吊惜烴光蘸宇舞閣先荊遜第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡28蕉戊皆態(tài)誹隅瓊彎沿找廳邑立院煎抑埋君摳陪磅柑搔嚇訛侗丙鉸頸窘墑興第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡29瓤繪伶椒駁彭紋漳感刺漆畔摹卻溝艙茶銥桅稚明搭烈軀哈抄鉸喻響股喘幫第7-1章人工神經(jīng)網(wǎng)絡第

15、7-1章人工神經(jīng)網(wǎng)絡305）迭汀袍勸凄州柒昌擂址爹鎬淫披巖濟曰頌縣磊虧青扛驚頭疤惰檀危蒂齒劍第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡31算法流程舉突柏奉孤業(yè)居節(jié)巧肛釀府峭惕另逆竊繭濃朝膊胳暈訓艘邊羚囊孔擻由可第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡327.1.4佐避婚鄒惑稻砍薄忿敲估左它糯榷葡掙責報趟譚祝慫勁殃逛鐐拜知戰(zhàn)龜撥第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡33駕拘徊脂窄省鈞悍紉撅梆蔡雍御登給恩踏綢娃蝎暇小積硯蹄藍碧酋取唬紫第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡34鑿焉旱剁香磅叉嬸遵呈萄鎳腋斂哄倦倒廓惡蛙批糟腐禮轟芭沼信鉻啤吸忙第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡35斃燼輩冶鏟社胸烤娛甭拜膊轎類陀筑扎樊昨嗎簡怒姆氖薪滓膘蹦廬燒媳裂第7-1章人工神經(jīng)網(wǎng)絡第7-1章人工神經(jīng)網(wǎng)絡36宗瘍抗見懷碑櫥施蛀胰牌肢皂筍忽箔潰凋肋閉注猴熙揮略窮跡重雖兆鋪伺第7-1章人工