人工智能8神經網絡課件

人工神經網絡陳志華人工神經網絡陳志華主要內容人工神經網絡概述生物神經元人工神經元主要內容人工神經網絡概述1.人工神經網絡概述什么是人工神經網絡？T.Koholen的定義：“人工神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經系統(tǒng)對真實世界物體所作出的交互反應?！?/p>

1.人工神經網絡概述什么是人工神經網絡？ANN研究的目的和意義(1)通過揭示物理平面與認知平面之間的映射，了解它們相互聯系和相互作用的機理，從而揭示思維的本質，探索智能本源。(2)爭取構造出盡可能與人腦具有相似功能的計算機，即ANN計算機。(3)研究仿照腦神經系統(tǒng)的人工神經網絡，將在模式識別、組合優(yōu)化和決策判斷等方面，取得傳統(tǒng)計算機所難以達到的效果。

ANN研究的目的和意義(1)通過揭示物理平面與認知平面之間的神經網絡研究的發(fā)展(1)第一次熱潮(40-60年代未)1943年,美國心理學家W.McCulloch和數學家W.Pitts在提出了一個簡單的神經元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知機(Perceptron）。(2)低潮(70-80年代初)神經網絡研究的發(fā)展(1)第一次熱潮(40-60年代未)(3)第二次熱潮

1982年，美國物理學家J.J.Hopfield提出Hopfield模型，它是一個互聯的非線性動力學網絡。它解決問題的方法是一種反復運算的動態(tài)過程,這是符號邏輯處理方法所不具備的性質.1987年首屆國際ANN大會在圣地亞哥召開，國際ANN聯合會成立，創(chuàng)辦了多種ANN國際刊物。1990年12月，北京召開首屆學術會議。(3)第二次熱潮神經網絡的優(yōu)點一般而言,ANN與經典計算方法相比并非優(yōu)越,只有當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。對問題的機理不甚了解或不能用數學模型表示的系統(tǒng),如故障診斷、特征提取和預測等問題,ANN往往是最有利的工具。對處理大量原始數據而不能用規(guī)則或公式描述的問題,表現出極大的靈活性和自適應性。神經網絡的優(yōu)點一般而言,ANN與經典計算方法相比并非優(yōu)越,人工神經網絡以其具有自學習、自組織、較好的容錯性和優(yōu)良的非線性逼近能力，受到眾多領域學者的關注。在實際應用中，80%～90%的人工神經網絡模型是采用BP網絡，目前主要應用于函數逼近、模式識別、分類和數據壓縮或數據挖掘。人工神經網絡以其具有自學習、自組織、較好的容錯性和優(yōu)良的非線人工神經網絡研究的局限性（1）ANN研究受到腦科學研究成果的限制。（2）ANN缺少一個完整、成熟的理論體系。（3）ANN研究帶有濃厚的策略和經驗色彩。（4）ANN與傳統(tǒng)技術的接口不成熟。

人工神經網絡研究的局限性（1）ANN研究受到腦科學研究成果的2.生物神經元神經元是大腦處理信息的基本單元人腦大約由1011個神經元組成，神經元互相連接成神經網絡神經元以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構成的神經細胞，其形狀很像一棵枯樹的枝干神經元主要由細胞體、樹突、軸突和突觸組成2.生物神經元神經元是大腦處理信息的基本單元生物神經元示意圖生物神經元示意圖細胞體用于處理從其他神經元傳遞過來的信息軸突相當于神經元的輸出電纜，利用尾部的神經末梢和梢端的突觸輸出樹突神經元的輸入端突觸神經元之間相互連接的接口，即一個神經元的神經末梢與另一個神經元的樹突相接觸的交接面細胞體突觸的信息處理神經元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近神經元細胞體通過軸突將脈沖傳遞到突觸前膜當脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經傳遞的化學物質突觸的信息處理神經元各組成部分的功能來看，信息的處理與傳遞主生物神經元傳遞信息的過程為多輸入、單輸出突觸有兩種類型：興奮性突觸和抑制性突觸。前者產生正突觸后電位，后者產生負突觸后電位生物神經元傳遞信息的過程為多輸入、單輸出突觸的傳遞功能與特點不可逆性脈沖只從突觸前傳到突觸后，不逆向傳遞對信息傳遞具有時延和不應期，一般為0.3～lms相鄰的兩次輸入之間，需要一定的間隔；在此間隔內，突觸不傳遞信息可塑性突觸傳遞信息的強度是可變的，即具有學習功能學習、遺忘或疲勞（飽和）效應對應突觸傳遞作用增強、減弱和飽和突觸的傳遞功能與特點不可逆性生物神經網絡基本模型生物神經網絡基本模型3.人工神經元人工神經網絡神經網絡是一個并行和分布式的信息處理網絡結構它一般由大量神經元組成每個神經元只有一個輸出，可以連接到很多其他的神經元每個神經元的輸入有多個連接通道，每個連接通道對應于一個連接權系數3.人工神經元人工神經網絡M-P神經元模型心理學家麥克洛奇(W.McCulloch)和數理邏輯學家皮茲(W.Pitts)于1943年首先提出了一個簡化的神經元模型,稱為M-P模型

y……興奮性輸入e抑制性輸入iM-P神經元模型y……興奮性輸入e抑制性輸入i說明圓表示神經元的細胞體；外部輸入包括興奮性輸入和抑制性輸入符號θ表示神經元興奮的閾值說明M-P模型的輸入輸出關系M-P模型的輸入輸出關系常用的神經元結構模型…常用的神經元結構模型…模型說明模型說明人工智能8神經網絡閾值函數S型函數雙曲正切函數閾值函數S型函數雙曲正切函數4.人工神經網絡的互聯結構ANN可分為兩種相互連接網絡分層網絡單層兩層網絡結構多層網絡結構4.人工神經網絡的互聯結構ANN可分為兩種相互連接網絡典型的網絡結構相互連接網絡典型的網絡結構單層網絡單層網絡多層前向網絡多層前向網絡帶側抑制的多層網絡帶側抑制的多層網絡帶反饋的多層網絡帶反饋的多層網絡多層神經網絡3層及3層以上的神經網絡，稱多層神經網絡按照各層功能可分為輸入層中間層（隱層）：可包含多層輸出層多層神經網絡3層及3層以上的神經網絡，稱多層神經網絡人工智能8神經網絡小結神經網絡的定義神經元模型神經網絡的典型結構及其分類小結神經網絡的定義人工神經網絡陳志華人工神經網絡陳志華主要內容人工神經網絡概述生物神經元人工神經元主要內容人工神經網絡概述1.人工神經網絡概述什么是人工神經網絡？T.Koholen的定義：“人工神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經系統(tǒng)對真實世界物體所作出的交互反應?！?/p>

1.人工神經網絡概述什么是人工神經網絡？ANN研究的目的和意義(1)通過揭示物理平面與認知平面之間的映射，了解它們相互聯系和相互作用的機理，從而揭示思維的本質，探索智能本源。(2)爭取構造出盡可能與人腦具有相似功能的計算機，即ANN計算機。(3)研究仿照腦神經系統(tǒng)的人工神經網絡，將在模式識別、組合優(yōu)化和決策判斷等方面，取得傳統(tǒng)計算機所難以達到的效果。

ANN研究的目的和意義(1)通過揭示物理平面與認知平面之間的神經網絡研究的發(fā)展(1)第一次熱潮(40-60年代未)1943年,美國心理學家W.McCulloch和數學家W.Pitts在提出了一個簡單的神經元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知機(Perceptron）。(2)低潮(70-80年代初)神經網絡研究的發(fā)展(1)第一次熱潮(40-60年代未)(3)第二次熱潮

1982年，美國物理學家J.J.Hopfield提出Hopfield模型，它是一個互聯的非線性動力學網絡。它解決問題的方法是一種反復運算的動態(tài)過程,這是符號邏輯處理方法所不具備的性質.1987年首屆國際ANN大會在圣地亞哥召開，國際ANN聯合會成立，創(chuàng)辦了多種ANN國際刊物。1990年12月，北京召開首屆學術會議。(3)第二次熱潮神經網絡的優(yōu)點一般而言,ANN與經典計算方法相比并非優(yōu)越,只有當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。對問題的機理不甚了解或不能用數學模型表示的系統(tǒng),如故障診斷、特征提取和預測等問題,ANN往往是最有利的工具。對處理大量原始數據而不能用規(guī)則或公式描述的問題,表現出極大的靈活性和自適應性。神經網絡的優(yōu)點一般而言,ANN與經典計算方法相比并非優(yōu)越,人工神經網絡以其具有自學習、自組織、較好的容錯性和優(yōu)良的非線性逼近能力，受到眾多領域學者的關注。在實際應用中，80%～90%的人工神經網絡模型是采用BP網絡，目前主要應用于函數逼近、模式識別、分類和數據壓縮或數據挖掘。人工神經網絡以其具有自學習、自組織、較好的容錯性和優(yōu)良的非線人工神經網絡研究的局限性（1）ANN研究受到腦科學研究成果的限制。（2）ANN缺少一個完整、成熟的理論體系。（3）ANN研究帶有濃厚的策略和經驗色彩。（4）ANN與傳統(tǒng)技術的接口不成熟。

人工神經網絡研究的局限性（1）ANN研究受到腦科學研究成果的2.生物神經元神經元是大腦處理信息的基本單元人腦大約由1011個神經元組成，神經元互相連接成神經網絡神經元以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構成的神經細胞，其形狀很像一棵枯樹的枝干神經元主要由細胞體、樹突、軸突和突觸組成2.生物神經元神經元是大腦處理信息的基本單元生物神經元示意圖生物神經元示意圖細胞體用于處理從其他神經元傳遞過來的信息軸突相當于神經元的輸出電纜，利用尾部的神經末梢和梢端的突觸輸出樹突神經元的輸入端突觸神經元之間相互連接的接口，即一個神經元的神經末梢與另一個神經元的樹突相接觸的交接面細胞體突觸的信息處理神經元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近神經元細胞體通過軸突將脈沖傳遞到突觸前膜當脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經傳遞的化學物質突觸的信息處理神經元各組成部分的功能來看，信息的處理與傳遞主生物神經元傳遞信息的過程為多輸入、單輸出突觸有兩種類型：興奮性突觸和抑制性突觸。前者產生正突觸后電位，后者產生負突觸后電位生物神經元傳遞信息的過程為多輸入、單輸出突觸的傳遞功能與特點不可逆性脈沖只從突觸前傳到突觸后，不逆向傳遞對信息傳遞具有時延和不應期，一般為0.3～lms相鄰的兩次輸入之間，需要一定的間隔；在此間隔內，突觸不傳遞信息可塑性突觸傳遞信息的強度是可變的，即具有學習功能學習、遺忘或疲勞（飽和）效應對應突觸傳遞作用增強、減弱和飽和突觸的傳遞功能與特點不可逆性生物神經網絡基本模型生物神經網絡基本模型3.人工神經元人工神經網絡神經網絡是一個并行和分布式的信息處理網絡結構它一般由大量神經元組成每個神經元只有一個輸出，可以連接到很多其他的神經元每個神經元的輸入有多個連接通道，每個連接通道對應于一個連接權系數3.人工神經元人工神經網絡M-P神經元模型心理學家麥克洛奇(W.McCulloch)和數理邏輯學家皮茲(W.Pitts)于1943年首先提出了一個簡化的神經元模型,稱為M-P模型

y……興奮性輸入e抑制性輸入iM-P神經元模型y……興奮性輸入e抑制性輸入i說明圓表示神經元的細胞體；外部輸入包括興奮性輸入和抑制性輸入符號θ表示神經元興奮的閾值說明M-P模型的輸入輸出關系M-P模型的輸入輸出關系常用的神經元結構模型…常用的神經元結構模型…模型說明模型說明人工智能8神經網絡閾值函數S型函數雙曲正切函數閾值函數S型函數雙曲正切函數4.人工神經網絡的互聯結構ANN可分為兩種相互連接網絡分層網