人工神經網(wǎng)絡原理、應用課件

1、人工神經網(wǎng)絡原理、應用及發(fā)展趨勢王永驥華中科技大學控制系9/23/20221研究生論壇講座綱要1. 人工神經網(wǎng)絡原理2. 人工神經網(wǎng)絡優(yōu)勢3. 人工神經網(wǎng)絡的應用4. 人工神經網(wǎng)絡研究趨勢5. 結束語9/23/20222研究生論壇講座1. 人工神經網(wǎng)絡原理人之所以有智能，是因為大腦中存在一個1000億個神經元構成的生物神經網(wǎng)絡;生物神經網(wǎng)絡十分復雜，具有高度智能;人們力圖抓住主要特點，構成人工神經網(wǎng)絡，形成具有一定智能能力的信息處理工具。9/23/20223研究生論壇講座1.1 神經系統(tǒng) 的復雜性9/23/20224研究生論壇講座9/23/20225研究生論壇講座9/23/20226研究生論壇

2、講座9/23/20227研究生論壇講座9/23/20228研究生論壇講座9/23/20229研究生論壇講座9/23/202210研究生論壇講座What are (artificial) neural networks? It is a network with interactions, in attempt to mimicking the brain UNITs: artificial neuron (linear or nonlinear input-output unit), small numbers, a few hundreds INTERACTIONs: simply by w

3、eights, how strong a neuron affects others STRUCTUREs: could be feedforward, feedback or recurrent It is still far too naive, and the development of the field relies on all of us9/23/202211研究生論壇講座 1.1.2 生物神經元人的大腦由1012個神經元構成，神經元互相連接成神經網(wǎng)絡神經元組成：細胞體為主體1873年, 意大利 Cajai 銀滲透法 發(fā)現(xiàn)Golgi 體神經元功能：刺激、興奮、傳導、效應 形狀圖

4、 突觸傳遞信息特點9/23/202212研究生論壇講座神經元示意圖9/23/202213研究生論壇講座突觸傳遞信息特點(1) 時延性 :（0.31ms）(2) 綜合性 ：時間與空間的累加(3) 類型：興奮與抑制(4) 脈沖與電位轉換: （D/A功能）(5) 速度：1150m/s(6) 不應期（死區(qū)）：35ms(7) 不可逆性（單向）(8) 可塑性 : 強度可變 ,有學習功能 脈沖 9/23/202214研究生論壇講座 1.1.3 人腦神經網(wǎng)絡腦神經系統(tǒng)主要組成部分大腦皮層由許多功能區(qū)組成（運動、聽覺、視覺等） 神經元群 其區(qū)域性結構：遺傳 其功能：后天對環(huán)境的適應于學習得來 （自組織特性Sel

5、f-Organization） 子功能模塊的并行關系 a) 大腦處理信息的特點 b) 生物學研究成果 9/23/202215研究生論壇講座 a) 大腦處理信息的特點 分布存儲與冗余性：記憶在大量元中，每個元存在許多信息的部分內容，信息在神經網(wǎng)絡中的記憶反映在神經元間的突觸連接強度上(weights）;并行處理：NN既是處理器又是存儲器（并行處理不同于并行機）;信息處理與存儲合一：每個元兼有二者功能;可塑性與自組織性：可塑性是學習記憶的基礎;魯棒性：高連接度導致一定的誤差和噪聲不會使網(wǎng)絡性能惡化。是智能演化的重要因素。9/23/202216研究生論壇講座b) BNN研究成果H-H方程 英 A.L

6、.Hodgkin與A.F.Huxley 長槍烏賊魚電器特性 得到四個變量的非線性微分方程，獲Nobel生物醫(yī)學獎 許多NL問題可用此解釋 e.g. 自激振蕩 chaos. 多重穩(wěn)定性等9/23/202217研究生論壇講座HH方程式中，I為膜電流，V為膜電位相對于靜息膜電位Er的變化，VK, VNa, Vl分別為鉀離子、鈉離子和氯離子與其他離子形成的相對電位。CM為單位面積的膜電容，gk,gNa,gl 分別為鉀離子、鈉離子通道和漏電流通道的電導。9/23/202218研究生論壇講座1.2 人工神經網(wǎng)絡研究大腦的目的：a）揭示功能造福人類 b）構造ANN用于工程及其他領域（生物神經網(wǎng)絡的模型化：A

7、NN） BNN modeling ANN ANN非BNN模型，而是對結構及功能大大簡化后保留主要特性的某種抽象與模型。 9/23/202219研究生論壇講座神經網(wǎng)絡直觀理解神經網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結構，它一般由許多個神經元組成，每個神經元只有一個輸出，它可以連接到很多其他的神經元，每個神經元輸入有多個連接通道，每個連接通道對應于一個連接權系數(shù)。9/23/202220研究生論壇講座人工神經網(wǎng)絡內容1.2.1 人工神經元模型 （Artificial Neuron model）1.2.2 人工神經網(wǎng)絡的構成 （structure of ANN）1.2.3 人工神經網(wǎng)絡的學習 （lea

8、rning or training of ANN）9/23/202221研究生論壇講座1.2.1 人工神經元模型 BNN 信息傳遞過程 為 MISO 系統(tǒng), 信號為脈沖，當脈沖到達突觸前膜時，前膜釋放化學物質，結果在突觸后產生突觸后電位，其大小與脈沖密度有關（時間總合效應）。 各通道都對電位產生影響（空間總合效應）。 9/23/202222研究生論壇講座神經元模型（1）神經元是人工神經網(wǎng)絡的基本處理單元，它一般是一個多輸入/多輸出的非線性元件。神經元輸出除受輸入信號的影響之外，同時也受到神經元內部其他因素的影響，所以在人工神經元的建模中，常常還加有一個額外輸入信號，稱為偏差（bais），有時也

9、稱為閥值或門限值。9/23/202223研究生論壇講座神經元模型（2） 。 9/23/202224研究生論壇講座抽象可得數(shù)學表達式： wi 數(shù)值（weights) b 閥值（threshold） f(s) 用函數(shù)（activated transfer function） 9/23/202225研究生論壇講座幾種常用的作用函數(shù) (1)、閥值型（硬限制型) (2)、線性型 (3)、S型函數(shù)（Sigmoid） (4)、輻射基函數(shù)9/23/202226研究生論壇講座(1)、閥值型（硬限制型） 生物學背景：神經細胞的興奮與抑制；單極性9/23/202227研究生論壇講座生物學背景：神經細胞的興奮與抑制：

10、雙極性9/23/202228研究生論壇講座(2)、線性型a) 全線性 生物學背景：神經細胞的比例作用（全方位）9/23/202229研究生論壇講座b) 正線性生物學背景：神經細胞的線性比例作用（單方向）9/23/202230研究生論壇講座(3)、S型函數(shù)（Sigmoid）a) 對數(shù)正切 y=1/(e-n+1)生物學背景：神經細胞的非線性比例作用（單向）9/23/202231研究生論壇講座b)雙曲正切 y=tanh(n)生物學背景：神經細胞的非線性比例作用（全方位）9/23/202232研究生論壇講座（4）輻射基函數(shù)a) 高斯函數(shù)生物學背景：視覺，聽覺等類神經細胞的區(qū)域性非線性用9/23/202

11、233研究生論壇講座b)三角波函數(shù)生物學背景：視覺，聽覺等類神經細胞的區(qū)域性非線性用的線性近似9/23/202234研究生論壇講座1.2.2 人工神經網(wǎng)絡的構成基本模型連接的幾種基本形式前向網(wǎng)絡（feed-forward Networks）回歸網(wǎng)絡（recurrent Networks）互聯(lián)網(wǎng)絡（全互連與局部互連）也可是以上幾種形式的組合9/23/202235研究生論壇講座人工神經網(wǎng)絡種類1). 前饋型 感知器、線性網(wǎng)絡（ADALINE), BP網(wǎng)絡 RBF 網(wǎng)絡， 2). 反饋型 Hopfield 網(wǎng)絡3). 競爭型 ART ， SOFM等9/23/202236研究生論壇講座前向網(wǎng)絡結構圖9

12、/23/202237研究生論壇講座前向網(wǎng)絡特點 1). 神經元分層排列，可又多層 2). 層間無連接 3). 方向由入到出 感知網(wǎng)絡（perceptron即為此） 應用最為廣泛 9/23/202238研究生論壇講座回歸網(wǎng)絡全反饋結構圖9/23/202239研究生論壇講座Inner RNN結構圖9/23/202240研究生論壇講座回歸網(wǎng)絡特點Output 與 Input相連（全反饋） 特點：1. 內部前向 2. 輸出反饋到輸入 例： Fukushima網(wǎng)絡Inner recurrent 特點：層間元互相連接9/23/202241研究生論壇講座互聯(lián)網(wǎng)絡結構圖 9/23/202242研究生論壇講座互

13、聯(lián)網(wǎng)絡特點每個元都與其它元相連 例： Hopfield Boltzmann機 9/23/202243研究生論壇講座1.2.3人工神經網(wǎng)絡的學習 ANN研究中的核心問題 How to determine the weights(加權系數(shù))學習規(guī)則簡介 9/23/202244研究生論壇講座關于學習問題學習：實例學習 舉一反三的能力機器學習: 從數(shù)據(jù)中歸納出規(guī)律,進行預測或者對其性質作出判斷神經網(wǎng)絡啟發(fā)式學習支持向量機-統(tǒng)計學習理論9/23/202245研究生論壇講座學習規(guī)則1）直接設計計算 e.g. Hopfield 作優(yōu)化計算2）學習得到,即通過訓練(training)9/23/202246研究

14、生論壇講座常用學習規(guī)則a) Hebb學習 D.Hebb1949年提出：兩元同時興奮，則突觸連接加強b)學習規(guī)則 誤差校正規(guī)則 梯度方法 （BP即為其中一種） 9/23/202247研究生論壇講座c) 相近學習規(guī)則 使 ART SOFM 自組織競爭用此規(guī)則9/23/202248研究生論壇講座BP網(wǎng)絡模型BP網(wǎng)絡模型如圖2.4所示: .輸入層隱含層輸出層圖2.4 多層前向神經網(wǎng)絡結構.9/23/202249研究生論壇講座Matlab形式Nnd11nf.m 描述輸出與加權系數(shù)的關系nndemos（chap11 demo1）network function9/23/202250研究生論壇講座BP學習算

15、法（加權值的修改方法9/23/202251研究生論壇講座BP網(wǎng)絡訓練的幾種模式批處理模式(batch mode)訓練過程以所有樣本為一個epoch。訓練時計算出所有樣本的整體誤差后，加權系數(shù)才調整。matlab 函數(shù) trainb，非直接調用，用net.trainFcn說明即，每一次輸入樣本j時，計算該樣本j對應的誤差ej和相應的權值修正量 dwj，但不進行權值修改，而是等到全部樣本輸入完畢后，計算所有樣本累計對應的權值修正量, dw(k)=dwj 進行一次權值修正。 本方法適用于離線計算。9/23/202252研究生論壇講座模式學習模式(pattern mode) 訓練過程輸入一個樣本，計算

16、學習誤差，調整加權系數(shù)。matlab 函數(shù) trainc，trains, trainr非直接調用，用net.trainFcn 說明即。每一次計算得到的dwj都應用來修正加權值，下一次輸入樣本到網(wǎng)絡時，利用新修正的加權值計算網(wǎng)絡輸出。模式學習適用于在線（自適應）修正權值。9/23/202253研究生論壇講座BP算法的改進 BP算法改進的主要目標是為了加快訓練速度，避免陷入局部極小值和改善其它能力。 （1）帶動量因子算法； （2）自適應學習速率； （3）高階學習算法； （4）改變性能指標函數(shù) 9/23/202254研究生論壇講座9/23/2022神經網(wǎng)絡原理與應用55RBF網(wǎng)絡的Matlab 形式

17、9/23/202255研究生論壇講座RBF網(wǎng)絡的學習中心和寬度：隨機選擇或優(yōu)化學習輸出權矩陣：反向傳播或者最小二乘方法學習9/23/202256研究生論壇講座2. 人工神經網(wǎng)絡優(yōu)勢任何精度逼近任意連接非線性函數(shù)（NL系統(tǒng)的統(tǒng)一描述） 對復雜不確定問題具有自適應、學習能力并行機制，解決實時計算問題，具有冗余性容錯能力信息融合（Fusion），多媒體技術神經計算：用于優(yōu)化、矩陣求逆，解方程等計算易于VLSI、光學IC、計算機虛擬實現(xiàn)NN9/23/202257研究生論壇講座統(tǒng)一的建模方法由于非線性系統(tǒng)的多樣性和復雜性，傳統(tǒng)方法常常無能為力神經網(wǎng)絡提供了一種統(tǒng)一建模的方法，無論是靜態(tài)或動態(tài)非線性系統(tǒng)9

18、/23/202258研究生論壇講座自適應、學習能力 傳統(tǒng)方法 對線性系統(tǒng)方法成熟、有效 神經網(wǎng)絡 線性、非線性均有效9/23/202259研究生論壇講座并行機制傳統(tǒng)的并行計算機制與神經網(wǎng)絡不同神經網(wǎng)絡每一單元均為具有計算能力的單元可用于解決實時計算問題，具有冗余性容錯能力9/23/202260研究生論壇講座神經計算用于優(yōu)化、矩陣求逆，解方程等計算9/23/202261研究生論壇講座神經計算機實現(xiàn)易于VLSI、光學IC、計算機虛擬實現(xiàn)NN神經芯片相當于FPGA，可實現(xiàn)算法級的通用編程9/23/202262研究生論壇講座3. 人工神經網(wǎng)絡的應用應用十分廣泛 模式識別與分類 自動控制 信號處理與濾波

19、 系統(tǒng)優(yōu)化各類系統(tǒng)：工程、金融、經濟、社會9/23/202263研究生論壇講座模式識別與分類手寫數(shù)字識別漢字識別分類9/23/202264研究生論壇講座英文字母識別9/23/202265研究生論壇講座肌電信號實時辨識9/23/202266研究生論壇講座肌電信號實時辨識選擇節(jié)點上的小波包分解原始 EMG信號小波包變換的參數(shù)計算小波包的節(jié)點能量原始特征向量特征投影降維后的特征向量使用ANN進行模式分類辨識結果9/23/202267研究生論壇講座肌電信號實時辨識肌電信號實時辨識 虛擬現(xiàn)實顯示視頻演示9/23/202268研究生論壇講座優(yōu)化計算將Hopfield網(wǎng)絡應用于求解組合優(yōu)化問題，就是把目標函

20、數(shù)轉化為網(wǎng)絡的能量函數(shù)，把問題的變量對應于網(wǎng)絡的狀態(tài)。這樣當網(wǎng)絡的能量函數(shù)收斂于極小值時，問題的最優(yōu)解也隨之求出。如果聯(lián)接權矩陣W和輸入I，把優(yōu)化問題中的目標函數(shù)、約束條件與Hopfield的能量函數(shù)聯(lián)系起來，電路達到的平衡點就是能量函數(shù)的極小點，也是優(yōu)化中滿足約束條件下的目標函數(shù)的極小點，達就可以利用人工神經網(wǎng)絡來完成優(yōu)化問題。 例：TSP 問題9/23/202269研究生論壇講座HNN 優(yōu)化10城市TSP9/23/202270研究生論壇講座NN在AC上的應用 1）系統(tǒng)辨識 2）系統(tǒng)控制 3）優(yōu)化計算 4）故障診斷及容錯控制9/23/202271研究生論壇講座1）系統(tǒng)辨識系統(tǒng)辨識 NN系統(tǒng)辨

21、識的統(tǒng)一模式 NN非算法性，可用參數(shù)為加權 NN模型作為物理實現(xiàn)，可用于在線控制 問題：網(wǎng)絡模型、結構選擇、快速學習算法、收斂性分析、輸入激勵信號選擇 9/23/202272研究生論壇講座倒立擺系統(tǒng)NN辨識 NNARX模型檢驗結果 9/23/202273研究生論壇講座2）系統(tǒng)控制控制 提供某種模型 充當各類控制器 作為計算部件實現(xiàn)優(yōu)化計算對不確定問題： NL系統(tǒng)的自適應控制 線性 - NL 無模型直接自適應（single Neuron 控制器）9/23/202274研究生論壇講座應用舉例1）神經網(wǎng)絡溫度控制2）神經網(wǎng)絡智能同期控制3） 9/23/202275研究生論壇講座神經網(wǎng)絡PID溫度控制

22、用于控制封閉式電熱爐，設定值為500時9/23/202276研究生論壇講座9/23/202277研究生論壇講座實時仿真試驗9/23/202278研究生論壇講座3）優(yōu)化計算神經網(wǎng)絡求解代數(shù)方程神經網(wǎng)絡在預測控制在線求矩陣逆神經網(wǎng)絡在LQR問題中解ARE9/23/202279研究生論壇講座4）故障診斷及容錯控制神經網(wǎng)絡用于故障診斷 1) 基于模型（BP） 2) 基于自組織網(wǎng)絡（SOM）神經網(wǎng)絡用于容錯控制 1）基于整體性設計 2）基于監(jiān)督學習控制器9/23/202280研究生論壇講座應用中存在的主要問題ANN結構確定需一定經驗，存在過擬合和欠擬合現(xiàn)象ANN 學習系統(tǒng)為迭代算法，為一非線性優(yōu)化問題，

23、收斂性分析較困難ANN系統(tǒng)本質為非線性系統(tǒng)，其動態(tài)系統(tǒng)分析與設計存在一定困難目前缺少相應的ANN硬件,實現(xiàn)有一定困難。9/23/202281研究生論壇講座神經網(wǎng)絡工具箱1）MATLAB NN toolbox 通用工具箱，有多種模型2）nnsysyid 3）nnctrl 適用于非線性系統(tǒng)建模和控制9/23/202282研究生論壇講座4. 人工神經網(wǎng)絡研究趨勢簡要回顧發(fā)展歷程1）用于控制系統(tǒng)時,常常利用穩(wěn)定性原理設計學習算法;2） 第3代神經網(wǎng)絡脈沖神經網(wǎng)絡(SNN)，用于處理生物信息有特有優(yōu)勢;9/23/202283研究生論壇講座ANN的發(fā)展史20世紀40年代：興起與蕭條 1943年 M-P m

24、odel 心理學家W.S.McCulloch和 數(shù)學家W.Pitts提出： 形式神經元的數(shù)學描述與構造方法 與閥值神經元model基本相同，權值固定 1949年 心理學家D.O.Hebb提出突觸強度可調的 假設： 學習過程發(fā)生在突觸上 Hebb規(guī)則：9/23/202284研究生論壇講座20世紀50年代 , 第一次高潮 1957年：F.Rosenblatt提出感知網(wǎng)絡（Perceptron）模型，這是第一個完整的ANN 基本構成為閥值單元、網(wǎng)絡 初具并行處理、分布存儲、學習等功能 用于模式識別、聯(lián)想記憶 引起NN研究的第一次高潮9/23/202285研究生論壇講座20世紀60年代,低潮1969年

25、 Minsky和Papert編寫的Perceptron 出版，使NN的研究進入低潮 Problems：single lager P.僅可解線性問題， NL XOR無法求解； 求解XOR 應該是MLP， 但MLP是否有意義，理論上不能得到有力證明 當時現(xiàn)狀：數(shù)字計算機發(fā)達，認為可解決一切問題 工業(yè)水平上，NNC不存在 但工作并未停止。 9/23/202286研究生論壇講座1975年 Albus提出CMAC網(wǎng)絡（Cerebella Model Articulation Controller） 1977年 英國 Grossberg提出ART網(wǎng)絡 （Adaptive Resonance Theory）

26、 Kohonen提出自組織映射理論 福島邦彥（K.Fukushima）提出認識 機（Neocognitron）模型 甘利?。⊿.Amari）：NN數(shù)學理論其它NL系統(tǒng)理論 Prigogine 非平衡系統(tǒng)的自組織理論 Haken 協(xié)同學9/23/202287研究生論壇講座20世紀80年代 第二次高潮Reasons: 1）AI理論、 Neumann計算機功能受挫（智能、視覺處理等） 2）ANN有新成果、腦科學、神經科學 、 VLSI、光電技術的發(fā)展 9/23/202288研究生論壇講座J.J.Hopfield 1982年 Hopfield網(wǎng)絡模型：網(wǎng)絡能量、網(wǎng)絡穩(wěn)定性判據(jù) 1984年 HNN用電子

27、線路 實現(xiàn) HNN用途：聯(lián)想記憶、優(yōu)化計算機的新途徑1984年 Hilton 引入模擬退火法，提出Boltzmann機網(wǎng)絡1986年 Rumelhart提出EBP學習算法，解決了MLP隱含層的 weights 學習問題（error Back-Propagation）9/23/202289研究生論壇講座1987年 Nielson提出了對向傳播（Counter Propagation）神經網(wǎng)絡1988年 L.O.Chua提出細胞神經網(wǎng)絡（CNN）模型，1988 Broomhead and Lowe提出 RBF網(wǎng)絡1990 Vapnik 支持向量機SVM自1958年來已有近40種NN model9/

28、23/202290研究生論壇講座History spiking neural networks (Feng, Cogs) Vapnik (1990) -support vector machineBroomhead & Lowe (1988) -Radial basis functions (RBF) Linsker (1988) - Informax principleRumelhart, Hinton - Back-propagation & Williams (1986)Kohonen(1982) - Self-organizing mapsHopfield(1982) - Hopfie

29、ld NetworksMinsky & Papert(1969) - Perceptrons Rosenblatt(1960) - PerceptronMinsky(1954) - Neural Networks (PhD Thesis)Hebb(1949) -The organization of behaviourMcCulloch & Pitts (1943) -neural networks and artificial intelligence were born9/23/202291研究生論壇講座NN研究學術機構 1987年 國際神經網(wǎng)絡學會 定期召開ICNN會議 1988年 IEEE Transaction on Neural Networks創(chuàng)刊 1990.12 CCNN（中國）第一次會議 1991年 中國神經網(wǎng)絡學會9/23/202292研究生論壇講座AC需求處理不斷復雜的對象完成不斷復雜的設計在對象和環(huán)境的知識所知甚少的情況下達到以上兩點要求9/23/202293研究生論