人工神經網絡緒論.ppt

1、1,張凱 副教授,武漢科技大學 計算機學院,人工神經網絡(Artifical Neural Network),2,第一章 神經網絡概述,1. 人工智能與神經網絡,2. 人工神經網絡的基本概念,3. 人工神經網絡研究的歷史,4. 人工神經網絡的應用領域,人工智能,人工智能（Artificial Intelligence，簡記為AI）最初在1956年被引入。它研究怎樣讓計算機模仿人腦從事推理、設計、思考、學習等思維活動，以解決和處理較復雜的問題。,智能的概念,智能是個體有目的的行為，合理的思維，以及有效的適應環(huán)境的綜合能力。智能是個體認識客觀事物和運用知識解決問題的能力。 人類個體的智能是一種綜合

2、能力。 研究人工智能的目的模擬人的智能，將人類從復雜的腦力勞動中解脫出來,4,感覺器官,神經系統(tǒng),認知,效應器官,外部世界,決策,神經系統(tǒng),思維器官,典型的 “智力生成過程”,信息獲取,信息傳遞,信息認知,信息執(zhí)行,外部世界,信息再生,信息傳遞,認識論信息,知識,智能策略,狹義智能,本體論信息,認識論信息,智能策略,智能行為,人類智力的信息本質,人工智能,7,1.感知與認識客觀事物、客觀世界和自我的能力 2.通過學習取得經驗與積累知識的能力 3.理解知識，運用知識和經驗分析、解決問題的能力 4.聯想、推理、判斷、決策的能力 5.運用語言進行抽象、概括的能力 6.發(fā)現、發(fā)明、創(chuàng)造、創(chuàng)新的能力 7

3、.實時、迅速、合理地應付復雜環(huán)境的能力 8.預測、洞察事物發(fā)展變化的能力,人工神經網絡的提出,智能可以包含8個方面 感知與認識客觀事物、客觀世界和自我的能力 感知是智能的基礎最基本的能力 通過學習取得經驗與積累知識的能力 這是人類在世界中能夠不斷發(fā)展的最基本能力。 理解知識，運用知識和經驗分析、解決問題的能力 這一能力可以算作是智能的高級形式。是人類對世界進行適當的改造，推動社會不斷發(fā)展的基本能力。,2020/9/13,9,人工神經網絡的提出,聯想、推理、判斷、決策語言的能力 這是智能的高級形式的又一方面。 預測和認識 “主動”和“被動”之分。聯想、推理、判斷、決策的能力是“主動”的基礎。 運

4、用進行抽象、概括的能力 上述這5種能力，被認為是人類智能最為基本的能力,2020/9/13,10,人工神經網絡的提出,作為5種能力綜合表現形式的3種能力 發(fā)現、發(fā)明、創(chuàng)造、創(chuàng)新的能力 實時、迅速、合理地應付復雜環(huán)境的能力 預測、洞察事物發(fā)展、變化的能力,人工神經網絡從以下四個方面去模擬人的智能行為,1. 物理結構：人工神經元將模擬生物神經元的功能 2. 計算模擬 ：人腦的神經元有局部計算和存儲的功能，通過連接構成一個系統(tǒng)。人工神經網絡中也有大量有局部處理能力的神經元，也能夠將信息進行大規(guī)模并行處理 3.存儲與操作：人腦和人工神經網絡都是通過神經元的連接強度來實現記憶存儲功能，同時為概括、類比、

5、推廣提供有力的支持 4. 訓練：同人腦一樣，人工神經網絡將根據自己的結構特性，使用不同的訓練、學習過程，自動從實踐中獲得相關知識,人工智能,生物神經元及其網絡,生物神經元及其網絡,生物神經元及其網絡,人工神經元及其網絡,人工神經元及其網絡,2020/9/13,17,人工神經網絡的概念,定義(1) HechtNielsen（1988年）,人工神經網絡的概念,人工神經網絡是一個并行、分布處理結構，它由處理單元及其稱為聯接的無向訊號通道互連而成。這些處理單元（PEProcessing Element）具有局部內存，并可以完成局部操作。 每個處理單元有一個單一的輸出聯接，這個輸出可以根據需要被分枝成希

6、望個數的許多并行聯接，且這些并行聯接都輸出相同的信號，即相應處理單元的信號，信號的大小不因分支的多少而變化。,人工神經網絡的概念,處理單元的輸出信號可以是任何需要的數學模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經過輸入聯接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內存中的值。,2020/9/13,20,人工神經網絡的概念,強調： 并行、分布處理結構； 一個處理單元的輸出可以被任意分枝，且 大小不變； 輸出信號可以是任意的數學模型； 處理單元完全的局部操作,人工神經網絡的概念,定義(2) Rumellhart，McClelland，Hinton,人工神

7、經網絡的概念,1） 一組處理單元（PE或AN）； 2） 處理單元的激活狀態(tài)（ai）； 3） 每個處理單元的輸出函數（fi）； 4） 處理單元之間的聯接模式； 5） 傳遞規(guī)則（wijoi）； 6） 把處理單元的輸入及當前狀態(tài)結合起來產生激 活值的激活規(guī)則（Fi）； 7） 通過經驗修改聯接強度的學習規(guī)則； 8） 系統(tǒng)運行的環(huán)境（樣本集合）。,2020/9/13,23,人工神經網絡的概念,Simpson（1987年） 人工神經網絡是一個非線性的有向圖，圖中含有可以通過改變權大小來存放模式的加權邊，并且可以從不完整的或未知的輸入找到模式。,什么是神經網絡,由多個非常簡單的處理單元彼此按某種方式相互連接

8、而形成的計算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對外部輸入信息的動態(tài)響應來處理信息的。 一種由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網絡的結構、連接強度以及其各單元的處理方式 是一種旨在模仿人腦結構及其功能的信息處理系統(tǒng),24,神經網絡的計算能力有以下優(yōu)點： (1)大規(guī)模并行分布式結構 (2)神經網絡學習能力以及由此而來的泛化能力。泛化是指神經網絡對不在訓練（學習）集中的數據可以產生合理的輸出,25,神經網絡的優(yōu)點,非線性 人工神經網絡可以是線性的也可以是非線性的，一個由非線性神經元組成的神經網絡自身是非線性的 輸入輸出映射 每個樣本由一個惟一的輸入信號和相應期望響應組成。從一個訓練集中隨機選

9、取一個樣本給網絡，網絡就調整它的突觸權值（自由參數），以最小化期望響應和由輸入信號以適當的統(tǒng)計準則產生的實際響應之間的偏差。,神經網絡的性質和能力,適應性神經網絡具有調整自身突觸權值以適應外界變化的能力。 VLSI(超大規(guī)模集成)實現神經網絡的大規(guī)模并行性使它具有快速處理某些任務的潛在能力，適用于VLSI技術實現。 神經生物類比神經網絡是由對人腦的類比引發(fā)的，可以用神經生物學來作為解決復雜問題的新思路。,神經網絡的性質和能力,神經網絡的分類,從結構分類 前饋神經網絡(Feedforward Neural Network) 反饋神經網絡(Feedback Neural Network) 從學習方

10、式分類 有教師學習 無教師學習,28,有教師學習,事先有一批正確的輸入輸出數據對，將輸入數據加載到網絡輸入端后，把網絡的實際響應輸出與正確（期望的）輸出相比較得到誤差。 根據誤差的情況修正各連接權，使網絡朝著正確響應的方向不斷變化下去。 直到實際響應的輸出與期望的輸出之差在允許范圍之內，這種學習方法通稱為誤差修正算法。典型的有誤差反向傳播(Back Propagation, 簡寫為BP)算法。,29,無教師學習,自組織學習：使網絡具有某種“記憶”能力，以至形成“條件反射”。當曾經學習過的或相似的刺激加入后，輸出端便按權矩陣產生相應的輸出。如自組織映射(Self Organization Map

11、ping, 簡寫為SOM)算法。 無監(jiān)督競爭學習：將處理單元劃分為幾個競爭塊。在不同的塊之間有刺激連接，而同一塊的不同節(jié)點之間有抑制連接，從而當外界對不同塊的一個單元施加刺激后，將激活不同塊中互聯最強的一組單元，得到對該刺激的一個整體回憶。,神經網絡發(fā)展的四個時期 啟蒙時期（18901969） 低潮時期（19691982） 復興時期（19821986） 高潮時期（1987 ）,31,從19世紀末開始神經網絡的發(fā)展歷史，可以看出它與神經生理學、數學、電子學、計算機科學以及人工智能學之間的聯系。,人工神經網絡的研究歷史,1890年，美國心理學家William James發(fā)表了第一部詳細論述人腦結構

12、及功能的專著心理學原理(Principles of Psychology)，對相關學習、聯想記憶的基本原理做了開創(chuàng)性研究。,32,啟蒙時期,33,啟蒙時期,1943，心理學家麥克洛奇(McCulloch)和數理邏輯學家皮茲(Pitts)從信息處理的角度出發(fā)，提出了形似神經元的著名的閾值加權和模型，簡稱為M-P模型。發(fā)表于數學生物物理學會刊Bulletin of Methematical Biophysics，從此開創(chuàng)了神經科學理論的新時代。,啟蒙時期,這種單個神經元模型功能較弱，但連接而成的網絡可以實現邏輯運算，包括三種基本運算：邏輯乘法(又稱“與”運算)、邏輯加法(又稱“或”運算)和邏輯否定

13、(又稱“非”運算)。 它開創(chuàng)了神經網絡模型的理論研究，為各種神經元模型及網絡模型的研究打下了基礎。,2020/9/13,34,35,啟蒙時期,1949年，心理學家赫布（Hebb）在行為構成（Organization of Behavior）一書中提出了連接權訓練算法，即Hebb算法。,啟蒙時期,Hebb提出神經元之間突觸聯系強度可變的假設。他認為學習過程是在突觸上發(fā)生的，突觸的聯系強度隨其前后神經元的活動而變化。根據這一假說提出了改變神經元連接強度的Hebb規(guī)則。它對以后人工神經網絡的結構及算法都有很大影響。Hebb的學習算法在不少人工神經網絡中應用。,2020/9/13,36,啟蒙時期,19

14、57年，羅森布蘭特(Rosenblatt)提出了感知器(Perception)的概念，試圖模擬人腦的感知學習能力。,啟蒙時期,Rosenblatt提出的感知器模型，第一次把神經網絡的研究付諸工程實踐。這是一種學習和自組織的心理學模型，它基本上符合神經生理學的知識，模型的學習環(huán)境是有噪聲的，網絡構造中存在隨機連接，這符合動物學習的自然環(huán)境。 這是第一個真正的人工神經網絡，他給出了兩層感知器的收斂定理。后來的一大類神經網絡模型都是感知器模型的變形。,啟蒙時期,1962年，韋德羅（Widrow）和胡佛（Hoff）提出了自適應線性單元（Adaline），這是一個連續(xù)取值的線性網絡。,Ted Hoff,

15、Bernard Widrow,2020/9/13,40,啟蒙時期,Marvin Minsky，Frank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級感知器(Perceptron)。 可用電子線路模擬。 人們樂觀地認為幾乎已經找到了智能的關鍵。許多部門都開始大批地投入此項研究，希望盡快占領制高點。,低潮時期,1969年，人工神經網絡的創(chuàng)始人之一明斯基（Minsky）和佩珀特（Papert）發(fā)表了感知器一書，對感知器的能力表示了懷疑態(tài)度，使神經網絡的研究受到了影響，神經網絡的研究從此走向低谷。,低潮時期,60年代末，美國著名人工智能學者Minsky和Papart對

16、Rosenblatt的工作進行了深入的研究，寫了很有影響的感知器一書，指出感知器的處理能力有限，單層感知器只能作線性劃分，對于非線性或其他分類會遇到很大的困難。這時應采用含有隱單元的多層神經網絡，但引入隱單元后找到一個有效的學習算法非常困難，Minsky斷言這種感知器無科學研究價值可言，包括多層的也沒有什么意義。,2020/9/13,42,低潮時期,匯編語言中 xor eax, eax 1 xor 1 = 0 因為1和1相同0 xor 0 = 0 因為0和0相同1 xor 0 = 1 因為1和0不同0 xor 1 = 1 因為1和0不同 初始化清 0。速度比賦值快。,低潮時期,一、交換兩個整數

17、的值而不必用第三個參數 二、奇偶判斷 三、格雷碼(Gray code) 格雷碼(Gray code)是由貝爾實驗室的Frank Gray在1940年提出，用于在PCM(Pusle Code Modulation)方法傳送訊號時防止出錯。 四、奇數分頻電路,低潮時期,這個結論對當時的神經網絡研究無疑是一個沉重的打擊，客觀上對神經網絡的研究起了一定的消極作用。同時當時的微電子技術也無法為神經網絡的研究提供有效的技術保障。故在其后的十幾年內，從事神經網絡研究的人數及經費支持大大下降，神經網絡研究處于低潮。,2020/9/13,45,低潮時期,然而在此期間，仍有為數不多的學者致力于神經網絡的研究，19

18、69年Grossberg等提出了自適應共振理論模型。1972年Kohenen提出自組織映射的理論模型，并稱神經網絡為聯想存貯器。所有這些理論為神經網絡的進一步發(fā)展奠定了理論基礎。,2020/9/13,46,47,低潮時期,1969年，美國學者格諾斯博格（Grossberg）和卡普特爾（Carperter）提出了自適應共振理論（ART）模型。,低潮時期,ART競爭神經網絡 見到一個人。如果我們認識這個人，我們馬上就能知道認識他！該怎么理解呢？其實，大腦已經存在了這個人的面孔的印象，看到這個人，我們的大腦有個搜索對比的過程或者說是回憶的過程，如果能夠搜索到（回憶），那么恭喜你，你認出這個人了相反，

19、如果這個人是陌生人，大腦慘了，搜索了半天，沒有搜到（回憶），罷工了，不認識，還是陌生人，不要生氣，大腦沒有罷工，它已默默將這個人的面孔存儲起來了！如果你后續(xù)跟這個人還有更多聯系的話，比如再見面或者一起說話、交往，大腦對這個人的記憶會逐漸加強！實際生活中，我們會有對某個人好像在哪兒見過面的感覺，其實這種感覺正是大腦對這個人的記憶還不夠強烈所產生的！,49,低潮時期,1972年，芬蘭學者克豪南（Kohonen）提出了自組織映射（SOM）理論。,50,低潮時期,腦科學的研究表明，人類大腦皮層中的細胞群存在著廣泛地自組織現象。處于不同區(qū)域的神經元具有不同的功能，它們具有不同特征的輸入信息模式，對不同感

20、官輸入模式的輸入信號具有敏感性，從而形成大腦中各種不同的感知路徑。并且這種神經元所具有的特性不是完全來自生物遺傳，而是很大程度上依賴于后天的學習和訓練。,低潮時期,自組織映射網絡(Self-Organizing Feature Maps，SOM)就是根據這種理論而提出的，現在已成為應用最為廣泛的自組織神經網絡方法。Kohonen認為處于空間中不同區(qū)域的神經元有不同的分工,當一個神經網絡接受外界輸入模式時,將會分為不同的反應區(qū)域,各區(qū)域對輸入模式具有不同的響應特征。這種網絡模擬大腦神經系統(tǒng)自組織特征映射的功能。它是一種競爭型神經網絡，采用無監(jiān)督學習算法進行網絡訓練，此網絡廣泛地應用于樣本分類、排

21、序和樣本檢測方面。,低潮時期,1979年，福島邦彥（Fukushima）提出了認知機（Necognitron）理論。,認知機(Neocognitron)由Fukushima于1972年提出，是迄今為止結構最復雜的多層網絡，通過無導師學習，具有選擇性注意能力，對樣品的平穩(wěn)、旋轉不敏感。缺點是參數不易選擇。主要用于字符識別。,低潮時期,1977，神經心理學家安德森（Anderson）提出了BSB(Brain-State-in-a-Box)模型。,BSB模型是一種結點之間存在橫向連接和結點自反饋的單層網絡，可用最自聯想離鄰近分類器，并可存儲任何模擬向量模式。,低潮時期,1974，韋伯斯（Werbos

22、）提出了BP理論，為神經網絡的發(fā)展奠定了基礎。,復興時期,1982年，美國加州工程學院物理學家Hopfield在美國科學院院刊上發(fā)表論文，提出了一個用于聯想記憶及優(yōu)化計算的新途徑Hopfield模型, 。,復興時期,1982年，J. Hopfield提出循環(huán)網絡 用Lyapunov函數作為網絡性能判定的能量函數，建立ANN穩(wěn)定性的判別依據 闡明了ANN與動力學的關系 用非線性動力學的方法來研究ANN的特性 指出信息被存放在網絡中神經元的聯接上,復興時期,1984年對Hopfield模型進行修改，提出了利用模擬電路的基礎元件構成了人工神經網絡的硬件原理模型，為實現硬件奠定了基礎。1985年Hop

23、field和Tank提出用神經網絡解決TSP組合優(yōu)化問題。,復興時期,Hopfield模型的動作原理是：只要由神經元興奮的算法和神經元之間結合強度所決定的神經網絡的狀態(tài)在適當給定的興奮模式下尚未達到穩(wěn)定，那么該狀態(tài)就會一直變化下去，直到預先定義的一個必定減小的能量函數達到極小值時，狀態(tài)才達到穩(wěn)定而不再變化。,58,復興時期,1984年，Hopfield設計并研制了他提出的神經網絡模型的電路，并指出網絡中的每一個神經元可以用運算放大器來實現。他同時進行了神經網絡應用研究，成功解決了旅行商（TSP）問題，引起世人震驚。這些成果使對神經網絡的研究重新進入了一個新的興盛時期。,復興時期,1985年，U

24、CSD的Sejnowsky、Rumelhart、Hinton等人所在的并行分布處理（PDP）小組的研究者在Hopfield網絡中引入了隨機機制，提出所謂的Boltzmann機。,復興時期,1986年，Rumelhart和McClelland提出了多層網絡學習的誤差反向傳播學習算法（BP算法），較好地解決了多層網絡的學習問題。,歷史總結,神經網絡的研究已有50多年的歷史，它的發(fā)展道路是曲折的，幾經興衰，目前已在許多領域得到了成功的應用。,2020/9/13,62,歷史總結,上世紀40年代 興奮與抑制型神經元模型（Mcculloch，Pitts） 神經元連接強度的修改規(guī)則（Hebb） 上世紀50年

25、代、60年代 感知機（Rosenblatt）和自適應性元件（Widrow） 上世紀70年代 Perceptron一書出版（Minsky和Papert）研究處于低潮 上世紀80年代后 Rumelhart，Mcclelland以及Hopfield等取得突破性進展,(1)開發(fā)現有模型的應用，并在應用中根據實際運行情況對模型、算法加以改造，以提高網絡的訓練速度和運行的準確度。 (2)充分發(fā)揮兩種技術各自的優(yōu)勢是一個有效方法 (3)希望在理論上尋找新的突破，建立新的專用/通用模型和算法。 (4)進一步對生物神經系統(tǒng)進行研究，不斷地豐富對人腦的認識。,新時期研究熱點問題,理論方面 支持向量機和核方法(SV

26、M and Kernel Methods) 圖模型(Graphical Models) 統(tǒng)計學習方法(Statistical Learning Algorithm) 高斯過程（Gaussian Process) 泛化問題和模型選擇(Generalization and Model Selection) 貝葉斯學習(Bayesian Learning) 遞歸神經網絡(Recurrent Neural Networks)等,65,新時期研究熱點問題,66,實際應用 圖象處理(Image Processing) 人臉識別(Face Recognition) 語音信號處理(Voice Processi

27、ng) 時間序列分析(Time Series Analysis) 機器人控制(Robot Control)等,新時期研究熱點問題,國家自然科學基金資助,2006年有42項研究課題 2005年有40項研究課題 2004年有32項研究課題 2003年有26項研究課題 2002年有26項研究課題 2001年有18項研究課題 2000年有20項研究課題 1999年有22項研究課題,67,神經網絡研究的比重逐年增加，已經引起越來越多的國內學者的關注，并成為信息學科的一個研究熱點和重點。,68,1988年，Neural Networks創(chuàng)刊 1990年，IEEE Transactions on Neura

28、l Networks創(chuàng)刊,國際學術期刊,IEEE Trans. on Neural Networks,Neural Networks,主要內容,第一章：引論 智能的概念、智能系統(tǒng)的特點及其描述基本模型，人工神經網絡的特點、發(fā)展歷史、及其應用領域。,主要內容,第二章 神經元模型和網絡結構 生物神經網絡模型，人工神經元模型與典型的激勵函數；人工神經網絡的基本拓撲特性，存儲類型及映象。,主要內容,第三章 感知器 感知器與人工神經網絡的早期發(fā)展；單層網能解決線性可分問題，而無法解決線形不可分問題，要想解決這一問題，必須引入多層網；Hebb學習律，Delta規(guī)則，感知器的訓練算法,主要內容,第四章 線性

29、神經網絡和LMS算法 自適應線性神經元ADALINE(Adaptive Linear Neuron),它是線性神經網絡最早的典型代表,其學習算法稱之為 LMS (least mean squares最小均方差)算法或Widrow-Hoff學習規(guī)則。,主要內容,第五章 BP神經網絡 BP（rror Back propagation）網絡的構成及其訓練過程；隱藏層權調整方法的直觀分析，BP訓練算法中使用的Delta規(guī)則（最速下降法）的理論推導；算法的收斂速度及其改進討論；BP網絡中的幾個重要問題。,主要內容,第六章 Hopfield網絡 離散型Hopfield網絡和連續(xù)性Hopfield網絡，Ho

30、pfield網絡是以電路方式提出的反饋網絡；可用于聯想記憶和優(yōu)化計算；用能量函數評價網絡的穩(wěn)定性；可用于求解組合優(yōu)化問題(TSP問題) 。,主要內容,第七章 Boltzmann機網絡 Boltzmann機將模擬退火算法引入Hopfield網絡，可以利用模擬退火的優(yōu)點跳出局部最優(yōu)，而達到全局最優(yōu)化。學習以統(tǒng)計學和概率方法研究隨機神經網絡。,2020/9/13,78,主要內容,第八章 自適應共振理論 人腦的穩(wěn)定性與可塑性問題；ART模型的總體結構與分塊描述；比較層與識別層之間的兩個聯接矩陣的初始化，識別過程與比較過程，查找的實現；訓練討論。,神經網絡的基本特征,神經網絡的特征歸納為結構特征和能力特

31、征。 1. 結構特征并行處理、分布式存儲與容錯性 2. 能力特征自學習、自組織與自適應性,79,2020/9/13,80,學習能力(Learning),人工神經網絡可以根據所在的環(huán)境去改變它的行為 自相聯的網絡 異相聯的網絡：它在接受樣本集合A時，可以抽取集合A中輸入數據與輸出數據之間的映射關系?！俺橄蟆惫δ堋?不同的人工神經網絡模型，有不同的學習/訓練算法,2020/9/13,81,基本特征的自動提取,由于其運算的不精確性，表現成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實現模式的自動分類。 泛化（Generalization）能力與抽象能力,神經網絡的基本功能,聯想記憶,82,

32、由于神經網絡具有分布存儲信息和并行計算的性能，因此它具有對外界刺激信息和輸入模式進行聯想記憶的能力。這種能力是通過神經元之間的協(xié)同結構以及信息處理的集體行為實現的。神經網絡是通過其突觸權值和連接結構來表達信息的記憶。這種分布式存儲使得神經網絡能存儲較多的復雜模式和恢復記憶的信息。,聯想記憶,自聯想記憶 網絡中預先存儲（記憶）多種模式信息，當輸入某個已存儲模式的部分信息或帶有噪聲干擾的信息時，網絡能通過動態(tài)聯想過程回憶起該模式的全部信息。,神經網絡的基本功能,異聯想記憶 網絡中預先存儲了多個模式對，每一對模式均由兩部分組成，當輸入某個模式對的一部分時，即使輸入信息是殘缺的或迭加了噪聲，網絡也能回

33、憶起與其對應的另一部分。,聯想記憶,神經網絡的基本功能,85,神經網絡的基本功能,86,神經網絡的基本功能,非線性映射,設計合理的神經網絡通過對系統(tǒng)輸入輸出樣本對進行自動學習，能夠以任意精度逼近任意復雜的非線性映射。,87,神經網絡的基本功能,非線性映射,88,神經網絡的基本功能,分類與辨識,對輸入樣本的分類實際上是在樣本空間找出符合分類要求的分割區(qū)域，每個區(qū)域內的樣本屬于一類。,89,神經網絡的基本功能,優(yōu)化計算,指在已知的約束條件下，尋找一組參數組合，使由該組合確定的目標函數達到最小值。,90,神經網絡的基本功能,知識處理,神經網絡的知識抽取能力使其能夠在沒有任何先驗知識的情況下自動從輸入

34、數據中提取特征，發(fā)現規(guī)律，并通過自組織過程加強自身，構建適合于表達所發(fā)現的規(guī)律。,信號處理 神經網絡廣泛用于自適應信號處理（自適應濾波、時間序列預測等）和非線性信號處理（非線性濾波、非線性預測等） 模式識別 模式識別涉及模式的預處理變換和將一種模式映射轉為其他類型的操作。神經網絡在這兩個方面都有許多成功的應用，例如對圖象、語音的處理以及手寫字的識別等。,ANN應用領域信息領域,數據壓縮 神經網絡可以對待傳送（或待存儲）的數據提取模式特征，只將該特征傳出（或存儲），接收（或使用）時再將其轉換為原始模式。,92,ANN應用領域信息領域,汽車工程 神經網絡已經成功應用于擋位選擇系統(tǒng)、剎車智能控制系統(tǒng)

35、以及柴油機燃燒系統(tǒng)中。 軍事工程 神經網絡已應用于飛行器的跟蹤、水下潛艇位置分析、密碼學等軍事領域。 化學工程 神經網絡在制藥、生物化學、化學工程領域取得了不少成果。例如，譜分析、化學反應生成物的鑒定等。,ANN應用領域工程領域,水利工程 水力發(fā)電過程辨識和控制、河川徑流預測、河流水質分類、水資源規(guī)劃等實際問題中都有神經網絡的應用。,94,ANN應用領域工程領域,檢測數據分析 利用神經網絡多道腦電棘波檢測系統(tǒng)可用來提供腦電棘波的實時檢測和癲癇的預報。 生物活性研究 用神經網絡對生物學檢測數據進行分析，可提取致癌物的分子結構特征，建立分子結構和致癌活性之間的定量關系，并對分子致癌活性進行預報。

36、醫(yī)學專家系統(tǒng) 利用神經網絡學習功能、聯想記憶功能和分布式并行信息處理功能，來解決醫(yī)學專家系統(tǒng)中的知識表示、獲取和并行推理等問題。,ANN應用領域醫(yī)學領域,信貸分析 神經網絡評價系統(tǒng)將公司貸款申請表中的關鍵數據編碼為輸入向量，將實際的信用情況作為輸出評價，用數以千計的歷史數據對網絡進行訓練后，可給出準確的評價結果。 市場預測 神經網絡的市場預測已經廣泛應用于股票和期貨價格的預測中。,ANN應用領域經濟學領域,自動控制是上世紀中形成和發(fā)展起來的一門新興學科，它是一門涉及到諸如數學、計算機、信息、電工、電子等眾多領域的交叉學科。它的應用和影響，已經遍及很多的技術和社會科學領域。 在自動控制發(fā)展的過程

37、中，計算機科學一直對它產生著巨大的影響。隨著科學技術的發(fā)展，對控制系統(tǒng)智能化的要求也越來越高。,97,人工神經網絡與自動控制,神經網絡的應用已經滲透到自動化控制領域的各個方面，包括系統(tǒng)辨識、系統(tǒng)控制、優(yōu)化算法以及控制系統(tǒng)的故障診斷與容錯控制等。 系統(tǒng)辨識 傳統(tǒng)的辨識方法，對于一般的非線性系統(tǒng)的辨識是很困難的，而神經網絡卻為此提供了一個有力的工具。與傳統(tǒng)的基于算法的辨識方法相比，神經網絡系統(tǒng)辨識具有如下特點： (1) 由于神經網絡可以任意精度逼近非線性函數，故它可以為非線性系統(tǒng)的辨識提供一個通用的模式,人工神經網絡與自動控制,(2)神經網絡系統(tǒng)辨識是非算法式的，神經網絡本身就是辨識模型，其可調參

38、數反映在網絡內部的連接權上。不需要建立以實際系統(tǒng)數學模型為基礎的辨識格式，故可以省去辨識前對系統(tǒng)建模這一步驟。 (3)神經網絡作為實際系統(tǒng)的辨識模型，實際上也是系統(tǒng)的一個物理實現，可應用于在線控制。,99,人工神經網絡與自動控制,神經控制器 控制器在實施控制系統(tǒng)中起著大腦的作用神經網絡具有自學習和自適應的等智能特點，非常適合做控制器。對于復雜的非線性系統(tǒng)，神經控制器所能達到的控制效果往往明顯好于常規(guī)控制器。 故障診斷與容錯控制 神經網絡故障診斷與容錯控制有兩種途徑：一種是在傳統(tǒng)的方法中使用神經網絡；另一種是用神經網絡直接構成具有容錯能力的控制器。,人工神經網絡與自動控制,機器學習T. M. M

39、itchell,駕駛汽車的人工神經網絡,人臉識別的人工神經網絡,手寫數字識別的人工神經網絡,神經網絡的收斂性和穩(wěn)定性問題 在逼近非線性函數問題上，神經網絡的現有理論只解決了存在性問題 神經網絡的學習速度一般比較慢，為滿足實時控制的需要，必須予以解決 對于控制器和辨識器，如何選擇合適的神經網絡模型與確定的結構，尚無理論指導,難點問題,105,參考書目,參考書目,107,參考書目,Simon Haykin著, 葉世偉, 史忠植譯. 神經網絡原理. 機械工業(yè)出版社, 2004 George F. Luger著,史忠植等譯. 人工智能復雜問題求解的結構和策略. 機械工業(yè)出版社, 中信出版社 蔣宗禮.

40、人工神經網絡導論. 高等教育出版社，2001 胡守仁，余少博，戴葵. 神經網絡導論. 國防科技大學出版社，1993 韓力群. 人工神經網絡理論、設計及應用. 化學工業(yè)出版社，2002 王旭，王宏，王文輝. 人工神經元網絡原理與應用. 東北大學出版社，2000 徐麗娜. 神經網絡控制. 哈爾濱工業(yè)大學出版社，1999 閻平凡，張長水. 人工神經網絡與模擬進化計算. 清華大學出版社，,著名學者,108,Prof. Michael I. Jordan 美國加州大學伯克利分校 獲加州大學博士學位 研究方向: 圖模型、變分方法、機器學習等。 曾在麻省理工學院工作11年。已發(fā)表200多篇科技論文。國際上許

41、多神經網絡和機器學習方面的專家都曾師從Jordan教授，包括香港中文大學的徐雷教授。,著名學者,109,Prof. Bernhard Scholkopf 德國Max Planck生物控制論研究院 1997年獲柏林科技大學博士學位 研究方向: 機器學習、感知器、支持向量機和核方法。 Scholkopf教授是國際著名雜志Journal of Machine Learning Research、IEEE Trans. On Pattern Analysis and Machine Intelligence, 和International Journal of Computer Vision編輯委員會成員。,著名學者,110,Prof. Lawrence Saul 加州大學圣地牙哥分校 1994年獲麻省理工學院博士學位 研究方向：機器學習、模式識別、神經網絡、語音處理等。 Saul教授的高維數據的分析方法和可視化、非線性維數化簡已被應用于很多實際科學和工程領域。他發(fā)表文章的引用率已經進入計算機科學的前1%，另外他也是著名國際期刊Journal of Machine Learni