第一章神經(jīng)網(wǎng)絡(luò)概述

神經(jīng)網(wǎng)絡(luò)導(dǎo)論

連捷大連理工大學(xué)電信學(xué)院E-mail:jielian@

1第一章神經(jīng)網(wǎng)絡(luò)概述第二章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第三章前饋神經(jīng)網(wǎng)絡(luò)第四章反饋神經(jīng)網(wǎng)絡(luò)第五章支持向量機(jī)第六章自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第七章神經(jīng)網(wǎng)絡(luò)辨識(shí)與控制教學(xué)安排2第一章神經(jīng)網(wǎng)絡(luò)概述§1.1智能的概念§1.2神經(jīng)網(wǎng)絡(luò)的基本概念§1.3人工神經(jīng)網(wǎng)絡(luò)研究的歷史§1.4神經(jīng)網(wǎng)絡(luò)研究的意義§1.5人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域§1.6人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制§1.7小結(jié)參考書目3§1.1智能的概念智能是個(gè)體有目的的行為，合理的思維，以及有效的適應(yīng)環(huán)境的綜合能力。也可以說，智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問題的能力。1.感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力2.通過學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力3.理解知識(shí)，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問題的能力4.聯(lián)想、推理、判斷、決策的能力5.運(yùn)用語言進(jìn)行抽象、概括的能力6.發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力7.實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力8.預(yù)測(cè)、洞察事物發(fā)展變化的能力4人工智能人工智能（ArtificialIntelligence，簡(jiǎn)記為AI）最初在1956年被引入。它研究怎樣讓計(jì)算機(jī)模仿人腦從事推理、設(shè)計(jì)、思考、學(xué)習(xí)等思維活動(dòng)，以解決和處理較復(fù)雜的問題。研究人工智能的目的模擬人的智能，將人類從復(fù)雜的腦力勞動(dòng)中解脫出來5人工神經(jīng)網(wǎng)絡(luò)從以下四個(gè)方面去模擬人的智能行為

1.物理結(jié)構(gòu)人工神經(jīng)元將模擬生物神經(jīng)元的功能

2.計(jì)算模擬人腦的神經(jīng)元有局部計(jì)算和存儲(chǔ)的功能，通過連接構(gòu)成一個(gè)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M(jìn)行大規(guī)模并行處理3.存儲(chǔ)與操作人腦和人工神經(jīng)網(wǎng)絡(luò)都是通過神經(jīng)元的連接強(qiáng)度來實(shí)現(xiàn)記憶存儲(chǔ)功能，同時(shí)為概括、類比、推廣提供有力的支持4.訓(xùn)練同人腦一樣，人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性，使用不同的訓(xùn)練、學(xué)習(xí)過程，自動(dòng)從實(shí)踐中獲得相關(guān)知識(shí)6§1.2神經(jīng)網(wǎng)絡(luò)的基本概念什么是神經(jīng)網(wǎng)絡(luò)？由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來處理信息的。一種由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及其各單元的處理方式是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)7§1.2神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)神經(jīng)網(wǎng)絡(luò)的計(jì)算能力有以下優(yōu)點(diǎn)：大規(guī)模并行分布式結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力以及由此而來的泛化能力。泛化是指神經(jīng)網(wǎng)絡(luò)對(duì)不在訓(xùn)練（學(xué)習(xí)）集中的數(shù)據(jù)可以產(chǎn)生合理的輸出8§1.2神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力非線性人工神經(jīng)網(wǎng)絡(luò)可以是線性的也可以是非線性的，一個(gè)由非線性神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)自身是非線性的輸入輸出映射每個(gè)樣本由一個(gè)惟一的輸入信號(hào)和相應(yīng)期望響應(yīng)組成。從一個(gè)訓(xùn)練集中隨機(jī)選取一個(gè)樣本給網(wǎng)絡(luò)，網(wǎng)絡(luò)就調(diào)整它的突觸權(quán)值（自由參數(shù)），以最小化期望響應(yīng)和由輸入信號(hào)以適當(dāng)?shù)慕y(tǒng)計(jì)準(zhǔn)則產(chǎn)生的實(shí)際響應(yīng)之間的偏差9§1.2神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力適應(yīng)性神經(jīng)網(wǎng)絡(luò)具有調(diào)整自身突觸權(quán)值以適應(yīng)外界變化的能力VLSI(超大規(guī)模集成)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性使它具有快速處理某些任務(wù)的潛在能力，適用于VLSI技術(shù)實(shí)現(xiàn)神經(jīng)生物類比神經(jīng)網(wǎng)絡(luò)是由對(duì)人腦的類比引發(fā)的，可以用神經(jīng)生物學(xué)來作為解決復(fù)雜問題的新思路10神經(jīng)網(wǎng)絡(luò)的一般框架結(jié)構(gòu)

圖中每一個(gè)圓圈代表一個(gè)神經(jīng)元（也稱處理單元或節(jié)點(diǎn)node），每個(gè)節(jié)點(diǎn)之間通過相互連接形成一個(gè)網(wǎng)絡(luò)拓?fù)?。這個(gè)拓?fù)涞哪Ｊ椒Q為神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式。神經(jīng)網(wǎng)絡(luò)以外的部分（虛線方框以外的部分）統(tǒng)稱為神經(jīng)網(wǎng)絡(luò)的環(huán)境。

11神經(jīng)網(wǎng)絡(luò)的分類從結(jié)構(gòu)分類前饋神經(jīng)網(wǎng)絡(luò)(FeedforwardNeuralNetwork)反饋神經(jīng)網(wǎng)絡(luò)(FeedbackNeuralNetwork)從學(xué)習(xí)方式分類有教師學(xué)習(xí)無教師學(xué)習(xí)12有教師學(xué)習(xí)事先有一批正確的輸入輸出數(shù)據(jù)對(duì)，將輸入數(shù)據(jù)加載到網(wǎng)絡(luò)輸入端后，把網(wǎng)絡(luò)的實(shí)際響應(yīng)輸出與正確（期望的）輸出相比較得到誤差。根據(jù)誤差的情況修正各連接權(quán)，使網(wǎng)絡(luò)朝著正確響應(yīng)的方向不斷變化下去。直到實(shí)際響應(yīng)的輸出與期望的輸出之差在允許范圍之內(nèi)，這種學(xué)習(xí)方法通稱為誤差修正算法。典型的有誤差反向傳播(BackPropagation,簡(jiǎn)寫為BP)算法。13無教師學(xué)習(xí)自組織學(xué)習(xí)使網(wǎng)絡(luò)具有某種“記憶”能力，以至形成“條件反射”。當(dāng)曾經(jīng)學(xué)習(xí)過的或相似的刺激加入后，輸出端便按權(quán)矩陣產(chǎn)生相應(yīng)的輸出。如自組織映射(SelfOrganizationMapping,簡(jiǎn)寫為SOM)算法。無監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí)將處理單元?jiǎng)澐譃閹讉€(gè)競(jìng)爭(zhēng)塊。在不同的塊之間有刺激連接，而同一塊的不同節(jié)點(diǎn)之間有抑制連接，從而當(dāng)外界對(duì)不同塊的一個(gè)單元施加刺激后，將激活不同塊中互聯(lián)最強(qiáng)的一組單元，得到對(duì)該刺激的一個(gè)整體回憶。返回14§1.3人工神經(jīng)網(wǎng)絡(luò)的研究歷史

從19世紀(jì)末開始，神經(jīng)網(wǎng)絡(luò)的發(fā)展史可以分為四個(gè)時(shí)期：?jiǎn)⒚蓵r(shí)期（1890～1969）低潮時(shí)期（1969～1982）復(fù)興時(shí)期（1982～1986）高潮時(shí)期（1987～）

從神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史可以看出它與神經(jīng)生理學(xué)、數(shù)學(xué)、電子學(xué)、計(jì)算機(jī)科學(xué)以及人工智能學(xué)之間的聯(lián)系。15啟蒙時(shí)期1890年，美國心理學(xué)家WilliamJames發(fā)表了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著《心理學(xué)原理》(PrinciplesofPsychology)，對(duì)相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本原理做了開創(chuàng)性研究。20世紀(jì)40年代，心理學(xué)家麥克洛奇(McCulloch)和數(shù)理邏輯學(xué)家皮茲(Pitts)從信息處理的角度出發(fā)，采用數(shù)理模型的方法對(duì)神經(jīng)細(xì)胞的動(dòng)作進(jìn)行研究，提出了形似神經(jīng)元的數(shù)學(xué)模型(M-P模型)，從此開創(chuàng)了神經(jīng)科學(xué)理論的新時(shí)代。161949年，心理學(xué)家赫布（Hebb）在《行為構(gòu)成》（OrganizationofBehavior）一書中提出了連接權(quán)訓(xùn)練算法，即Hebb算法。1957年，羅森布蘭特（Rosenblatt）提出了感知器（Perception）的概念，試圖模擬人腦的感知學(xué)習(xí)能力。1962年，韋德羅（Widrow）和胡佛（Hoff）提出了自適應(yīng)線性單元（Adaline），這是一個(gè)連續(xù)取值的線性網(wǎng)絡(luò)。啟蒙時(shí)期171969年，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)始人之一明斯基（Minsky）和佩珀特（Papert）發(fā)表了《感知器》一書，對(duì)感知器的能力表示了懷疑態(tài)度，使神經(jīng)網(wǎng)絡(luò)的研究受到了影響，神經(jīng)網(wǎng)絡(luò)的研究從此走向低谷。啟蒙時(shí)期18低潮時(shí)期1969年，美國學(xué)者格諾斯博格（Grossberg）和卡普特爾（Carperter）提出了自適應(yīng)共振理論（ART）模型。1972年，芬蘭學(xué)者克豪南（Kohonen）提出了自組織映射（SOM）理論。1979年，福島邦彥（Fukushima）提出了認(rèn)知機(jī)（Necognitron）理論。在此之后，神經(jīng)心理學(xué)家安德森（Anderson）提出了BSB模型，韋伯斯（Webos）提出了BP理論，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。19復(fù)興時(shí)期1982年，美國物理學(xué)家Hopfield在美國科學(xué)院院刊上發(fā)表論文，提出Hopfield神經(jīng)網(wǎng)絡(luò)模型。1984年，Hopfield設(shè)計(jì)并研制了他提出的神經(jīng)網(wǎng)絡(luò)模型的電路，并指出網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元可以用運(yùn)算放大器來實(shí)現(xiàn)。他同時(shí)進(jìn)行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研究，成功解決了旅行商（TSP）問題，引起世人震驚。這些成果使對(duì)神經(jīng)網(wǎng)絡(luò)的研究重新進(jìn)入了一個(gè)新的興盛時(shí)期。20Hopfield模型的動(dòng)作原理是：只要由神經(jīng)元興奮的算法和神經(jīng)元之間結(jié)合強(qiáng)度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當(dāng)給定的興奮模式下尚未達(dá)到穩(wěn)定，那么該狀態(tài)就會(huì)一直變化下去，直到預(yù)先定義的一個(gè)必定減小的能量函數(shù)達(dá)到極小值時(shí)，狀態(tài)才達(dá)到穩(wěn)定而不再變化。21新時(shí)期研究熱點(diǎn)問題理論方面支持向量機(jī)和核方法(SVMandKernelMethods)圖模型(GraphicalModels)統(tǒng)計(jì)學(xué)習(xí)方法(StatisticalLearningAlgorithm)高斯過程（GaussianProcess)泛化問題和模型選擇(GeneralizationandModelSelection)貝葉斯學(xué)習(xí)(BayesianLearning)遞歸神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetworks)等22實(shí)際應(yīng)用

圖象處理(ImageProcessing)人臉識(shí)別(FaceRecognition)語音信號(hào)處理(VoiceProcessing)時(shí)間序列分析(TimeSeriesAnalysis)機(jī)器人控制(RobotControl)等

新時(shí)期研究熱點(diǎn)問題232006年有42項(xiàng)研究課題2005年有40項(xiàng)研究課題2004年有32項(xiàng)研究課題2003年有26項(xiàng)研究課題2002年有26項(xiàng)研究課題2001年有18項(xiàng)研究課題2000年有20項(xiàng)研究課題1999年有22項(xiàng)研究課題國家自然科學(xué)基金中的神經(jīng)網(wǎng)絡(luò)研究神經(jīng)網(wǎng)絡(luò)研究的比重逐年增加，已經(jīng)引起越來越多的國內(nèi)學(xué)者的關(guān)注，并成為信息學(xué)科的一個(gè)研究熱點(diǎn)和重點(diǎn)。

241988年，《NeuralNetworks》創(chuàng)刊1990年，《IEEETransactionsonNeuralNetworks》創(chuàng)刊

國際著名期刊25IEEETrans.onNeuralNetworks26NeuralNetworks27著名學(xué)者Prof.MichaelI.Jordan美國加州大學(xué)伯克利分校獲加州大學(xué)博士學(xué)位研究方向:圖模型、變分方法、機(jī)器學(xué)習(xí)等。曾在麻省理工學(xué)院工作11年。已發(fā)表200多篇科技論文。國際上許多神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)方面的專家都曾師從Jordan教授，包括香港中文大學(xué)的徐雷教授。28著名學(xué)者Prof.BernhardScholkopf德國MaxPlanck生物控制論研究院1997年獲柏林科技大學(xué)博士學(xué)位

研究方向:機(jī)器學(xué)習(xí)、感知器、支持向量機(jī)和核方法。Scholkopf教授是國際著名雜志JournalofMachineLearningResearch、IEEETrans.OnPatternAnalysisandMachineIntelligence,和InternationalJournalofComputerVision編輯委員會(huì)成員。

29著名學(xué)者Prof.LawrenceSaul加州大學(xué)圣地牙哥分校1994年獲麻省理工學(xué)院博士學(xué)位研究方向：機(jī)器學(xué)習(xí)、模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、語音處理等。Saul教授的高維數(shù)據(jù)的分析方法和可視化、非線性維數(shù)化簡(jiǎn)已被應(yīng)用于很多實(shí)際科學(xué)和工程領(lǐng)域。他發(fā)表文章的引用率已經(jīng)進(jìn)入計(jì)算機(jī)科學(xué)的前1%，另外他也是著名國際期刊JournalofMachineLearningResearch編委會(huì)成員和發(fā)起人之一。30著名學(xué)者Prof.YoshuaBengio加拿大蒙特利爾大學(xué)1991年獲加拿大麥基爾大學(xué)博士學(xué)位研究方向:多層感知機(jī)、核方法、遞歸神經(jīng)網(wǎng)絡(luò)等

Bengio教授是IEEETransactionsonNeuralNetworks、JournalofMachineLearning、NeuralComputingSurveys的編委。值得一提的是Bengio教授在1994年的一篇著名文章中逆轉(zhuǎn)了遞歸神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法的研究方向，極大地影響了該網(wǎng)絡(luò)的研究。31著名學(xué)者Prof.FrankL.Lewis

美國德克薩斯大學(xué)獲美國喬治亞技術(shù)學(xué)院博士學(xué)位研究方向:反饋系統(tǒng)控制、神經(jīng)網(wǎng)絡(luò)和模糊智能控制等現(xiàn)任德克薩斯大學(xué)自動(dòng)化與機(jī)器人研究院副院長(zhǎng)、IEEEFellow、InternationalJournalofControl、NeuralComputingandApplications等期刊的編委。他共獲得超過6百萬美元的資助，發(fā)表174篇雜志論文，285篇會(huì)議論文，12本專著。32著名學(xué)者ChristopherM.Bishop

微軟劍橋研究院研究方向:模式識(shí)別，基于推理的概率方法和學(xué)習(xí)Bishop教授是美國電子學(xué)會(huì)關(guān)于應(yīng)用神經(jīng)計(jì)算中心的帶頭人，是劍橋大學(xué)達(dá)爾文學(xué)院的會(huì)士(Fellow)，不列顛計(jì)算機(jī)協(xié)會(huì)的會(huì)士(Fellow)和英國計(jì)算研究委員會(huì)成員。2004年當(dāng)選英國皇家工程院會(huì)士(Fellow)。1995年曾出版著名專著《NeuralNetworksforPatternRecognition》。33著名學(xué)者Prof.LeiXu(徐雷)

香港中文大學(xué)研究方向:模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)習(xí)等現(xiàn)任香港中文大學(xué)講座教授、IEEEFellow、國際模式識(shí)別學(xué)會(huì)Fellow、歐洲科學(xué)院院士。已發(fā)表的學(xué)術(shù)論文被引用總量逾1300次，最大單篇被引用量達(dá)255(SCI)次。應(yīng)邀在國際主要學(xué)術(shù)大會(huì)做大會(huì)報(bào)告/特邀報(bào)告/學(xué)術(shù)講座40余次。曾任國際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)理事、亞太地區(qū)神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)主席、IEEE神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)計(jì)算金融學(xué)術(shù)委員會(huì)主任。

34著名學(xué)者劉德榮教授伊利諾大學(xué)芝加哥分校1994年獲美國圣母大學(xué)博士學(xué)位研究方向:非線性動(dòng)態(tài)系統(tǒng)、