人工神經(jīng)網(wǎng)絡(luò)講稿ppt-面向?qū)ο蟪绦蛟O(shè)計課件

人工神經(jīng)網(wǎng)絡(luò)ArtificialNeuralNetwork人工神經(jīng)網(wǎng)絡(luò)Artificial1目錄第1章概述1．1人工神經(jīng)網(wǎng)絡(luò)研究與發(fā)展1．2生物神經(jīng)元1．3人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成第2章人工神經(jīng)網(wǎng)絡(luò)基本模型2．1MP模型2．2感知器模型2．3自適應(yīng)線性神經(jīng)元第3章EBP網(wǎng)絡(luò)(反向傳播算法）3．1含隱層的前饋網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則3．2Sigmoid激發(fā)函數(shù)下的BP算法3．3BP網(wǎng)絡(luò)的訓(xùn)練與測試3．4BP算法的改進3．5多層網(wǎng)絡(luò)BP算法的程序設(shè)計多層前向網(wǎng)絡(luò)BP算法源程序目錄第1章概述2第4章Hopfield網(wǎng)絡(luò)模型4．1離散型Hopfield神經(jīng)網(wǎng)絡(luò)4．2連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)模型源程序4．3旅行商問題(TSP)的HNN求解Hopfield模型求解TSP源程序第5章隨機型神經(jīng)網(wǎng)絡(luò)5．1模擬退火算法5．2Boltzmann機Boltzmann機模型源程序5．3Gaussian機第6章自組織神經(jīng)網(wǎng)絡(luò)6．1競爭型學(xué)習(xí)6．2自適應(yīng)共振理論(ART)模型6．3自組織特征映射(SOM)模型6．4CPN模型目錄第4章Hopfield網(wǎng)絡(luò)模型目錄3第7章聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)7．1聯(lián)想記憶基本特點7．2線性聯(lián)想記憶LAM模型7．3雙向聯(lián)想記憶BAM模型7．4時間聯(lián)想記憶TAM模型Hopfield模型聯(lián)想記憶源程序第8章CMAC模型8．1CMAC模型8．2CMAC映射算法8．3CMAC的輸出計算8．4CMAC控制器模型目錄第7章聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)目錄4神經(jīng)網(wǎng)絡(luò)研究與發(fā)展40年代初，美國McCulloch和PiMs從信息處理的角度，研究神經(jīng)細(xì)胞行為的數(shù)學(xué)模型表達(dá)．提出了二值神經(jīng)元模型。MP模型的提出開始了對神經(jīng)網(wǎng)絡(luò)的研究進程。1949年心理學(xué)家Hebb提出著名的Hebb學(xué)習(xí)規(guī)則，即由神經(jīng)元之間結(jié)合強度的改變來實現(xiàn)神經(jīng)學(xué)習(xí)的方法。雖然Hebb學(xué)習(xí)規(guī)則在人們研究神經(jīng)網(wǎng)絡(luò)的初期就已提出，但是其基本思想至今在神經(jīng)網(wǎng)絡(luò)的研究中仍發(fā)揮著重要作用。

神經(jīng)網(wǎng)絡(luò)研究與發(fā)展40年代初，美國McCulloch和Pi550年代末期，Rosenblatt提出感知機模型(Perceptron)，首先從工程角度出發(fā)，研究了用于信息處理的神經(jīng)網(wǎng)絡(luò)模型.這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本符合神經(jīng)生理學(xué)的原理。感知機雖然比較簡單，卻已具有神經(jīng)網(wǎng)絡(luò)的一些基本性質(zhì)，如分布式存貯、并行處理、可學(xué)習(xí)性、連續(xù)計算等。這些神經(jīng)網(wǎng)絡(luò)的特性與當(dāng)時流行串行的、離散的、符號處理的電子計算機及其相應(yīng)的人工智能技術(shù)有本質(zhì)上的不同，由此引起許多研究者的興趣，在60代掀起了神經(jīng)網(wǎng)絡(luò)研究的第一次高潮。但是，當(dāng)時人們對神經(jīng)網(wǎng)絡(luò)研究過于樂觀，認(rèn)為只要將這種神經(jīng)元互連成一個網(wǎng)絡(luò)，就可以解決人腦思維的模擬問題，然而，后來的研究結(jié)果卻又使人們走到另一個極端上。50年代末期，Rosenblatt提出感6在60年代末，美國著名人工智能專家Minsky和Papert對Rosenblatt的工作進行了深人研究，出版了有較大影響的(Perceptron)一書，指出感知機的功能和處理能力的局限性，甚至連XOR(異或)這樣的問題也不能解決，同時也指出如果在感知器中引入隱含神經(jīng)元，增加神經(jīng)網(wǎng)絡(luò)的層次，可以提高神經(jīng)網(wǎng)絡(luò)的處理能力，但是卻無法給出相應(yīng)的網(wǎng)絡(luò)學(xué)習(xí)算法。因此Minsky的結(jié)論是悲觀的。另一方面，由于60年代以來集成電路和微電子技術(shù)日新月異的發(fā)展，使得電子計算機的計算速度飛速提高，加上那時以功能模擬為目標(biāo)、以知識信息處理為基礎(chǔ)的知識工程等研究成果，給人工智能從實驗室走向?qū)嵱脦砹讼Ｍ?，這些技術(shù)進步給人們造成這樣的認(rèn)識：以為串行信息處理及以它為基礎(chǔ)的傳統(tǒng)人工智能技術(shù)的潛力是無窮的，這就暫時掩蓋了發(fā)展新型計算機和尋找新的人工智能途徑的必要性和迫切性。另外，當(dāng)時對大腦的計算原理、對神經(jīng)網(wǎng)絡(luò)計算的優(yōu)點、缺點、可能性及其局限性等還很不清楚。總之，認(rèn)識上的局限性使對神經(jīng)網(wǎng)絡(luò)的研究進入了低潮。在60年代末，美國著名人工智能專家Minsky和P7在這一低潮時期，仍有一些學(xué)者扎扎實實地繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的基礎(chǔ)理論研究，提出了許多有意義的理論和方法。其中，主要有自適應(yīng)共振理論，自組織映射，認(rèn)知機網(wǎng)絡(luò)模型理論，BSB模型等等，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了理論基礎(chǔ)。進入80年代，首先是基于“知識庫”的專家系統(tǒng)的研究和運用，在許多方面取得了較大成功。但在一段時間以后，實際情況表明專家系統(tǒng)并不像人們所希望的那樣高明，特別是在處理視覺、聽覺、形象思維、聯(lián)想記憶以及運動控制等方面，傳統(tǒng)的計算機和人工智能技術(shù)面臨著重重困難。模擬人腦的智能信息處理過程，如果僅靠串行邏輯和符號處理等傳統(tǒng)的方法來濟決復(fù)雜的問題，會產(chǎn)生計算量的組合爆炸。因此，具有并行分布處理模式的神經(jīng)網(wǎng)絡(luò)理論又重新受到人們的重視。對神經(jīng)網(wǎng)絡(luò)的研究又開始復(fù)興，掀起了第二次研究高潮。

在這一低潮時期，仍有一些學(xué)者扎扎實實地繼續(xù)著81982年，美國加州理工學(xué)院物理學(xué)家J．J．Hopfield提出了一種新的神經(jīng)網(wǎng)絡(luò)HNN。他引入了“能量函數(shù)”的概念，使得網(wǎng)絡(luò)穩(wěn)定性研究有了明確的判據(jù)。HNN的電子電路物理實現(xiàn)為神經(jīng)計算機的研究奠定了基礎(chǔ)，并將其應(yīng)用于目前電子計算機尚難解決的計算復(fù)雜度為NP完全型的問題，例如著名的“巡回推銷員問”(TSP)，取得很好的效果。從事并行分布處理研究的學(xué)者，于1985年對Hopfield模型引入隨機機制，提出了Boltzmann機。1986年Rumelhart等人在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)模型的反向傳播學(xué)習(xí)算法(BP算法)，解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強的學(xué)習(xí)能力，它可以完成許多學(xué)習(xí)任務(wù)，解決許多實際問題。1982年，美國加州理工學(xué)院物理學(xué)家J．J．Hopfield9近十幾年來，許多具備不同信息處理能力的神經(jīng)網(wǎng)絡(luò)已被提出來并應(yīng)用于許多信息處理領(lǐng)域，如模式識別、自動控制、信號處理、決策輔助、人工智能等方面。神經(jīng)計算機的研究也為神經(jīng)網(wǎng)絡(luò)的理論研究提供了許多有利條件，各種神經(jīng)網(wǎng)絡(luò)模擬軟件包、神經(jīng)網(wǎng)絡(luò)芯片以及電子神經(jīng)計算機的出現(xiàn)，體現(xiàn)了神經(jīng)網(wǎng)絡(luò)領(lǐng)域的各項研究均取得了長足進展。同時，相應(yīng)的神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議和神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)刊物的大量出現(xiàn)，給神經(jīng)網(wǎng)絡(luò)的研究者們提供了許多討論交流的機會。近十幾年來，許多具備不同信息處理能力的神經(jīng)網(wǎng)絡(luò)已被提出來并應(yīng)10雖然人們已對神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域的研究達(dá)成了共識，對其巨大潛力也毋庸置疑，但是須知，人類對自身大腦的研究，尤其是對其中智能信息處理機制的了解，還十分膚淺。因而現(xiàn)有的研究成果僅僅處于起步階段，還需許多有識之士長期的艱苦努力。概括以上的簡要介紹，可以看出，當(dāng)前又處于神經(jīng)網(wǎng)絡(luò)理論的研究高潮，不僅給新一代智能計算機的研究帶來巨大影響，而且將推動整個人工智能領(lǐng)域的發(fā)展。但另一方面，由于問題本身的復(fù)雜性，不論是神經(jīng)網(wǎng)絡(luò)原理自身，還是正在努力進行探索和研究的神經(jīng)計算機，目前,都還處于起步發(fā)展階段。為了了解ANN，我們首先分析一下現(xiàn)行計算機所存在的問題。盡管馮·諾依曼型計算機在當(dāng)今世界發(fā)揮著巨大的作用，但它在智能化信息處理過程中存在著許多局限性。我們簡單分析一下馮·諾依曼型計算機求解某個問題所采用的方法。雖然人們已對神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域的研究達(dá)成了共識，對其巨大11(1)根據(jù)該問題的特點，建立合適的數(shù)學(xué)模型。(2)根據(jù)所建立的數(shù)學(xué)模型的原始數(shù)據(jù)資料，生成適合于輸入計算機的程序和數(shù)據(jù)。(3)計算機的控制器命令輸入器將計算步驟的初始數(shù)據(jù)記錄到存貯器中。(4)控制器根據(jù)計算步驟的順序，依次按存貯器地址讀出第一個計算步驟，然后根據(jù)讀出步驟的規(guī)定，控制運算器對相應(yīng)數(shù)據(jù)執(zhí)行規(guī)定的運算操作。(5)反饋器從反饋信號中得知運算器操作完畢，把所得的中間結(jié)果記錄到存貯器某個確定位置存貯好。(6)反饋信號通知控制器再取第二個計算步騾，然后重復(fù)上述的執(zhí)行過程。一直到整個運算完成后，控制器就命令輸出器把存貯器中存放的最終結(jié)果用打印、顯示或繪圖等方式輸出。(1)根據(jù)該問題的特點，建立合適的數(shù)學(xué)模型。12將以上整個計算過程概括起來，可以看出現(xiàn)行馮·諾依曼計算機有以下三個主要特點：(1)它必須不折不如地按照人們已經(jīng)編制好的程序步驟來進行相應(yīng)的數(shù)值計算或邏輯運算，它沒有主動學(xué)習(xí)的能力和自適應(yīng)能力，因此它是被動的。(2)所有的程序指令都要調(diào)入CPU一條接一條地順序執(zhí)行。因此．它的處理信息方式是集中的、串行的。(3)存貯器的位置(即地址)和其中歷存貯的具體內(nèi)容無關(guān)。因此，在調(diào)用操作的指令或數(shù)據(jù)時，總是先找它所在存貯器的地址，然后再查出所存貯的內(nèi)容。這就是說，存貯內(nèi)容和存貯地址是不相關(guān)的。由于現(xiàn)行計算機的上述特點，一方面它在像數(shù)值計算或邏輯運算這類屬于順序性(串行性)信息處理中，表現(xiàn)出遠(yuǎn)非人所能及的速度；另一方面，在涉及人類日常的信息活動，例如識別圖形、聽懂語言等，卻又顯得那樣低能和笨拙。

將以上整個計算過程概括起來，可以看出現(xiàn)行馮·諾依曼計13

實際上．腦對外界世界時空客體的描述和識別，乃是認(rèn)知的基礎(chǔ)。認(rèn)知問題離不開對低層次信息處理的研究和認(rèn)識。雖然符號處理在腦的思維功能模擬等方面取得了很大進展，但它對諸如視覺、聽覺、聯(lián)想記憶和形象思維等問題的處理往往感到力不從心。所以符號處理不可能全面解決認(rèn)知問題和機器智能化問題．它對高層次腦功能的宏觀模擬很有效，而對一些低層次的模式處理則至今還有許多困難。實際上．腦對外界世界時空客體的描述和識別，乃14正是由于認(rèn)識到傳統(tǒng)的馮·諾依曼計算機在智能信息處理中的這種難以逾越的局限性．使得人們考慮到有必要進一步了解分析人腦神經(jīng)系統(tǒng)信息處理和存貯的機理特征．以便尋求一條新的人工神經(jīng)網(wǎng)絡(luò)智能信息處理途徑。人工神經(jīng)網(wǎng)絡(luò)研究是采用自下而上的方法，從腦的神經(jīng)系統(tǒng)結(jié)構(gòu)出發(fā)來研究腦的功能，研究大量簡單的神經(jīng)元的集團信息處理能力及其動態(tài)行為。目前，神經(jīng)網(wǎng)絡(luò)的研究使得對多年來困擾計算機科學(xué)和符號處理的一些難題可以得到比較令人滿意的解答，特別是對那些時空信息存貯及并行搜索、自組織聯(lián)想記億、時空數(shù)據(jù)統(tǒng)計描述的自組織以及從一些相互關(guān)聯(lián)的活動中自動獲取知識等一般性問題的求解，更顯示出獨特的能力。由此引起了智能研究者們的廣泛關(guān)注，并普遍認(rèn)為神經(jīng)網(wǎng)絡(luò)方法適合于低層次的模式處理。

正是由于認(rèn)識到傳統(tǒng)的馮·諾依曼計算機在智能信15人腦信息處理機制生物神經(jīng)系統(tǒng)是一個有高度組織和相互作用的數(shù)量巨大的細(xì)胞組織群體。人類大腦的神經(jīng)細(xì)胞大約在1011一1013個左右。神經(jīng)細(xì)胞也稱神經(jīng)元，是神經(jīng)系統(tǒng)的基本單元，它們按不同的結(jié)合方式構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。通過神經(jīng)元及其聯(lián)接的可塑性，使得大腦具有學(xué)習(xí)、記憶和認(rèn)知等各種智能。

人工神經(jīng)網(wǎng)絡(luò)的研究出發(fā)點是以生物神經(jīng)元學(xué)說為基礎(chǔ)的。生物神經(jīng)元學(xué)說認(rèn)為，神經(jīng)細(xì)胞即神經(jīng)元是神經(jīng)系統(tǒng)中獨立的營養(yǎng)和功能單元。生物神經(jīng)系統(tǒng)．包括中樞神經(jīng)系統(tǒng)和大腦，均是由各類神經(jīng)元組成。其獨立性是指每一個神經(jīng)元均有自己的核和自己的分界線或原生質(zhì)膜。

人腦信息處理機制生物神經(jīng)系統(tǒng)是一個有高度組織和相互16生物神經(jīng)元之間的相互連接從而讓信息傳遞的部位披稱為突觸(Synapse)。突觸按其傳遞信息的不同機制，可分為化學(xué)突觸和電突觸、其中化學(xué)突觸占大多數(shù)，其神經(jīng)沖動傳遞借助于化學(xué)遞質(zhì)的作用。生物神經(jīng)元的結(jié)構(gòu)大致描述如下圖所示。生物神經(jīng)元之間的相互連接從而讓信息傳遞的部位披稱為突觸(Sy17神經(jīng)元由細(xì)胞體和延伸部分組成。延伸部分按功能分有兩類，一種稱為樹突，占延伸部分的大多數(shù)，用來接受來自其他神經(jīng)元的信息；另一種用來傳遞和輸出信息，稱為軸突。神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。單個神經(jīng)元可以從別的細(xì)胞接受多達(dá)上千個的突觸輸入。這些輸入可達(dá)到神經(jīng)元的樹突、胞體和軸突等不同部位，但其分布各不相同．對神經(jīng)元的影響也不同。人類大腦皮質(zhì)的全部表面積約有20×104mm2，平均厚度約2．5mm，皮質(zhì)的體積則約為50×104mm3。如果皮質(zhì)中突觸的平均密度是6×l09／mm3左右，則可認(rèn)為皮質(zhì)中的全部突觸數(shù)為3×1015個。如果再按上述人腦所含的全部神經(jīng)元數(shù)目計算，則每個神經(jīng)元平均的突觸數(shù)目可能就有1．5—3．0萬個左右。神經(jīng)元由細(xì)胞體和延伸部分組成。延伸部分按功能分有兩類，一種稱18神經(jīng)元之間的聯(lián)系主要依賴其突觸的聯(lián)接作用。這種突觸的聯(lián)接是可塑的，也就是說突觸特性的變化是受到外界信息的影響或自身生長過程的影響。生理學(xué)的研究歸納有以下幾個方面的變化：(1)突觸傳遞效率的變化。首先是突觸的膨脹以及由此產(chǎn)生的突觸后膜表面積擴大，從而突觸所釋放出的傳遞物質(zhì)增多，使得突觸的傳遞效率提高。其次是突觸傳遞物質(zhì)質(zhì)量的變化，包括比例成分的變化所引起傳遞效率的變化。(2)突觸接觸間隙的變化。在突觸表面有許多形狀各異的小凸芽，調(diào)節(jié)其形狀變化可以改變接觸間隙，并影響傳遞效率。(3)突觸的發(fā)芽。當(dāng)某些神經(jīng)纖維被破壞后，可能又會長出新芽，并重新產(chǎn)生附著于神經(jīng)元上的突觸．形成新的回路。由于新的回路的形成，使得結(jié)合模式發(fā)生變化，也會引起傳遞效率的變化。(4)突觸數(shù)目的增減。由于種種復(fù)雜環(huán)境條件的刺激等原因，或者由于動物本身的生長或衰老，神經(jīng)系統(tǒng)的突觸數(shù)目會發(fā)生變化，并影響神經(jīng)元之間的傳遞效率。

神經(jīng)元之間的聯(lián)系主要依賴其突觸的聯(lián)接作用。這種19神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。單個神經(jīng)元可以從別的細(xì)胞接受多個輸入。由于輸入分布于不同的部位，對神經(jīng)元影響的比例(權(quán)重)是不相同的。另外，各突觸輸入抵達(dá)神經(jīng)元的先后時間也不一祥。因此，一個神經(jīng)元接受的信息，在時間和空間上常呈現(xiàn)出一種復(fù)雜多變的形式，需要神經(jīng)元對它們進行積累和整合加工，從而決定其輸出的時機和強度。正是神經(jīng)元這種整合作用，才使得億萬個神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。多個神經(jīng)元以突觸聯(lián)接形成了一個神經(jīng)網(wǎng)絡(luò)。研究表明，生物神經(jīng)網(wǎng)絡(luò)的功能決不是單個神經(jīng)元生理和信息處理功能的簡單疊加，而是一個有層次的、多單元的動態(tài)信息處理系統(tǒng)。它們有其獨特的運行方式和控制機制，以接受生物內(nèi)外環(huán)境的輸入信息，加以綜合分折處理，然后調(diào)節(jié)控制機體對環(huán)境作出適當(dāng)?shù)姆磻?yīng)。

神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。20

以上是從宏觀上分析了人腦信息處理特點。從信息系統(tǒng)研究的觀點出發(fā)，對于人腦這個智能信息處理系統(tǒng)，有如下一些固有特征：(1)并行分布處理的工作模式。實際上大腦中單個神經(jīng)元的信息處理速度是很慢的，每次約1毫秒(ms)，比通常的電子門電路要慢幾個數(shù)量級。每個神經(jīng)元的處理功能也很有限，估計不會比計算機的一條指令更復(fù)雜。但是人腦對某一復(fù)雜過程的處理和反應(yīng)卻很快，一般只需幾百毫秒。例如要判定人眼看到的兩個圖形是否一樣，實際上約需400ms，而在這個處理過程中，與腦神經(jīng)系統(tǒng)的一些主要功能，如視覺、記億、推理等有關(guān)。按照上述神經(jīng)元的處理速度，如果采用串行工作模式，就必須在幾百個串行步內(nèi)完成，這實際上是不可能辦到的。因此只能把它看成是一個由眾多神經(jīng)元所組成的超高密度的并行處理系統(tǒng)。例如在一張照片尋找一個熟人的面孔，對人腦而言，幾秒鐘便可完成，但如用計算機來處理，以現(xiàn)有的技術(shù)，是不可能在短時間內(nèi)完成的。由此可見，大腦信息處理的并行速度已達(dá)到了極高的程度。

以上是從宏觀上分析了人腦信息處理特點。從信息系統(tǒng)研究的觀點21(2)神經(jīng)系統(tǒng)的可塑性和自組織性。神經(jīng)系統(tǒng)的可塑性和自組織性與人腦的生長發(fā)育過程有關(guān)。例如，人的幼年時期約在9歲左右，學(xué)習(xí)語言的能力十分強，說明在幼年時期，大腦的可塑性和柔軟性特別良好。從生理學(xué)的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。例如在某一外界信息反復(fù)刺激下．接受該信息的神經(jīng)細(xì)胞之間的突觸結(jié)合強度會增強。這種可塑性反映出大腦功能既有先天的制約因素，也有可能通過后天的訓(xùn)練和學(xué)習(xí)而得到加強。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機制就是基于這種可塑性現(xiàn)象，并通過修正突觸的結(jié)合強度來實現(xiàn)的。(3)信息處理與信息存貯合二為一。大腦中的信息處理與信息存貯是有機結(jié)合在一起的，而不像現(xiàn)行計算機那樣．存貯地址和存貯內(nèi)容是彼此分開的。由于大腦神經(jīng)元兼有信息處理和存貯功能，所以在進行回億時，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容的問題，而且還可以由一部分內(nèi)容恢復(fù)全部內(nèi)容。(4)信息處理的系統(tǒng)性大腦是一個復(fù)雜的大規(guī)模信息處理系統(tǒng)，單個的元件“神經(jīng)元”不能體現(xiàn)全體宏觀系統(tǒng)的功能。實際上，可以將大腦的各個部位看成是一個大系統(tǒng)中的許多子系統(tǒng)。各個子系統(tǒng)之間具有很強的相互聯(lián)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如，視覺系統(tǒng)和運動系統(tǒng)就存在很強的系統(tǒng)聯(lián)系，可以相互協(xié)調(diào)各種信息處理功能。(5)能接受和處理模糊的、模擬的、隨機的信息。(6)求滿意解而不是精確解。(2)神經(jīng)系統(tǒng)的可塑性和自組織性。22

人類處理日常行為時，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問題為原則，即求得滿意解就行了。(7)系統(tǒng)的恰當(dāng)退化和冗余備份(魯棒性和容錯性)。人類處理日常行為時，往往都不23

人工神經(jīng)網(wǎng)絡(luò)研究與應(yīng)用的主要內(nèi)容人工種經(jīng)網(wǎng)絡(luò)的研究方興末艾，很難準(zhǔn)確地預(yù)測其發(fā)展方向。但就目前來看，人工神經(jīng)網(wǎng)絡(luò)的研究首先須解決全局穩(wěn)定性、結(jié)構(gòu)穩(wěn)定性、可編程性等問題?，F(xiàn)今的研究工作應(yīng)包含以下的一些基本內(nèi)容：(1)人工神經(jīng)網(wǎng)絡(luò)模型的研究。神經(jīng)網(wǎng)絡(luò)原型研究，即大腦神經(jīng)網(wǎng)絡(luò)的生理結(jié)構(gòu)、思維機制。神經(jīng)元的生物特性如時空特性、不應(yīng)期、電化學(xué)性質(zhì)等的人工模擬易于實現(xiàn)的神經(jīng)網(wǎng)絡(luò)計算模型。利用物理學(xué)的方法進行單元間相互作用理論的研究如：聯(lián)想記憶模型。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法與學(xué)習(xí)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)研究與應(yīng)用的主要內(nèi)容24(2)神經(jīng)網(wǎng)絡(luò)基本理論研究。神經(jīng)網(wǎng)絡(luò)的非線性特性，包括自組織、自適應(yīng)等作用。神經(jīng)網(wǎng)絡(luò)的基本性能，包括穩(wěn)定性、收斂性、容錯性、魯棒性、動力學(xué)復(fù)雜性。神經(jīng)網(wǎng)絡(luò)的計算能力與信息存貯容量。開展認(rèn)知科學(xué)的研究。探索包括感知、思考、記憶和語言等的腦信息處理模型。采用諸如連接機制等方法，將認(rèn)知信息處理過程模型化，并通過建立神經(jīng)計算學(xué)來代替算法淪。(2)神經(jīng)網(wǎng)絡(luò)基本理論研究。25(3)神經(jīng)網(wǎng)絡(luò)智能信息處理系統(tǒng)的應(yīng)用。認(rèn)知與人工智能．包括模式識別、計算機視覺與聽覺、特征提取、語音識別語言翻譯、聯(lián)想記憶、邏輯推理、知識工程、專家系統(tǒng)、故障診斷、智能機器人等。優(yōu)化與控制，包括優(yōu)化求解、決策與管理、系統(tǒng)辨識、魯棒性控制、自適應(yīng)控制、并行控制、分布控制、智能控制等。信號處理；自適應(yīng)信號處理(自適應(yīng)濾波、時間序列預(yù)測、譜估計、消噪、檢測、陣列處理)和非線性信號處理(非線性濾波、非線性預(yù)測、非線性譜估計、非線性編碼、中值處理)。傳感器信息處理：模式預(yù)處理變換、信息集成、多傳感器數(shù)據(jù)融合。(3)神經(jīng)網(wǎng)絡(luò)智能信息處理系統(tǒng)的應(yīng)用。26(4)神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實現(xiàn)。在通用計算機、專用計算機或者并行計算機上進行軟件模擬，或由專用數(shù)字信號處理芯片構(gòu)成神經(jīng)網(wǎng)絡(luò)仿真器。由模擬集成電路、數(shù)字集成電路或者光器件在硬件上實現(xiàn)神經(jīng)芯片。軟件模擬的優(yōu)點是網(wǎng)絡(luò)的規(guī)?？梢暂^大，適合于用來驗證新的模型和復(fù)雜的網(wǎng)絡(luò)特性。硬件實現(xiàn)的優(yōu)點是處理速度快，但由于受器件物理因素的限制，根據(jù)目前的工藝條件，網(wǎng)絡(luò)規(guī)模不可能做得太大。僅幾千個神經(jīng)元。但代表了未來的發(fā)展方向，因此特別受到人們的重視。(4)神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實現(xiàn)。27

(5)神經(jīng)網(wǎng)絡(luò)計算機的實現(xiàn)。計算機仿真系統(tǒng)。專用神經(jīng)網(wǎng)絡(luò)并行計算機系統(tǒng)。數(shù)字、模擬、數(shù)—?；旌?、光電互連等。光學(xué)實現(xiàn)。生物實現(xiàn)。關(guān)于智能本質(zhì)的研究是自然科學(xué)和哲學(xué)的重大課題之一，對于智能的模擬和機器再現(xiàn)肯定可以開發(fā)拓展出一代新興產(chǎn)業(yè)。由于智能本質(zhì)的復(fù)雜性，現(xiàn)代智能研究已超越傳統(tǒng)的學(xué)科界限，成為腦生理學(xué)、神經(jīng)科學(xué)、心理學(xué)、認(rèn)知科學(xué)、信息科學(xué)、計算機科學(xué)、微電子學(xué)，乃至數(shù)理科學(xué)共同關(guān)心的“焦點”學(xué)科。人工神經(jīng)網(wǎng)絡(luò)的重大研究進展有可能使包括信息科學(xué)在內(nèi)的其他學(xué)科產(chǎn)生重大突破和變革。展望人工神經(jīng)網(wǎng)絡(luò)的成功應(yīng)用，人類智能有可能產(chǎn)生一次新的飛躍。(5)神經(jīng)網(wǎng)絡(luò)計算機的實現(xiàn)。28人工神經(jīng)網(wǎng)絡(luò)的信息處理能力人工神經(jīng)網(wǎng)絡(luò)的信息處理能力人工神經(jīng)網(wǎng)絡(luò)的信息處理能力包括兩方面的內(nèi)容：一、神經(jīng)網(wǎng)絡(luò)信息存貯能力．即要解決這樣的一個問題：在一個有N個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)中，可存貯多少值的信息?二、神經(jīng)網(wǎng)絡(luò)的計算能力。需要解決的問題是：神經(jīng)網(wǎng)絡(luò)能夠有效地計算哪些問題?在眾多的文獻中，人們都一致認(rèn)為：存貯能力和計算能力是現(xiàn)代計算機科學(xué)中的兩個基本問題，同樣，它們也構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)研究中的基本問題。人工神經(jīng)網(wǎng)絡(luò)的信息處理能力人工神經(jīng)網(wǎng)絡(luò)的信息處理能力29

前面提到在傳統(tǒng)的馮．諾依曼型計算機中，其計算與存貯是完全獨立的兩個部分。這兩個獨立部分——存貯器與運算器之間的通道，就成為提高計算機計算能力的瓶頸，并且只要這兩個部分是獨立存在的，這個問題就始終存在。對不同的計算機而言，只是這一問題的嚴(yán)重程度不同而已。神經(jīng)網(wǎng)絡(luò)模型從本質(zhì)上解決了傳統(tǒng)計算機的這個問題。它將信息的存貯與信息的處理完善地結(jié)合在一起。這是因為神經(jīng)網(wǎng)絡(luò)的運行是從輸入到輸出的值傳遞過程，在信息傳遞的同時也就完成了信息的存貯與計算。前面提到在傳統(tǒng)的馮．諾依曼型計算機中30(1)神經(jīng)網(wǎng)絡(luò)的存貯能力。神經(jīng)網(wǎng)絡(luò)的存貯能力因不同的網(wǎng)絡(luò)而不相同。這里我們給出Hopfield的一些結(jié)論。

定義：一個存貯器的信息表達(dá)能力定義為其可分辨的信息類型的對數(shù)值。在一個M×1的隨機存貯器RAM中，有M位地址，一位數(shù)據(jù)，它可存貯2M位信息這個RAM中，可以讀／寫長度為2M的信息串，而

M長度為2M的信息串有22種，所以，可以分辨上述這么多種信息串。按上面的定義，M×1的RAM的存貯能力為：C＝2M(位)。(1)神經(jīng)網(wǎng)絡(luò)的存貯能力。31

[定理1.1]N個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的信息表達(dá)能力上限為：

C＜(位)。[定理1.1]N個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的信息表達(dá)能力上限32[定理1．2]N個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的信息表達(dá)能力下限為：C(位)。其中[N／2]指小于或等于N／2的最大整數(shù)。[定理1．3]神經(jīng)網(wǎng)絡(luò)可以存貯2N-1個信息，也可以區(qū)分2N-1個不同的網(wǎng)絡(luò)。[定理1．2]N個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的信息表達(dá)能力下限為33神經(jīng)網(wǎng)絡(luò)的計算能力●數(shù)學(xué)的近似映射；識別和分類這些計算都可以抽象成一種近似的數(shù)學(xué)映射。如誤差反播模型(BP)、對向傳播網(wǎng)絡(luò)模型(CPN)、小腦模型(CMAC)等都可以完成這種計算?！窀怕拭芏群瘮?shù)的估計：通過自組織的方式，開發(fā)尋找出一組等概率“錨點”，來響應(yīng)在空間只“中按照一個確定概率密度函數(shù)選擇到的一組矢量樣本。自組織映射模型(SOM)和CPN模型可以完成這樣的計算?！駨亩M制數(shù)據(jù)基中提取相關(guān)的知識：這種計算是形成一種知識的聚類模型，這些知識依照數(shù)據(jù)基的自組織在它們之間有某種統(tǒng)計上的共性，并依此來響應(yīng)輸入的數(shù)據(jù)基記錄。腦中盒模型(BSB)有能力進行這種計算?！裥纬赏?fù)溥B續(xù)及統(tǒng)計意義上的同構(gòu)映射：它是對固定概率密度函數(shù)選擇的適應(yīng)輸入數(shù)據(jù)的一種自組織映射，其最終使得數(shù)據(jù)空間上的不同項有某種同構(gòu)。SOM模型適合計算此類問題。神經(jīng)網(wǎng)絡(luò)的計算能力34●最近相鄰模式分類：通過比較大量的存貯數(shù)據(jù)來進行模式分類，但首先應(yīng)通過學(xué)習(xí)樣本模式進行分類?？捎脤哟涡缘拇尜A模式來進行分類信息的表示。絕大多數(shù)的神經(jīng)網(wǎng)絡(luò)模型均能進行這種計算。如自適應(yīng)共振理論模型(ART)、雙向聯(lián)想記億模型(BAM)、BP模型、玻爾茲曼機模型(BM)、BSB模型、CPN模型、Hopfield模型等等。●數(shù)據(jù)聚類：采用自組織的方法形成所選擇的“顆?！被蚰Ｊ降木垲悾源藖眄憫?yīng)輸人數(shù)據(jù)。聚類是可變的．但要限制其鞍點的個數(shù)。對于任何新的目標(biāo)，只要系統(tǒng)中沒有對其提供聚類，都要形成新的聚類。很顯然這種能力可直接應(yīng)用于復(fù)雜的多目標(biāo)跟蹤。ART模型最適合于這種計算?！褡顑?yōu)化問題：用來求解局部甚至是全局最優(yōu)解。Hopfield模型、玻爾茲曼機模型(BM)有能力進行這種計算?！褡罱噜從Ｊ椒诸悾和ㄟ^比較大量的存貯數(shù)據(jù)來進行模式分類，但35自從80年代中期人工神經(jīng)網(wǎng)絡(luò)復(fù)蘇以來，其發(fā)展速度及應(yīng)用規(guī)模令人驚嘆。技術(shù)發(fā)達(dá)國家和集團推行了一系列有關(guān)的重要研究計劃、投資總額在數(shù)億美元，出現(xiàn)了一批神經(jīng)網(wǎng)絡(luò)企業(yè)和在眾多領(lǐng)域中的應(yīng)用產(chǎn)品。有關(guān)神經(jīng)網(wǎng)絡(luò)的大型國際會議已召開了許多次，我國也召開了三次。在前幾年的熱浪過去之后，當(dāng)前對于神經(jīng)網(wǎng)絡(luò)的研究正在轉(zhuǎn)入穩(wěn)定、但發(fā)展步伐依然是極其迅速的時期。這一時期的研究和發(fā)展有以下幾個特點：自從80年代中期人工神經(jīng)網(wǎng)絡(luò)復(fù)蘇以來，其發(fā)展速度及應(yīng)用規(guī)模36(1)神經(jīng)網(wǎng)絡(luò)研究工作者對于研究對象的性能和潛力有了更充分的認(rèn)識．從而對研究和應(yīng)用的領(lǐng)域有了更恰當(dāng)?shù)睦斫?。在頭腦冷靜下來之后，可以看到，盡管神經(jīng)網(wǎng)絡(luò)所能做的事情比當(dāng)初一些狂熱鼓吹者所設(shè)想的要少，但肯定比那些悲觀論者要多得多?，F(xiàn)在普遍認(rèn)識到神經(jīng)網(wǎng)絡(luò)比較適用于特征提取、模式分類、聯(lián)想記憶、低層次感知、自適應(yīng)控制等場合，在這些方面，嚴(yán)格的解析方法會遇到很大困難。當(dāng)前對神經(jīng)網(wǎng)絡(luò)的研究目標(biāo)，就是從理論上和實踐上探討一種規(guī)模上可控的系統(tǒng)，它的復(fù)雜程度雖然遠(yuǎn)比不上大腦，但又具有類似大腦的某些性質(zhì)，這種性質(zhì)如果用常規(guī)手段則難以實現(xiàn)。可以說，國際上關(guān)于人工神經(jīng)網(wǎng)絡(luò)研究的主要領(lǐng)域不是對神經(jīng)網(wǎng)絡(luò)建模的基礎(chǔ)研究，而是一個工程或應(yīng)用領(lǐng)域，即它從對腦的神經(jīng)模型研究中受到啟發(fā)和鼓舞，但試圖解決的卻是工程問題。雖然對腦工作機理的理解十分重要，但這種理解是一個相當(dāng)長期的過程。而對于神經(jīng)網(wǎng)絡(luò)的應(yīng)用需求則是大量的和迫切的。(1)神經(jīng)網(wǎng)絡(luò)研究工作者對于研究對象的性能和潛力有了更充分37(2)神經(jīng)網(wǎng)絡(luò)的研究，不僅其本身正在向綜合性發(fā)展，而且愈來愈與其他領(lǐng)域密切結(jié)合起來，發(fā)展出性能更強的結(jié)構(gòu)。為了更好地把現(xiàn)有各種神經(jīng)網(wǎng)絡(luò)模型的特點綜合起來，增強網(wǎng)絡(luò)解決問題的能力，80年代末和90年代初出現(xiàn)了混合網(wǎng)絡(luò)系統(tǒng)，如把多層感知器與自組織特征級聯(lián)起來，在模式識別中可以取得比單一網(wǎng)絡(luò)更好的結(jié)果。1991年美國wardSystemGroup公司推出的軟件產(chǎn)品Neurowindows(Brain—1)是這方面的典型代表。它可以產(chǎn)生128個交互作用的神經(jīng)網(wǎng)絡(luò)，每個網(wǎng)可是自組織網(wǎng)也可是多層感知器網(wǎng)，最多可達(dá)32層，每層可達(dá)32個節(jié)點，且可以與其他8層相聯(lián)。據(jù)稱這是近年來神經(jīng)網(wǎng)絡(luò)發(fā)展方面的一個躍進。它在微軟公司的VB上運行，被認(rèn)為是近些年來最重要的軟件進展和最高水平的智能工具。

(2)神經(jīng)網(wǎng)絡(luò)的研究，不僅其本身正在向綜合性發(fā)展，而且愈來38神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)人工智能方法相結(jié)合是近年來發(fā)展員快的一個方面。雖然在人工神經(jīng)網(wǎng)絡(luò)復(fù)蘇之初有人喊過“人工智能已死，神經(jīng)網(wǎng)絡(luò)萬歲”，雖然在傳統(tǒng)的人工智能領(lǐng)域工作的許多人對于神經(jīng)網(wǎng)絡(luò)的發(fā)展抱有懷疑或否定態(tài)度．但這幾年的發(fā)展日益證明，把這兩者結(jié)合起來是一條最佳途徑。采用綜合方法可以取長補短，更好地發(fā)揮各自的特點。比如，神經(jīng)網(wǎng)絡(luò)的節(jié)點和連接可明確地與規(guī)定的目標(biāo)和關(guān)系聯(lián)系在一起，可把特定的推理規(guī)則作為目標(biāo)節(jié)點之間的規(guī)定聯(lián)接，節(jié)點數(shù)可以由所描寫的規(guī)則所決定，可對節(jié)點的權(quán)及閾值加以選擇以便描寫所需的邏輯關(guān)系，利用組合規(guī)則解釋節(jié)點的激活從而解釋網(wǎng)絡(luò)的行為，并按神經(jīng)網(wǎng)絡(luò)方式設(shè)計專家系統(tǒng)。最近所出現(xiàn)的把神經(jīng)網(wǎng)絡(luò)與人工智能系統(tǒng)結(jié)合起來的方式大體可分為兩類，一類是把人工智能系統(tǒng)作為神經(jīng)網(wǎng)絡(luò)的前端，一類是把神經(jīng)網(wǎng)絡(luò)作為人工智能系統(tǒng)的前端。在前一類中，人工智能系統(tǒng)可以與使用者交互作用(如向使用者提出問題，了解使用者的需求)，然后利用知識與神經(jīng)網(wǎng)絡(luò)準(zhǔn)備數(shù)據(jù)。這方面的第一個商用系統(tǒng)是美國杜邦公司的LAM系統(tǒng)。它把人工智能系統(tǒng)、神經(jīng)網(wǎng)絡(luò)和文本檢索系統(tǒng)結(jié)合起來，供建筑師、玻璃切割與裝配工程師使用，使得對建筑物玻璃結(jié)構(gòu)的設(shè)計、選配和施工更簡單、靈活、省時，適應(yīng)性更強。目前正在建筑行業(yè)大力推廣。也可以利用人工智能系統(tǒng)作為信息流的控制器，利用教師機制和基于規(guī)則的指南，幫助使用者從大量選擇項中選擇正確的神經(jīng)網(wǎng)絡(luò)來解決某一專門問題。這種系統(tǒng)已在化工領(lǐng)域中得到應(yīng)用，幫助用戶由所需化合物的性質(zhì)來確定化學(xué)公式，或由公式產(chǎn)生出相應(yīng)的物理特性，或由性質(zhì)產(chǎn)生出相應(yīng)的化合物．等等。神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)人工智能方法相結(jié)合是近年來發(fā)展員快的39神經(jīng)網(wǎng)絡(luò)理論研究重大成果1.Hornik等人證明了：僅有一個非線性隱層的前饋網(wǎng)絡(luò)就能以任意精度逼近任意復(fù)雜度的函數(shù)。2.神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，所表達(dá)的函數(shù)是“可以”求出的。3.神經(jīng)網(wǎng)絡(luò)的幾何意義。4.神經(jīng)網(wǎng)絡(luò)集成。5.自主的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)理論研究重大成果1.Hornik等人證明了：僅有一個40第2章人工神經(jīng)網(wǎng)絡(luò)基本模型

一、MP模型MP模型屬于一種閾值元件模型，它是由美國McCulloch和Pitts提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。第2章人工神經(jīng)網(wǎng)絡(luò)基本模型

一、MP模型41標(biāo)準(zhǔn)MP模型

標(biāo)準(zhǔn)MP模型42wij——代表神經(jīng)元i與神經(jīng)元j之間的連接強度(模擬生物神經(jīng)元之間突觸連接強度)，稱之為連接權(quán)；ui——代表神經(jīng)元i的活躍值，即神經(jīng)元狀態(tài)；vj——代表神經(jīng)元j的輸出，即是神經(jīng)元i的一個輸入；θi——代表神經(jīng)元i的閾值。函數(shù)f表達(dá)了神經(jīng)元的輸入輸出特性。在MP模型中，f定義為階躍函數(shù)：wij——代表神經(jīng)元i與神經(jīng)元j之間的連接強度(模43如果把閾值θi看作為一個特殊的權(quán)值，則可改寫為:其中，w0i＝-θi，v0＝1為用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力，常采用s型函數(shù):該函數(shù)的圖像如下圖所示如果把閾值θi看作為一個特殊的權(quán)值，則可改寫為:44人工神經(jīng)網(wǎng)絡(luò)講稿ppt-面向?qū)ο蟪绦蛟O(shè)計45MP模型在發(fā)表時并沒有給出一個學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的連接權(quán)。但是，我們可以根據(jù)需要，采用一些常見的算法來調(diào)整神經(jīng)元連接權(quán)，以達(dá)到學(xué)習(xí)目的。下面介紹的Hebb學(xué)習(xí)規(guī)則就是一個常見學(xué)習(xí)算法。

Hebb學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對于人工神經(jīng)網(wǎng)絡(luò)而言，這種學(xué)習(xí)歸結(jié)為神經(jīng)元連接權(quán)的變化。調(diào)整wij的原則為：若第i和第j個神經(jīng)元同時處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強，即：

Δwij＝αuivj這一規(guī)則與“條件反射”學(xué)說一致，并已得到神經(jīng)細(xì)胞學(xué)說的證實。α是表示學(xué)習(xí)速率的比例常數(shù)。MP模型在發(fā)表時并沒有給出一個學(xué)習(xí)算462感知器模型感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國學(xué)者F.Rosenblatt于1957年提出.感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在基于符號處理的數(shù)學(xué)到了一定程度的模擬，所以引起了廣泛的關(guān)注。簡單感知器簡單感知器模型實際上仍然是MP模型的結(jié)構(gòu)，但是它通過采用監(jiān)督學(xué)習(xí)來逐步增強模式劃分的能力，達(dá)到所謂學(xué)習(xí)的目的。2感知器模型47其結(jié)構(gòu)如下圖所示

感知器處理單元對n個輸入進行加權(quán)和操作v即：其中，Wi為第i個輸入到處理單元的連接權(quán)值θ為閾值。f取階躍函數(shù).其結(jié)構(gòu)如下圖所示48感知器在形式上與MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。利用簡單感知器可以實現(xiàn)邏輯代數(shù)中的一些運算。Y=f(w1x1+w2x2-θ)(1)“與”運算。當(dāng)取w1＝w2＝1，θ＝1.5時，上式完成邏輯“與”的運算。感知器在形式上與MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間49(2)“或”運算，當(dāng)取wl＝w2＝1，θ＝0.5時，上式完成邏輯“或”的運算。(3)“非”運算，當(dāng)取wl=-1，w2＝0，θ＝-1時．完成邏輯“非”的運算。(2)“或”運算，50與許多代數(shù)方程一樣，上式中不等式具有一定的幾何意義。對于一個兩輸入的簡單感知器，每個輸入取值為0和1，如上面結(jié)出的邏輯運算，所有輸入樣本有四個，記為(x1，x2)：(0，0)，(0，1)，(1，0)，(1，1)，構(gòu)成了樣本輸入空間。例如，在二維平面上，對于“或”運算，各個樣本的分布如下圖所示。直線1*x1+1*x2-0．5＝0將二維平面分為兩部分，上部為激發(fā)區(qū)(y，=1，用★表示)，下部為抑制區(qū)(y＝0，用☆表示)。與許多代數(shù)方程一樣，上式中不等式具有一定的幾何意義。對于一個51簡單感知器引入的學(xué)習(xí)算法稱之為誤差學(xué)習(xí)算法。該算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的一個重要算法，并已被廣泛應(yīng)用?，F(xiàn)介紹如下：

誤差型學(xué)習(xí)規(guī)則：

(1)選擇一組初始權(quán)值wi(0)。(2)計算某一輸入模式對應(yīng)的實際輸出與期望輸出的誤差δ

簡單感知器引入的學(xué)習(xí)算法稱之為誤差學(xué)習(xí)算法。該算法是神經(jīng)網(wǎng)絡(luò)52(3)如果δ小于給定值，結(jié)束，否則繼續(xù)。(4)更新權(quán)值(閾值可視為輸入恒為1的一個權(quán)值)：Δwi（t+1）＝wi（t+1）-wi（t）＝η[d—y(t)]xi。式中η為在區(qū)間(0，1)上的一個常數(shù)，稱為學(xué)習(xí)步長，它的取值與訓(xùn)練速度和w收斂的穩(wěn)定性有關(guān)；d、y為神經(jīng)元的期望輸出和實際輸出；xi為神經(jīng)元的第i個輸入。(5)返回(2)，重復(fù)，直到對所有訓(xùn)練樣本模式，網(wǎng)絡(luò)輸出均能滿足要求。(3)如果δ小于給定值，結(jié)束，否則繼續(xù)。53人工神經(jīng)網(wǎng)絡(luò)講稿ppt-面向?qū)ο蟪绦蛟O(shè)計54對于學(xué)習(xí)步長V的取值一般是在(0，1)上的一個常數(shù)，但是為了改進收斂速度，也可以采用變步長的方法，這里介紹一個算法如下式：式中，α為一個正的常量．這里取值為0.1。所以，對應(yīng)于輸入(0，0)，修正權(quán)值(注意：θ=w0,x0=-1)

Δw0（1）＝η[d—y]x0

＝0.1(1—0)(—1)＝—0.1，W0(1)=0.1+Δw0（1）=0.1-0.1=0.0依次進行。

對于學(xué)習(xí)步長V的取值一般是在(0，1)上的一個常數(shù)，但是為了55同樣的方法，對其他輸入樣本都進行學(xué)習(xí)。整個學(xué)習(xí)過程就是某一超平面在樣本空間中幾何位置調(diào)整的過程。初值w1(7)＝—0．225．w2(7)＝—0．0875，

θ(7)＝—0．1875。這樣的一組網(wǎng)絡(luò)參數(shù)滿足計算要求。同樣的方法，對其他輸入樣本都進行學(xué)習(xí)。整個學(xué)習(xí)過程就是某一超56人工神經(jīng)網(wǎng)絡(luò)講稿ppt-面向?qū)ο蟪绦蛟O(shè)計57感知器對線性不可分問題的局限性決定了它只有較差的歸納性，而且通常需要較長的離線學(xué)習(xí)才能達(dá)到收效。感知器對線性不可分問題的局限性決定了它只有較差的歸納性，而58多層感知器如果在輸入和輸出層間加上一層或多層的神經(jīng)元(隱層神經(jīng)元)，就可構(gòu)成多層前向網(wǎng)絡(luò)，這里稱為多層感知器。

這里需指出的是：多層感知器只允許調(diào)節(jié)一層的連接權(quán)。這是因為按感知器的概念，無法給出一個有效的多層感知器學(xué)習(xí)算法。多層感知器如果在輸入和輸出層間加上一層或多層的神經(jīng)元59上述三層感知器中，有兩層連接權(quán)，輸入層與隱層單元間的權(quán)值是隨機設(shè)置的固定值，不被調(diào)節(jié)；輸出層與隱層間的連接權(quán)是可調(diào)節(jié)的。上述三層感知器中，有兩層連接權(quán)，輸入層與隱層單元間的權(quán)值是隨60對于上面述及的異或問題，用一個簡單的三層感知器就可得到解決實際上，該三層感知器的輸入層和隱層的連接，就是在模式空間中用兩個超平面去劃分樣本，即用兩條直線：x1+x2=0.5x1十x2＝1.5。對于上面述及的異或問題，用一個簡單的三層感知器就可得到解決61人工神經(jīng)網(wǎng)絡(luò)講稿ppt-面向?qū)ο蟪绦蛟O(shè)計62人工神經(jīng)網(wǎng)絡(luò)講稿ppt-面向?qū)ο蟪绦蛟O(shè)計63可以證明，只要隱層和隱層單元數(shù)足夠多，多層感知器網(wǎng)絡(luò)可實現(xiàn)任何模式分類。但是，多層網(wǎng)絡(luò)的權(quán)值如何確定，即網(wǎng)絡(luò)如何進行學(xué)習(xí)，在感知器上沒有得到解決：當(dāng)年Minsky等人就是因為對于非線性空間的多層感知器學(xué)習(xí)算法未能得到解決，使其對神經(jīng)網(wǎng)絡(luò)的研究作出悲觀的結(jié)論?？梢宰C明，只要隱層和隱層單元數(shù)足夠多，多64感知器收斂定理

對于一個N個輸入的感知器，如果樣本輸入函數(shù)是線性可分的，那么對任意給定的一個輸入樣本x，要么屬于某一區(qū)域F+，要么不屬于這一區(qū)域，記為F—。F+，F(xiàn)—兩類樣本構(gòu)成了整個線性可分樣本空間。感知器收斂定理65[定理]如果樣本輸入函數(shù)是線性可分的，那么下面的感知器學(xué)習(xí)算法經(jīng)過有限次迭代后，可收斂到正確的權(quán)值或權(quán)向量。假設(shè)樣本空間F是單位長度樣本輸入向量的集合，若存在一個單位權(quán)向量w*。和一個較小的正數(shù)δ＞0，使得w*·x>=δ對所有的樣本輸入x都成立，則權(quán)向量w按下述學(xué)習(xí)過程僅需有限步就可收斂。[定理]如果樣本輸入函數(shù)是線性可分的，那么下面的感知器學(xué)66人工神經(jīng)網(wǎng)絡(luò)講稿ppt-面向?qū)ο蟪绦蛟O(shè)計67人工神經(jīng)網(wǎng)絡(luò)講稿ppt-面向?qū)ο蟪绦蛟O(shè)計68人工神經(jīng)網(wǎng)絡(luò)講稿ppt-面向?qū)ο蟪绦蛟O(shè)計69因此，感知器學(xué)習(xí)迭代次數(shù)是一有限數(shù)，經(jīng)過有限次迭代，學(xué)習(xí)算法可收斂到正確的權(quán)向量w*。對于上述證明，要說明的是：正數(shù)δ越小，迭代次數(shù)越多：其次，若樣本輸入函數(shù)不是線性可分的，則學(xué)習(xí)過程將出現(xiàn)振蕩，得不到正確的結(jié)果。因此，感知器學(xué)習(xí)迭代次數(shù)是一有限數(shù)，經(jīng)70[定理]假定隱含層單元可以根據(jù)需要自由設(shè)置，那么用雙隱層的感知器可以實現(xiàn)任意的二值邏輯函數(shù)(證明略)。[定理]假定隱含層單元可以根據(jù)需要自由設(shè)置，那么用雙隱層71下圖給出了感知器的層數(shù)與模式劃分區(qū)域的關(guān)系。下圖給出了感知器的層數(shù)與模式劃分區(qū)域的關(guān)系。72人工神經(jīng)網(wǎng)絡(luò)ArtificialNeuralNetwork人工神經(jīng)網(wǎng)絡(luò)Artificial73目錄第1章概述1．1人工神經(jīng)網(wǎng)絡(luò)研究與發(fā)展1．2生物神經(jīng)元1．3人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成第2章人工神經(jīng)網(wǎng)絡(luò)基本模型2．1MP模型2．2感知器模型2．3自適應(yīng)線性神經(jīng)元第3章EBP網(wǎng)絡(luò)(反向傳播算法）3．1含隱層的前饋網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則3．2Sigmoid激發(fā)函數(shù)下的BP算法3．3BP網(wǎng)絡(luò)的訓(xùn)練與測試3．4BP算法的改進3．5多層網(wǎng)絡(luò)BP算法的程序設(shè)計多層前向網(wǎng)絡(luò)BP算法源程序目錄第1章概述74第4章Hopfield網(wǎng)絡(luò)模型4．1離散型Hopfield神經(jīng)網(wǎng)絡(luò)4．2連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)模型源程序4．3旅行商問題(TSP)的HNN求解Hopfield模型求解TSP源程序第5章隨機型神經(jīng)網(wǎng)絡(luò)5．1模擬退火算法5．2Boltzmann機Boltzmann機模型源程序5．3Gaussian機第6章自組織神經(jīng)網(wǎng)絡(luò)6．1競爭型學(xué)習(xí)6．2自適應(yīng)共振理論(ART)模型6．3自組織特征映射(SOM)模型6．4CPN模型目錄第4章Hopfield網(wǎng)絡(luò)模型目錄75第7章聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)7．1聯(lián)想記憶基本特點7．2線性聯(lián)想記憶LAM模型7．3雙向聯(lián)想記憶BAM模型7．4時間聯(lián)想記憶TAM模型Hopfield模型聯(lián)想記憶源程序第8章CMAC模型8．1CMAC模型8．2CMAC映射算法8．3CMAC的輸出計算8．4CMAC控制器模型目錄第7章聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)目錄76神經(jīng)網(wǎng)絡(luò)研究與發(fā)展40年代初，美國McCulloch和PiMs從信息處理的角度，研究神經(jīng)細(xì)胞行為的數(shù)學(xué)模型表達(dá)．提出了二值神經(jīng)元模型。MP模型的提出開始了對神經(jīng)網(wǎng)絡(luò)的研究進程。1949年心理學(xué)家Hebb提出著名的Hebb學(xué)習(xí)規(guī)則，即由神經(jīng)元之間結(jié)合強度的改變來實現(xiàn)神經(jīng)學(xué)習(xí)的方法。雖然Hebb學(xué)習(xí)規(guī)則在人們研究神經(jīng)網(wǎng)絡(luò)的初期就已提出，但是其基本思想至今在神經(jīng)網(wǎng)絡(luò)的研究中仍發(fā)揮著重要作用。

神經(jīng)網(wǎng)絡(luò)研究與發(fā)展40年代初，美國McCulloch和Pi7750年代末期，Rosenblatt提出感知機模型(Perceptron)，首先從工程角度出發(fā)，研究了用于信息處理的神經(jīng)網(wǎng)絡(luò)模型.這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本符合神經(jīng)生理學(xué)的原理。感知機雖然比較簡單，卻已具有神經(jīng)網(wǎng)絡(luò)的一些基本性質(zhì)，如分布式存貯、并行處理、可學(xué)習(xí)性、連續(xù)計算等。這些神經(jīng)網(wǎng)絡(luò)的特性與當(dāng)時流行串行的、離散的、符號處理的電子計算機及其相應(yīng)的人工智能技術(shù)有本質(zhì)上的不同，由此引起許多研究者的興趣，在60代掀起了神經(jīng)網(wǎng)絡(luò)研究的第一次高潮。但是，當(dāng)時人們對神經(jīng)網(wǎng)絡(luò)研究過于樂觀，認(rèn)為只要將這種神經(jīng)元互連成一個網(wǎng)絡(luò)，就可以解決人腦思維的模擬問題，然而，后來的研究結(jié)果卻又使人們走到另一個極端上。50年代末期，Rosenblatt提出感78在60年代末，美國著名人工智能專家Minsky和Papert對Rosenblatt的工作進行了深人研究，出版了有較大影響的(Perceptron)一書，指出感知機的功能和處理能力的局限性，甚至連XOR(異或)這樣的問題也不能解決，同時也指出如果在感知器中引入隱含神經(jīng)元，增加神經(jīng)網(wǎng)絡(luò)的層次，可以提高神經(jīng)網(wǎng)絡(luò)的處理能力，但是卻無法給出相應(yīng)的網(wǎng)絡(luò)學(xué)習(xí)算法。因此Minsky的結(jié)論是悲觀的。另一方面，由于60年代以來集成電路和微電子技術(shù)日新月異的發(fā)展，使得電子計算機的計算速度飛速提高，加上那時以功能模擬為目標(biāo)、以知識信息處理為基礎(chǔ)的知識工程等研究成果，給人工智能從實驗室走向?qū)嵱脦砹讼Ｍ@些技術(shù)進步給人們造成這樣的認(rèn)識：以為串行信息處理及以它為基礎(chǔ)的傳統(tǒng)人工智能技術(shù)的潛力是無窮的，這就暫時掩蓋了發(fā)展新型計算機和尋找新的人工智能途徑的必要性和迫切性。另外，當(dāng)時對大腦的計算原理、對神經(jīng)網(wǎng)絡(luò)計算的優(yōu)點、缺點、可能性及其局限性等還很不清楚?？傊?，認(rèn)識上的局限性使對神經(jīng)網(wǎng)絡(luò)的研究進入了低潮。在60年代末，美國著名人工智能專家Minsky和P79在這一低潮時期，仍有一些學(xué)者扎扎實實地繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的基礎(chǔ)理論研究，提出了許多有意義的理論和方法。其中，主要有自適應(yīng)共振理論，自組織映射，認(rèn)知機網(wǎng)絡(luò)模型理論，BSB模型等等，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了理論基礎(chǔ)。進入80年代，首先是基于“知識庫”的專家系統(tǒng)的研究和運用，在許多方面取得了較大成功。但在一段時間以后，實際情況表明專家系統(tǒng)并不像人們所希望的那樣高明，特別是在處理視覺、聽覺、形象思維、聯(lián)想記憶以及運動控制等方面，傳統(tǒng)的計算機和人工智能技術(shù)面臨著重重困難。模擬人腦的智能信息處理過程，如果僅靠串行邏輯和符號處理等傳統(tǒng)的方法來濟決復(fù)雜的問題，會產(chǎn)生計算量的組合爆炸。因此，具有并行分布處理模式的神經(jīng)網(wǎng)絡(luò)理論又重新受到人們的重視。對神經(jīng)網(wǎng)絡(luò)的研究又開始復(fù)興，掀起了第二次研究高潮。

在這一低潮時期，仍有一些學(xué)者扎扎實實地繼續(xù)著801982年，美國加州理工學(xué)院物理學(xué)家J．J．Hopfield提出了一種新的神經(jīng)網(wǎng)絡(luò)HNN。他引入了“能量函數(shù)”的概念，使得網(wǎng)絡(luò)穩(wěn)定性研究有了明確的判據(jù)。HNN的電子電路物理實現(xiàn)為神經(jīng)計算機的研究奠定了基礎(chǔ)，并將其應(yīng)用于目前電子計算機尚難解決的計算復(fù)雜度為NP完全型的問題，例如著名的“巡回推銷員問”(TSP)，取得很好的效果。從事并行分布處理研究的學(xué)者，于1985年對Hopfield模型引入隨機機制，提出了Boltzmann機。1986年Rumelhart等人在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)模型的反向傳播學(xué)習(xí)算法(BP算法)，解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強的學(xué)習(xí)能力，它可以完成許多學(xué)習(xí)任務(wù)，解決許多實際問題。1982年，美國加州理工學(xué)院物理學(xué)家J．J．Hopfield81近十幾年來，許多具備不同信息處理能力的神經(jīng)網(wǎng)絡(luò)已被提出來并應(yīng)用于許多信息處理領(lǐng)域，如模式識別、自動控制、信號處理、決策輔助、人工智能等方面。神經(jīng)計算機的研究也為神經(jīng)網(wǎng)絡(luò)的理論研究提供了許多有利條件，各種神經(jīng)網(wǎng)絡(luò)模擬軟件包、神經(jīng)網(wǎng)絡(luò)芯片以及電子神經(jīng)計算機的出現(xiàn)，體現(xiàn)了神經(jīng)網(wǎng)絡(luò)領(lǐng)域的各項研究均取得了長足進展。同時，相應(yīng)的神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議和神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)刊物的大量出現(xiàn)，給神經(jīng)網(wǎng)絡(luò)的研究者們提供了許多討論交流的機會。近十幾年來，許多具備不同信息處理能力的神經(jīng)網(wǎng)絡(luò)已被提出來并應(yīng)82雖然人們已對神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域的研究達(dá)成了共識，對其巨大潛力也毋庸置疑，但是須知，人類對自身大腦的研究，尤其是對其中智能信息處理機制的了解，還十分膚淺。因而現(xiàn)有的研究成果僅僅處于起步階段，還需許多有識之士長期的艱苦努力。概括以上的簡要介紹，可以看出，當(dāng)前又處于神經(jīng)網(wǎng)絡(luò)理論的研究高潮，不僅給新一代智能計算機的研究帶來巨大影響，而且將推動整個人工智能領(lǐng)域的發(fā)展。但另一方面，由于問題本身的復(fù)雜性，不論是神經(jīng)網(wǎng)絡(luò)原理自身，還是正在努力進行探索和研究的神經(jīng)計算機，目前,都還處于起步發(fā)展階段。為了了解ANN，我們首先分析一下現(xiàn)行計算機所存在的問題。盡管馮·諾依曼型計算機在當(dāng)今世界發(fā)揮著巨大的作用，但它在智能化信息處理過程中存在著許多局限性。我們簡單分析一下馮·諾依曼型計算機求解某個問題所采用的方法。雖然人們已對神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域的研究達(dá)成了共識，對其巨大83(1)根據(jù)該問題的特點，建立合適的數(shù)學(xué)模型。(2)根據(jù)所建立的數(shù)學(xué)模型的原始數(shù)據(jù)資料，生成適合于輸入計算機的程序和數(shù)據(jù)。(3)計算機的控制器命令輸入器將計算步驟的初始數(shù)據(jù)記錄到存貯器中。(4)控制器根據(jù)計算步驟的順序，依次按存貯器地址讀出第一個計算步驟，然后根據(jù)讀出步驟的規(guī)定，控制運算器對相應(yīng)數(shù)據(jù)執(zhí)行規(guī)定的運算操作。(5)反饋器從反饋信號中得知運算器操作完畢，把所得的中間結(jié)果記錄到存貯器某個確定位置存貯好。(6)反饋信號通知控制器再取第二個計算步騾，然后重復(fù)上述的執(zhí)行過程。一直到整個運算完成后，控制器就命令輸出器把存貯器中存放的最終結(jié)果用打印、顯示或繪圖等方式輸出。(1)根據(jù)該問題的特點，建立合適的數(shù)學(xué)模型。84將以上整個計算過程概括起來，可以看出現(xiàn)行馮·諾依曼計算機有以下三個主要特點：(1)它必須不折不如地按照人們已經(jīng)編制好的程序步驟來進行相應(yīng)的數(shù)值計算或邏輯運算，它沒有主動學(xué)習(xí)的能力和自適應(yīng)能力，因此它是被動的。(2)所有的程序指令都要調(diào)入CPU一條接一條地順序執(zhí)行。因此．它的處理信息方式是集中的、串行的。(3)存貯器的位置(即地址)和其中歷存貯的具體內(nèi)容無關(guān)。因此，在調(diào)用操作的指令或數(shù)據(jù)時，總是先找它所在存貯器的地址，然后再查出所存貯的內(nèi)容。這就是說，存貯內(nèi)容和存貯地址是不相關(guān)的。由于現(xiàn)行計算機的上述特點，一方面它在像數(shù)值計算或邏輯運算這類屬于順序性(串行性)信息處理中，表現(xiàn)出遠(yuǎn)非人所能及的速度；另一方面，在涉及人類日常的信息活動，例如識別圖形、聽懂語言等，卻又顯得那樣低能和笨拙。

將以上整個計算過程概括起來，可以看出現(xiàn)行馮·諾依曼計85

實際上．腦對外界世界時空客體的描述和識別，乃是認(rèn)知的基礎(chǔ)。認(rèn)知問題離不開對低層次信息處理的研究和認(rèn)識。雖然符號處理在腦的思維功能模擬等方面取得了很大進展，但它對諸如視覺、聽覺、聯(lián)想記憶和形象思維等問題的處理往往感到力不從心。所以符號處理不可能全面解決認(rèn)知問題和機器智能化問題．它對高層次腦功能的宏觀模擬很有效，而對一些低層次的模式處理則至今還有許多困難。實際上．腦對外界世界時空客體的描述和識別，乃86正是由于認(rèn)識到傳統(tǒng)的馮·諾依曼計算機在智能信息處理中的這種難以逾越的局限性．使得人們考慮到有必要進一步了解分析人腦神經(jīng)系統(tǒng)信息處理和存貯的機理特征．以便尋求一條新的人工神經(jīng)網(wǎng)絡(luò)智能信息處理途徑。人工神經(jīng)網(wǎng)絡(luò)研究是采用自下而上的方法，從腦的神經(jīng)系統(tǒng)結(jié)構(gòu)出發(fā)來研究腦的功能，研究大量簡單的神經(jīng)元的集團信息處理能力及其動態(tài)行為。目前，神經(jīng)網(wǎng)絡(luò)的研究使得對多年來困擾計算機科學(xué)和符號處理的一些難題可以得到比較令人滿意的解答，特別是對那些時空信息存貯及并行搜索、自組織聯(lián)想記億、時空數(shù)據(jù)統(tǒng)計描述的自組織以及從一些相互關(guān)聯(lián)的活動中自動獲取知識等一般性問題的求解，更顯示出獨特的能力。由此引起了智能研究者們的廣泛關(guān)注，并普遍認(rèn)為神經(jīng)網(wǎng)絡(luò)方法適合于低層次的模式處理。

正是由于認(rèn)識到傳統(tǒng)的馮·諾依曼計算機在智能信87人腦信息處理機制生物神經(jīng)系統(tǒng)是一個有高度組織和相互作用的數(shù)量巨大的細(xì)胞組織群體。人類大腦的神經(jīng)細(xì)胞大約在1011一1013個左右。神經(jīng)細(xì)胞也稱神經(jīng)元，是神經(jīng)系統(tǒng)的基本單元，它們按不同的結(jié)合方式構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。通過神經(jīng)元及其聯(lián)接的可塑性，使得大腦具有學(xué)習(xí)、記憶和認(rèn)知等各種智能。

人工神經(jīng)網(wǎng)絡(luò)的研究出發(fā)點是以生物神經(jīng)元學(xué)說為基礎(chǔ)的。生物神經(jīng)元學(xué)說認(rèn)為，神經(jīng)細(xì)胞即神經(jīng)元是神經(jīng)系統(tǒng)中獨立的營養(yǎng)和功能單元。生物神經(jīng)系統(tǒng)．包括中樞神經(jīng)系統(tǒng)和大腦，均是由各類神經(jīng)元組成。其獨立性是指每一個神經(jīng)元均有自己的核和自己的分界線或原生質(zhì)膜。

人腦信息處理機制生物神經(jīng)系統(tǒng)是一個有高度組織和相互88生物神經(jīng)元之間的相互連接從而讓信息傳遞的部位披稱為突觸(Synapse)。突觸按其傳遞信息的不同機制，可分為化學(xué)突觸和電突觸、其中化學(xué)突觸占大多數(shù)，其神經(jīng)沖動傳遞借助于化學(xué)遞質(zhì)的作用。生物神經(jīng)元的結(jié)構(gòu)大致描述如下圖所示。生物神經(jīng)元之間的相互連接從而讓信息傳遞的部位披稱為突觸(Sy89神經(jīng)元由細(xì)胞體和延伸部分組成。延伸部分按功能分有兩類，一種稱為樹突，占延伸部分的大多數(shù)，用來接受來自其他神經(jīng)元的信息；另一種用來傳遞和輸出信息，稱為軸突。神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。單個神經(jīng)元可以從別的細(xì)胞接受多達(dá)上千個的突觸輸入。這些輸入可達(dá)到神經(jīng)元的樹突、胞體和軸突等不同部位，但其分布各不相同．對神經(jīng)元的影響也不同。人類大腦皮質(zhì)的全部表面積約有20×104mm2，平均厚度約2．5mm，皮質(zhì)的體積則約為50×104mm3。如果皮質(zhì)中突觸的平均密度是6×l09／mm3左右，則可認(rèn)為皮質(zhì)中的全部突觸數(shù)為3×1015個。如果再按上述人腦所含的全部神經(jīng)元數(shù)目計算，則每個神經(jīng)元平均的突觸數(shù)目可能就有1．5—3．0萬個左右。神經(jīng)元由細(xì)胞體和延伸部分組成。延伸部分按功能分有兩類，一種稱90神經(jīng)元之間的聯(lián)系主要依賴其突觸的聯(lián)接作用。這種突觸的聯(lián)接是可塑的，也就是說突觸特性的變化是受到外界信息的影響或自身生長過程的影響。生理學(xué)的研究歸納有以下幾個方面的變化：(1)突觸傳遞效率的變化。首先是突觸的膨脹以及由此產(chǎn)生的突觸后膜表面積擴大，從而突觸所釋放出的傳遞物質(zhì)增多，使得突觸的傳遞效率提高。其次是突觸傳遞物質(zhì)質(zhì)量的變化，包括比例成分的變化所引起傳遞效率的變化。(2)突觸接觸間隙的變化。在突觸表面有許多形狀各異的小凸芽，調(diào)節(jié)其形狀變化可以改變接觸間隙，并影響傳遞效率。(3)突觸的發(fā)芽。當(dāng)某些神經(jīng)纖維被破壞后，可能又會長出新芽，并重新產(chǎn)生附著于神經(jīng)元上的突觸．形成新的回路。由于新的回路的形成，使得結(jié)合模式發(fā)生變化，也會引起傳遞效率的變化。(4)突觸數(shù)目的增減。由于種種復(fù)雜環(huán)境條件的刺激等原因，或者由于動物本身的生長或衰老，神經(jīng)系統(tǒng)的突觸數(shù)目會發(fā)生變化，并影響神經(jīng)元之間的傳遞效率。

神經(jīng)元之間的聯(lián)系主要依賴其突觸的聯(lián)接作用。這種91神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。單個神經(jīng)元可以從別的細(xì)胞接受多個輸入。由于輸入分布于不同的部位，對神經(jīng)元影響的比例(權(quán)重)是不相同的。另外，各突觸輸入抵達(dá)神經(jīng)元的先后時間也不一祥。因此，一個神經(jīng)元接受的信息，在時間和空間上常呈現(xiàn)出一種復(fù)雜多變的形式，需要神經(jīng)元對它們進行積累和整合加工，從而決定其輸出的時機和強度。正是神經(jīng)元這種整合作用，才使得億萬個神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。多個神經(jīng)元以突觸聯(lián)接形成了一個神經(jīng)網(wǎng)絡(luò)。研究表明，生物神經(jīng)網(wǎng)絡(luò)的功能決不是單個神經(jīng)元生理和信息處理功能的簡單疊加，而是一個有層次的、多單元的動態(tài)信息處理系統(tǒng)。它們有其獨特的運行方式和控制機制，以接受生物內(nèi)外環(huán)境的輸入信息，加以綜合分折處理，然后調(diào)節(jié)控制機體對環(huán)境作出適當(dāng)?shù)姆磻?yīng)。

神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。92

以上是從宏觀上分析了人腦信息處理特點。從信息系統(tǒng)研究的觀點出發(fā)，對于人腦這個智能信息處理系統(tǒng)，有如下一些固有特征：(1)并行分布處理的工作模式。實際上大腦中單個神經(jīng)元的信息處理速度是很慢的，每次約1毫秒(ms)，比通常的電子門電路要慢幾個數(shù)量級。每個神經(jīng)元的處理功能也很有限，估計不會比計算機的一條指令更復(fù)雜。但是人腦對某一復(fù)雜過程的處理和反應(yīng)卻很快，一般只需幾百毫秒。例如要判定人眼看到的兩個圖形是否一樣，實際上約需400ms，而在這個處理過程中，與腦神經(jīng)系統(tǒng)的一些主要功能，如視覺、記億、推理等有關(guān)。按照上述神經(jīng)元的處理速度，如果采用串行工作模式，就必須在幾百個串行步內(nèi)完成，這實際上是不可能辦到的。因此只能把它看成是一個由眾多神經(jīng)元所組成的超高密度的并行處理系統(tǒng)。例如在一張照片尋找一個熟人的面孔，對人腦而言，幾秒鐘便可完成，但如用計算機來處理，以現(xiàn)有的技術(shù)，是不可能在短時間內(nèi)完成的。由此可見，大腦信息處理的并行速度已達(dá)到了極高的程度。

以上是從宏觀上分析了人腦信息處理特點。從信息系統(tǒng)研究的觀點93(2)神經(jīng)系統(tǒng)的可塑性和自組織性。神經(jīng)系統(tǒng)的可塑性和自組織性與人腦的生長發(fā)育過程有關(guān)。例如，人的幼年時期約在9歲左右，學(xué)習(xí)語言的能力十分強，說明在幼年時期，大腦的可塑性和柔軟性特別良好。從生理學(xué)的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。例如在某一外界信息反復(fù)刺激下．接受該信息的神經(jīng)細(xì)胞之間的突觸結(jié)合強度會增強。這種可塑性反映出大腦功能既有先天的制約因素，也有可能通過后天的訓(xùn)練和學(xué)習(xí)而得到加強。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機制就是基于這種可塑性現(xiàn)象，并通過修正突觸的結(jié)合強度來實現(xiàn)的。(3)信息處理與信息存貯合二為一。大腦中的信息處理與信息存貯是有機結(jié)合在一起的，而不像現(xiàn)行計算機那樣．存貯地址和存貯內(nèi)容是彼此分開的。由于大腦神經(jīng)元兼有信息處理和存貯功能，所以在進行回億時，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容的問題，而且還可以由一部分內(nèi)容恢復(fù)全部內(nèi)容。(4)信息處理的系統(tǒng)性大腦是一個復(fù)雜的大規(guī)模信息處理系統(tǒng)，單個的元件“神經(jīng)元”不能體現(xiàn)全體宏觀系統(tǒng)的功能。實際上，可以將大腦的各個部位看成是一個大系統(tǒng)中的許多子系統(tǒng)。各個子系統(tǒng)之間具有很強的相互聯(lián)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如，視覺系統(tǒng)和運動系統(tǒng)就存在很強的系統(tǒng)聯(lián)系，可以相互協(xié)調(diào)各種信息處理功能。(5)能接受和處理模糊的、模擬的、隨機的信息。(6)求滿意解而不是精確解。(2)神經(jīng)系統(tǒng)的可塑性和自組織性。94

人類處理日常行為時，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問題為原則，即求得滿意解就行了。(7)系統(tǒng)的恰當(dāng)退化和冗余備份(魯棒性和容錯性)。人類處理日常行為時，往往都不95

人工神經(jīng)網(wǎng)絡(luò)研究與應(yīng)用的主要內(nèi)容人工種經(jīng)網(wǎng)絡(luò)的研究方興末艾，很難準(zhǔn)確地預(yù)測其發(fā)展方向。但就目前來看，人工神經(jīng)網(wǎng)絡(luò)的研究首先須解決全局穩(wěn)定性、結(jié)構(gòu)穩(wěn)定性、可編程性等問題?，F(xiàn)今的研究工作應(yīng)包含以下的一些基本內(nèi)容：(1)人工神經(jīng)網(wǎng)絡(luò)模型的研究。神經(jīng)網(wǎng)絡(luò)原型研究，即大腦神經(jīng)網(wǎng)絡(luò)的生理結(jié)構(gòu)、思維機制。神經(jīng)元的生物特性如時空特性、不應(yīng)期、電化學(xué)性質(zhì)等的人工模擬易于實現(xiàn)的神經(jīng)網(wǎng)絡(luò)計算模型。利用物理學(xué)的方法進行單元間相互作用理論的研究如：聯(lián)想記憶模型。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法與學(xué)習(xí)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)研究與應(yīng)用的主要內(nèi)容96(2)神經(jīng)網(wǎng)絡(luò)基本理論研究。神經(jīng)網(wǎng)絡(luò)的非線性特性，包括自組織、自適應(yīng)等作用。神經(jīng)網(wǎng)絡(luò)的基本性能，包括穩(wěn)定性、收斂性、容錯性、魯棒性、動力學(xué)復(fù)雜性。神經(jīng)網(wǎng)絡(luò)的計算能力與信息存貯容量。開展認(rèn)知科學(xué)的研究。探索包括感知、思考、記憶和語言等的腦信息處理模型。采用諸如連接機制等方法，將認(rèn)知信息處理過程模型化，并通過建立神經(jīng)計算學(xué)來代替算法淪。(2)神經(jīng)網(wǎng)絡(luò)基本理論研究。97(3)神經(jīng)網(wǎng)絡(luò)智能信息處理系統(tǒng)的應(yīng)用。認(rèn)知與人工智能．包括模式識別、計算機視覺與聽覺、特征提取、語音識別語言翻譯、聯(lián)想記憶、邏輯推理、知識工程、專家系統(tǒng)、故障診斷、智能機器人等。優(yōu)化與控制，包括優(yōu)化求解、決策與管理、系統(tǒng)辨識、魯棒性控制、自適應(yīng)控制、并行控制、分布控制、智能控制等。信號處理；自適應(yīng)信號處理(自適應(yīng)濾波、時間序列預(yù)測、譜估計、消噪、檢測、陣列處理)和非線性信號處理(非線性濾波、非線性預(yù)測、非線性譜估計、非線性編碼、中值處理)。傳感器信息處理：模式預(yù)處理變換、信息集成、多傳感器數(shù)據(jù)融合。(3)神經(jīng)網(wǎng)絡(luò)智能信息處理系統(tǒng)的應(yīng)用。98(4)神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實現(xiàn)。在通用計算機、專用計算機或者并行計算機上進行軟件模擬，或由專用數(shù)字信號處理芯片構(gòu)成神經(jīng)網(wǎng)絡(luò)仿真器。由模擬集成電路、數(shù)字集成電路或者光器件在硬件上實現(xiàn)神經(jīng)芯片。軟件模擬的優(yōu)點是網(wǎng)絡(luò)的規(guī)?？梢暂^大，適合于用來驗證新的模型和復(fù)雜的網(wǎng)絡(luò)特性。硬件實現(xiàn)的優(yōu)點是處理速度快，但由于受器件物理因素的限制，根據(jù)目前的工藝條件，網(wǎng)絡(luò)規(guī)模不可能做得太大。僅幾千個神經(jīng)元。但代表了未來的發(fā)展方向，因此特別受到人們的重視。(4)神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實現(xiàn)。99

(5)神經(jīng)網(wǎng)絡(luò)計算機的實現(xiàn)。計算機仿真系統(tǒng)。專用神經(jīng)網(wǎng)絡(luò)并行計算機系統(tǒng)。數(shù)字、模擬、數(shù)—?；旌?、光電互連等。光學(xué)實現(xiàn)。生物實現(xiàn)。關(guān)于智能本質(zhì)的研究是自然科學(xué)和哲學(xué)的重大課題之一，對于智能的模擬和機器再現(xiàn)肯定可以開發(fā)拓展出一代新興產(chǎn)業(yè)。由于智能本質(zhì)的復(fù)雜性，現(xiàn)代智能研究已超越傳統(tǒng)的學(xué)科界限，成為腦生理學(xué)、神經(jīng)科學(xué)、心理學(xué)、認(rèn)知科學(xué)、信息科學(xué)、計算機科學(xué)、微電子學(xué)，乃至數(shù)理科學(xué)共同關(guān)心的“焦點”學(xué)科。人工神經(jīng)網(wǎng)絡(luò)的重大研究進展有可能使包括信息科學(xué)在內(nèi)的其他學(xué)科產(chǎn)生重大突破和變革。展望人工神經(jīng)網(wǎng)絡(luò)的成功應(yīng)用，人類智能有可能產(chǎn)生一次新的飛躍。(5)神經(jīng)網(wǎng)絡(luò)計算機的實現(xiàn)。100人工神經(jīng)網(wǎng)絡(luò)的信息處理能力人工神經(jīng)網(wǎng)絡(luò)的信息處理能力人工神經(jīng)網(wǎng)絡(luò)的信息處理能力包括兩方面的內(nèi)容：一、神經(jīng)網(wǎng)絡(luò)信息存貯能力．即要解決這樣的一個問題：在一個有N個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)中，可存貯多少值的信息?二、神經(jīng)網(wǎng)絡(luò)的計算能力。需要解決的問題是：神經(jīng)網(wǎng)絡(luò)能夠有效地計算哪些問題?在眾多的文獻中，人們都一致認(rèn)為：存貯能力和計算能力是現(xiàn)代計算機科學(xué)中的兩個基本問題，同樣，它們也構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)研究中的基本問題。人工神經(jīng)網(wǎng)絡(luò)的信息處理能力人工神經(jīng)網(wǎng)絡(luò)的信息處理能力101

前面提到在傳統(tǒng)的馮．諾依曼型計算機中，其計算與存貯是完全獨立的兩個部分。這兩個獨立部分——存貯器與運算器之間的通道，就成為提高計算機計算能力的瓶頸，并且只要這兩個部分是獨立存在的，這個問題就始終存在。對不同的計算機而言，只是這一問題的嚴(yán)重程度不同而已。神經(jīng)網(wǎng)絡(luò)模型從本質(zhì)上解決了傳統(tǒng)計算機的這個問題。它將信息的存貯與信息的處理完善地結(jié)合在一起。這是因為神經(jīng)網(wǎng)絡(luò)的運行是從輸入到輸出的值傳遞過程，在信息傳遞的同時也就完成了信息的存貯與計算。前面提到在傳統(tǒng)的馮．諾依曼型計算機中102(1)神經(jīng)網(wǎng)絡(luò)的存貯能力。神經(jīng)網(wǎng)絡(luò)的存貯能力因不同的網(wǎng)絡(luò)而不相同。這里我們給出Hopfield的一些結(jié)論。

定義：一個存貯器的信息表達(dá)能力定義為其可分辨的信息類型的對數(shù)值。在一個