ch神經(jīng)網(wǎng)絡理論基礎

ch神經(jīng)網(wǎng)絡理論基礎第1頁/共45頁

從人腦生理、心理學著手，模擬人腦工作機理大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡，它在本質(zhì)上不同于計算機，是一種大規(guī)模的并行處理系統(tǒng)，它具有學習、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。人工神經(jīng)網(wǎng)絡是模擬人腦思維方式的數(shù)學模型，從微觀結(jié)構(gòu)和功能上對人腦進行抽象和簡化，模擬人類智能

第2頁/共45頁

人工神經(jīng)網(wǎng)絡(簡稱神經(jīng)網(wǎng)絡)也是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構(gòu)成的復雜網(wǎng)絡系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。第3頁/共45頁6.1神經(jīng)網(wǎng)絡發(fā)展史1．啟蒙期（1890-1969）

對大腦神經(jīng)元研究表明，當其處于興奮狀態(tài)時，輸出側(cè)的軸突就會發(fā)出脈沖信號，每個神經(jīng)元的樹狀突起與來自其它神經(jīng)元軸突的互相結(jié)合部(此結(jié)合部稱為Synapse，即突觸)接收由軸突傳來的信號。如果—神經(jīng)元所接收到的信號的總和超過了它本身的“閾值”，則該神經(jīng)元就會處于興奮狀態(tài)，并向它后續(xù)連接的神經(jīng)元發(fā)出脈沖信號。

第4頁/共45頁1890年，W.James發(fā)表《心理學》，討論腦結(jié)構(gòu)和功能1943年，W.S.McCulloch和W.Pitts提出了描述腦神經(jīng)細胞動作的數(shù)學模型，即MP模型。1949年，D.O.Hebb提出了神經(jīng)元的學習法則，即Hebb法則。50年代末，E.Rosenblatt提出了描述信息在人腦中存儲和記憶的數(shù)學模型，即感知機(Perceptron)模型。

感知機是現(xiàn)代神經(jīng)計算的出發(fā)點。Block于1962年用解析法證明了感知機的學習收斂定理。正是由于這一定理的存在，才使得感知機的理論具有實際的意義，并引發(fā)了60年代以感知機為代表的第一次神經(jīng)網(wǎng)絡研究發(fā)展的高潮。

第5頁/共45頁1961年，E．R．Caianiello提出了能實現(xiàn)記憶和識別的神經(jīng)網(wǎng)絡模型，它由學習方程式和記憶方程式兩部分組成。

1962年，M．Minsky和S.Papert進一步發(fā)展了感知機的理論，他們把感知機定義為一種邏輯函數(shù)的學習機。B．Widraw在稍后于感知機一些時候提出了Adline分類學習機。它在結(jié)構(gòu)上與感知機相似，但在學習法則上采用了最小二乘平均誤差法。第6頁/共45頁2.低潮期（1969-1982年）神經(jīng)網(wǎng)絡理論研究水平的限制計算機發(fā)展的沖擊1969年，Grossberg提出迄今為止最復雜的ART神經(jīng)網(wǎng)絡1972年，Kohonen提出自組織映射的SOM模型第7頁/共45頁3.復興期

1982年，美國物理學家Hopfield對神經(jīng)網(wǎng)絡的動態(tài)特性進行了研究，提出了Hopfield神經(jīng)網(wǎng)絡模型，引入能量函數(shù)，實現(xiàn)問題優(yōu)化求解1986年，以Rumelhart為首的PDP(ParallelDistributedProcessing)并行分布處理研究集團對聯(lián)結(jié)機制(connectionist)進行了研究，提出了著名的多層神經(jīng)網(wǎng)絡模型，即BP網(wǎng)絡，至今為止應用最普遍。T．J．Sejnowski等人還研究了神經(jīng)網(wǎng)絡語音信息處理裝置。這些成功的研究對第二次神經(jīng)網(wǎng)絡研究高潮的形成起了決定性的作用。

第8頁/共45頁

Hopfield模型的動作原理是：只要由神經(jīng)元興奮的算法和神經(jīng)元之間的結(jié)合強度所決定的神經(jīng)網(wǎng)絡的狀態(tài)在適當給定的興奮模式下尚未達到穩(wěn)定，那么該狀態(tài)就會一直變化下去，直到預先定義的一個必定減小的能量函數(shù)達到極小值時，狀態(tài)才達到穩(wěn)定而不再變化。1985年，Hopfield和D．W．Tank用上述模型求解了古典的旅行推銷商問題(TravelingSalesmanProblem)，簡稱TSP問題。

第9頁/共45頁1983年，S．E．Farmann和Hiton提出了波爾茲曼機BM(BoltzmannMachine)，該神經(jīng)網(wǎng)絡模型中使用了概率動作的神經(jīng)元，把神經(jīng)元的輸出函數(shù)與統(tǒng)計力學中的波爾茲曼分布聯(lián)系起來。

1985年，W．O．Hillis發(fā)表了稱為聯(lián)結(jié)機(connection)的超級并行計算機。他把65536個lbit的微處理機排列成起立方體的互連形式，每個微處理機還帶有4kbit的存貯器。

誤差反向傳播神經(jīng)網(wǎng)絡BP(ErrorBackPropagationNeuralNetwork)是1986年由Rumelhart和Hinton提出的，

第10頁/共45頁4.新連接機制時期（1986年-）神經(jīng)網(wǎng)絡從理論——應用（神經(jīng)網(wǎng)絡芯片、神經(jīng)計算機）模式識別與圖象處理、控制與優(yōu)化、預測與管理、通信領域第11頁/共45頁并行分布處理理論

1986年，Rumelhart和McClelland發(fā)表了《并行分布處理——認知微結(jié)構(gòu)探索》一書。（ParallelDistributedProcessing）系統(tǒng)地總結(jié)了PDP的概念、理論、數(shù)學方法、產(chǎn)生的背景和發(fā)展前景。著名的BP神經(jīng)網(wǎng)絡學習法則就是在本書中由Rumelhart提出的。

第12頁/共45頁神經(jīng)網(wǎng)絡的研究概況神經(jīng)網(wǎng)絡的研究主要可分為以下三個方面：1．大腦和神經(jīng)系統(tǒng)的信息處理原理。2．構(gòu)造能實現(xiàn)信息處理的神經(jīng)網(wǎng)絡模型。3．能實現(xiàn)信息處理基本原理的技術研究一—神經(jīng)計算機。

美國軍方，認為神經(jīng)網(wǎng)絡技術是比原子彈工程更重要的技術。美國國防部(DARPA)曾宣布執(zhí)行一項總投資為4億美元的八年計劃，其主要研究目標為：連續(xù)語音信號識別、聲納信號識別、目標識別及跟蹤等。

第13頁/共45頁日本通產(chǎn)省早在1988年也提出了所謂人類尖端科學計劃(HumanFrontierScienceProgram)，即所謂的第六代計算機計劃，研制能模擬人類智能行為的計算機系統(tǒng)。

第14頁/共45頁第15頁/共45頁到目前為止，已經(jīng)發(fā)表了多達幾十種的神經(jīng)網(wǎng)絡模型，它們具備不同的信息處理能力，典型的神經(jīng)網(wǎng)絡模型如表1.2所示。第16頁/共45頁1987年6月21至24日在美國加州圣地亞哥(SanDiego)召開的第一屆神經(jīng)網(wǎng)絡國際會議;1988年，我國在北京召開了神經(jīng)網(wǎng)絡的國際研究工作會議，并出版了論文集。關于神經(jīng)網(wǎng)絡的主要國際性雜志有：(1)NeuralNetworks(國際神經(jīng)網(wǎng)絡協(xié)會會刊)(2)IEEETransactionsonNeuralNetworks(3)IEEETransactionsonParallelDistributedSystem(4)ConnectionsScience(5)Neurocomputing(6)NeuralComputation(7)InternationalJournalofNeuralSystems第17頁/共45頁6.2神經(jīng)網(wǎng)絡原理生物神經(jīng)元人腦大約由1012個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡神經(jīng)元是大腦處理信息的基本單元，以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干。它主要由細胞體、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。

第18頁/共45頁圖6－1單個生物神經(jīng)元解剖圖

第19頁/共45頁細胞體：包括細胞質(zhì)、細胞膜和細胞核樹突：用于為細胞體傳入信息軸突：為細胞體傳出信息，其末端為神經(jīng)末梢，含傳遞信息的化學物質(zhì)突觸：神經(jīng)元之間的接口（可塑性）第20頁/共45頁

從神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。當神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學物質(zhì)。突觸有兩種：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負突觸后電位。

第21頁/共45頁突觸傳遞信息的功能和特點歸納為：

信息傳遞有時延，一般為0.3～lms。信息的綜合有時間累加和空間累加。（時空整合）

突觸有興奮性和抑制性兩種類型。

具有脈沖／電位信號轉(zhuǎn)換功能。

神經(jīng)纖維傳導的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在1—150m／s之間

存在不應期。

不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞。（動態(tài)極化性）可塑性，突觸傳遞信息的強度是可變的，即具有學習功能。

存在遺忘或疲勞效應。第22頁/共45頁人腦神經(jīng)網(wǎng)絡信息處理的特點1．分布存儲與冗余性

2．并行處理

3．信息處理與存儲合一

4．可塑性與自組織性

5．魯棒性

第23頁/共45頁人工神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡以數(shù)學手段來模擬人腦神經(jīng)網(wǎng)絡結(jié)構(gòu)和特性神經(jīng)網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結(jié)構(gòu)，它一般由許多個神經(jīng)元組成，每個神經(jīng)元只有一個輸出，它可以連接到很多其他的神經(jīng)元，每個神經(jīng)元輸入有多個連接通道，每個連接通道對應于一個連接權(quán)系數(shù)。

目前已有40多種模型第24頁/共45頁人工神經(jīng)元模型歸納一下生物神經(jīng)元傳遞信息的過程：生物神經(jīng)元是一個多輸入、單輸出單元。常用的人工神經(jīng)元模型可用下圖模擬。

圖人工神經(jīng)元模型

第25頁/共45頁響應函數(shù)（激活函數(shù)）的基本作用：1、控制輸入對輸出的激活作用；2、對輸入、輸出進行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。

第26頁/共45頁根據(jù)響應函數(shù)的不同，人工神經(jīng)元有以下幾種類型：

圖

人工神經(jīng)元的響應函數(shù)

第27頁/共45頁1、閾值單元

2、線性單元

3、非線性單元：Sigmoid函數(shù)

第28頁/共45頁

上述模型能反映生物神經(jīng)元的基本特性，但還有如下不同之點：(1)生物神經(jīng)元傳遞的信息是脈沖，而上述模型傳遞的信息是模擬電壓。(2)由于在上述模型中用一個等效的模擬電壓來模擬生物神經(jīng)元的脈沖密度，所以在模型中只有空間累加而沒有時間累加(可以認為時間累加已隱含在等效的模擬電壓之中)。(3)上述模型未考慮時延、不應期和疲勞等。

第29頁/共45頁

6.3人工神經(jīng)網(wǎng)絡的分類神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡的特性及能力主要取決于網(wǎng)絡的拓撲結(jié)構(gòu)及學習方法。

第30頁/共45頁人工神經(jīng)網(wǎng)絡連接的幾種基本形式：1．前向網(wǎng)絡

網(wǎng)絡中的神經(jīng)元是分層排列的，每個神經(jīng)元只與前一層的神經(jīng)元相連接。

2．反饋網(wǎng)絡從輸出到輸入有反饋，反饋動力學系統(tǒng)，需要工作一段時間才穩(wěn)定，具有聯(lián)想記憶功能

3．自組織網(wǎng)絡

神經(jīng)網(wǎng)絡接受外界輸入時，網(wǎng)絡會分成不同區(qū)域，不同區(qū)域具有不同的響應特性，即不同的神經(jīng)元以最佳方式響應不同性質(zhì)的信號激勵，形成一種非線性映射，通過無監(jiān)督的自適應過程完成（聚類）第31頁/共45頁圖

神經(jīng)網(wǎng)絡的典型結(jié)構(gòu)

第32頁/共45頁6.4人工神經(jīng)網(wǎng)絡的學習算法神經(jīng)網(wǎng)絡最有用的特征之一是它具有自學習功能。通常一個ANN模型要實現(xiàn)某種功能，就需要對其加以訓練。所謂“訓練”，就是讓它學會要做的事情，通過學習，把這些知識記憶在網(wǎng)絡的權(quán)值中。學習方法是人工神經(jīng)網(wǎng)絡研究中的核心問題，通過學習算法，實現(xiàn)自適應、自組織和自學習能力。

神經(jīng)網(wǎng)絡的權(quán)值并非固定不變，相反這些權(quán)值可以根據(jù)經(jīng)驗或?qū)W習來改變。神經(jīng)網(wǎng)絡的學習過程就是不斷調(diào)整網(wǎng)絡的連接數(shù)值，以獲得期望輸出。人工神經(jīng)網(wǎng)絡連接權(quán)的確定通常有：有導師學習、無導師學習和再勵學習第33頁/共45頁常用的神經(jīng)網(wǎng)絡學習方式：（1）有導師學習監(jiān)督學習SupervisedLearning—例如BP—有明確的“教師”信號神經(jīng)網(wǎng)絡比較輸入實際輸出期望輸出（2）無導師學習無監(jiān)督學習UnsupervisedLearning

—沒有任何“教師”信號

—只是通過輸入數(shù)據(jù)的內(nèi)部信息

相當自組織？類方法。神經(jīng)網(wǎng)絡輸入實際輸出第34頁/共45頁（3）再勵學習ReinforcementLearning源于心理學神經(jīng)網(wǎng)絡1環(huán)境輸入輸出神經(jīng)網(wǎng)絡2第35頁/共45頁神經(jīng)網(wǎng)絡的工作方式：學習階段——修改權(quán)值工作階段——計算單元變化第36頁/共45頁1．Hebb學習規(guī)則是DonallHebb根據(jù)生理學中條件反射機理，于1949年提出的神經(jīng)元連接強度變化的規(guī)則。

如果