第四章-神經(jīng)網(wǎng)絡基本理論

第四章_神經(jīng)網(wǎng)絡基本理論第一頁，共98頁。模糊控制從人的經(jīng)驗出發(fā)，解決了智能控制中人類語言的描述和推理問題，尤其是一些不確定性語言的描述和推理問題，從而在機器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。模糊控制在處理數(shù)值數(shù)據(jù)、自學習能力等方面還遠沒有達到人腦的境界。人工神經(jīng)網(wǎng)絡從另一個角度出發(fā)，即從人腦的生理學和心理學著手，通過人工模擬人腦的工作機理來實現(xiàn)機器的部分智能行為。引言2第二頁，共98頁。人工神經(jīng)網(wǎng)絡（簡稱神經(jīng)網(wǎng)絡，NeuralNetwork）是模擬人腦思維方式的數(shù)學模型。神經(jīng)網(wǎng)絡是在現(xiàn)代生物學研究人腦組織成果的基礎上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡的結構和行為。神經(jīng)網(wǎng)絡反映了人腦功能的基本特征，如并行信息處理、學習、聯(lián)想、模式分類、記憶等。

20世紀80年代以來，人工神經(jīng)網(wǎng)絡（ANN，ArtificialNeuralNetwork）研究取得了突破性進展。神經(jīng)網(wǎng)絡控制是將神經(jīng)網(wǎng)絡與控制理論相結合而發(fā)展起來的智能控制方法。它已成為智能控制的一個新的分支，為解決復雜的非線性、不確定、未知系統(tǒng)的控制問題開辟了新途徑。引言3第三頁，共98頁。神經(jīng)生理學和神經(jīng)解剖學的研究表明，人腦極其復雜，由一千多億個神經(jīng)元交織在一起的網(wǎng)狀結構構成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。人腦能完成智能、思維等高級活動，為了能利用數(shù)學模型來模擬人腦的活動，導致了神經(jīng)網(wǎng)絡的研究。神經(jīng)系統(tǒng)的基本構造是神經(jīng)元(神經(jīng)細胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。生物神經(jīng)元4第四頁，共98頁。單個神經(jīng)元的解剖圖生物神經(jīng)元每個神經(jīng)元都由一個細胞體，一個連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支—樹突組成。5第五頁，共98頁。軸突功能是將本神經(jīng)元的輸出信號(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時傳送給多個神經(jīng)元。生物神經(jīng)元

樹突的功能是接受來自其它神經(jīng)元的興奮。神經(jīng)元細胞體將接收到的所有信號進行簡單地處理后，由軸突輸出。神經(jīng)元的軸突與另外神經(jīng)元神經(jīng)末梢相連的部分稱為突觸。6第六頁，共98頁。

神經(jīng)元的構成：（1）細胞體（主體部分）：包括細胞質(zhì)、細胞膜和細胞核；（2）樹突：用于為細胞體傳入信息；（3）軸突：為細胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學物質(zhì)；（4）突觸：是神經(jīng)元之間的接口（104~105個/每個神經(jīng)元）。通過樹突和軸突，神經(jīng)元之間實現(xiàn)了信息的傳遞。生物神經(jīng)元7第七頁，共98頁。

神經(jīng)元之間的聯(lián)系主要依賴其突觸的聯(lián)接作用。這種突觸的聯(lián)接是可塑的，也就是說突觸特性的變化是受到外界信息的影響或自身生長過程的影響。生理學的研究歸納有以下幾個方面的變化：

(1)突觸傳遞效率的變化。首先是突觸的膨脹以及由此產(chǎn)生的突觸后膜表面積擴大，從而突觸所釋放出的傳遞物質(zhì)增多，使得突觸的傳遞效率提高。其次是突觸傳遞物質(zhì)質(zhì)量的變化，包括比例成分的變化所引起傳遞效率的變化。

(2)突觸接觸間隙的變化。在突觸表面有許多形狀各異的小凸芽，調(diào)節(jié)其形狀變化可以改變接觸間隙，并影響傳遞效率。生物神經(jīng)元8第八頁，共98頁。

(3)突觸的發(fā)芽。當某些神經(jīng)纖維被破壞后，可能又會長出新芽，并重新產(chǎn)生附著于神經(jīng)元上的突觸．形成新的回路。由于新的回路的形成，使得結合模式發(fā)生變化，也會引起傳遞效率的變化。

(4)突觸數(shù)目的增減。由于種種復雜環(huán)境條件的刺激等原因，或者由于動物本身的生長或衰老，神經(jīng)系統(tǒng)的突觸數(shù)目會發(fā)生變化，并影響神經(jīng)元之間的傳遞效率。

生物神經(jīng)元9第九頁，共98頁。神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。單個神經(jīng)元可以從別的細胞接受多個輸入。由于輸入分布于不同的部位，對神經(jīng)元影響的比例(權重)是不相同的。另外，各突觸輸入抵達神經(jīng)元的先后時間也不一祥。因此，一個神經(jīng)元接受的信息，在時間和空間上常呈現(xiàn)出一種復雜多變的形式，需要神經(jīng)元對它們進行積累和整合加工，從而決定其輸出的時機和強度。正是神經(jīng)元這種整合作用，才使得億萬個神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。多個神經(jīng)元以突觸聯(lián)接形成了一個神經(jīng)網(wǎng)絡。研究表明，生物神經(jīng)網(wǎng)絡的功能決不是單個神經(jīng)元生理和信息處理功能的簡單疊加，而是一個有層次的、多單元的動態(tài)信息處理系統(tǒng)。它們有其獨特的運行方式和控制機制，以接受生物內(nèi)外環(huán)境的輸入信息，加以綜合分折處理，然后調(diào)節(jié)控制機體對環(huán)境作出適當?shù)姆磻?/p>

生物神經(jīng)元10第十頁，共98頁。突觸的信息處理生物神經(jīng)元傳遞信息的過程為多輸入、單輸出神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近當神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學物質(zhì)突觸有兩種類型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負突觸后電位生物神經(jīng)元11第十一頁，共98頁。神經(jīng)元具有如下功能：(1)

興奮與抑制：如果傳入神經(jīng)元的沖動經(jīng)整合后使細胞膜電位升高，超過動作電位的閾值時即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末梢傳出。如果傳入神經(jīng)元的沖動經(jīng)整合后使細胞膜電位降低，低于動作電位的閾值時即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。(2)學習與遺忘：由于神經(jīng)元結構的可塑性，突觸的傳遞作用可增強和減弱，因此神經(jīng)元具有學習與遺忘的功能。生物神經(jīng)元12第十二頁，共98頁。

以上是從宏觀上分析了人腦信息處理特點。從信息系統(tǒng)研究的觀點出發(fā)，對于人腦這個智能信息處理系統(tǒng)，有如下一些固有特征：

(1)并行分布處理的工作模式。實際上大腦中單個神經(jīng)元的信息處理速度是很慢的，每次約1毫秒(ms)，比通常的電子門電路要慢幾個數(shù)量級。每個神經(jīng)元的處理功能也很有限，估計不會比計算機的一條指令更復雜。但是人腦對某一復雜過程的處理和反應卻很快，一般只需幾百毫秒。例如要判定人眼看到的兩個圖形是否一樣，實際上約需400ms，而在這個處理過程中，與腦神經(jīng)系統(tǒng)的一些主要功能，如視覺、記億、推理等有關。按照上述神經(jīng)元的處理速度，如果采用串行工作模式，就必須在幾百個串行步內(nèi)完成，這實際上是不可能辦到的。因此只能把它看成是一個由眾多神經(jīng)元所組成的超高密度的并行處理系統(tǒng)。例如在一張照片尋找一個熟人的面孔，對人腦而言，幾秒鐘便可完成，但如用計算機來處理，以現(xiàn)有的技術，是不可能在短時間內(nèi)完成的。由此可見，大腦信息處理的并行速度已達到了極高的程度。

生物神經(jīng)元13第十三頁，共98頁。

(2)神經(jīng)系統(tǒng)的可塑性和自組織性。神經(jīng)系統(tǒng)的可塑性和自組織性與人腦的生長發(fā)育過程有關。例如，人的幼年時期約在9歲左右，學習語言的能力十分強，說明在幼年時期，大腦的可塑性和柔軟性特別良好。從生理學的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。例如在某一外界信息反復刺激下．接受該信息的神經(jīng)細胞之間的突觸結合強度會增強。這種可塑性反映出大腦功能既有先天的制約因素，也有可能通過后天的訓練和學習而得到加強。神經(jīng)網(wǎng)絡的學習機制就是基于這種可塑性現(xiàn)象，并通過修正突觸的結合強度來實現(xiàn)的。生物神經(jīng)元14第十四頁，共98頁。

(3)信息處理與信息存貯合二為一。大腦中的信息處理與信息存貯是有機結合在一起的，而不像現(xiàn)行計算機那樣．存貯地址和存貯內(nèi)容是彼此分開的。由于大腦神經(jīng)元兼有信息處理和存貯功能，所以在進行回億時，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容的問題，而且還可以由一部分內(nèi)容恢復全部內(nèi)容。

(4)信息處理的系統(tǒng)性大腦是一個復雜的大規(guī)模信息處理系統(tǒng)，單個的元件“神經(jīng)元”不能體現(xiàn)全體宏觀系統(tǒng)的功能。實際上，可以將大腦的各個部位看成是一個大系統(tǒng)中的許多子系統(tǒng)。各個子系統(tǒng)之間具有很強的相互聯(lián)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為。例如，視覺系統(tǒng)和運動系統(tǒng)就存在很強的系統(tǒng)聯(lián)系，可以相互協(xié)調(diào)各種信息處理功能。生物神經(jīng)元15第十五頁，共98頁。(5)能接受和處理模糊的、模擬的、隨機的信息。(6)求滿意解而不是精確解。人類處理日常行為時，往往都不是一定要按最優(yōu)或最精確的方式去求解，而是以能解決問題為原則，即求得滿意解就行了。

(7)系統(tǒng)的恰當退化和冗余備份(魯棒性和容錯性)。

生物神經(jīng)元16第十六頁，共98頁。決定神經(jīng)網(wǎng)絡模型性能三大要素為：(1)

神經(jīng)元（信息處理單元）的特性；(2)

神經(jīng)元之間相互連接的形式—拓撲結構；(3)

為適應環(huán)境而改善性能的學習規(guī)則。生物神經(jīng)元17第十七頁，共98頁。4.1人工神經(jīng)網(wǎng)絡模型人工神經(jīng)網(wǎng)絡的數(shù)學模型人工神經(jīng)網(wǎng)絡是在結構和功能上對生物神經(jīng)網(wǎng)絡的某種程度的模擬和逼近。直觀理解神經(jīng)網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結構它一般由大量神經(jīng)元組成每個神經(jīng)元只有一個輸出，可以連接到很多其他的神經(jīng)元每個神經(jīng)元輸入有多個連接通道，每個連接通道對應于一個連接權系數(shù)

18第十八頁，共98頁。

一、MP模型

MP模型屬于一種閾值元件模型，它是由美國McCulloch和Pitts提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡模型的基礎。人工神經(jīng)網(wǎng)絡基本模型4.1人工神經(jīng)網(wǎng)絡模型19第十九頁，共98頁。yx1x2xnw1w2wn···q標準MP模型4.1人工神經(jīng)網(wǎng)絡模型20第二十頁，共98頁。

wij——代表神經(jīng)元i與神經(jīng)元j之間的連接強度(模擬生物神經(jīng)元之間突觸連接強度)，稱之為連接權；

ui——代表神經(jīng)元i的活躍值，即神經(jīng)元狀態(tài)；xj——代表神經(jīng)元j的輸出，即是神經(jīng)元i的一個輸入；

θi——代表神經(jīng)元i的閾值。函數(shù)f表達了神經(jīng)元的輸入輸出特性。在MP模型中，f定義為階躍函數(shù)/激發(fā)函數(shù)：4.1人工神經(jīng)網(wǎng)絡模型21第二十一頁，共98頁。如果把閾值θi看作為一個特殊的權值，則可改寫為:其中，w0i＝-θi，v0＝1為用連續(xù)型的函數(shù)表達神經(jīng)元的非線性變換能力，常采用s型函數(shù):該函數(shù)的圖像如下圖所示4.1人工神經(jīng)網(wǎng)絡模型22第二十二頁，共98頁。4.1人工神經(jīng)網(wǎng)絡模型23第二十三頁，共98頁。

MP模型在發(fā)表時并沒有給出一個學習算法來調(diào)整神經(jīng)元之間的連接權。但是，我們可以根據(jù)需要，采用一些常見的算法來調(diào)整神經(jīng)元連接權，以達到學習目的。下面介紹的Hebb學習規(guī)則就是一個常見學習算法。

Hebb學習規(guī)則神經(jīng)網(wǎng)絡具有學習功能。對于人工神經(jīng)網(wǎng)絡而言，這種學習歸結為神經(jīng)元連接權的變化。調(diào)整wij的原則為：若第i和第j個神經(jīng)元同時處于興奮狀態(tài)，則它們之間的連接應當加強，即：

Δwij＝αuivj

這一規(guī)則與“條件反射”學說一致，并已得到神經(jīng)細胞學說的證實。α是表示學習速率的比例常數(shù)。4.1人工神經(jīng)網(wǎng)絡模型24第二十四頁，共98頁。4.2神經(jīng)網(wǎng)絡的定義和特點神經(jīng)網(wǎng)絡是在現(xiàn)代生物學研究人腦組織成果的基礎上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡的結構和行為，它從微觀結構和功能上對人腦進行抽象和簡化，是模擬人類智能的一條重要途徑，反映了人腦功能的若干基本特征，如并行信息處理、學習、聯(lián)想、模式分類、記憶等。

定義神經(jīng)網(wǎng)絡系統(tǒng)是由大量的神經(jīng)元，通過廣泛地互相連接而形成的復雜網(wǎng)絡系統(tǒng)。25第二十五頁，共98頁。

特點（1）非線性映射逼近能力。任意的連續(xù)非線性函數(shù)映射關系可由多層神經(jīng)網(wǎng)絡以任意精度加以逼近。（2）自適應性和自組織性。神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強度具有可塑性，網(wǎng)絡可以通過學習與訓練進行自組織，以適應不同信息處理的要求。（3）并行處理性。網(wǎng)絡的各單元可以同時進行類似的處理過程，整個網(wǎng)絡的信息處理方式是大規(guī)模并行的，可以大大加快對信息處理的速度。（4）分布存儲和容錯性。信息在神經(jīng)網(wǎng)絡內(nèi)的存儲按內(nèi)容分布于許多神經(jīng)元中，而且每個神經(jīng)元存儲多種信息的部分內(nèi)容。網(wǎng)絡的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復，因而使網(wǎng)絡具有容錯性和聯(lián)想記憶功能。（5）便于集成實現(xiàn)和計算模擬。神經(jīng)網(wǎng)絡在結構上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實現(xiàn)。4.2神經(jīng)網(wǎng)絡的定義和特點26第二十六頁，共98頁。4.3感知器模型感知器是一種早期的神經(jīng)網(wǎng)絡模型，由美國學者F.Rosenblatt于1957年提出.感知器中第一次引入了學習的概念，使人腦所具備的學習功能在基于符號處理的數(shù)學到了一定程度的模擬，所以引起了廣泛的關注。簡單感知器簡單感知器模型實際上仍然是MP模型的結構，但是它通過采用監(jiān)督學習來逐步增強模式劃分的能力，達到所謂學習的目的。27第二十七頁，共98頁。其結構如下圖所示

感知器處理單元對n個輸入進行加權和操作v即：其中，Wi為第i個輸入到處理單元的連接權值θ為閾值。f取階躍函數(shù).yx1x2xnw1w2wn···q4.3感知器模型28第二十八頁，共98頁。感知器在形式上與MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權的變化。感知器的連接權定義為可變的，這樣感知器就被賦予了學習的特性。利用簡單感知器可以實現(xiàn)邏輯代數(shù)中的一些運算。

Y=f(w1x1+w2x2-θ)(1)“與”運算。當取w1＝w2＝1，θ＝1.5時，上式完成邏輯“與”的運算。4.3感知器模型29第二十九頁，共98頁。(2)“或”運算，當取wl＝w2＝1，θ＝0.5時，上式完成邏輯“或”的運算。(3)“非”運算，當取wl=-1，w2＝0，θ

＝-1時．完成邏輯“非”的運算。4.3感知器模型30第三十頁，共98頁。簡單感知器引入的學習算法稱之為誤差學習算法。該算法是神經(jīng)網(wǎng)絡學習中的一個重要算法，并已被廣泛應用?，F(xiàn)介紹如下：誤差型學習規(guī)則：

(1)選擇一組初始權值wi(0)。

(2)計算某一輸入模式對應的實際輸出與期望輸出的誤差δ。4.3感知器模型31第三十一頁，共98頁。(3)如果δ小于給定值，結束，否則繼續(xù)。(4)更新權值(閾值可視為輸入恒為1的一個權值)：Δwi（t+1）＝wi（t+1）-wi（t）＝η[d—y(t)]xi。式中η為在區(qū)間(0，1)上的一個常數(shù)，稱為學習步長，它的取值與訓練速度和w收斂的穩(wěn)定性有關；通常η不能太大，因為太大會影響wi（t）的穩(wěn)定，η也不能太小，因為太小會使wi（t）的收斂速度太慢；d、y為神經(jīng)元的期望輸出和實際輸出；xi為神經(jīng)元的第i個輸入。

(5)返回(2)，重復，直到對所有訓練樣本模式，網(wǎng)絡輸出均能滿足要求。4.3感知器模型32第三十二頁，共98頁。

2.多層感知器

如果在輸入和輸出層間加上一層或多層的神經(jīng)元(隱層神經(jīng)元)，就可構成多層前向網(wǎng)絡，這里稱為多層感知器。4.3感知器模型33第三十三頁，共98頁。4.4神經(jīng)網(wǎng)絡的分類目前神經(jīng)網(wǎng)絡模型的種類相當豐富，已有數(shù)十種神經(jīng)網(wǎng)絡模型。典型的神經(jīng)網(wǎng)絡有多層前向傳播網(wǎng)絡（BP網(wǎng)絡）、Hopfield網(wǎng)絡、CMAC小腦模型、ART網(wǎng)絡、BAM雙向聯(lián)想記憶網(wǎng)絡、SOM自組織網(wǎng)絡、Blotzman機網(wǎng)絡和Madaline網(wǎng)絡等34第三十四頁，共98頁。4.4神經(jīng)網(wǎng)絡的分類（1）根據(jù)神經(jīng)網(wǎng)絡的連接方式，神經(jīng)網(wǎng)絡可分為前向網(wǎng)絡、反饋網(wǎng)絡、自組織網(wǎng)絡前向網(wǎng)絡：神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過各層的順次變換后，由輸出層輸出。在各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播網(wǎng)絡采用前向網(wǎng)絡形式。35第三十五頁，共98頁。4.4神經(jīng)網(wǎng)絡的分類反饋網(wǎng)絡：該網(wǎng)絡結構在輸出層到輸入層存在反饋，即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種神經(jīng)網(wǎng)絡是一種反饋動力學系統(tǒng)，它需要工作一段時間才能達到穩(wěn)定。

Hopfield神經(jīng)網(wǎng)絡是反饋網(wǎng)絡中最簡單且應用最廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡還可以解決尋優(yōu)問題。36第三十六頁，共98頁。4.4神經(jīng)網(wǎng)絡的分類自組織網(wǎng)絡：

當神經(jīng)網(wǎng)絡在接受外界輸入時，網(wǎng)絡將會分成不同的區(qū)域，不同區(qū)域具有不同的響應特征，即不同的神經(jīng)元以最佳方式響應不同性質(zhì)的信號激勵，從而形成一種拓撲意義上的特征圖，該圖實際上是一種非線性映射。這種映射是通過無監(jiān)督的自適應過程完成的，所以也稱為自組織特征圖。37第三十七頁，共98頁。4.4神經(jīng)網(wǎng)絡的分類（2）從網(wǎng)絡的學習方式上劃分，神經(jīng)網(wǎng)絡可分為有導師學習網(wǎng)絡和無導師學習網(wǎng)絡。①有導師學習神經(jīng)網(wǎng)絡，又稱監(jiān)督學習(supervisedlearning)網(wǎng)絡的輸出和期望的輸出(即導師信號）進行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡的權值，最終使差異變小。38第三十八頁，共98頁。4.4神經(jīng)網(wǎng)絡的分類②無導師學習神經(jīng)網(wǎng)絡，又稱無監(jiān)督學習（unsupervisedlearning）或自組織學習（self-organizedlearning）輸入模式進入網(wǎng)絡后，網(wǎng)絡按照一種預先設定的規(guī)則（如競爭規(guī)則）自動調(diào)整權值，使網(wǎng)絡最終具有模式分類等功能。

39第三十九頁，共98頁。4.4神經(jīng)網(wǎng)絡的分類神經(jīng)網(wǎng)絡分類標準不同，方法多樣40第四十頁，共98頁。4.5多層前向BP神經(jīng)網(wǎng)絡

多層前向神經(jīng)網(wǎng)絡的結構

一個輸入層，一個輸出層，多個隱層，信號沿輸入——>輸出的方向逐層傳遞。jpp1xp1xpntpk

tpmOp1OpnOp2隱層wj1wjn輸入層隱層輸出層信息流······pm41第四十一頁，共98頁。激活函數(shù)必須處處可導一般都使用S型函數(shù)使用S型激活函數(shù)時BP網(wǎng)絡輸入與輸出關系輸入輸出4.5多層前向BP神經(jīng)網(wǎng)絡42第四十二頁，共98頁。輸出的導數(shù)根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡進行訓練，應該將net的值盡量控制在收斂比較快的范圍內(nèi)

4.5多層前向BP神經(jīng)網(wǎng)絡43第四十三頁，共98頁。學習的過程：神經(jīng)網(wǎng)絡在外界輸入樣本的刺激下不斷改變網(wǎng)絡的連接權值,以使網(wǎng)絡的輸出不斷地接近期望的輸出。學習的本質(zhì)：對各連接權值的動態(tài)調(diào)整學習規(guī)則：權值調(diào)整規(guī)則，即在學習過程中網(wǎng)絡中各神經(jīng)元的連接權變化所依據(jù)的一定的調(diào)整規(guī)則。4.5多層前向BP神經(jīng)網(wǎng)絡44第四十四頁，共98頁。BP網(wǎng)絡的標準學習算法-算法思想學習的類型：有導師學習核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學習的過程：信號的正向傳播誤差的反向傳播將誤差分攤給各層的所有單元－－－各層單元的誤差信號修正各單元權值45第四十五頁，共98頁。BP網(wǎng)絡的標準學習算法-學習過程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權值網(wǎng)絡輸出的誤差減少到可接受的程度進行到預先設定的學習次數(shù)為止46第四十六頁，共98頁。BP網(wǎng)絡的標準學習算法網(wǎng)絡結構輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元,輸出層有q個神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;47第四十七頁，共98頁。BP網(wǎng)絡的標準學習算法輸入層與中間層的連接權值:隱含層與輸出層的連接權值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù):誤差函數(shù)：48第四十八頁，共98頁。BP網(wǎng)絡的標準學習算法第一步，網(wǎng)絡初始化給各連接權值分別賦一個區(qū)間（-1，1）內(nèi)的隨機數(shù)，設定誤差函數(shù)e，給定計算精度值ε和最大學習次數(shù)M。第二步,隨機選取第k個輸入樣本及對應期望輸出49第四十九頁，共98頁。BP網(wǎng)絡的標準學習算法第三步，計算隱含層各神經(jīng)元的輸入和輸出50第五十頁，共98頁。BP網(wǎng)絡的標準學習算法第四步，利用網(wǎng)絡期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導數(shù)。51第五十一頁，共98頁。BP網(wǎng)絡的標準學習算法第五步，利用隱含層到輸出層的連接權值、輸出層的和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導數(shù)。52第五十二頁，共98頁。BP網(wǎng)絡的標準學習算法53第五十三頁，共98頁。BP網(wǎng)絡的標準學習算法第六步，利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權值。54第五十四頁，共98頁。BP網(wǎng)絡的標準學習算法第七步，利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權。55第五十五頁，共98頁。BP網(wǎng)絡的標準學習算法第八步，計算全局誤差第九步，判斷網(wǎng)絡誤差是否滿足要求。當誤差達到預設精度或?qū)W習次數(shù)大于設定的最大次數(shù)，則結束算法。否則，選取下一個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。56第五十六頁，共98頁。BP網(wǎng)絡的標準學習算法BP算法直觀解釋當誤差對權值的偏導數(shù)大于零時，權值調(diào)整量為負，實際輸出大于期望輸出，權值向減少方向調(diào)整，使得實際輸出與期望輸出的差減少。whoe，此時Δwho<057第五十七頁，共98頁。BP網(wǎng)絡的標準學習算法BP算法直觀解釋當誤差對權值的偏導數(shù)小于零時，權值調(diào)整量為正，實際輸出少于期望輸出，權值向增大方向調(diào)整，使得實際輸出與期望輸出的差減少。e,此時Δwho>0who58第五十八頁，共98頁。BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)

MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個前饋BP網(wǎng)絡tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓練函數(shù)59第五十九頁，共98頁。BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能newff()功能建立一個前向BP網(wǎng)絡格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡；PR為網(wǎng)絡輸入取向量取值范圍的矩陣；[S1S2…SNl]表示網(wǎng)絡隱含層和輸出層神經(jīng)元的個數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡隱含層和輸出層的傳輸函數(shù)，默認為‘tansig’；BTF表示網(wǎng)絡的訓練函數(shù)，默認為‘trainlm’；BLF表示網(wǎng)絡的權值學習函數(shù)，默認為‘learngdm’；PF表示性能數(shù)，默認為‘mse’。60第六十頁，共98頁。BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能tansig()功能正切sigmoid激活函數(shù)格式a=tansig(n)說明雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。logsig()功能對數(shù)Sigmoid激活函數(shù)格式a=logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。61第六十一頁，共98頁。BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)例2-3，下表為某藥品的銷售情況，現(xiàn)構建一個如下的三層BP神經(jīng)網(wǎng)絡對藥品的銷售進行預測：輸入層有三個結點，隱含層結點數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結點數(shù)為1個，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡對藥品的銷售量進行預測，預測方法采用滾動預測方式，即用前三個月的銷售量來預測第四個月的銷售量，如用1、2、3月的銷售量為輸入預測第4個月的銷售量，用2、3、4月的銷售量為輸入預測第5個月的銷售量.如此反復直至滿足預測精度要求為止。月份123456銷量205623952600229816341600月份789101112銷量18731478190015002046155662第六十二頁，共98頁。BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)%以每三個月的銷售量經(jīng)歸一化處理后作為輸入P=[0.5152 0.8173 1.0000;0.8173 1.0000 0.7308;1.0000 0.7308 0.1390;0.7308 0.1390 0.1087;0.1390 0.1087 0.3520;0.1087 0.3520 0.0000;]';%以第四個月的銷售量歸一化處理后作為目標向量T=[0.73080.13900.10870.35200.00000.3761];%創(chuàng)建一個BP神經(jīng)網(wǎng)絡，每一個輸入向量的取值范圍為[0,1]，隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)中所描述的標準學習算法net=newff([01;01;01],[5,1],{'tansig','logsig'},'traingd');net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設置學習速率為0.1LP.lr=0.1;net=train(net,P,T);63第六十三頁，共98頁。BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)BP網(wǎng)絡應用于藥品預測對比圖由對比圖可以看出預測效果與實際存在一定誤差，此誤差可以通過增加運行步數(shù)和提高預設誤差精度業(yè)進一步縮小64第六十四頁，共98頁。BP神經(jīng)網(wǎng)絡的特點非線性映射能力能學習和存貯大量輸入-輸出模式映射關系，而無需事先了解描述這種映射關系的數(shù)學方程。只要能提供足夠多的樣本模式對供網(wǎng)絡進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當向網(wǎng)絡輸入訓練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡的輸入輸出規(guī)律影響很小.65第六十五頁，共98頁。BP算法的基本流程初始化加輸入和期望輸出計算隱層和輸出層的輸出迭代次數(shù)加1調(diào)節(jié)輸出層和隱層的連接權值改變訓練樣板訓練樣終止？迭代終止？NoNoyy4.6多層前向BP神經(jīng)網(wǎng)絡66第六十六頁，共98頁。4.6多層前向BP神經(jīng)網(wǎng)絡前向網(wǎng)絡進一步需研究的問題(1)該學習算法收斂速度太慢，常常需要成千上萬次的迭

代，而且隨著訓練樣例維數(shù)的增加，網(wǎng)絡性能會變差(2)從數(shù)學上看該算法是一梯度最速下降法，這就有可能出現(xiàn)局部極小問題，這樣算法所求得的就不是問題的解，所以BP算法是不完備的(3)網(wǎng)絡中隱節(jié)點個數(shù)的選取還沒有理論的指導(4)當有新樣例加入時，將影響到已學習過的樣例，而且要求刻畫每個輸入樣例的特征數(shù)目相同67第六十七頁，共98頁。4.7Hopfield神經(jīng)網(wǎng)絡Hopfield神經(jīng)網(wǎng)絡霍普菲爾德網(wǎng)絡是單層對稱全反饋網(wǎng)絡，根據(jù)其激活函數(shù)的選取不同，可分為離散型的霍普菲爾德網(wǎng)絡(DiscreteHopfieldNeuralNetwork，簡稱DHNN)和連續(xù)型的霍普菲爾德網(wǎng)絡(ContinuousHopfieldNeuralNetwork，簡稱CHNN)。DHNN的激活函數(shù)為二值型的，其輸入、輸出為{0，1}的反饋網(wǎng)絡，主要用于聯(lián)想記憶。CHNN的激活函數(shù)的輸入與輸出之間的關系為連續(xù)可微的單調(diào)上升函數(shù),可以取0到1之間的任一實數(shù)值,主要用于優(yōu)化計算。68第六十八頁，共98頁。在反饋網(wǎng)絡中如果其激活函數(shù)f(·)是一個二值型的硬函數(shù)，如圖1所示，即ai＝sgn(ni)，i＝l,2,…r，則稱此網(wǎng)絡為離散型反饋網(wǎng)絡；如果ai=f(ni)中的f(·)為一個連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡被稱為連續(xù)型反饋網(wǎng)絡。圖2中所示為一個具有飽和線性激活函數(shù)，它滿足連續(xù)單調(diào)上升的有界函數(shù)的條件，常作為連續(xù)型的激活函數(shù)。圖1DHNN中的激活函數(shù)

圖2CHNN中的激活函數(shù)

4.7Hopfield神經(jīng)網(wǎng)絡69第六十九頁，共98頁?；镜腍opfield神經(jīng)網(wǎng)絡是一個由非線性元件構成的全連接型單層反饋系統(tǒng)，Hopfield網(wǎng)絡中的每一個神經(jīng)元都將自己的輸出通過連接權傳送給所有其它神經(jīng)元，同時又都接收所有其它神經(jīng)元傳遞過來的信息。Hopfield神經(jīng)網(wǎng)絡是一個反饋型神經(jīng)網(wǎng)絡，網(wǎng)絡中的神經(jīng)元在t時刻的輸出狀態(tài)實際上間接地與自己t-1時刻的輸出狀態(tài)有關。4.7Hopfield神經(jīng)網(wǎng)絡70第七十頁，共98頁。反饋型網(wǎng)絡的一個重要特點就是它具有穩(wěn)定狀態(tài)，當網(wǎng)絡達到穩(wěn)定狀態(tài)的時候，也就是它的能量函數(shù)達到最小的時候。

Hopfield神經(jīng)網(wǎng)絡的能量函數(shù)表征網(wǎng)絡狀態(tài)的變化趨勢，并可以依據(jù)Hopfield工作運行規(guī)則不斷進行狀態(tài)變化，最終能夠達到的某個極小值的目標函數(shù)。網(wǎng)絡收斂就是指能量函數(shù)達到極小值。4.7Hopfield神經(jīng)網(wǎng)絡71第七十一頁，共98頁。

Hopfield網(wǎng)絡的穩(wěn)定性可用能量函數(shù)進行分析。目前，人工神經(jīng)網(wǎng)絡常利用漸進穩(wěn)定點來解決某些問題。例如，如果把系統(tǒng)的穩(wěn)定點視為一個記憶的話，那么從初態(tài)朝這個穩(wěn)定點的演變過程就是尋找記憶的過程。初態(tài)可以認為是給定的有關記憶的部分信息。如果把系統(tǒng)的穩(wěn)定點視為一個能量函數(shù)的極小點，把能量函數(shù)視為一個優(yōu)化問題的目標函數(shù)，那么從初態(tài)朝這個穩(wěn)定點的演變過程就是一個求該優(yōu)化問題的過程。這樣的優(yōu)點在于它的解并不需要真的去計算，而只要構成這種反饋網(wǎng)絡，適當?shù)脑O計其連接值和輸入就可達到目的。4.7Hopfield神經(jīng)網(wǎng)絡72第七十二頁，共98頁。4.7Hopfield神經(jīng)網(wǎng)絡(1)

離散型Hopfield網(wǎng)絡離散型Hopfield網(wǎng)絡的輸出為二值型，網(wǎng)絡采用全連接結構。令為各神經(jīng)元的輸出，為各神經(jīng)元與第個神經(jīng)元的連接權值，為第神經(jīng)元的閾值，則有73第七十三頁，共98頁。4.7Hopfield神經(jīng)網(wǎng)絡當網(wǎng)絡經(jīng)過適當訓練后，可以認為網(wǎng)絡處于等待狀態(tài)。而對網(wǎng)絡給定初始輸入x時，網(wǎng)絡就處于特定的初始狀態(tài)。由此初始狀態(tài)開始運行，可得到網(wǎng)絡輸出（即網(wǎng)絡的下一狀態(tài)）。然后這個輸出狀態(tài)通過反饋連接回送到網(wǎng)絡的輸入端，作為網(wǎng)絡下一級運行的輸入信號，而該輸入信號可能與初始輸入信號x不同。由這個新的輸入又可得到下一步的輸出，該輸出也可能與上一步的輸出不同。如此下去，網(wǎng)絡的整個運行過程就是上述反饋過程的重復。如果網(wǎng)絡是穩(wěn)定的，那么隨著多次反饋運行，網(wǎng)絡狀態(tài)的變化逐漸減少，最后不再變化，達到穩(wěn)態(tài)。這時由輸出端可得到網(wǎng)絡的穩(wěn)定輸出。74第七十四頁，共98頁。能量函數(shù)定義為則其變化量為

也就是說，能量函數(shù)總是隨神經(jīng)元狀態(tài)的變化而下降的。4.7Hopfield神經(jīng)網(wǎng)絡75第七十五頁，共98頁。4.7Hopfield神經(jīng)網(wǎng)絡(2)

連續(xù)型Hopfield網(wǎng)絡用模擬電路模仿生物神經(jīng)網(wǎng)絡的特性76第七十六頁，共98頁。4.7Hopfield神經(jīng)網(wǎng)絡連續(xù)型Hopfield網(wǎng)絡連續(xù)型Hopfield網(wǎng)絡的動態(tài)方程ui為第i個神經(jīng)元的狀態(tài)輸入Vi為第i個神經(jīng)元的狀態(tài)輸出ωij為第i個神經(jīng)元到第j神經(jīng)元的連接權

g(?)為具有連續(xù)且單調(diào)增性質(zhì)的神經(jīng)元激勵函數(shù)Ii為施加到第i個神經(jīng)元的偏置77第七十七頁，共98頁。4.7Hopfield神經(jīng)網(wǎng)絡定義能量函數(shù)則其變化量78第七十八頁，共98頁。4.7Hopfield神經(jīng)網(wǎng)絡其中，于是，當ωij=ωji時，79第七十九頁，共98頁。且當時。因此，隨時間的增長，神經(jīng)網(wǎng)絡在狀態(tài)空間中的軌跡總是向能量函數(shù)減小的方向變化，且網(wǎng)絡的穩(wěn)定點就是能量函數(shù)的極小點。連續(xù)型Hopfield網(wǎng)絡廣泛用于聯(lián)想記憶和優(yōu)化計算問題。

4.7Hopfield神經(jīng)網(wǎng)絡如果把一個最優(yōu)化問題的目標函數(shù)轉(zhuǎn)換成網(wǎng)絡的能量函數(shù)，把問題的變量對應于網(wǎng)絡的狀態(tài)，那么Hopfield神經(jīng)網(wǎng)絡就能夠用于解決優(yōu)化組合問題。80第八十頁，共98頁。關于連續(xù)Hopfield網(wǎng)絡有如下結論：具有良好的收斂性。即從任意非平衡軌跡出發(fā)，網(wǎng)絡將最終收斂于某個平衡狀態(tài)；具有有限個平衡點；如果平衡點是穩(wěn)定的，那么它也一定是漸進穩(wěn)定的；漸進穩(wěn)定平衡點為其能量函數(shù)的極小點；通過適當?shù)膶W習，該網(wǎng)絡能將任意一組正交矢量存儲起來作為漸進穩(wěn)定平衡點；連續(xù)Hopfield網(wǎng)絡的信息存儲表現(xiàn)為神經(jīng)元之間互聯(lián)的分布式動態(tài)存儲；連續(xù)Hopfield網(wǎng)絡以大規(guī)模非線性連續(xù)時間并行方式處理信息，其計算時間就是系統(tǒng)趨于平衡點的時間。4.7Hopfield神經(jīng)網(wǎng)絡81第八十一頁，共98頁。Hopfield網(wǎng)絡的應用：Hopfield網(wǎng)絡已成功地用于多個領域，應用方式主要有兩種：聯(lián)想存取和優(yōu)化計算。不同應用的基本思想可以歸納如下：對于特定的問題，選擇一種合適的表示方法，使得神經(jīng)網(wǎng)絡得輸出與問題的解對應起來;構造神經(jīng)網(wǎng)絡的能量函數(shù)，使其最小值對應于問題的最佳解;由能量函數(shù)反推出神經(jīng)網(wǎng)絡的結構;由網(wǎng)絡結構構造網(wǎng)絡，讓其運行，則穩(wěn)定狀態(tài)在一定條件下就是問題的解.4.7Hopfield神經(jīng)網(wǎng)絡82第八十二頁，共98頁。4.8Hopfield網(wǎng)絡在組合優(yōu)化中的應用

組合優(yōu)化問題，就是在給定約束條件下，求出使目標函數(shù)極?。ɑ驑O大）的變量組合問題。

將Hopfield網(wǎng)絡應用于求解組合優(yōu)化問題，就是把目標函數(shù)轉(zhuǎn)化為網(wǎng)絡的能量函數(shù)，把問題的變量對應于網(wǎng)絡的狀態(tài)。這樣當網(wǎng)絡的能量函數(shù)收斂于極小值時，問題的最優(yōu)解也隨之求出。

83第八十三頁，共98頁。TSP問題所謂TSP(TravelingSalesmanProblem)問題，即“旅行商問題”是一個十分有名的難以求解的優(yōu)化問題，其要求很簡單：在n個城市的集合中，從某一城市出發(fā)，訪問各城市一次且僅一次后再回到原出發(fā)城市。要求找出一條最短的巡回路線。如果已知城市A，B，C，D，…，之間的距離為dAB，dBC，dCD…；那么總的距離d＝dAB+dBC+dCD+…，對于這種動態(tài)規(guī)化問題，要去求其min(d)的解。因為對于n個城市的全排列共有n!種，而TSP并沒有限定路徑的方向，即為全組合，所以對于固定的城市數(shù)n的條件下，其路徑總數(shù)Sn為Sn＝n!／2n(n≥4)4.8Hopfield網(wǎng)絡在組合優(yōu)化中的應用84第八十四頁，共98頁。n＝4時的TSP路徑圖城市數(shù)和對應的旅行方案數(shù)4.8Hopfield網(wǎng)絡在組合優(yōu)化中的應用85第八十五頁，共98頁。采用連續(xù)時間的霍普菲爾德網(wǎng)絡模型來求解TSP，開辟了一條解決這一問題的新途徑。其基本思想是把TSP映射到CHNN上，通過網(wǎng)絡狀態(tài)的動態(tài)演化逐步趨向穩(wěn)態(tài)而自動地搜索出優(yōu)化解。TSP的解是若干城市的有序排列，任何一個城市在最終路徑上的位置可用一個n維的0、1矢量表示，對于所有n個城市，則需要一個n×n維矩陣，例如以5個城市為例，一種可能的排列矩陣為：

該矩陣唯一地確定了一條有效的行程路徑：C→A→D→B→E4.8Hopfield網(wǎng)絡在組合優(yōu)化中的應用86第八十六頁，共98頁。約束條件和最優(yōu)條件問題的約束條件和最優(yōu)條件如下：（1)

一個城市只能被訪問一次=>換位矩陣每行只有一個“1”。

（2）一次只能訪問一個城市=>換拉矩陣每列只有一個“1”。

（3）總共有N個城市=>換位矩陣元素之和為N。

(4）求巡回路徑最短=>網(wǎng)絡能量函數(shù)的最小值對應于TSP的最短路徑。

4.8Hopfield網(wǎng)絡在組合優(yōu)化中的應用87第八十七頁，共98頁。TSP的最優(yōu)解是求長度dxy為最短的一條有效的路徑。(2)目標函數(shù)f(V)(1)約束條件g(V)約束條件要保證關聯(lián)矩陣的每一行每一列中只有一個值為1，其他值均為零，用三項表示為：4.8Hop