人工神經(jīng)網(wǎng)絡(luò)PPT

1、人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) Artificial Neural Networks概述1.1 什么是人工神經(jīng)網(wǎng)絡(luò)v人工神經(jīng)網(wǎng)絡(luò)：是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。在工程與學(xué)術(shù)界也常直接簡稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點（或稱神經(jīng)元）和之間相互聯(lián)接構(gòu)成。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激勵函數(shù)（activation function）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值，稱之為權(quán)重，這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對自然界某種算法或者函數(shù)的逼近，

2、也可能是對一種邏輯策略的表達(dá)。v簡單來說, 大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。v每個神經(jīng)元可看作是一個小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。v這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵信號做自適應(yīng)變化，而每個神經(jīng)元又隨著所接收到的多個接收信號的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。v現(xiàn)已明確大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵信息做自適應(yīng)變化的過程，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來。v由于我們建立的信息處理系統(tǒng)實際上是模仿生理神經(jīng)網(wǎng)絡(luò)，因此稱它為人工神經(jīng)網(wǎng)絡(luò)。v需要指出，盡管人工神經(jīng)網(wǎng)絡(luò)是對大腦結(jié)構(gòu)的模仿，但這種模仿目前還處于極低的

3、水平。v按美國神經(jīng)網(wǎng)絡(luò)學(xué)者Nielsen的定義人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元具有局部內(nèi)存，可以完成局部操作，即它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號的當(dāng)前值和存儲在處理單元局部內(nèi)存中的值。每個處理單元有一個單一的輸出聯(lián)接，輸出信號可以是任何需要的數(shù)學(xué)模型。v人工神經(jīng)網(wǎng)絡(luò)與一般計算機(jī)的區(qū)別在一般的計算機(jī)中，通常有一個中央處理器，它可訪問其存儲器。該處理器可取一條指令和該指令所需的數(shù)據(jù)，并執(zhí)行該指令，最后將計算結(jié)果存入指定的存儲單元中。任何動作都按照確定的操作程序，以串行方式執(zhí)行。在人工神經(jīng)網(wǎng)絡(luò)中，操作既不是串行的

4、，也不是預(yù)先確定的，它根本沒有確定的存儲器，而是由許多互連的簡單處理單元組成。每個處理單元的處理功能只是求其所有輸入信號的加權(quán)和，當(dāng)該和值超過某一閾值時，輸出呈現(xiàn)興奮狀態(tài)（高電平），否則低于閾值時呈現(xiàn)抑制狀態(tài)（低電平）。人工神經(jīng)網(wǎng)絡(luò)并不執(zhí)行指令序列，它對并行加載的輸入信號也按并行方式來處理和響應(yīng)，結(jié)果也不存儲在特定的存儲單元中。當(dāng)它達(dá)到某種平衡狀態(tài)后，網(wǎng)絡(luò)的整個狀態(tài)就是所求的結(jié)果。目前還沒有用硬件真正實現(xiàn)的并行處理的人工神經(jīng)網(wǎng)絡(luò)，對它的實現(xiàn)還是基于一般計算機(jī)的軟件模擬，這顯然并沒有真正發(fā)揮出人工神經(jīng)網(wǎng)絡(luò)并行快速的特點。v人工神經(jīng)網(wǎng)絡(luò)的兩種操作過程訓(xùn)練學(xué)習(xí)v訓(xùn)練時，把要教給神經(jīng)網(wǎng)絡(luò)的信息（外部輸

5、入）作為網(wǎng)絡(luò)的輸入和要求的輸出，使網(wǎng)絡(luò)按某種規(guī)則（稱為訓(xùn)練算法）調(diào)節(jié)各處理單元間的連接權(quán)值，直至加上給定輸入，網(wǎng)絡(luò)就能產(chǎn)生給定輸出為止。v這時，各連接權(quán)已調(diào)接好，網(wǎng)絡(luò)的訓(xùn)練就完成了。正常操作（回憶操作）v對訓(xùn)練好的網(wǎng)絡(luò)輸入一個信號，它就可以正確回憶出相應(yīng)輸出，得到識別結(jié)果。v文本（英文）朗讀機(jī)實例輸入裝置是一個閱讀窗口，當(dāng)它沿文本的一行移動時，每次前移一個字母，但每個瞬間輸入七個相鄰的字母（包括空格和句號）信息。由于英文字母的發(fā)音與其前后字母有關(guān)，所以訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)時，只要求每次七個字母的中間字母發(fā)音（靠人工神經(jīng)網(wǎng)絡(luò)的輸出相應(yīng)狀態(tài)驅(qū)動一個語音綜合發(fā)生器）。訓(xùn)練時，將一篇有1024個字的文本一

6、行一行通過閱讀窗口，并要求對應(yīng)每個字母時人工神經(jīng)網(wǎng)絡(luò)的輸出結(jié)點能輸出相應(yīng)音素的狀態(tài)值。這樣通過十遍閱讀（訓(xùn)練），可以達(dá)到輸出可理解的語音。通過50遍閱讀（訓(xùn)練），可以達(dá)到95%的精確度。訓(xùn)練過程中聽上去像小孩學(xué)說話一樣，由不清楚到清楚。訓(xùn)練完成后，再閱讀從未見過的課文，朗讀精度仍可達(dá)78%，完全可以聽懂。v人臉識別實例用10個人的照片，每個人都在不同的角度照5張照片，共有50張照片的輸入信息。對人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，每個照片信息作為輸入時，代表10個人的10個結(jié)點中相應(yīng)的一個結(jié)點輸出最大，每個人的5張照片都對應(yīng)著同一個結(jié)點的最大輸出。經(jīng)過訓(xùn)練后，再對原來的10個人中的一個從不同角度拍照（尺寸不

7、變），進(jìn)行識別，結(jié)果是他本人對應(yīng)的結(jié)點的輸出比其它9個結(jié)點的輸出都高得多。v總結(jié)和討論傳統(tǒng)計算機(jī)采用的是串行處理方式，限制了大量信息的快速傳輸和處理，即使用了多個處理器并行工作，還是會把許多時間浪費在完成串行操作上，而且問題的并行化分解和并行程序的編寫也是一個難題。雖然至今開發(fā)出的超型計算機(jī)，其速度和容量都大得驚人，但仍不能很好地完成諸如小孩可以做到的事情，如認(rèn)識面孔、學(xué)習(xí)說話、識別圖像等。盡管人工神經(jīng)網(wǎng)絡(luò)還是生物大腦的極低水平的模仿，但在圖像識別、語音識別、記憶、預(yù)測以及優(yōu)化等方面表現(xiàn)出了良好的智能特性和應(yīng)用前景，可以完成傳統(tǒng)計算機(jī)不易實現(xiàn)的智能性工作。1.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點v固有的

8、并行結(jié)構(gòu)和并行處理人工神經(jīng)網(wǎng)絡(luò)與人類的大腦類似，不但結(jié)構(gòu)上是并行的，其處理順序也是并行的和同時的。在同一層內(nèi)的處理單元都是同時工作的，即神經(jīng)網(wǎng)絡(luò)的計算功能分布在多個處理單元上，而傳統(tǒng)的計算機(jī)通常只有一個處理單元，其處理順序是串行的。目前的神經(jīng)網(wǎng)絡(luò)功能常常用一般計算機(jī)的串行工作方式來模擬，所以顯得很慢，真正意義上的神經(jīng)網(wǎng)絡(luò)將會大大提高處理速度，實現(xiàn)快速處理。v知識的分布存儲在神經(jīng)網(wǎng)絡(luò)中，知識不是存儲在特定的存儲單元，而是分布在整個系統(tǒng)中，要存儲多個知識就需要很多連接。在計算機(jī)中，只要給定一個地址就可以得到一個或一組數(shù)據(jù)，在神經(jīng)網(wǎng)絡(luò)中，要獲得存儲的知識則采用“聯(lián)想”的辦法，這類似于人類和動物的記憶

9、。1.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點v容錯性人類大腦具有很強(qiáng)的容錯能力，這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的。v每天大腦的一些細(xì)胞都可能會自動死亡，但這并沒有影響人們的記憶和思考能力。人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和做出決定v由于知識存在整個系統(tǒng)中，而不是在一個存儲單元內(nèi)，因此一定比例的結(jié)點不參與運(yùn)算，對整個系統(tǒng)的性能不會產(chǎn)生重大影響。v神經(jīng)網(wǎng)絡(luò)中承受硬件損壞的能力比一般計算機(jī)要強(qiáng)得多。1.1.4 人工神經(jīng)網(wǎng)絡(luò)的基本原理v人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks,or ANN)是對人類大腦系統(tǒng)一階特性的一種描述。v簡單的講，它是一個數(shù)學(xué)模

10、型，可以用電子線路來實現(xiàn)，也可以用計算機(jī)程序來模擬，是人工智能的一種方法。什么是人工智能？v人工智能（Artificial Intelligence,or AI）最初是在1956年被引入的，它研究怎樣用計算機(jī)，模擬人腦從事推理、設(shè)計、思考、學(xué)習(xí)等思維活動，以解決和處理較復(fù)雜的問題，簡單的說，人工智能就是讓計算機(jī)模仿人腦進(jìn)行工作。聯(lián)接主義觀點：v在現(xiàn)代神經(jīng)科學(xué)的研究成果基礎(chǔ)上，人們提出了一種觀點認(rèn)為：智能的本質(zhì)是聯(lián)接機(jī)制。神經(jīng)網(wǎng)絡(luò)是一個由大量簡單的處理單元，組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)。人工智能的代表學(xué)派v一、符號主義（或邏輯主義）學(xué)派v二、連接主義(或并行分布處理主義）學(xué)派v三、進(jìn)化

11、主義（或行動/響應(yīng))學(xué)派典型生物的神經(jīng)元生物神經(jīng)元結(jié)構(gòu)與功能特點v生物神經(jīng)元在結(jié)構(gòu)上由四部分組成： 細(xì)胞體（cell body） 樹突（dendrite） 軸突（Axon） 突觸（synapse） 用來完成神經(jīng)元間信息的接收、傳遞和處理。人類大腦皮層約有100億個神經(jīng)元，60億突觸以及它們的連接體。一、MP模型 MP模型屬于一種閾值元件模型，它是提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。 1.2 人工神經(jīng)網(wǎng)絡(luò)基本模型vMP模型v感知器模型v自適應(yīng)線性神經(jīng)元圖2 不帶激活的人工神經(jīng)元 神經(jīng)元的數(shù)學(xué)模型 激活函數(shù)（Activation Function）v線性函數(shù)（Liner

12、Function）v非線性斜面函數(shù)（Ramp Function）v閾值函數(shù)（Threshold Function）vS型函數(shù)（Squaing Function）vetc激活函數(shù)：執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)： o=f（net） 人工神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成v人工神經(jīng)元模擬生物神經(jīng)元的人工神經(jīng)元模擬生物神經(jīng)元的一階特性一階特性。輸入：輸入：X=（x1，x2，xn）聯(lián)接權(quán)：聯(lián)接權(quán)：W=（w1，w2，wn）T網(wǎng)絡(luò)輸入：網(wǎng)絡(luò)輸入：net=xiwi向量形式：向量形式：net=XWx2 w2 fo=f（net）xn wnnet=XWx1 w12.2.2 激活函數(shù)激活函數(shù)(A

13、ctivation Function) v1、線性函數(shù)（、線性函數(shù)（Liner Function） f（net）=k*net+c netooc2、非線性斜面函數(shù)、非線性斜面函數(shù)(Ramp Function) if netf（net）= k*netif |net|0為一常數(shù)，被稱為飽和值，為該神經(jīng)元為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。的最大輸出。 2、非線性斜面函數(shù)（、非線性斜面函數(shù)（Ramp Function） - - net o 3、閾值函數(shù)（、閾值函數(shù)（Threshold Function）階躍函數(shù)）階躍函數(shù)if netf（net）=-if net 、均為非負(fù)實數(shù)，均為非負(fù)實數(shù)，

14、為閾值為閾值二值形式：二值形式：1if netf（net）=0if net 雙極形式：雙極形式：1if netf（net）=-1if net 3、閾值函數(shù)（、閾值函數(shù)（Threshold Function）階躍函數(shù)）階躍函數(shù) -onet02.2.4 人工神經(jīng)網(wǎng)絡(luò)處理單元v符號函數(shù)（sgn()）硬限幅函數(shù)的一種4、S形函數(shù)形函數(shù) a+b o(0,c)netac=a+b/23.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)3.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元vSigmoid函數(shù)S型函數(shù)的一種y = F(s) = 1/(1+e-s)3.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)v可以把該型函數(shù)看作為處理單元定義了一個非線性增益，增益的大小決定于曲線在

15、給定s點的斜率。當(dāng)s由負(fù)無窮增到0時，增益由0增至最大；當(dāng)s由0增到正無窮時，增益又由最大返回到0。v發(fā)現(xiàn)，用該函數(shù)可使同一網(wǎng)絡(luò)既能處理小信號，也能處理大信號。該函數(shù)的中間高增益區(qū)解決了處理小信號的問題；伸向兩邊的低增益區(qū)正好適合于處理大的激勵信號；這種現(xiàn)象正像生物神經(jīng)元在輸入電平范圍很大的情況下能正常工作一樣。人工神經(jīng)網(wǎng)絡(luò)處理單元是生物神經(jīng)元的簡單近似，在模仿生物神經(jīng)網(wǎng)絡(luò)時，具備了生物神經(jīng)元的某些特性。v至于模仿效果，還需進(jìn)一步研究，修改模型。人工神經(jīng)網(wǎng)絡(luò)處理單元忽略了生物神經(jīng)元的很多特征。v它沒有考慮影響系統(tǒng)動態(tài)特性的時間延遲，而認(rèn)為一個輸入立即產(chǎn)生一個輸出。v它沒有包括同步機(jī)能和神經(jīng)元的

16、頻率調(diào)制功能的影響。v其它未知的生物神經(jīng)元的功能和特性。人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) v雖然單個處理單元可以處理簡單的圖形檢測功能，但更強(qiáng)的識別處理能力是來自多個結(jié)點“連成”的網(wǎng)絡(luò)，即人工神經(jīng)網(wǎng)絡(luò)。v這里的“連成”，是靠輸入至結(jié)點或者結(jié)點至結(jié)點間的信號傳輸通路實現(xiàn)的，這一通路相當(dāng)于生物神經(jīng)系統(tǒng)中的軸突和突觸，它們影響著輸入信號。v以后我們把這種信號傳輸通路稱為“連接”，每一個連接都具有一個加權(quán)值，稱為“連接權(quán)”，反映連接的強(qiáng)度。單層網(wǎng)絡(luò) 最簡單的網(wǎng)絡(luò)是把一組結(jié)點形成一層。左邊的黑色圓點只起著分配輸入信號的作用，沒有計算作用，不看作是網(wǎng)絡(luò)的一層。右邊用圓圈表示的一組結(jié)點被看作一層。輸入信號表示為行向量

17、：x = (x1, x2, xN)，其中每一分量通過加權(quán)連接到各結(jié)點。每一個結(jié)點均可產(chǎn)生一個加權(quán)和。輸入和結(jié)點間采用全連接，并且都是前饋連接。v實際的人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)中有些連接可能不存在。在這種單層網(wǎng)絡(luò)中，可把各加權(quán)表示為加權(quán)矩陣W。矩陣的維數(shù)是N x n，N是輸入信號向量（也稱輸入圖形）的分量數(shù)，n是該層內(nèi)的結(jié)點數(shù)。v由第三個輸入連接到第二個結(jié)點的連接權(quán)表示為W32。v單層網(wǎng)絡(luò)輸入信號的加權(quán)和表示為：s是各結(jié)點加權(quán)和的行向量，s=(s1, s2, sn)。輸出向量 y=(y1, y2, yn)，其中yj=F(sj)。人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)v多層網(wǎng)絡(luò)一般來說，大而復(fù)雜的網(wǎng)絡(luò)能提供更強(qiáng)

18、的計算能力。雖然目前已構(gòu)成了很多網(wǎng)絡(luò)模型，但它們的結(jié)點都是按層排列的，這一點正是模仿了大腦皮層中的網(wǎng)絡(luò)模塊。多層網(wǎng)絡(luò)是由單層網(wǎng)絡(luò)進(jìn)行級聯(lián)構(gòu)成的，即上一層的輸出作為下一層的輸入。v多層網(wǎng)絡(luò)兩層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）三層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）v多層網(wǎng)絡(luò)注意：在構(gòu)成多層網(wǎng)絡(luò)時，層間的轉(zhuǎn)移函數(shù)應(yīng)是非線性的，否則多層網(wǎng)絡(luò)的計算能力并不比單層網(wǎng)絡(luò)強(qiáng)。v在線性轉(zhuǎn)移函數(shù)的情況下，兩層網(wǎng)絡(luò)輸出的計算是第一層的輸出xW1作為第二層的輸入，通過第二個加權(quán)矩陣得到網(wǎng)絡(luò)的輸出y=(xW1) W2=x(W1W2)v這表明兩層線性網(wǎng)絡(luò)等效于單層網(wǎng)絡(luò)，只是后者的加權(quán)矩陣為兩個加權(quán)矩陣的乘積。多層網(wǎng)絡(luò)中，接收輸入信號的層稱為輸

19、入層。v它不計入網(wǎng)絡(luò)層數(shù)，因為它只起著輸入信號緩沖器的作用，沒有處理功能。產(chǎn)生輸出信號的層稱為輸出層。除此之外的中間層稱為隱藏層（或隱蔽層），它不直接與外部環(huán)境打交道。v隱藏層的層數(shù)可從零到若干層。v實際情況中，層與層之間可能有部分連接的情況。v回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一般來說，凡包含反饋連接的網(wǎng)絡(luò)均稱為回歸型網(wǎng)絡(luò)，或稱反饋網(wǎng)絡(luò)。一層反饋網(wǎng)絡(luò)v回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一層反饋網(wǎng)絡(luò)中，連接均限于一層之內(nèi)，這種連接稱為層內(nèi)連接或?qū)觾?nèi)橫向反饋連接。相對于一層反饋網(wǎng)絡(luò)的為多層反饋網(wǎng)絡(luò)，其連接不限于一層之內(nèi)。v非回歸型網(wǎng)絡(luò)與回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）的比較非回歸型網(wǎng)絡(luò)不需存儲記憶，它的輸出只是由當(dāng)前的輸入和加權(quán)

20、值確定。而在反饋網(wǎng)絡(luò)中，要將以前的輸出循環(huán)返回到輸入，所以其輸出不但取決于當(dāng)前的輸入，還要取決于以前的輸出。反饋網(wǎng)絡(luò)類似于人類的短期記憶，即網(wǎng)絡(luò)的輸出狀態(tài)部分取決于以前的輸入，是一類廣泛應(yīng)用的網(wǎng)絡(luò)。3.2 存儲和回憶 v存儲就是將信息或圖形存在某種存儲器中，而回憶則是將已存儲的信息按某種方式恢復(fù)出來。v為了與人類大腦的功能類比，我們把這種信息的恢復(fù)稱為回憶。v人工神經(jīng)網(wǎng)絡(luò)中存儲圖形的類型在計算機(jī)中，數(shù)據(jù)和信息是存放在存貯器中（RAM或ROM)，以8比特字節(jié)作為存儲單位。在人工神經(jīng)網(wǎng)絡(luò)中，信息或圖形不再限定為8比特，它是多維的二進(jìn)制數(shù)據(jù)或連續(xù)信息。v人工神經(jīng)網(wǎng)絡(luò)中存儲的兩類圖形空間圖形的存儲v存

21、儲單個空間靜態(tài)圖像，如一幅畫面。時空圖形的存儲v存儲一系列隨時間變化的圖像，比如電影。我們討論的人工神經(jīng)網(wǎng)絡(luò)存儲的圖形大多是空間圖形，因它是構(gòu)成時空圖形的基礎(chǔ)。v人工神經(jīng)網(wǎng)絡(luò)中圖形的存儲人工神經(jīng)網(wǎng)絡(luò)中的圖形存儲器與計算機(jī)中存儲器的差別v在計算機(jī)中，一般采用RAM，將數(shù)據(jù)信息存在確定地址的存儲單元內(nèi)，有了地址就可檢索數(shù)據(jù)。v在人工神經(jīng)網(wǎng)絡(luò)中，則是用內(nèi)容尋址存儲器和聯(lián)想存儲器來存儲圖形信息。2 感知器模型感知器模型 感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國學(xué)者F.Rosenblatt于1957年提出.感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在基于符號處理的數(shù)學(xué)模型中得到了一定程度的模擬

22、，所以引起了廣泛的關(guān)注。1簡單感知器簡單感知器 簡單感知器模型實際上仍然是MP模型的結(jié)構(gòu)，但是它通過采用監(jiān)督學(xué)習(xí)來逐步增強(qiáng)模式劃分的能力，達(dá)到所謂學(xué)習(xí)的目的。其結(jié)構(gòu)如下圖所示 感知器處理單元對n個輸入進(jìn)行加權(quán)和操作v即：其中，wi為第i個輸入到處理單元的連接權(quán)值,為閾值。 f取階躍函數(shù).)(0iniiixwfv 多層感知器多層感知器 如果在輸入和輸出層間加上一層或多層的神經(jīng)元(隱層神經(jīng)元)，就可構(gòu)成多層前向網(wǎng)絡(luò)，這里稱為多層感知器。 這里需指出的是：多層感知器只允許調(diào)節(jié)一層的連接權(quán)。這是因為按感知器的概念，無法給出一個有效的多層感知器學(xué)習(xí)算法。上述三層感知器中，有兩層連接權(quán)，輸入層與隱層單元間

23、的權(quán)值是隨機(jī)設(shè)置的固定值，不被調(diào)節(jié)；輸出層與隱層間的連接權(quán)是可調(diào)節(jié)的。4 4、人工神經(jīng)網(wǎng)絡(luò)的基本特點、人工神經(jīng)網(wǎng)絡(luò)的基本特點 （1）可處理非線性 （2）并行結(jié)構(gòu)對神經(jīng)網(wǎng)絡(luò)中的每一個神經(jīng)元來說；其運(yùn)算都是同樣的這樣的結(jié)構(gòu)最便于計算機(jī)并行處理 （3）具有學(xué)習(xí)和記憶能力一個神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則神經(jīng)網(wǎng)絡(luò)可以用于聯(lián)想記憶（4）對數(shù)據(jù)的可容性大在神經(jīng)網(wǎng)絡(luò)中可以同時使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實現(xiàn)如美國用 256個神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體的郵政編碼4.2 基本基本BP算法算法 v4.2.1 網(wǎng)絡(luò)

24、的構(gòu)成網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的網(wǎng)絡(luò)輸入：神經(jīng)元的網(wǎng)絡(luò)輸入：neti=x1w1i+x2w2i+xnwni神經(jīng)元的輸出：神經(jīng)元的輸出：netenetfo11)()1 ()()1 (1)(22ooooeenetfnetnet輸出函數(shù)分析輸出函數(shù)分析 0.5f (net)0.25o0 1 1（0,0.5） net（0,0）oneteo11應(yīng)該將應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)的值盡量控制在收斂比較快的范圍內(nèi)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的是處處可導(dǎo)的BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)-簡單單級網(wǎng)簡單單級網(wǎng)x1x2xno1o2omwnmw11w1mw

25、2mwn1OkojInput layer Hidden layer Output layer BP學(xué)習(xí)算法v1 權(quán)值初始化；v2 依次輸入p個學(xué)習(xí)樣本；v3 依次計算各個層的輸出；v4 求各個層的反傳誤差；v5 記錄已經(jīng)學(xué)習(xí)過的樣本數(shù)p，若pP,則轉(zhuǎn)到步驟2，若p=P則轉(zhuǎn)到步驟6；v6 按照權(quán)值修整公式修整各個層的權(quán)值或閾值；v7 按照新的權(quán)值再計算，當(dāng)達(dá)到誤差要求或最大學(xué)習(xí)次數(shù)，則終止學(xué)習(xí)，負(fù)責(zé)轉(zhuǎn)到步驟2.網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 1.BP網(wǎng)的結(jié)構(gòu)網(wǎng)的結(jié)構(gòu)2.2.輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定的層數(shù)和各個隱藏層

26、神經(jīng)元的個數(shù)的決定3.3.實驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元實驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。力。4.4.BPBP網(wǎng)一般都選用二級網(wǎng)絡(luò)。網(wǎng)一般都選用二級網(wǎng)絡(luò)。4.2.2 訓(xùn)練過程概述訓(xùn)練過程概述 樣本：樣本：(輸入向量，理想輸出向量輸入向量，理想輸出向量) )權(quán)初始化：權(quán)初始化：“小隨機(jī)數(shù)小隨機(jī)數(shù)”與飽和狀態(tài)；與飽和狀態(tài)；“不不同同”保證網(wǎng)絡(luò)可以學(xué)。保證網(wǎng)絡(luò)可以學(xué)。1 1、向前傳播階段：、向前傳播階段：（1）從樣本集中取一個樣本）從樣本集中取一個樣本(Xp，Yp)，將，將Xp輸入網(wǎng)絡(luò)；輸入網(wǎng)絡(luò)；（2）計算相應(yīng)的實際

27、輸出）計算相應(yīng)的實際輸出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)4.2.2 訓(xùn)練過程概述訓(xùn)練過程概述 2 2、向后傳播階段、向后傳播階段誤差傳播階段：誤差傳播階段：（1）計算實際輸出）計算實際輸出Op與相應(yīng)的理想輸出與相應(yīng)的理想輸出Yp的差；的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第）網(wǎng)絡(luò)關(guān)于第p p個樣本的誤差測度：個樣本的誤差測度：mjpjpjpoyE1221（4） 網(wǎng)絡(luò)關(guān)于整個樣本集的誤差測度：網(wǎng)絡(luò)關(guān)于整個樣本集的誤差測度：ppEE4.2.3 誤差傳播分析誤差傳播分析 1、輸出層權(quán)的調(diào)整、輸出層權(quán)的調(diào)整wpq= wpq+wpqwpq=qo