第九章-人工神經(jīng)網(wǎng)絡(luò)

第九章人工神經(jīng)網(wǎng)絡(luò)

ArtificialNeuralNetwork10/17/202309.1緒論人類具有高度發(fā)達(dá)的大腦，大腦是思維活動(dòng)的物質(zhì)基礎(chǔ)，而思維是人類智能的集中體現(xiàn)。思維是人腦的信息處理方式。人腦的思維有邏輯思維、形象思維和靈感思維三種基本方式。邏輯思維的基礎(chǔ)是概念、判斷與推理，即將信息抽象為概念，在根據(jù)邏輯規(guī)則進(jìn)行邏輯推理。由于概念可用符號(hào)表示，而邏輯推理可按串行模式進(jìn)行，這一過(guò)程可以寫成串行指令由機(jī)器來(lái)完成。計(jì)算機(jī)就是這樣一種用機(jī)器模擬人腦邏輯思維的人工智能系統(tǒng)。10/17/20231什么是人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò)

人類的大腦大約有1.4

1011個(gè)神經(jīng)細(xì)胞，亦稱為神經(jīng)元。每個(gè)神經(jīng)元有數(shù)以千計(jì)的通道同其它神經(jīng)元廣泛相互連接，形成復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。

人工神經(jīng)網(wǎng)絡(luò)

以數(shù)學(xué)和物理方法以及信息處理的角度對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立某種簡(jiǎn)化模型，就稱為人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，縮寫ANN）。10/17/20232生物神經(jīng)元模型生物神經(jīng)元主要由細(xì)胞體、樹(shù)突和軸突組成，樹(shù)突和軸突負(fù)責(zé)傳入和傳出信息，興奮性的沖動(dòng)沿樹(shù)突抵達(dá)細(xì)胞體，在細(xì)胞膜上累積形成興奮性電位；相反，抑制性沖動(dòng)到達(dá)細(xì)胞膜則形成抑制性電位。兩種電位進(jìn)行累加，若代數(shù)和超過(guò)某個(gè)閾值，神經(jīng)元將產(chǎn)生沖動(dòng)。

10/17/2023310/17/20234

神經(jīng)元對(duì)信息的接受和傳遞都是通過(guò)突觸來(lái)進(jìn)行的。單個(gè)神經(jīng)元可以從別的細(xì)胞接受多達(dá)上千個(gè)的突觸輸入。這些輸入可達(dá)到神經(jīng)元的樹(shù)突、胞體和軸突等不同部位，但其分布各不相同．對(duì)神經(jīng)元的影響也不同。人類大腦皮質(zhì)的全部表面積約有20×104mm2，平均厚度約2．5mm，皮質(zhì)的體積則約為50×104mm3。如果皮質(zhì)中突觸的平均密度是6×l09／mm3左右，則可認(rèn)為皮質(zhì)中的全部突觸數(shù)為3×1015個(gè)。如果再按上述人腦所含的全部神經(jīng)元數(shù)目計(jì)算，則每個(gè)神經(jīng)元平均的突觸數(shù)目可能就有1．5—3．0萬(wàn)個(gè)左右。10/17/20235

神經(jīng)元之間的聯(lián)系主要依賴其突觸的聯(lián)接作用。這種突觸的聯(lián)接是可塑的，也就是說(shuō)突觸特性的變化是受到外界信息的影響或自身生長(zhǎng)過(guò)程的影響。生理學(xué)的研究歸納有以下幾個(gè)方面的變化：(1)突觸傳遞效率的變化。首先是突觸的膨脹以及由此產(chǎn)生的突觸后膜表面積擴(kuò)大，從而突觸所釋放出的傳遞物質(zhì)增多，使得突觸的傳遞效率提高。其次是突觸傳遞物質(zhì)質(zhì)量的變化，包括比例成分的變化所引起傳遞效率的變化。(2)突觸接觸間隙的變化。在突觸表面有許多形狀各異的小凸芽，調(diào)節(jié)其形狀變化可以改變接觸間隙，并影響傳遞效率。

10/17/20236(3)突觸的發(fā)芽。當(dāng)某些神經(jīng)纖維被破壞后，可能又會(huì)長(zhǎng)出新芽，并重新產(chǎn)生附著于神經(jīng)元上的突觸．形成新的回路。由于新的回路的形成，使得結(jié)合模式發(fā)生變化，也會(huì)引起傳遞效率的變化。(4)突觸數(shù)目的增減。由于種種復(fù)雜環(huán)境條件的刺激等原因，或者由于動(dòng)物本身的生長(zhǎng)或衰老，神經(jīng)系統(tǒng)的突觸數(shù)目會(huì)發(fā)生變化，并影響神經(jīng)元之間的傳遞效率。

10/17/20237正是神經(jīng)元這種整合作用，才使得億萬(wàn)個(gè)神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。多個(gè)神經(jīng)元以突觸聯(lián)接形成了一個(gè)神經(jīng)網(wǎng)絡(luò)。研究表明，生物神經(jīng)網(wǎng)絡(luò)的功能決不是單個(gè)神經(jīng)元生理和信息處理功能的簡(jiǎn)單疊加，而是一個(gè)有層次的、多單元的動(dòng)態(tài)信息處理系統(tǒng)。它們有其獨(dú)特的運(yùn)行方式和控制機(jī)制，以接受生物內(nèi)外環(huán)境的輸入信息，加以綜合分折處理，然后調(diào)節(jié)控制機(jī)體對(duì)環(huán)境作出適當(dāng)?shù)姆磻?yīng)。

10/17/20238人工神經(jīng)元模型人工神經(jīng)元模型模仿生物神經(jīng)元產(chǎn)生沖動(dòng)的過(guò)程，可以建立一個(gè)典型的人工神經(jīng)元數(shù)學(xué)模型[x1,…,xn]T為輸入向量，y為輸出，f(·)為激發(fā)函數(shù)，θ為閾值。Wi為神經(jīng)元與其它神經(jīng)元的連接強(qiáng)度，也稱權(quán)值。10/17/20239人工神經(jīng)元模型常用的激發(fā)函數(shù)f的種類：1）閾值型函數(shù)10/17/202310人工神經(jīng)元模型2）飽和型函數(shù)3）雙曲函數(shù)10/17/202311工神經(jīng)元模型4）S型函數(shù)5）高斯函數(shù)10/17/202312人工神經(jīng)網(wǎng)絡(luò)定義人工神經(jīng)網(wǎng)絡(luò)是一個(gè)由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單元的處理方式。人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息的。10/17/202313神經(jīng)網(wǎng)絡(luò)的定義及特點(diǎn)神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的神經(jīng)元，通過(guò)廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。

定義

特點(diǎn)（1）非線性映射逼近能力。任意的連續(xù)非線性函數(shù)映射關(guān)系可由多層神經(jīng)網(wǎng)絡(luò)以任意精度加以逼近。（2）自適應(yīng)性和自組織性。神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強(qiáng)度具有可塑性，網(wǎng)絡(luò)可以通過(guò)學(xué)習(xí)與訓(xùn)練進(jìn)行自組織，以適應(yīng)不同信息處理的要求。（3）并行處理性。網(wǎng)絡(luò)的各單元可以同時(shí)進(jìn)行類似的處理過(guò)程，整個(gè)網(wǎng)絡(luò)的信息處理方式是大規(guī)模并行的，可以大大加快對(duì)信息處理的速度。（4）分布存儲(chǔ)和容錯(cuò)性。信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲(chǔ)按內(nèi)容分布于許多神經(jīng)元中，而且每個(gè)神經(jīng)元存儲(chǔ)多種信息的部分內(nèi)容。網(wǎng)絡(luò)的每部分對(duì)信息的存儲(chǔ)具有等勢(shì)作用，部分的信息丟失仍可以使完整的信息得到恢復(fù)，因而使網(wǎng)絡(luò)具有容錯(cuò)性和聯(lián)想記憶功能。（5）便于集成實(shí)現(xiàn)和計(jì)算模擬。神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實(shí)現(xiàn)。10/17/202314神經(jīng)網(wǎng)絡(luò)的基本功能之一聯(lián)想記憶功能10/17/202315神經(jīng)網(wǎng)絡(luò)的基本功能之二非線性映射功能10/17/202316神經(jīng)網(wǎng)絡(luò)的基本功能之三分類與識(shí)別功能10/17/202317神經(jīng)網(wǎng)絡(luò)的基本功能之四優(yōu)化計(jì)算功能10/17/202318神經(jīng)網(wǎng)絡(luò)的基本功能之五知識(shí)處理功能10/17/2023199.2感知器模型感知器(Perceptron)是由美國(guó)學(xué)者F.Rosenblatt于1957年提出的，它是一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成。

激發(fā)函數(shù)為閾值型函數(shù)，當(dāng)其輸入的加權(quán)和大于或等于閾值時(shí)，輸出為1，否則為0或-1。它的權(quán)系W可變，這樣它就可以學(xué)習(xí)。

感知器的結(jié)構(gòu)10/17/2023209.2感知器模型感知器的學(xué)習(xí)算法為方便起見(jiàn)，將閾值θ(它也同樣需要學(xué)習(xí))并入W中，令Wn+1=-θ，X向量也相應(yīng)地增加一個(gè)分量xn+1=1，則學(xué)習(xí)算法：①給定初始值：賦給Wi(0)各一個(gè)較小的隨機(jī)非零值，這里Wi(t)為t時(shí)刻第i個(gè)輸入的權(quán)(1≤i≤n)，Wn+1(t)為t時(shí)刻的閾值；

②輸入一樣本X=(xi,…,xn,1)和它的希望輸出d；

③計(jì)算實(shí)際輸出④修正權(quán)W：

Wi(t+1)=Wi(t)+η[d-Y(t)]xi,i=1,2,…,n+1

⑤轉(zhuǎn)到②直到W對(duì)一切樣本均穩(wěn)定不變?yōu)橹埂?/p>

10/17/2023219.2感知器模型根據(jù)某樣本訓(xùn)練時(shí)，均方差隨訓(xùn)練次數(shù)的收斂情況10/17/202322感知器在形式上與MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。利用簡(jiǎn)單感知器可以實(shí)現(xiàn)邏輯代數(shù)中的一些運(yùn)算。Y=f(w1x1+w2x2-θ)(1)“與”運(yùn)算。當(dāng)取w1＝w2＝1，θ＝1.5時(shí)，上式完成邏輯“與”的運(yùn)算。10/17/202323(2)“或”運(yùn)算，當(dāng)取wl＝w2＝1，θ＝0.5時(shí)，上式完成邏輯“或”的運(yùn)算。(3)“非”運(yùn)算，當(dāng)取wl=-1，w2＝0，θ＝-1時(shí)．完成邏輯“非”的運(yùn)算。10/17/202324與許多代數(shù)方程一樣，上式中不等式具有一定的幾何意義。對(duì)于一個(gè)兩輸入的簡(jiǎn)單感知器，每個(gè)輸入取值為0和1，如上面結(jié)出的邏輯運(yùn)算，所有輸入樣本有四個(gè)，記為(x1，x2)：(0，0)，(0，1)，(1，0)，(1，1)，構(gòu)成了樣本輸入空間。例如，在二維平面上，對(duì)于“或”運(yùn)算，各個(gè)樣本的分布如下圖所示。直線1*x1+1*x2-0．5＝0將二維平面分為兩部分，上部為激發(fā)區(qū)(y，=1，用★表示)，下部為抑制區(qū)(y＝0，用☆表示)。10/17/202325簡(jiǎn)單感知器引入的學(xué)習(xí)算法稱之為誤差學(xué)習(xí)算法。該算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的一個(gè)重要算法，并已被廣泛應(yīng)用。現(xiàn)介紹如下：

誤差型學(xué)習(xí)規(guī)則：

(1)選擇一組初始權(quán)值wi(0)。(2)計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差δ

10/17/202326(3)如果δ小于給定值，結(jié)束，否則繼續(xù)。(4)更新權(quán)值(閾值可視為輸入恒為1的一個(gè)權(quán)值)：Δwi（t+1）＝wi（t+1）-wi（t）＝η[d—y(t)]xi。式中η為在區(qū)間(0，1)上的一個(gè)常數(shù)，稱為學(xué)習(xí)步長(zhǎng)，它的取值與訓(xùn)練速度和w收斂的穩(wěn)定性有關(guān)；d、y為神經(jīng)元的期望輸出和實(shí)際輸出；xi為神經(jīng)元的第i個(gè)輸入。(5)返回(2)，重復(fù)，直到對(duì)所有訓(xùn)練樣本模式，網(wǎng)絡(luò)輸出均能滿足要求。10/17/20232710/17/202328對(duì)于學(xué)習(xí)步長(zhǎng)V的取值一般是在(0，1)上的一個(gè)常數(shù)，但是為了改進(jìn)收斂速度，也可以采用變步長(zhǎng)的方法，這里介紹一個(gè)算法如下式：式中，α為一個(gè)正的常量．這里取值為0.1。所以，對(duì)應(yīng)于輸入(0，0)，修正權(quán)值(注意：θ=w0,x0=-1)

Δw0（1）＝η[d—y]x0

＝0.1(1—0)(—1)＝—0.1，W0(1)=0.1+Δw0（1）=0.1-0.1=0.0依次進(jìn)行。

10/17/202329同樣的方法，對(duì)其他輸入樣本都進(jìn)行學(xué)習(xí)。整個(gè)學(xué)習(xí)過(guò)程就是某一超平面在樣本空間中幾何位置調(diào)整的過(guò)程。初值w1(7)＝—0．225．w2(7)＝—0．0875，

θ(7)＝—0．1875。這樣的一組網(wǎng)絡(luò)參數(shù)滿足計(jì)算要求。10/17/20233010/17/202331感知器對(duì)線性不可分問(wèn)題的局限性決定了它只有較差的歸納性，而且通常需要較長(zhǎng)的離線學(xué)習(xí)才能達(dá)到收效。10/17/2023329.3多層前向BP神經(jīng)網(wǎng)絡(luò)最早由werbos在1974年提出的，1985年由Rumelhart再次進(jìn)行發(fā)展。

多層前向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)多層前向神經(jīng)網(wǎng)絡(luò)由輸入層、隱層（不少于1層）、輸出層組成，信號(hào)沿輸入——>輸出的方向逐層傳遞。10/17/2023339.3多層前向BP神經(jīng)網(wǎng)絡(luò)沿信息的傳播方向，給出網(wǎng)絡(luò)的狀態(tài)方程，用Inj(i)，Outj(i)表示第i層第j個(gè)神經(jīng)元的輸入和輸出，則各層的輸入輸出關(guān)系可描述為：第一層（輸入層）：將輸入引入網(wǎng)絡(luò)第二層（隱層）第三層（輸出層）10/17/202334前向神經(jīng)網(wǎng)絡(luò)用途弄這么個(gè)東西有用么？怎么用呢？10/17/202335前向神經(jīng)網(wǎng)絡(luò)用途用途非常廣泛非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過(guò)程中的許多問(wèn)題正是具有高度的非線性。并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處理的，這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度。自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識(shí)，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對(duì)單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問(wèn)題。10/17/202336前向神經(jīng)網(wǎng)絡(luò)用途Bool函數(shù)任何bool函數(shù)都可以用一個(gè)單隱層的網(wǎng)絡(luò)來(lái)表示但是可能要求指數(shù)級(jí)的隱層單元個(gè)數(shù)連續(xù)函數(shù)每一個(gè)有界的連續(xù)函數(shù)都可以有一個(gè)兩級(jí)的網(wǎng)絡(luò)以任意小的誤差（在有限的范數(shù)下）逼近任意函數(shù)任意函數(shù)都可以被一個(gè)由三級(jí)的網(wǎng)絡(luò)以任意精度逼近10/17/202337網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)的基本思想是：誤差反傳算法調(diào)整網(wǎng)絡(luò)的權(quán)值，使網(wǎng)絡(luò)的實(shí)際輸出盡可能接近期望的輸出。假設(shè)有M個(gè)樣本:

將第K個(gè)樣本Xk輸入網(wǎng)絡(luò)，得到的輸出為k

定義學(xué)習(xí)的目標(biāo)函數(shù)為：10/17/2023389.3多層前向BP神經(jīng)網(wǎng)絡(luò)為使目標(biāo)函數(shù)最小，訓(xùn)練算法是：令則10/17/2023399.3多層前向BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的步驟：（1）依次取第k組樣本，將Xk輸入網(wǎng)絡(luò)。（2）依次計(jì)算

，如果

，退出。（3）計(jì)算（4）計(jì)算（5），修正權(quán)值，返回（1）

如果樣本數(shù)少，則學(xué)習(xí)知識(shí)不夠；如果樣本多，則需計(jì)算更多的dJk/dw,，訓(xùn)練時(shí)間長(zhǎng)?？刹捎秒S機(jī)學(xué)習(xí)法每次以樣本中隨機(jī)選取幾個(gè)樣本，計(jì)算

dJk/dw,，調(diào)整權(quán)值。

10/17/202340例9.1多層前向BP網(wǎng)絡(luò)訓(xùn)練訓(xùn)練樣本SISO：SampleInput=[00.10.20.30.4];SampleOutput=[42222];網(wǎng)絡(luò)結(jié)構(gòu)：10/17/202341網(wǎng)絡(luò)輸入輸出關(guān)系：需訓(xùn)練的量：10/17/202342訓(xùn)練算法：10/17/202343訓(xùn)練初始參數(shù)：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;10/17/202344訓(xùn)練后參數(shù)：W1＝[-0.40598.5182-0.5994-0.1153-1.1916];W2=[0.62452.83820.66320.57833.5775];Beta=[1.6219-4.94031.60411.5145-0.3858];Theta=[1.58320.19001.54061.6665-0.1441];10/17/202345訓(xùn)練1000次目標(biāo)函數(shù)的變化曲線：10/17/202346訓(xùn)練結(jié)束后神經(jīng)網(wǎng)絡(luò)的輸出與樣本的擬和情況10/17/202347算法設(shè)計(jì)輸入/輸出變量的確定及其數(shù)據(jù)的預(yù)處理網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識(shí)確定。若輸入變量較多，一般可通過(guò)主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來(lái)壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），可以是一個(gè)，也可以是多個(gè)。一般將一個(gè)具有多個(gè)輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個(gè)具有一個(gè)輸出的網(wǎng)絡(luò)模型效果會(huì)更好，訓(xùn)練也更方便。10/17/202348算法設(shè)計(jì)樣本數(shù)據(jù)收集和整理分組采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。為訓(xùn)練過(guò)程使之不發(fā)生“過(guò)擬合”和評(píng)價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本（10%以上）和測(cè)試樣本（10%以上）3部分。此外，數(shù)據(jù)分組時(shí)還應(yīng)盡可能考慮樣本模式間的平衡。10/17/202349算法設(shè)計(jì)由于采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開(kāi)Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據(jù)的值在0~1之間。因此，要對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理。如果輸出層節(jié)點(diǎn)也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預(yù)處理，否則，輸出變量也可以不做預(yù)處理。預(yù)處理的方法有多種多樣，各文獻(xiàn)采用的公式也不盡相同。預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)行反變換才能得到實(shí)際值。為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的值在0.2~0.8之間。10/17/202350算法設(shè)計(jì)隱層數(shù)一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過(guò)擬合”的傾向。應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。一般地，靠增加隱層節(jié)點(diǎn)數(shù)來(lái)獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實(shí)現(xiàn)。對(duì)于沒(méi)有隱層的神經(jīng)網(wǎng)絡(luò)模型，實(shí)際上就是一個(gè)線性或非線性（取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式）回歸模型。因此，一般認(rèn)為，應(yīng)將不含隱層的網(wǎng)絡(luò)模型歸入回歸分析中，技術(shù)已很成熟，沒(méi)有必要在神經(jīng)網(wǎng)絡(luò)理論中再討論之。10/17/202351算法設(shè)計(jì)隱層節(jié)點(diǎn)數(shù)隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對(duì)建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”的直接原因，但是目前理論上還沒(méi)有一種科學(xué)的和普遍的確定方法。目前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點(diǎn)數(shù)的計(jì)算公式都是針對(duì)訓(xùn)練樣本任意多的情況，而且多數(shù)是針對(duì)最不利的情況，一般工程實(shí)踐中很難滿足，不宜采用。確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)。研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入/輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問(wèn)題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。10/17/202352算法設(shè)計(jì)在確定隱層節(jié)點(diǎn)數(shù)時(shí)必須滿足下列條件：隱層節(jié)點(diǎn)數(shù)必須小于N-1（其中N為訓(xùn)練樣本數(shù)），否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的特性無(wú)關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒(méi)有泛化能力，也沒(méi)有任何實(shí)用價(jià)值。同理可推得：輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于N-1。訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為2~10倍，否則，樣本必須分成幾部分并采用“輪流訓(xùn)練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。10/17/202353算法設(shè)計(jì)折衷選擇若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；若隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長(zhǎng)，另一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”的內(nèi)在原因。合理隱層節(jié)點(diǎn)數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的情況下用節(jié)點(diǎn)刪除法和擴(kuò)張法確定。10/17/202354算法設(shè)計(jì)迄今為止還沒(méi)有構(gòu)造性結(jié)論，即在給定有限個(gè)（訓(xùn)練）樣本的情況下，如何設(shè)計(jì)一個(gè)合理的BP網(wǎng)絡(luò)模型并通過(guò)向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來(lái)滿意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差達(dá)到很小）的問(wèn)題。通過(guò)訓(xùn)練樣本的學(xué)習(xí)（訓(xùn)練）建立合理的BP神經(jīng)網(wǎng)絡(luò)模型的過(guò)程，在國(guó)外被稱為“藝術(shù)創(chuàng)造的過(guò)程”，是一個(gè)復(fù)雜而又十分煩瑣和困難的過(guò)程。10/17/202355算法設(shè)計(jì)學(xué)習(xí)率學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過(guò)程的穩(wěn)定性。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過(guò)大，甚至?xí)?dǎo)致權(quán)值在修正過(guò)程中超出某個(gè)誤差的極小值呈不規(guī)則跳躍而不收斂；但過(guò)小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，不過(guò)能保證收斂于某個(gè)極小值。所以，一般傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過(guò)程的收斂性（穩(wěn)定性），通常在0.01~0.8之間。10/17/202356算法設(shè)計(jì)初始連接權(quán)值誤差函數(shù)一般存在（很）多個(gè)局部極小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個(gè)局部極小點(diǎn)或是全局極小點(diǎn)。要求計(jì)算程序必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分布在-0.5~0.5之間比較有效。10/17/202357算法設(shè)計(jì)網(wǎng)絡(luò)模型的性能和泛化能力訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)非訓(xùn)練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對(duì)訓(xùn)練樣本的擬合能力。從存在性結(jié)論可知，即使每個(gè)訓(xùn)練樣本的誤差都很?。梢詾榱悖?，并不意味著建立的模型已逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。僅給出訓(xùn)練樣本誤差（通常是指均方根誤差RSME或均方誤差、AAE或MAPE等）的大小而不給出非訓(xùn)練樣本誤差的大小是沒(méi)有任何意義的。10/17/202358算法設(shè)計(jì)分析模型泛化能力，應(yīng)該也必須用非訓(xùn)練樣本誤差的大小來(lái)表示和評(píng)價(jià)。判斷建立的模型是否已有效逼近樣本所蘊(yùn)含的規(guī)律,最直接和客觀的指標(biāo)是從總樣本中隨機(jī)抽取的非訓(xùn)練樣本（檢驗(yàn)樣本和測(cè)試樣本）誤差是否和訓(xùn)練樣本的誤差一樣小或稍大。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其小，一般可認(rèn)為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。10/17/202359算法設(shè)計(jì)因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，用從總樣本中隨機(jī)抽取的一部分測(cè)試樣本的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測(cè)所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。判斷網(wǎng)絡(luò)模型泛化能力的好壞，主要不是看測(cè)試樣本誤差大小的本身，而是要看測(cè)試樣本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn)樣本的誤差。10/17/202360算法設(shè)計(jì)合理網(wǎng)絡(luò)模型的確定對(duì)同一結(jié)構(gòu)的網(wǎng)絡(luò)，由于BP算法存在（很）多個(gè)局部極小點(diǎn)，因此，必須通過(guò)多次（通常是幾十次）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點(diǎn)，才能通過(guò)比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)，從而得到該網(wǎng)絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò)連接權(quán)值。10/17/202361算法設(shè)計(jì)收斂誤差界值在網(wǎng)絡(luò)訓(xùn)練過(guò)程中應(yīng)根據(jù)實(shí)際情況預(yù)先確定誤差界值。誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大小和具體樣本的學(xué)習(xí)精度來(lái)確定。當(dāng)選擇較小時(shí)，學(xué)習(xí)效果好，但收斂速度慢，訓(xùn)練次數(shù)增加。取得較大時(shí)則相反。10/17/202362算法改進(jìn)由于BP網(wǎng)絡(luò)采用誤差反傳算法，其實(shí)質(zhì)是一個(gè)無(wú)約束的非線性最優(yōu)化計(jì)算過(guò)程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時(shí)不僅計(jì)算時(shí)間長(zhǎng)，而且很容易限入局部極小點(diǎn)而得不到最優(yōu)結(jié)果。目前已有改進(jìn)BP法、遺傳算法（GA）和模擬退火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓(xùn)練。10/17/202363前向網(wǎng)絡(luò)進(jìn)一步需研究的問(wèn)題局部最優(yōu)問(wèn)題，（網(wǎng)絡(luò)初值選取不恰當(dāng)）。學(xué)習(xí)算法收斂速度慢，Sigmaid函數(shù)本身存在無(wú)窮多閃導(dǎo)數(shù)，而B(niǎo)P算法只用了一次導(dǎo)數(shù)，致使收斂速度慢。網(wǎng)絡(luò)的運(yùn)行是單向傳播，沒(méi)有反饋，是一個(gè)非淺性映射，而不是非淺性動(dòng)力系統(tǒng)。網(wǎng)絡(luò)隱層節(jié)點(diǎn)個(gè)數(shù)和初始權(quán)值的選取，尚無(wú)理論指導(dǎo)。

10/17/202364題目：基于自適應(yīng)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)損傷檢測(cè)題目：基于BP神經(jīng)網(wǎng)絡(luò)的企業(yè)技術(shù)創(chuàng)新能力評(píng)價(jià)及應(yīng)用研究題目：BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)油田廢水混凝處理效果題目：基于BP神經(jīng)網(wǎng)絡(luò)構(gòu)建城市時(shí)需水量預(yù)測(cè)模型題目：BP神經(jīng)網(wǎng)絡(luò)在焉耆盆地水質(zhì)評(píng)價(jià)中的應(yīng)用題目：BP神經(jīng)網(wǎng)絡(luò)在焉耆盆地農(nóng)田排水量估算中的應(yīng)用題目：基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的中子法檢測(cè)煤中氫含量題目：BP神經(jīng)網(wǎng)絡(luò)進(jìn)行系統(tǒng)辨識(shí)的紅外圖像超分辨力復(fù)原方法題目：基于BP神經(jīng)網(wǎng)絡(luò)的長(zhǎng)江流域人口預(yù)測(cè)研究題目：BP神經(jīng)網(wǎng)絡(luò)在腦電圖信號(hào)預(yù)測(cè)中的應(yīng)用一個(gè)相對(duì)比較容易完成的選題！10/17/2023659.4反饋人工神經(jīng)網(wǎng)絡(luò)10/17/202366內(nèi)容HopfieldNNDHNNCHNNHNN求解TSP算法改進(jìn)算法混合其它神經(jīng)網(wǎng)絡(luò)10/17/202367JohnJosephHopfieldProf.ofMolecularBiologyPrincetonUniversity,USA掀起人工神經(jīng)網(wǎng)絡(luò)研究第二次熱潮！10/17/202368Hopfield網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)1982年，Hopfield開(kāi)創(chuàng)性地在物理學(xué)、神經(jīng)生物學(xué)和計(jì)算機(jī)科學(xué)等領(lǐng)域架起了橋梁，提出了Hopfield反饋神經(jīng)網(wǎng)絡(luò)模型(HNN)，證明在高強(qiáng)度連接下的神經(jīng)網(wǎng)絡(luò)依靠集體協(xié)同作用能自發(fā)產(chǎn)生計(jì)算行為。與前向神經(jīng)網(wǎng)絡(luò)相比，后者有學(xué)習(xí)能力；前者具有聯(lián)想記憶功能和解決優(yōu)化問(wèn)題的能力10/17/202369與前向神經(jīng)網(wǎng)絡(luò)比較BP神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)

10/17/202370Hopfield網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)是典型的全連接網(wǎng)絡(luò)網(wǎng)絡(luò)的狀態(tài)滿足一個(gè)非線性動(dòng)力學(xué)方程，可表現(xiàn)出豐富的動(dòng)態(tài)特性，如收斂，發(fā)散，極限環(huán)，混沌等。10/17/202371Hopfield網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)在一定的條件下，賦予網(wǎng)絡(luò)某個(gè)初值，系統(tǒng)將迅速演化到某個(gè)靜止?fàn)顟B(tài)，即所謂穩(wěn)態(tài)。穩(wěn)態(tài)由各個(gè)神經(jīng)元的連接權(quán)值確定，并不唯一從不同的初值出發(fā)會(huì)演化到不同的穩(wěn)態(tài)可以構(gòu)造一個(gè)狀態(tài)的能量函數(shù)，并證明穩(wěn)態(tài)對(duì)應(yīng)的能量函數(shù)取極小10/17/202372Hopfield網(wǎng)絡(luò)HNN優(yōu)化問(wèn)題網(wǎng)絡(luò)的狀態(tài)優(yōu)化問(wèn)題的解能量函數(shù)目標(biāo)值穩(wěn)態(tài)極小點(diǎn)10/17/202373Hopfield網(wǎng)絡(luò)1985年Hopfield和Tank兩人用連續(xù)HNN嘗試解決TSP，獲得了成功.其基本思想是把TSP問(wèn)題映射到CHNN網(wǎng)絡(luò)中去,使用換位矩陣表示有效路徑,并設(shè)法用網(wǎng)絡(luò)能量代表路徑總長(zhǎng)作用于反饋回路調(diào)節(jié)輸入變化,從而使得網(wǎng)絡(luò)能量為最小———得到最短路徑.由于Hopfield網(wǎng)絡(luò)狀態(tài)更新規(guī)則只能使能量函數(shù)往減小的這一個(gè)方向變化,能量函數(shù)很容易陷入局部最小值,使得網(wǎng)絡(luò)解不能夠達(dá)到路徑最優(yōu).所以并不理想！10/17/202374DHNN離散