八章變形預報的人工神經(jīng)網(wǎng)絡(luò)法PPT學習教案

1、會計學1八章變形預報的人工神經(jīng)網(wǎng)絡(luò)法八章變形預報的人工神經(jīng)網(wǎng)絡(luò)法 人的大腦是自然界所造就的最高級產(chǎn)物。人的思維主要可概括為邏輯四維和想象四維兩種。過去以規(guī)則為基礎(chǔ)的知識系統(tǒng)可被認為是致力于模擬人的邏輯思維，而人工神經(jīng)網(wǎng)絡(luò)則可被認為是探索人的形象思維。根據(jù)19世紀末創(chuàng)建的神經(jīng)元學說，神經(jīng)元的結(jié)構(gòu)如下圖所示8.1.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念和特征第1頁/共19頁神經(jīng)元是由細胞體、樹突、軸突和突觸4部分組成。神經(jīng)元群或者神經(jīng)網(wǎng)絡(luò)系統(tǒng)對外界有興趣和抑制兩種反應(yīng)，興奮指的是相對靜止變?yōu)橄鄬顒?，抑制是指由相對活動變?yōu)橄鄬o止。神經(jīng)元之間信息的傳遞形式有正、負兩種連接。正在接呈相互激發(fā)；負連接呈相互抑制。

2、神經(jīng)元之間的連接強度和積極性可以有所不同，并且都可進行調(diào)整，因此人腦才可以有存儲信息的功能。 為了模擬人腦神經(jīng)元網(wǎng)絡(luò)的功能，心里學家McClloch和數(shù)學家Pitts就對人腦神經(jīng)元進行了形式描述，抽象出了人工神經(jīng)元結(jié)構(gòu)模型，如下圖。第2頁/共19頁 此人工神經(jīng)元一般簡稱為神經(jīng)元，有時也成為結(jié)點。其中 為神經(jīng)元的內(nèi)部狀態(tài)，有時也用來表示神經(jīng)元本身， 為閾值， 為輸入信號， 為外部輸入信號。記 表示從 到 連接的權(quán)值， 為輸出，則上述模型可表示為jujixjsjijuiujy （8-1）1njjiijjixs （8-2）()jjuf （8-3）()()jjjyg uhhgf當神經(jīng)元沒有內(nèi)部狀態(tài)時，

3、可令 h=f （8-4）ijyu當有n個輸入神經(jīng)元記 （8-5）1njjiiinetx第3頁/共19頁為神經(jīng)元 的輸入。當 來自某一神經(jīng)元的輸出時，也記其為 ，而且在沒有內(nèi)部狀態(tài)時，常把閾值也看做一個權(quán)值，于是juixiQ （8-6）0njjiiinetQ其中， ，0j01Q 由諸多人工神經(jīng)元按一定連接方式由權(quán)值連接構(gòu)成的網(wǎng)絡(luò)就成為人工神經(jīng)網(wǎng)絡(luò)，有時也成為人工神經(jīng)元網(wǎng)絡(luò)。從系統(tǒng)觀點看，人工神經(jīng)網(wǎng)絡(luò)是由大量通過極其豐富和完善的連接而構(gòu)成的自適應(yīng)非線性動態(tài)系統(tǒng)，由于神經(jīng)元之間有著不同的連接方式，所以組成不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)是可能的。第4頁/共19頁人工神經(jīng)網(wǎng)絡(luò)技術(shù)是近年來發(fā)展起來的新技術(shù)，有著廣

4、闊的應(yīng)用領(lǐng)域，發(fā)展速度也很快，有很好的應(yīng)用前景。其具有以下突出特征：（1）具有大規(guī)模并行處理和信息分布式存儲能力。（2）具有容錯性和魯棒性。主要表現(xiàn)在神經(jīng)網(wǎng)絡(luò)中某個神經(jīng)元的損壞，或某兩個神經(jīng)元之間的連接損壞，或某個神經(jīng)元的輸入有偏差時，網(wǎng)絡(luò)的性能沒有明顯改變。（3）具有自學習呢能力適用于實際樣本中提取特征，獲取知識。（4）它具有較的非線性的非線性動態(tài)處理能力，無需知道自變量和因變量之間的關(guān)系，就可實現(xiàn)高度非線性映射，因而可以處理復雜的、數(shù)量關(guān)系不明確的問題，包括大壩變性分析與預報及安全性評價、環(huán)境評價等問題。第5頁/共19頁8.1.2 人工神經(jīng)網(wǎng)絡(luò)模型 人工神經(jīng)網(wǎng)絡(luò)依照其結(jié)構(gòu)、狀態(tài)和學習方式的

5、不同，可將人工神經(jīng)網(wǎng)絡(luò)按不同方式進行分類：（1）按網(wǎng)絡(luò)結(jié)構(gòu)可分為前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)兩大類。前饋型模型有明顯的層次關(guān)系，信息單方向的從輸入層向輸出層流動，反饋型網(wǎng)絡(luò)沒有明顯的層次關(guān)系，信息的傳輸存在反饋機制。（2）從神經(jīng)元的狀態(tài)上神經(jīng)網(wǎng)絡(luò)有兩種劃分方案：一種按神經(jīng)元取值狀態(tài)是連續(xù)的還是離散的劃分，神經(jīng)網(wǎng)絡(luò)可分為離散型神經(jīng)網(wǎng)絡(luò)和連續(xù)型神經(jīng)網(wǎng)絡(luò)。（3）按照學習方式可分為有導師學習網(wǎng)絡(luò)和無導師學習網(wǎng)絡(luò)。（4）從系統(tǒng)的觀點來看，神經(jīng)網(wǎng)絡(luò)可分為兩大類：即非線性映射網(wǎng)絡(luò)和非線性動力學網(wǎng)絡(luò)。第6頁/共19頁美國加州大學的Rumelhart和MeClelland以及他們的同事在探索人類知識微結(jié)構(gòu)的過程中簡明

6、的提出一種ANN的誤差反向傳播網(wǎng)絡(luò)通常稱為BP網(wǎng)絡(luò)，對應(yīng)的算法稱為誤差反傳算法，它是當今神經(jīng)網(wǎng)絡(luò)中使用最廣泛的一種。本章主要針對BP網(wǎng)絡(luò)及其在過程變性分析與預報中的應(yīng)用，研究和論述如下問題：（1）BP網(wǎng)絡(luò)拓撲結(jié)構(gòu)的算法（2）BP網(wǎng)絡(luò)的推廣能力和網(wǎng)絡(luò)性能的評估標準，以及訓練樣本質(zhì)量對BP網(wǎng)絡(luò)性能的影響（3）BP網(wǎng)絡(luò)訓練收斂標準（4）BP網(wǎng)絡(luò)的訓練算法第7頁/共19頁8.2.1 BP網(wǎng)絡(luò)結(jié)構(gòu) 從結(jié)構(gòu)上看，BP網(wǎng)絡(luò)是典型的多層網(wǎng)絡(luò)，它不僅有輸入層結(jié)點、輸出層結(jié)點，而且有一層或多層隱含層結(jié)點。在BP網(wǎng)絡(luò)中，層與層之間多采用全互連方式，但同一層的結(jié)點之間不存在相互連接。 一個三層BP網(wǎng)絡(luò)的結(jié)構(gòu)如下圖所示

7、。圖中 表示輸出層的輸出； 表示隱含層的輸出； 表示輸入層的輸入； 表示從隱含層結(jié)點到輸出層節(jié)點的連接權(quán)； 表示從輸入層結(jié)點到隱含層結(jié)點的連接權(quán)；在后面的討論中，小標I、j、k分別表示輸出接點、隱含層結(jié)點和輸入結(jié)點；M、L、N分寫表示輸入結(jié)點、隱含層結(jié)點和輸入結(jié)點的數(shù)量。iOjVkXijWjkW第8頁/共19頁 從形式看BP網(wǎng)絡(luò)和感知機十分相似，但他們之間存在著重要差別。第一，在多層感知機結(jié)構(gòu)中，只有一層之間的連接權(quán)值可調(diào)，而其他各層之間的連接權(quán)值是固定的；但在BP網(wǎng)絡(luò)則不同，它的每一層之間的連接權(quán)第9頁/共19頁值都是可調(diào)的。第二，感知機結(jié)構(gòu)中的處理結(jié)點呈線性輸入或輸出關(guān)系，其結(jié)點狀態(tài)為二進

8、制的0和1；而BP網(wǎng)絡(luò)除輸入層處理結(jié)點外，其他層的處理結(jié)點均為非線性輸入或輸出關(guān)系，即要求這些處理結(jié)點的特征函數(shù)應(yīng)是可微的，這些節(jié)點的激勵函數(shù)通常為S型函數(shù)，其最一般的形式為( )1xf xe參數(shù) 、 與 一樣，可在網(wǎng)絡(luò)學習過程中調(diào)整。不過輸出參數(shù)一般都可經(jīng)過某種數(shù)學轉(zhuǎn)換或歸一化到0,1區(qū)間，常用BP網(wǎng)絡(luò)的激勵函數(shù)為ij1( )1xf xe式中 ixnet第10頁/共19頁在應(yīng)用BP網(wǎng)絡(luò)時，必須清楚兩點：第一，網(wǎng)絡(luò)學習過程需要正向傳播和反向傳播 ，一但網(wǎng)絡(luò)經(jīng)過訓練用于問題求解，則只需正向傳播，而不需要在進行反向傳播；第二，從網(wǎng)絡(luò)學習的角度看，信息在網(wǎng)絡(luò)中的傳播是雙向的，但并不意味著網(wǎng)絡(luò)的層與層

9、之間的連接也是雙向的，因此，誤差反向傳播的BP網(wǎng)絡(luò)是一種前饋網(wǎng)絡(luò)。8.2.2 誤差反傳訓練算法 上述BP網(wǎng)絡(luò)的學習過程，具體實施時是依據(jù)誤差從輸出層往輸入層逐層進行權(quán)值修正，所以盡管一系列有關(guān)的公式本質(zhì)上來自梯度算法，但人們常把BP網(wǎng)絡(luò)的學第11頁/共19頁習算法稱為誤差反傳訓練算法。 設(shè)歸一化后訓練樣本為 （8-11）12, , ,upss sssP是訓練樣本點數(shù)，樣本點 為sS （8-12）1212( , , ,; , ,)kNMsx xxx y yy 對于每一個樣本結(jié)點，有N個輸入，M個輸出。對于給定的某個樣本點，有如下結(jié)果：輸入層結(jié)點的輸入 （8-13）kkhx輸入層結(jié)點的輸出 （8-

10、14）kkOh隱含層結(jié)點的輸入 （8-15）1NijkkjkhO隱含層結(jié)點的輸出 （8-16）()jjOf h第12頁/共19頁輸出層結(jié)點的輸入 （8-17）1LiijjijhO輸出層結(jié)點的輸出 （8-18）( )iiOf h式中， ， 分別為輸出結(jié)點i和隱含層結(jié)點j的閾值；f(.)是這些結(jié)點的激勵函數(shù)，如式（8-10）的Sigmoid函數(shù)。ji在誤差反轉(zhuǎn)訓練算法的學習過程中，通常的誤差測度準則是平方誤差最小，即能量函數(shù)為 （8-21） 211()2MiiiEyo式中， 為輸出層結(jié)點i的期望輸出值， 為輸出層結(jié)點i的網(wǎng)絡(luò)實際輸出值， 、 ，急需通過BP網(wǎng)絡(luò)的學習規(guī)則和算法確定。 我們知道，在n

11、維空間定義的函數(shù)Q=Q(x)的改變率為最大的方向是Q在這一點斜量，即梯度iyioijjk第13頁/共19頁 （8-22）( )( )12(,)tTtNQQQQ XXxxx顯然，E相當于定義在 構(gòu)成高維空間上的一個函數(shù)，因此，取E在 空間上的最速下降應(yīng)取jkjk （8-24）(1)( )( )jkjkjkEttt于是，修正量可表示為 （8-26）(1)()(1)jkjkjkEtt 由式（8-26），則式（8-24）可改寫為 （8-27）(1)( )()(1)jkjkjkjkEttt 由上式可知第14頁/共19頁 （8-31）0()Mjjiijifh （8-36）1( )1iiihf hOe （8

12、-38）() (1)iiiiiy O OO從而對輸出層可直接得 （8-39） (1)( )() (1)(1)ijijiiiijkttyO OOt 上述各式構(gòu)成了BP網(wǎng)絡(luò)完整的誤差反傳訓練算法8.2.3 BP網(wǎng)絡(luò)的學習步驟 根據(jù)上述所推導的誤差反傳訓練算法，BP網(wǎng)絡(luò)的學習步驟如下：（1）初始化網(wǎng)絡(luò)學習參數(shù)，即將隱含層和輸出層各節(jié)點的連接權(quán)值、神經(jīng)元閾值賦予某一區(qū)間的一個隨機數(shù)第15頁/共19頁（2）將樣本的輸入/輸出參數(shù)化為至0,1區(qū)間（3）提供訓練樣本，即從訓練樣本集合中選出一個訓練樣本，將樣本中的自變量賦予輸入層的相應(yīng)結(jié)點，將樣本中的因變量賦予輸出層的相應(yīng)的結(jié)點。（4）正向傳播過程，即對給定

13、的輸入樣本，從第一隱含層開始，依權(quán)值和激勵函數(shù)的作用在輸出結(jié)點算得網(wǎng)絡(luò)輸出值，并計算網(wǎng)絡(luò)輸出與樣點真實輸出之間的均方差，（5）反向傳播過程，即從輸出層反向計算到第一隱含層，首先計算同一層結(jié)點的誤差 ，然后按梯度法修正權(quán)值，再用修正后的各結(jié)點連接權(quán)值轉(zhuǎn)到第（3步）重新計算8.2.4 BP網(wǎng)絡(luò)的優(yōu)點及存在的問題 BP網(wǎng)絡(luò)模型是目前神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛的一種，第16頁/共19頁它有自己的優(yōu)點，也存在一些缺點。BP網(wǎng)絡(luò)主要優(yōu)點如下：（1）算法推導清楚，學習精度較高。（2）從理論上說，可以使多層前饋網(wǎng)絡(luò)學會任何可學習的東西。（3）經(jīng)過訓練后的BP網(wǎng)絡(luò)，運行速度極快，可用于實時處理。BP也存在不少問題，只要表現(xiàn)在以下方面：（1）BP網(wǎng)絡(luò)的拓撲結(jié)構(gòu)如何確定問題（2）已學習好的網(wǎng)絡(luò)的推廣問題，即能否逼近規(guī)律和對于大量未經(jīng)學習過程的輸入樣本也能正確處理，并且網(wǎng)絡(luò)是否具有一定的預測能力。（3）學習算法的收斂速度很慢，通常需要數(shù)千步或更長，甚至還可能不收斂。（4）由于它的數(shù)學基礎(chǔ)是非線性優(yōu)化問題，因此，存第17頁/共19頁在不少局部最小點