人工神經(jīng)網(wǎng)絡(luò)與數(shù)學(xué)建模

人工神經(jīng)網(wǎng)絡(luò)與數(shù)學(xué)建模曾黃麟隨著人們從研究?jī)?nèi)容到研究方法經(jīng)歷的發(fā)展與變化在對(duì)于高層次智能行為的研究中大多數(shù)研究不僅集中于知識(shí)表示和符號(hào)推理而是更加重視知識(shí)與大量觀察和實(shí)驗(yàn)數(shù)據(jù)的處理、歸納、分類相聯(lián)系，這就是數(shù)據(jù)挖掘。數(shù)學(xué)建模就是從大量數(shù)據(jù)中利用某些方法尋找該系統(tǒng)或事件的內(nèi)在規(guī)律，建立該系統(tǒng)或事件的數(shù)據(jù)之間的聯(lián)系，并用一種數(shù)學(xué)描述其輸入與輸出之間的關(guān)系這種關(guān)系就是數(shù)學(xué)模型。一個(gè)系統(tǒng)的內(nèi)在聯(lián)系是通過數(shù)據(jù)、圖表、圖像、圖形、公式、方程、網(wǎng)絡(luò)結(jié)構(gòu)等形式來體現(xiàn)的，所以，在某種程度上可以說，數(shù)據(jù)、圖表、圖像、圖形、公式、方程、網(wǎng)絡(luò)結(jié)構(gòu)等都是該系統(tǒng)的模型表達(dá)，這種表達(dá)就是相似系統(tǒng)的概念。因此，數(shù)學(xué)建模就是由一種系統(tǒng)的模型表達(dá)轉(zhuǎn)換為系統(tǒng)的另一種模型表達(dá)人工神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)建模就是用人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)形式來代替實(shí)際物理系統(tǒng)模型。1人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能為特征通過大量的非線性并行處理器來模擬人腦中眾多的神經(jīng)元之間的突觸行為企圖在一定程度上實(shí)現(xiàn)人腦形象思維、分布式記憶、自學(xué)習(xí)自組織的功能。人工神經(jīng)網(wǎng)絡(luò)理論(A，artificialne）ralne的概念早在4年代就由美國(guó)心理學(xué)家McCuh輯學(xué)家Pitts了M-P型。19美國(guó)心理學(xué)家Hebb根據(jù)心理學(xué)中條件反射的機(jī)理提出了神經(jīng)元之間連接變化的規(guī)則，即He則。5年代Rosen知器模型、6年代Wid的自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，以及80年代Hopfel開創(chuàng)性的研究工作，有力地推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)研究的迅速發(fā)展。大腦是由大量的神經(jīng)細(xì)胞和神經(jīng)元組成的每個(gè)神經(jīng)元可以當(dāng)成是一個(gè)小的信息處理單元這些神經(jīng)元按照某種方式互相連接起來構(gòu)成一個(gè)復(fù)雜的大腦神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)方法企圖模擬人類的形象直覺思維通過由大量的簡(jiǎn)單模擬神經(jīng)元實(shí)現(xiàn)一種非線性網(wǎng)絡(luò)用神經(jīng)網(wǎng)絡(luò)本身結(jié)構(gòu)表達(dá)輸入與輸出關(guān)聯(lián)知識(shí)的隱函數(shù)編碼并通過學(xué)習(xí)或自適應(yīng)使網(wǎng)絡(luò)利用非線性映射的思想對(duì)信息能夠并行處理。2人工神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中挖掘知識(shí)的主要特點(diǎn)是：1在信息處理機(jī)制上，它具有大規(guī)模并行模擬處理，網(wǎng)絡(luò)全局作用，信息分布存儲(chǔ)，存儲(chǔ)區(qū)和操作區(qū)合二為一等特點(diǎn)。2神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練、學(xué)習(xí)，對(duì)輸入空間產(chǎn)生一個(gè)非線性映射；也可以自適應(yīng)地、自組織地對(duì)輸入數(shù)據(jù)產(chǎn)生聚類。3神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的魯棒性和容錯(cuò)能力，它不僅能處理不準(zhǔn)確、不完整、不確定信息，而且能夠克服網(wǎng)絡(luò)本身的不精確性，甚至網(wǎng)絡(luò)具有自身修復(fù)缺陷的能力。首先讓我們了解一下人的大腦的神經(jīng)網(wǎng)絡(luò)基本特性。w人工神經(jīng)元基本特性模擬如圖8示：ww1 1w2 2

v u...nn人工神經(jīng)元基本特性示意圖3wwww在人工神經(jīng)網(wǎng)絡(luò)中,突觸輸入信息為矢量X=,1,...}通過突觸的聯(lián)接強(qiáng)度2 n

W={,w,...}1 2 n的加權(quán),進(jìn)行線性求和后,通過非線性輸入─輸出函數(shù)得到輸出nuf(v)fwxini其中輸入─輸出函數(shù)一般為S型函數(shù)。虛線框內(nèi)代表一個(gè)神經(jīng)元在網(wǎng)絡(luò)中我們常用一個(gè)神經(jīng)元節(jié)點(diǎn)表示。一般輸入─輸出S型函數(shù)有下列幾種形式：（）線性函數(shù)：ukv（）對(duì)數(shù)函數(shù)：u1ekv)1u（）雙曲正切函數(shù)：1ekv1ekvu這里k是一個(gè)常量。2（）高斯函數(shù)：uexp(1(vc)2)2這里c確定函數(shù)的中心，確定函數(shù)的寬度。1（）柯西函數(shù)：uvca1這里c確定函數(shù)的中心，a確定函數(shù)的寬度。4,（）符號(hào)函數(shù)：uv,

vv0u（）階躍函數(shù)：, v,vu線性函數(shù)常用于線性神經(jīng)元網(wǎng)絡(luò)；對(duì)數(shù)函數(shù)、雙曲正切函數(shù)常用于多層或反饋連接非線性神經(jīng)元網(wǎng)絡(luò)；高斯函數(shù)、柯西函數(shù)常用于非線性徑向基函數(shù)神經(jīng)元網(wǎng)絡(luò)；符號(hào)函數(shù)、階躍函數(shù)是對(duì)數(shù)函數(shù)、雙曲正切函數(shù)的極限情況，因此，利用它們可把連續(xù)神經(jīng)網(wǎng)絡(luò)變成為離散神經(jīng)網(wǎng)絡(luò)。根據(jù)人腦神經(jīng)元之間聯(lián)接的多樣性模擬人腦神經(jīng)網(wǎng)絡(luò)的人工神經(jīng)網(wǎng)絡(luò)的聯(lián)接也具有各式各樣的結(jié)構(gòu)但它們大體可以分為兩大類即具有反饋互聯(lián)的神經(jīng)網(wǎng)絡(luò)和無反饋的前向互聯(lián)神經(jīng)網(wǎng)絡(luò)。（）反饋互聯(lián)網(wǎng)絡(luò)這種網(wǎng)絡(luò)的神經(jīng)元與神經(jīng)元之間通過廣泛聯(lián)接，傳遞、反饋交換信息，網(wǎng)絡(luò)結(jié)構(gòu)十分復(fù)雜，由于網(wǎng)絡(luò)由輸出端反饋到輸入端所以動(dòng)態(tài)特性豐富存在網(wǎng)絡(luò)的全局穩(wěn)定性問題。在廣泛互聯(lián)反饋網(wǎng)絡(luò)中有把輸入信號(hào)分別輸入到每一個(gè)神經(jīng)元每一個(gè)神經(jīng)元的輸出反饋到其它所有神經(jīng)元的輸入端，這種結(jié)構(gòu)是全互聯(lián)反饋網(wǎng)絡(luò)，典型的代表網(wǎng)絡(luò)就是Hopf絡(luò)[40](H，Hopfieldne。alnet5如圖所示： u1 1www12 13 1n u2 2www21 23 2n u3 3ww w31 32 3n... ... unwwwn1 n2 n3圖2全互聯(lián)反饋網(wǎng)絡(luò)由于該網(wǎng)絡(luò)是全互聯(lián)反饋網(wǎng)絡(luò)，存在輸出反饋，需要考慮網(wǎng)絡(luò)的全局穩(wěn)定性問題。對(duì)于非線性網(wǎng)絡(luò)，需要定義一個(gè)動(dòng)力系統(tǒng)的Lyap即能量函數(shù)E。若能量函數(shù)E是率減的且為有限值，則網(wǎng)絡(luò)是全局穩(wěn)定的。定理：若f(.)單調(diào)遞增且有界對(duì)于所有的i.j當(dāng)ww時(shí)，j i那么上述網(wǎng)絡(luò)穩(wěn)定收斂至其能量函數(shù)E的極小值。且穩(wěn)定平6nnnn衡點(diǎn)可由下式求出：Ri

wuI0 i,2,,njj ij1Hopf反饋網(wǎng)絡(luò)的綜合需要考慮下列因素：）輸入輸出函數(shù)f(.)只要保證單調(diào)遞增且有界；聯(lián)接權(quán)滿足ww的要求。j i）如果該網(wǎng)絡(luò)設(shè)計(jì)來實(shí)現(xiàn)優(yōu)化計(jì)算，就需要定義優(yōu)化計(jì)算的目標(biāo)函數(shù)與該網(wǎng)絡(luò)的能量函數(shù)一致，從而確定網(wǎng)絡(luò)的聯(lián)接權(quán)wj

w當(dāng)設(shè)計(jì)的網(wǎng)絡(luò)運(yùn)行到能量函數(shù)最i小時(shí)，系統(tǒng)求出優(yōu)化解。網(wǎng)絡(luò)聯(lián)接權(quán)的調(diào)整方法：）上述電路網(wǎng)絡(luò)的聯(lián)接權(quán)可通過1Ri

1w調(diào)整r，j iri j1r來滿足ww的要求。j i）對(duì)于無導(dǎo)師學(xué)習(xí)，即沒有訓(xùn)練樣本，可按He學(xué)b習(xí)規(guī)則，即按w(t)w(t)w，wj j j j整。

uu對(duì)w進(jìn)行調(diào)ij j對(duì)于有導(dǎo)師學(xué)習(xí)即有訓(xùn)練樣本可按最陡下降法對(duì)wj]行調(diào)整[51，即誤差反向傳輸在線學(xué)習(xí)算法。]7（）前向互聯(lián)網(wǎng)絡(luò)多層感知器這種網(wǎng)絡(luò)的神經(jīng)元與神經(jīng)元之間通過前向聯(lián)接的，是一種典型的前饋式多層神經(jīng)網(wǎng)絡(luò)，每一層有若干個(gè)神經(jīng)元，每一層內(nèi)的神經(jīng)元不互相聯(lián)接，每一個(gè)神經(jīng)元的輸出聯(lián)到下一層的輸入即把輸入信號(hào)分別送到第一層的每一個(gè)輸入節(jié)點(diǎn)第一層的每一個(gè)節(jié)點(diǎn)的輸出加權(quán)傳送到第二層的神經(jīng)元的輸入端，從第二層開始稱為隱元層，隱元層的網(wǎng)絡(luò)相聯(lián)接的網(wǎng)絡(luò)沒有輸出端反饋到輸入端的帶來的全局穩(wěn)定性問題從隱元層到輸出層的神經(jīng)元一般都采用非線性的輸入輸出函數(shù)，由于多次非線性函數(shù)作用，因此，整個(gè)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)任意非線性映射。同樣，這種網(wǎng)絡(luò)在學(xué)習(xí)過程中，首先定義了一組輸出要求的模式（一般是用一個(gè)輸出神經(jīng)元輸出為，其它輸出來定義一種模式，這種模式也叫導(dǎo)師，根據(jù)輸出層的神經(jīng)元的輸出與一個(gè)要求的輸出之間的誤差確定對(duì)隱元層的聯(lián)接權(quán)的修改。通過這種有導(dǎo)師的誤差反向傳輸學(xué)習(xí)算法，針對(duì)整個(gè)訓(xùn)練集（每一個(gè)輸入對(duì)應(yīng)有輸出要求的模式，當(dāng)然可以不同的輸入對(duì)應(yīng)相同的結(jié)果即滿足前面我們?cè)诒緯牡谝徊糠掷镏v過的輸入數(shù)據(jù)的協(xié)調(diào)性，不斷自動(dòng)地調(diào)整隱元層的神經(jīng)元的聯(lián)接權(quán)，通過反復(fù)修改聯(lián)接權(quán)，直到8整個(gè)網(wǎng)絡(luò)達(dá)到要求的響應(yīng)為止。這里輸入端是l個(gè)神經(jīng)元，輸出端是m個(gè)神經(jīng)元，從輸入到輸出有多層（下圖為層）互聯(lián)，如圖所示.XUW UW1 1 2 2 UWU1 3 3 4 u2 41...u4m... ... ...ll m n O3感知器多層互聯(lián)網(wǎng)絡(luò)多層感知器誤差反向傳輸學(xué)習(xí)算法歸納如下：m）（5~0.5/，m是連接m到該神經(jīng)元的突觸數(shù)目初始化各神經(jīng)元的突觸聯(lián)接強(qiáng)度w(s) i）從訓(xùn)練集中隨機(jī)選取一個(gè)學(xué)習(xí)的樣本作為網(wǎng)絡(luò)的輸入并根據(jù)現(xiàn)有的神經(jīng)元的突觸聯(lián)接強(qiáng)度計(jì)算各層神經(jīng)元9的現(xiàn)行輸出u(s)p

f(v(s) )（第一個(gè)樣本則p1。p）根據(jù)該學(xué)習(xí)的樣本和現(xiàn)行網(wǎng)絡(luò)的輸出，分別對(duì)連接到隱元層、輸出層的神經(jīng)元計(jì)算(s)(t)（第一輪則t1。j）根據(jù)連接到隱元層、輸出層的神經(jīng)元的突觸聯(lián)接權(quán)修(s)w則第s1層第i神經(jīng)元的輸出加權(quán)到第s層的第j神i經(jīng)元的輸入聯(lián)接強(qiáng)度的更新為w(s) (t)i（第一輪則t1。

w(s) (t)

(s)wt)i(）從訓(xùn)練集中隨機(jī)選取下一個(gè)學(xué)習(xí)的樣本作為網(wǎng)絡(luò)的輸入并重復(fù)上述學(xué)習(xí)過程這樣一輪又一輪不斷自動(dòng)地調(diào)整到隱元層輸出層的神經(jīng)元的聯(lián)接權(quán)通過反復(fù)修改聯(lián)接權(quán)，直到整個(gè)網(wǎng)絡(luò)達(dá)到所有的要求的響應(yīng)為止。利用人工神經(jīng)網(wǎng)絡(luò)來建立數(shù)學(xué)建模就是用大量觀察和實(shí)驗(yàn)數(shù)據(jù)，通過訓(xùn)練，確定人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元之間的聯(lián)結(jié)權(quán)最后形成的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)形式來代替實(shí)際物理系統(tǒng)模型。因此要設(shè)計(jì)一個(gè)實(shí)際應(yīng)用的人工神經(jīng)網(wǎng)絡(luò)首先是要考慮用什么結(jié)構(gòu)形式，因?yàn)榻Y(jié)構(gòu)形式確定后，神經(jīng)元的輸入-輸出函數(shù)特性是容易選擇的其次就是要考慮用什么訓(xùn)練學(xué)習(xí)方法獲得神經(jīng)元之間的聯(lián)結(jié)權(quán)因?yàn)樯窠?jīng)元中信息的存儲(chǔ)主要取決于神經(jīng)元的突觸相互之間的聯(lián)接方式和聯(lián)接強(qiáng)度，10不同的信息處理目的將通過不同的聯(lián)接方式和聯(lián)接強(qiáng)度來表達(dá)。最后就是神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性問題，對(duì)于前向式網(wǎng)絡(luò)，由于沒有輸出反饋，一般可以不考慮網(wǎng)絡(luò)的全局穩(wěn)定性問題；如果用反饋式互聯(lián)網(wǎng)絡(luò)，由于存在輸出反饋，一般需要考慮網(wǎng)絡(luò)的全局穩(wěn)定性問題。一般利用人工神經(jīng)網(wǎng)絡(luò)來建立數(shù)學(xué)建模，就是用MATLAB工具箱中的人工神經(jīng)網(wǎng)絡(luò)工具箱首先選取一種人工神經(jīng)網(wǎng)絡(luò)形式，例如，多層感知器，確定使用幾層網(wǎng)絡(luò)，確定每一層網(wǎng)絡(luò)的神經(jīng)元數(shù)目根據(jù)問題確定該網(wǎng)絡(luò)得輸入和輸出神經(jīng)元數(shù)目，確定訓(xùn)練學(xué)習(xí)方法，輸入實(shí)驗(yàn)數(shù)據(jù)，一般隨機(jī)選取一半實(shí)驗(yàn)數(shù)據(jù)作為訓(xùn)練學(xué)習(xí)，訓(xùn)練學(xué)習(xí)完成時(shí)，網(wǎng)