人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)(ANN)是模擬人腦結(jié)構(gòu)和功能的一種信息處理系統(tǒng).具有自適應(yīng)能力，而不是基于多元統(tǒng)計(jì)分析，所以，有人稱之為自適應(yīng)模式識(shí)別，也有人不把它歸入模式識(shí)別的范疇.ANN已被廣泛應(yīng)用于許多領(lǐng)域，在化學(xué)中也成為QSAR研究的重要方法.7.9.2人工神經(jīng)網(wǎng)絡(luò)(ANN)建模

神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種處理多變量和多響應(yīng)的方法,對(duì)非線性問(wèn)題尤其擅長(zhǎng),而這類問(wèn)題在化學(xué)中相當(dāng)多.所以,ANN在化學(xué)中得到了廣泛的應(yīng)用.例如:多組份分析數(shù)據(jù)的聚類，QSAR，親電芳香族取代反應(yīng)研究，涂料制造的優(yōu)化，紅外、核磁等譜圖與結(jié)構(gòu)的相關(guān)，分子靜電勢(shì)的非線性投影、由氨基酸序列預(yù)測(cè)蛋白質(zhì)二級(jí)結(jié)構(gòu)，故障檢測(cè)與過(guò)程控制等.

下面簡(jiǎn)單介紹ANN基本原理.

人工神經(jīng)網(wǎng)絡(luò)模擬人腦結(jié)構(gòu)和功能而工作.目前人們對(duì)大腦的工作機(jī)理雖了解甚少,但對(duì)其結(jié)構(gòu)已有一定了解：大腦由大量神經(jīng)元構(gòu)成,每個(gè)神經(jīng)元是一個(gè)小的處理單元,其中一個(gè)稱為樹突的部分接受沖擊信號(hào),通過(guò)樹突支路傳到細(xì)胞體,另一個(gè)稱為軸突的部分將沖擊信號(hào)從細(xì)胞體傳出去.神經(jīng)元之間通過(guò)突觸連接,形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò).

大腦的強(qiáng)大功能主要取決于神經(jīng)元的相互連接方式而不是單個(gè)神經(jīng)元的作用.人工神經(jīng)網(wǎng)絡(luò)也是如此,因此,人工神經(jīng)網(wǎng)絡(luò)強(qiáng)調(diào)的是網(wǎng)絡(luò)而不是神經(jīng)元.人

工

神

經(jīng)

元

人工神經(jīng)元也稱處理單元（PE），具有如下功能:1.處理各個(gè)輸入信號(hào)以確定其強(qiáng)度——加權(quán);2.確定所有輸入信號(hào)的組合效果（凈輸入）——求和;3.將凈輸入非線性變換為輸出信號(hào)——轉(zhuǎn)換函數(shù)(F).

人工神經(jīng)元的結(jié)構(gòu)與功能圖示如下：輸入信號(hào)表示為輸入行矢量X

X=（X0,X1,……,XN

）連接到神經(jīng)元j的權(quán)表示為加權(quán)矢量Wj

Wj=（W0j,W1j,……,WNj

）

Wij的下標(biāo)i為輸入點(diǎn)編號(hào),j為神經(jīng)元編號(hào).偏置項(xiàng)θj用Xo=-1表示,其連接權(quán)W0j=θj（偏置項(xiàng)的作用是提高穩(wěn)定性）.輸入的加權(quán)和sj可表示為輸入行矢量與加權(quán)矢量的點(diǎn)積:

sj=X.Wj凈輸入sj如果直接作為輸出值Yj,往往是不合理的,例如非常大或者是負(fù)值.所以需要通過(guò)一個(gè)轉(zhuǎn)換函數(shù)F，將

sj變換為輸出值

Yj轉(zhuǎn)換函數(shù)F將凈輸入變換到一個(gè)指定的有限范圍內(nèi)輸出.

F有許多類型,

其中最重要的是Sigmoid壓縮函數(shù):

F(s)=1/(1+e-s)

神經(jīng)元如何連接成網(wǎng)絡(luò)呢?

最簡(jiǎn)單的做法是讓一組幾個(gè)神經(jīng)元(神經(jīng)元也稱為結(jié)點(diǎn))形成一層.其中的加權(quán)構(gòu)成加權(quán)矩陣W.

層與層可以進(jìn)一步連接,形成多層網(wǎng)絡(luò).這種連接可能有各種不同的方式,下面只涉及前饋全連接多層網(wǎng)絡(luò),這指的是:每一個(gè)神經(jīng)元只連接到下一層的所有神經(jīng)元,而沒(méi)有部分連接、沒(méi)有反饋連接、沒(méi)有層內(nèi)連接、也沒(méi)有隔層前饋連接.（注意：“前饋”意味著信號(hào)流動(dòng)方向是從輸入端到輸出端，“反饋”則意味著與此相反的方向）.人

工

神

經(jīng)

網(wǎng)

絡(luò)

的

拓

撲

結(jié)

構(gòu)下圖是一個(gè)(6×8×4×1)神經(jīng)網(wǎng)絡(luò)(不包括偏置項(xiàng)):

對(duì)于QSAR研究,每一層的結(jié)點(diǎn)數(shù)應(yīng)當(dāng)如何確定呢?(1)輸入層結(jié)點(diǎn)數(shù)等于結(jié)構(gòu)參數(shù)的數(shù)目,與樣本數(shù)無(wú)關(guān);(2)輸出層結(jié)點(diǎn)數(shù)可以有不同的選擇。例如,若想把預(yù)測(cè)集樣本分為p類,應(yīng)當(dāng)用一個(gè)輸出結(jié)點(diǎn)、將輸出值劃分為p段來(lái)確定每個(gè)樣本的類別呢?還是應(yīng)當(dāng)用p個(gè)輸出結(jié)點(diǎn),讓每個(gè)結(jié)點(diǎn)產(chǎn)生一個(gè)二進(jìn)制型輸出（1或0）來(lái)確定每個(gè)樣本的類別呢?一般說(shuō)來(lái),后一種選擇產(chǎn)生的誤差小.(3)隱蔽層結(jié)點(diǎn)數(shù)的確定是一個(gè)理論上尚未解決的復(fù)雜問(wèn)題，通常用嘗試法來(lái)確定.盡管有一些經(jīng)驗(yàn)性的估計(jì)方法.訓(xùn)

練

算

法

ANN最有趣的特征是可以學(xué)習(xí).要讓它具有某種功能，必須先對(duì)它進(jìn)行訓(xùn)練.訓(xùn)練與學(xué)習(xí)是分別從人和網(wǎng)絡(luò)兩個(gè)不同的角度來(lái)講的.所謂學(xué)習(xí),實(shí)質(zhì)上就是權(quán)重矩陣隨外部激勵(lì)作自適應(yīng)變化.

訓(xùn)練就是相繼加入輸入矢量，并按預(yù)定規(guī)則來(lái)調(diào)節(jié)網(wǎng)絡(luò)權(quán)值.在訓(xùn)練過(guò)程中，網(wǎng)絡(luò)的各權(quán)值都收斂到一確定值，以便對(duì)于每個(gè)輸入矢量都會(huì)產(chǎn)生一個(gè)要求的輸出矢量.調(diào)節(jié)權(quán)值所遵循的預(yù)定規(guī)則稱為訓(xùn)練算法.

訓(xùn)練算法分為監(jiān)督與無(wú)監(jiān)督兩類.

監(jiān)

督

訓(xùn)

練

監(jiān)督訓(xùn)練不但需要輸入矢量，還要求與之對(duì)應(yīng)的目標(biāo)矢量，組成一個(gè)訓(xùn)練對(duì);訓(xùn)練一個(gè)網(wǎng)絡(luò)需要很多訓(xùn)練對(duì)，構(gòu)成一個(gè)訓(xùn)練組.

當(dāng)加上一個(gè)輸入矢量時(shí)，先計(jì)算網(wǎng)絡(luò)的輸出，與目標(biāo)矢量比較，根據(jù)比較的誤差，按規(guī)定算法改變權(quán)值.加入每個(gè)訓(xùn)練對(duì)以后,都要這樣調(diào)節(jié)權(quán)值，直到訓(xùn)練組中所有訓(xùn)練對(duì)的誤差都達(dá)到可接受的最低值為止.

著名的誤差反向傳播(BP)就是一種應(yīng)用最廣泛的監(jiān)督訓(xùn)練算法.在神經(jīng)網(wǎng)絡(luò)應(yīng)用于化學(xué)的文獻(xiàn)中,BP約占90%.所以,下面只介紹BP的基本原理.

BP的學(xué)習(xí)包含四個(gè)過(guò)程：

1.輸入信號(hào)由輸入層出發(fā)，經(jīng)過(guò)各隱蔽層，正向傳播到輸出層的模式順傳播過(guò)程;2.輸出矢量與目標(biāo)矢量相比較,誤差信號(hào)由輸出層經(jīng)過(guò)隱蔽層向輸入層反向傳播,逐層修正連接權(quán)和閾值,即誤差逆?zhèn)鞑ミ^(guò)程(BP這一名稱即由此而來(lái));3.以上兩個(gè)過(guò)程反復(fù)交替進(jìn)行的網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過(guò)程;4.網(wǎng)絡(luò)全局誤差趨向極小的學(xué)習(xí)收斂過(guò)程.BP基本原理

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，“過(guò)擬合”是一個(gè)常見(jiàn)問(wèn)題，即隨著迭代次數(shù)的增加，盡管訓(xùn)練集的均方根偏差可能還在下降，但測(cè)試集的均方根偏差卻開始上升，這是網(wǎng)絡(luò)模型為了擬合個(gè)別樣本所致.

為避免過(guò)擬合，有專家建議用測(cè)試集來(lái)監(jiān)控訓(xùn)練過(guò)程，一旦測(cè)試集均方根偏差開始上升，無(wú)論訓(xùn)練集均方根偏差下降與否，均應(yīng)停止訓(xùn)練.測(cè)試集的均方根偏差曲線可能有若干個(gè)極小值，取其最小值對(duì)應(yīng)的疊代次數(shù)作為最優(yōu)訓(xùn)練次數(shù),相應(yīng)的權(quán)重矩陣用于分類.訓(xùn)練次數(shù)的確定

ANN程序Qwiknet簡(jiǎn)介

(1)用Notepad建立訓(xùn)練集(輸入)文件.trn例:*Comment1*……*Commentn[INPUTS]2(意指下列每個(gè)樣本行中,前兩列用作輸入數(shù)據(jù)即特征參數(shù))[OUTPUTS]1(意指下列每個(gè)樣本行中,其余一列用作輸出數(shù)據(jù)即目標(biāo)值)0.000000.000000.10000(代表0)0.000001.000000.90000(代表1)1.000000.000000.90000(代表1)1.000001.000000.10000(代表0)1.運(yùn)行程序前,準(zhǔn)備訓(xùn)練集輸入文件.trn和測(cè)試集輸入文件.tst

(2)用Notepad建立測(cè)試集(輸入)文件.tst例:[INPUTS]2(意指下列每個(gè)樣本行中,前兩列用作輸入數(shù)據(jù)即特征參數(shù))[OUTPUTS]1(不用測(cè)試集監(jiān)控訓(xùn)練過(guò)程則不用此行,下列各行也不要最后一列目標(biāo)值)0.000000.000000.10000(代表0)0.000001.000000.90000(代表1)1.000000.000000.90000(代表1)1.000001.000000.10000(代表0)

即使用測(cè)試集來(lái)監(jiān)控訓(xùn)練集的訓(xùn)練過(guò)程，.trn與.tst文件也必須分別建立而不能合二為一.只不過(guò),若用測(cè)試集來(lái)監(jiān)控訓(xùn)練集的訓(xùn)練過(guò)程,tst文件中須含最后一列目標(biāo)值,且.trn與.tst文件要同時(shí)加載,過(guò)程交替進(jìn)行(在訓(xùn)練過(guò)程顯示兩條誤差曲線);

若監(jiān)控與測(cè)試分為先后兩個(gè)獨(dú)立過(guò)程,則tst文件中不含最后一列目標(biāo)值,當(dāng)然也沒(méi)有[OUTPUTS]行;trn與tst文件不同時(shí)加載,只在單獨(dú)預(yù)測(cè)時(shí)將預(yù)測(cè)值寫進(jìn)輸出文件.out,而看不到運(yùn)算過(guò)程.

(1)點(diǎn)擊按鈕TrainingData,找到訓(xùn)練集輸入文件.trn,點(diǎn)擊按鈕“打開”。輸入文件名出現(xiàn)在按鈕TrainingData之后:(2)樣本數(shù)出現(xiàn)在Patterns之后:2.加載訓(xùn)練集輸入文件.trn

(1)顯示隱含層數(shù)目，這允許修改:(2)顯示隱含層節(jié)點(diǎn)數(shù)目，這允許修改:(3)顯示輸入層節(jié)點(diǎn)數(shù)目:3.設(shè)置網(wǎng)絡(luò)結(jié)構(gòu):隱含層數(shù)目及其節(jié)點(diǎn)數(shù)目(4)顯示轉(zhuǎn)換函數(shù)F的類型。Logstic即Sigmoid壓縮函數(shù)。這可修改:(1)例如，選用QuickProp.這允許修改:4.設(shè)置訓(xùn)練方法(2)確認(rèn)Cross-ValidateTraining后方格中未打勾,這將強(qiáng)迫程序在訓(xùn)練過(guò)程中使用全部數(shù)據(jù):(3)設(shè)定此值,例如0.05,這表示你希望所有樣本的誤差均小于此值時(shí)才停止訓(xùn)練:(1)點(diǎn)擊,它將在訓(xùn)練開始后顯示網(wǎng)絡(luò)結(jié)構(gòu):(3)點(diǎn)擊,開始訓(xùn)練:(2)點(diǎn)擊,它將在訓(xùn)練開始后顯示RMS:(4)若訓(xùn)練陷入僵局,誤差不降甚至反增,可點(diǎn)擊按鈕Randomize中斷訓(xùn)練,然后點(diǎn)擊按鈕Train重新開始訓(xùn)練:5.訓(xùn)練網(wǎng)絡(luò)并監(jiān)督收斂