神經(jīng)網(wǎng)絡(luò)技術(shù)概述

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡(jiǎn)記作ANN），是對(duì)人類大腦系統(tǒng)的一階特性的一種描述。簡(jiǎn)單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來(lái)實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來(lái)模擬，是人工智能研究的一種方法。一、人工神經(jīng)網(wǎng)絡(luò)概述

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡(jiǎn)記作ANN）的主要哲學(xué)基礎(chǔ)就是它們具有通過(guò)范例進(jìn)行學(xué)習(xí)的能力，或者更技術(shù)地來(lái)說(shuō)，它們可以系統(tǒng)地改進(jìn)輸入數(shù)據(jù)且能反映到輸出數(shù)據(jù)上。什么是人工神經(jīng)網(wǎng)絡(luò)？

T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)?！蹦X神經(jīng)信息活動(dòng)的特征(1)巨量并行性。(2)信息處理和存儲(chǔ)單元結(jié)合在一起。

(3)自組織自學(xué)習(xí)功能。

神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)第一次熱潮(40-60年代未)1943年,美國(guó)心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(jī)(Perceptron）。(2)低潮(70-80年代初):(3)第二次熱潮

1982年，美國(guó)物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)他解決問(wèn)題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程,這是符號(hào)邏輯處理方法所不具備的性質(zhì).1987年首屆國(guó)際ANN大會(huì)在圣地亞哥召開(kāi)，國(guó)際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國(guó)際刊物。1990年12月，北京召開(kāi)首屆學(xué)術(shù)會(huì)議。神經(jīng)網(wǎng)絡(luò)基本模型1.1人工神經(jīng)元神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個(gè)基本特性。1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號(hào)可以是起刺激作用的，也可以是起抑制作用的；5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)；6)每個(gè)神經(jīng)元可以有一個(gè)“閾值”。另一種描述

神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中基本的信息處理單元，他由下列部分組成:一組突觸和聯(lián)結(jié)，聯(lián)結(jié)具有權(quán)值

W1,W2,…,Wm通過(guò)加法器功能，將計(jì)算輸入的權(quán)值之和激勵(lì)函數(shù)限制神經(jīng)元輸出的幅度1.2激活函數(shù)

激活函數(shù)——執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)：o=f(net)a、線性函數(shù)（LinerFunction）b、非線性斜面函數(shù)（RampFunction）

γ>0為一常數(shù)，稱為飽和值，為該神經(jīng)元的最大輸出。b、非線性斜面函數(shù)（RampFunction）c、閾值函數(shù)（ThresholdFunction）階躍函數(shù)c、閾值函數(shù)（ThresholdFunction）階躍函數(shù)d、S形函數(shù)

壓縮函數(shù)（SquashingFunction）和邏輯斯特函數(shù)（LogisticFunction）。

f(net)=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。最簡(jiǎn)單形式為：

f(net)=1/(1+exp(-d*net))

函數(shù)的飽和值為0和1。

S形函數(shù)有較好的增益控制d、S形函數(shù)1.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)涮匦詀、聯(lián)接模式

用正號(hào)（“+”，可省略）表示傳送來(lái)的信號(hào)起刺激作用，它用于增加神經(jīng)元的活躍度；用負(fù)號(hào)（“-”）表示傳送來(lái)的信號(hào)起抑制作用，它用于降低神經(jīng)元的活躍度。層次（又稱為“級(jí)”）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的互連模式：a、聯(lián)接模式1、層（級(jí)）內(nèi)聯(lián)接–層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)接或側(cè)聯(lián)接（Lateral）。–用來(lái)加強(qiáng)和完成層內(nèi)神經(jīng)元之間的競(jìng)爭(zhēng)2、循環(huán)聯(lián)接–反饋信號(hào)。a、聯(lián)接模式3、層（級(jí)）間聯(lián)接–層間（Inter-field）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來(lái)實(shí)現(xiàn)層間的信號(hào)傳遞–前饋信號(hào)–反饋信號(hào)b、網(wǎng)絡(luò)的分層結(jié)構(gòu)單級(jí)網(wǎng)–簡(jiǎn)單單級(jí)網(wǎng)–W=（wij）–輸出層的第j個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為netj：–netj=x1w1j+x2w2j+…+xnwnj–其中,1≤j≤m。取–NET=（net1，net2，…，netm）–NET=XW–O=F（NET）b、網(wǎng)絡(luò)的分層結(jié)構(gòu)單級(jí)網(wǎng)–單級(jí)橫向反饋網(wǎng)V=（vij）NET=XW+OVO=F（NET）時(shí)間參數(shù)——神經(jīng)元的狀態(tài)在主時(shí)鐘的控制下同步變化考慮X總加在網(wǎng)上的情況–NET（t+1）=X（t）W+O（t）V–O(t+1)=F(NET(t+1))O(0)=0考慮僅在t=0時(shí)加X(jué)的情況。穩(wěn)定性判定b、網(wǎng)絡(luò)的分層結(jié)構(gòu)多級(jí)網(wǎng)層次劃分–信號(hào)只被允許從較低層流向較高層。–層號(hào)確定層的高低：層號(hào)較小者，層次較低，層號(hào)較大者，層次較高。–輸入層：被記作第0層。該層負(fù)責(zé)接收來(lái)自網(wǎng)絡(luò)外部的信息–第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。–輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號(hào)，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。–隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號(hào)，也不直接向外界發(fā)送信號(hào)約定:–輸出層的層號(hào)為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或n級(jí)網(wǎng)絡(luò)。–第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對(duì)應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時(shí)候，一般我們用W（j）表示第j層矩陣。多級(jí)網(wǎng)非線性激活函數(shù)F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))b、網(wǎng)絡(luò)的分層結(jié)構(gòu)循環(huán)網(wǎng)循環(huán)網(wǎng)如果將輸出信號(hào)反饋到輸入端,就可構(gòu)成一個(gè)多層的循環(huán)網(wǎng)絡(luò)。輸入的原始信號(hào)被逐步地“加強(qiáng)”、被“修復(fù)”。大腦的短期記憶特征——看到的東西不是一下子就從腦海里消失的。穩(wěn)定：反饋信號(hào)會(huì)引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當(dāng)變化最后消失時(shí)，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。1.4存儲(chǔ)與映射在學(xué)習(xí)/訓(xùn)練期間，人工神經(jīng)網(wǎng)絡(luò)以CAM方式工作；權(quán)矩陣又被稱為網(wǎng)絡(luò)的長(zhǎng)期存儲(chǔ)(LongTermMemory，簡(jiǎn)記為L(zhǎng)TM)。CAM方式(ContentAddressableMemory)：內(nèi)容尋址方式是將數(shù)據(jù)映射到地址。網(wǎng)絡(luò)在正常工作階段是以AM方式工作的；神經(jīng)元的狀態(tài)表示的模式為短期存儲(chǔ)(ShortTermMemory，簡(jiǎn)記為STM).AM方式（AssociativeMemory）：相聯(lián)存儲(chǔ)方式是將數(shù)據(jù)映射到數(shù)據(jù)。自相聯(lián)（Auto-associative）映射：訓(xùn)練網(wǎng)絡(luò)的樣本集為向量集合為{A1，A2，…，An}。在理想情況下，該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放的將是上面所給的向量集合。異相聯(lián)（Hetero-associative）映射：{（A1，B1），（A2，B2），…，（An，Bn）}該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存所給的向量集合所蘊(yùn)含的對(duì)應(yīng)關(guān)系。1.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是對(duì)它的訓(xùn)練過(guò)程無(wú)導(dǎo)師學(xué)習(xí)無(wú)導(dǎo)師學(xué)習(xí)(UnsupervisedLearning)與無(wú)導(dǎo)師訓(xùn)練(UnsupervisedTraining)相對(duì)應(yīng)抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(SupervisedLearning)與有導(dǎo)師訓(xùn)練(SupervisedTraining)相對(duì)應(yīng)。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè)“訓(xùn)練對(duì)”。從樣本集合中取一個(gè)樣本(Ai，Bi)；計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O；求D=Bi-O；根據(jù)D調(diào)整權(quán)矩陣W；對(duì)每個(gè)樣本重復(fù)上述過(guò)程，直到對(duì)整個(gè)樣本集來(lái)說(shuō)，誤差不超過(guò)規(guī)定范圍。訓(xùn)練算法的主要步驟神經(jīng)網(wǎng)絡(luò)的應(yīng)用

人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實(shí)際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型（簡(jiǎn)稱BP網(wǎng)絡(luò)），目前主要應(yīng)用于函數(shù)逼近、模式識(shí)別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。二、BP(Backpropagation)網(wǎng)絡(luò)2.1概述2.1.1BP算法的出現(xiàn)非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨(dú)立地給出了BP算法清楚而簡(jiǎn)單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2.1.2弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問(wèn)題、算法不一定收斂。2.1.3優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性2.2基本BP算法2.2.1網(wǎng)絡(luò)的構(gòu)成神經(jīng)元的網(wǎng)絡(luò)輸入：neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)1).BP網(wǎng)的結(jié)構(gòu)2).輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定3).實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元