ch4神經(jīng)網(wǎng)絡(luò)信息處理

第四章神經(jīng)網(wǎng)絡(luò)信息處理4.1概述4.2人工神經(jīng)網(wǎng)絡(luò)根本模型4.3BP網(wǎng)絡(luò)4.4Hopfield網(wǎng)絡(luò)4.5徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)4.6自組織特征映射神經(jīng)網(wǎng)絡(luò)4.7神經(jīng)網(wǎng)絡(luò)的泛化理論4.8神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化設(shè)計(jì)14.1概述4.1.1生物神經(jīng)元4.1.2人工神經(jīng)元4.1.3神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)4.1.4人工神經(jīng)網(wǎng)絡(luò)的開(kāi)展2人工神經(jīng)網(wǎng)絡(luò)(ANN)是對(duì)生物神經(jīng)系統(tǒng)(BNN)的模擬，ANN的研究出發(fā)點(diǎn)是生物神經(jīng)元學(xué)說(shuō)。生物神經(jīng)元學(xué)說(shuō)認(rèn)為：BNN是個(gè)高度組織的、相互作用的、數(shù)量巨大的細(xì)胞組織群體，它包括中樞神經(jīng)系統(tǒng)和大腦，均由各類(lèi)神經(jīng)元組成。神經(jīng)系統(tǒng)的根本單元是神經(jīng)元，也稱神經(jīng)細(xì)胞。它是神經(jīng)系統(tǒng)中獨(dú)立的營(yíng)養(yǎng)和功能單元。人類(lèi)大腦的神經(jīng)細(xì)胞大約在1011~1013個(gè)左右。神經(jīng)元按不同的結(jié)合方式構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。通過(guò)神經(jīng)元及其聯(lián)接的可塑性，使得大腦具有學(xué)習(xí)、記憶和認(rèn)知等各種智能。4.1.1生物神經(jīng)元34.1.1生物神經(jīng)元神經(jīng)元由4個(gè)局部組成：細(xì)胞體——神經(jīng)細(xì)胞的本體，完成細(xì)胞的生存功能。樹(shù)突——接受來(lái)自其他神經(jīng)元的信號(hào)。軸突——輸出信號(hào)。突觸——與另一個(gè)神經(jīng)元相聯(lián)系的特殊部位。44.1.1生物神經(jīng)元單個(gè)神經(jīng)元從別的細(xì)胞接受千個(gè)以上的突觸輸入。輸入可到達(dá)神經(jīng)元的不同部位，但其分布不同，對(duì)神經(jīng)元影響的程度也不同。一個(gè)神經(jīng)元有兩種狀態(tài)——興奮和抑制。多個(gè)神經(jīng)元以突觸聯(lián)接形成了一個(gè)神經(jīng)網(wǎng)絡(luò)。BNN不是單個(gè)神經(jīng)元生理和信息處理功能的簡(jiǎn)單疊加，而是一個(gè)有層次的、多單元的動(dòng)態(tài)信息處理系統(tǒng)。54.1.2人工神經(jīng)元ANN是對(duì)BNN的某種抽象、簡(jiǎn)化和模擬，它沒(méi)有完全真正地反映大腦的功能。ANN的信息處理由人工神經(jīng)元〔簡(jiǎn)稱神經(jīng)元〕之間的相互作用來(lái)實(shí)現(xiàn)。神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的根本處理單元。ANN中，知識(shí)與信息的存貯表現(xiàn)為網(wǎng)絡(luò)元件互連分布式的物理聯(lián)系。ANN的學(xué)習(xí)和識(shí)別取決于各神經(jīng)元連接權(quán)系數(shù)的動(dòng)態(tài)演化過(guò)程。64.1.2人工神經(jīng)元神經(jīng)元一般是一個(gè)多輸入單輸出的非線性器件。神經(jīng)元ineti——神經(jīng)元i的內(nèi)部狀態(tài)，代表神經(jīng)元的活潑值；vj——神經(jīng)元j的輸出，也是神經(jīng)元i的輸入信號(hào)；wji——神經(jīng)元j與神經(jīng)元i間的連接強(qiáng)度，也稱為連接權(quán)。i——神經(jīng)元i的閾值；f()——鼓勵(lì)函數(shù)/激活函數(shù)。74.1.2人工神經(jīng)元函數(shù)f()表達(dá)了神經(jīng)元的輸入輸出特性，常用以下函數(shù)表達(dá)神經(jīng)元的非線性特征：閾值型〔階躍函數(shù)〕84.1.2人工神經(jīng)元線性型94.1.2人工神經(jīng)元S型〔Sigmod函數(shù)〕對(duì)數(shù)正切：雙曲正切：S型函數(shù)反映了神經(jīng)元的飽和特性。由于函數(shù)連續(xù)可導(dǎo)，調(diào)節(jié)曲線的參數(shù)可得到類(lèi)似閾值函數(shù)的功能，該函數(shù)被廣泛應(yīng)用于許多神經(jīng)網(wǎng)絡(luò)，作為神經(jīng)元輸出函數(shù)。104.1.2人工神經(jīng)元輻射基函數(shù)高斯函數(shù)：三角波函數(shù)：114.1.3神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)前向神經(jīng)網(wǎng)絡(luò)神經(jīng)元分層排列，分別組成輸入層、中間層〔也稱為隱含層，可以有假設(shè)干層〕和輸出層。每一層的神經(jīng)元只接受來(lái)自前一層神經(jīng)元的輸入，后面的層對(duì)前面層沒(méi)有信號(hào)反響.12反響神經(jīng)網(wǎng)絡(luò)有反響的前向網(wǎng)絡(luò) 從輸出層對(duì)輸入層有信息反響。 該網(wǎng)絡(luò)可存貯某種模式序列。4.1.3神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)13反響神經(jīng)網(wǎng)絡(luò)層內(nèi)有相互結(jié)合的前向網(wǎng)絡(luò) 通過(guò)層內(nèi)神經(jīng)元的相互結(jié)合，實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮機(jī)制。 可以限制每層內(nèi)能同時(shí)動(dòng)作的神經(jīng)元數(shù)，或把每層內(nèi)的神經(jīng)元分成假設(shè)干組，讓每組作為一個(gè)整體來(lái)運(yùn)作。4.1.3神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)14反響神經(jīng)網(wǎng)絡(luò)相互結(jié)合型網(wǎng)絡(luò) 任意兩個(gè)神經(jīng)元間都可能有連接。 從某種初始狀態(tài)開(kāi)始，信號(hào)在神經(jīng)元之間反復(fù)傳遞，網(wǎng)絡(luò)處于一種不斷改變狀態(tài)的動(dòng)態(tài)之中，經(jīng)過(guò)假設(shè)干次的變化，到達(dá)某種平衡狀態(tài)。4.1.3神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)154.1.1人工神經(jīng)網(wǎng)絡(luò)的開(kāi)展1943年 美國(guó)心理學(xué)家W.McCulloch(麥卡洛克)和數(shù)學(xué)家W.Pitts(皮茨)提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，通常稱為MP模型。 模型中，當(dāng)神經(jīng)元處于興奮狀態(tài)時(shí)，其輸出為1；處于非興奮狀態(tài)時(shí)，輸出為0。164.1.1人工神經(jīng)網(wǎng)絡(luò)的開(kāi)展1949年 Hebb提出神經(jīng)元的學(xué)習(xí)法那么—Hebb學(xué)習(xí)法那么：假設(shè)神經(jīng)元i和神經(jīng)元j同時(shí)處于興奮狀態(tài)，它們之間的連接應(yīng)當(dāng)加強(qiáng)，wji=vivj。 當(dāng)神經(jīng)元興奮時(shí)，輸入側(cè)的突觸結(jié)合強(qiáng)度由于受到刺激而得到增強(qiáng)，這就給神經(jīng)網(wǎng)絡(luò)帶來(lái)了“可塑性”，并被認(rèn)為是用神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別和記憶的根底。 目前，許多神經(jīng)網(wǎng)絡(luò)型機(jī)器的學(xué)習(xí)法那么仍采用Hebb準(zhǔn)那么或它的變型。171958年 F.Rosenblatt提出了一種模式識(shí)別機(jī)--感知機(jī)模型(Perception)。 它由接收單元組成的輸入層、MP神經(jīng)元組成的聯(lián)合層和輸出層構(gòu)成。4.1.1人工神經(jīng)網(wǎng)絡(luò)的開(kāi)展181982年 美國(guó)物理學(xué)家J.J.Hopfield對(duì)神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)特性進(jìn)行了研究，提出了Hopfield神經(jīng)網(wǎng)絡(luò)模型，解決了經(jīng)典的TSP問(wèn)題。 Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)，解決問(wèn)題的方法在于它是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程，這是符號(hào)邏輯處理方法所不具備的性質(zhì)。4.1.1人工神經(jīng)網(wǎng)絡(luò)的開(kāi)展191986年 Rumelhart〔魯姆哈特〕和Hinton〔辛頓〕提出了誤差反向傳播神經(jīng)網(wǎng)絡(luò)BP〔ErrorBackPropagationNeuralNetwork〕。1987年 首屆國(guó)際ANN大會(huì)在圣地亞哥召開(kāi)，國(guó)際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國(guó)際刊物。1990年12月，北京召開(kāi)首屆學(xué)術(shù)會(huì)議。4.1.1人工神經(jīng)網(wǎng)絡(luò)的開(kāi)展204.2人工神經(jīng)網(wǎng)絡(luò)根本模型4.2.1MP模型4.2.2簡(jiǎn)單感知器模型4.2.3多層感知器214.2.1MP模型MP模型屬于閾值元件模型。由美國(guó)McCulloch和Pitts提出的最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的根底。將i看成輸入值為-1的特殊權(quán)值。f()定義為階躍函數(shù)。神經(jīng)元i的輸出為：224.2.2簡(jiǎn)單感知器模型感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國(guó)學(xué)者Rosenblat于1957年提出。由于在感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在數(shù)學(xué)模型中得到了一定程度的模擬，所以引起了廣泛的關(guān)注。感知器中，神經(jīng)元i的輸出為：23誤差學(xué)習(xí)規(guī)那么輸入T1、T2、N，令t=0，j=1，選擇一組初始權(quán)值wi(0)。對(duì)樣本集中的第j個(gè)樣本Xj，計(jì)算其所對(duì)應(yīng)的實(shí)際輸出y(t)與期望輸出dj的誤差j=|dj-y(t)|。如果j<T1，轉(zhuǎn)第⑤步；否那么繼續(xù)。4.2.2簡(jiǎn)單感知器模型24更新權(quán)值：wi(t+1)=wi(t)+[dj–y(t)]vi(t)wi(t)：第t步神經(jīng)元間連接權(quán)，閾值看為輸入恒為-1的權(quán)值；：學(xué)習(xí)步長(zhǎng)，取值區(qū)間(0,1)，可以是常數(shù)或變量。令j=j+1。假設(shè)jN，轉(zhuǎn)到第②步。計(jì)算所有樣本誤差之和E=j，如果E<T2，學(xué)習(xí)結(jié)束；否那么，令j=1，轉(zhuǎn)到第②步。其中，

是一個(gè)正的常數(shù)。4.2.2簡(jiǎn)單感知器模型254.2.2簡(jiǎn)單感知器模型例：在簡(jiǎn)單感知器上，用誤差學(xué)習(xí)算法實(shí)現(xiàn)真值表感知器模型：直線方程：

ax1+bx2+c=0a=wl，b=w2，c=-w0264.2.2簡(jiǎn)單感知器模型感知器模型：直線方程：

ax1+bx2+c=0

a=wl，b=w2，c=w0網(wǎng)絡(luò)結(jié)構(gòu)：w1w2x1x2w0y輸入層輸出層274.2.2簡(jiǎn)單感知器模型初始參數(shù)：(隨機(jī)產(chǎn)生)wl(0)=0.2w2(0)=－0.5w0(0)=

(0)=0.1輸入第一個(gè)樣本：(0，0)

step1：計(jì)算網(wǎng)絡(luò)的實(shí)際輸出284.2.2簡(jiǎn)單感知器模型step2：對(duì)應(yīng)于輸入樣本〔0，0〕，修正權(quán)值首先，計(jì)算學(xué)習(xí)步長(zhǎng)，設(shè)=0.1其次，修正權(quán)值294.2.2簡(jiǎn)單感知器模型30314.2.2簡(jiǎn)單感知器模型簡(jiǎn)單感知器局限性只能進(jìn)行線性分類(lèi)，無(wú)法實(shí)現(xiàn)非線性樣本劃分。如二維空間中異或問(wèn)題是一個(gè)非線性樣本空間分類(lèi)問(wèn)題。感知器對(duì)線性不可分問(wèn)題的局限性決定了它的歸納性較差，而且通常需要較長(zhǎng)的離線學(xué)習(xí)才能到達(dá)收斂。324.2.3多層感知器〔多層前向網(wǎng)絡(luò)〕在輸入和輸出層間加一層或多層神經(jīng)元〔隱層神經(jīng)元〕，構(gòu)成多層前向網(wǎng)絡(luò)，也稱為多層感知器。334.2.3多層感知器〔多層前向網(wǎng)絡(luò)〕設(shè)計(jì)三層感知器解決異或問(wèn)題，相當(dāng)于在模式空間中用兩條直線去劃分樣本，即為：

l1：x1+x2=0.5l2：x1+x2=1.5問(wèn)題：如何設(shè)計(jì)網(wǎng)絡(luò)中的權(quán)值？344.3BP網(wǎng)絡(luò)1985年Rumelhart等提出EBP算法〔ErrorBackPropagation，簡(jiǎn)稱BP算法〕，系統(tǒng)解決了多層神經(jīng)元網(wǎng)絡(luò)中隱單元層連接權(quán)的學(xué)習(xí)問(wèn)題，并在數(shù)學(xué)上給出了完整推導(dǎo)。由于BP克服了簡(jiǎn)單感知器不能解決的XOR和其他一些問(wèn)題，所以BP模型已成為神經(jīng)網(wǎng)絡(luò)的重要模型之一，并得以廣泛使用。采用BP算法的多層神經(jīng)網(wǎng)絡(luò)模型一般稱為BP網(wǎng)絡(luò)。354.3BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程由兩局部組成：正向傳播和反向傳播正向傳播：信息從輸入層經(jīng)隱單元層處理后傳向輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元狀態(tài)。如果在輸出層得不到希望的輸出，那么轉(zhuǎn)入反向傳播，將誤差信號(hào)沿原來(lái)的神經(jīng)元連接通路返回，同時(shí)逐一修改各層神經(jīng)元連接的權(quán)值。此過(guò)程不斷迭代，使信號(hào)誤差到達(dá)允許范圍內(nèi)。BP網(wǎng)絡(luò)一般采用有一定閾值特性的連續(xù)可微的Sigmod函數(shù)作神經(jīng)元的激發(fā)函數(shù)，其他類(lèi)似的非線性函數(shù)也可用。36有P個(gè)訓(xùn)練樣本，即P個(gè)輸入輸出對(duì)(Xk,Tk)，k=1,2,…,PXk=(xk1,…,xkM)，第k個(gè)輸入樣本，M為輸入向量維數(shù)Tk=(tk1,…,tkN)，第k個(gè)輸出樣本(期望輸出)，N為輸出向量維數(shù)；網(wǎng)絡(luò)的實(shí)際輸出向量：Ok=(ok1,…,okN)當(dāng)神經(jīng)元為輸入層單元時(shí)：Ok=Xk對(duì)樣本k，神經(jīng)元i的狀態(tài)定義為：wji為前一層神經(jīng)元j輸入到后一層神經(jīng)元i的權(quán)重。對(duì)樣本k，神經(jīng)元i的輸出定義為：Sigmod激發(fā)函數(shù)下的BP算法網(wǎng)絡(luò)：37當(dāng)激發(fā)函數(shù)為半線性函數(shù)，且訓(xùn)練指標(biāo)函數(shù)?。簩?duì)有隱層的多層前向神經(jīng)網(wǎng)絡(luò)，可以證明，下述網(wǎng)絡(luò)學(xué)習(xí)規(guī)那么將使E在每個(gè)訓(xùn)練循環(huán)中按梯度下降：式中的ki先從輸出層開(kāi)始計(jì)算，逐層向后進(jìn)行。輸出層：中間層：384.3BP網(wǎng)絡(luò)初始化權(quán)值或閾值為小的隨機(jī)數(shù)。令k=1。提供訓(xùn)練樣本：Xk、Tk，計(jì)算網(wǎng)絡(luò)的實(shí)際輸出及隱層單元的狀態(tài)：計(jì)算訓(xùn)練誤差，輸出層：中間層：394.3BP網(wǎng)絡(luò)修正權(quán)值和閾值：令k=k+1。當(dāng)k<P時(shí)，轉(zhuǎn)至3)。否那么判斷 是否滿足精度要求，假設(shè)滿足那么退出；否那么轉(zhuǎn)至2)。404.3BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)雖然在各方面都具有重要意義，而且應(yīng)用也很廣泛，但它也存在一些缺乏。從數(shù)學(xué)上看，它是一個(gè)非線性優(yōu)化問(wèn)題，不可防止地存在局部極小點(diǎn)；學(xué)習(xí)算法的收斂速度很慢；網(wǎng)絡(luò)隱層神經(jīng)元數(shù)選取帶有很大的盲目性和經(jīng)驗(yàn)性，尚無(wú)理論上的指導(dǎo)；新參加的樣本要影響已學(xué)完的樣本等。414.4Hopfield網(wǎng)絡(luò)〔HNN〕1982年，Hopfield開(kāi)創(chuàng)性地在物理學(xué)、神經(jīng)生物學(xué)和計(jì)算機(jī)科學(xué)等領(lǐng)域架起了橋梁，提出了Hopfield反響神經(jīng)網(wǎng)絡(luò)模型(HNN)。證明在高強(qiáng)度連接下的神經(jīng)網(wǎng)絡(luò)依靠集體協(xié)同作用能自發(fā)產(chǎn)生計(jì)算行為。HNN是典型的全連接網(wǎng)絡(luò)，通過(guò)在網(wǎng)絡(luò)中引入能量函數(shù)構(gòu)造動(dòng)力學(xué)系統(tǒng)，使網(wǎng)絡(luò)的平衡態(tài)與能量函數(shù)的極小解相對(duì)應(yīng)，將求解能量函數(shù)極小解的過(guò)程轉(zhuǎn)化為網(wǎng)絡(luò)向平衡態(tài)的演化過(guò)程。424.4Hopfield網(wǎng)絡(luò)〔HNN〕4.4.1離散型HNN4.4.2連續(xù)型HNN434.4.1離散型HNN離散型HNN的輸出為二值型，v1,v2,…,vn為各神經(jīng)元的輸出；wi1,wi2,…,win為各神經(jīng)元與第i個(gè)神經(jīng)元的連接權(quán)值；

i為第i個(gè)神經(jīng)元的閾值。

iv1v2v3vn……winwi3wi2wi1vi444.4.1離散型HNNHNN是對(duì)稱網(wǎng)絡(luò)，采用全連接結(jié)構(gòu)。wij=wji；wii=0時(shí)，稱為無(wú)自反響的離散HNN；反之，稱為有自反響的離散HNN。3神經(jīng)元HNN

1v1v2v3w23w13w12

2

3454.4.1離散型HNNHNN是一個(gè)離散時(shí)間系統(tǒng)，有兩種工作方式：異步方式：在任一時(shí)刻t，只有一個(gè)神經(jīng)元的輸出發(fā)生變化，其余n-1個(gè)神經(jīng)元的狀態(tài)保持不變。優(yōu)點(diǎn)：每個(gè)神經(jīng)元有自己的更新時(shí)刻，不要同步機(jī)制，算法易實(shí)現(xiàn)?？梢韵拗凭W(wǎng)絡(luò)的輸出狀態(tài)，防止不同穩(wěn)態(tài)以等概率出現(xiàn)。同步方式：在任一時(shí)刻t，有局部或所有〔全并行方式〕神經(jīng)元的輸出發(fā)生變化。464.4.1離散型HNN穩(wěn)態(tài)：網(wǎng)絡(luò)按異步方式工作，任一時(shí)刻只有一個(gè)神經(jīng)元被選擇進(jìn)行狀態(tài)更新；神經(jīng)元狀態(tài)變化時(shí)，網(wǎng)絡(luò)以某一概率轉(zhuǎn)移到另一狀態(tài)；神經(jīng)元狀態(tài)保持時(shí)，網(wǎng)絡(luò)保持狀態(tài)不變。通常，網(wǎng)絡(luò)從某一初始狀態(tài)經(jīng)過(guò)屢次更新后，才能到達(dá)某一穩(wěn)態(tài)。反響型神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)是具有穩(wěn)態(tài)。474.4.1離散型HNN對(duì)n個(gè)神經(jīng)元的HNN，網(wǎng)絡(luò)共有2n個(gè)可能狀態(tài)。每個(gè)狀態(tài)可以用一個(gè)包含0和1的矢量表示；每個(gè)時(shí)刻整個(gè)網(wǎng)絡(luò)處于2n個(gè)狀態(tài)中的一個(gè)狀態(tài)；任意時(shí)刻t，隨機(jī)選擇下一個(gè)要更新的神經(jīng)元，且允許所有神經(jīng)元具有相同的平均變化概率。神經(jīng)元狀態(tài)變化有三種情況：0

1；10；狀態(tài)保持不變。484.4.1離散型HNN例：設(shè)網(wǎng)絡(luò)的參數(shù)為：w12=w21=1，w13=w31=2，w23=w32=-3，1=-5，2=0，3=3初始狀態(tài)〔可任意選定〕v1v2v3=(000)，3個(gè)神經(jīng)元以等概率被選擇，采用異步方式運(yùn)行網(wǎng)絡(luò)。首先，假定選擇神經(jīng)元1。狀態(tài)為：Net1=1*0+2*0-(-5)=5>0輸出為：v1=1那么網(wǎng)絡(luò)狀態(tài)由(000)變化到(100)，轉(zhuǎn)移概率為1/3。494.4.1離散型HNNw12=w21=1，w13=w31=2，w23=w32=-3，1=-5，2=0，3=3，初始狀態(tài)v1v2v3=(000)其次，假定選擇神經(jīng)元2。狀態(tài)為：Net2=1*0+(-3)*0-0=0>0輸出為：v2=0那么網(wǎng)絡(luò)狀態(tài)不變，轉(zhuǎn)移概率為1/3。504.4.1離散型HNNw12=w21=1，w13=w31=2，w23=w32=-3，1=-5，2=0，3=3，初始狀態(tài)v1v2v3=(000)最后，假定選擇神經(jīng)元3。狀態(tài)為：Net3=2*0+(-3)*0-3=-3<。輸出為：v3=0那么網(wǎng)絡(luò)狀態(tài)不變，轉(zhuǎn)移概率為1/3。514.4.1離散型HNN結(jié)論：網(wǎng)絡(luò)狀態(tài)(000)以1/3的概率轉(zhuǎn)移到(100)，以2/3的概率保持不變。同理，可以計(jì)算出其它狀態(tài)間的轉(zhuǎn)移關(guān)系。524.4.1離散型HNN3神經(jīng)元HNN狀態(tài)轉(zhuǎn)移圖圖中未標(biāo)注的概率為1/3534.4.1離散型HNN從圖中可以看出本例狀態(tài)的兩個(gè)顯著特征：特征1：狀態(tài)(110)以概率1轉(zhuǎn)移到自己。當(dāng)其他狀態(tài)轉(zhuǎn)移到(110)后，網(wǎng)絡(luò)將會(huì)一直保持該狀態(tài)，(110)即為本例的穩(wěn)定狀態(tài)。從任一初始狀態(tài)開(kāi)始，網(wǎng)絡(luò)經(jīng)過(guò)有限次狀態(tài)更新后，都將到達(dá)該穩(wěn)定狀態(tài)。544.4.1離散型HNN從圖中可以看出本例狀態(tài)的兩個(gè)顯著特征：特征2：從能量角度看，任意狀態(tài)要么在同一“高度”變化，要么從上向下轉(zhuǎn)移。HNN是一個(gè)多輸入、多輸出、帶閾值的二態(tài)非線性動(dòng)力系統(tǒng)。在滿足一定的參數(shù)條件下，某種能量函數(shù)在網(wǎng)絡(luò)運(yùn)行過(guò)程中不斷降低，最終趨于穩(wěn)定平衡狀態(tài)。作為網(wǎng)絡(luò)計(jì)算求解的工具，能量函數(shù)也被稱為計(jì)算能量函數(shù)。554.4.1離散型HNN能量函數(shù)的定義：記：神經(jīng)元i的狀態(tài)變換量為?vi，能量變換量為?Ei。能量Ei隨狀態(tài)變化而減小，等價(jià)于：?Ei<0神經(jīng)元i的狀態(tài)vi0

1，有：?vi=1-0>0，Neti>0；1

0，有：?vi=0-1<0，Neti

0；不變，有：?vi=0；結(jié)論：?vi

Neti

0564.4.1離散型HNN神經(jīng)元i的能量可定義為：離散HNN整體能量函數(shù)定義為：574.4.1離散型HNN分析3神經(jīng)元網(wǎng)絡(luò)，其神經(jīng)元能量為：584.4.1離散型HNN分析上例狀態(tài)v1v2v3=(011)時(shí)網(wǎng)絡(luò)的能量：狀態(tài)v1v2v3=(110)時(shí)網(wǎng)絡(luò)的能量w12=w21=1，w13=w31=2，w23=w32=-3，

1=-5，

2=0，

3=3594.4.1離散型HNN狀態(tài)能量表v1v2v3E0000001301000116100-5101-4