第七章 神經(jīng)網(wǎng)絡(luò)應(yīng)用(補(bǔ))

第7章（補(bǔ)）

人工神經(jīng)網(wǎng)絡(luò)在智能傳感器中的應(yīng)用7.1神經(jīng)網(wǎng)絡(luò)基本知識(shí)7.2前向網(wǎng)絡(luò)7.3反饋網(wǎng)絡(luò)7.4神經(jīng)網(wǎng)絡(luò)在智能傳感器中的應(yīng)用7.1神經(jīng)網(wǎng)絡(luò)基本知識(shí)7.1.1人工神經(jīng)網(wǎng)絡(luò)模型圖7-1基本神經(jīng)元模型神經(jīng)元的輸出可描述為式中：f(Ai)表示神經(jīng)元輸入—輸出關(guān)系的函數(shù)，稱為作用函數(shù)或傳遞函數(shù)，常用的作用函數(shù)有如圖9-2所示的三種：閾值型、S型和分段線性型(偽線性型)。這樣，就有三類神經(jīng)元模型。圖7-2常見的作用函數(shù)形式(a)閾值型；(b)S型；(c)偽線性型一、閾值型神經(jīng)元

閾值型神經(jīng)元是一種最簡(jiǎn)單的神經(jīng)元，由美國(guó)心理學(xué)家Mc.Culloch和數(shù)學(xué)家Pitls共同提出，因此，通常稱為M-P模型。

M-P模型神經(jīng)元是二值型神經(jīng)元，其輸出狀態(tài)取值為1或0，分別代表神經(jīng)元的興奮狀態(tài)和抑制狀態(tài)。其數(shù)學(xué)表達(dá)式為對(duì)于M-P模型神經(jīng)元，權(quán)值Wji可在(-1,1)區(qū)間連續(xù)取值。取負(fù)值表示抑制兩神經(jīng)元間的連接強(qiáng)度，取正值表示加強(qiáng)。二、S型神經(jīng)元模型這是常用的一種連續(xù)型神經(jīng)元模型，輸出值是在某一范圍內(nèi)連續(xù)取值的。輸入—輸出特性多采用指數(shù)函數(shù)表示，用數(shù)學(xué)公式表示如下：S型作用函數(shù)反映了神經(jīng)元的非線性輸入—輸出特性。三、分段線性型神經(jīng)元的輸入—輸出特性滿足一定的區(qū)間線性關(guān)系，其輸出可表示為式中,C、AC表示常量。7.1.2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一、分層網(wǎng)絡(luò)圖7-3分層網(wǎng)絡(luò)功能層次二、相互連接型結(jié)構(gòu)圖7-4相互連接型網(wǎng)絡(luò)7.1.3學(xué)習(xí)與記憶一、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

Hebb學(xué)習(xí)規(guī)則可以描述為：如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時(shí)處于興奮狀態(tài)，那么這兩個(gè)神經(jīng)元間的連接強(qiáng)度應(yīng)該加強(qiáng)。用算法表達(dá)式表示為Wji(t+1)=Wji(t)+η［xi(t),xj(t)］式中：Wji(t+1)——修正一次后的某一權(quán)值；

η——常量，決定每次權(quán)值修正量，又稱學(xué)習(xí)因子；

xi(t)、xj(t)——t時(shí)刻第i個(gè)、第j個(gè)神經(jīng)元的狀態(tài)。誤差修正算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中另一個(gè)更重要的方法。像感知機(jī)、BP網(wǎng)絡(luò)學(xué)習(xí)均屬此類。最基本的誤差修正學(xué)習(xí)方法，即通常說的δ學(xué)習(xí)規(guī)則，可由如下四步來描述：

(1)任選一組初始權(quán)值Wji(0)。

(2)計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差。

(3)更新權(quán)值Wji(t+1)=Wji(t)+η［dj-yj(t)］xi(t)式中：η——學(xué)習(xí)因子；dj、yj——第j個(gè)神經(jīng)元的期望輸出與實(shí)際輸出；xj——第j個(gè)神經(jīng)元的輸入。

(4)返回步驟(2)，直到對(duì)所有訓(xùn)練模式、網(wǎng)絡(luò)輸出均滿足誤差要求為止。二、神經(jīng)網(wǎng)絡(luò)的記憶神經(jīng)網(wǎng)絡(luò)記憶包含兩層含義：信息的存儲(chǔ)與回憶。網(wǎng)絡(luò)通過學(xué)習(xí)將所獲取的知識(shí)信息分布式存儲(chǔ)在連接權(quán)的變化上，并具有相對(duì)穩(wěn)定性。一般來講，存儲(chǔ)記憶需花較長(zhǎng)時(shí)間，因此這種記憶稱為長(zhǎng)期記憶，而學(xué)習(xí)期間的記憶保持時(shí)間很短，稱為短期記憶。

7.1.4神經(jīng)網(wǎng)絡(luò)的信息處理功能神經(jīng)網(wǎng)絡(luò)可以完成大量的信息處理任務(wù)，正因?yàn)檫@樣，其應(yīng)用涉及相當(dāng)廣泛的領(lǐng)域。歸納起來，神經(jīng)網(wǎng)絡(luò)的信息處理任務(wù)主要包括：一、數(shù)字上的映射逼近通過一組映射樣本(x1,y1),(x2,y2),…,(xn,yn)，網(wǎng)絡(luò)以自組織方式尋找輸入、輸出之間的映射關(guān)系：

yi=f(xi)。

二、聯(lián)想記憶

聯(lián)想記憶是指實(shí)現(xiàn)模式完善、恢復(fù)相關(guān)模式的相互回憶等，典型的有如Hopfield網(wǎng)絡(luò)等。7.2前向網(wǎng)絡(luò)7.2.1感知機(jī)圖9-5基本感知機(jī)結(jié)構(gòu)感知機(jī)的學(xué)習(xí)算法為i=1,2,…,n

式中：η為學(xué)習(xí)因子，在(0,1］區(qū)間取值。期望輸出與實(shí)際輸出之差為輸入狀態(tài)xi(k)=1或07.2.2BP網(wǎng)絡(luò)一、BP網(wǎng)絡(luò)模型圖9-6一個(gè)三層BP網(wǎng)絡(luò)結(jié)構(gòu)一般選用下列S形作用函數(shù)：且處理單元的輸入、輸出值可連續(xù)變化。

BP網(wǎng)絡(luò)模型實(shí)現(xiàn)了多層網(wǎng)絡(luò)學(xué)習(xí)的設(shè)想。當(dāng)給定網(wǎng)絡(luò)的一個(gè)輸入模式時(shí)，它由輸入層單元傳到隱層單元，經(jīng)隱層單元逐層處理后再送到輸出層單元，由輸出層單元處理后產(chǎn)生一個(gè)輸出模式，故稱為前向傳播。如果輸出響應(yīng)與期望輸出模式有誤差，且不滿足要求，那么就轉(zhuǎn)入誤差后向傳播，即將誤差值沿連接通路逐層向后傳送，并修正各層連接權(quán)值。(7-10)二、學(xué)習(xí)算法假設(shè)BP網(wǎng)絡(luò)每層有N個(gè)處理單元，作用函數(shù)如(7-10)式所示，訓(xùn)練集包含M個(gè)樣本模式對(duì)(xk,yk)。對(duì)第p個(gè)訓(xùn)練樣本(p=1,2,…,M)單元j的輸入總和(即激活函數(shù))記為apj，輸出記為Opj,它的第i個(gè)輸入(也即第i個(gè)神經(jīng)元的輸出)為Opi,則如果任意設(shè)置網(wǎng)絡(luò)初始權(quán)值，那么對(duì)每個(gè)輸入模式p,網(wǎng)絡(luò)輸出與期望輸出一般總有誤差。定義網(wǎng)絡(luò)誤差為式中，dpj表示對(duì)第p個(gè)輸入模式輸出單元j的期望輸出。δ學(xué)習(xí)規(guī)則的實(shí)質(zhì)是利用梯度最速下降法，使權(quán)值沿誤差函數(shù)的負(fù)梯度方向改變。若權(quán)值Wji的變化量記為ΔWji,則而這里，令于是這就是通常所說的δ學(xué)習(xí)規(guī)則。當(dāng)Opj表示輸出層單元的輸出時(shí)，其誤差當(dāng)Opj表示隱單元輸出時(shí)，其誤差故至此，BP算法權(quán)值修正公式可統(tǒng)一表示為對(duì)于輸出單元對(duì)于隱單元(9-29)在實(shí)際應(yīng)用中，考慮到學(xué)習(xí)過程的收斂性，通常為了使學(xué)習(xí)因子η取值足夠大，又不致于產(chǎn)生振蕩，在權(quán)值修正公式(7-29)中再加一個(gè)勢(shì)態(tài)項(xiàng)，得式中，α是常數(shù)，稱勢(shì)態(tài)因子，它決定上一次學(xué)習(xí)權(quán)值對(duì)本次權(quán)值更新的影響程度。一般地，BP網(wǎng)絡(luò)學(xué)習(xí)算法步驟描述如下：

(1)初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)，如設(shè)置網(wǎng)絡(luò)初始矩陣、學(xué)習(xí)因子η、參數(shù)α等；

(2)提供訓(xùn)練樣本，訓(xùn)練網(wǎng)絡(luò)，直到滿足要求；

(3)前向傳播過程：對(duì)給定訓(xùn)練模式輸入，計(jì)算網(wǎng)絡(luò)的輸出模式，并與期望模式輸出比較，若有誤差，則執(zhí)行(4)，否則，返回(2)；

(4)后向傳播過程：

①計(jì)算同一層單元的誤差δpj。

②修正權(quán)值和閾值閾值即為i=0時(shí)的連接權(quán)值。

③返回(2)。用網(wǎng)絡(luò)的均方根值(RMS)誤差來定量反映學(xué)習(xí)性能。其定義為三、競(jìng)爭(zhēng)網(wǎng)絡(luò)1.競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)圖7-7兩層競(jìng)爭(zhēng)網(wǎng)絡(luò)

2.競(jìng)爭(zhēng)學(xué)習(xí)機(jī)理

競(jìng)爭(zhēng)單元的處理分為兩步：首先計(jì)算每個(gè)單元輸入的加權(quán)和；然后進(jìn)行競(jìng)爭(zhēng)，產(chǎn)生輸出。對(duì)于第j個(gè)競(jìng)爭(zhēng)單元，其輸入總和為當(dāng)競(jìng)爭(zhēng)層所有單元的輸入總和計(jì)算完畢，便開始競(jìng)爭(zhēng)。競(jìng)爭(zhēng)層中具有最高輸入總和的單元被定為勝者，其輸出狀態(tài)為1，其它各單元輸出狀態(tài)為0。對(duì)于某一輸入模式，當(dāng)獲勝單元確定后，便更新權(quán)值。也只有獲勝單元權(quán)值才增加一個(gè)量，使得再次遇到該輸入模式時(shí)，該單元有更大的輸入總和。權(quán)值更新規(guī)則表示為7.3反饋網(wǎng)絡(luò)7.3.1Hopfield網(wǎng)絡(luò)結(jié)構(gòu)圖7-8HNN網(wǎng)絡(luò)結(jié)構(gòu)7.3.2Hopfield神經(jīng)網(wǎng)絡(luò)A/D變換器圖7-9對(duì)稱式4位A/D轉(zhuǎn)換網(wǎng)絡(luò)圖7-10遲滯現(xiàn)象圖7-11非對(duì)稱HNN網(wǎng)A/D變換器圖7-12采用非對(duì)稱結(jié)構(gòu)的A/D轉(zhuǎn)換關(guān)系7.4神經(jīng)網(wǎng)絡(luò)在智能傳感器中的應(yīng)用7.4.1紙漿濃度傳感器非線性估計(jì)和動(dòng)態(tài)標(biāo)定的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)一、問題提出實(shí)際上，傳感器在整個(gè)測(cè)量范圍的非線性特性可用一冪級(jí)數(shù)多項(xiàng)式來描述：式中：y——被測(cè)濃度；

x——傳感器輸出值；

Wi(i=0,1,…,n)——傳感器的特性參數(shù)。(7-35)二、神經(jīng)網(wǎng)絡(luò)算法

對(duì)應(yīng)每一個(gè)實(shí)際輸入xi,可得到一個(gè)非線性數(shù)據(jù)集｛1,x,x2,x3,…，xn｝這些可作為神經(jīng)網(wǎng)絡(luò)的輸入模式，圖7-13權(quán)值訓(xùn)練原理示意圖三、濃度傳感器非線性估計(jì)及動(dòng)態(tài)標(biāo)定

濃度傳感器的本質(zhì)是非線性的?？蓪?7-35)式寫成下列近似形式：式中：y——被測(cè)濃度；f——傳感器的輸出頻率值；fmax——傳感器的最大輸出頻率值。因此可用f/fmax表示傳感器的輸出特征。四、實(shí)例分析及結(jié)論傳感器1：傳感器2：傳感器3：圖7-14擬合曲線表7-1傳感器輸出及對(duì)應(yīng)濃度估計(jì)值7.4.2神經(jīng)網(wǎng)絡(luò)在監(jiān)測(cè)材料損傷中的應(yīng)用一、問題提出具有傳感、執(zhí)行、信號(hào)處理、通信與控制等功能的結(jié)構(gòu)稱之為智能結(jié)構(gòu)。這種結(jié)構(gòu)不僅具有承受載荷的能力，還具有感知和響應(yīng)內(nèi)外環(huán)境的變化，實(shí)現(xiàn)自檢測(cè)、自監(jiān)控、自校正、自適應(yīng)、自修復(fù)等功能。下面介紹利用人工神經(jīng)網(wǎng)絡(luò)和埋入偏振型光纖傳感器陣列，實(shí)時(shí)適應(yīng)監(jiān)測(cè)復(fù)合材料損傷，并指示損傷位置的智能結(jié)構(gòu)系統(tǒng)模型。二、智能結(jié)構(gòu)系統(tǒng)簡(jiǎn)介圖7-15智能結(jié)構(gòu)系統(tǒng)圖三、前向BP網(wǎng)絡(luò)處理器圖7-16三層BP網(wǎng)絡(luò)圖7-17BP算法流程四、實(shí)驗(yàn)結(jié)果表7-2BP網(wǎng)絡(luò)學(xué)習(xí)樣本數(shù)據(jù)表7-3在線仿真實(shí)驗(yàn)數(shù)及結(jié)果7.4.3神經(jīng)網(wǎng)絡(luò)濾波一、問題提出通常，由信號(hào)發(fā)生器產(chǎn)生的正弦波或三角波信號(hào)都不同程度地含有噪聲干擾信號(hào)。若我們將它作為精密測(cè)量供電信號(hào)或進(jìn)行相位檢測(cè)時(shí)，往往造成測(cè)量不精確等缺陷。消除噪聲干擾的辦法很多，下面提出一種采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)記憶功能，實(shí)現(xiàn)對(duì)含噪正弦波或三角波信號(hào)的復(fù)原，即消除噪聲干擾。

二、自適應(yīng)線性函數(shù)的最小二乘法(LMS)學(xué)習(xí)算法為了簡(jiǎn)單起見，我們以輸入矢量為二維的情況作為示例來進(jìn)行討論。這時(shí)輸入矢量X和權(quán)矢量W可以分別表示為在采用線性函數(shù)的條件下，神經(jīng)網(wǎng)絡(luò)輸出為(7-42)權(quán)值修正公式為ε(k)為誤差，即式中，d(k)為期望輸出；y(k)為實(shí)際輸出。(7-43)三、軟件編程及說明實(shí)現(xiàn)上述算法的軟件編程如下(采用MATLAB語言)：disp(′*****歡迎使用*****′)disp(′請(qǐng)輸入訓(xùn)練次數(shù)′)T=input(′′)disp(′請(qǐng)輸入步長(zhǎng)參數(shù)′)l=input(′′)disp(′請(qǐng)輸入所加噪聲方差參數(shù)′)m=input(′′)t=0∶1∶63x=sin(t*2*pi/64)plot(t,x)gridx=［x,-1］k=0x1=0fort=1∶1∶63if(t＜=16)x1=［x1,t/16］elseif(t＜=48)x1=［x1,2-t/16］elsex1=［x1,-4+t/16］endk=［k,t］;endplot(k,x1)x1=［x1,-1］w=rand(1,65)q=10000;q0=0;k=0fori=0∶1∶Tk=［k,i］;d=w*x′e=1-dq2=qq=e*e′w=w+(e*1)*xd1=w*x1′e1=-d1w=w+(e1*1)*x1q=q+e1*e1q0=［q0,q/2］subplot(212)hh=plot(k,q0)ifq2＜qbreak;endendiw*x′w*x1′xt=randn(1,65)xt1=m*x1+xxt2=m*xt+x1j=0∶64subplot(211)h1=plot(j,x1)gridsubplot(212)hh=plot(j,xt2)gridy1=w*xt1′y2=w*xt2′h=figure(1)set(h,′color′,［1,1,1］);h2=gca1.采樣部分圖7-18采樣所得正弦波和三角波

2.學(xué)習(xí)部分首先利用MATLAB中的rand()來產(chǎn)生滿足64維初始權(quán)值W(0)。按照(7-42)式和(7-43)式修正權(quán)向量，直到滿足要求為止。選擇不同步長(zhǎng)α，比較誤差變化情況，最后確定較合理的步長(zhǎng)α。

3.檢驗(yàn)部分當(dāng)學(xué)習(xí)結(jié)束后，應(yīng)檢驗(yàn)學(xué)習(xí)的正確性。此時(shí)給訓(xùn)練好的網(wǎng)絡(luò)輸入含有噪聲干擾的一系列正弦波和三角波信號(hào)，要求噪聲服從正態(tài)分布。檢驗(yàn)網(wǎng)絡(luò)是否能恢復(fù)標(biāo)準(zhǔn)波形。若能很好地恢復(fù)標(biāo)準(zhǔn)波形，則說該網(wǎng)絡(luò)可消除正弦波和三角波中的噪聲干擾，達(dá)到濾波效果。四、實(shí)驗(yàn)效果圖7-19加噪聲的正弦波圖7-20恢復(fù)正弦波7.4.4神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)微弱信號(hào)提取一、問題提出在目標(biāo)跟蹤、多目標(biāo)檢測(cè)等許多工程領(lǐng)域，都涉及到從強(qiáng)的背景噪聲中提取弱信號(hào)的問題。基于BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及算法的方法，可從寬帶背景噪聲中提取微弱有用信號(hào)。該方法對(duì)微弱信號(hào)的提取是在網(wǎng)絡(luò)節(jié)點(diǎn)連接權(quán)向量域進(jìn)行的，因此從根本上解決了對(duì)提取信號(hào)的頻率選擇問題。二、BP網(wǎng)絡(luò)權(quán)向量方法原理(BPWV:Back-PropagationWeightVector)圖7-21弱信號(hào)提取模型取背景噪聲的期望值mx作為期待響應(yīng)dk,即假設(shè)背景噪聲是平穩(wěn)的，則mx可用時(shí)間平均值近似估計(jì)。并假設(shè)弱信號(hào)出現(xiàn)之前，網(wǎng)絡(luò)學(xué)習(xí)過程已經(jīng)結(jié)束，即網(wǎng)絡(luò)連接權(quán)矩陣的期望值已收斂于由背景噪聲所確定的最佳權(quán)向量。于是有偏移權(quán)向量7.4.5基于神經(jīng)網(wǎng)絡(luò)的傳感器靜態(tài)誤差綜合修正法一、問題提出

傳感器輸出特性大都為非線性，且常受各種環(huán)境因素影響，故存在多種誤差因素。這些誤差因素通常同時(shí)存在，相互關(guān)聯(lián)，若用一般方法對(duì)傳感器靜態(tài)誤差進(jìn)行綜合修正往往很困難。將神經(jīng)網(wǎng)絡(luò)用于傳感器靜態(tài)誤差的綜合修正，實(shí)驗(yàn)證明會(huì)取得好的效果，說明此方法的可行性。二