第五章1神經(jīng)網(wǎng)絡(luò)在模糊控制系統(tǒng)中的應(yīng)用

第5章神經(jīng)網(wǎng)絡(luò)在模糊控制系統(tǒng)中的應(yīng)用神經(jīng)元是以生物神經(jīng)系統(tǒng)的神經(jīng)細(xì)胞為基礎(chǔ)的生物模型，在人們對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究和探討人工智能的機(jī)制時(shí)，把神經(jīng)原數(shù)學(xué)化，從而產(chǎn)生了神經(jīng)元數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)模型是一個(gè)高度非線性動(dòng)力學(xué)系統(tǒng)，具有并行分布處理、存儲(chǔ)及學(xué)習(xí)能力、高度魯棒性和容錯(cuò)能力，能充分逼近復(fù)雜的非線性關(guān)系。因此，用神經(jīng)網(wǎng)絡(luò)可以表達(dá)物理世界的各種復(fù)雜現(xiàn)象。5.1神經(jīng)網(wǎng)絡(luò)5.1.1人工神經(jīng)網(wǎng)絡(luò)的起源和發(fā)展不同學(xué)科的科學(xué)家不斷地對(duì)人腦的研究和互相影響，漸漸形成了神經(jīng)網(wǎng)絡(luò)學(xué)科。1943年心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作，提出了第一個(gè)神經(jīng)網(wǎng)絡(luò)MP模型。1949年，心理學(xué)家Hebb通過對(duì)大腦神經(jīng)細(xì)胞學(xué)習(xí)和條件反射的觀察研究，提出了改變神經(jīng)元連接強(qiáng)度的Hebb規(guī)則。1957年，Rosenblatt提出了感知器Perceptron模型，試圖模擬人腦的感知學(xué)習(xí)能力，并提出了引入隱層處理單元的三層感知器的概念。1960年，Widrow和Hoff提出了自適應(yīng)線性元件Adaline模型及一種有效的學(xué)習(xí)方法Widrow-Hoff規(guī)則。神經(jīng)網(wǎng)絡(luò)從仿生學(xué)角度模擬人腦神經(jīng)系統(tǒng)的運(yùn)作方式，使機(jī)器具有人腦那樣的感知、學(xué)習(xí)和推理能力。1982年，美國(guó)加州工學(xué)院的物理學(xué)家Hopfield教授提出了HNN模型，使神經(jīng)網(wǎng)絡(luò)的研究有了突破性的進(jìn)展。它通過引入“能量函數(shù)”的概念，給出了網(wǎng)絡(luò)的穩(wěn)定性判據(jù)。此外，HNN的電子電路實(shí)現(xiàn)為神經(jīng)計(jì)算機(jī)研究點(diǎn)定了基礎(chǔ)，同時(shí)，開拓了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑。Feldman和Boltzmann提出了連接網(wǎng)絡(luò)模型，指出了傳統(tǒng)的人工智能“計(jì)算”和生物“計(jì)算”的不同點(diǎn)，給出了并行分布計(jì)算的處理原則；Hinton和Sejnowskii借助統(tǒng)計(jì)物理學(xué)的概念和方法，提出了Boltzmann機(jī)神經(jīng)網(wǎng)絡(luò)模型，并采用模擬退火技術(shù)進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，保證了整個(gè)網(wǎng)絡(luò)系統(tǒng)處于全局穩(wěn)定點(diǎn)。模擬退火算法來源于固體退火原理，將固體加溫至充分高，再讓其徐徐冷卻，加溫時(shí)，固體內(nèi)部粒子隨溫升變?yōu)闊o序狀，內(nèi)能增大，而徐徐冷卻時(shí)粒子漸趨有序，在每個(gè)溫度都達(dá)到平衡態(tài)，最后在常溫時(shí)達(dá)到基態(tài)，內(nèi)能減為最小。

用固體退火模擬組合優(yōu)化問題，將內(nèi)能E模擬為目標(biāo)函數(shù)值f，溫度T演化成控制參數(shù)t，即得到解組合優(yōu)化問題的模擬退火算法：由初始解i和控制參數(shù)初值t開始，對(duì)當(dāng)前解重復(fù)“產(chǎn)生新解→計(jì)算目標(biāo)函數(shù)差→接受或舍棄”的迭代，并逐步衰減t值，算法終止時(shí)的當(dāng)前解即為所得近似最優(yōu)解，這是基于蒙特卡羅迭代求解法的一種啟發(fā)式隨機(jī)搜索過程。模擬退火算法是解決TSP問題的有效方法之一。旅行商問題，即TSP問題（TravellingSalesmanProblem）是數(shù)學(xué)領(lǐng)域中著名問題之一。假設(shè)有一個(gè)旅行商人要拜訪n個(gè)城市，他必須選擇所要走的路徑，路經(jīng)的限制是每個(gè)城市只能拜訪一次，而且最后要回到原來出發(fā)的城市。路徑的選擇目標(biāo)是要求得的路徑路程為所有路徑之中的最小值。TSP問題的示意圖一個(gè)最容易想到的方法排列組合把所有的路徑，并逐一比較，選出最小的路徑。該方法理論上可行，但路徑的個(gè)數(shù)與城市的個(gè)數(shù)成指數(shù)增長(zhǎng)，當(dāng)城市個(gè)數(shù)較大時(shí)，該方法的求解時(shí)間甚至是不可能完成的。以每秒1億次的計(jì)算速度來估算，如果TSP問題包含20個(gè)城市時(shí)，求解時(shí)間長(zhǎng)達(dá)350年；如果要處理30個(gè)城市，則求解時(shí)間更長(zhǎng)達(dá)1+10e16年。求解TSP的模擬退火算法模型可描述如下:解空間：遍訪每個(gè)城市恰好一次的所有路徑;目標(biāo)函數(shù)：訪問所有城市的路徑總長(zhǎng)度;最優(yōu)路徑為目標(biāo)函數(shù)為最小值時(shí)對(duì)應(yīng)的路徑。新路徑的產(chǎn)生：隨機(jī)產(chǎn)生1和n之間的兩相異數(shù)k和m，不妨假設(shè)k<m，則將原路徑(w1,w2,…,wk,wk+1,…,wm,wm+1,…,wn)變?yōu)樾侣窂剑?w1,w2,…,wm,wk+1,…,wk,wm+1,…,wn)Rumelhart和McClelland以及它們領(lǐng)導(dǎo)的PDP小組致力于認(rèn)知微觀結(jié)構(gòu)的探索，提出了PDP（Parallel

Distribated

Processing）理論，同時(shí)發(fā)展了多層網(wǎng)絡(luò)的BP學(xué)習(xí)算法，將神經(jīng)網(wǎng)絡(luò)的研究推向了高潮。PDP模式是一種認(rèn)知心理的平行分布式模式，接近人類思維推論模式。人腦中知識(shí)的表達(dá)采用分布式表達(dá)結(jié)構(gòu)，人腦的控制實(shí)行分布式的控制方式。相互作用、相互限制是PDP模式的基本思想，平行分布是PDP模式的基本構(gòu)架。

這一時(shí)期，隨著大量開拓性研究工作的深入，研究者們提出了數(shù)十種網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法，硬件實(shí)現(xiàn)的研究工作也在積極開展。20世紀(jì)90年代以來，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了一個(gè)空前高漲時(shí)期，多數(shù)研究集中在網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)算法和實(shí)際應(yīng)用三個(gè)方面，已經(jīng)廣泛地應(yīng)用于控制領(lǐng)域，尤其是非線性系統(tǒng)領(lǐng)域。神經(jīng)網(wǎng)絡(luò)在系統(tǒng)中的應(yīng)用主要是用作神經(jīng)網(wǎng)絡(luò)建模和神經(jīng)網(wǎng)絡(luò)控制。5.1.2神經(jīng)元和神經(jīng)網(wǎng)絡(luò)(1)神經(jīng)元模型1)生物神經(jīng)元模型神經(jīng)元是以生物神經(jīng)系統(tǒng)的神經(jīng)細(xì)胞為基礎(chǔ)的生物模型，是生物神經(jīng)系統(tǒng)的最基本單元，其生物學(xué)解剖結(jié)構(gòu)如圖5.1所示。圖5.1生物神經(jīng)元模型神經(jīng)元中心神經(jīng)元信息入口信息出口2)人工神經(jīng)元模型神經(jīng)元模型是模擬生物神經(jīng)元的結(jié)構(gòu)和功能的數(shù)學(xué)化模型，一般是一個(gè)多輸入單輸出的信息處理單元。典型人工神經(jīng)元模型如圖5.2所示。圖5.2人工神經(jīng)元模型輸入權(quán)系數(shù)激發(fā)函數(shù)輸出閥值該神經(jīng)元的數(shù)學(xué)模型表達(dá)式為：對(duì)于激發(fā)函數(shù)f(·)有多種形式，其中常用的有如下3種：圖5.3常用激發(fā)函數(shù)(2)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是生物神經(jīng)網(wǎng)絡(luò)的一種模擬近似。以下介紹幾種典型的人工神經(jīng)網(wǎng)絡(luò)及其在模糊控制方面的應(yīng)用。1)神經(jīng)網(wǎng)絡(luò)模型通?？梢园匆韵?個(gè)原則進(jìn)行神經(jīng)網(wǎng)絡(luò)歸類：按網(wǎng)絡(luò)結(jié)構(gòu)區(qū)分，有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)；按照學(xué)習(xí)方式區(qū)分，有教師學(xué)習(xí)和無教師學(xué)習(xí)網(wǎng)絡(luò)。按照網(wǎng)絡(luò)性能區(qū)分，有連續(xù)型和離散型網(wǎng)絡(luò)，隨機(jī)型和確定型網(wǎng)絡(luò)。按照突觸性質(zhì)區(qū)分，有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。按對(duì)生物神經(jīng)系統(tǒng)的層次模擬區(qū)分，有神經(jīng)元層次模型、組合式模型、網(wǎng)絡(luò)層次模型、神經(jīng)系統(tǒng)層次模型和智能型模型。圖5.4神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖前向網(wǎng)絡(luò)反饋網(wǎng)絡(luò)相互結(jié)合型網(wǎng)絡(luò)混合型網(wǎng)絡(luò)①前向網(wǎng)絡(luò)神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每一層的神經(jīng)元只接收前一層神經(jīng)元的輸入。輸入模式經(jīng)過各層的順序變換后，在輸出層輸出。各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播算法中使用的網(wǎng)絡(luò)都屬于這種類型。②反饋網(wǎng)絡(luò)在前向網(wǎng)絡(luò)的基礎(chǔ)上，存在輸出層到輸入層神經(jīng)元之間的反饋。這種模式可用來存儲(chǔ)某種模式序列，如神經(jīng)認(rèn)知機(jī)或Hopfield網(wǎng)絡(luò)，也可以用于動(dòng)態(tài)時(shí)間序列過程的網(wǎng)絡(luò)建模。③相互結(jié)合型網(wǎng)絡(luò)屬于網(wǎng)狀結(jié)構(gòu)。這種神經(jīng)網(wǎng)絡(luò)在任意兩個(gè)神經(jīng)元之間都可能有連接。HNN或Boltzman機(jī)都屬于這一類型，信號(hào)將在神經(jīng)元之間反復(fù)往返傳遞，網(wǎng)絡(luò)出于一種不斷改變的動(dòng)態(tài)中。從某初態(tài)開始，經(jīng)過若干此變化達(dá)到某種平衡，也有可能進(jìn)入周期振蕩或其他平衡狀態(tài)。④混合型網(wǎng)絡(luò)層次型網(wǎng)絡(luò)和網(wǎng)狀型網(wǎng)絡(luò)的一種結(jié)合。通過層內(nèi)神經(jīng)元相互結(jié)合，可實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮作用。這樣可以限制每層內(nèi)能同時(shí)動(dòng)作的神經(jīng)元數(shù)，或者把層內(nèi)的神經(jīng)元分為若干組，讓每組作為一個(gè)整體來動(dòng)作。2)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法學(xué)習(xí)的過程實(shí)質(zhì)上是針對(duì)一組給定輸入，使網(wǎng)絡(luò)產(chǎn)生相應(yīng)的輸出的過程。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法分為兩大類：有教師學(xué)習(xí)和無教師學(xué)習(xí)。有教師學(xué)習(xí)是指在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，始終存在一個(gè)期望的網(wǎng)絡(luò)輸出，期望輸出與實(shí)際輸出之間的距離作為誤差度量并用于調(diào)節(jié)網(wǎng)絡(luò)連接權(quán)系數(shù)。無教師學(xué)習(xí)指的是網(wǎng)絡(luò)不存在一個(gè)期望的輸出值，因而沒有直接的誤差信息，因此為實(shí)現(xiàn)對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，要建立一個(gè)間接評(píng)價(jià)函數(shù)，以對(duì)網(wǎng)絡(luò)的某種行為趨向作出評(píng)價(jià)。5.1.3人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及類型(1)人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)1)非線性2)非局域性這是人類神經(jīng)系統(tǒng)的一個(gè)特性，人的整體行為是非局域性的最明顯體現(xiàn)。神經(jīng)網(wǎng)絡(luò)以大量神經(jīng)元連接模擬人腦的非局域性，它的分布存儲(chǔ)是非局域性的一種體現(xiàn)。3)非定常性神經(jīng)網(wǎng)絡(luò)是模擬人腦思維運(yùn)動(dòng)的動(dòng)力學(xué)系統(tǒng)，它應(yīng)按不同時(shí)刻的外界刺激對(duì)自己的功能進(jìn)行修改，因此是一個(gè)時(shí)變系統(tǒng)。4)非凸性神經(jīng)網(wǎng)絡(luò)的非凸性是指它有多個(gè)極值，也即系統(tǒng)具有不只一個(gè)平衡狀態(tài)。這會(huì)使系統(tǒng)的變化多樣化，神經(jīng)網(wǎng)絡(luò)的全局優(yōu)化算法就反映了這一點(diǎn)。5)具有泛化功能能夠處理未經(jīng)訓(xùn)練的數(shù)據(jù)，并獲得相應(yīng)于這些數(shù)據(jù)的合適解答。同樣，能夠處理有噪聲或不完全的數(shù)據(jù)。具有很好的容錯(cuò)能力。6)具有自適應(yīng)功能根據(jù)所提供的數(shù)據(jù)，通過學(xué)習(xí)和訓(xùn)練，找出和輸出之間的內(nèi)在聯(lián)系，從而得到問題的解答。7)高度并行處理神經(jīng)網(wǎng)絡(luò)的處理是高度并行的，因此，用硬件實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)的處理速度，可遠(yuǎn)遠(yuǎn)高于通常計(jì)算機(jī)的處理速度。(2)人工神經(jīng)網(wǎng)絡(luò)的類型Hopfield網(wǎng)絡(luò)，最典型的反饋網(wǎng)絡(luò)模型，是目前人們研究最多的模型之一。它由相同的神經(jīng)元構(gòu)成，并且是不具學(xué)習(xí)功能的自聯(lián)想網(wǎng)絡(luò)，需要對(duì)稱連接。這個(gè)網(wǎng)絡(luò)可完成制約優(yōu)化和聯(lián)想記憶等功能。BP網(wǎng)絡(luò)，反向傳播網(wǎng)絡(luò)。是多層前向網(wǎng)絡(luò)，采用最小均方差學(xué)習(xí)方式，需要教師訓(xùn)練。用途廣泛，如語言綜合、識(shí)別和自適應(yīng)控制等。Blotzman機(jī)是典型的隨機(jī)網(wǎng)絡(luò)模型。它的單元具有二值狀態(tài)，神經(jīng)元的連接是雙向的，且具有概率狀態(tài)轉(zhuǎn)移機(jī)制。它允許含隱單元來獲取學(xué)習(xí)中的高階規(guī)則。主要用于模式識(shí)別。Blotzman機(jī)訓(xùn)練時(shí)間長(zhǎng)，并有噪聲。ART網(wǎng)絡(luò)是一種自組織網(wǎng)絡(luò)模型，是無教師學(xué)習(xí)網(wǎng)絡(luò)。它能較好地協(xié)調(diào)適應(yīng)性、穩(wěn)定性和復(fù)雜性的要求。在ART網(wǎng)絡(luò)中，通常需要兩個(gè)功能互補(bǔ)的子系統(tǒng)相互作用。該網(wǎng)絡(luò)主要用于模式識(shí)別，其不足之處在于對(duì)轉(zhuǎn)換失真和規(guī)模變化敏感。(1)Hopfield網(wǎng)絡(luò)1)離散型Hopfield網(wǎng)絡(luò)2)連續(xù)型Hopfield網(wǎng)絡(luò)(2)BP多層神經(jīng)網(wǎng)絡(luò)①函數(shù)逼近②模式識(shí)別③分類④數(shù)據(jù)壓縮5.1.4典型的人工神經(jīng)網(wǎng)絡(luò)圖5.5多層網(wǎng)絡(luò)及BP算法1)BP算法的原理設(shè)有一個(gè)m層的神經(jīng)網(wǎng)絡(luò)，并在輸入層加有樣本X，設(shè)第k層的i神經(jīng)元的輸入總和表示為、輸出；從第k-1層的第j個(gè)神經(jīng)元到第k層的第i個(gè)神經(jīng)元的權(quán)系數(shù)為ωij，各個(gè)神經(jīng)元的激發(fā)函數(shù)為f，則各個(gè)變量的關(guān)系可用下面有關(guān)的數(shù)學(xué)式表示：(5.1)(5.2)①正向傳播②反向傳播2)BP算法的數(shù)學(xué)表達(dá)多層網(wǎng)絡(luò)的訓(xùn)練方法是把一個(gè)樣本加到輸入層，并根據(jù)向前傳播的規(guī)則：(5.3)(5.4)把和期望輸出yj進(jìn)行比較，如果兩者不等，則產(chǎn)生誤差信號(hào)e，接著則按下面的公式反向傳播修改權(quán)系數(shù)：3)BP算法的執(zhí)行步驟①對(duì)權(quán)系數(shù)ωij置初值(5.5)(5.6)②輸入一個(gè)樣本X=(x1，x2，…，xn，1)以及對(duì)應(yīng)期望輸出Y=(y1，y2，…，yn)。③計(jì)算各層的輸出(5.7)(5.8)(5.9)(5.10)(5.11)(5.12)⑥當(dāng)求出了各層各個(gè)權(quán)系數(shù)之后，可按給定品質(zhì)指標(biāo)判別是否滿足要求。如果滿足要求，則算法結(jié)束；如果未滿足要求，則返回③執(zhí)行。4)BP網(wǎng)絡(luò)的設(shè)計(jì)設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)，一般應(yīng)從以下幾方面考慮：①網(wǎng)絡(luò)的層數(shù)②隱層的神經(jīng)元數(shù)③初始權(quán)值的選?、軐W(xué)習(xí)速率⑤期望誤差的選取5.2模糊神經(jīng)網(wǎng)絡(luò)5.2.1神經(jīng)網(wǎng)絡(luò)與模糊邏輯5.2.2模糊神經(jīng)網(wǎng)絡(luò)(1)模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)神經(jīng)元的激發(fā)函數(shù)是神經(jīng)元輸入函數(shù)響應(yīng)f的函數(shù)，即(5.13)圖5.6模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖為了滿足模糊控制的要求，對(duì)每一層的神經(jīng)元函數(shù)應(yīng)有不同的定義：第一層，這一層的節(jié)點(diǎn)只是將輸入變量值直接傳送到下一層。所以

第二層，如果采用一個(gè)神經(jīng)元節(jié)點(diǎn)來實(shí)現(xiàn)語言值的隸屬度函數(shù)變換，則這個(gè)節(jié)點(diǎn)的輸出就可以定義為隸屬度函數(shù)的輸出，如鐘型函數(shù)就是一個(gè)很好的隸屬度函數(shù)。第三層，這一層的功能是完成模糊邏輯推理?xiàng)l件部的匹配工作。因此，由最大、最小推理規(guī)則可知，規(guī)則節(jié)點(diǎn)實(shí)現(xiàn)的功能是模糊“與”運(yùn)算，即第四層，在這一層上的節(jié)點(diǎn)有兩種操作模式：一種是實(shí)現(xiàn)信號(hào)從上到下的傳輸模式；另一種是實(shí)現(xiàn)信號(hào)從下到上的傳輸模式。第五層，在這一層中有兩類節(jié)點(diǎn)：一類節(jié)點(diǎn)