第4章 計(jì)算智能1

第4章計(jì)算智能2023/2/31《人工智能》信息科學(xué)與生命科學(xué)的相互交叉、相互滲透和相互促進(jìn)是現(xiàn)代科學(xué)技術(shù)發(fā)展的一個(gè)顯著特點(diǎn)。計(jì)算智能涉及神經(jīng)網(wǎng)絡(luò)、模糊邏輯、進(jìn)化計(jì)算和人工生命等領(lǐng)域，它的研究和發(fā)展正反映了當(dāng)代科學(xué)技術(shù)多學(xué)科交叉與集成的重要發(fā)展趨勢(shì)。什么是計(jì)算智能

把神經(jīng)網(wǎng)絡(luò)（NN）歸類于人工智能（AI）可能不大合適，而歸類于計(jì)算智能（CI）更能說明問題實(shí)質(zhì)。進(jìn)化計(jì)算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都?xì)w類于計(jì)算智能。第一個(gè)對(duì)計(jì)算智能的定義是由貝茲德克（Bezdek）于1992年提出的。他認(rèn)為，計(jì)算智能取決于制造者提供的數(shù)值數(shù)據(jù)，不依賴于知識(shí)；另一方面，人工智能應(yīng)用知識(shí)精品。人工神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)稱為計(jì)算神經(jīng)網(wǎng)絡(luò)。2023/2/32《人工智能》

盡管計(jì)算智能與人工智能的界限并非十分明顯，然而討論它們的區(qū)別和關(guān)系是有益的。貝茲德克對(duì)這些相關(guān)術(shù)語給予一定的符號(hào)和簡(jiǎn)要說明或定義。他給出有趣的ABC：

A－Artificial，表示人工的（非生物的），即人造的

B－Biological，表示物理的＋化學(xué)的＋(??)＝生物的

C－Computational，表示數(shù)學(xué)＋計(jì)算機(jī)下圖表示ABC及其與神經(jīng)網(wǎng)絡(luò)（NN）、模式識(shí)別（PR）和智能（I）之間的關(guān)系。

計(jì)算智能與人工智能的區(qū)別和關(guān)系2023/2/33《人工智能》

計(jì)算智能是一種智力方式的低層認(rèn)知，它與人工智能的區(qū)別只是認(rèn)知層次從中層下降至低層而已。中層系統(tǒng)含有知識(shí)（精品），低層系統(tǒng)則沒有。ClassicalArtificialIntelligenceComputationalIntelligenceObjectKnowledgeDataMethodRigorousProbability2023/2/34《人工智能》當(dāng)一個(gè)系統(tǒng)只涉及數(shù)值（低層）數(shù)據(jù)，含有模式識(shí)別部分，不應(yīng)用人工智能意義上的知識(shí)，而且能夠呈現(xiàn)出：（1）計(jì)算適應(yīng)性；（2）計(jì)算容錯(cuò)性；（3）接近人的速度；（4）誤差率與人相近，則該系統(tǒng)就是計(jì)算智能系統(tǒng)。

當(dāng)一個(gè)智能計(jì)算系統(tǒng)以非數(shù)值方式加上知識(shí)（精品）值，即成為人工智能系統(tǒng)。2023/2/35《人工智能》ComputationalIntelligenceDarwinPrincipleCollectiveBehavior

ofSociety

Neural

NetworkEvolutionary

ComputationFuzzy

SystemOthersGenetic

AlgorithmEvolutionary

StrategyEvolutionaryprogrammingGenetic

ProgrammingParticleSwarmAntArtificialSystem2023/2/36《人工智能》4.1神經(jīng)計(jì)算4.2模糊計(jì)算4.3粗糙集理論4.4進(jìn)化計(jì)算4.5粒子群優(yōu)化4.6蟻群算法本章主要內(nèi)容：2023/2/37《人工智能》4.1

神經(jīng)計(jì)算在廣義上，神經(jīng)網(wǎng)絡(luò)可以泛指生物神經(jīng)網(wǎng)絡(luò)，也可以指人工神經(jīng)網(wǎng)絡(luò)。所謂人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork）是指模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運(yùn)用大量的處理部件，由人工方式建立起來的網(wǎng)絡(luò)系統(tǒng)。人腦是ANN的原型，ANN是對(duì)人腦神經(jīng)系統(tǒng)的模擬。在人工智能領(lǐng)域中，在不引起混淆的情況下，神經(jīng)網(wǎng)絡(luò)一般都指的是ANN。2023/2/38《人工智能》4.1.1人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展萌芽期（20世紀(jì)40年代）1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡(jiǎn)稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊《BulletinofMethematicalBiophysics》。1949年，心理學(xué)家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說——Hebb學(xué)習(xí)律。第一高潮期（1950~1968）以MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級(jí)感知器（Perceptron）?？捎秒娮泳€路模擬。人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。反思期（1969~1982）“異或”運(yùn)算不可表示。二十世紀(jì)70年代和80年代早期的研究結(jié)果。認(rèn)識(shí)規(guī)律：認(rèn)識(shí)——實(shí)踐——再認(rèn)識(shí)2023/2/39《人工智能》4.1.1人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展（2）

第二高潮期（1983~1990）1）1982年，J.Hopfield提出循環(huán)網(wǎng)絡(luò)。–用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)–闡明了ANN與動(dòng)力學(xué)的關(guān)系–用非線性動(dòng)力學(xué)的方法來研究ANN的特性–指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上2）1984年，J.Hopfield設(shè)計(jì)研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動(dòng)。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)。2023/2/310《人工智能》4）1986年，并行分布處理小組的Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法——BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。（Paker1982和Werbos1974年）。國(guó)內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)是1990年12月在北京舉行的。再認(rèn)識(shí)與應(yīng)用（1991~）存在問題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確存在可信度的問題對(duì)策：開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法。希望在理論上尋找新的突破，建立新的專用/通用模型和算法。進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。4.1.1人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展（3）

2023/2/311《人工智能》人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

具有大規(guī)模并行協(xié)同處理能力。每一個(gè)神經(jīng)元的功能和結(jié)構(gòu)都很簡(jiǎn)單，但是由大量神經(jīng)元構(gòu)成的整體卻具有很強(qiáng)的處理能力。具有較強(qiáng)的容錯(cuò)能力和聯(lián)想能力。單個(gè)神經(jīng)元或者連接對(duì)網(wǎng)絡(luò)整體功能的影響都比較微小。在神經(jīng)網(wǎng)絡(luò)中，信息的存儲(chǔ)與處理是合二為一的。信息的分布存提供容錯(cuò)功能–由于信息被分布存放在幾乎整個(gè)網(wǎng)絡(luò)中。所以當(dāng)其中的某一個(gè)點(diǎn)或者某幾個(gè)點(diǎn)被破壞時(shí)信息仍然可以被存取。具有較強(qiáng)的學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可分為有教師學(xué)習(xí)與無教師學(xué)習(xí)兩類。由于其運(yùn)算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實(shí)現(xiàn)模式的自動(dòng)分類。具有很強(qiáng)的普化（Generalization）能力與抽象能力。是大規(guī)模自組織、自適應(yīng)的非線性動(dòng)力系統(tǒng)。具有一般非線性動(dòng)力系統(tǒng)的共性，即不可預(yù)測(cè)性、耗散性、高維性、不可逆性、廣泛連接性和自適應(yīng)性等等。2023/2/312《人工智能》物理符號(hào)系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別項(xiàng)目物理符號(hào)系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)處理方式邏輯運(yùn)算模擬運(yùn)算執(zhí)行方式串行并行動(dòng)作離散連續(xù)存儲(chǔ)局部集中全局分布2023/2/313《人工智能》4.1.2人工神經(jīng)網(wǎng)的結(jié)構(gòu)

1、神經(jīng)元及其特性

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是由基本處理單元及其互連方法決定的。

如圖所示，神經(jīng)元單元由多個(gè)輸入xi，i=1,2,...,n和一個(gè)輸出y組成。中間狀態(tài)由輸入信號(hào)的權(quán)和表示，而輸出為：

wjnwj1：：yjjx1xn

f(_)式中，j為神經(jīng)元單元的偏置（閾值），wji為連接權(quán)系數(shù)（對(duì)于激發(fā)狀態(tài)，取正值，對(duì)于抑制狀態(tài)，取負(fù)值），n為輸入信號(hào)數(shù)目，yj為神經(jīng)元輸出，t為時(shí)間，f(＿)為輸出變換函數(shù)。

2023/2/314《人工智能》函數(shù)

f(_)表達(dá)了神經(jīng)元的輸入輸出特性。

往往采用0和1二值函數(shù)或Ｓ形函數(shù)。一種二值函數(shù)可由下式表示：其圖像如圖所示。如果把閾值θi看作為一個(gè)特殊的權(quán)值，則可改寫為:其中，w0i＝-θi，x0＝12023/2/315《人工智能》

為用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力，常采用s型函數(shù)，如下圖所示。其中，第一個(gè)函數(shù)為常規(guī)的s型函數(shù)，其輸出均為正值；第二個(gè)函數(shù)為雙曲正切函數(shù)，其輸出值可為正或負(fù)。2023/2/316《人工智能》2、人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)

人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元模型構(gòu)成；這種由許多神經(jīng)元組成的信息處理網(wǎng)絡(luò)具有并行分布結(jié)構(gòu)。每個(gè)神經(jīng)元具有單一輸出，并且能夠與其它神經(jīng)元連接；存在許多（多重）輸出連接方法，每種連接方法對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。嚴(yán)格地說，人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特性的有向圖：

(1)對(duì)于每個(gè)節(jié)點(diǎn)i存在一個(gè)狀態(tài)變量；

(2)從節(jié)點(diǎn)j至節(jié)點(diǎn)i，存在一個(gè)連接權(quán)系統(tǒng)數(shù)；

(3)對(duì)于每個(gè)節(jié)點(diǎn)i，存在一個(gè)閾值i；

(4)對(duì)于每個(gè)節(jié)點(diǎn)i，定義一個(gè)變換函數(shù)fi；對(duì)于最一般的情況，此函數(shù)的形式為：2023/2/317《人工智能》

人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基本上分為兩類：遞歸（反饋）網(wǎng)絡(luò)和前饋網(wǎng)絡(luò)。（１）遞歸網(wǎng)絡(luò)

在遞歸網(wǎng)絡(luò)中，多個(gè)神經(jīng)元互連以組織一個(gè)互連神經(jīng)網(wǎng)絡(luò)，如圖所示。有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元。因此，信號(hào)能夠從正向和反向流通。Hopfield網(wǎng)絡(luò)，Elmman網(wǎng)絡(luò)和Jordan網(wǎng)絡(luò)是遞歸網(wǎng)絡(luò)有代表性的例子。遞歸網(wǎng)絡(luò)又叫做反饋網(wǎng)絡(luò)。2023/2/318《人工智能》

圖中，實(shí)線指明實(shí)際信號(hào)流通而虛線表示反向傳播。前饋網(wǎng)絡(luò)例子有多層感知器(MLP)、學(xué)習(xí)矢量量化(LVQ)網(wǎng)絡(luò)、小腦模型聯(lián)接控制(CMAC)網(wǎng)絡(luò)和數(shù)據(jù)處理方法(GMDH)網(wǎng)絡(luò)等。

（2）前饋網(wǎng)絡(luò)

前饋網(wǎng)絡(luò)具有遞階分層結(jié)構(gòu)，由一些同層神經(jīng)元間不存在互連的層級(jí)組成。從輸入層至輸出層的信號(hào)通過單向連接流通；神經(jīng)元從一層連接至下一層，不存在同層神經(jīng)元間的連接，如圖所示。

2023/2/319《人工智能》3、人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法

神經(jīng)網(wǎng)絡(luò)主要通過指導(dǎo)式（有師）學(xué)習(xí)算法和非指導(dǎo)式（無師）學(xué)習(xí)算法。此外，還存在第三種學(xué)習(xí)算法，即強(qiáng)化學(xué)習(xí)算法；可把它看做有師學(xué)習(xí)的一種特例。

（1）有師學(xué)習(xí)

有師學(xué)習(xí)算法能夠根據(jù)期望的和實(shí)際的網(wǎng)絡(luò)輸出（對(duì)應(yīng)于給定輸入）間的差來調(diào)整神經(jīng)元間連接的強(qiáng)度或權(quán)。因此，有師學(xué)習(xí)需要有個(gè)老師或?qū)焷硖峁┢谕蚰繕?biāo)輸出信號(hào)。有師學(xué)習(xí)算法的例子包括Delta規(guī)則、廣義Delta規(guī)則或反向傳播算法以及LVQ算法等。2023/2/320《人工智能》（２）無師學(xué)習(xí)無師學(xué)習(xí)算法不需要知道期望輸出。在訓(xùn)練過程中，只要向神經(jīng)網(wǎng)絡(luò)提供輸入模式，神經(jīng)網(wǎng)絡(luò)就能夠自動(dòng)地適應(yīng)連接權(quán)，以便按相似特征把輸入模式分組聚集。無師學(xué)習(xí)算法的例子包括Kohonen算法和Carpenter-Grossberg自適應(yīng)諧振理論（ART)等。

（３）強(qiáng)化學(xué)習(xí)如前所述，強(qiáng)化（增強(qiáng)）學(xué)習(xí)是有師學(xué)習(xí)的特例。它不需要老師給出目標(biāo)輸出。強(qiáng)化學(xué)習(xí)算法采用一個(gè)“評(píng)論員”來評(píng)價(jià)與給定輸入相對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出的優(yōu)度（質(zhì)量因數(shù)）。強(qiáng)化學(xué)習(xí)算法的一個(gè)例子是遺傳算法（GA）。2023/2/321《人工智能》4.1.3人工神經(jīng)網(wǎng)的典型模型及其算法

迄今為止，已經(jīng)開發(fā)和應(yīng)用了30多種人工神經(jīng)網(wǎng)絡(luò)模型。在這里，我們對(duì)一些典型網(wǎng)絡(luò)模型及其算法進(jìn)行介紹。1、反向傳播(BP)模型2、Hopfield網(wǎng)絡(luò)3、自適應(yīng)共振理論(ART)模型2023/2/322《人工智能》

1、反向傳播(BP)模型

網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)輸入層隱藏層輸出層2023/2/323《人工智能》輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定了網(wǎng)絡(luò)拓?fù)湓黾与[藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。BP網(wǎng)一般都選用二級(jí)（3層）網(wǎng)絡(luò)。因?yàn)榭梢宰C明如果BP網(wǎng)絡(luò)中隱層單元可以根據(jù)需要自由設(shè)定，那么一個(gè)三層網(wǎng)絡(luò)可以實(shí)現(xiàn)以任意精度近似任意連續(xù)函數(shù)。網(wǎng)絡(luò)的構(gòu)成

神經(jīng)元的網(wǎng)絡(luò)輸入：

neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出（s型函數(shù)）：

O=f(net)=1/(1+exp(-net))

f’(net)=exp(-net)/(1+exp(-net))2=O-O2=O(1-O)2023/2/324《人工智能》BP算法基本思想樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}逐一根據(jù)樣本集中的樣本(Xk,Yk)計(jì)算出實(shí)際輸出Ok及其誤差E1，然后對(duì)各層神經(jīng)元的權(quán)值W(1)，W(2)，…，W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到∑Ep<ε（所有樣本的誤差之和）。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過程。2023/2/325《人工智能》BP算法訓(xùn)練過程概述樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機(jī)數(shù)”與飽和狀態(tài)；“不同”的權(quán)值保證網(wǎng)絡(luò)可以學(xué)。1、向前傳播階段：（1）從樣本集中取一個(gè)樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計(jì)算相應(yīng)的實(shí)際輸出Op：Op=FL(…(F2(F1(XpW(1))W(2))…)W(L))2、向后傳播階段——誤差傳播階段：（1）計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第p個(gè)樣本的誤差測(cè)度：（4）網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度：2023/2/326《人工智能》輸出層權(quán)的調(diào)整其中，是學(xué)習(xí)因子。BP算法應(yīng)用的不是基本的δ學(xué)習(xí)，而是一種擴(kuò)展的δ學(xué)習(xí)規(guī)則。但是對(duì)于所有的δ學(xué)習(xí)規(guī)則而言，某神經(jīng)元的權(quán)值修正量都正比于該神經(jīng)元的輸出誤差和輸入。BP算法輸出層對(duì)誤差調(diào)整為f’(net)(y-o)。ANpANqwpqwpq第L-1層第L層2023/2/327《人工智能》隱藏層權(quán)的調(diào)整ANhANpANqANmAN1……whppk-1wpqqk1kwp1wpmqm第k-2層第k-1層第k層2023/2/328《人工智能》隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk有關(guān)。不妨認(rèn)為δpk-1：

通過權(quán)wp1對(duì)δ1k做出貢獻(xiàn)，通過權(quán)wp2對(duì)δ2k做出貢獻(xiàn)，……通過權(quán)wpm對(duì)δmk做出貢獻(xiàn)。2023/2/329《人工智能》BP算法中學(xué)習(xí)規(guī)則的理論推導(dǎo)該算法中δ學(xué)習(xí)規(guī)則的實(shí)質(zhì)是利用梯度最速下降法，使權(quán)值沿誤差函數(shù)的負(fù)梯度方向改變。誤差測(cè)度方法：用理想輸出與實(shí)際輸出的方差作為相應(yīng)的誤差測(cè)度：2023/2/330《人工智能》最速下降法(1)最速下降法，要求E的極小點(diǎn)，取EwijEwij2023/2/331《人工智能》最速下降法(2)其中，為學(xué)習(xí)率。2023/2/332《人工智能》輸出層若ANj為一個(gè)輸出層神經(jīng)元，則有：Oj=f(netj)容易得到：故輸出層按下列公式修改權(quán)值：2023/2/333《人工智能》隱藏層(1)由于Oj對(duì)于E的作用是通過下一層的各節(jié)點(diǎn)的輸入/輸出體現(xiàn)的，所以可應(yīng)用連鎖法來計(jì)算：O1ANH1OH1ANjOjANHnOHnAN1net1ANkOkNetkANnOnnetn…………wijANiOi隱藏層2023/2/334《人工智能》隱藏層(2)2023/2/335《人工智能》隱藏層(3)故隱藏層按下列公式修改權(quán)值：2023/2/336《人工智能》BP算法中的幾個(gè)問題(1)收斂速度問題收斂速度很慢，其訓(xùn)練需要很多步迭代。局部極小點(diǎn)問題逃離/避開局部極小點(diǎn)：修改W的初值并不是總有效。逃離——統(tǒng)計(jì)方法；[Wasserman，1986]將Cauchy訓(xùn)練與BP算法結(jié)合起來，可以在保證訓(xùn)練速度不被降低的情況下，找到全局極小點(diǎn)。網(wǎng)絡(luò)癱瘓問題在訓(xùn)練中，權(quán)可能變得很大，這會(huì)使神經(jīng)元的網(wǎng)絡(luò)輸入變得很大，從而又使得其激活函數(shù)的導(dǎo)函數(shù)在此點(diǎn)上的取值很小。根據(jù)相應(yīng)式子，此時(shí)的訓(xùn)練步長(zhǎng)會(huì)變得非常小，進(jìn)而將導(dǎo)致訓(xùn)練速度降得非常低，最終導(dǎo)致網(wǎng)絡(luò)停止收斂。2023/2/337《人工智能》BP算法中的幾個(gè)問題(2)穩(wěn)定性問題用修改量的綜合實(shí)施權(quán)的修改連續(xù)變化的環(huán)境，它將變成無效的步長(zhǎng)問題BP網(wǎng)絡(luò)的收斂是基于無窮小的權(quán)修改量步長(zhǎng)太小，收斂就非常慢步長(zhǎng)太大，可能會(huì)導(dǎo)致網(wǎng)絡(luò)的癱瘓和不穩(wěn)定自適應(yīng)步長(zhǎng)，使得權(quán)修改量能隨著網(wǎng)絡(luò)的訓(xùn)練而不斷變化。[1988年，Wasserman]網(wǎng)絡(luò)隱層中神經(jīng)元數(shù)目及層數(shù)的選取尚無理論直到，一般憑借經(jīng)驗(yàn)選取。2023/2/338《人工智能》

2、Hopfield網(wǎng)絡(luò)

前面我們討論了BP網(wǎng)絡(luò)。BP網(wǎng)絡(luò)是一類典型的前饋網(wǎng)絡(luò)。其它前饋網(wǎng)絡(luò)有感知器(Perception)、自適應(yīng)線性網(wǎng)絡(luò)和交替投影網(wǎng)絡(luò)等。前饋網(wǎng)絡(luò)是一種具有很強(qiáng)學(xué)習(xí)能力的系統(tǒng)，結(jié)構(gòu)比較簡(jiǎn)單，且易于編程。前饋網(wǎng)絡(luò)通過簡(jiǎn)單非線性單元的復(fù)合映射而獲得較強(qiáng)的非線性處理能力，實(shí)現(xiàn)靜態(tài)非線性映射。不過，前饋網(wǎng)絡(luò)缺乏動(dòng)態(tài)處理能力，因而計(jì)算能力不夠強(qiáng)。還有一類人工神經(jīng)網(wǎng)絡(luò)，即反饋神經(jīng)網(wǎng)絡(luò)，它是一種動(dòng)態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算能力。反向網(wǎng)絡(luò)可用一個(gè)完備的無向圖表示。本節(jié)將以霍普菲爾德(Hopfield)網(wǎng)絡(luò)為例，研究反饋神經(jīng)網(wǎng)絡(luò)的模型算法和學(xué)習(xí)示例。2023/2/339《人工智能》Hopfield網(wǎng)絡(luò)模型

Hopfield離散隨機(jī)神經(jīng)網(wǎng)絡(luò)模型是由J.J.Hopfield于1982年提出的。1984年，他又提出連續(xù)時(shí)間神經(jīng)網(wǎng)絡(luò)模型。這兩種模型的許多重要特性是密切相關(guān)的。這個(gè)模型具有完全對(duì)稱的部件間連接。網(wǎng)絡(luò)狀態(tài)用稱為“能量函數(shù)”的量來定義，網(wǎng)絡(luò)的遷移過程能夠解釋為能量級(jí)小化過程。Hopfield首先將能量函數(shù)的概念引入神經(jīng)網(wǎng)絡(luò)，將神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)與所要解決的問題對(duì)應(yīng)起來，并將之轉(zhuǎn)化成神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)系統(tǒng)的演化問題，開辟了解決優(yōu)化等問題的新途徑。他將神經(jīng)網(wǎng)絡(luò)與RC有源電路相對(duì)應(yīng)，便于VLSI實(shí)現(xiàn)，具有很大前景。

2023/2/340《人工智能》y1y2yn-1yn12n-1n...x1x2xn-1xn

Hopfield網(wǎng)絡(luò)一般只有一個(gè)神經(jīng)元層次，每個(gè)神經(jīng)元的輸出都與其它神經(jīng)元的輸入相連，是一種單層全反饋網(wǎng)絡(luò)。如圖所示。

Hopfield網(wǎng)絡(luò)中神經(jīng)元之間的權(quán)值一般是對(duì)稱的。但每個(gè)神經(jīng)元都沒有到自身的聯(lián)接。神經(jīng)元i和神經(jīng)元j之間相互連接的權(quán)值相等，即wij=wji。因此此時(shí)，網(wǎng)絡(luò)一定能夠收斂到一個(gè)穩(wěn)定值。否則，則網(wǎng)絡(luò)可能會(huì)不穩(wěn)定，無法收斂。2023/2/341《人工智能》離散Hopfield網(wǎng)絡(luò)每個(gè)單元均有一個(gè)狀態(tài)值，它取兩個(gè)可能值之一。設(shè)在某一個(gè)時(shí)刻t，神經(jīng)元i的狀態(tài)為Ui(t)，則在t+1時(shí)刻的狀態(tài)為：其中，wij為神經(jīng)元i何j之間的連接權(quán)值，i為第i個(gè)神經(jīng)元的閾值。2023/2/342《人工智能》離散Hopfield網(wǎng)絡(luò)有兩種工作方式：

(1)異步工作方式：在某一時(shí)刻，只有一個(gè)神經(jīng)元進(jìn)行演化，其余神經(jīng)元的輸出保持不變。

(2)同步工作方式：在任何時(shí)刻，所有的神經(jīng)元同時(shí)按照上式演化。Hopfield是一個(gè)非線性動(dòng)力系統(tǒng)，其穩(wěn)定性是一個(gè)很重要的問題。當(dāng)網(wǎng)絡(luò)處于穩(wěn)定點(diǎn)時(shí)，每個(gè)神經(jīng)元的輸出滿足：

Ui(t+1)=Ui(t)。Hopfield提出，如果把神經(jīng)網(wǎng)絡(luò)的各平衡點(diǎn)設(shè)想為存儲(chǔ)于該網(wǎng)絡(luò)的信息，而且網(wǎng)絡(luò)的收斂性保證系統(tǒng)的動(dòng)態(tài)特性隨時(shí)間而達(dá)到穩(wěn)定，那么這種網(wǎng)絡(luò)就成為按內(nèi)容定址的存儲(chǔ)器或稱為聯(lián)想存儲(chǔ)器。2023/2/343《人工智能》Hopfield網(wǎng)絡(luò)算法

(1)設(shè)置互聯(lián)權(quán)值

(2)對(duì)未知類別的采樣初始化

式中，xsi為S類采樣的第i個(gè)分量，可為+1或-1；采樣類別數(shù)為m，節(jié)點(diǎn)數(shù)為n。

yi(0)=xi

式中，yi(t)為節(jié)點(diǎn)i在時(shí)刻t的輸出；當(dāng)t=0時(shí)，yi(0)就是節(jié)點(diǎn)i的初始值，xi為輸入采樣的第i個(gè)分量，也可為+1或-1。(3)迭代運(yùn)算(4)重復(fù)迭代

直至每個(gè)輸出單元不變?yōu)橹?，即Uj(t+1)=Uj(t)2023/2/344《人工智能》Hopfield網(wǎng)絡(luò)算法

2023/2/345《人工智能》

3、自適應(yīng)共振理論(ART)模型（1）適用于平穩(wěn)的、靜態(tài)的環(huán)境?？腕w、客體間的各種關(guān)系以及觀察矢量的各種統(tǒng)計(jì)特征一般不會(huì)隨時(shí)間而變化。（2）神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是在教師指導(dǎo)下的有監(jiān)督學(xué)習(xí)。學(xué)習(xí)狀態(tài)與工作狀態(tài)是截然分開的，不能邊學(xué)習(xí)邊工作。（3）學(xué)習(xí)方式不會(huì)適應(yīng)客體的變化。誤差準(zhǔn)則也是固定的，不能隨著環(huán)境的變化而相應(yīng)調(diào)整或改變。（4）有可能陷入誤差局部極小點(diǎn)，造成錯(cuò)誤結(jié)果。前饋型與反饋型人工神經(jīng)網(wǎng)絡(luò)已經(jīng)得到了廣泛應(yīng)用。但是它們與人腦工作特點(diǎn)還有很多區(qū)別，表現(xiàn)出一些缺點(diǎn)。

人腦的學(xué)習(xí)方式是自主的，可以在無教師指導(dǎo)下自學(xué)，具有自組織特點(diǎn)，具有彈性和可塑性，并且人對(duì)外界的輸入信號(hào)作出響應(yīng)時(shí)，既通過“由底向上”

，又通過“由頂向下”

的方式。2023/2/346《人工智能》自適應(yīng)共振理論(AdaptiveResonanceTheory)就是一種更接近于人腦工作特點(diǎn)的自組織ANN模型。自適應(yīng)共振理論ART(AdaptiveResonanceTheory)模型是美國(guó)Boston大學(xué)的S．Grossberg和A．Carpenet在1976年提出的。ART目前已經(jīng)發(fā)展了三代。第一代ART1是針對(duì)二進(jìn)制信號(hào)的。第二代ART2是針對(duì)任意模擬信號(hào)的。第三代ART3兼容了前兩代的功能，還將兩層神經(jīng)網(wǎng)絡(luò)擴(kuò)大為任意多層神經(jīng)網(wǎng)絡(luò)并且在神經(jīng)元的運(yùn)行模型中納入了人神經(jīng)元生物電化學(xué)反應(yīng)的機(jī)制。ART模型的基本學(xué)習(xí)方式是競(jìng)爭(zhēng)學(xué)習(xí)機(jī)制。2023/2/347《人工智能》競(jìng)爭(zhēng)學(xué)習(xí)與競(jìng)爭(zhēng)網(wǎng)絡(luò)

競(jìng)爭(zhēng)學(xué)習(xí)的基本思想：只有競(jìng)爭(zhēng)獲勝的單元進(jìn)行權(quán)值修正，其它單元不動(dòng)。當(dāng)獲勝單元的輸入狀態(tài)為1，相應(yīng)的權(quán)值增加；當(dāng)相連輸入單元狀態(tài)為0，相應(yīng)權(quán)值減小。學(xué)習(xí)過程中，權(quán)值越來越接近于相應(yīng)的輸入狀態(tài)。競(jìng)爭(zhēng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示2023/2/348《人工智能》在競(jìng)爭(zhēng)網(wǎng)絡(luò)中，令tjk為節(jié)點(diǎn)j與節(jié)點(diǎn)k之間的側(cè)抑制連接權(quán)：時(shí)間t＋1時(shí)各節(jié)點(diǎn)的輸出狀態(tài)與時(shí)間t時(shí)的輸出關(guān)系為：其中，然后獲勝單元的權(quán)值進(jìn)行調(diào)整：wij(t+1)=wij(t)+η(sj(t)-wij(t))其中η是學(xué)習(xí)因子，取一個(gè)小正數(shù)。S(t)表示經(jīng)過規(guī)格化以后的輸入向量X(t)。調(diào)整的結(jié)果就是使權(quán)值向量趨向于S(t)。

后學(xué)習(xí)到的記憶內(nèi)容可能會(huì)沖掉原有的學(xué)習(xí)記憶內(nèi)容，從而導(dǎo)致一些錯(cuò)誤。所以簡(jiǎn)單的競(jìng)爭(zhēng)學(xué)習(xí)機(jī)制不能保證記憶有足夠的牢固性。2023/2/349《人工智能》ART模型

為了解決已有記憶被沖掉的矛盾，ART網(wǎng)絡(luò)在競(jìng)爭(zhēng)學(xué)習(xí)機(jī)制的基礎(chǔ)上又加上了由頂向下的自穩(wěn)定機(jī)制。2023/2/350《人工智能》ART工作原理

（1）競(jìng)爭(zhēng)選擇的原理不變。輸出向量的各個(gè)分量中只有一項(xiàng)為1，其余各項(xiàng)為0。（2）對(duì)學(xué)習(xí)算法調(diào)整。首先由輸出向量Y(t)產(chǎn)生一個(gè)自頂向下向量Z(t)：

其中w’是自頂向下的權(quán)重。然后比較Z(t)與規(guī)格化輸入向量S(t)，計(jì)算其相似度θ。根據(jù)θ值的不同情況分別作如下處理：①如果兩個(gè)向量相似度很高，即θ值接近于1，則轉(zhuǎn)入第（3）步。②如果兩個(gè)向量相似度不夠高，即θ值小于某個(gè)閾值，那么就要屏棄掉本次競(jìng)爭(zhēng)的優(yōu)勝者yj，再由其余單元中選出一個(gè)優(yōu)勝者，即返回第（1）步。2023/2/351《人工智能》（3）調(diào)整優(yōu)勝者的權(quán)值。權(quán)值調(diào)整如下，假設(shè)優(yōu)勝端為L(zhǎng)，

上述算法只有當(dāng)新輸入向量與已存入記憶中的某個(gè)老向量足夠相似時(shí)，兩者才能相互融合，即對(duì)相關(guān)權(quán)重進(jìn)行調(diào)整，從而使長(zhǎng)期記憶得以改變。這造成一種自適應(yīng)諧振狀態(tài)。這就是ART的名稱來源。③如果K個(gè)輸出端都搜遍了還不能滿足相似性，則需要增加一個(gè)輸出端，作為一個(gè)新類別。然后轉(zhuǎn)入第（3）步。2023/2/352《人工智能》ART網(wǎng)絡(luò)的特點(diǎn)學(xué)習(xí)和工作是分不開的。學(xué)習(xí)是自治和自組織的，學(xué)習(xí)過程無需教師指導(dǎo)，是一種無監(jiān)督(unsupervised)學(xué)習(xí)。學(xué)習(xí)過程受自頂向下的模式向量指導(dǎo)，因此可以形成“集中注意”的狀態(tài)，即可以有選擇地學(xué)習(xí)，把注意力集中于某些特定的內(nèi)容。權(quán)重的修正只涉及少數(shù)部分，比前饋網(wǎng)絡(luò)有更高的學(xué)習(xí)效率。后者需要調(diào)整所有權(quán)值。可以完全避免陷入局部極小點(diǎn)的問題。2023/2/353《人工智能》4.2

模糊計(jì)算4.2.1模糊邏輯

模糊邏輯是建立在模糊集合理論基礎(chǔ)上的，并以此建立了模糊邏輯推理。已經(jīng)提出了Zadeh法，Baldwin法、Tsukamoto法、Yager法和Mizumoto法等方法，在此僅介紹Zadeh的推理方法。自從Zadeh在近似推理中引入復(fù)合推理規(guī)則以來，已經(jīng)提出了多種模糊變量的隱含函數(shù)，它們基本上可以分為三類，即模糊合取、模糊析取和模糊蘊(yùn)含。以合取、析取和蘊(yùn)含定義為基礎(chǔ)，利用三角范式和三角協(xié)范式，能夠產(chǎn)生模糊推理中常用的蘊(yùn)涵關(guān)系。

2023/2/354《人工智能》交xy=min(x,y)代數(shù)積xy=xy有界積xy=max{0,x+y-1}并xy=max(x,y)代數(shù)和x+y=x+y-xy有界和xy=min{1,x+y}三角范式用于定義近似推理中的合取，三角協(xié)范式用于定義近似推理中的析取。一個(gè)模糊規(guī)則IFxisATHENyisB，用隱含函數(shù)表示為：AB其中，A和B分別為U和V上的模糊集合，其隸屬函數(shù)分別為A和B，可給出下列三個(gè)定義。三角范式三角協(xié)范式2023/2/355《人工智能》定義（模糊合?。?duì)于所有uU，vV

，模糊合取為：式中，為三角范式的一個(gè)算子。定義（模糊析?。?duì)于所有uU，vV

，模糊析取為：式中，為三角協(xié)范式的一個(gè)算子。2023/2/356《人工智能》定義（模糊蘊(yùn)含）由AB所表示的模糊蘊(yùn)含是定義在UV上的一個(gè)特殊的模糊關(guān)系，其關(guān)系及隸屬函數(shù)為：(1)模糊合取(2)模糊析取(3)模糊蘊(yùn)含(4)命題演算(5)假言推理(6)拒取式推理2023/2/357《人工智能》4.2.2模糊判決方法

在推理得到的模糊集合中取一個(gè)相對(duì)最能代表這個(gè)模糊集合的單值的過程就稱作解模糊或模糊判決。模糊判決可以采用不同的方法：重心法、最大隸屬度方法、加權(quán)平均法、隸屬度限幅元素平均法。下面介紹各種模糊判決方法，并以“水溫適中”為例，說明不同方法的計(jì)算過程。

假設(shè)“水溫適中”的隸書函數(shù)為：

N(xi)=0.33/20+0.67/30+1.0/40+1.0/50+0.75/60+0.5/70+0.25/802023/2/358《人工智能》

所謂重心法就是取模糊隸屬函數(shù)曲線與橫坐標(biāo)軸圍成面積的重心作為代表點(diǎn)。理論上應(yīng)該計(jì)算輸出范圍內(nèi)一系列連續(xù)點(diǎn)的重心，即1、重心法

如：對(duì)于“水溫適中”的例子，可求得：

u=(200.33+300.67+400.1+500.1+600.75+700.5+800.25)/(0.33+0.67+0.1+0.1+0.75+0.5+0.25)=48.22023/2/359《人工智能》

這種方法最簡(jiǎn)單，只要在推理結(jié)論的模糊集合中取隸屬度最大的那個(gè)元素作為輸出量即可。不過，要求這種情況下其隸屬函數(shù)曲線一定是正規(guī)凸模糊集合（即其曲線只能是單峰曲線）。如果該曲線是梯形平頂?shù)?，那么具有最大隸屬度的元素就可能不止一個(gè)，這時(shí)就要對(duì)所有取最大隸屬度的元素求其平均值。舉例：對(duì)于“水溫適中”，按最大隸屬度原則，有兩個(gè)元素40和50具有最大隸屬度1.0，那就要對(duì)所有取最大隸屬度的元素40和50求平均值，執(zhí)行量應(yīng)?。?/p>

umax=(40+50)/2=452、最大隸屬度法2023/2/360《人工智能》

系數(shù)加權(quán)平均法的輸出執(zhí)行量由下式?jīng)Q定

：3、加權(quán)系數(shù)法

式中，系數(shù)ki的選擇要根據(jù)實(shí)際情況而定，不同的系統(tǒng)就決定系統(tǒng)有不同的響應(yīng)特性。當(dāng)該系數(shù)選擇ki=N(xi)時(shí)，即取其隸屬函數(shù)時(shí)，這就是重心法。在模糊邏輯控制中，可以通過選擇和調(diào)整該系數(shù)來改善系統(tǒng)的響應(yīng)特性。4、隸屬度限幅元素平均法用所確定的隸屬度值α對(duì)隸屬度函數(shù)曲線進(jìn)行切割，再對(duì)切割后等于該隸屬度的所有元素進(jìn)行平均，用這個(gè)平均值作為輸出執(zhí)行量，這種方法就稱為隸屬度限幅元素平均法。2023/2/361《人工智能》4.2.3模糊邏輯與神經(jīng)網(wǎng)絡(luò)的集成

模糊邏輯和神經(jīng)網(wǎng)絡(luò)已在理論和應(yīng)用方面得到獨(dú)立發(fā)展，然而近年來，人們把注意力集中到模糊邏輯與神經(jīng)網(wǎng)絡(luò)的集成上，以期克服各自的缺點(diǎn)。為此我們對(duì)模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)系統(tǒng)進(jìn)行比較。技術(shù)模糊系統(tǒng)神經(jīng)網(wǎng)絡(luò)知識(shí)獲取人類專家（交互）采樣數(shù)據(jù)集合（算法）不確定性定量與定性（決策）定量（感知）推理方法啟發(fā)式搜索（低效）并行計(jì)算（高速）適應(yīng)能力低高（調(diào)整連接權(quán)值）模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)的比較2023/2/362《人工智能》

把模糊邏輯與神經(jīng)網(wǎng)絡(luò)集成起來，就形成了一種新的研究領(lǐng)域，即模糊神經(jīng)網(wǎng)絡(luò)(FNN)。實(shí)現(xiàn)這種組合的方法基本上可分為兩種：尋求模糊推理算法與神經(jīng)網(wǎng)絡(luò)示例之間的功能映射找到一種從模糊推理系統(tǒng)到一類神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)映射1、模糊神經(jīng)網(wǎng)絡(luò)的原理（1）FNN的概念與結(jié)構(gòu)定義（正則模糊神經(jīng)網(wǎng)絡(luò)RFNN）RFNN為一個(gè)具有模糊信號(hào)和(或)模糊權(quán)值得神經(jīng)網(wǎng)絡(luò)?？煞譃槿悾矗孩貴NN1具有實(shí)數(shù)輸入信號(hào)和模糊權(quán)值；②FNN2具有模糊輸入信號(hào)和實(shí)數(shù)權(quán)值；③FNN3具有模糊輸入信號(hào)和模糊權(quán)值。2023/2/363《人工智能》定義（混合模糊神經(jīng)網(wǎng)絡(luò)HFNN）HFNN是另一類FNN，它組合模糊信號(hào)和神經(jīng)網(wǎng)絡(luò)權(quán)值，應(yīng)用加、乘等操作獲得神經(jīng)網(wǎng)絡(luò)輸入。下面以FNN3為例，說明模糊神經(jīng)網(wǎng)絡(luò)的內(nèi)部計(jì)算：

設(shè)FNN3具有如圖所示的結(jié)構(gòu)。則：W21W2kW2KW1kX2X1VKVkYV1……1kK211W11圖：神經(jīng)網(wǎng)絡(luò)FNN3X1,X2為模糊信號(hào)輸入(表示為模糊集)，權(quán)值為模糊權(quán)值。K個(gè)隱含神經(jīng)元的輸入為：Ik=X1W1k+X2W2k

，k=1,2,…,K而K個(gè)隱含神經(jīng)元的輸出為：

Zk=f(Ik)，k=1,2,…,K則整個(gè)網(wǎng)絡(luò)的輸入輸出為：IO=Z1V1+Z2V2+…+ZKVK

Yk=f(IO)，k=1,2,…,K式中，使用了正則模糊運(yùn)算。2023/2/364《人工智能》（2）FNN的學(xué)習(xí)算法

對(duì)于正則FNN，學(xué)習(xí)算法主要分為監(jiān)督式學(xué)習(xí)和非監(jiān)督式學(xué)習(xí)。主要的學(xué)習(xí)算法有如下幾種。①模糊反向傳播算法設(shè)訓(xùn)練集合為(Xl,Tl)，1lL，Xl為輸入，Tl為期望輸出。對(duì)于Xl的實(shí)際輸出為Yl。則使誤差測(cè)量為最小。然后對(duì)反向傳播中的標(biāo)準(zhǔn)δ規(guī)則進(jìn)行模糊化，并用于更新權(quán)值。不過這個(gè)算法的收斂性還是一個(gè)值得研究的問題。2023/2/365《人工智能》

②基于α切割的反向傳播算法為了改進(jìn)模糊反向傳播的性能，可以對(duì)模糊權(quán)值進(jìn)行α切割，以提高傳播效率。模糊集合A的α切割定義為：

A[α]={x|μA(x)α},0<α1

③遺傳算法遺傳算法是一種優(yōu)化算法。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程本質(zhì)上是對(duì)權(quán)值進(jìn)行調(diào)整，使得誤差測(cè)量最小。許多優(yōu)化算法廣泛應(yīng)用于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中。

④其它學(xué)習(xí)算法如，模糊混沌、粒子群算法、蟻群算法都可用于模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中。2023/2/366《人工智能》（3）FNN的逼近能力已經(jīng)證明，正則前饋多層神經(jīng)網(wǎng)絡(luò)具有高度逼近非線性函數(shù)的能力。對(duì)于模糊神經(jīng)網(wǎng)絡(luò)人們也進(jìn)行了大量研究。已得出結(jié)論，給予模糊運(yùn)算和擴(kuò)展原理的RFNN不可能成為通用近似器，HFNN因無需標(biāo)準(zhǔn)模糊運(yùn)算為基礎(chǔ)，而能夠成為通用逼近器。這些結(jié)論對(duì)建立FNN控制器可能是有用的。2023/2/367《人工智能》4.3

粗糙集理論

粗糙集(RoughSet--RS)理論是由波蘭數(shù)學(xué)家帕夫拉克(Pawlak)于1982年提出的，是一種處理不精確、不確定和不完全數(shù)據(jù)的新的數(shù)學(xué)計(jì)算理論，能夠有效處理各種不確定信息，并從中發(fā)現(xiàn)隱含在數(shù)據(jù)中的知識(shí)，揭示事務(wù)和事件的內(nèi)在規(guī)律。粗糙集理論與其它處理不確定或不精確問題的理論的最顯著的區(qū)別在于，它不需要提供處理該問題所需的數(shù)據(jù)集合之外的任何先驗(yàn)信息，對(duì)問題的不確定性描述或處理比較客觀。由于粗糙集理論在數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)與知識(shí)發(fā)現(xiàn)及決策分析等方面得到了廣泛的應(yīng)用，對(duì)它的研究也成為了一個(gè)熱點(diǎn)。2023/2/368《人工智能》4.3.1粗糙集理論的基本概念和特點(diǎn)

粗糙集理論建立在分類機(jī)制的基礎(chǔ)上，把分類理解為特定空間的等價(jià)關(guān)系。粗糙集理論把知識(shí)理解為對(duì)數(shù)據(jù)的劃分，而每個(gè)被劃分的集合稱為概念。對(duì)于一個(gè)領(lǐng)域內(nèi)的知識(shí)，粗糙集使用屬性及其值來描述領(lǐng)域內(nèi)的對(duì)象，各個(gè)屬性不同的取值就構(gòu)成了空間對(duì)象的一簇等價(jià)關(guān)系。如果兩個(gè)物體同屬于某個(gè)集合，則它們之間是不可分辨關(guān)系。2023/2/369《人工智能》

設(shè)U非空有限論域，R為U上的二元關(guān)系，則：稱R為不可分辨關(guān)系；序?qū)=(U,R)稱為近似空間；(x,y)U×U，若(x,y)R，則稱對(duì)象在近似空間A中是不可分辨的；U/R是U上由R生成的等價(jià)類全體，它構(gòu)成了U的一個(gè)劃分。U/R中的集合稱為基本集或原子集；若將U中的集合稱為概念或知識(shí)，則A=(U,R)稱為知識(shí)庫(kù)，原子集表示基本概念或只是模塊；任意有限的基本集的并和空集均稱為可定義集，也稱為精確集，否則稱為不可定義集。1、粗糙集理論的基本概念2023/2/370《人工智能》粗糙集不需要先驗(yàn)信息

不像模糊集和概率，粗糙集分析方法僅利用數(shù)據(jù)本身提供的信息，不需要任何先驗(yàn)知識(shí)。粗糙集理論是一個(gè)強(qiáng)大的數(shù)據(jù)分析工具

表達(dá)和處理不完備信息、對(duì)數(shù)據(jù)進(jìn)行約簡(jiǎn)、識(shí)別評(píng)估數(shù)據(jù)之間的關(guān)系、獲取規(guī)則。粗糙集與模糊集描述了不完備信息的兩個(gè)方面

模糊集合基于元素對(duì)集合的隸屬程度的不同，強(qiáng)調(diào)集合本身的含混性。粗糙集基于不可分辨的關(guān)系，側(cè)重分類。從粗糙集的觀點(diǎn)看，不能清晰定義的原因是缺乏足夠的領(lǐng)域知識(shí)，但可以用一對(duì)清晰集合逼近。2、粗糙集理論的特點(diǎn)2023/2/371《人工智能》

對(duì)于論域U上任意一個(gè)子集X，X不一定能用知識(shí)庫(kù)中的知識(shí)來精確描述，即X可能為不可定義集，這時(shí)就用A的一對(duì)下近似aprX和上近似aprX來“近似”地描述。定義（下近似與上近似）下近似與上近似的定義如下：

X的下近似是由那些根據(jù)已有知識(shí)判斷肯定屬于X的對(duì)象所組成的最大集合，也稱為X關(guān)于A的正域，記為POS(X)。

X的上近似是由那些根據(jù)已有知識(shí)判斷可能屬于X的對(duì)象所組成的最小集合。

由根據(jù)已有知識(shí)判斷肯定不屬于X的對(duì)象組成的集合稱為X關(guān)于A的負(fù)域，記作NEG(X)。顯然有

2023/2/372《人工智能》

X的邊界域BN(X)定義為：如果BN(X)

=Φ，則稱X關(guān)于R是清晰的；如果BN(X)≠Φ，則稱集合X為關(guān)于R的粗糙集(roughset)。

以上有關(guān)粗糙集的概念如下圖所示。

NEG(X)POS(X)BN(X)U/R

aprXX2023/2/373《人工智能》定義：X關(guān)于A的近似質(zhì)量定義為：其中|X|表示集合X的元素個(gè)數(shù)。近似質(zhì)量反映了知識(shí)X在知識(shí)庫(kù)部分現(xiàn)有知識(shí)的百分比。定義：X關(guān)于A的近似精度定義為：近似精度反映了根據(jù)現(xiàn)有知識(shí)對(duì)X的了解程度。定義：X關(guān)于A的粗糙性測(cè)度定義為：粗糙性測(cè)度反映了知識(shí)的不完全程度。2023/2/374《人工智能》4.3.2粗糙集理論的數(shù)據(jù)和決策表約簡(jiǎn)

粗糙集理論中的知識(shí)表達(dá)方式一般采用信息表或稱為信息系統(tǒng)的形式,它可以表示為四元有序組K