人工智能章計(jì)算智能

1、人工智能章計(jì)算智能第1頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日4.1.1 什么是計(jì)算智能概念解釋 計(jì)算智能（Computational Intelligence，CI）目前還沒(méi)有一個(gè)統(tǒng)一的的定義，使用較多的是美國(guó)科學(xué)家貝慈德克（J.C.Bezdek）從計(jì)算智能系統(tǒng)角度所給出的定義。 從計(jì)算智能系統(tǒng)角度 如果一個(gè)系統(tǒng)僅處理低層的數(shù)值數(shù)據(jù)，含有模式識(shí)別部件，沒(méi)有使用人工智能意義上的知識(shí)，且具有計(jì)算適應(yīng)性、計(jì)算容錯(cuò)力、接近人的計(jì)算速度和近似于人的誤差率這4個(gè)特性，則它是計(jì)算智能的。 從學(xué)科范疇看 計(jì)算智能是在神經(jīng)網(wǎng)絡(luò)（Neural Networks,NN）、進(jìn)化計(jì)算（Evolut

2、ionary Computation, EC）及模糊系統(tǒng)（Fuzzy System,FS）這3個(gè)領(lǐng)域發(fā)展相對(duì)成熟的基礎(chǔ)上形成的一個(gè)統(tǒng)一的學(xué)科概念。2第2頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日4.1.1 什么是計(jì)算智能 研究領(lǐng)域神經(jīng)網(wǎng)絡(luò) 是一種對(duì)人類(lèi)智能的結(jié)構(gòu)模擬方法，它是通過(guò)對(duì)大量人工神經(jīng)元的廣泛并行互聯(lián)，構(gòu)造人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)去模擬生物神經(jīng)系統(tǒng)的智能機(jī)理的。進(jìn)化計(jì)算 是一種對(duì)人類(lèi)智能的演化模擬方法，它是通過(guò)對(duì)生物遺傳和演化過(guò)程的認(rèn)識(shí)，用進(jìn)化算法去模擬人類(lèi)智能的進(jìn)化規(guī)律的。模糊計(jì)算 是一種對(duì)人類(lèi)智能的邏輯模擬方法，它是通過(guò)對(duì)人類(lèi)處理模糊現(xiàn)象的認(rèn)知能力的認(rèn)識(shí)，用模糊邏輯去模擬

3、人類(lèi)的智能行為的。 綜合解釋 從貝慈德克的定義和上述學(xué)科范疇可以看出以下兩點(diǎn)： 第一，計(jì)算智能是借鑒仿生學(xué)的思想，基于生物神經(jīng)系統(tǒng)的結(jié)構(gòu)、進(jìn)化和認(rèn)知對(duì)自然智能進(jìn)行模擬的。 第二，計(jì)算智能是一種以模型（計(jì)算模型、數(shù)學(xué)模型）為基礎(chǔ)，以分布、并行計(jì)算為特征的自然智能模擬方法。 3第3頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日4.1.2 計(jì)算智能的產(chǎn)生與發(fā)展 1992年，貝慈德克在Approximate Reasoning學(xué)報(bào)上首次 提出了“計(jì)算智能”的概念。 1994年6月底到7月初，IEEE在美國(guó)佛羅里達(dá)州的奧蘭多市召開(kāi)了首屆國(guó)際計(jì)算智能大會(huì)(簡(jiǎn)稱(chēng)WCCI94)。會(huì)議第一次將神經(jīng)

4、網(wǎng)絡(luò)、進(jìn)化計(jì)算和模糊系統(tǒng)這三個(gè)領(lǐng)域合并在一起，形成了“計(jì)算智能”這個(gè)統(tǒng)一的學(xué)科范疇。 在此之后，WCCI大會(huì)就成了IEEE的一個(gè)系列性學(xué)術(shù)會(huì)議，每4年舉辦一次。1998年5月，在美國(guó)阿拉斯加州的安克雷奇市又召開(kāi)了第2屆計(jì)算智能?chē)?guó)際會(huì)議WCCI98。2002年5月，在美國(guó)州夏威夷州首府火奴魯魯市又召開(kāi)了第3屆計(jì)算智能?chē)?guó)際會(huì)議WCCI02。此外，IEEE還出版了一些與計(jì)算智能有關(guān)的刊物。 目前，計(jì)算智能的發(fā)展得到了國(guó)內(nèi)外眾多的學(xué)術(shù)組織和研究機(jī)構(gòu)的高度重視，并已成為智能科學(xué)技術(shù)一個(gè)重要的研究領(lǐng)域。4第4頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日4.1.3 計(jì)算智能與人工智能的關(guān)系

5、目前，對(duì)計(jì)算智能與人工智能的關(guān)系有2種觀點(diǎn)，一種認(rèn)為計(jì)算智能是人工智能的一個(gè)子集，另一種認(rèn)為計(jì)算智能和人工智能是不同的范疇。 第一種觀點(diǎn)的代表人物是貝慈德克。他把智能（Intelligence，I）和神經(jīng)網(wǎng)絡(luò)（Neural Network，NN）都分為計(jì)算的（Computational，C）、人工的（Artificial，A）和生物的（Biological,B）3個(gè)層次，并以模式識(shí)別（PR）為例，給出了下圖所示的智能的層次結(jié)構(gòu)。 在該圖中，底層是計(jì)算智能（CI），它通過(guò)數(shù)值計(jì)算來(lái)實(shí)現(xiàn)，其基礎(chǔ)是CNN；中間層是人工智能（AI），它通過(guò)人造的符號(hào)系統(tǒng)實(shí)現(xiàn)，其基礎(chǔ)是ANN；頂層是生物智能（BI），它

6、通過(guò)生物神經(jīng)系統(tǒng)來(lái)實(shí)現(xiàn)，其基礎(chǔ)是BNN。 按照貝慈德克的觀點(diǎn)，CNN是指按生物激勵(lì)模型構(gòu)造的NN，ANN是指CNN+知識(shí)，BNN是指人腦，即ANN包含了CNN，BNN又包含了ANN。對(duì)智能也一樣，貝慈德克認(rèn)為AI包含了CI，BI又包含了AI，即計(jì)算智能是人工智能的一個(gè)子集。5第5頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日CNNCPRCIANNAPRAIBNNBPRBI人類(lèi)知識(shí)(+)傳感輸入知識(shí)(+)傳感數(shù)據(jù)計(jì)算(+)傳感器B生物的A符號(hào)的C數(shù)值的復(fù)雜性復(fù)雜性輸入層次 貝慈德克的智能的3個(gè)層次4.1.3 計(jì)算智能與人工智能的關(guān)系6第6頁(yè)，共111頁(yè)，2022年，5月20日，10

7、點(diǎn)59分，星期日 第二種觀點(diǎn)是大多數(shù)學(xué)者所持有的觀點(diǎn)，其代表人物是艾伯哈特（R.C.Eberhart）。他們認(rèn)為：雖然人工智能與計(jì)算智能之間有重合，但計(jì)算智能是一個(gè)全新的學(xué)科領(lǐng)域，無(wú)論是生物智能還是機(jī)器智能，計(jì)算智能都是其最核心的部分，而人工智能則是外層。 事實(shí)上，CI和傳統(tǒng)的AI只是智能的兩個(gè)不同層次，各自都有自身的優(yōu)勢(shì)和局限性，相互之間只應(yīng)該互補(bǔ)，而不能取代。 大量實(shí)踐證明，只有把AI和CI很好地結(jié)合起來(lái)，才能更好地模擬人類(lèi)智能，才是智能科學(xué)技術(shù)發(fā)展的正確方向。4.1.3 計(jì)算智能與人工智能的關(guān)系7第7頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 4.1 概述 4.2 神經(jīng)

8、計(jì)算 4.2.1 神經(jīng)計(jì)算基礎(chǔ) 4.2.2 人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu) 4.2.3 人工神經(jīng)網(wǎng)絡(luò)的典型模型 4.3 進(jìn)化計(jì)算 4.4 模糊計(jì)算 4.5 粗糙集第4章 計(jì)算智能 神經(jīng)計(jì)算或叫神經(jīng)網(wǎng)絡(luò)，是計(jì)算智能的重要基礎(chǔ)和核心。 基于神經(jīng)網(wǎng)絡(luò)的連接學(xué)習(xí)機(jī)制放到機(jī)器學(xué)習(xí)部分討論。 8第8頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日4.2.1 神經(jīng)計(jì)算基礎(chǔ) 生物神經(jīng)系統(tǒng)是人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。人工神經(jīng)網(wǎng)絡(luò)是對(duì)人腦神經(jīng)系統(tǒng)的簡(jiǎn)化、抽象和模擬，具有人腦功能的許多基本特征。 1. 生物神經(jīng)系統(tǒng)簡(jiǎn)介 (1) 生物神經(jīng)元的結(jié)構(gòu) (2) 生物神經(jīng)細(xì)胞及工作方式 (3) 突觸聯(lián)結(jié) (4) 突觸傳遞方式2

9、. 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9第9頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日結(jié)構(gòu)： 胞體 軸突 樹(shù)突 突觸長(zhǎng)度： 最長(zhǎng)1米狀態(tài)： 抑制 興奮細(xì)胞體軸突樹(shù)突突觸1. 生物神經(jīng)系統(tǒng)簡(jiǎn)介生物神經(jīng)元的結(jié)構(gòu)10第10頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日細(xì)胞結(jié)構(gòu) 細(xì)胞膜，細(xì)胞質(zhì)，細(xì)胞核神經(jīng)遞質(zhì)傳遞 乙酰膽堿、兒茶酚胺類(lèi)、氨基酸等信號(hào)跨膜轉(zhuǎn)導(dǎo) 離子通道基本狀態(tài)： 抑制：-70毫伏 興奮：+40 毫伏靜息膜電位： -70毫伏動(dòng)作電位： +40 毫伏工作方式： 刺激疊加 瞬間沖動(dòng)細(xì)胞膜細(xì)胞質(zhì)細(xì)胞核1. 生物神經(jīng)系統(tǒng)簡(jiǎn)介神經(jīng)細(xì)胞及工作方式11第11頁(yè)，共111頁(yè)，2022年，5月

10、20日，10點(diǎn)59分，星期日1. 生物神經(jīng)系統(tǒng)簡(jiǎn)介突觸聯(lián)結(jié)方式12第12頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日1. 生物神經(jīng)系統(tǒng)簡(jiǎn)介突觸傳導(dǎo)突觸后膜突觸間隙突觸前膜神經(jīng)微管線粒體突觸小泡存儲(chǔ)顆粒 突觸傳導(dǎo)由電變化和化學(xué)變化兩個(gè)過(guò)程完成。 當(dāng)一個(gè)神經(jīng)沖動(dòng)傳到神經(jīng)末梢時(shí)，促使小泡前移與突觸前膜融合，并在融合處出現(xiàn)裂口，使其所含神經(jīng)遞質(zhì)釋放，釋放出來(lái)的神經(jīng)遞質(zhì)通過(guò)突觸前膜的張口進(jìn)入突出間隙。 進(jìn)入突觸間隙的神經(jīng)遞質(zhì)又迅速作用于突觸后膜，改變突觸后膜的通透性，引起突觸后成分中的電位變化，實(shí)現(xiàn)神經(jīng)沖動(dòng)的傳遞。 由于神經(jīng)末梢所釋放的遞質(zhì)不同（興奮作用和抑制作用），因此突觸可分為興奮性

11、突觸和抑制性突觸。13第13頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日4.2.1 神經(jīng)計(jì)算基礎(chǔ) 生物神經(jīng)系統(tǒng)是人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。人工神經(jīng)網(wǎng)絡(luò)是對(duì)人腦神經(jīng)系統(tǒng)的簡(jiǎn)化、抽象和模擬，具有人腦功能的許多基本特征。 1. 生物神經(jīng)系統(tǒng)簡(jiǎn)介2. 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 (1) 人工神經(jīng)元的結(jié)構(gòu) (2) 常用的人工神經(jīng)元模型 (3) 人工神經(jīng)網(wǎng)絡(luò)及其分類(lèi) 14第14頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日x1x2xnw1w2wny MP模型是美國(guó)心理學(xué)家麥克洛奇(W.McM ulloch)和數(shù)理邏輯學(xué)家皮茨(W.Pitts) 根據(jù)生物神經(jīng)元的功能和結(jié)構(gòu)，于1943年提出的一

12、種將神經(jīng)元看作二進(jìn)制閾值元件的簡(jiǎn)單模型。 圖中的x1, x2, ,xn表示某一神經(jīng)元的n個(gè)輸入；wi表示第i個(gè)輸入的連接強(qiáng)度，稱(chēng)為連接權(quán)值；為神經(jīng)元的閾值；y為神經(jīng)元的輸出。2. 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人工神經(jīng)元的結(jié)構(gòu)圖4.3 MP神經(jīng)元模型 人工神經(jīng)元是一個(gè)具有多輸入，單輸出的非線性器件。其輸入為： 其輸出為：15第15頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 根據(jù)功能函數(shù)的不同，可得不同的神經(jīng)元模型。閾值型(Threshold) 這種模型的神經(jīng)元沒(méi)有內(nèi)部狀態(tài)，作用函數(shù)f是一個(gè)階躍函數(shù)，他表示激活值和輸出之間的關(guān)系。分段線性強(qiáng)飽和型(Linear Saturation) 這種模

13、型又稱(chēng)為偽線性，其輸入/輸出之間在一定范圍內(nèi)滿(mǎn)足線性關(guān)系，一直延續(xù)到輸出為最大值1為止。但當(dāng)達(dá)到最大值后，輸出就不再增。S型(Sibmoid) 這是一種連續(xù)的神經(jīng)元模型，其輸入輸出特性常用指數(shù)、對(duì)數(shù)或雙曲正切等S型函數(shù)表示。它反映的是神經(jīng)元的飽和特性.子閾累積型(Subthreshold Summation) 也是一個(gè)非線性函數(shù)，當(dāng)產(chǎn)生的激活值超過(guò)T值時(shí)，該神經(jīng)元被激活產(chǎn)生個(gè)反響。在線性范圍內(nèi)，系統(tǒng)的反響是線性的。f()1T12. 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介常用的人工神經(jīng)元模型f()100f()10f()016第16頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 人工神經(jīng)網(wǎng)絡(luò)是一種對(duì)人工神

14、經(jīng)元進(jìn)行互聯(lián)所形成的網(wǎng)絡(luò)，它是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模擬。反映的是神經(jīng)元的飽和特性.2. 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)及其分類(lèi)人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的分類(lèi)按學(xué)習(xí)方法前饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)按拓?fù)浣Y(jié)構(gòu)有導(dǎo)師指導(dǎo)無(wú)導(dǎo)師指導(dǎo)按網(wǎng)絡(luò)性能連續(xù)型網(wǎng)絡(luò)離散型網(wǎng)絡(luò)17第17頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日4.2.2 人工神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)（或稱(chēng)拓?fù)浣Y(jié)構(gòu)）是指單個(gè)神經(jīng)元之間的連接模式，它是構(gòu)造神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，也是神經(jīng)網(wǎng)絡(luò)誘發(fā)偏差的主要來(lái)源。從互連結(jié)構(gòu)的角度：1. 前饋網(wǎng)絡(luò)2. 反饋網(wǎng)絡(luò)單層前饋網(wǎng)絡(luò) 多層前饋網(wǎng)絡(luò) 單層反饋網(wǎng)絡(luò)多層反饋網(wǎng)絡(luò)僅含輸入層和輸出層，且只有輸出

15、層的神經(jīng)元是可計(jì)算節(jié)點(diǎn) 除擁有輸入、輸出層外，還至少含有一個(gè)、或更多個(gè)隱含層的前向網(wǎng)絡(luò) 指不擁有隱含層的反饋網(wǎng)絡(luò) 指擁有隱含層的反饋網(wǎng)絡(luò) （可含有反饋聯(lián)結(jié)）（只包含前向聯(lián)結(jié)） 18第18頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 單層前饋網(wǎng)絡(luò)是指那種只擁有單層計(jì)算節(jié)點(diǎn)的前向網(wǎng)絡(luò)。它僅含有輸入層和輸出層，且只有輸出層的神經(jīng)元是可計(jì)算節(jié)點(diǎn)，如下圖所示x1X2X3xny1Y2ym權(quán)值wij輸出層輸入層圖4.8 單層前饋網(wǎng)絡(luò)結(jié)構(gòu)1. 前饋網(wǎng)絡(luò)單層前饋網(wǎng)絡(luò)(1/3) 其中，輸入向量為X=(x1,x2,xn)；輸出向量為Y=(y1,y2,ym)；輸入層各個(gè)輸入到相應(yīng)神經(jīng)元的連接權(quán)值分別是

16、wij，i=1,2,.,n，j=1,2,., m。19第19頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 若假設(shè)各神經(jīng)元的閾值分別是j，j=1,2,m，則各神經(jīng)元的輸出yj, j=1,2,.,m分別為：1. 前饋網(wǎng)絡(luò)單層前饋網(wǎng)絡(luò)(2/3)其中，由所有連接權(quán)值wij構(gòu)成的連接權(quán)值矩陣W為： 在實(shí)際應(yīng)用中，該矩陣是通過(guò)大量的訓(xùn)練示例學(xué)習(xí)而形成的。20第20頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 多層前饋網(wǎng)絡(luò)是指那種除擁有輸入、輸出層外，還至少含有一個(gè)、或更多個(gè)隱含層的前饋網(wǎng)絡(luò)。 隱含層是指由那些既不屬于輸入層又不屬于輸出層的神經(jīng)元所構(gòu)成的處理層,也被稱(chēng)為中間層

17、。隱含層的作用是通過(guò)對(duì)輸入層信號(hào)的加權(quán)處理，將其轉(zhuǎn)移成更能被輸出層接受的形式。 x1X2Xny1Ym隱含層輸出層輸入層圖4.9 多層前饋網(wǎng)絡(luò)結(jié)構(gòu)權(quán)值權(quán)值1. 前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)(3/3) 多層前饋網(wǎng)絡(luò)的輸入層的輸出向量是第一隱含層的輸入信號(hào)，而第一隱含層的輸出則是第二隱含層的輸入信號(hào)，以此類(lèi)推，直到輸出層。 多層前饋網(wǎng)絡(luò)的典型代表是BP網(wǎng)絡(luò)。21第21頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日2. 反饋經(jīng)網(wǎng)絡(luò) 反饋網(wǎng)絡(luò)是指允許采用反饋聯(lián)結(jié)方式所形成的神經(jīng)網(wǎng)絡(luò)。所謂反饋聯(lián)結(jié)方式是指一個(gè)神經(jīng)元的輸出可以被反饋至同層或前層的神經(jīng)元。 反饋網(wǎng)絡(luò)和前向網(wǎng)絡(luò)不同： 前向網(wǎng)絡(luò)屬于非循環(huán)連

18、接模式，它的每個(gè)神經(jīng)元的輸入都沒(méi)有包含該神經(jīng)元先前的輸出，因此不具有“短期記憶”的性質(zhì)。 反饋網(wǎng)絡(luò)則不同，它的每個(gè)神經(jīng)元的輸入都有可能包含有該神經(jīng)元先前輸出的反饋信息，即一個(gè)神經(jīng)元的輸出是由該神經(jīng)元當(dāng)前的輸入和先前的輸出這兩者來(lái)決定的，這就有點(diǎn)類(lèi)似于人類(lèi)的短期記憶的性質(zhì)。 反饋網(wǎng)絡(luò)的典型例子是后面將要介紹的Hopfield網(wǎng)絡(luò) 22第22頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日人工神經(jīng)網(wǎng)絡(luò)模型 人工神經(jīng)網(wǎng)絡(luò)模型是指對(duì)網(wǎng)絡(luò)結(jié)構(gòu)、聯(lián)結(jié)權(quán)值和學(xué)習(xí)能力的總括。常用的網(wǎng)絡(luò)模型已有數(shù)十種。例如： 傳統(tǒng)的感知機(jī)模型；具有誤差反向傳播功能的反向傳播網(wǎng)絡(luò)模型；采用多變量插值的徑向基函數(shù)網(wǎng)絡(luò)模

19、型；建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的支撐向量機(jī)網(wǎng)絡(luò)模型；采用反饋聯(lián)接方式的反饋網(wǎng)絡(luò)模型；基于模擬退火算法的隨機(jī)網(wǎng)絡(luò)模型。重點(diǎn)討論 1. 感知器（Perceptron）模型 2. 反向傳播（BP）模型 3. 反饋網(wǎng)絡(luò)（Hopfield）模型4.2.3 人工神經(jīng)網(wǎng)絡(luò)的典型模型23第23頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 感知器是美國(guó)學(xué)者羅森勃拉特（Rosenblatt）于1957年為研究大腦的存儲(chǔ)、學(xué)習(xí)和認(rèn)知過(guò)程而提出的一類(lèi)具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型，其拓?fù)浣Y(jié)構(gòu)是一種分層前向網(wǎng)絡(luò)。它包括：?jiǎn)螌痈兄骱投鄬痈兄鳌?單層感知器是一種只具有單層可調(diào)節(jié)連接權(quán)值神經(jīng)元的前向網(wǎng)絡(luò)，這些

20、神經(jīng)元構(gòu)成了單層感知器的輸出層，是感知器的可計(jì)算節(jié)點(diǎn)。 在單層感知器中，每個(gè)可計(jì)算節(jié)點(diǎn)都是一個(gè)線性閾值神經(jīng)元。當(dāng)輸入信息的加權(quán)和大于或等于閾值時(shí)，輸出為1，否則輸出為0或-1。 單層感知器的輸出層的每個(gè)神經(jīng)元都只有一個(gè)輸出，且該輸出僅與本神經(jīng)元的輸入及聯(lián)接權(quán)值有關(guān)，而與其他神經(jīng)元無(wú)關(guān)。1. 感知器模型單層 感知器(1/7)24第24頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日單層感知器的結(jié)構(gòu)如下圖x1x2xny1ym輸入層輸出層權(quán)值 wij輸入向量為X=(x1,x2,xn)；輸出向量為Y=(y1,y2,ym)；輸入層各個(gè)輸入到相應(yīng)神經(jīng)元的連接權(quán)值分別是wij，i=1,2,.,n

21、，j=1,2,., m。 若假設(shè)各神經(jīng)元的閾值分別是j，j=1,2,m，則各神經(jīng)元的輸出yj, j=1,2,.,m分別為 其中，由所有連接權(quán)值wji構(gòu)成的連接權(quán)值矩陣W為： 在實(shí)際應(yīng)用中，該矩陣是通過(guò)大量的訓(xùn)練示例學(xué)習(xí)而形成的1. 感知器模型單層感知器(2/7)25第25頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 使用感知器的主要目的是為了對(duì)外部輸入進(jìn)行分類(lèi)。 羅森勃拉特已經(jīng)證明，如果外部輸入是線性可分的（指存在一個(gè)超平面可以將它們分開(kāi)），則單層感知器一定能夠把它劃分為兩類(lèi)。其判別超平面由如下判別式確定：1.感知器模型單層感知器(3/7) 作為例子，下面討論用單個(gè)感知器實(shí)現(xiàn)邏

22、輯運(yùn)算的問(wèn)題。事實(shí)上，單層感知器可以很好地實(shí)現(xiàn)“與”、“或”、“非”運(yùn)算，但卻不能解決“異或”問(wèn)題。26第26頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日例4.1 “與”運(yùn)算（x1x2）(0,0)(1,1)(0,1)(1,0)圖4.10 與運(yùn)算問(wèn)題圖示輸入輸出超平面閾值條件x1x2x1x2w1*x1+ w2* x2-=0 000w1*0+ w2*0 -0 0 010w1*0+ w2*1 -0 w2 100w1*1+ w2*0 -0 w1 111w1*1+ w2*1-0 w1+ w2 可以證明此表有解，例如取w1=1，w2=1，=1.5，其分類(lèi)結(jié)果如右圖所示。 其中，輸出為1的用

23、實(shí)心圓，輸出為0的用空心圓。后面約定相同。1. 感知器模型單層感知器(4/7)27第27頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日例4.2 “或”運(yùn)算（x1x2）輸入輸出超平面閾值條件x1x2x1x2w1*x1+ w2* x2-=0 000w1*0+ w2*0 -0 0 011w1*0+ w2*1 -0 w2 101w1*1+ w2*0 -0 w1 111w1*1+ w2*1-0 w1+ w2 此表也有解，例如取w1=1，w2=1，=0.5，其分類(lèi)結(jié)果如右圖所示。(0,1)(0,0)(1,0)圖4.11 或運(yùn)算問(wèn)題圖示(1,1)1. 感知器模型單層感知器(5/7)28第28頁(yè)

24、，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日例4.3 “非”運(yùn)算（x1）輸入輸出超平面閾值條件x1x1w1*x1-=0 01w1*0 - 0 0 10w1*1 w1 此表也有解，例如取w1=-1，=-0.5，其分類(lèi)結(jié)果如右圖所示。 圖4.12 非運(yùn)算問(wèn)題圖示011. 感知器模型單層感知器(6/7)29第29頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日例4.4 “異或”運(yùn)算（x1 XOR x2）輸入輸出超平面閾值條件x1x2x1 XOR x2w1*x1+ w2* x2-=0 000w1*0+ w2*0 -0 0 011w1*0+ w2*1 -0 w2 101w1*1

25、+ w2*0 -0 w1 110w1*1+ w2*1-w1+ w2 此表無(wú)解，即無(wú)法找到滿(mǎn)足條件的w1、w2和，如右圖所示。因?yàn)楫惢騿?wèn)題是一個(gè)非線性可分問(wèn)題，需要用多層感知器來(lái)解決。(0,1)(0,0)(1,0)圖4.13 異或運(yùn)算問(wèn)題圖示(1,1)1. 感知器模型單層感知器(77)30第30頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 (2) 多層感知器 多層感知器是通過(guò)在單層感知器的輸入、輸出層之間加入一層或多層處理單元所構(gòu)成的。其拓?fù)浣Y(jié)構(gòu)與圖5.9所示的多層前向網(wǎng)絡(luò)相似，差別也在于其計(jì)算節(jié)點(diǎn)的連接權(quán)值是可變的。 多層感知器的輸入與輸出之間是一種高度非線性的映射關(guān)系，如圖4

26、.9所示的多層前向網(wǎng)絡(luò)，若采用多層感知器模型，則該網(wǎng)絡(luò)就是一個(gè)從n維歐氏空間到m維歐氏空間的非線性映射。因此，多層感知器可以實(shí)現(xiàn)非線性可分問(wèn)題的分類(lèi)。例如，對(duì)“異或”運(yùn)算，用圖4.14所示的多層感知器即可解決。 1. 感知器模型多層 感知器(1/2)31第31頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日x11y=x1 XOR x2x1X2x121-1111-1輸入層隱層輸出層權(quán)值權(quán)值圖4.14 “異或”問(wèn)題的多層感知器閾值0.5閾值-1.5閾值1.5(0,1)(0,0)(1,0)圖4.15異或問(wèn)題的解決(1,1) 在圖4.14中，隱層神經(jīng)元x11所確定的直線方程為 它可以識(shí)別一

27、個(gè)半平面。隱層神經(jīng)元x12所確定的直線方程為它也可以識(shí)別一個(gè)半平面。輸出層神經(jīng)元所確定的直線方程為 它相當(dāng)于對(duì)隱層神經(jīng)元x11和x12的輸出作“邏輯與”運(yùn)算，因此可識(shí)別由隱層已識(shí)別的兩個(gè)半平面的交集所構(gòu)成的一個(gè)凸多邊形，如圖4.15所示。1. 感知器模型多層 感知器(2/2)32第32頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 誤差反向傳播(Error Back Propagation)網(wǎng)絡(luò)通常簡(jiǎn)稱(chēng)為BP(Back Propagation)網(wǎng)絡(luò)，是由美國(guó)加州大學(xué)的魯梅爾哈特和麥克萊蘭在研究并行分布式信息處理方法，探索人類(lèi)認(rèn)知微結(jié)構(gòu)的過(guò)程中，于1985年提出的一種網(wǎng)絡(luò)模型。 B

28、P網(wǎng)絡(luò)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是多層前向網(wǎng)絡(luò)，如圖4.16所示。在BP網(wǎng)絡(luò)中，同層節(jié)點(diǎn)之間不存在相互連接，層與層之間多采用全互連方式，且各層的連接權(quán)值可調(diào)。BP網(wǎng)絡(luò)實(shí)現(xiàn)了明斯基的多層網(wǎng)絡(luò)的設(shè)想，是當(dāng)今神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛的一種。 y1y2ymx1x2xn輸出層隱含層輸入層權(quán)可調(diào)權(quán)可調(diào)圖4.16 一個(gè)多層BP網(wǎng)絡(luò)的結(jié)構(gòu)2. BP網(wǎng)絡(luò)模型模型結(jié)構(gòu)33第33頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日對(duì)BP網(wǎng)絡(luò)需說(shuō)明以下兩點(diǎn)： 第一，BP網(wǎng)絡(luò)的每個(gè)處理單元均為非線性輸入/輸出關(guān)系，其作用函數(shù)通常采用的是可微的Sigmoid函數(shù)，如：2. BP網(wǎng)絡(luò)模型模型說(shuō)明 第二，BP網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程是由工

29、作信號(hào)的正向傳播和誤差信號(hào)的反向傳播組成的。所謂正向傳播，是指輸入模式經(jīng)隱層到輸出層，最后形成輸出模式；所謂誤差反向傳播，是指從輸出層開(kāi)始逐層將誤差傳到輸入層，并修改各層聯(lián)接權(quán)值，使誤差信號(hào)為最小的過(guò)程。34第34頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 Hopfield網(wǎng)絡(luò)是由美國(guó)加州工學(xué)院物理學(xué)家霍普菲爾特1982年提出來(lái)的一種單層全互連的對(duì)稱(chēng)反饋網(wǎng)絡(luò)模型。它可分為離散Hopfield網(wǎng)絡(luò)和連續(xù)Hopfield網(wǎng)絡(luò)，限于篇幅，本書(shū)重點(diǎn)討論離散Hopfield網(wǎng)絡(luò)。 離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu) 離散Hopfield網(wǎng)絡(luò)是在非線性動(dòng)力學(xué)的基礎(chǔ)上由若干基本神經(jīng)元構(gòu)成的一種

30、單層全互連網(wǎng)絡(luò)，其任意神經(jīng)元之間均有連接，并且是一種對(duì)稱(chēng)連接結(jié)構(gòu)。一個(gè)典型的離散 Hopfidld網(wǎng)絡(luò)結(jié)構(gòu)如圖4-17所示。離散Hopfield網(wǎng)絡(luò)模型是一個(gè)離散時(shí)間系統(tǒng)，每個(gè)神經(jīng)元只有0和1（或-1和1）兩種狀態(tài)，任意神經(jīng)元i和j之間的連接權(quán)值為wij。由于神經(jīng)元之間為對(duì)稱(chēng)連接，且神經(jīng)元自身無(wú)連接，因此有3. Hopfield網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)模型(1/2)由該連接權(quán)值所構(gòu)成的連接矩陣是一個(gè)零對(duì)角的對(duì)稱(chēng)矩陣。35第35頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日?qǐng)D 417 離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)ymY2Y1x1x2xn輸入層輸出層 在 Hopfidld網(wǎng)

31、絡(luò)中，雖然神經(jīng)元自身無(wú)連接，但由于每個(gè)神經(jīng)元都與其他神經(jīng)元相連，即每個(gè)神經(jīng)元的輸出都將通過(guò)突觸連接權(quán)值傳遞給別的神經(jīng)元，同時(shí)每個(gè)神經(jīng)元又都接受其他神經(jīng)元傳來(lái)的信息，這樣對(duì)每個(gè)神經(jīng)元來(lái)說(shuō)，其輸出經(jīng)過(guò)其他神經(jīng)元后又有可能反饋給自己，因此Hopfidld網(wǎng)絡(luò)是一種反饋神經(jīng)網(wǎng)絡(luò) 3. Hopfield網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)模型(2/2)36第36頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 4.1 概述 4.2 神經(jīng)計(jì)算 4.3 進(jìn)化計(jì)算 4.3.1 進(jìn)化計(jì)算概述 4.3.2 遺傳算法 4.4 模糊計(jì)算 4.5 粗糙集第4章 計(jì)算智能37第37頁(yè)，共111頁(yè)，2022年，5月

32、20日，10點(diǎn)59分，星期日 進(jìn)化計(jì)算（Evolutionary Computation,EC）是在達(dá)爾文（Darwin）的進(jìn)化論和孟德?tīng)枺∕endel）的遺傳變異理論的基礎(chǔ)上產(chǎn)生的一種在基因和種群層次上模擬自然界生物進(jìn)化過(guò)程與機(jī)制的問(wèn)題求解技術(shù)。它主要包括 遺傳算法（Genetic Algorithm，GA） 進(jìn)化策略（Evolutionary Strategy,ES） 進(jìn)化規(guī)劃（Evolutionary Programming,EP） 遺傳規(guī)劃（Genetic Programming,GP）四大分支。其中，第一個(gè)分支是進(jìn)化計(jì)算中最初形成的一種具有普遍影響的模擬進(jìn)化優(yōu)化算法。因此我們主要討論

33、遺傳算法。4.3 進(jìn)化計(jì)算38第38頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 進(jìn)化計(jì)算是一種模擬自然界生物進(jìn)化過(guò)程與機(jī)制進(jìn)行問(wèn)題求解的自組織、自適應(yīng)的隨機(jī)搜索技術(shù)。它以達(dá)爾文進(jìn)化論的“物竟天擇、適者生存”作為算法的進(jìn)化規(guī)則，并結(jié)合孟德?tīng)柕倪z傳變異理論，將生物進(jìn)化過(guò)程中的 繁殖（Reproduction） 變異（Mutation） 競(jìng)爭(zhēng)（Competition） 選擇（Selection）引入到了算法中。4.3.1 進(jìn)化計(jì)算概述1. 進(jìn)化計(jì)算及其生物學(xué)基礎(chǔ)(1/3) (1) 什么是進(jìn)化計(jì)算39第39頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日(2) 進(jìn)化計(jì)算的

34、生物學(xué)基礎(chǔ) 自然界生物進(jìn)化過(guò)程是進(jìn)化計(jì)算的生物學(xué)基礎(chǔ)，它主要包括遺傳(Heredity)、變異(Mutation)和進(jìn)化(Evolution)理論。 遺傳理論 遺傳是指父代（或親代）利用遺傳基因?qū)⒆陨淼幕蛐畔鬟f給下一代（或子代），使子代能夠繼承其父代的特征或性狀的這種生命現(xiàn)象。正是由于遺傳的作用，自然界才能有穩(wěn)定的物種。 在自然界，構(gòu)成生物基本結(jié)構(gòu)與功能的單位是細(xì)胞（Cell）。 細(xì)胞中含有一種包含著所有遺傳信息的復(fù)雜而又微小的絲狀化合物，人們稱(chēng)其為染色體（Chromosome）。 在染色體中，遺傳信息由基因（Gene）所組成，基因決定著生物的性狀，是遺傳的基本單位。 染色體的形狀是一種雙

35、螺旋結(jié)構(gòu)，構(gòu)成染色體的主要物質(zhì)叫做脫氧核糖核酸(DNA)，每個(gè)基因都在DNA長(zhǎng)鏈中占有一定的位置。 一個(gè)細(xì)胞中的所有染色體所攜帶的遺傳信息的全體稱(chēng)為一個(gè)基因組(Genome)。 細(xì)胞在分裂過(guò)程中，其遺傳物質(zhì)DNA通過(guò)復(fù)制轉(zhuǎn)移到新生細(xì)胞中，從而實(shí)現(xiàn)了生物的遺傳功能。4.3.1 進(jìn)化計(jì)算概述1. 進(jìn)化計(jì)算及其生物學(xué)基礎(chǔ)(2/3)40第40頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 變異理論 變異是指子代和父代之間，以及子代的各個(gè)不同個(gè)體之間產(chǎn)生差異的現(xiàn)象。變異是一種隨機(jī)、不可逆現(xiàn)象，是生物多樣性的基礎(chǔ)。引起變異的主要原因： 雜交，是指有性生殖生物在繁殖下一代時(shí)兩個(gè)同源染色體之間的

36、交配重組，即兩個(gè)染色體在某一相同處的DNA被切斷后再進(jìn)行交配重組，形成兩個(gè)新的染色體。 復(fù)制差錯(cuò)，是指在細(xì)胞復(fù)制過(guò)程中因DNA上某些基因結(jié)構(gòu)的隨機(jī)改變而產(chǎn)生出新的染色體。 進(jìn)化論 進(jìn)化是指在生物延續(xù)生存過(guò)程中，逐漸適應(yīng)其生存環(huán)境，使得其品質(zhì)不斷得到改良的這種生命現(xiàn)象。遺傳和變異是生物進(jìn)化的兩種基本現(xiàn)象，優(yōu)勝劣汰、適者生存是生物進(jìn)化的基本規(guī)律。 達(dá)爾文的自然選擇學(xué)說(shuō)：在生物進(jìn)化中，一種基因有可能發(fā)生變異而產(chǎn)生出另一種新的基因。這種新基因?qū)⒁罁?jù)其與生存環(huán)境的適應(yīng)性而決定其增殖能力。通常，適應(yīng)性強(qiáng)的基因會(huì)不斷增多，而適應(yīng)性差的基因則會(huì)逐漸減少。通過(guò)這種自然選擇，物種將逐漸向適應(yīng)于生存環(huán)境的方向進(jìn)化，

37、甚至?xí)葑兂蔀榱硪粋€(gè)新的物種，而那些不適應(yīng)于環(huán)境的物種將會(huì)逐漸被淘汰。4.3.1 進(jìn)化計(jì)算概述1. 進(jìn)化計(jì)算及其生物學(xué)基礎(chǔ)(3/3)41第41頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 進(jìn)化計(jì)算自20世紀(jì)50年代以來(lái)，其發(fā)展過(guò)程大致可分為三個(gè)階段。 (1) 萌芽階段 這一階段是從20世紀(jì)50年代后期到70年代中期。20世紀(jì)50年代后期，一些生物學(xué)家在研究如何用計(jì)算機(jī)模擬生物遺傳系統(tǒng)中，產(chǎn)生了遺傳算法的基本思想，并于1962年由美國(guó)密執(zhí)安（Michigan）大學(xué)霍蘭德（Holland）提出。1965年德國(guó)數(shù)學(xué)家雷切伯格（Rechenberg）等人提出了一種只有單個(gè)個(gè)體參與進(jìn)化，

38、并且僅有變異這一種進(jìn)化操作的進(jìn)化策略。同年，美國(guó)學(xué)者弗格爾（Fogel）提出了一種具有多個(gè)個(gè)體和僅有變異一種進(jìn)化操作的進(jìn)化規(guī)劃。1969年美國(guó)密執(zhí)安（Michigan）大學(xué)的霍蘭德（Holland）提出了系統(tǒng)本身和外部環(huán)境相互協(xié)調(diào)的遺傳算法。至此，進(jìn)化計(jì)算的三大分支基本形成。 (2) 成長(zhǎng)階段 這一階段是從20世紀(jì)70年代中期到80年代后期。1975年，霍蘭德出版專(zhuān)著自然和人工系統(tǒng)的適應(yīng)性（Adaptation in Natural and Artificial System），全面介紹了遺傳算法。同年，德國(guó)學(xué)者施韋費(fèi)爾（Schwefel）在其博士論文中提出了一種由多個(gè)個(gè)體組成的群體參與進(jìn)化的

39、，并且包括了變異和重組這兩種進(jìn)化操作的進(jìn)化策略。1989年，霍蘭德的學(xué)生戈?duì)柕虏瘢℅oldberg）博士出版專(zhuān)著遺傳算法-搜索、優(yōu)化及機(jī)器學(xué)習(xí)（Genetic Algorithm-in Search Optimization and Machine Learning），使遺傳算法得到了普及與推廣。4.3.1 進(jìn)化計(jì)算概述2. 進(jìn)化計(jì)算的產(chǎn)生與發(fā)展(1/2)42第42頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 (3) 發(fā)展階段 這一階段是從20世紀(jì)90年代至今。1989年，美國(guó)斯坦福（Stanford）大學(xué)的科扎（Koza）提出了遺傳規(guī)劃的新概念，并于1992年出版了專(zhuān)著遺傳

40、規(guī)劃-應(yīng)用自然選擇法則的計(jì)算機(jī)程序設(shè)計(jì)（Genetic Programming :on the Programming of Computer by Means of Natural Selection）該書(shū)全面介紹了遺傳規(guī)劃的基本原理及應(yīng)用實(shí)例，標(biāo)志著遺傳規(guī)劃作為計(jì)算智能的一個(gè)分支已基本形成。 進(jìn)入20世紀(jì)90年代以來(lái)，進(jìn)化計(jì)算得到了眾多研究機(jī)構(gòu)和學(xué)者的高度重視，新的研究成果不斷出現(xiàn)、應(yīng)用領(lǐng)域不斷擴(kuò)大。目前，進(jìn)化計(jì)算已成為人工智能領(lǐng)域的又一個(gè)新的研究熱點(diǎn)。 4.3.1 進(jìn)化計(jì)算概述2. 進(jìn)化計(jì)算的產(chǎn)生與發(fā)展(2/2)43第43頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 進(jìn)化

41、計(jì)算盡管有多個(gè)重要分支，并且不同分支的編碼方案、選擇策略和進(jìn)化操作也有可能不同，但它們卻有著共同的進(jìn)化框架。若假設(shè)P為種群(Population，或稱(chēng)為群體)，t為進(jìn)化代數(shù)， P(t)為第t代種群 , 則進(jìn)化計(jì)算的基本結(jié)構(gòu)可粗略描述如下： 確定編碼形式并生成搜索空間； 初始化各個(gè)進(jìn)化參數(shù)，并設(shè)置進(jìn)化代數(shù)t=0； 初始化種群P(0); 對(duì)初始種群進(jìn)行評(píng)價(jià)（即適應(yīng)度計(jì)算）； while（不滿(mǎn)足終止條件）do t=t+1; 利用選擇操作從P(t-1)代中選出P(t)代群體； 對(duì)P(t)代種群執(zhí)行進(jìn)化操作； 對(duì)執(zhí)行完進(jìn)化操作后的種群進(jìn)行評(píng)價(jià)（即適應(yīng)度計(jì)算）； 可以看出，上述基本結(jié)構(gòu)包含了生物進(jìn)化中所必

42、需的選擇操作、進(jìn)化操作和適應(yīng)度評(píng)價(jià)等過(guò)程。4.3.1 進(jìn)化計(jì)算概述3. 進(jìn)化計(jì)算的基本結(jié)構(gòu)44第44頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 遺傳算法的基本思想是從初始種群出發(fā)，采用優(yōu)勝劣汰、適者生存的自然法則選擇個(gè)體，并通過(guò)雜交、變異來(lái)產(chǎn)生新一代種群，如此逐代進(jìn)化，直到滿(mǎn)足目標(biāo)為止。遺傳算法所涉及到的基本概念主要有以下幾個(gè)： 種群（Population）：種群是指用遺傳算法求解問(wèn)題時(shí)，初始給定的多個(gè)解的集合。遺傳算法的求解過(guò)程是從這個(gè)子集開(kāi)始的。 個(gè)體（Individual）：個(gè)體是指種群中的單個(gè)元素，它通常由一個(gè)用于描述其基本遺傳結(jié)構(gòu)的數(shù)據(jù)結(jié)構(gòu)來(lái)表示。例如，可以用0、1

43、組成的長(zhǎng)度為l的串來(lái)表示個(gè)體。 染色體（Chromos）：染色體是指對(duì)個(gè)體進(jìn)行編碼后所得到的編碼串。染色體中的每1位稱(chēng)為基因，染色體上由若干個(gè)基因構(gòu)成的一個(gè)有效信息段稱(chēng)為基因組。 適應(yīng)度（Fitness）函數(shù)：適應(yīng)度函數(shù)是一種用來(lái)對(duì)種群中各個(gè)個(gè)體的環(huán)境適應(yīng)性進(jìn)行度量的函數(shù)。其函數(shù)值是遺傳算法實(shí)現(xiàn)優(yōu)勝劣汰的主要依據(jù) 遺傳操作（Genetic Operator）：遺傳操作是指作用于種群而產(chǎn)生新的種群的操作。標(biāo)準(zhǔn)的遺傳操作包括以下3種基本形式： 選擇（Selection） 交叉（Crosssover） 變異（Mutation） 4.3.2 遺傳算法1. 遺傳算法的基本概念45第45頁(yè)，共111頁(yè)，2

44、022年，5月20日，10點(diǎn)59分，星期日 遺傳算法主要由染色體編碼、初始種群設(shè)定、適應(yīng)度函數(shù)設(shè)定、遺傳操作設(shè)計(jì)等幾大部分所組成，其算法主要內(nèi)容和基本步驟可描述如下： (1) 選擇編碼策略，將問(wèn)題搜索空間中每個(gè)可能的點(diǎn)用相應(yīng)的編碼策略表示出來(lái)，即形成染色體； (2) 定義遺傳策略，包括種群規(guī)模N，交叉、變異方法，以及選擇概率Pr、交叉概率Pc、變異概率Pm等遺傳參數(shù)； (3) 令t=0，隨機(jī)選擇N個(gè)染色體初始化種群P(0)； (4) 定義適應(yīng)度函數(shù)f（f0）； (5) 計(jì)算P(t)中每個(gè)染色體的適應(yīng)值； (6) t=t+1； (7) 運(yùn)用選擇算子，從P(t-1)中得到P(t)； (8) 對(duì)P(

45、t)中的每個(gè)染色體，按概率Pc參與交叉； (9) 對(duì)染色體中的基因，以概率Pm參與變異運(yùn)算； (10) 判斷群體性能是否滿(mǎn)足預(yù)先設(shè)定的終止標(biāo)準(zhǔn)，若不滿(mǎn)足則返回(5)。4.3.2 遺傳算法2. 遺傳算法的基本過(guò)程(1/2)46第46頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日計(jì)算種群中各個(gè)個(gè)體的適應(yīng)度，并進(jìn)行評(píng)價(jià)滿(mǎn)足終止條件嗎？終止選擇交叉變異Y圖4-18 基本遺傳算法的算法流程圖編碼和生成初始種群N選擇 其算法流程如圖4-18所示。45.3.2 遺傳算法2. 遺傳算法的基本結(jié)構(gòu)(2/2)47第47頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 常用的遺傳編碼算法有

46、霍蘭德二進(jìn)制碼、格雷碼（Gray Code）、實(shí)數(shù)編碼和字符編碼等。(1)二進(jìn)制編碼（Binary encoding） 二進(jìn)制編碼是將原問(wèn)題的結(jié)構(gòu)變換為染色體的位串結(jié)構(gòu)。在二進(jìn)制編碼中，首先要確定二進(jìn)制字符串的長(zhǎng)度l，該長(zhǎng)度與變量的定義域和所求問(wèn)題的計(jì)算精度有關(guān)。 例5.5 假設(shè)變量x的定義域?yàn)?，10，要求的計(jì)算精度為10-5，則需要將5，10至少分為600000個(gè)等長(zhǎng)小區(qū)間，每個(gè)小區(qū)間用一個(gè)二進(jìn)制串表示。于是，串長(zhǎng)至少等于20，原因是： 524288=219600000220=1048576這樣，對(duì)應(yīng)于區(qū)間5，10內(nèi)滿(mǎn)足精度要求的每個(gè)值x，都可用一個(gè)20位編碼的二進(jìn)制串來(lái)表示。 二進(jìn)制編碼

47、存在的主要缺點(diǎn)是漢明（Hamming）懸崖。 例如，7和8的二進(jìn)制數(shù)分別為0111和1000，當(dāng)算法從7改進(jìn)到8時(shí)，就必須改變所有的位。 4.3.2 遺傳算法3. 遺傳編碼(1/3)48第48頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日4.3.2 遺傳算法3. 遺傳編碼(2/3)(2) 格雷編碼（Gray encoding） 格雷編碼是對(duì)二進(jìn)制編碼進(jìn)行變換后所得到的一種編碼方法。這種編碼方法要求兩個(gè)連續(xù)整數(shù)的編碼之間只能有一個(gè)碼位不同，其余碼位都是完全相同的。它有效地解決了漢明懸崖問(wèn)題，其基本原理如下： 設(shè)有二進(jìn)制串b1,b2,bn，對(duì)應(yīng)的格雷串為a1,a2,an，則從二進(jìn)制編

48、碼到格雷編碼的變換為： (4.9)其中，表示模2加法。而從一個(gè)格雷串到二進(jìn)制串的變換為： (4.10) 例4.6 十進(jìn)制數(shù)7和8的二進(jìn)制編碼分別為0111和1000，而其格雷編碼分別為0100和1100。49第49頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日(3) 實(shí)數(shù)編碼（Real encoding） 實(shí)數(shù)編碼是將每個(gè)個(gè)體的染色體都用某一范圍的一個(gè)實(shí)數(shù)（浮點(diǎn)數(shù)）來(lái)表示，其編碼長(zhǎng)度等于該問(wèn)題變量的個(gè)數(shù)。 這種編碼方法是將問(wèn)題的解空間映射到實(shí)數(shù)空間上，然后在實(shí)數(shù)空間上進(jìn)行遺傳操作。由于實(shí)數(shù)編碼使用的是變量的真實(shí)值，因此這種編碼方法也叫做真值編碼方法。 實(shí)數(shù)編碼適應(yīng)于那種多維、高精

49、度要求的連續(xù)函數(shù)優(yōu)化問(wèn)題。 4.3.2 遺傳算法3. 遺傳編碼(3/3)50第50頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 適應(yīng)度函數(shù)是一個(gè)用于對(duì)個(gè)體的適應(yīng)性進(jìn)行度量的函數(shù)。通常，一個(gè)個(gè)體的適應(yīng)度值越大，它被遺傳到下一代種群中的概率也就越大。(1) 常用的適應(yīng)度函數(shù) 在遺傳算法中，有許多計(jì)算適應(yīng)度的方法，其中最常用的適應(yīng)度函數(shù)有以下兩種： 原始適應(yīng)度函數(shù) 它是直接將待求解問(wèn)題的目標(biāo)函數(shù)f(x)定義為遺傳算法的適應(yīng)度函數(shù)。例如，在求解極值問(wèn)題時(shí)，f(x)即為x的原始適應(yīng)度函數(shù)。 采用原始適應(yīng)度函數(shù)的優(yōu)點(diǎn)是能夠直接反映出待求解問(wèn)題的最初求解目標(biāo)，其缺點(diǎn)是有可能出現(xiàn)適應(yīng)度值為負(fù)的

50、情況。 4.3.2 遺傳算法4. 適應(yīng)度函數(shù)(1/5)51第51頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 標(biāo)準(zhǔn)適應(yīng)度函數(shù) 在遺傳算法中，一般要求適應(yīng)度函數(shù)非負(fù)，并其適應(yīng)度值越大越好。這就往往需要對(duì)原始適應(yīng)函數(shù)進(jìn)行某種變換，將其轉(zhuǎn)換為標(biāo)準(zhǔn)的度量方式，以滿(mǎn)足進(jìn)化操作的要求，這樣所得到的適應(yīng)度函數(shù)被稱(chēng)為標(biāo)準(zhǔn)適應(yīng)度函數(shù)fNormal(x)。例如下面的極小化和極大化問(wèn)題： 極小化問(wèn)題 對(duì)極小化問(wèn)題，其標(biāo)準(zhǔn)適應(yīng)度函數(shù)可定義為 (4.11)其中，fmax (x)是原始適應(yīng)函數(shù)f(x)的一個(gè)上界。如果fmax (x) 未知，則可用當(dāng)前代或到目前為止各演化代中的f(x)的最大值來(lái)代替。可見(jiàn)，

51、 fmax (x) 是會(huì)隨著進(jìn)化代數(shù)的增加而不斷變化的。 4.3.2 遺傳算法4. 適應(yīng)度函數(shù)(2/5)52第52頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 極大化問(wèn)題 對(duì)極大化問(wèn)題，其標(biāo)準(zhǔn)適應(yīng)度函數(shù)可定義為 (4.12)其中，fmin(x)是原始適應(yīng)函數(shù)f(x)的一個(gè)下界。如果fmin(x) 未知，則可用當(dāng)前代或到目前為止各演化代中的f(x)的最小值來(lái)代替。 4.3.2 遺傳算法4. 適應(yīng)度函數(shù)(3/5)53第53頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日(2) 適應(yīng)度函數(shù)的加速變換 在某些情況下，適應(yīng)度函數(shù)在極值附近的變化可能會(huì)非常小，以至于不同個(gè)體的適

52、應(yīng)值非常接近，使得難以區(qū)分出哪個(gè)染色體更占優(yōu)勢(shì)。對(duì)此，最好能定義新的適應(yīng)度函數(shù)，使該適應(yīng)度函數(shù)既與問(wèn)題的目標(biāo)函數(shù)具有相同的變化趨勢(shì)，又有更快的變化速度。 適應(yīng)度函數(shù)的加速變換有兩種基本方法 線性加速的適應(yīng)度函數(shù)的定義如下： f(x)=f(x)+其中，f(x)是加速轉(zhuǎn)換前的適應(yīng)度函數(shù)； f(x)是加速轉(zhuǎn)換后的適應(yīng)度函數(shù)；和是轉(zhuǎn)換系數(shù),它們應(yīng)滿(mǎn)足如下條件： 變化后得到的新的適應(yīng)度函數(shù)平均值要等于原適應(yīng)度函數(shù)的平均值。即 （4.13）其中，xi(i=1,n)為當(dāng)前代中的染色體。4.3.2 遺傳算法4. 適應(yīng)度函數(shù)(4/5)54第54頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 變換后

53、所得到的新的種群個(gè)體所具有的最大適應(yīng)度要等于其平均適應(yīng)度的指數(shù)倍數(shù)。即有關(guān)系： （4.14） 式中，xi(i=1,n) 為當(dāng)前代中的染色體，M是指將當(dāng)前的最大適應(yīng)度放大為平均值的M倍。目的是通過(guò)M拉開(kāi)不同染色體適應(yīng)度值的差距。 非線性加速 冪函數(shù)變換方法 f(x)=f(x)k (4.15) 指數(shù)變換方法 f(x)=exp(-f(x) (4.16) 4.3.2 遺傳算法4. 適應(yīng)度函數(shù)(5/5)55第55頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 遺傳算法中的基本遺傳操作包括選擇、交叉和變異3種，而每種操作又包括多種不同的方法，下面分別對(duì)它們進(jìn)行介紹。(1). 選擇操作 選擇（

54、Selection）操作是指根據(jù)選擇概率按某種策略從當(dāng)前種群中挑選出一定數(shù)目的個(gè)體，使它們能夠有更多的機(jī)會(huì)被遺傳到下一代中。 常用的選擇策略可分為比例選擇、排序選擇和競(jìng)技選擇三種類(lèi)型。 比例選擇 比例選擇方法（Proportional Model）的基本思想是：各個(gè)個(gè)體被選中的概率與其適應(yīng)度大小成正比。 常用的比例選擇策略包括 輪盤(pán)賭選擇 繁殖池選擇4.3.2 遺傳算法5. 基本遺傳操作(1/11)56第56頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 輪盤(pán)賭選擇 輪盤(pán)賭選擇法又被稱(chēng)為轉(zhuǎn)盤(pán)賭選擇法或輪盤(pán)選擇法。在這種方法中，個(gè)體被選中的概率取決于該個(gè)體的相對(duì)適應(yīng)度。而相對(duì)適應(yīng)度

55、的定義為：其中，P(xi)是個(gè)體xi的相對(duì)適應(yīng)度，即個(gè)體xi被選中的概率；f(xi)是個(gè)體xi的原始適應(yīng)度；是種群的累加適應(yīng)度。 輪盤(pán)賭選擇算法的基本思想是：根據(jù)每個(gè)個(gè)體的選擇概率P(xi)將一個(gè)圓盤(pán)分成N個(gè)扇區(qū)，其中第i個(gè)扇區(qū)的中心角為：再設(shè)立一個(gè)移動(dòng)指針，將圓盤(pán)的轉(zhuǎn)動(dòng)等價(jià)為指針的移動(dòng)。選擇時(shí)，假想轉(zhuǎn)動(dòng)圓盤(pán)，若靜止時(shí)指針指向第i個(gè)扇區(qū)，則選擇個(gè)體i。其物理意義如圖5-19所示。4.3.2 遺傳算法5. 基本遺傳操作(2/11)57第57頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日P(x1)P(x2)P(xN)P(xi)2p(xi)圖4-19 輪盤(pán)賭選擇 從統(tǒng)計(jì)角度看，個(gè)體的適

56、應(yīng)度值越大，其對(duì)應(yīng)的扇區(qū)的面積越大，被選中的可能性也越大。這種方法有點(diǎn)類(lèi)似于發(fā)放獎(jiǎng)品使用的輪盤(pán)，并帶有某種賭博的意思，因此亦被稱(chēng)為輪盤(pán)賭選擇。4.3.2 遺傳算法5. 基本遺傳操作(3/11)58第58頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日(2)交叉操作 交叉（Crossover）操作是指按照某種方式對(duì)選擇的父代個(gè)體的染色體的部分基因進(jìn)行交配重組，從而形成新的個(gè)體。交配重組是自然界中生物遺傳進(jìn)化的一個(gè)主要環(huán)節(jié)，也是遺傳算法中產(chǎn)生新的個(gè)體的最主要方法。根據(jù)個(gè)體編碼方法的不同，遺傳算法中的交叉操作可分為二進(jìn)制交叉和實(shí)值交叉兩種類(lèi)型。 二進(jìn)制交叉 二進(jìn)制交叉（Binary Va

57、lued Crossover）是指二進(jìn)制編碼情況下所采用的交叉操作，它主要包括單點(diǎn)交叉、兩點(diǎn)交叉、多點(diǎn)交叉和均勻交叉等方法。4.3.2 遺傳算法5. 基本遺傳操作(4/11)59第59頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 單點(diǎn)交叉 單點(diǎn)交叉也稱(chēng)簡(jiǎn)單交叉，它是先在兩個(gè)父代個(gè)體的編碼串中隨機(jī)設(shè)定一個(gè)交叉點(diǎn)，然后對(duì)這兩個(gè)父代個(gè)體交叉點(diǎn)前面或后面部分的基因進(jìn)行交換，并生成子代中的兩個(gè)新的個(gè)體。假設(shè)兩個(gè)父代的個(gè)體串分別是： X=x1 x2 xk xk+1 xn Y=y1 y2 yk yk+1 yn 隨機(jī)選擇第k位為交叉點(diǎn)，若采用對(duì)交叉點(diǎn)后面的基因進(jìn)行交換的方法，但點(diǎn)交叉是將X中的

58、xk+1到xn部分與Y中的yk+1到y(tǒng)n部分進(jìn)行交叉，交叉后生成的兩個(gè)新的個(gè)體是： X= x1 x2 xk yk+1 yn Y= y1 y2 yk xk+1 xn 例4.7 設(shè)有兩個(gè)父代的個(gè)體串A=0 0 1 1 0 1 和B=1 1 0 0 1 0 ，若隨機(jī)交叉點(diǎn)為4，則交叉后生成的兩個(gè)新的個(gè)體是： A= 0 0 1 1 1 0 B= 1 1 0 0 0 1 4.3.2 遺傳算法5. 基本遺傳操作(5/11)60第60頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 兩點(diǎn)交叉 兩點(diǎn)交叉是指先在兩個(gè)父代個(gè)體的編碼串中隨機(jī)設(shè)定兩個(gè)交叉點(diǎn)，然后再按這兩個(gè)交叉點(diǎn)進(jìn)行部分基因交換，生成子代

59、中的兩個(gè)新的個(gè)體。 假設(shè)兩個(gè)父代的個(gè)體串分別是： X=x1 x2 xi xj xn Y=y1 y2 yi yj ,yn 隨機(jī)設(shè)定第i、j位為兩個(gè)交叉點(diǎn)（其中ijn），兩點(diǎn)交叉是將X中的xi+1到xj部分與Y中的yi+1到y(tǒng)j部分進(jìn)行交換，交叉后生成的兩個(gè)新的個(gè)體是： X= x1 x2 xi yi+1 yj xj+1 xn Y= y1 y2 yi xi+1 xj yj+1 yn 例4.8 設(shè)有兩個(gè)父代的個(gè)體串A= 0 0 1 1 0 1 和B= 1 1 0 0 1 0 ，若隨機(jī)交叉點(diǎn)為3和5，則交叉后的兩個(gè)新的個(gè)體是： A= 0 0 1 0 1 1 B= 1 1 0 1 0 0 4.3.2 遺傳

60、算法5. 基本遺傳操作(6/11)61第61頁(yè)，共111頁(yè)，2022年，5月20日，10點(diǎn)59分，星期日 多點(diǎn)交叉 多點(diǎn)交是指先隨機(jī)生成多個(gè)交叉點(diǎn)，然后再按這些交叉點(diǎn)分段地進(jìn)行部分基因交換，生成子代中的兩個(gè)新的個(gè)體。 假設(shè)交叉點(diǎn)個(gè)數(shù)為m，則可將個(gè)體串劃分為m+1個(gè)分段，其劃分方法是： 當(dāng)m為偶數(shù)時(shí)，對(duì)全部交叉點(diǎn)依次進(jìn)行兩兩配對(duì)，構(gòu)成m/2個(gè)交叉段。 當(dāng)m為奇數(shù)時(shí)，對(duì)前(m-1)個(gè)交叉點(diǎn)依次進(jìn)行兩兩配對(duì)，構(gòu)成(m-1)/2個(gè)交叉段，而第m個(gè)交叉點(diǎn)則按單點(diǎn)交叉方法構(gòu)成一個(gè)交叉段。 下面以m=3為例進(jìn)行討論。假設(shè)兩個(gè)父代的個(gè)體串分別是X=x1 x2 xi xj xk xn和Y=y1 y2 yi yj