機器學習與大數(shù)據(jù)技術(shù)第二章-機器學習的理論與方法課件

1、機器學習與大數(shù)據(jù)技術(shù)作者：牟少敏教授第二章回歸分析與最小二乘法聚類遺傳算法蟻群算法機器學習的理論與方法粒子群算法支持向量機隱馬爾科夫模型人工神經(jīng)網(wǎng)絡(luò)創(chuàng)新與貢獻研究意義選題背景第二章機器學習則是研究機器模仿人類的學習過程，進行知識和技能獲取，是一門涉及到計算機科學與技術(shù)、概率論與統(tǒng)計學和認知科學等多個領(lǐng)域的交叉學科。學習是人類區(qū)別于低級動物，自身所具有的重要智能行為。其應用十分廣泛，如：數(shù)據(jù)挖掘、計算機視覺、自然語言處理、語音和手寫識別和機器人研發(fā)等各個領(lǐng)域。分類問題：在有監(jiān)督學習任務中，預測變量為離散變量。創(chuàng)新與貢獻研究意義選題背景第二章2.1回歸分析與最小二乘法回歸問題：在有監(jiān)督學習任務中，

2、預測變量為連續(xù)變量?；貧w分析是一種用于確定兩種或兩種以上變量間相互依賴關(guān)系的統(tǒng)計分析方法。按照問題所涉及變量的多少，可將回歸分析分為一元回歸分析和多元回歸分析。按照自變量與因變量之間是否存在線性關(guān)系，分為線性回歸分析和非線性回歸分析。如果在某個回歸分析問題中，只有兩個變量，一個自變量和一個因變量，且自變量與因變量之間的函數(shù)關(guān)系能夠用一條直線來近似表示，那么稱其為一元線性回歸分析。創(chuàng)新與貢獻研究意義選題背景第一章2.1回歸分析與最小二乘法回歸分析的基本步驟如下：創(chuàng)新與貢獻研究意義選題背景第二章2.1回歸分析與最小二乘法分析預測目標，確定自變量和因變量；建立合適的回歸預測模型； 相關(guān)性分析； 檢測

3、回歸預測模型，計算預測的誤差； 計算并確定預測值。最小二乘法又稱為最小平方法，是一種常用的數(shù)學優(yōu)化方法。最小二乘法的原理是通過最小化誤差平方和尋找與數(shù)據(jù)匹配的最佳函數(shù)。最小二乘法的應用十分廣泛，既可以用于參數(shù)估計，也可以用于曲線擬合，以及一些其他的優(yōu)化問題。創(chuàng)新與貢獻研究意義選題背景第二章2.1回歸分析與最小二乘法創(chuàng)新與貢獻研究意義選題背景第二章 對于一元線性回歸模型，假設(shè)從總體中獲取了組觀察值，其中。那么這組觀察值在二維平面直角坐標系中對應的就是平面中的個點，此時有無數(shù)條曲線可以擬合這個點。通常情況下，希望回歸函數(shù)能夠盡可能好地擬合這組值。綜合來看，當這條直線位于樣本數(shù)據(jù)的中心位置時似乎最合

4、理。因此，選擇最佳擬合曲線的標準可確定為：總擬合誤差（即總殘差）最小。對于總擬合誤差，有三個標準可供選擇：（1）用“殘差和”表示總擬合誤差，但“殘差和”會出現(xiàn)相互抵消的問題。（2）用“殘差絕對值”表示總擬合誤差，但計算絕對值相對來說較為麻煩。（3）用“殘差平方和”表示總擬合誤差。最小二乘法采用的就是“殘差平方和最小”所確定的直線。用“殘差平方和”計算方便，而且對異常值會比較敏感。2.1回歸分析與最小二乘法創(chuàng)新與貢獻研究意義選題背景第二章假設(shè)回歸模型（擬合函數(shù)）為： 則樣本的誤差為： 其中 為 的預測值（擬合值）， 為 對應的實際值。最小二乘法的損失函數(shù) 也就是殘差平方和，即： 通過最小化來確定

5、直線方程，即確定和，此時該問題變成了求函數(shù)的極值的問題。根據(jù)高等數(shù)學的知識可知，極值通常是通過令導數(shù)或者偏導數(shù)等于0而得到，因此，求關(guān)于未知參數(shù)和的偏導數(shù)：2.1回歸分析與最小二乘法創(chuàng)新與貢獻研究意義選題背景第二章通過令偏導數(shù)為0，可求解函數(shù)的極值點，即：2.1回歸分析與最小二乘法將樣本數(shù)據(jù) 代入，即可得到 和 的具體指。創(chuàng)新與貢獻研究意義選題背景第二章2.2.1 簡介作為一種無監(jiān)督機器學習方法，聚類經(jīng)常用于數(shù)據(jù)挖掘和模式識別。 2.2 聚類聚類（Cluster Analysis）是將數(shù)據(jù)集中的所有樣本根據(jù)相似度的大小進行劃分，形成兩個或多個類（簇）的過程。簇是數(shù)據(jù)集中相似的樣本集合。聚類沒有

6、訓練過程，是一種無標準的學習，同時也是一種無監(jiān)督學習。創(chuàng)新與貢獻研究意義選題背景第二章分類的根本區(qū)別在于： 分類是需要有標號的樣本進行訓練。2.2 聚類聚類算法可分為：基于劃分方法的、基于層次方法的、基于密度方法的、基于網(wǎng)格方法的和基于模型方法的聚類?；趯哟蔚木垲愔饕校浩胶獾鳒p聚類法（BIRCH算法）、基于密度的聚類方法（DBSCAN算法）和使用代表點的聚類方法（CURE算法）等；基于劃分的聚類方法主要有：K均值聚類算法（K-means聚類算法）、K中心點算法（K-mediods聚類算法）和隨機搜索聚類算法（CLARANS聚類算法）等。創(chuàng)新與貢獻研究意義選題背景第一章2.2聚類2.2.

7、2 基本原理 聚類的結(jié)果是類內(nèi)樣本的相似度高，類間樣本的相似度低。相似性的度量通常采用樣本間的距離來表示，距離函數(shù)值的大小反應相似的程度，相似度越大兩個樣本間的距離函數(shù)的值越小，相似度越小兩個樣本間的距離函數(shù)值越大。 聚類是按照相似性大小，將無標號的數(shù)據(jù)集劃分為若干類或簇的過程。常用的距離計算方法有：創(chuàng)新與貢獻研究意義選題背景第二章 歐氏距離2.2 聚類 曼哈頓距離 明氏距離 歐氏距離創(chuàng)新與貢獻研究意義選題背景第二章歐氏距離又叫歐幾里得距離，是最常見的距離表示法。假設(shè) ， ，則它們之間的距離為： 即兩項間的差是每個變量值差的平方和再取平方根，目的是計算其間的整體距離，即不相似性。歐氏距離的優(yōu)點

8、是計算公式比較簡單，缺點是不能將樣本的不同屬性（即各指標或各變量）之間的差別等同看待，在某些特定的應用背景中不能滿足要求。一般的聚類大都采用歐氏距離。1. 歐式距離（Euclidean Distance）2.2 聚類創(chuàng)新與貢獻研究意義選題背景第二章曼哈頓距離也稱為城市街區(qū)距離(CityBlock Distance)，是在歐幾里德空間的固定直角坐標系上兩點所形成的線段對軸產(chǎn)生的投影的距離總和。二維平面兩點 與 間的曼哈頓距離定義為： 兩個n維向量 與 間的曼哈頓距離： 要注意的是，曼哈頓距離依賴坐標系統(tǒng)的轉(zhuǎn)度，而非系統(tǒng)在坐標軸上的平移或映射。2. 曼哈頓距離（Manhattan Distance

9、）2.2 聚類創(chuàng)新與貢獻研究意義選題背景第二章明式距離也被稱作閔氏距離，可以理解為N維空間的距離，是歐式距離的擴展，兩個n維變量 與 間的明氏距離定義為： 其中p是一個變參數(shù)。根據(jù)變參數(shù)的不同，明氏距離可以表示一類的距離：（1）當時，明氏距離即為曼哈頓距離。（2）當時，明氏距離即為歐式距離。（3）當時，明式距離即為切比雪夫距離。3. 明氏距離（Minkowski Distance）2.2 聚類創(chuàng)新與貢獻研究意義選題背景第二章余弦距離，也稱為余弦相似度，是用向量空間中兩個向量夾角的余弦值作為衡量兩個個體間差異的大小的度量。對于二維空間，其定義為： 假設(shè)向量a、b的坐標分別為 、 。則：設(shè)向量 ，

10、 ，推廣到多維： 余弦距離通過測量兩個向量內(nèi)積空間夾角的余弦值來度量它們的相似性。余弦值的范圍在-1，1之間，值越趨近于1，代表兩個向量的方向越接近，越相似；越趨近于-1，他們的方向越相反，越不相似；越趨近于0，表示兩個向量近乎于正交。余弦距離可以用在任何維度的向量比較中，在高維正空間中的采用較多。4. 余弦距離（Cosine Similarity）2.2 聚類創(chuàng)新與貢獻研究意義選題背景第一章2.2聚類2.2.3 常用聚類算法 常用的幾種聚類算法： K近鄰算法（KNN） K均值聚類（K-means） K中心點聚類（K-mediods） K近鄰算法是一種常見的有監(jiān)督的聚類算法，也是非參數(shù)分類的重

11、要方法之一。K近鄰的優(yōu)點在于算法原理比較簡單，容易理解和實現(xiàn)，不需要先驗知識等。缺點在于計算量較大，在處理孤立點或噪聲方面精度較低。 K中心點聚類算法是對K均值聚類的改進，屬于基于劃分方法的聚類。與K均值聚類算法相比，優(yōu)點是減輕了對孤立點的敏感性，提高了聚類結(jié)果的準確率。缺點是算法的復雜性比K均值聚類算法高。K中心聚類算法與K均值聚類算法最大的區(qū)別在于選擇將簇內(nèi)離平均值最近的對象作為該簇的中心，而不是將簇內(nèi)各對象的平均值作為簇的中心。 K均值聚類是劃分方法中經(jīng)典的聚類算法之一。優(yōu)點是算法簡單，聚類效果較好，效率較高，對于處理大數(shù)據(jù)集有較好的可伸縮性。缺點是K值需要事先指定，受孤立點或噪聲的影響

12、較大，而且由于算法本身是迭代的，最終得到的結(jié)果有可能是局部最優(yōu)而不是全局最優(yōu)。創(chuàng)新與貢獻研究意義選題背景第二章1. K近鄰算法基本思想2.2 聚類 K近鄰算法的基本思想是針對測試集中的一個樣本點，在已經(jīng)學習并且完成分類的樣本空間中找到k個距離最近的樣本點，距離的計算通常采用歐氏距離或明式距離。如果找到的k個樣本點大多屬于某一個類別，則可以判定該樣本也屬于這個類別。 K近鄰算法（KNN）創(chuàng)新與貢獻研究意義選題背景第二章K近鄰算法的實現(xiàn)主要有以下3個要素：2.2 聚類1）數(shù)據(jù)特征的量化。如果數(shù)據(jù)特征中存在非數(shù)值類型，則需要運用一定的手段量化成數(shù)值。若樣本中存在顏色這一特征屬性，可將顏色轉(zhuǎn)化成灰度值

13、來計算距離；或為了保證參數(shù)取值較大時的影響力覆蓋參數(shù)取值較小時的影響力，通常需要對樣本的特征數(shù)值進行歸一化處理。2）樣本間距離計算公式的選擇。常見的距離計算公式有歐氏距離、曼哈頓距離、明式距離、余弦距離等。不同情況下對公式的選擇不同，如：樣本變量為連續(xù)型時，通常采用歐氏距離；樣本變量為非連續(xù)型時，通常采用明式距離。3）K值的選擇。K為自定義的常數(shù)，K值的選擇對聚類的結(jié)果有很大的影響。通常采用交叉驗證法確定K的取值，且K的取值一般小于訓練樣本數(shù)的平方根。 K近鄰算法（KNN）創(chuàng)新與貢獻研究意義選題背景第二章2. K近鄰算法過程2.2 聚類K近鄰具體描述如下：1）構(gòu)建訓練集和測試集，使訓練集按照已

14、有的標準分成離散型數(shù)值類或連續(xù)型數(shù)值類。2）根據(jù)樣本集為離散型或連續(xù)型選擇適當?shù)木嚯x計算公式，計算測試集中的數(shù)據(jù)與各個訓練集數(shù)據(jù)之間的距離，并排序。3）利用交叉驗證法確定K的取值，并選擇距離最小的K個點。4）確定K個點所在類別的出現(xiàn)頻率，選擇出現(xiàn)頻率最高的類別作為測試集的預測類。 K近鄰算法（KNN）創(chuàng)新與貢獻研究意義選題背景第二章1. K均值算法基本思想2.2 聚類K均值算法的基本思想是將n個樣本點劃分或聚類成K個簇，使得簇內(nèi)具有較高的相似度，而簇間的相似度較低。首先確定所要聚類的最終數(shù)目K，并從樣本中隨機選擇K個樣本作為中心；其次將集合中每個數(shù)據(jù)點被劃分到與其距離最近的簇中心所在的類簇之中

15、，形成K個聚類的初始分布；然后對分配完的每一個類簇內(nèi)對象計算平均值，重新確定新的簇中心，繼續(xù)進行數(shù)據(jù)分配過程；迭代執(zhí)行若干次，若簇中心不再發(fā)生變化，則完成了將數(shù)據(jù)對象完全分配至所屬的類簇中，且聚類準則函數(shù)收斂；否則繼續(xù)執(zhí)行迭代過程，直至聚類準則函數(shù)收斂。 K均值聚類（K-means）創(chuàng)新與貢獻研究意義選題背景第二章2. K均值算法過程2.2 聚類K均值算法具體描述如下：假設(shè)給定的n個樣本是 ，每個 ，其中樣本間的距離選擇歐氏距離。輸入：n個樣本和簇的數(shù)目K；輸出：K個簇，且平方誤差準則最小。具體步驟：（1）確定所要聚類的最終數(shù)目K，并從樣本中隨機選擇K個樣本作為中心，即 。 K均值聚類（K-m

16、eans）創(chuàng)新與貢獻研究意義選題背景第二章（2） 重復以下過程，直至誤差平方和準則函數(shù)E收斂至某個固定值。2.2 聚類對每個樣本i，計算并確定其應屬類別： 對于每一個類j，重新計算類的簇中心： 計算E，并判斷其是否收斂于某個固定的值。其中K為確定的值， 代表樣本i與K個類中距離最近的類，取值為 ，簇中心 代表對屬于同一個類的樣本中心點的預測。聚類準則函數(shù)用于判斷聚類質(zhì)量的高低，一般采用誤差平方和準則函數(shù)E的值變化情況判斷是否繼續(xù)進行迭代過程，E的值在每次迭代過程中逐漸減小，最終收斂至一個固定的值，則迭代過程結(jié)束，否則繼續(xù)執(zhí)行迭代過程，直至E收斂。誤差平方和準則函數(shù)E定義如下： 其中，E是所有樣

17、本點的平方誤差的總和，p是某一樣本點，mi是簇Ci的平均值。 K均值聚類（K-means）創(chuàng)新與貢獻研究意義選題背景第二章1. K中心點算法基本思想2.2 聚類K中心算法的基本思想是首先確定所要聚類的最終數(shù)目K，并從樣本中隨機選擇K個樣本作為中心；其次將集合中每個數(shù)據(jù)點被劃分到與其距離最近的簇中心所在的類簇之中，形成K個聚類的初始分布；反復地利用各簇中的非中心點樣本來替代中心點樣本，并計算各簇中各中心點樣本與非中心點樣本的距離之和；迭代執(zhí)行若干次，尋找最小距離之和，通過不斷更新各距離值來不斷調(diào)整聚類的結(jié)果。 K中心點聚類（K-mediods）創(chuàng)新與貢獻研究意義選題背景第二章2. K中心點算法過

18、程2.2 聚類K中心點算法具體描述如下：假設(shè)給定的n個樣本是，每個，其中樣本間的距離選擇歐氏距離。輸入：n個樣本和簇的數(shù)目K；輸出：K個簇。 K中心點聚類（K-mediods）創(chuàng)新與貢獻研究意義選題背景第二章2.2 聚類具體步驟：（1）確定所要聚類的最終數(shù)目K，并從樣本中隨機選擇K個樣本作為中心，即 。（2）對每個樣本p，計算并確定其應屬類別，使得其歐氏距離M最小。 （3）調(diào)整聚類中心，隨機選取一個非簇中心樣本 代替 ，重新分配所有剩余樣本p，使得 （4）若 ，則 = ，否則本次迭代中 不發(fā)生變化。（5）重復執(zhí)行以上步驟，直到步驟（3）中不再成立，否則繼續(xù)迭代執(zhí)行（2）。 K中心點聚類（K-m

19、ediods）創(chuàng)新與貢獻研究意義選題背景第二章2.3.1 簡介遺傳算法（Genetic Algorithm）也稱為進化算法，是Michigan大學的Holland教授受達爾文的進化論的啟發(fā)，借鑒生物進化過程，于1975年提出的一種隨機啟發(fā)式搜索算法。 2.3 遺傳算法創(chuàng)新與貢獻研究意義選題背景第二章2.3.2基本原理遺傳算法的基本思想是將問題域中的萬能解作為個體，反復對群體進行交叉、變異和選擇操作，通過比較每個個體的適應度值，淘汰差的個體，最終求得最優(yōu)解或滿意解。遺傳算法具體步驟如下：（1）初始化群體；（2）計算群體上每個個體的適應度值；（3）按由個體適應度值所決定的某個規(guī)則選擇將進入下一代的

20、個體；（4）按概率參數(shù)PXOVER進行交叉操作；（5）按概率參數(shù)PMUTATION進行突變操作；（6）沒有滿足某種停止條件，則轉(zhuǎn)第(2)步，否則進入(7)；（7）輸出種群中適應度值最優(yōu)的個體作為問題的滿意解或最優(yōu)解。程序的停止條件最簡單的有如下兩種：完成了預先給定的進化代數(shù)則停止；種群中的最優(yōu)個體在連續(xù)若干代沒有改進或平均適應度在連續(xù)若干代基本沒有改進時停止。2.3 遺傳算法創(chuàng)新與貢獻研究意義選題背景第二章圖2-1遺傳算法流程圖2.3 遺傳算法創(chuàng)新與貢獻研究意義選題背景第二章遺傳算法的實現(xiàn)有6個主要因素：參數(shù)的編碼、初始種群的設(shè)定、適應度函數(shù)的設(shè)計、遺傳操作、算法控制參數(shù)的設(shè)定和約束條件的處理

21、。（1）編碼與解碼編碼是將一個問題的可行解從其解空間轉(zhuǎn)換到遺傳算法的搜索空間的轉(zhuǎn)化方法。主要的編碼方法有：二進制編碼、浮點數(shù)編碼、格雷編碼及多參數(shù)編碼等。估計編碼的三個準則是完備性、健全性和非冗余性。解碼又稱為譯碼，是由遺傳算法解空間向問題空間的轉(zhuǎn)換。（2）選擇選擇是在群體中選擇出生命力較強的個體產(chǎn)生新的群體的過程，目的是使得群體中個體的適應度接近最優(yōu)解。常見的選擇算子有隨機競爭選擇、輪盤賭選擇、最佳保留選擇、確定式選擇、期望值選擇、均勻排序等。（3）交叉交叉是按某種方式對兩個相互配對的染色體進行相互交換部分基因的操作，從而形成兩個新的個體。常見的適用于二進制編碼與浮點數(shù)編碼的交叉算子有：兩點

22、交叉、多點交叉、算子交叉以及均勻交叉。2.3 遺傳算法創(chuàng)新與貢獻研究意義選題背景第二章（4）變異變異是指將個體染色體編碼串中的某些基因位上的基因值用該基因位上的其它等位基因來替換，從而形成新的個體。常見的適用于二進制編碼與浮點數(shù)編碼的變異算子有基本位變異、均勻變異、邊界變異、非均勻變異以及高斯近似變異。（5）適應度函數(shù)適應度函數(shù)又稱為評價函數(shù)，是根據(jù)目標函數(shù)確定的、用于區(qū)分群體中個體好壞的標準。目標函數(shù)可正可負，而適應度函數(shù)是非負的，因此需要在目標函數(shù)與適應度函數(shù)之間進行適當?shù)淖儞Q。設(shè)計適應度函數(shù)時主要遵照以下四條標準：1）函數(shù)滿足連續(xù)、非負、單值及最大化；2）合理性、一致性；3）計算量??；4

23、）通用性強。評價個體適應度的一般過程是：1）對個體編碼串進行解碼處理，得到個體的表現(xiàn)型；2）通過個體的表現(xiàn)型計算對應的個體目標函數(shù)值；3）根據(jù)最優(yōu)化問題的類型，將目標函數(shù)值按照一定的轉(zhuǎn)換規(guī)則計算出個體的適應度。2.3 遺傳算法創(chuàng)新與貢獻研究意義選題背景第二章（6）約束條件處理約束條件處理主要有搜索空間限定法和可行解變換法。搜索空間限定法是通過對遺傳算法的搜索空間大小加以限制，在搜索空間中表示一個個體的點與解空間中表示一個可行解的點間建立一一對應的關(guān)系。可行解變換法是在個體基因型向表現(xiàn)型變換的過程中，增加使其滿足約束條件的處理過程，也就是說，尋找個體基因型與表現(xiàn)型多對一的變換關(guān)系，擴大搜索空間，

24、使得進化過程中所產(chǎn)生的個體可以通過這種變換轉(zhuǎn)化成解空間中滿足約束條件的一個可行解。2.3 遺傳算法創(chuàng)新與貢獻研究意義選題背景第二章2.3.3 特點與應用遺傳算法的特點（1）以決策變量的編碼作為運算對象。借鑒染色體和基因的概念，模仿自然界生物的遺傳和進化機理。（2）使用概率搜索技術(shù)，而不是確定性規(guī)則。（3）直接以適應度作為搜索信息，無需借助導數(shù)等其它輔助信息。（4）使用多個點的搜索信息，具有隱含并行性。2.3 遺傳算法創(chuàng)新與貢獻研究意義選題背景第二章遺傳算法的應用2.3 遺傳算法遺傳算法不依賴于問題的具體領(lǐng)域，對問題的種類有很強的魯棒性，所以廣泛應用于函數(shù)優(yōu)化、組合優(yōu)化，例如：遺傳算法已經(jīng)在求解

25、旅行商問題、背包問題、裝箱問題、圖形劃分問題等方面得到成功的應用。此外，遺傳算法在生產(chǎn)調(diào)度問題、自動控制、機器人學、圖像處理等方面獲得了廣泛的運用。創(chuàng)新與貢獻研究意義選題背景第二章2.4.1 簡介 2.4 蟻群算法 蟻群算法(Ant Colony Optimization，ACO)，最早是由Marco Dorigo等人于1991年提出的，是在圖中尋找優(yōu)化路徑的概率型算法?；舅枷雭碜晕浵佋趯ふ沂澄镞^程中發(fā)現(xiàn)最短路徑的行為。蟻群在尋找食物時，通過分泌信息素交流覓食信息，從而能在沒有任何提示的情況下找到從食物源到巢穴的最短路徑，并在周圍環(huán)境發(fā)生變化后，自適應地搜索新的最佳路徑。蟻群算法的優(yōu)點是算法

26、簡單，實現(xiàn)容易。 創(chuàng)新與貢獻研究意義選題背景第二章2.4.2 基本原理 2.4 蟻群算法 首先介紹蟻群算法中的參數(shù)：設(shè)蟻群中所有螞蟻的數(shù)量為m，所有城市之間的信息素為矩陣pheromon，最短路徑為bestLength，最佳路徑為bestTour。每只螞蟻都有自己的內(nèi)存，內(nèi)存中用一個禁忌表（Tabu）來存儲該螞蟻已經(jīng)訪問過的城市，表示其在以后的搜索中將不能訪問這些城市，用一個允許訪問的城市表（Allowed）來存儲該螞蟻還可以訪問的城市，用一個矩陣（Delta）來存儲它在一個循環(huán)（或者迭代）中給所經(jīng)過的路徑釋放的信息素；此外還有一些數(shù)據(jù)，運行次數(shù)MAX_GEN次，運行時間t，控制參數(shù)，螞蟻行走

27、完全程的總成本或距離（tourLength）等。 創(chuàng)新與貢獻研究意義選題背景第二章蟻群算法計算過程如下：圖2-2蟻群算法流程圖2.4 蟻群算法（1）初始化（2）選擇節(jié)點（3）更新信息素矩陣（4）檢查終止條件（5）輸出最優(yōu)值創(chuàng)新與貢獻研究意義選題背景第二章（1）初始化t=0時，對所有參數(shù)進行初始化。設(shè)置bestLength為正無窮，bestTour為空，將所有螞蟻的Delt矩陣所有元素初始化為0，Tabu表清空，向Allowed表中加入所有的城市節(jié)點，用隨機選擇或人工指定的方法它們的起始位置，在Tabu表中加入起始節(jié)點，Allowed表中去掉該起始節(jié)點。2.4 蟻群算法創(chuàng)新與貢獻研究意義選題背景

28、第二章（2）選擇節(jié)點為每只螞蟻選擇下一個節(jié)點，該節(jié)點只能從Allowed表中以通過公式（2-1）計算得到的概率搜索到，每搜到一個節(jié)點，就將該節(jié)點加入到Tabu表中，并且從Allowed表中刪除該節(jié)點。重復n-1次該過程，直到所有的城市都遍歷過一次。遍歷完所有節(jié)點后，將起始節(jié)點加入到Tabu表中。此時Tabu表元素數(shù)量為n+1（n為城市數(shù)量），Allowed表元素數(shù)量為0。接下來按照公式（2-2）計算每個螞蟻的Delta矩陣值。最后計算最佳路徑，比較每個螞蟻的路徑成本，然后與bestLength比較，若它的路徑成本比bestLength小，則將該值賦予bestLength，并且將其Tabu賦予B

29、estTour并將該城市節(jié)點加到bestTour中。2.4 蟻群算法創(chuàng)新與貢獻研究意義選題背景第二章（2）選擇節(jié)點其中k表示第k個螞蟻， 表示選擇城市j的概率， 表示城市i，j在第t時刻的信息素濃度， 表示從城市i到城市j的可見度， ， 表示城市i，j之間的成本。 表示螞蟻k在城市i與j之間留下的信息素。 表示螞蟻k完成一個循環(huán)所經(jīng)過路徑的總成本，即tourLength， ， ，Q均為控制參數(shù)。（2-1）（2-2）2.4 蟻群算法創(chuàng)新與貢獻研究意義選題背景第二章（3）更新信息素矩陣令t= t+n，按照公式（2-3）更新信息素矩陣phermone。其中 為t+n時刻城市i與j之間的信息素濃度，

30、為控制參數(shù)， 為城市i與j之間信息素經(jīng)過一個迭代后的增量。并且有 其中 由公式計算得到。（2-3）2.4 蟻群算法創(chuàng)新與貢獻研究意義選題背景第二章（4）檢查終止條件如果達到最大迭代次數(shù)MAX_GEN，則算法終止，轉(zhuǎn)到第（5）步；否則，重新初始化所有螞蟻的Delt矩陣中所有元素為0，Tabu表清空，Allowed表中加入所有的城市節(jié)點，隨機選擇或人工指定它們的起始位置，在Tabu表中加入起始節(jié)點，Allowed表中去掉該起始節(jié)點，重復執(zhí)行（2）（3）（4）步。（5）輸出最優(yōu)值2.4 蟻群算法創(chuàng)新與貢獻研究意義選題背景第二章2.4.3 特點與應用 2.4 蟻群算法1. 特點（1）自組織：蟻群算法的

31、組織指令來自于系統(tǒng)內(nèi)部的，在獲得空間、時間或者功能結(jié)構(gòu)過程中，沒有受到外界的影響，即蟻群算法能夠在沒有外界環(huán)境的影響下使系統(tǒng)的熵增加，具有良好的自組織能力。（2）并行化：每只螞蟻個體搜索最優(yōu)解的過程彼此獨立，僅通過信息激素進行通信，所以蟻群算法可以看作一個分布式的多agent系統(tǒng)，在問題空間中多個不同的點位同時進行解的搜索，不僅降低了算法的時間復雜性，還可以使算法具有一定的全局搜索能力。（3）正反饋：螞蟻能夠找到最短路徑的過程依賴于路徑上堆積的信息激素，信息激素堆積是一個正反饋的過程，其反饋方式是在較優(yōu)解的路徑上留下更多的信息激素，而信息激素越多又會吸引更多的螞蟻，正反饋的過程又引導整個系統(tǒng)向

32、最優(yōu)解的方向進化。（4）魯棒性：蟻群算法對初始路線要求不高，即最終結(jié)果不依賴初始路線的選擇，在搜索過程中也不需要人為調(diào)整。 創(chuàng)新與貢獻研究意義選題背景第二章2.4.3 特點與應用 2.4 蟻群算法1. 應用近年來隨著對蟻群算法理論與實際應用研究的不斷深入，蟻群算法被應用于求解經(jīng)典的旅行商問題及其他領(lǐng)域的優(yōu)化問題和邊界條件優(yōu)化問題，如生產(chǎn)調(diào)度問題、圖像處理、車輛路徑問題及機器人路徑規(guī)劃問題等。創(chuàng)新與貢獻研究意義選題背景第二章2.5.1 簡介2.5 粒子群算法粒子群算法（Particle Swarm Optimization，PSO）是一種由Kennedy等學者從鳥類尋找食物的過程中得到啟發(fā)，于1

33、995年提出的新型群體智能優(yōu)化算法。粒子群算法同遺傳算法以及蟻群算法等群體智能算法類似，都是受生物群體啟發(fā)的優(yōu)化算法。其基本思想來自鳥群在覓食過程中發(fā)現(xiàn)最優(yōu)位置的行為。鳥群在尋找食源的過程中，通過不斷進行最優(yōu)位置信息的交流，每只鳥根據(jù)最優(yōu)位置調(diào)整自己的飛行速度和飛行方向，最終找到食源。創(chuàng)新與貢獻研究意義選題背景第二章2.5.2 基本原理 2.5 粒子群算法假設(shè)一個n維的目標搜索空間中含有m個粒子，每個粒子的位置對應一個n維向量 ，第i個粒子的局部最優(yōu)值為 ，當前種群的最優(yōu)位置為 ，每個粒子所對應的運動速度也是一個n維的向量 。在粒子的運動過程中，粒子群中的每一個粒子會根據(jù)公式（2-4）和（2-

34、5）來更新自己的運動速度，根據(jù)公式（2-6）更新自己的位置。（2-4）（2-5）（2-6）創(chuàng)新與貢獻研究意義選題背景第二章2.5.2 基本原理2.5 粒子群算法其中 ， ，k為粒子群迭代的次數(shù)（ ）， 為隨機數(shù)函數(shù)，在0，1之間隨機選取。 為非負數(shù)， 表示粒子自身的認知系數(shù)， 表示粒子的社會認知系數(shù)。 為最大的運動速度， 為最小的運動速度，兩者的值通常由用戶根據(jù)經(jīng)驗來定義，用來對運動速度進行調(diào)整。對于公式（2-7）來說 代表前次運動的速度，它使得粒子在全部的搜素空間中有向各個方向伸張的趨勢， 表示自身的認知過程，它通過粒子自身的運動來獲得認知能力。 表示學習其他粒子經(jīng)驗的過程，該過程是粒子群中

35、每個粒子相互分享學習經(jīng)驗的過程。創(chuàng)新與貢獻研究意義選題背景第二章2.5.2 基本原理2.5 粒子群算法粒子群算法的實現(xiàn)步驟如下：(1) 對粒子群的每個粒子的位置和速度進行隨機的初始化；(2) 根據(jù)定義的適應度函數(shù)，計算每個粒子的適應度值；(3) 將粒子的適應度值與該粒子局部最優(yōu)位置的適應度值相比較，求粒子的局部最優(yōu)解；(4) 將全局最優(yōu)位置的適應度值與每個粒子的局部位置的適應度值相比較，求粒子群的全局最優(yōu)解；(5) 根據(jù)公式（2-4）和（2-5）計算每個粒子的運動速度，根據(jù)公式（2-6）計算每個粒子的位置；(6) 判斷終止條件是否滿足，如果不滿足，返回第（2）步，否則算法結(jié)束。創(chuàng)新與貢獻研究意

36、義選題背景第二章2.5.3 特點與應用2.5 粒子群算法1. 特點（1）速度快：粒子群算法沒有交叉和變異運算，依靠粒子速度完成搜索，并且在迭代進程中只有最優(yōu)的粒子把信息傳遞給其他粒子，搜索速度快。（2）記憶性：粒子群體獲得的歷史最好位置可以被記錄并傳遞給其它粒子的。（3）易于實現(xiàn)：粒子群算法需要調(diào)整的參數(shù)較少，易于實現(xiàn)，結(jié)構(gòu)簡單，它采用實數(shù)編碼，直接由問題的解決定，問題解的變量數(shù)直接作為粒子的維度數(shù)。2. 應用由于粒子群算法實現(xiàn)簡單，易于理解，且能夠優(yōu)化一些復雜的問題，常被用于神經(jīng)網(wǎng)絡(luò)的優(yōu)化、函數(shù)參數(shù)的優(yōu)化、電力系統(tǒng)的優(yōu)化等領(lǐng)域，并且有著較好的效果。創(chuàng)新與貢獻研究意義選題背景第二章2.6.1

37、簡介2.6 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）簡稱為神經(jīng)網(wǎng)絡(luò)(NN)或連接模型（Connectionist Model）。智庫百科中人工神經(jīng)網(wǎng)絡(luò)的定義是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓撲結(jié)構(gòu)的動態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)的輸入作狀態(tài)相應而進行信息處理”。因此，人工神經(jīng)網(wǎng)絡(luò)是基于神經(jīng)網(wǎng)絡(luò)的基本原理，在理解和抽象人腦和外界刺激響應機制的基礎(chǔ)上，以網(wǎng)絡(luò)拓撲知識為理論基礎(chǔ)，模擬人腦神經(jīng)系統(tǒng)實現(xiàn)復雜信息處理機制的數(shù)學模型，具有自學能力、聯(lián)想存儲能力以及高速尋優(yōu)能力。創(chuàng)新與貢獻研究意義選題背景第二章2.6.1 簡介2.6 人工神經(jīng)網(wǎng)絡(luò)1. 人工

38、神經(jīng)網(wǎng)絡(luò)發(fā)展（1）初始階段啟蒙時期（2）第二階段低潮時期（3）第三階段復興時期（發(fā)展期）（4）第四階段深度學習創(chuàng)新與貢獻研究意義選題背景第二章2.6.1 簡介2.6 人工神經(jīng)網(wǎng)絡(luò)（1）初始階段啟蒙時期啟蒙時期也稱為形成時期，早在20世紀50年代國外的學者就開始了對人工神經(jīng)網(wǎng)絡(luò)的研究工作。1943年，美國生理學家Mcculloch和數(shù)學家Pitts發(fā)表文章，提出了第一個神經(jīng)元模型（M-P模型），開啟了對人工神經(jīng)網(wǎng)絡(luò)研究的大門。1951年，心理學家Donala O.Hebb提出了連接權(quán)值強化的Hebb法則，為構(gòu)造有學習功能的的神經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ)。1960年，Widrow和Hoff提出了一種連續(xù)

39、取值的自適應線性神經(jīng)元網(wǎng)絡(luò)模型Adaline，提高了分段線性網(wǎng)絡(luò)的訓練速度及精度。創(chuàng)新與貢獻研究意義選題背景第二章2.6.1 簡介2.6 人工神經(jīng)網(wǎng)絡(luò)（2）第二階段低潮時期1969年，Minsky和Papert在Perceptrons一書，從數(shù)學的角度證明了簡單的線性感知器的功能是有限的，不能有效地應用于多層網(wǎng)絡(luò)，由此對神經(jīng)網(wǎng)絡(luò)的研究進入10年左右的低潮期。盡管在低谷時期，也產(chǎn)生了許多重要的研究成果，如1972年芬蘭的Kohonen教授提出的自組織映射（SOM）理論，1980年福島邦彥提出的“新認知機”模型等，為日后神經(jīng)網(wǎng)絡(luò)的理論研究奠定了重要的基礎(chǔ)。創(chuàng)新與貢獻研究意義選題背景第二章2.6.1

40、 簡介2.6 人工神經(jīng)網(wǎng)絡(luò)（3）第三階段復興時期（發(fā)展期）1982年，美國物理學家Hopfield提出了離散Hopfield神經(jīng)網(wǎng)絡(luò)，并證明了在一定條件下，網(wǎng)絡(luò)可以達到穩(wěn)定的狀態(tài)，再次掀起了神經(jīng)網(wǎng)絡(luò)研究的一個熱潮。1983年Kirkpatrick等人認識到可將模擬退火算法運用到NP完全組合優(yōu)化問題的求解過程中。Hinton與年輕學者Sejnowski等于1984年合作提出了大規(guī)模并行網(wǎng)絡(luò)學習機（后來被稱為Boltzmann機），同時提出了隱單元的概念。1986年，D.E.Ru melhart在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)權(quán)值修正的反向傳播學習算法BP算法（Back-Propag

41、ation），解決了多層前向神經(jīng)網(wǎng)絡(luò)的學習問題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強的學習能力，可以完成許多學習任務，解決許多實際問題。1988年，Broomhead和Lowe將徑向基函數(shù)(Radial Basis Function，RBF)運用到人工神經(jīng)網(wǎng)絡(luò)（ANN）的設(shè)計中，將人工神經(jīng)網(wǎng)絡(luò)的設(shè)計與數(shù)值分析以及線性適應濾波聯(lián)系起來。創(chuàng)新與貢獻研究意義選題背景第二章2.6.1 簡介2.6 人工神經(jīng)網(wǎng)絡(luò)（4）第四階段深度學習2006年，Hinton提出的深度學習，是機器學習的一個新方法，也是神經(jīng)網(wǎng)絡(luò)的最新發(fā)展。深度學習算法打破了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)對層數(shù)的限制，可根據(jù)設(shè)計者需要選擇網(wǎng)絡(luò)層數(shù)，構(gòu)建含多隱層的機器學習

42、框架模型，對大規(guī)模數(shù)據(jù)進行訓練，從而得到更有代表性的特征信息。創(chuàng)新與貢獻研究意義選題背景第二章2.6.1 簡介2.6 人工神經(jīng)網(wǎng)絡(luò)1. 人工神經(jīng)網(wǎng)絡(luò)研究內(nèi)容神經(jīng)網(wǎng)絡(luò)的研究可分為理論研究和應用研究兩個方面。理論研究主要包括：（1）以神經(jīng)生理與認知科學為基礎(chǔ)，對人類思維以及智能機理進行研究。（2）借鑒神經(jīng)基礎(chǔ)理論的研究成果，運用數(shù)理方法，深入研究網(wǎng)絡(luò)算法，提高穩(wěn)定性、收斂性、容錯性、魯棒性等方面的性能，發(fā)展如神經(jīng)網(wǎng)絡(luò)動力學、非線性神經(jīng)場等新的網(wǎng)絡(luò)數(shù)理理論，并且嘗試構(gòu)建功能上更加完善、性能上更具優(yōu)越性的神經(jīng)網(wǎng)絡(luò)模型。應用研究主要包括：（1）對神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)和軟件模擬的研究。（2）神經(jīng)網(wǎng)絡(luò)在模式識

43、別、信號處理、專家系統(tǒng)、優(yōu)化組合、知識工程和機器人控制等領(lǐng)域的應用研究。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)1. 生物神經(jīng)元 在介紹人工神經(jīng)元之前，首先以人腦神經(jīng)元為例介紹生物神經(jīng)元的結(jié)構(gòu)及特點。人腦中大約有1000億個神經(jīng)元。神經(jīng)元主要由樹突、細胞體、軸突和突觸組成，基本結(jié)構(gòu)如圖所示。樹突的作用是接受信息，細胞體的作用是對接受的信息進行處理，軸突的作用是發(fā)出信息。一個神經(jīng)元的軸突末端與另外一個神經(jīng)元的樹突緊密接觸形成的部分構(gòu)成突觸，用于保證信息的單向傳遞。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)1. 生物神經(jīng)元 創(chuàng)新

44、與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 人工神經(jīng)元是受人腦神經(jīng)元結(jié)構(gòu)的啟發(fā)而提出的，結(jié)構(gòu)如下圖所示，一個神經(jīng)元結(jié)構(gòu)由輸入向量、激活函數(shù)及輸出向量三部分組成。輸入向量 與對應的權(quán)值向量 分別相乘再取和作為輸入值 ，在激活函數(shù)的作用下輸出對應 ，其中b為激活函數(shù)的閾值。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)3. 常見激活函數(shù)（Activation Function）神經(jīng)網(wǎng)絡(luò)由大量的神經(jīng)元連接組成，每個神經(jīng)元

45、代表一種特定的輸出函數(shù)，稱為激活函數(shù)。激活函數(shù)不是要在神經(jīng)網(wǎng)絡(luò)中發(fā)揮某種激活作用，而是通過某種函數(shù)的形式把生物神經(jīng)元中“激活的神經(jīng)元特征”保留并映射出來。激活函數(shù)具有可微性、單調(diào)性和輸出范圍有限等特點。常用的激活函數(shù)主要有線性函數(shù)、斜面函數(shù)、閾值函數(shù)、Sigmoid函數(shù)，雙曲正切函數(shù)以及ReLU函數(shù)。下面重點介紹三種常用的函數(shù)：創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)3. 常見激活函數(shù)（Activation Function）（1）Sigmoid函數(shù)Sigmoid函數(shù)又稱為S型曲線，是一種常用的非線性激活函數(shù)，數(shù)學表達式為：由圖可知，Sigmoid函數(shù)是一個

46、連續(xù)、光滑且嚴格單調(diào)的閾值函數(shù)，可將輸入的實值映射到01的范圍內(nèi)，當輸入值趨向于負無窮時映射結(jié)果為0，當輸入值趨向于正無窮時映射結(jié)果為1。但Sigmoid函數(shù)也存在缺點，具體表現(xiàn)為Sigmoid函數(shù)有易飽和性，當輸入值非常大或非常小時，神經(jīng)元梯度幾乎接近0。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)3. 常見激活函數(shù)（Activation Function）（2）Tanh函數(shù)Tanh函數(shù)是雙曲正切函數(shù)，是一種常用的非線性激活函數(shù)，數(shù)學表達式為：由圖可知，Tanh函數(shù)和Sigmoid函數(shù)類似，是Sigmoid函數(shù)的變形，不同的是Tanh函數(shù)把實值的輸入映射到的范

47、圍，基本是0均值。Tanh函數(shù)解決了上述Sigmoid函數(shù)的第二個缺點，因此實際中Tanh函數(shù)比Sigmoid函數(shù)更常用。Tanh函數(shù)的缺點是存在梯度飽和的問題。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)3. 常見激活函數(shù)（Activation Function）（3）ReLU函數(shù)近年來，ReLU函數(shù)越來越受歡迎，數(shù)學表達式為：由圖可知，當輸入信號小于0時，輸出為0，當輸入信號大于0時，輸入與輸出相等。ReLU函數(shù)的優(yōu)點是：1）相比于Sigmoid函數(shù)和Tanh函數(shù)，收斂速度較快，且梯度不會飽和；2）計算復雜度較低，只需要一個閾值即可得到輸出。缺點是：當輸入小

48、于0時，梯度為為0，會導致負的梯度被置零而不被激活。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)4. 結(jié)構(gòu)與類型（1）神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)目前為止，已有40多種人工神經(jīng)網(wǎng)絡(luò)模型被開發(fā)和應用，如感知機、反向網(wǎng)絡(luò)、自組織映射、Hopfield網(wǎng)絡(luò)等。根據(jù)網(wǎng)絡(luò)中神經(jīng)元的互聯(lián)方式，可分為前饋型神經(jīng)網(wǎng)絡(luò)、反饋型神經(jīng)網(wǎng)絡(luò)、層內(nèi)互連前向網(wǎng)絡(luò)以及互聯(lián)網(wǎng)絡(luò)。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)（1）神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)1）前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示，主要包括輸入層、隱含層和輸出層。網(wǎng)絡(luò)中的神經(jīng)元分層排列，層內(nèi)神經(jīng)元無連接，層間神

49、經(jīng)元有連接，在這種網(wǎng)絡(luò)結(jié)構(gòu)下，信息由輸入單元經(jīng)過隱含層到達輸出單元，傳導方向始終一致，無反饋。因此前饋型神經(jīng)網(wǎng)絡(luò)對每個輸入信息是同等對待或等權(quán)處理的。典型的前饋型神經(jīng)網(wǎng)絡(luò)是BP神經(jīng)網(wǎng)絡(luò)。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)（1）神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)2）反饋型神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示，由結(jié)構(gòu)圖可知，反饋型神經(jīng)網(wǎng)絡(luò)與前饋型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)大體一致，不同的是，反饋型神經(jīng)網(wǎng)絡(luò)在前饋型神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了輸出到輸入的反饋機制，將最后一層的神經(jīng)元中自身的輸出信號作為輸入信號反饋給前層其他神經(jīng)元。典型的反饋型神經(jīng)網(wǎng)絡(luò)是Hopfield神經(jīng)網(wǎng)絡(luò)。創(chuàng)新與貢獻研究

50、意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)（1）神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)3）層內(nèi)互連前向網(wǎng)絡(luò)層內(nèi)互連前向網(wǎng)絡(luò)是在前饋型神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，將層內(nèi)神經(jīng)元相互連接，通過限制層內(nèi)可以同時被激活的神經(jīng)元數(shù)量，或?qū)觾?nèi)神經(jīng)元以分組的形式進行集體激活，從而實現(xiàn)同一層神經(jīng)元之間橫向興奮或抑制的機制。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)（1）神經(jīng)網(wǎng)絡(luò)的互聯(lián)結(jié)構(gòu)4）互聯(lián)網(wǎng)絡(luò)互聯(lián)網(wǎng)絡(luò)分為全互連和局部互連兩種。全互聯(lián)網(wǎng)絡(luò)中，每個神經(jīng)元都與其他神經(jīng)元相連；局部互連網(wǎng)絡(luò)中，有些神經(jīng)元之間沒有連接關(guān)系，互連是局部的?；ヂ?lián)網(wǎng)絡(luò)的特點是，能夠?qū)ν鹊匚恍畔⒅g的強弱關(guān)系進行

51、區(qū)分。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)5. 神經(jīng)網(wǎng)絡(luò)工作方式神經(jīng)網(wǎng)絡(luò)運作過程分為學習和工作兩個階段。（1）神經(jīng)網(wǎng)絡(luò)的學習階段神經(jīng)網(wǎng)絡(luò)的學習階段是指通過使用學習算法來調(diào)整神經(jīng)元間的聯(lián)接權(quán)值，使得網(wǎng)絡(luò)輸出更符合實際需求的狀態(tài)。（2）神經(jīng)網(wǎng)絡(luò)的工作階段神經(jīng)網(wǎng)絡(luò)的工作階段是指在神經(jīng)元間的連接權(quán)值不變的情況下，神經(jīng)網(wǎng)絡(luò)作為分類器、預測器等被使用。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)6. 學習規(guī)則神經(jīng)網(wǎng)絡(luò)的學習規(guī)則就是修正權(quán)值和偏置值的過程和方法，分為有監(jiān)督學習，無監(jiān)督學習和增強學習。常見的學習規(guī)則主要有： Hebb學習規(guī)

52、則 誤差修正型規(guī)則 Delta學習規(guī)則 競爭型規(guī)則 隨機型規(guī)則等創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)6. 學習規(guī)則（1）Hebb學習規(guī)則Hebb學習規(guī)則屬于無監(jiān)督學習規(guī)則，原理是當兩個神經(jīng)元同時處于激發(fā)狀態(tài)時兩者間的連接值會被加強，否則被減弱：某一時間一個神經(jīng)元被激發(fā)，如果會同時激發(fā)另外一個神經(jīng)元，則會認為兩個神經(jīng)元之間存在著聯(lián)系，聯(lián)系會被強化；反之，如果兩個神經(jīng)元總是不能夠同時被激發(fā)，則兩個神經(jīng)元之間的聯(lián)系會越來越弱。（2）誤差修正型規(guī)則誤差修正型規(guī)則是一種有監(jiān)督的學習規(guī)則，原理是根據(jù)實際輸出與期望輸出的誤差，進行網(wǎng)絡(luò)連接權(quán)值的修正，最終網(wǎng)絡(luò)誤差小于目

53、標函數(shù)，達到預期效果。誤差修正型規(guī)則主要包括：學習規(guī)則、感知器學習規(guī)則、BP學習規(guī)則和Widrow-Hoff學習規(guī)則等。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)6. 學習規(guī)則（3）Delta學習規(guī)則Delta學習規(guī)則是一種簡單的監(jiān)督學習規(guī)則，原理是根據(jù)神經(jīng)元的實際輸出與期望輸出差別來調(diào)整連接權(quán)值：若神經(jīng)元實際輸出比期望輸出大，則減小所有輸入為正的連接權(quán)重，增大所有輸入為負的連接權(quán)重；反之，若神經(jīng)元實際輸出比期望輸出小，則增大所有輸入為正的連接權(quán)重，減小所有輸入為負的連接權(quán)重。（4）競爭型規(guī)則競爭型規(guī)則是一種無監(jiān)督學習算法，原理是網(wǎng)絡(luò)中沒有期望輸出，僅根據(jù)一些

54、現(xiàn)有的學習樣本進行自組織學習，通過神經(jīng)元之間相互競爭對外界刺激響應的權(quán)利，調(diào)整網(wǎng)絡(luò)權(quán)值以適應輸入的樣本數(shù)據(jù)。創(chuàng)新與貢獻研究意義選題背景第二章2.6.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6 人工神經(jīng)網(wǎng)絡(luò)6. 學習規(guī)則（5）隨機型規(guī)則隨機型規(guī)則是一種有監(jiān)督學習算法，原理是將隨機思想、概率論思想及能量函數(shù)思想加入到學習的過程中，根據(jù)網(wǎng)絡(luò)輸出均方差的變化調(diào)整網(wǎng)絡(luò)中的相關(guān)參數(shù)，最終達到網(wǎng)絡(luò)目標函數(shù)收斂的目的。創(chuàng)新與貢獻研究意義選題背景第二章2.6.3 BP神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)1. 簡介BBP（Back Propagation）神經(jīng)網(wǎng)絡(luò)由Rumelhant和Mcllelland在1986年提出的，是一種采用有監(jiān)督

55、學習方式的多層前向反饋網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點是：理論基礎(chǔ)較好，推導過程嚴謹，通用性較好。其缺點是：（1）算法收斂速度慢；（2）對隱節(jié)點個數(shù)的選擇沒有理論上的指導；（3）采用梯度最速下降法，訓練過程中容易出現(xiàn)局部最優(yōu)問題，因此得到的解不一定是全局最優(yōu)解。創(chuàng)新與貢獻研究意義選題背景第二章2.6.3 BP神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 基本原理BP神經(jīng)網(wǎng)絡(luò)包括信號的正向傳播和誤差的反向傳播兩個過程，從輸入到輸出的方向計算誤差輸出，從輸出到輸入的方向調(diào)整權(quán)值和閾值。正向傳播過程：輸入信號通過隱含層，經(jīng)過非線性變換，作用于輸出節(jié)點，產(chǎn)生輸出信號，當實際輸出與期望輸出不相符時，轉(zhuǎn)入誤差的反向傳播過程；

56、反向傳播過程：輸出誤差通過隱含層向輸入層逐層反傳，同時將誤差傳播到各層所有的單元，以各層的誤差信號作為調(diào)整各單元權(quán)值的依據(jù)，通過調(diào)整隱層節(jié)點與輸出節(jié)點的連接權(quán)值以及閾值和輸入節(jié)點與隱層節(jié)點的連接權(quán)值，使誤差沿梯度方向下降。經(jīng)過反復學習訓練，直到對整個學習樣本集的誤差達到要求時，訓練停止。創(chuàng)新與貢獻研究意義選題背景第二章2.6.3 BP神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)3. BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)步驟主要思想是輸入學習樣本，使用反向傳播算法對網(wǎng)絡(luò)的權(quán)值和閾值進行反復的調(diào)整訓練，使輸出向量與期望向量盡可能相等或接近，當網(wǎng)絡(luò)輸出層的誤差在指定范圍內(nèi)時訓練完成。具體步驟如下：（1）選擇一組學習樣本，每一個樣本由輸

57、入信息和期望的輸出結(jié)果兩部分組成。（2）從學習樣本集中取一樣本，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計算經(jīng)神經(jīng)元處理后的輸出層各節(jié)點的輸出。（4）計算網(wǎng)絡(luò)的實際輸出和期望輸出之間的誤差，判斷誤差是否在指定范圍內(nèi)，如果在則訓練完成，不在則執(zhí)行步驟（5）。（5）從輸出層反向計算到第一個隱層，并按照能使誤差向減小方向的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值及閾值，執(zhí)行步驟（4）。創(chuàng)新與貢獻研究意義選題背景第二章2.6.4 RBF神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)1. 簡介RBF神經(jīng)網(wǎng)絡(luò)（Radical Basis Function，RBF）即徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，是繼BP神經(jīng)網(wǎng)絡(luò)之后發(fā)展起來的性能更優(yōu)的一種典型的

58、三層前饋神經(jīng)網(wǎng)絡(luò)，其特點是能夠逼近任意的非線性函數(shù)，泛化能力較強，收斂速度快。目前，RBF神經(jīng)網(wǎng)絡(luò)已成功應用于非線性函數(shù)逼近、時間序列分析、數(shù)據(jù)分類、圖像處理、系統(tǒng)建模、控制和故障診斷等領(lǐng)域。創(chuàng)新與貢獻研究意義選題背景第二章2.6.4 RBF神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 基本原理RBF神經(jīng)網(wǎng)絡(luò)是由輸入層、隱藏層和輸出層組成，結(jié)構(gòu)如左圖所示。其中，隱藏層由隱單元構(gòu)成，隱單元的個數(shù)可根據(jù)實際需求設(shè)定。隱藏層中的激活函數(shù)稱為徑向基函數(shù)，是一種是通過局部分布的、對中心點徑向?qū)ΨQ衰減的非負非線性函數(shù)，常用的徑向基函數(shù)是高斯函數(shù)，如左公式所示。創(chuàng)新與貢獻研究意義選題背景第二章2.6.4 RBF神經(jīng)網(wǎng)絡(luò)

59、2.6 人工神經(jīng)網(wǎng)絡(luò)2. 基本原理式中 為隱藏層第i個單元的輸出，x是輸入向量， 是隱藏層第i個高斯單元的中心， i表示該基函數(shù)圍繞中心點的寬度，范數(shù) 表示向量x與中心之間的距離。RBF網(wǎng)絡(luò)的基本原理是：以徑向基函數(shù)作為隱單元的基構(gòu)成隱層空間。輸入向量由輸入層到隱藏層時，被直接映射到隱層空間；由隱藏層到輸出層時，是簡單的線性相加。假設(shè)輸入層節(jié)點數(shù)為n，隱藏層和輸出層節(jié)點的個數(shù)分別為h和m。則網(wǎng)絡(luò)的輸出可表示為：創(chuàng)新與貢獻研究意義選題背景第二章2.6.4 RBF神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 基本原理其中 為網(wǎng)絡(luò)的輸出， 是第i個隱藏層節(jié)點到輸出層第k個節(jié)點的權(quán)值。上式的矩陣形式為：其中RBF

60、神經(jīng)網(wǎng)絡(luò)是將原始的非線性不可分的向量空間變換到另一空間（通常是高維空間），將低維空間非線性不可分問題通過核函數(shù)映射到高維空間中，使其達到在高維空間線性可分的目的。因此，RBF神經(jīng)網(wǎng)絡(luò)是一種強有力的核方法。創(chuàng)新與貢獻研究意義選題背景第二章2.6.4 RBF神經(jīng)網(wǎng)絡(luò)2.6 人工神經(jīng)網(wǎng)絡(luò)2. 基本原理RBF神經(jīng)網(wǎng)絡(luò)算法步驟如下：（1）以K-均值聚類方法，確定基函數(shù)中心 ；（詳見2.2.3）（2）計算寬度 （其中 為所選取中心之間的最大距離，u為中心的個數(shù)）；（3）計算隱藏層與輸出層之間的權(quán)值 （其中P為非中心樣本個數(shù)）。創(chuàng)新與貢獻研究意義選題背景第二章2.7.1 簡介2.7 支持向量機支持向量機（S