機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)課件

1、機(jī)器學(xué)習(xí)基于遺傳算法一BP神經(jīng)網(wǎng)絡(luò)圖像處理什么是神經(jīng)網(wǎng)絡(luò)BP(誤差逆?zhèn)鞑?神經(jīng)網(wǎng)絡(luò)遺傳算法原理遺傳BP神經(jīng)網(wǎng)絡(luò)相結(jié)合仿真目錄什么是神經(jīng)網(wǎng)絡(luò) 神經(jīng)元：生物學(xué)上的神經(jīng)元人工神經(jīng)元是對(duì)生物神經(jīng)元的簡(jiǎn)化和模擬。生物神經(jīng)元由細(xì)胞體、樹突和軸突這三部分組成，如圖所示。樹突是細(xì)胞的輸入端，通過(guò)細(xì)胞間連接的節(jié)點(diǎn)“突觸”接觸四周細(xì)胞傳出的神經(jīng)沖動(dòng)，軸突相當(dāng)于細(xì)胞的輸出端，其端部的眾多神經(jīng)末梢為信號(hào)的輸出端子，用于傳出神經(jīng)沖動(dòng)。生物神經(jīng)元具有興奮和抑制兩種工作狀態(tài)。當(dāng)傳入的神經(jīng)沖動(dòng)，使細(xì)胞膜電位升高到閾值(約為40mV)時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突輸出。相反，若傳入的神經(jīng)沖動(dòng)，使細(xì)胞膜電位降到低于閾

2、時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，沒(méi)有神經(jīng)沖動(dòng)輸出。什么是神經(jīng)網(wǎng)絡(luò) 神經(jīng)元模型：為了模擬生物神經(jīng)元，一個(gè)簡(jiǎn)化的人工神經(jīng)元如圖所示。它有三個(gè)基本要素：1一組連接權(quán)(對(duì)應(yīng)于生物神經(jīng)元的突觸)，連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值為正表示激勵(lì)，為負(fù)值表示抑制。2一個(gè)求和單元，用于求取各輸入信息的加權(quán)和(線性組合)。3一個(gè)非線性激勵(lì)函數(shù)，起非線性映射作用并限制神經(jīng)元輸出幅度在一定的范圍之內(nèi)。此外還有一個(gè)闕值。閾值也被看作是一個(gè)輸入分量，也就是閾值也是一個(gè)權(quán)值。在網(wǎng)絡(luò)的設(shè)計(jì)中，偏差起著重要的作用，它使得激活函數(shù)的圖形可以左右移動(dòng)而增加解決問(wèn)題的可能性。什么是神經(jīng)網(wǎng)絡(luò) 神經(jīng)元模型：數(shù)學(xué)表達(dá)凈輸入通過(guò)傳遞（Transfe

3、rFunction）f()后，便得到第j個(gè)神經(jīng)元的輸出:于是節(jié)點(diǎn)j的凈輸入可表示為：BP神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)原理BP算法由數(shù)據(jù)流的前向計(jì)算（正向傳播）和誤差信號(hào)的反向傳播兩個(gè)過(guò)程構(gòu)成。正向傳播時(shí)，傳播方向?yàn)檩斎雽与[層輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號(hào)的反向傳播流程。通過(guò)這兩個(gè)過(guò)程的交替進(jìn)行，在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略，動(dòng)態(tài)迭代搜索一組權(quán)向量，使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值，從而完成信息提取和記憶過(guò)程。BP神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)原理：正向傳播至此B-P網(wǎng)絡(luò)就完成了n維空間向量對(duì)m維空間的近似映射。輸出層節(jié)點(diǎn)的輸出為BP神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)

4、絡(luò)原理：反向傳播輸出層權(quán)值的變化于是最終輸出層各神經(jīng)元的權(quán)值調(diào)整公式為：（ 學(xué)習(xí)效率）BP神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)計(jì)算步驟BP神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)存在的問(wèn)題BP算法理論具有依據(jù)可靠、推導(dǎo)過(guò)程嚴(yán)謹(jǐn)、精度較高、通用性較好等優(yōu)點(diǎn)，但標(biāo)準(zhǔn)BP算法存在以下缺點(diǎn)：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點(diǎn)個(gè)數(shù)。在實(shí)際應(yīng)用中，BP算法很難勝任，因此出現(xiàn)了很多改進(jìn)算法。自適應(yīng)調(diào)整學(xué)習(xí)速率：調(diào)整的基本指導(dǎo)思想是：在學(xué)習(xí)收斂的情況下，增大，以縮短學(xué)習(xí)時(shí)間；當(dāng)偏大致使不能收斂時(shí)，要及時(shí)減小，直到收斂為止。利用動(dòng)量法改進(jìn)BP算法：動(dòng)量法權(quán)值調(diào)整算法的具體做法是：將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤

5、差計(jì)算所得的權(quán)值調(diào)整量上，作為本次的實(shí)際權(quán)值調(diào)整量。遺傳算法原理 流程圖遺傳算法原理 基于遺傳算法的神經(jīng)網(wǎng)絡(luò)權(quán)值學(xué)習(xí)具體步驟如下：1編碼方式：神經(jīng)網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)是一個(gè)復(fù)雜的連續(xù)參數(shù)優(yōu)化問(wèn)題，如果采用二進(jìn)制編碼，會(huì)造成編碼串過(guò)長(zhǎng)，且需要再解碼為實(shí)數(shù)，使權(quán)值變化為步進(jìn)，影響網(wǎng)絡(luò)學(xué)習(xí)精度。這里我們采用了實(shí)數(shù)編碼，如圖34所示，神經(jīng)網(wǎng)絡(luò)的各個(gè)權(quán)值按一定的順序級(jí)聯(lián)為一個(gè)長(zhǎng)串，串上的每一個(gè)位置對(duì)應(yīng)著網(wǎng)絡(luò)的一個(gè)權(quán)值。遺傳算法原理 基于遺傳算法的神經(jīng)網(wǎng)絡(luò)權(quán)值學(xué)習(xí)4遺傳算子：對(duì)于不同的應(yīng)用問(wèn)題，遺傳算子的形式多種多樣，這里采用了權(quán)值交叉和權(quán)值變異算子。如圖35所示。遺傳算法原理 基于遺傳算法的神經(jīng)網(wǎng)絡(luò)權(quán)值學(xué)習(xí)其

6、中，N是群體規(guī)模。在實(shí)際學(xué)習(xí)中，一般將適應(yīng)度最大的個(gè)體無(wú)條件地遺傳給下一代。遺傳BP神經(jīng)網(wǎng)絡(luò)相結(jié)合 遺傳BP神經(jīng)網(wǎng)絡(luò)相結(jié)合的優(yōu)勢(shì) 遺傳算法能夠收斂到全局最優(yōu)解，而且遺傳算法的魯棒性較強(qiáng)，將遺傳算法與前饋神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)是很有意義的，不僅能發(fā)揮神經(jīng)網(wǎng)絡(luò)的非線性映射能力，而且使神經(jīng)網(wǎng)絡(luò)具有很快的收斂速度和較強(qiáng)的學(xué)習(xí)能力。 將遺傳算法用于學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)權(quán)值，首先確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，列出神經(jīng)網(wǎng)絡(luò)的神經(jīng)元和神經(jīng)元之間的連接關(guān)系，將這些連接權(quán)編碼成實(shí)數(shù)碼串表示的個(gè)體，隨機(jī)地生成這些碼串的群體；然后，進(jìn)行常規(guī)的遺傳算法優(yōu)化計(jì)算；最后將最優(yōu)個(gè)體解碼，確定神經(jīng)網(wǎng)絡(luò)的權(quán)值。遺傳BP神經(jīng)網(wǎng)絡(luò)相結(jié)合 遺傳一BP結(jié)合算法

7、在本文中設(shè)計(jì)的權(quán)值學(xué)習(xí)算法中，網(wǎng)絡(luò)的權(quán)值是經(jīng)過(guò)三個(gè)階段的學(xué)習(xí)得到的。 第一個(gè)階段，利用BP算法進(jìn)行一定次數(shù)的學(xué)習(xí)以達(dá)到選取初值的效果； 第二個(gè)階段，采用遺傳算法完成接近給定精度的網(wǎng)絡(luò)學(xué)習(xí)，完成一定精度的學(xué)習(xí)； 第三個(gè)階段，在遺傳算法收斂速度較慢時(shí)，改用BP算法完成給定精度的學(xué)習(xí)。這樣建立的網(wǎng)絡(luò)模型穩(wěn)定、全局收斂速度快，同時(shí)具有很強(qiáng)的記憶能力和推廣能力。算法流程圖如圖所示。遺傳BP神經(jīng)網(wǎng)絡(luò)相結(jié)合 遺傳一BP神經(jīng)網(wǎng)絡(luò)模型有了上面的理論基礎(chǔ)，我們現(xiàn)在開始構(gòu)建用于圖像識(shí)別的遺傳BP網(wǎng)絡(luò)分類器，其網(wǎng)絡(luò)模型如圖37所示仿真 手寫體數(shù)字識(shí)別在郵政編碼識(shí)別、銀行業(yè)務(wù)等方面有重要的應(yīng)用，由于字體變化大，因此識(shí)別率要求較高。 實(shí)驗(yàn)數(shù)據(jù)為美國(guó)郵政服務(wù)數(shù)據(jù)庫(kù)USPS(US Postal Service)中的編碼集。USPS數(shù)據(jù)庫(kù)以Matlab文件形式存在的。有7291個(gè)訓(xùn)練樣本和2007個(gè)測(cè)試樣本，每一個(gè)模式都以16x 16的點(diǎn)陣形式存在，點(diǎn)陣的每一個(gè)元素都是-1+l之間的雙精度實(shí)數(shù)。我們從訓(xùn)練樣本中選取200個(gè)作為訓(xùn)練集，從測(cè)試樣本中選取100個(gè)作為測(cè)試集。表32、33給出了每一個(gè)文件的結(jié)構(gòu)。其中trainarg給出了每個(gè)模式的真是類別。比如說(shuō)，一個(gè)數(shù)是6，那么它在