神經(jīng)網(wǎng)絡(luò)優(yōu)化計(jì)算

神經(jīng)網(wǎng)絡(luò)優(yōu)化計(jì)算第一頁，共五十頁，編輯于2023年，星期日5.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

5.1.1發(fā)展歷史

5.1.2McCulloch-Pitts神經(jīng)元

5.1.3網(wǎng)絡(luò)結(jié)構(gòu)的確定

5.1.4關(guān)聯(lián)權(quán)值的確定

5.1.5工作階段5.2多層前向神經(jīng)網(wǎng)絡(luò)

5.2.1一般結(jié)構(gòu)

5.2.2反向傳播算法

5.3反饋型神經(jīng)網(wǎng)絡(luò)

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年第二頁，共五十頁，編輯于2023年，星期日5.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年“神經(jīng)網(wǎng)絡(luò)”與“人工神經(jīng)網(wǎng)絡(luò)”1943年，WarrenMcCulloch和WalterPitts建立了第一個(gè)人工神經(jīng)網(wǎng)絡(luò)模型；1969年，Minsky和Papert發(fā)表Perceptrons；20世紀(jì)80年代，Hopfield將人工神經(jīng)網(wǎng)絡(luò)成功應(yīng)用在組合優(yōu)化問題。

5.1.1發(fā)展歷史第三頁，共五十頁，編輯于2023年，星期日5.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年重要意義現(xiàn)代的神經(jīng)網(wǎng)絡(luò)開始于McCulloch,Pitts(1943)的先驅(qū)工作；他們的神經(jīng)元模型假定遵循有-無模型律；如果如此簡(jiǎn)單的神經(jīng)元數(shù)目足夠多和適當(dāng)設(shè)置連接權(quán)值并且同步操作,McCulloch&Pitts證明這樣構(gòu)成的網(wǎng)絡(luò)原則上可以計(jì)算任何可計(jì)算函數(shù)；標(biāo)志著神經(jīng)網(wǎng)絡(luò)和人工智能的誕生。

5.1.2McCulloch-Pitts神經(jīng)元第四頁，共五十頁，編輯于2023年，星期日5.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年結(jié)構(gòu)

McCulloch-Pitts輸出函數(shù)定義為：

5.1.2McCulloch-Pitts神經(jīng)元InputsignalSynapticweightsSummingfunctionActivationfunctionOutputyx1x2xnw2wnw1-θ第五頁，共五十頁，編輯于2023年，星期日5.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年網(wǎng)絡(luò)的構(gòu)建Y=F(X)

5.1.2McCulloch-Pitts神經(jīng)元x1y1輸出層隱藏層輸入層x2y2ymxn…………第六頁，共五十頁，編輯于2023年，星期日網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)前向型、反饋型等神經(jīng)元激活函數(shù)階躍函數(shù)線性函數(shù)

Sigmoid函數(shù)5.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.1.3網(wǎng)絡(luò)結(jié)構(gòu)的確定f(x)x0+1第七頁，共五十頁，編輯于2023年，星期日確定的內(nèi)容

權(quán)值wi和θ確定的方式學(xué)習(xí)（訓(xùn)練）有指導(dǎo)的學(xué)習(xí)：已知一組正確的輸入輸出結(jié)果的條件下，神經(jīng)網(wǎng)絡(luò)依據(jù)這些數(shù)據(jù)，調(diào)整并確定權(quán)值；無指導(dǎo)的學(xué)習(xí)：只有輸入數(shù)據(jù)，沒有正確的輸出結(jié)果情況下，確定權(quán)值。

5.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.1.4關(guān)聯(lián)權(quán)值的確定第八頁，共五十頁，編輯于2023年，星期日學(xué)習(xí)與工作的關(guān)系先學(xué)習(xí)→再工作5.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.1.5工作階段第九頁，共五十頁，編輯于2023年，星期日5.2多層前向神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年多層兩層以上前向無反饋

5.2.1一般結(jié)構(gòu)輸出層隱藏層輸入層y1y2ym…x1x2xn………………第十頁，共五十頁，編輯于2023年，星期日5.2多層前向神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年目的確定權(quán)值方法反向推導(dǎo)

5.2.2反向傳播算法第十一頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年一般結(jié)構(gòu)各神經(jīng)元之間存在相互聯(lián)系分類連續(xù)系統(tǒng)：激活函數(shù)為連續(xù)函數(shù)離散系統(tǒng)：激活函數(shù)為階躍函數(shù)

第十二頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年Hopfield神經(jīng)網(wǎng)絡(luò)

1982年提出Hopfield反饋神經(jīng)網(wǎng)絡(luò)（HNN），證明在高強(qiáng)度連接下的神經(jīng)網(wǎng)絡(luò)依靠集體協(xié)同作用能自發(fā)產(chǎn)生計(jì)算行為。是典型的全連接網(wǎng)絡(luò)，通過引入能量函數(shù)，使網(wǎng)絡(luò)的平衡態(tài)與能量函數(shù)極小值解相對(duì)應(yīng)。

第十三頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年網(wǎng)絡(luò)結(jié)構(gòu)

N為網(wǎng)絡(luò)節(jié)點(diǎn)總數(shù)。

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)s1(t+1)……s2(t+1)sn(t+1)s1(t)s2(t)sn(t)w12w1nw21w2nwn1wn2ΣΣΣΔ第十四頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年網(wǎng)絡(luò)結(jié)構(gòu)一般認(rèn)為vj(t)=0時(shí)神經(jīng)元保持不變sj(t+1)=sj(t);

一般情況下網(wǎng)絡(luò)是對(duì)稱的（wij=wji）且無自反饋（wjj=0）;

整個(gè)網(wǎng)絡(luò)的狀態(tài)可用向量s表示：

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)第十五頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年工作方式串行（異步，asynchronous）:任一時(shí)刻只有一個(gè)單元改變狀態(tài)，其余單元保持不變；并行（同步，synchronous）：某一時(shí)刻所有神經(jīng)元同時(shí)改變狀態(tài)。穩(wěn)定狀態(tài)如果從t=0的任一初始態(tài)s(0)開始變化，存在某一有限時(shí)刻t，從此以后網(wǎng)絡(luò)狀態(tài)不再變化，即s(t+1)=s(t)，則稱網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)。

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)第十六頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年能量函數(shù)的定義異步方式：同步方式：

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)第十七頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年能量函數(shù)能量是有界的：從任一初始狀態(tài)開始，若在每次迭代時(shí)都滿足ΔE≤0，則網(wǎng)絡(luò)的能量將越來越小，最后趨向于穩(wěn)定狀態(tài)ΔE＝0。

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)第十八頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年能量函數(shù)分析異步（且網(wǎng)絡(luò)對(duì)稱wij=wji）情況下：假設(shè)只有神經(jīng)元i改變狀態(tài)

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)第十九頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年能量函數(shù)分析異步（且網(wǎng)絡(luò)對(duì)稱wij=wji）情況下：假設(shè)只有神經(jīng)元i改變狀態(tài)

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)同號(hào)第二十頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年能量函數(shù)分析同步（且網(wǎng)絡(luò)對(duì)稱wij=wji）情況下：

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)同號(hào)第二十一頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年網(wǎng)絡(luò)結(jié)構(gòu)與電子線路對(duì)應(yīng)：

放大器——神經(jīng)元電阻、電容——神經(jīng)元的時(shí)間常數(shù)電導(dǎo)——權(quán)系數(shù)

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)第二十二頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年網(wǎng)絡(luò)的微分方程能量函數(shù)

可證明，若g-1為單調(diào)增且連續(xù)，Cj>0，Tji=Tij，則有dE/dt≤0，當(dāng)且僅當(dāng)dvi/dt=0時(shí)dE/dt=0。

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)第二十三頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年能量函數(shù)隨著時(shí)間的增長(zhǎng)，神經(jīng)網(wǎng)絡(luò)在狀態(tài)空間中的解軌跡總是向能量函數(shù)減小的方向變化，且網(wǎng)絡(luò)的穩(wěn)定點(diǎn)就是能量函數(shù)的極小點(diǎn)。

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)第二十四頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年能量函數(shù)將動(dòng)力系統(tǒng)方程

簡(jiǎn)單記為：

如果，則稱ve是動(dòng)力系統(tǒng)的平衡點(diǎn)，也稱ve為吸引子。

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)第二十五頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年能量函數(shù)當(dāng)從某一初始狀態(tài)變化時(shí)，網(wǎng)絡(luò)的演變是使E下降，達(dá)到某一局部極小時(shí)就停止變化。這些能量的局部極小點(diǎn)就是網(wǎng)絡(luò)的穩(wěn)定點(diǎn)或稱吸引子。

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)第二十六頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年Hopfield網(wǎng)絡(luò)設(shè)計(jì)當(dāng)Hopfield用于優(yōu)化計(jì)算時(shí)，網(wǎng)絡(luò)的權(quán)值是確定的，應(yīng)將目標(biāo)函數(shù)與能量函數(shù)相對(duì)應(yīng)，通過網(wǎng)絡(luò)的運(yùn)行使能量函數(shù)不斷下降并最終達(dá)到最小，從而得到問題對(duì)應(yīng)的極小解。

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第二十七頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年Hopfield網(wǎng)絡(luò)設(shè)計(jì)通常需要以下幾方面的工作：（1）選擇合適的問題表示方法，使神經(jīng)網(wǎng)絡(luò)的輸出與問題的解相對(duì)應(yīng)；（2）構(gòu)造合適的能量函數(shù)，使其最小值對(duì)應(yīng)問題的最優(yōu)解；

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第二十八頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年Hopfield網(wǎng)絡(luò)設(shè)計(jì)通常需要以下幾方面的工作：（3）由能量函數(shù)和穩(wěn)定條件設(shè)計(jì)網(wǎng)絡(luò)參數(shù)，如連接權(quán)值和偏置參數(shù)等；（4）構(gòu)造相應(yīng)的神經(jīng)網(wǎng)絡(luò)和動(dòng)態(tài)方程；（5）用硬件實(shí)現(xiàn)或軟件模擬。

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第二十九頁，共五十頁，編輯于2023年，星期日5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年TSP問題的表示將TSP問題用一個(gè)n×n矩陣表示，矩陣的每個(gè)元素代表一個(gè)神經(jīng)元。

代表商人行走順序?yàn)椋?→1→2→4

每一行、每一列的和各為1。

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用1為是，0為否第1站第2站第3站第4站城市10100城市20010城市31000城市40001第三十頁，共五十頁，編輯于2023年，星期日能量函數(shù)的構(gòu)建每個(gè)神經(jīng)元接收到的值為zij，其輸出值為yij，激活函數(shù)采用Sigmoid函數(shù)，記兩個(gè)城市x和y的距離是dxy。

1）希望每一行的和為1，即

最小，每一行最多有一個(gè)1時(shí)，E1＝0。5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第1站第2站第3站第4站城市10100城市20010城市31000城市40001第三十一頁，共五十頁，編輯于2023年，星期日能量函數(shù)的構(gòu)建

2）希望每一列的和為1，即

最小，每一列最多有一個(gè)1時(shí)，E2＝0。

3）希望每一行每一列正好有一個(gè)1，則為零。5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第1站第2站第3站第4站城市10100城市20010城市31000城市40001第三十二頁，共五十頁，編輯于2023年，星期日能量函數(shù)的構(gòu)建

4）E1，E2，E3只能保證TSP的一個(gè)可行解，為了得到TSP的最小路徑，當(dāng)duv=dvu時(shí)，希望

最小，其中，yu0=yun，yu(n+1)=yu1。duvyuiyv(i+1)表示城市u和v之間的距離（i代表行走順序）。5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第1站第2站第3站第4站城市10100城市20010城市31000城市40001第三十三頁，共五十頁，編輯于2023年，星期日能量函數(shù)的構(gòu)建5）根據(jù)連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)，

最后，能量函數(shù)表示為：

A，B，C，D，α為非負(fù)常數(shù)。5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第三十四頁，共五十頁，編輯于2023年，星期日能量函數(shù)的構(gòu)建由動(dòng)力學(xué)方程，

5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第三十五頁，共五十頁，編輯于2023年，星期日能量函數(shù)的構(gòu)建整理后得到：5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第三十六頁，共五十頁，編輯于2023年，星期日10城市TSP問題（d*=2.691）

0.40.4439;0.24390.1463;0.17070.2293;0.22930.761;0.51710.9414;0.87320.6536;0.68780.5219;0.84880.3609;0.66830.2536;0.61950.26345.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第三十七頁，共五十頁，編輯于2023年，星期日10城市TSP問題（d*=2.691）流程圖：

5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第三十八頁，共五十頁，編輯于2023年，星期日10城市TSP問題（d*=2.691）初始參數(shù)：

α＝1A＝B＝D＝500，C＝200激勵(lì)函數(shù)為Sigmoid

其中，μ0＝0.025.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第三十九頁，共五十頁，編輯于2023年，星期日10城市TSP問題（d*=2.691）初始參數(shù)：

初始的yui

初始的zui

λ=0.000015.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第四十頁，共五十頁，編輯于2023年，星期日10城市TSP問題（d*=2.691）

5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第四十一頁，共五十頁，編輯于2023年，星期日10城市TSP問題（d*=2.691）

5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第四十二頁，共五十頁，編輯于2023年，星期日10城市TSP問題（d*=2.691）

5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第四十三頁，共五十頁，編輯于2023年，星期日10城市TSP問題（d*=2.691）

5.3反饋型神經(jīng)網(wǎng)絡(luò)智能優(yōu)化計(jì)算華東理工大學(xué)自動(dòng)化系2007年

5.3.3