神經(jīng)網(wǎng)絡(luò)優(yōu)化計(jì)算

神經(jīng)網(wǎng)絡(luò)優(yōu)化計(jì)算第1頁(yè)，共52頁(yè)，2023年，2月20日，星期六25.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

5.1.1發(fā)展歷史

5.1.2McCulloch-Pitts神經(jīng)元

5.1.3網(wǎng)絡(luò)結(jié)構(gòu)的確定

5.1.4關(guān)聯(lián)權(quán)值的確定

5.1.5工作階段5.2多層前向神經(jīng)網(wǎng)絡(luò)

5.2.1一般結(jié)構(gòu)

5.2.2反向傳播算法

5.3反饋型神經(jīng)網(wǎng)絡(luò)

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用?第2頁(yè)，共52頁(yè)，2023年，2月20日，星期六35.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

“神經(jīng)網(wǎng)絡(luò)”與“人工神經(jīng)網(wǎng)絡(luò)”1943年，WarrenMcCulloch和WalterPitts建立了第一個(gè)人工神經(jīng)網(wǎng)絡(luò)模型；1969年，Minsky和Papert發(fā)表Perceptrons；20世紀(jì)80年代，Hopfield將人工神經(jīng)網(wǎng)絡(luò)成功應(yīng)用在組合優(yōu)化問(wèn)題。5.1.1發(fā)展歷史第3頁(yè)，共52頁(yè)，2023年，2月20日，星期六45.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

重要意義現(xiàn)代的神經(jīng)網(wǎng)絡(luò)開(kāi)始于McCulloch,Pitts(1943)的先驅(qū)工作；他們的神經(jīng)元模型假定遵循有-無(wú)模型律；如果如此簡(jiǎn)單的神經(jīng)元數(shù)目足夠多和適當(dāng)設(shè)置連接權(quán)值并且同步操作,McCulloch&Pitts證明這樣構(gòu)成的網(wǎng)絡(luò)原則上可以計(jì)算任何可計(jì)算函數(shù)；標(biāo)志著神經(jīng)網(wǎng)絡(luò)和人工智能的誕生。5.1.2McCulloch-Pitts神經(jīng)元第4頁(yè)，共52頁(yè)，2023年，2月20日，星期六55.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

結(jié)構(gòu)

McCulloch-Pitts輸出函數(shù)定義為：5.1.2McCulloch-Pitts神經(jīng)元InputsignalSynapticweightsSummingfunctionActivationfunctionOutputyx1x2xnw2wnw1-θ第5頁(yè)，共52頁(yè)，2023年，2月20日，星期六65.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

網(wǎng)絡(luò)的構(gòu)建Y=F(X)

5.1.2McCulloch-Pitts神經(jīng)元x1y1輸出層隱藏層輸入層x2y2ymxn…………第6頁(yè)，共52頁(yè)，2023年，2月20日，星期六7網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)前向型、反饋型等神經(jīng)元激活函數(shù)階躍函數(shù)線性函數(shù)

Sigmoid函數(shù)5.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

5.1.3網(wǎng)絡(luò)結(jié)構(gòu)的確定f(x)x0+1第7頁(yè)，共52頁(yè)，2023年，2月20日，星期六8確定的內(nèi)容

權(quán)值wi和θ確定的方式學(xué)習(xí)（訓(xùn)練）

有指導(dǎo)的學(xué)習(xí)：已知一組正確的輸入輸出結(jié)果的條件下，神經(jīng)網(wǎng)絡(luò)依據(jù)這些數(shù)據(jù)，調(diào)整并確定權(quán)值；

無(wú)指導(dǎo)的學(xué)習(xí)：只有輸入數(shù)據(jù)，沒(méi)有正確的輸出結(jié)果情況下，確定權(quán)值。

5.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

5.1.4關(guān)聯(lián)權(quán)值的確定第8頁(yè)，共52頁(yè)，2023年，2月20日，星期六9學(xué)習(xí)與工作的關(guān)系先學(xué)習(xí)→再工作5.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

5.1.5工作階段第9頁(yè)，共52頁(yè)，2023年，2月20日，星期六105.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

5.1.1發(fā)展歷史

5.1.2McCulloch-Pitts神經(jīng)元

5.1.3網(wǎng)絡(luò)結(jié)構(gòu)的確定

5.1.4關(guān)聯(lián)權(quán)值的確定

5.1.5工作階段5.2多層前向神經(jīng)網(wǎng)絡(luò)

5.2.1一般結(jié)構(gòu)

5.2.2反向傳播算法

5.3反饋型神經(jīng)網(wǎng)絡(luò)

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用?第10頁(yè)，共52頁(yè)，2023年，2月20日，星期六115.2多層前向神經(jīng)網(wǎng)絡(luò)多層兩層以上前向無(wú)反饋5.2.1一般結(jié)構(gòu)輸出層隱藏層輸入層y1y2ym…x1x2xn………………第11頁(yè)，共52頁(yè)，2023年，2月20日，星期六125.2多層前向神經(jīng)網(wǎng)絡(luò)目的確定權(quán)值方法反向推導(dǎo)5.2.2反向傳播算法第12頁(yè)，共52頁(yè)，2023年，2月20日，星期六135.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

5.1.1發(fā)展歷史

5.1.2McCulloch-Pitts神經(jīng)元

5.1.3網(wǎng)絡(luò)結(jié)構(gòu)的確定

5.1.4關(guān)聯(lián)權(quán)值的確定

5.1.5工作階段5.2多層前向神經(jīng)網(wǎng)絡(luò)

5.2.1一般結(jié)構(gòu)

5.2.2反向傳播算法

5.3反饋型神經(jīng)網(wǎng)絡(luò)

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用?第13頁(yè)，共52頁(yè)，2023年，2月20日，星期六145.3反饋型神經(jīng)網(wǎng)絡(luò)一般結(jié)構(gòu)各神經(jīng)元之間存在相互聯(lián)系分類(lèi)連續(xù)系統(tǒng)：激活函數(shù)為連續(xù)函數(shù)離散系統(tǒng)：激活函數(shù)為階躍函數(shù)

第14頁(yè)，共52頁(yè)，2023年，2月20日，星期六155.3反饋型神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)

1982年提出Hopfield反饋神經(jīng)網(wǎng)絡(luò)（HNN），證明在高強(qiáng)度連接下的神經(jīng)網(wǎng)絡(luò)依靠集體協(xié)同作用能自發(fā)產(chǎn)生計(jì)算行為。是典型的全連接網(wǎng)絡(luò)，通過(guò)引入能量函數(shù)，使網(wǎng)絡(luò)的平衡態(tài)與能量函數(shù)極小值解相對(duì)應(yīng)。

第15頁(yè)，共52頁(yè)，2023年，2月20日，星期六165.3反饋型神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)

N為網(wǎng)絡(luò)節(jié)點(diǎn)總數(shù)。5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)s1(t+1)……s2(t+1)sn(t+1)s1(t)s2(t)sn(t)w12w1nw21w2nwn1wn2ΣΣΣΔv1(t)v2(t)vn(t)輸入輸出第16頁(yè)，共52頁(yè)，2023年，2月20日，星期六175.3反饋型神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)（1）一般認(rèn)為vj(t)=0時(shí)神經(jīng)元保持不變sj(t+1)=sj(t);

（2）一般情況下網(wǎng)絡(luò)是對(duì)稱(chēng)的（wij=wji）且無(wú)自反饋（wjj=0）;

整個(gè)網(wǎng)絡(luò)的狀態(tài)可用向量s表示：5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)第17頁(yè)，共52頁(yè)，2023年，2月20日，星期六185.3反饋型神經(jīng)網(wǎng)絡(luò)工作方式串行（異步，asynchronous）:任一時(shí)刻只有一個(gè)單元改變狀態(tài)，其余單元保持不變；并行（同步，synchronous）：某一時(shí)刻所有神經(jīng)元同時(shí)改變狀態(tài)。穩(wěn)定狀態(tài)如果從t=0的任一初始態(tài)s(0)開(kāi)始變化，存在某一有限時(shí)刻t，從此以后網(wǎng)絡(luò)狀態(tài)不再變化，即s(t+1)=s(t)，則稱(chēng)網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)。5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)第18頁(yè)，共52頁(yè)，2023年，2月20日，星期六195.3反饋型神經(jīng)網(wǎng)絡(luò)能量函數(shù)的定義異步方式：同步方式：5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)第19頁(yè)，共52頁(yè)，2023年，2月20日，星期六205.3反饋型神經(jīng)網(wǎng)絡(luò)能量函數(shù)能量是有界的：從任一初始狀態(tài)開(kāi)始，若在每次迭代時(shí)都滿足ΔE≤0，則網(wǎng)絡(luò)的能量將越來(lái)越小，最后趨向于穩(wěn)定狀態(tài)ΔE＝0。5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)第20頁(yè)，共52頁(yè)，2023年，2月20日，星期六215.3反饋型神經(jīng)網(wǎng)絡(luò)能量函數(shù)分析異步（且網(wǎng)絡(luò)對(duì)稱(chēng)wij=wji）情況下：假設(shè)只有神經(jīng)元i改變狀態(tài)5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)同號(hào)同號(hào)第21頁(yè)，共52頁(yè)，2023年，2月20日，星期六225.3反饋型神經(jīng)網(wǎng)絡(luò)能量函數(shù)分析異步（且網(wǎng)絡(luò)對(duì)稱(chēng)wij=wji）情況下：假設(shè)只有神經(jīng)元i改變狀態(tài)5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)同號(hào)第22頁(yè)，共52頁(yè)，2023年，2月20日，星期六235.3反饋型神經(jīng)網(wǎng)絡(luò)能量函數(shù)分析同步（且網(wǎng)絡(luò)對(duì)稱(chēng)wij=wji）情況下：

5.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)同號(hào)第23頁(yè)，共52頁(yè)，2023年，2月20日，星期六245.3反饋型神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)與電子線路對(duì)應(yīng)：

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)g1C1I1z1g2C2I2z2g3C3I3z3gnCnInzny1y2y3yny1y2y3ynw21wn1w31w12w13w1nw23w2nw32w3nwn2wn3......第24頁(yè)，共52頁(yè)，2023年，2月20日，星期六255.3反饋型神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的微分方程

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)Gi...giCiwi1wi2winIiy1y2ynziyiyi

=a(zi)(y1-zi)wi1(y2-zi)wi2(yn-zi)win輸入輸出第25頁(yè)，共52頁(yè)，2023年，2月20日，星期六26網(wǎng)絡(luò)的微分方程

ze是動(dòng)力系統(tǒng)的平衡點(diǎn)，稱(chēng)吸引子。5.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)...giCiwi1wi2winIiy1y2ynziyiyi

=a(zi)(y1-zi)wi1(y2-zi)wi2(yn-zi)win第26頁(yè)，共52頁(yè)，2023年，2月20日，星期六27能量函數(shù)

可證明，若a-1為單調(diào)增且連續(xù)，Ci>0，wji=wij，則有dE/dt≤0，當(dāng)且僅當(dāng)dzi/dt=0時(shí)dE/dt=0。5.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)第27頁(yè)，共52頁(yè)，2023年，2月20日，星期六285.3反饋型神經(jīng)網(wǎng)絡(luò)能量函數(shù)當(dāng)從某一初始狀態(tài)變化時(shí)，網(wǎng)絡(luò)的演變是使E下降，達(dá)到某一局部極小時(shí)就停止變化。這些能量的局部極小點(diǎn)就是網(wǎng)絡(luò)的穩(wěn)定點(diǎn)或稱(chēng)吸引子。5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)第28頁(yè)，共52頁(yè)，2023年，2月20日，星期六295.3反饋型神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)設(shè)計(jì)當(dāng)Hopfield用于優(yōu)化計(jì)算時(shí)，網(wǎng)絡(luò)的權(quán)值是確定的，應(yīng)將目標(biāo)函數(shù)與能量函數(shù)相對(duì)應(yīng)，通過(guò)網(wǎng)絡(luò)的運(yùn)行使能量函數(shù)不斷下降并最終達(dá)到最小，從而得到問(wèn)題對(duì)應(yīng)的極小解。5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第29頁(yè)，共52頁(yè)，2023年，2月20日，星期六305.3反饋型神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)設(shè)計(jì)通常需要以下幾方面的工作：（1）選擇合適的問(wèn)題表示方法，使神經(jīng)網(wǎng)絡(luò)的輸出與問(wèn)題的解相對(duì)應(yīng)；（2）構(gòu)造合適的能量函數(shù)，使其最小值對(duì)應(yīng)問(wèn)題的最優(yōu)解；

5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第30頁(yè)，共52頁(yè)，2023年，2月20日，星期六315.3反饋型神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)設(shè)計(jì)通常需要以下幾方面的工作：（3）由能量函數(shù)和穩(wěn)定條件設(shè)計(jì)網(wǎng)絡(luò)參數(shù)，如連接權(quán)值和偏置參數(shù)等；（4）構(gòu)造相應(yīng)的神經(jīng)網(wǎng)絡(luò)和動(dòng)態(tài)方程；（5）用硬件實(shí)現(xiàn)或軟件模擬。5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第31頁(yè)，共52頁(yè)，2023年，2月20日，星期六325.3反饋型神經(jīng)網(wǎng)絡(luò)TSP問(wèn)題的表示將TSP問(wèn)題用一個(gè)n×n矩陣表示，矩陣的每個(gè)元素代表一個(gè)神經(jīng)元。

代表商人行走順序?yàn)椋?→1→2→4

每一行、每一列的和各為1。5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用1為是，0為否第1站第2站第3站第4站城市10100城市20010城市31000城市40001第32頁(yè)，共52頁(yè)，2023年，2月20日，星期六33能量函數(shù)的構(gòu)建每個(gè)神經(jīng)元接收到的值為zij，其輸出值為yij，激活函數(shù)采用Sigmoid函數(shù)，記兩個(gè)城市u和v的距離是duv。

1）希望每一行的和為1，即

最小，每一行最多有一個(gè)1時(shí)，E1＝0。5.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第1站第2站第3站第4站城市10100城市20010城市31000城市40001每行的輸出值兩兩相乘之和第33頁(yè)，共52頁(yè)，2023年，2月20日，星期六34能量函數(shù)的構(gòu)建

2）希望每一列的和為1，即

最小，每一列最多有一個(gè)1時(shí)，E2＝0。

3）希望每一行每一列正好有一個(gè)1，則最小時(shí)為零。5.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第1站第2站第3站第4站城市10100城市20010城市31000城市40001每列的輸出值兩兩相乘之和所有的輸出值兩兩相乘之和應(yīng)該為n第34頁(yè)，共52頁(yè)，2023年，2月20日，星期六35能量函數(shù)的構(gòu)建

4）E1，E2，E3只能保證TSP的一個(gè)可行解，為了得到TSP的最小路徑，當(dāng)duv=dvu時(shí)，希望

最小，其中，yu0=yun，yu(n+1)=yu1。duvyuiyv(i+1)表示城市u和v之間的距離（i代表行走順序）。5.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第1站第2站第3站第4站城市10100城市20010城市31000城市40001第35頁(yè)，共52頁(yè)，2023年，2月20日，星期六36能量函數(shù)的構(gòu)建

5）根據(jù)連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)，

最后，能量函數(shù)表示為：

A，B，C，D，α為非負(fù)常數(shù)。5.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第36頁(yè)，共52頁(yè)，2023年，2月20日，星期六37能量函數(shù)的構(gòu)建由動(dòng)力學(xué)方程，

5.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第37頁(yè)，共52頁(yè)，2023年，2月20日，星期六38能量函數(shù)的構(gòu)建參照動(dòng)力學(xué)方程，可知：5.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第38頁(yè)，共52頁(yè)，2023年，2月20日，星期六3910城市TSP問(wèn)題（d*=2.691）

0.40.4439;0.24390.1463;0.17070.2293;0.22930.761;0.51710.9414;0.87320.6536;0.68780.5219;0.84880.3609;0.66830.2536;0.61950.26345.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第39頁(yè)，共52頁(yè)，2023年，2月20日，星期六4010城市TSP問(wèn)題（d*=2.691）流程圖：

5.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第40頁(yè)，共52頁(yè)，2023年，2月20日，星期六4110城市TSP問(wèn)題（d*=2.691）初始參數(shù)：

α＝1A＝B＝D＝500，C＝200

激勵(lì)函數(shù)為Sigmoid

其中，μ0＝0.025.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第41頁(yè)，共52頁(yè)，2023年，2月20日，星期六4210城市TSP問(wèn)題（d*=2.691）初始參數(shù)：

初始的yui

初始的zui

λ=0.000015.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第42頁(yè)，共52頁(yè)，2023年，2月20日，星期六4310城市TSP問(wèn)題（d*=2.691）

5.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第43頁(yè)，共52頁(yè)，2023年，2月20日，星期六4410城市TSP問(wèn)題（d*=2.691）

5.3反饋型神經(jīng)網(wǎng)絡(luò)5.3.3Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第44頁(yè)，共52頁(yè)，2023年，2月20日，星期六4510城市TSP問(wèn)題（