計算智能與深度學習 課件 7模擬退火算法、8禁忌搜索算法

第三章模擬退火算法

智能優(yōu)化計算山東大學威海分校信息工程學院

2009年3.1模擬退火算法及模型

3.1.1物理退火過程

3.1.2組合優(yōu)化與物理退火的相似性

3.1.3模擬退火算法的基本思想和步驟

3.2模擬退火算法的馬氏鏈描述

3.2.1馬爾可夫鏈

3.2.2模擬退火算法與馬爾可夫鏈

3.3模擬退火算法的關鍵參數和操作的設計

3.3.1狀態(tài)產生函數

3.3.2狀態(tài)接受函數

3.3.3初溫

3.3.4溫度更新函數

3.3.5內循環(huán)終止準則

3.3.6外循環(huán)終止準則

智能優(yōu)化計算山東大學威海分校信息工程學院

2009年3.4模擬退火算法的改進

3.4.1模擬退火算法的優(yōu)缺點

3.4.2改進內容

3.4.3一種改進的模擬退火算法3.5模擬退火算法實現與應用

3.5.130城市TSP問題（d*=423.741byDBFogel）

3.5.2模擬退火算法在管殼式換熱器優(yōu)化設計中的應用智能優(yōu)化計算山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算算法的提出

模擬退火算法最早的思想由Metropolis等（1953）提出，1983年Kirkpatrick等將其應用于組合優(yōu)化。算法的目的解決NP復雜性問題；克服優(yōu)化過程陷入局部極??；克服初值依賴性。

3.1.1物理退火過程山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算物理退火過程

什么是退火：退火是指將固體加熱到足夠高的溫度，使分子呈隨機排列狀態(tài)，然后逐步降溫使之冷卻，最后分子以低能狀態(tài)排列，固體達到某種穩(wěn)定狀態(tài)。

3.1.1物理退火過程山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算物理退火過程

加溫過程——增強粒子的熱運動，消除系統(tǒng)原先可能存在的非均勻態(tài)；等溫過程——對于與環(huán)境換熱而溫度不變的封閉系統(tǒng)，系統(tǒng)狀態(tài)的自發(fā)變化總是朝自由能減少的方向進行，當自由能達到最小時，系統(tǒng)達到平衡態(tài)；冷卻過程——使粒子熱運動減弱并漸趨有序，系統(tǒng)能量逐漸下降，從而得到低能的晶體結構。

3.1.1物理退火過程山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算數學表述

在溫度T，分子停留在狀態(tài)r滿足Boltzmann概率分布

3.1.1物理退火過程山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算數學表述在同一個溫度T，選定兩個能量E1<E2，有在同一個溫度，分子停留在能量小的狀態(tài)的概率比停留在能量大的狀態(tài)的概率要大。

3.1.1物理退火過程<1>0山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算數學表述

若|D|為狀態(tài)空間D中狀態(tài)的個數，D0是具有最低能量的狀態(tài)集合：當溫度很高時，每個狀態(tài)概率基本相同，接近平均值1/|D|；狀態(tài)空間存在超過兩個不同能量時，具有最低能量狀態(tài)的概率超出平均值1/|D|；當溫度趨于0時，分子停留在最低能量狀態(tài)的概率趨于1。

3.1.1物理退火過程能量最低狀態(tài)非能量最低狀態(tài)山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算Metropolis準則（1953）——以概率接受新狀態(tài)固體在恒定溫度下達到熱平衡的過程可以用MonteCarlo方法（計算機隨機模擬方法）加以模擬，雖然該方法簡單，但必須大量采樣才能得到比較精確的結果，計算量很大。

3.1.1物理退火過程山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算Metropolis準則（1953）——以概率接受新狀態(tài)若在溫度T，當前狀態(tài)i→新狀態(tài)j

若Ej<Ei，則接受j為當前狀態(tài)；否則，若概率p=exp[-(Ej-Ei)/kBT]

大于[0,1)區(qū)間的隨機數，則仍接受狀態(tài)j

為當前狀態(tài)；若不成立則保留狀態(tài)i

為當前狀態(tài)。

3.1.1物理退火過程山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算Metropolis準則（1953）——以概率接受新狀態(tài)

p=exp[-(Ej-Ei)/kBT]

在高溫下，可接受與當前狀態(tài)能量差較大的新狀態(tài)；在低溫下，只接受與當前狀態(tài)能量差較小的新狀態(tài)。

3.1.1物理退火過程山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算相似性比較

3.1.2組合優(yōu)化與物理退火的相似性組合優(yōu)化問題金屬物體解粒子狀態(tài)最優(yōu)解能量最低的狀態(tài)設定初溫熔解過程Metropolis抽樣過程等溫過程控制參數的下降冷卻目標函數能量山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算基本步驟

給定初溫t=t0，隨機產生初始狀態(tài)s=s0，令k=0；

RepeatRepeat

產生新狀態(tài)sj=Genete(s)；

ifmin{1,exp[-(C(sj)-C(s))/tk]}>=randrom[0,1]s=sj;Until抽樣穩(wěn)定準則滿足；退溫tk+1=update(tk)并令k=k+1；

Until算法終止準則滿足；輸出算法搜索結果。

3.1.3模擬退火算法的基本思想和步驟山東大學威海分校信息工程學院2009年3.1模擬退火算法及模型

智能優(yōu)化計算影響優(yōu)化結果的主要因素

給定初溫t=t0，隨機產生初始狀態(tài)s=s0，令k=0；

RepeatRepeat

產生新狀態(tài)sj=Genete(s)；

ifmin{1,exp[-(C(sj)-C(s))/tk]}>=randrom[0,1]s=sj;Until抽樣穩(wěn)定準則滿足；退溫tk+1=update(tk)并令k=k+1；

Until算法終止準則滿足；輸出算法搜索結果。

3.1.3模擬退火算法的基本思想和步驟三函數兩準則初始溫度山東大學威海分校信息工程學院2009年3.2模擬退火算法的馬氏鏈描述

智能優(yōu)化計算定義

3.2.1馬爾科夫鏈特性：馬氏鏈具有記憶遺忘特性，它只記憶前一時刻的狀態(tài)。山東大學威海分校信息工程學院2009年3.2模擬退火算法的馬氏鏈描述

智能優(yōu)化計算定義

一步轉移概率：

n步轉移概率：若解空間有限，稱馬爾可夫鏈為有限狀態(tài)；若，稱馬爾可夫鏈為時齊的。

3.2.1馬爾科夫鏈山東大學威海分校信息工程學院2009年3.2模擬退火算法的馬氏鏈描述

智能優(yōu)化計算模擬退火算法對應了一個馬爾可夫鏈

模擬退火算法：新狀態(tài)接受概率僅依賴于新狀態(tài)和當前狀態(tài)，并由溫度加以控制。若固定每一溫度，算法均計算馬氏鏈的變化直至平穩(wěn)分布，然后下降溫度，則稱為時齊算法；若無需各溫度下算法均達到平穩(wěn)分布，但溫度需按一定速率下降，則稱為非時齊算法。分析收斂性

3.2.2模擬退火算法與馬爾科夫鏈山東大學威海分校信息工程學院2009年3.3模擬退火算法關鍵參數和操作的設計智能優(yōu)化計算原則

產生的候選解應遍布全部解空間方法

在當前狀態(tài)的鄰域結構內以一定概率方式（均勻分布、正態(tài)分布、指數分布等）產生

3.3.1狀態(tài)產生函數山東大學威海分校信息工程學院2009年3.3模擬退火算法關鍵參數和操作的設計智能優(yōu)化計算原則

(1)在固定溫度下，接受使目標函數下降的候選解的概率要大于使目標函數上升的候選解概率；

(2)隨溫度的下降，接受使目標函數上升的解的概率要逐漸減?。?/p>

(3)當溫度趨于零時，只能接受目標函數下降的解。方法

具體形式對算法影響不大一般采用min[1,exp(-?C/t)]

3.3.2狀態(tài)接受函數山東大學威海分校信息工程學院2009年3.3模擬退火算法關鍵參數和操作的設計智能優(yōu)化計算收斂性分析

通過理論分析可以得到初溫的解析式，但解決實際問題時難以得到精確的參數；初溫應充分大；實驗表明

初溫越大，獲得高質量解的機率越大，但花費較多的計算時間；

3.3.3初溫山東大學威海分校信息工程學院2009年3.3模擬退火算法關鍵參數和操作的設計智能優(yōu)化計算方法

（1）均勻抽樣一組狀態(tài)，以各狀態(tài)目標值得方差為初溫；（2）隨機產生一組狀態(tài)，確定兩兩狀態(tài)間的最大目標值差，根據差值，利用一定的函數確定初溫；（3）利用經驗公式。

3.3.3初溫山東大學威海分校信息工程學院2009年3.3模擬退火算法關鍵參數和操作的設計數值計算估計方法示例智能優(yōu)化計算山東大學威海分校信息工程學院2009年3.3模擬退火算法關鍵參數和操作的設計智能優(yōu)化計算時齊算法的溫度下降函數

（1），α越接近1溫度下降越慢，且其大小可以不斷變化；（2），其中t0為起始溫度，K為算法溫度下降的總次數。

3.3.4溫度更新函數山東大學威海分校信息工程學院2009年3.3模擬退火算法關鍵參數和操作的設計智能優(yōu)化計算非時齊模擬退火算法

每個溫度下只產生一個或少量候選解時齊算法——常用的Metropolis抽樣穩(wěn)定準則

（1）檢驗目標函數的均值是否穩(wěn)定；（2）連續(xù)若干步的目標值變化較??；（3）按一定的步數抽樣（固定長度）。 （4）有接受和拒絕的比率控制跌代步數（比如給定一個跌代步長上限U和接受比率指標R）

3.3.5內循環(huán)終止準則山東大學威海分校信息工程學院2009年3.3模擬退火算法關鍵參數和操作的設計智能優(yōu)化計算常用方法

（1）設置終止溫度的閾值；（2）設置外循環(huán)迭代次數；（3）算法搜索到的最優(yōu)值連續(xù)若干步保持不變；（4）概率分析方法(接受概率控制法）。

3.3.6外循環(huán)終止準則山東大學威海分校信息工程學院2009年3.4模擬退火算法的改進智能優(yōu)化計算模擬退火算法的優(yōu)點

質量高；初值魯棒性強；簡單、通用、易實現。模擬退火算法的缺點

由于要求較高的初始溫度、較慢的降溫速率、較低的終止溫度，以及各溫度下足夠多次的抽樣，因此優(yōu)化過程較長。

3.4.1模擬退火算法的優(yōu)缺點山東大學威海分校信息工程學院2009年3.4模擬退火算法的改進智能優(yōu)化計算改進的可行方案

（1）設計合適的狀態(tài)產生函數；（2）設計高效的退火歷程；（3）避免狀態(tài)的迂回搜索；（4）采用并行搜索結構；（5）避免陷入局部極小，改進對溫度的控制方式；（6）選擇合適的初始狀態(tài)；（7）設計合適的算法終止準則。

3.4.2改進內容山東大學威海分校信息工程學院2009年3.4模擬退火算法的改進智能優(yōu)化計算改進的方式

（1）增加升溫或重升溫過程，避免陷入局部極??；（2）增加記憶功能（記憶“Bestsofar”狀態(tài)）；（3）增加補充搜索過程（以最優(yōu)結果為初始解）；（4）對每一當前狀態(tài)，采用多次搜索策略，以概率接受區(qū)域內的最優(yōu)狀態(tài)；（5）結合其它搜索機制的算法；（6）上述各方法的綜合。

3.4.2改進內容山東大學威海分校信息工程學院2009年3.4模擬退火算法的改進智能優(yōu)化計算改進的思路

（1）記錄“Bestsofar”狀態(tài)，并即時更新；（2）設置雙閾值，使得在盡量保持最優(yōu)性的前提下減少計算量，即在各溫度下當前狀態(tài)連續(xù)m1步保持不變則認為Metropolis抽樣穩(wěn)定，若連續(xù)m2次退溫過程中所得最優(yōu)解不變則認為算法收斂。

3.4.3一種改進的模擬退火算法山東大學威海分校信息工程學院2009年3.4模擬退火算法的改進智能優(yōu)化計算改進的退火過程

（1）給定初溫t0，隨機產生初始狀態(tài)s，令初始最優(yōu)解s*=s，當前狀態(tài)為s(0)=s，i=p=0；（2）令t=ti，以t，s*和s(i)調用改進的抽樣過程，返回其所得最優(yōu)解s*’和當前狀態(tài)s’(k)，令當前狀態(tài)s(i)=s’(k)；（3）判斷C(s*)<C(s*’)?若是，則令p=p+1；否則，令s*=s*’，p=0；（4）退溫ti+1=update(ti)，令i=i+1；（5）判斷p>m2?若是，則轉第(6)步；否則，返回第(2)步；（6）以最優(yōu)解s*作為最終解輸出，停止算法。

3.4.3一種改進的模擬退火算法山東大學威海分校信息工程學院2009年3.4模擬退火算法的改進智能優(yōu)化計算改進的抽樣過程

（1）令k=0時的初始當前狀態(tài)為s’(0)=s(i)，q=0；（2）由狀態(tài)s通過狀態(tài)產生函數產生新狀態(tài)s’，計算增量?C’=C(s’)-C(s)；（3）若?C’<0，則接受s’作為當前解，并判斷C(s*’)>C(s’)?若是，則令s*’=s’，q=0；否則，令q=q+1。若?C’>0，則以概率exp(-?C’/t)接受s’作為下一當前狀態(tài)；（4）令k=k+1，判斷q>m1?若是，則轉第(5)步；否則，返回第(2)步；（5）將當前最優(yōu)解s*’和當前狀態(tài)s’(k)返回改進退火過程。

3.4.3一種改進的模擬退火算法山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算

3.5.130城市TSP問題（d*=423.741byDBFogel）

TSPBenchmark問題

4194;3784;5467;2562;764;299;6858;7144;5462;8369;6460;1854;2260;8346;9138;2538;2442;5869;7171;7478;8776;1840;1340;827;6232;5835;4521;4126;4435;450山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算算法流程

3.5.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算初始溫度的計算

fori=1:100route=randperm(CityNum);fval0(i)=CalDist(dislist,route);endt0=-(max(fval0)-min(fval0))/log(0.9);

3.5.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算狀態(tài)產生函數的設計（1）互換操作，隨機交換兩個城市的順序；（2）逆序操作，兩個隨機位置間的城市逆序；（3）插入操作，隨機選擇某點插入某隨機位置。

3.5.130城市TSP問題（d*=423.741byDBFogel）

283591467283591467283591467281593467283419567235981467山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算參數設定

截止溫度tf=0.01;

退溫系數alpha=0.90;

內循環(huán)次數L=200*CityNum;

3.5.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算運行過程

3.5.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算運行過程

3.5.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算運行過程

3.5.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算運行過程

3.5.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算運行過程

3.5.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算運行結果

3.5.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算換熱器模型兩級管殼式換熱器組成的換熱器系統(tǒng)，數學模型高度非線性，其目標函數通常是多峰(谷)的，具有很多局部最優(yōu)解。

3.5.2模擬退火算法在管殼式換熱器優(yōu)化設計中的應用山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算優(yōu)化目標以換熱器系統(tǒng)的總費用年值最小作為優(yōu)化設計的目標。其中，f1(X)是兩級換熱器的初始投資，f2(X)是兩級換熱器年維護費(包括除垢、保養(yǎng)、維修等)，f3(X)是冷卻水資源費以及管程壓降能耗費，f4(X)是殼程壓降能耗費。

3.5.2模擬退火算法在管殼式換熱器優(yōu)化設計中的應用山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算優(yōu)化目標經過分析，優(yōu)化問題的獨立變量共12個，分別是一級換熱器煤油出口溫度t2、冷卻水流量G1、兩個換熱器的管內徑d1，d2和管間距S1，S2、折流板間距B1，B2、折流板開口角α1，α2、單管長度L1，L2。

3.5.2模擬退火算法在管殼式換熱器優(yōu)化設計中的應用山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算應用模擬退火算法解決優(yōu)化設計狀態(tài)表示——12個變量的實數表示；初始溫度——100；結束溫度——0.001；狀態(tài)產生函數——，η為擾動幅度參數，ξ為隨機擾動變量，隨機擾動可服從柯西、高斯、均勻分布。降溫因子——0.98；馬氏鏈長度——1200。

3.5.2模擬退火算法在管殼式換熱器優(yōu)化設計中的應用山東大學威海分校信息工程學院2009年3.5模擬退火算法的實現與應用智能優(yōu)化計算優(yōu)化結果優(yōu)化目標值——0.25565E＋06

獨立變量取值——

3.5.2模擬退火算法在管殼式換熱器優(yōu)化設計中的應用t2℃G1Kg/sd1mmS1mmB1mα1弧度64.419415.9716615.5716334.097160.924361.93421L1md2mmS2mmB2mα2弧度L2m5.9423416.7793527.740120.729532.199285.78314山東大學威海分校信息工程學院2009年第三章結束智能優(yōu)化計算山東大學威海分校信息工程學院2009年第二章禁忌搜索算法

智能優(yōu)化計算山東大學威海分校信息工程學院20092.1局部搜索

2.1.1鄰域的概念

2.1.2局部搜索算法

2.1.3局部搜索示例

2.2禁忌搜索

2.2.1算法的主要思路

2.2.2禁忌搜索示例2.3禁忌搜索的關鍵參數和操作

2.3.1變化因素

2.3.2禁忌表

2.3.3其他

2.4禁忌搜索的實現與應用

2.4.130城市TSP問題（d*=423.741byDBFogel）

2.4.2基于禁忌搜索算法的系統(tǒng)辨識智能優(yōu)化計算山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算函數優(yōu)化問題中

在距離空間中，通常的鄰域定義是以一點為中心的一個球體；組合優(yōu)化問題中

2.1.1鄰域的概念

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算例

TSP問題解的一種表示方法為D={x=(i1,i2,…,in)|i1,i2,…,in是1,2,…,n的排列}，定義它的鄰域映射為2－opt，即x中的兩個元素進行對換，N(x)中共包含x的Cn2=n(n-1)/2個鄰居和x本身。例如：x=(1,2,3,4)，則C42=6，N(x)={(1,2,3,4),(2,1,3,4),(3,2,1,4),(4,2,3,1),(1,3,2,4),(1,4,3,2),(1,2,4,3)}2.1.1鄰域的概念

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算例

TSP問題解的鄰域映射可由2－opt，推廣到k－opt，即對k個元素按一定規(guī)則互換。鄰域概念的重要性

鄰域的構造依賴于決策變量的表示，鄰域的結構在現代優(yōu)化算法中起重要的作用。2.1.1鄰域的概念

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算STEP1

選定一個初始可行解x0，記錄當前最優(yōu)解xbest:=x0,T=N(xbest)；STEP2

當T\{xbest}=Φ時，或滿足其他停止運算準則時，輸出計算結果，停止運算；否則，從T中選一集合S，得到S中的最好解xnow；若f(xnow)<f(xbest)，則xbest:=xnow

，T=N(xbest)；否則T:=T\S；重復STEP2。2.1.2局部搜索算法

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算五個城市的對稱TSP問題

初始解為xbest=(ABCDE)，f(xbest)=45，定義鄰域映射為對換兩個城市位置的2-opt，選定A城市為起點。2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算五個城市的對稱TSP問題方法1：全鄰域搜索

第1步

N(xbest)={(ABCDE)，(ACBDE)，(ADCBE)，(AECDB)，(ABDCE)，(ABEDC)，(ABCED)}，對應目標函數為f(x)={45,43,45,60,60,59,44}

xbest:=xnow=(ACBDE)2.1.3局部搜索示例

ABCDE山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算五個城市的對稱TSP問題方法1：全鄰域搜索

第2步

N(xbest)={(ACBDE)，(ABCDE)，(ADBCE)，(AEBDC)，(ACDBE)，(ACEDB)，(ACBED)}，對應目標函數為f(x)={43,45,44,59,59,58,43}

xbest:=xnow=(ACBDE)2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算五個城市的對稱TSP問題方法2：一步隨機搜索

第1步

從N(xbest)中隨機選一點，如xnow=(ACBDE)，對應目標函數為f(xnow)=43<45

xbest:=xnow=(ACBDE)2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算五個城市的對稱TSP問題方法2：一步隨機搜索

第2步

從N(xbest)中又隨機選一點，如xnow=(ADBCE)，對應目標函數為f(xnow)=44>43

xbest:=xnow=(ACBDE)2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算五個城市的對稱TSP問題簡單易行，但無法保證全局最優(yōu)性；局部搜索主要依賴起點的選取和鄰域的結構；為了得到好的解，可以比較不同的鄰域結構和不同的初始點；如果初始點的選擇足夠多，總可以計算出全局最優(yōu)解。2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算TAP問題解（solution)的表示：向量五個任務分到三臺計算機上的一種分配方安：2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算TAP問題鄰域（Neighborhood）定義我們定義兩種鄰域映射：1、單向移動（one-waymoveortransfer):重新分配一個任務從其當前機器到另一臺機器。2、雙向移動（two-wayexchange):交換分配于兩臺不同機器上的任務。2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算TAP問題鄰域解（Neighbor）評估（evaluation）對于目標1最小化執(zhí)行與通信代價之和。任務重分配收益（reassignmentgain)就是代價（cost）的減少。

這里xip表示第i個任務在第p臺機器上的執(zhí)行代價（時間）2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算TAP問題鄰域解（Neighbor）評估（evaluation）重新分配任務i之后，需要更新（update）第i個任務的鄰接任務的重分配收益：2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算TAP問題鄰域解（Neighbor）評估（evaluation）重新分配任務i之后，需要更新（update）第i個任務的鄰接任務的重分配收益：2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算TAP問題鄰域解（Neighbor）評估（evaluation）重新分配任務i之后，需要更新（update）第i個任務的鄰接任務的重分配收益：2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算TAP問題鄰域解（Neighbor）評估（evaluation）重新分配任務i之后，需要更新（update）第i個任務的的重分配收益：2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算TAP問題約束懲罰收益？2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.1局部搜索

智能優(yōu)化計算TAP問題對于目標2，最小化周轉時間（turnaroundtime)或者說最小化完成時間（completiontime)

鄰域結構的定義：分流負載最終的機器（themostloadedmachine,i.e.criticalmachine):transferandexchange。2.1.3局部搜索示例

山東大學威海分校信息工程學院20092.2禁忌搜索

智能優(yōu)化計算算法的提出

禁忌搜索（Tabusearch）是局部鄰域搜索算法的推廣，FredGlover在1986年提出這個概念，進而形成一套完整算法。算法的特點禁忌——禁止重復前面的工作。跳出局部最優(yōu)點。2.2.1算法的主要思路

/~glover/山東大學威海分校信息工程學院20092.2禁忌搜索

智能優(yōu)化計算四城市非對稱TSP問題

初始解x0=(ABCD)，f(x0)=4，鄰域映射為兩個城市順序對換的2－opt，始、終點都是A城市。2.2.2禁忌搜索示例

山東大學威海分校信息工程學院20092.2禁忌搜索

智能優(yōu)化計算四城市非對稱TSP問題

第1步解的形式禁忌對象及長度候選解

f(x0)=42.2.2禁忌搜索示例

ABCDBCDABC對換評價值CD4.5BC7.5BD8?山東大學威海分校信息工程學院20092.2禁忌搜索

智能優(yōu)化計算四城市非對稱TSP問題

第2步解的形式禁忌對象及長度候選解

f(x1)=4.52.2.2禁忌搜索示例

ABDCBCDABC3對換評價值CD4.5BC3.5BD4.5?T山東大學威海分校信息工程學院20092.2禁忌搜索

智能優(yōu)化計算四城市非對稱TSP問題

第3步解的形式禁忌對象及長度候選解

f(x2)=3.52.2.2禁忌搜索示例

ACDBBCDAB3C2對換評價值CD8BC4.5BD7.5?TT山東大學威海分校信息工程學院20092.2禁忌搜索

智能優(yōu)化計算四城市非對稱TSP問題

第4步解的形式禁忌對象及長度候選解

f(x3)=7.5

禁忌長度的選取2.2.2禁忌搜索示例

ACBDBCDAB23C1對換評價值CD4.5BC4.5BD3.5TTT山東大學威海分校信息工程學院20092.2禁忌搜索

智能優(yōu)化計算四城市非對稱TSP問題

第4步（如果減小禁忌長度）解的形式禁忌對象及長度候選解

f(x3)=7.52.2.2禁忌搜索示例

ACBDBCDAB12C0對換評價值CD4.5BC4.5BD3.5?TT山東大學威海分校信息工程學院20092.2禁忌搜索

智能優(yōu)化計算四城市非對稱TSP問題

第5步解的形式禁忌對象及長度候選解

f(x4)=4.52.2.2禁忌搜索示例

ADBCBCDAB01C2對換評價值CD7.5BC8BD4.5?TT山東大學威海分校信息工程學院20092.2禁忌搜索

智能優(yōu)化計算四城市非對稱TSP問題

第6步解的形式禁忌對象及長度候選解

f(x5)=82.2.2禁忌搜索示例

ADCBBCDAB20C1對換評價值CD3.5BC4.5BD4?TT山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌表的主要指標（兩項指標）禁忌對象：禁忌表中被禁的那些變化元素禁忌長度：禁忌的步數狀態(tài)變化（三種變化）解的簡單變化解向量分量的變化目標值變化

2.3.1變化因素

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算解的簡單變化

2.3.1變化因素

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算向量分量的變化

設原有的解向量為(x1,…,xi-1,xi,xi+1,…,xn)，向量分量的最基本變化為

(x1,…,xi-1,xi,xi+1,…,xn)→(x1,…,xi-1,yi,xi+1,…,xn)

即只有第i個分量發(fā)生變化。也包含多個分量變化的情形。2.3.1變化因素

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算目標值的變化

目標值的變化隱含著解集合的變化。2.3.1變化因素

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況1：禁忌對象為簡單的解變化禁忌長度為4，從2－opt鄰域中選出最佳的5個解組成候選集Can_N(xnow)，初始解xnow=x0=(ABCDE)，f(x0)=45，H={(ABCDE;45)}。2.3.2禁忌表

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況1：禁忌對象為簡單的解變化第1步——

xnow=(ABCDE)，f(xnow)=45，H={(ABCDE;45)}Can_N(xnow)={(ACBDE;43)，(ABCDE;45)，(ADCBE;45)，(ABEDC;59)，(ABCED;44)}。2.3.2禁忌表

xnext=(ACBDE)山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況1：禁忌對象為簡單的解變化第2步——

xnow=(ACBDE)，f(xnow)=43，H={(ABCDE;45)，(ACBDE;43)}Can_N(xnow)={(ACBDE;43)，(ACBED;43)，(ADBCE;44)，(ABCDE;45)，(ACEDB;58)}。2.3.2禁忌表

xnext=(ACBED)山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況1：禁忌對象為簡單的解變化第3步——

xnow=(ACBED)，f(xnow)=43，H={(ABCDE;45)，(ACBDE;43)，(ACBED;43)}Can_N(xnow)={(ACBED;43)，(ACBDE;43)，(ABCED;44)，(AEBCD;45)，(ADBEC;58)}。2.3.2禁忌表

xnext=(ABCED)山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況1：禁忌對象為簡單的解變化第4步——

xnow=(ABCED)，f(xnow)=44，H={(ABCDE;45)，(ACBDE;43)，(ACBED;43)，(ABCED;44)}Can_N(xnow)={(ACBED;43)，(AECBD;44)，(ABCDE;45)，(ABCED;44)，(ABDEC;58)}。2.3.2禁忌表

xnext=(AECBD)山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況1：禁忌對象為簡單的解變化第5步——

xnow=(AECBD)，f(xnow)=44，H={(ACBDE;43)，(ACBED;43)，(ABCED;44)，(AECBD;44)}Can_N(xnow)={(AEDBC;43)，(ABCED;44)，(AECBD;44)，(AECDB;44)，(AEBCD;45)}。2.3.2禁忌表

xnext=(AEDBC)山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況2：禁忌對象為分量變化禁忌長度為3，從2－opt鄰域中選出最佳的5個解組成候選集Can_N(xnow)，初始解xnow=x0=(ABCDE)，f(x0)=45。2.3.2禁忌表

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況2：禁忌對象為分量變化第1步——

xnow=(ABCDE)，f(xnow)=45，H=ΦCan_N(xnow)={(ACBDE;43)，(ADCBE;45)，(AECDB;60)，(ABEDC;59)，(ABCED;44)}。2.3.2禁忌表

xnext=(ACBDE)山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況2：禁忌對象為分量變化第2步——

xnow=(ACBDE)，f(xnow)=43，H={(B,C)}Can_N(xnow)={(ACBED;43)，(ADBCE;44)，(ABCDE;45)，(ACEDB;58)，(AEBDC;59)}。2.3.2禁忌表

xnext=(ACBED)山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況2：禁忌對象為分量變化第3步——

xnow=(ACBED)，f(xnow)=43，H={(B,C)，(D,E)}Can_N(xnow)={(ACBDE;43)，(ABCED;44)，(AEBCD;45)，(ADBEC;58)，(ACEBD;58)}。2.3.2禁忌表

xnext=(AEBCD)山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況3：禁忌對象為目標值變化禁忌長度為3，從2－opt鄰域中選出最佳的5個解組成候選集Can_N(xnow)，初始解xnow=x0=(ABCDE)，f(x0)=45。2.3.2禁忌表

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況3：禁忌對象為目標值變化第1步——

xnow=(ABCDE)，f(xnow)=45，H={45}Can_N(xnow)={(ABCDE;45)，(ACBDE;43)，(ADCBE;45)，(ABEDC;59)，(ABCED;44)}。2.3.2禁忌表

xnext=(ACBDE)山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

情況3：禁忌對象為目標值變化第2步——

xnow=(ACBDE)，f(xnow)=43，H={45，43}Can_N(xnow)={(ACBDE;43)，(ACBED;43)，(ADBCE;44)，(ABCDE;45)，(ACEDB;58)}。2.3.2禁忌表

xnext=(ADBCE)山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌對象的選取

解的簡單變化比解的分量變化和目標值變化的受禁范圍要小，可能造成計算時間的增加，但也給予了較大的搜索范圍；解分量的變化和目標值變化的禁忌范圍大，減少了計算時間，可能導致陷在局部最優(yōu)點。2.3.2禁忌表

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌長度的選取

（1）t可以為常數，易于實現；（2），t是可以變化的數，tmin和tmax是確定的。

tmin和tmax根據問題的規(guī)模確定，t的大小主要依據實際問題、實驗和設計者的經驗。（3）tmin和tmax的動態(tài)選擇。2.3.2禁忌表

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算禁忌長度的選取禁忌長度過短，一旦陷入局部最優(yōu)點，出現循環(huán)無法跳出；禁忌長度過長，造成計算時間較大，也可能造成計算無法繼續(xù)下去。（例）2.3.2禁忌表

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算特赦（藐視）原則（1）基于評價值的規(guī)則，若出現一個解的目標值好于前面任何一個最佳候選解，可特赦；（2）基于最小錯誤的規(guī)則，若所有對象都被禁忌，特赦一個評價值最小的解；（3）基于影響力的規(guī)則，可以特赦對目標值影響大的對象。2.3.2禁忌表

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算候選集合的確定（1）從鄰域中選擇若干目標值最佳的鄰居入選；（2）在鄰域中的一部分鄰居中選擇若干目標值最佳的狀態(tài)入選；（3）隨機選取。2.3.3其他

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算評價函數（1）直接評價函數，通過目標函數的運算得到評價函數；（2）間接評價函數，構造其他評價函數替代目標函數，應反映目標函數的特性，減少計算復雜性。2.3.3其他

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算記憶頻率信息根據記憶的頻率信息（禁忌次數等）來控制禁忌參數（禁忌長度等）。例如：如果一個元素或序列重復出現或目標值變化很小，可增加禁忌長度以避開循環(huán)；如果一個最佳目標值出現頻率很高，則可以終止計算認為已達到最優(yōu)值。2.3.3其他

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算記憶頻率信息可記錄的信息：（1）靜態(tài)頻率信息：解、對換或目標值在計算中出現的頻率；（2）動態(tài)頻率信息：從一個解、對換或目標值到另一個解、對換或目標值的變化趨勢。2.3.3其他

山東大學威海分校信息工程學院20092.3禁忌搜索的關鍵參數和操作

智能優(yōu)化計算終止規(guī)則（1）確定步數終止，無法保證解的效果，應記錄當前最優(yōu)解；（2）頻率控制原則，當某一個解、目標值或元素序列的頻率超過一個給定值時，終止計算；（3）目標控制原則，如果在一個給定步數內，當前最優(yōu)值沒有變化，可終止計算。2.3.3其他

山東大學威海分校信息工程學院20092.4禁忌搜索的實現與應用

智能優(yōu)化計算TSPBenchmark問題

4194;3784;5467;2562;764;299;6858;7144;5462;8369;6460;1854;2260;8346;9138;2538;2442;5869;7171;7478;8776;1840;1340;827;6232;5835;4521;4126;4435;4502.4.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院20092.4禁忌搜索的實現與應用

智能優(yōu)化計算算法流程

2.4.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院20092.4禁忌搜索的實現與應用

智能優(yōu)化計算初始條件禁忌長度為50

從2－opt鄰域中隨機選擇200個鄰域解，選出其中100個最佳解組成候選集終止步數20002.4.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院20092.4禁忌搜索的實現與應用

智能優(yōu)化計算運行過程

2.4.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院20092.4禁忌搜索的實現與應用

智能優(yōu)化計算運行過程

2.4.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院20092.4禁忌搜索的實現與應用

智能優(yōu)化計算運行過程

2.4.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院20092.4禁忌搜索的實現與應用

智能優(yōu)化計算運行過程

2.4.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院20092.4禁忌搜索的實現與應用

智能優(yōu)化計算運行過程

2.4.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院20092.4禁忌搜索的實現與應用

智能優(yōu)化計算運行過程

2.4.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院20092.4禁忌搜索的實現與應用

智能優(yōu)化計算運行過程

2.4.130城市TSP問題（d*=423.741byDBFogel）

山東大學威海分校信息工程學院20092.4禁忌搜索的實現與應用

智能優(yōu)化計算運行過程

2.4.1