機(jī)械優(yōu)化設(shè)計(jì)方法課件匯總?cè)譸pt完整版課件最全教學(xué)教程整套課件全書電子教案

1、機(jī)械優(yōu)化設(shè)計(jì)方法一. 優(yōu)化1. 優(yōu)化 在規(guī)定的范圍內(nèi)（或條件下），尋找給定函數(shù)取得的最大值（或最小值）的條件。 例：求得一維函數(shù) f(x) 最小值的條件為：若取 x*，則 f(x) 取得最小值 f(x*)。 最優(yōu)化 (Optimization) 簡(jiǎn)寫為 Opt. 目的是為了在完成某一任務(wù)時(shí)所作的努力最少、付出最小，而使其收益最大、效果最好。一. 優(yōu)化例如，圓木做成矩形截面梁的最佳截面尺寸。 使矩形梁的抗彎截面模量W最大限制條件bhd一. 優(yōu)化2. 優(yōu)化過(guò)程 優(yōu)化的過(guò)程是一種決策的過(guò)程。例如，要求設(shè)計(jì)一個(gè)如下圖所示的防洪堤壩。為了能防洪水，高度必須足以保證洪峰到來(lái)時(shí)，洪水不會(huì)漫入堤岸；堤壩的強(qiáng)度

2、足以保證巨浪不會(huì)沖垮堤壩。同時(shí)希望得到一個(gè)省時(shí)省力省經(jīng)費(fèi)的設(shè)計(jì)方案。 優(yōu)化過(guò)程就是求解一個(gè)付出的努力最小、獲得效益最大的方案。獲得設(shè)計(jì)方案的過(guò)程是一個(gè)決策的過(guò)程，也是優(yōu)化的過(guò)程。所作的努力或希望的效益在實(shí)際問(wèn)題中均可表達(dá)為一些決策變量的函數(shù)。二. 優(yōu)化設(shè)計(jì) optimal design廣義上 指機(jī)械產(chǎn)品（包括零件、部件、設(shè)備或系統(tǒng)）將其所策劃或構(gòu)思的方案逐步改進(jìn)并獲得最佳設(shè)計(jì)方案的決策過(guò)程，包括設(shè)計(jì)過(guò)程各個(gè)階段中的優(yōu)化技術(shù)應(yīng)用。狹義上 指某項(xiàng)設(shè)計(jì)在已確定方案后，尋求具有最佳性能（或品質(zhì)）的一組設(shè)計(jì)參數(shù)值，通常稱為參數(shù)優(yōu)化設(shè)計(jì)。二. 優(yōu)化設(shè)計(jì) optimal design傳統(tǒng)設(shè)計(jì)理論與方法疲勞壽

3、命理論、強(qiáng)度理論、振動(dòng)理論常憑經(jīng)驗(yàn)、試算、校核等方法。求可行解60年代出現(xiàn)：計(jì)算機(jī)輔助設(shè)計(jì)CAD、有限單元法、可靠性設(shè)計(jì)、優(yōu)化設(shè)計(jì)、價(jià)值工程、反求工程 90年代出現(xiàn)：并行設(shè)計(jì)、虛擬設(shè)計(jì)、仿生設(shè)計(jì)、協(xié)同設(shè)計(jì)現(xiàn)代設(shè)計(jì)理論與方法求最優(yōu)解二. 優(yōu)化設(shè)計(jì)優(yōu)化設(shè)計(jì)的發(fā)展 經(jīng)典優(yōu)化設(shè)計(jì): 20世紀(jì)40年代起，數(shù)學(xué)規(guī)劃論和計(jì)算機(jī)技術(shù)的發(fā)展使最優(yōu)化設(shè)計(jì)計(jì)算成為可能。 優(yōu)化設(shè)計(jì)從無(wú)約束有約束優(yōu)化問(wèn)題；連續(xù)變量離散變量；確定型隨機(jī)型模型；單目標(biāo)優(yōu)化多目標(biāo)優(yōu)化。 古典優(yōu)化思想: 17世紀(jì)發(fā)明微積分中的極值問(wèn)題。 現(xiàn)代優(yōu)化設(shè)計(jì)：20世紀(jì)80年代出現(xiàn)許多現(xiàn)代優(yōu)化算法：模擬退火算法、遺傳算法、人工神經(jīng)網(wǎng)絡(luò)算法、蟻群優(yōu)化算法

4、等。 并從狹義優(yōu)化設(shè)計(jì)（零部件參數(shù)）轉(zhuǎn)向廣義優(yōu)化設(shè)計(jì)（面向產(chǎn)品的全系統(tǒng)、設(shè)計(jì)全過(guò)程、全壽命周期）。例如,針對(duì)涉及多領(lǐng)域復(fù)雜系統(tǒng)的多學(xué)科設(shè)計(jì)優(yōu)化。實(shí)際問(wèn)題表達(dá)成的函數(shù)類型不同變量類型不同連續(xù)、離散、隨機(jī)變量等等確定型、不確定型；線性、非線性無(wú)約束優(yōu)化、約束優(yōu)化單目標(biāo)函數(shù)優(yōu)化、多目標(biāo)函數(shù)優(yōu)化連續(xù)變量?jī)?yōu)化、離散變量?jī)?yōu)化、隨機(jī)變量?jī)?yōu)化模擬退火、神經(jīng)網(wǎng)絡(luò)、遺傳優(yōu)化等優(yōu)化算法不同二. 優(yōu)化設(shè)計(jì)優(yōu)化設(shè)計(jì)的方法設(shè)計(jì)問(wèn)題的分析和描述優(yōu)化設(shè)計(jì)模型的建立（明確設(shè)計(jì)內(nèi)容）優(yōu)化求解（選擇優(yōu)化方法和優(yōu)化程序）優(yōu)化求解及后處理優(yōu)化設(shè)計(jì)的一般過(guò)程二. 優(yōu)化設(shè)計(jì)二. 優(yōu)化設(shè)計(jì)優(yōu)化設(shè)計(jì)的作用使傳統(tǒng)機(jī)械設(shè)計(jì)中，求解可行解上升為求解

5、最優(yōu)解；使傳統(tǒng)機(jī)械設(shè)計(jì)中，性能指標(biāo)的校核可以不再進(jìn)行；使零缺陷（廢品）設(shè)計(jì)成為可能；大大提高了產(chǎn)品的設(shè)計(jì)質(zhì)量，從而提高了產(chǎn)品的質(zhì)量；使不同學(xué)科設(shè)計(jì)人員的協(xié)同設(shè)計(jì)水平達(dá)到新的高度。第二章優(yōu)化問(wèn)題的基本術(shù)語(yǔ)和數(shù)學(xué)模型2.1 優(yōu)化設(shè)計(jì)的數(shù)學(xué)模型2.2 優(yōu)化設(shè)計(jì)的三大要素2.3 優(yōu)化設(shè)計(jì)的分類一. 機(jī)械優(yōu)化設(shè)計(jì)方法解決實(shí)際問(wèn)題的步驟 分析： 設(shè)計(jì)的要求（目標(biāo)、準(zhǔn)則）； 設(shè)計(jì)的限制（約束）條件； 設(shè)計(jì)的參數(shù)，確定設(shè)計(jì)變量。 建模：機(jī)械優(yōu)化設(shè)計(jì)方法相應(yīng)的數(shù)學(xué)模型。 2. 分析數(shù)學(xué)模型的類型，選擇合適的求解方法（優(yōu)化算法）。 3. 使用相應(yīng)的優(yōu)化算法程序（或編程）求數(shù)學(xué)模型的最優(yōu)解，并對(duì)計(jì)算的結(jié)果進(jìn)行評(píng)價(jià)分

6、析, 最終確定是否選用此次計(jì)算的解。1. 分析實(shí)際問(wèn)題，建立優(yōu)化設(shè)計(jì)的數(shù)學(xué)模型；舉例：圓形等截面銷軸的優(yōu)化設(shè)計(jì)的數(shù)學(xué)模型 分析：設(shè)計(jì)目標(biāo)是軸的質(zhì)量最輕 Q =1 /4 d2 l min. ；要求：設(shè)計(jì)銷軸，在滿足上述條件的同時(shí)，軸的質(zhì)量應(yīng)為最輕。設(shè)計(jì)限制條件有5個(gè)： 彎曲強(qiáng)度： max w 扭轉(zhuǎn)強(qiáng)度： 剛度： f f 結(jié)構(gòu)尺寸： l 8 d 0 設(shè)計(jì)參數(shù)中的未定變量：d、l已知：軸的一端作用載荷 P=1000N，扭矩 M=100Nm；軸長(zhǎng)不得小于8cm；材料的許用彎曲應(yīng)力 w=120MPa，許用扭剪應(yīng)力 = 80MPa，許用撓度 f = 0.01cm；密度 = 7.8t /m，彈性模量E=21

7、05MPa。目標(biāo)函數(shù) Q = 1 /4 d2 l min.約束函數(shù)max = Pl / ( 0.1d3 )w = M / ( 0.2d3 ) f = Pl3 / ( 3EJ ) f l 8d 0求：X =x1,x2 T = d ,l T min. f (X)= x12x2 XR2 s.t. g1(X)= 8.33 x2 - x13 0 g2(X)= 6.25 - x13 0 g3(X)= 0.34 x23 - x14 0 g4(X)= 8 - x2 0 g5(X)= - x1 0建立數(shù)學(xué)模型代入數(shù)據(jù)整理得 優(yōu)化設(shè)計(jì)模型：舉例：圓形等截面銷軸的優(yōu)化設(shè)計(jì)的數(shù)學(xué)模型 設(shè)計(jì)變量 目標(biāo)函數(shù) 約束函數(shù)（性

8、能約束） 約束函數(shù)（性能約束） 約束函數(shù)（性能約束） 約束函數(shù)（幾何約束） 約束函數(shù)（幾何約束）屬于2維歐氏空間求：X =x1,x2 T = d ,l T min. f (X)= x12x2 XR2 s.t. g1(X)= 8.33 x2 - x13 0 （max w） g2(X)= 6.25 - x13 0 （ ） g3(X)= 0.34 x23 - x14 0 （ f f ） g4(X)= 8 - x2 0 g5(X)= - x1 0舉例：圓形等截面銷軸的優(yōu)化設(shè)計(jì)的數(shù)學(xué)模型 設(shè) X =x1, x2 , xn T min. f (X) = f (x1, x2 , xn) XRn s.t. g

9、u(X) 0 u = 1,2,m hv(X) = 0 v = 1,2, p n（設(shè)計(jì)變量）（目標(biāo)函數(shù)） （不等式約束）（等式約束）三. 優(yōu)化設(shè)計(jì)的數(shù)學(xué)模型機(jī)械優(yōu)化設(shè)計(jì)數(shù)學(xué)模型的一般形式：一.設(shè)計(jì)變量：設(shè)計(jì)變量：在優(yōu)化設(shè)計(jì)過(guò)程中是變化的，需要優(yōu)選的量。設(shè)計(jì)參數(shù)：在優(yōu)化設(shè)計(jì)過(guò)程中保持不變或預(yù)先確定數(shù)值?？梢允菐缀螀?shù)：例，尺寸、形狀、位置 運(yùn)動(dòng)學(xué)參數(shù)：例，位移、速度、加速度 動(dòng)力學(xué)參數(shù)：例，力、力矩、應(yīng)力 其它物理量：例，質(zhì)量、轉(zhuǎn)動(dòng)慣量、頻率、撓度、彈性模量、密度 非物理量： 例，效率、壽命、成本X(k)（x1(k), x2 (k), , xn(k)）是設(shè)計(jì)向量X(k)的端點(diǎn)，代表設(shè)計(jì)空間中的一個(gè)

10、點(diǎn)，也代表第 k 個(gè)設(shè)計(jì)方案?？赡苁强尚蟹桨?、也可能不是可行方案。 Rn ：以x1, x2 , , xn 為坐標(biāo)軸，構(gòu)成 n 維歐氏實(shí)空間Rn。它包含了所有可能的設(shè)計(jì)點(diǎn)，即所有設(shè)計(jì)方案。一.設(shè)計(jì)變量用 X =x1, x2 , , xnT 表示，是定義在 n 維歐氏空間中的一個(gè)向量。設(shè)計(jì)空間設(shè) 計(jì) 點(diǎn)設(shè)計(jì)變量設(shè)計(jì)向量?jī)?yōu)化設(shè)計(jì)問(wèn)題有 n 個(gè)設(shè)計(jì)變量 x1,x2 ,xn，用 xi (i = 1,2,n)表示，是設(shè)計(jì)向量 X 的 n個(gè)分量。例：右圖三維空間中第1設(shè)計(jì)點(diǎn)：X(1) = x1(1),x2(1),x3(1)T第2設(shè)計(jì)點(diǎn)：X(2) = x1(2),x2(2),x3(2)T 其中：X(2) =

11、X(1) +X(1) 增量：X(1)=x1(1),x2(1),x3(1)T 即 x1(2) = x1(1) + x1(1) x2(2) = x2(1) + x2(1) x3(2) = x3(1) + x3(1)一.設(shè)計(jì)變量一.設(shè)計(jì)變量從一個(gè)設(shè)計(jì)問(wèn)題的許多參數(shù)中識(shí)別出設(shè)計(jì)變量應(yīng)注意以下幾點(diǎn)：設(shè)計(jì)變量應(yīng)是獨(dú)立的參數(shù)；用設(shè)計(jì)變量來(lái)闡述設(shè)計(jì)問(wèn)題應(yīng)該是用最少的數(shù)量；在開(kāi)始闡述設(shè)計(jì)問(wèn)題時(shí)盡可能用較多的設(shè)計(jì)參數(shù)，然后再?gòu)乃羞x出幾個(gè)對(duì)設(shè)計(jì)指標(biāo)影響較大的參數(shù)取為設(shè)計(jì)變量，其余定為常數(shù)，即根據(jù)設(shè)計(jì)規(guī)范或經(jīng)驗(yàn)把它取為固定的值。設(shè)計(jì)約束：設(shè)計(jì)變量值(設(shè)計(jì)點(diǎn))的選擇不僅要使目標(biāo)函數(shù)達(dá)到最優(yōu)值， 同時(shí)還會(huì)受一定的條件限

12、制，這些制約條件稱設(shè)計(jì)約束。約束函數(shù)：設(shè)計(jì)約束是設(shè)計(jì)變量的函數(shù)，稱為約束函數(shù)。 不等式約束函數(shù)： gu(X) 0 u = 1,2,m 等式約束函數(shù)： hv(X) = 0 v = 1,2, p 0 的部分。設(shè)計(jì)可行域（簡(jiǎn)稱為可行域） 對(duì)于一個(gè)優(yōu)化問(wèn)題，所有約束的約束面將組成一個(gè)復(fù)合的約束曲面，包圍了設(shè)計(jì)空間中滿足所有約束條件的區(qū)域，稱為設(shè)計(jì)可行域 。記作 = g u(x) 0 u = 1,2,mh v (x) = 0 v = 1,2, p二.約束函數(shù)可行設(shè)計(jì)點(diǎn)（內(nèi)點(diǎn)）： 在可行域內(nèi)任意一點(diǎn)稱為可行設(shè)計(jì)點(diǎn)，代表一個(gè)可行方案。極限設(shè)計(jì)點(diǎn)（邊界點(diǎn)）： 在約束面上的點(diǎn)稱為極限設(shè)計(jì)點(diǎn)。 若討論的設(shè)計(jì)點(diǎn) X

13、 (k) 點(diǎn)使得 gu( X (k) ) = 0 ，則 gu( X (k) ) 0 稱為 適時(shí)約束或起作用約束。 非可行設(shè)計(jì)點(diǎn)（外點(diǎn)）： 在可行域外的點(diǎn)稱為非可行設(shè)計(jì)點(diǎn)，代表不可采用的設(shè)計(jì)方案。目標(biāo)函數(shù)： 優(yōu)化設(shè)計(jì)的過(guò)程是從可行設(shè)計(jì)解中，找出一組最優(yōu)解的過(guò)程。需要一個(gè)準(zhǔn)則來(lái)評(píng)價(jià)當(dāng)前設(shè)計(jì)點(diǎn)（解）的最優(yōu)性。 這個(gè)準(zhǔn)則包含各個(gè)設(shè)計(jì)變量，作為評(píng)價(jià)函數(shù)，一般稱為目標(biāo)函數(shù)，也稱為評(píng)價(jià)函數(shù)、準(zhǔn)則函數(shù)、價(jià)值函數(shù)。多目標(biāo)函數(shù)： 由于評(píng)價(jià)準(zhǔn)則的非唯一性，目標(biāo)函數(shù)可以是一個(gè)單目標(biāo)函數(shù)，也可以是多個(gè)稱為多目標(biāo)函數(shù)。三. 目標(biāo)函數(shù)單目標(biāo)函數(shù)的表達(dá)式為：f (x) = f (x1, x2 , ,xn )多目標(biāo)函數(shù)的表達(dá)式

14、為：f (x) = 1 f1(x)+2 f2(x)+q fq(x) = 其中： f1(x)，f2(x)， fq(x)代表 q 個(gè)分設(shè)計(jì)目標(biāo)； 1，2， ，q 代表 q 個(gè)加權(quán)系數(shù)。三. 目標(biāo)函數(shù)三. 目標(biāo)函數(shù)說(shuō)明： f (x)必須是x的函數(shù)，應(yīng)隨設(shè)計(jì)點(diǎn)的變化f (x)的值上升、下降； f (x)應(yīng)該是實(shí)函數(shù)，是可計(jì)算的。但不一定通過(guò)數(shù)學(xué)公式，還可以用其它數(shù)值計(jì)算方法計(jì)算。 f (x)可以是有物理意義，有單位的，也可以沒(méi)有物理意義。 例如，銷軸的質(zhì)量： Q =1/4d2l， 1/4是常數(shù)， 目標(biāo)函數(shù)可簡(jiǎn)化為 f (x) = d2 l = x12x2一. 按模型性質(zhì)分： 確定型優(yōu)化問(wèn)題 不確定型優(yōu)

15、化問(wèn)題（隨機(jī)優(yōu)化問(wèn)題）二. 按設(shè)計(jì)變量性質(zhì)分 連續(xù)變量、 離散變量、 隨機(jī)變量三. 按約束情況分1. 按有無(wú)約束分： 無(wú)約束優(yōu)化問(wèn)題 約束優(yōu)化問(wèn)題 2. 按約束性質(zhì)分： 區(qū)域約束（幾何約束、邊界約束） 性能約束（功能約束、性態(tài)約束）四. 按目標(biāo)函數(shù)和約束函數(shù)的特性分： 線性規(guī)劃問(wèn)題 非線性規(guī)劃問(wèn)題 幾何規(guī)劃問(wèn)題 二次規(guī)劃問(wèn)題五. 按目標(biāo)函數(shù)的個(gè)數(shù)分： 單目標(biāo)優(yōu)化問(wèn)題 雙目標(biāo)優(yōu)化問(wèn)題 多目標(biāo)優(yōu)化問(wèn)題第三章優(yōu)化問(wèn)題的基本概念和理論3.1 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)3.2 優(yōu)化設(shè)計(jì)的最優(yōu)解及獲得最優(yōu)解的條件3.3 優(yōu)化設(shè)計(jì)問(wèn)題的數(shù)值迭代法及其收斂條件一. 等值（線）面： 對(duì)于可計(jì)算的函數(shù) f(x)，給定一個(gè)

16、設(shè)計(jì)點(diǎn) X(k)(x1(k),x2(k), ,xn (k)，f(x)總有一個(gè)定值c 與之對(duì)應(yīng)；而當(dāng)f(x)取定值 c 時(shí)，則有無(wú)限多個(gè)設(shè)計(jì)點(diǎn)X(i)(x1(i), x2(i), ,xn(i) ) （i=1,2, ）與之對(duì)應(yīng)，這些點(diǎn)集構(gòu)成一個(gè)曲面，稱為等值面。 當(dāng) c 取c1,c2, 等值時(shí)，就獲得一族曲面族，稱為等值面族。 當(dāng)f(x)是二維時(shí)，獲得一族等值線族； 當(dāng)f(x)是三維時(shí)，獲得一族等值面族； 當(dāng)f(x)大于三維時(shí)，獲得一族超等值面族。一. 等值（線）面：等值線的形狀： 同心圓族、橢圓族，近似橢圓族；等值線的疏密： 沿等值線密的方向，函數(shù)值變化快； 沿等值線疏的方向，函數(shù)值變化慢。 等

17、值線的疏密定性反應(yīng)函數(shù)值變化率。 嚴(yán)重非線性函數(shù)病態(tài)函數(shù)的等值線族是嚴(yán)重偏心和扭曲、分布疏密嚴(yán)重不一的曲線族。方向?qū)?shù)： 二維問(wèn)題中，f (x1,x2 ) 在 X(0) 點(diǎn)沿方向 s的方向?qū)?shù)為：為 x(0)點(diǎn)的梯度。s方向的單位向量為 S 的方向角,方向?qū)?shù)為方向余弦。為梯度在方向 s 上的投影。二. 梯度二. 梯度 對(duì)于 n 維問(wèn)題的梯度二. 梯度梯度的性質(zhì)： 梯度是 x(0)點(diǎn)處最大的方向?qū)?shù)； 梯度的方向是過(guò)點(diǎn)的等值線的法線方向； 梯度是x (0) 點(diǎn)處的局部性質(zhì)； 梯度指向函數(shù)變化率最大的方向； 正梯度方向是函數(shù)值最速上升的方向， 負(fù)梯度方向是函數(shù)值最速下降的方向。n 維函數(shù) f(x

18、) 在 x(k) 點(diǎn)的臺(tái)勞展開(kāi)式，取二次近似函數(shù): x (k) =x1 (k) , x2 (k) , xn (k) T梯度 Hesse 矩陣三. 函數(shù)的局部近似與Hesse 矩陣三. Hesse 矩陣與正定Hesse 矩陣的特性：是實(shí)對(duì)稱矩陣。 矩陣正定的充要條件：各階主子式 A0當(dāng)主子式 A0 時(shí)，矩陣半正定 A0(負(fù)正相間)時(shí)，矩陣負(fù)定 A0 時(shí)，矩陣半負(fù)定Hesse 矩陣的正定性：H(x*)正定， 是 x* 為全局極小值點(diǎn)的充分條件；H(x*)半正定, 是 x* 為局部極小值點(diǎn)的充分條件；H(x*)負(fù)定， 是 x* 為全局極大值點(diǎn)的充分條件；H(x*)半負(fù)定, 是 x* 為局部極大值點(diǎn)的

19、充分條件。正定的二次函數(shù)：曲面為橢圓拋物面； 等值線族為橢圓曲線族，橢圓中心為極小值點(diǎn)。凸集： 設(shè) 為歐氏空間Rn 中X的集合，即 Rn, X ，若 域內(nèi)任意兩個(gè)點(diǎn)x(1),x(2)的連線上的各點(diǎn)都屬于 域，則集合 稱為 Rn 內(nèi)的一個(gè)凸集。否則，為非凸集。 凸函數(shù)： f(x)是定義在 n 維歐氏空間中，凸集上的函數(shù)，同時(shí)x(1) ， x(2) ，0,1，當(dāng)下式成立時(shí)，則稱f(x)為定義在凸集 上的凸函數(shù)。f x (1) +(1-) x(2) f(x(1) +(1-) f(x(2) ) 當(dāng)上式中的“”為 “”時(shí)， f(x)是嚴(yán)格凸函數(shù)。四. 函數(shù)的凸性四. 函數(shù)的凸性判別函數(shù)為凸函數(shù)的凸性條件

20、： 按梯度判斷凸性：設(shè)f(x)是定義在凸集 上具有連續(xù)一階導(dǎo)數(shù)的函數(shù)，則f(x)在 上為凸函數(shù)的充要條件是：對(duì)于任意的 x(1),x(2) 都有 成立。 按二階偏導(dǎo)數(shù)判斷凸性：設(shè) f(x) 是定義在凸集 上具有連續(xù)二階導(dǎo)數(shù)的函數(shù)，則f(x)在 上為凸函數(shù)的充要條件是： f(x)的Hesse矩陣處處半正定。若Hesse矩陣處處正定，則f(x)為嚴(yán)格凸函數(shù)。凸函數(shù)的基本性質(zhì)： 若 f(x)是定義在凸集 上的嚴(yán)格凸函數(shù)，則f(x)在 上的一個(gè)極小點(diǎn)，也就是全局最小點(diǎn)。 凸函數(shù)的線性組合仍然為凸函數(shù)。 設(shè) 為凸函數(shù) f(x)上的兩個(gè)最小點(diǎn)，則其連線上的任意點(diǎn)也都是最小點(diǎn)。一. 優(yōu)化設(shè)計(jì)最優(yōu)解無(wú)約束優(yōu)化

21、設(shè)計(jì)問(wèn)題最優(yōu)解：約束優(yōu)化設(shè)計(jì)問(wèn)題最優(yōu)解： 不受約束條件限制，使目標(biāo)函數(shù)達(dá)到最小值的一組設(shè)計(jì)變量，即最優(yōu)點(diǎn)x*=x1, x2 , xn T和最優(yōu)值 f (x*) 構(gòu)成無(wú)約束問(wèn)題最優(yōu)解。 滿足約束條件，使目標(biāo)函數(shù)達(dá)到最小值的一組設(shè)計(jì)變量， 即最優(yōu)點(diǎn) x*=x1, x2 , xn 和最優(yōu)值 f (x*) 構(gòu)成約束問(wèn)題最優(yōu)解。一. 優(yōu)化設(shè)計(jì)最優(yōu)解無(wú)約束優(yōu)化設(shè)計(jì)問(wèn)題最優(yōu)解的條件：必要條件：充分條件： Hesse矩陣 H(x(k) 是正定矩陣二. 有約束問(wèn)題最優(yōu)點(diǎn)的幾種情況無(wú)適時(shí)約束 x (k) 為最優(yōu)點(diǎn)x*的條件：必要條件：充分條件： Hesse矩陣 H(x(k) 是正定矩陣X*目標(biāo)函數(shù)是凸函數(shù)，可行域

22、是凸集，則最優(yōu)點(diǎn)是內(nèi)點(diǎn)。相當(dāng)于無(wú)約束問(wèn)題的最優(yōu)點(diǎn)。二. 有約束問(wèn)題最優(yōu)點(diǎn)的幾種情況有適時(shí)約束 目標(biāo)函數(shù)是凸函數(shù),可行域是凸集，則目標(biāo)函數(shù)等值線與適時(shí)約束曲面的切點(diǎn)為最優(yōu)點(diǎn)，而且是全局最優(yōu)點(diǎn)。二. 有約束問(wèn)題最優(yōu)點(diǎn)的幾種情況有適時(shí)約束 目標(biāo)函數(shù)是非凸函數(shù)（圖 a），或可行域是非凸集（圖 b）： 則目標(biāo)函數(shù)等值線與適時(shí)約束曲面可能存在多個(gè)切點(diǎn)，是局部極值點(diǎn)，其中只有一個(gè)點(diǎn)是全局最優(yōu)點(diǎn)。pQQp三. K-T ( Kuhn-Tucker 庫(kù)恩-塔克) 條件 有適時(shí)約束時(shí)獲得最優(yōu)解的條件1. 有一個(gè)適時(shí)約束時(shí)： 與x(k)點(diǎn)目標(biāo)函數(shù)的負(fù)梯度方向成銳角，即沿 S 方向目標(biāo)函數(shù)值下降； 與x(k)點(diǎn)約束函數(shù)

23、的梯度方向成鈍角，即保證 S方向上各點(diǎn)在可行域內(nèi)。 從數(shù)學(xué)上定義，當(dāng)從 x(k)點(diǎn)出發(fā)不存在一個(gè) S 方向能同時(shí)滿足： ;，即 ， 則獲得最優(yōu)解：x(k)為最優(yōu)點(diǎn) x*，f(x(k)為最優(yōu)值 f(x*)。從幾何上看，當(dāng)從 x (k)點(diǎn)出發(fā)不存在一個(gè) S 方向能同時(shí)滿足： 此時(shí)，獲得最優(yōu)解 x (k) 為最優(yōu)點(diǎn) x*，f (x (k) )為最優(yōu)值 f (x *) 。2. 有二個(gè)適時(shí)約束時(shí)： x(k)成為約束最優(yōu)點(diǎn) x* 的必要條件為: 幾何上 位于和 所張的扇形子空間內(nèi)。即不存在一個(gè) S 方向能同時(shí)滿足：三. K-T ( Kuhn-Tucker 庫(kù)恩-塔克) 條件 有適時(shí)約束時(shí)獲得最優(yōu)解的條件3

24、. K-T 條件（擴(kuò)展至 m 個(gè)適時(shí)約束）： 設(shè)某個(gè)設(shè)計(jì)點(diǎn) x(k)，其適時(shí)約束集為 ， 幾何上，x(k)成為約束最優(yōu)點(diǎn)（極小點(diǎn)）x*時(shí)，目標(biāo)函數(shù)的負(fù)梯度向量位于 m 個(gè)適時(shí)約束梯度向量所張成的子空間內(nèi)。且 為線性獨(dú)立，則 x(k)成為約束最優(yōu)點(diǎn)的必要條件是目標(biāo)函數(shù)的負(fù)梯度向量可表示為適時(shí)約束梯度向量的線性組合，即 。 其中， 。三. K-T ( Kuhn-Tucker 庫(kù)恩-塔克) 條件 有適時(shí)約束時(shí)獲得最優(yōu)解的條件K-T條件的作用： 是判別邊界設(shè)計(jì)點(diǎn) x(k) 為最優(yōu)點(diǎn)的依據(jù)； 作為約束優(yōu)化的收斂條件。三. K-T ( Kuhn-Tucker 庫(kù)恩-塔克) 條件 有適時(shí)約束時(shí)獲得最優(yōu)解的條

25、件一. 數(shù)值迭代法：基本思想： 從設(shè)計(jì)點(diǎn) x(k)出發(fā)，根據(jù)函數(shù)在該點(diǎn)的某些（局部）性質(zhì)，確定本次搜索的方向 S(k) 和步長(zhǎng)因子(k) ，從而達(dá)到一個(gè)新點(diǎn) x(k+1),逐步調(diào)優(yōu)，最終達(dá)到或逼近目標(biāo)函數(shù)的最優(yōu)點(diǎn)。 迭代公式： x(k+1) = x(k) +(k) S(k) 迭代條件： 保證得到的新點(diǎn) 在可行域內(nèi)； 目標(biāo)函數(shù)值步步下降。一. 數(shù)值迭代法：迭代步驟： 選擇合適的初始點(diǎn)； 尋找可行的搜索方向； 確定步長(zhǎng)因子； 獲得新點(diǎn)后，判斷其是否在可行域內(nèi)、目標(biāo)函數(shù)值是否下降； 檢驗(yàn)是否收斂。二. 無(wú)約束優(yōu)化問(wèn)題收斂條件（終止準(zhǔn)則）當(dāng) 時(shí)， 。 依據(jù)：判斷無(wú)約束優(yōu)化問(wèn)題最優(yōu)點(diǎn)的必要條件： 局限性

26、：可能迭代終止在鞍點(diǎn)上。 當(dāng) 時(shí)，或當(dāng) 時(shí) 依據(jù)：柯西準(zhǔn)則序列極限存在的判別法； 局限性：遇到陡坡，迭代過(guò)早結(jié)束。當(dāng) 時(shí)， 。 局限性：目標(biāo)函數(shù)值變化過(guò)緩時(shí)，過(guò)早結(jié)束； 當(dāng) f(x(k-1) )0 時(shí)不可用。第四章無(wú)約束問(wèn)題的最優(yōu)化方法4.1 引言4.2 一維搜索方法4.3 坐標(biāo)輪換法和 Powell 法4.4 梯度法和共軛梯度法4.5 牛頓法和變尺度法無(wú)約束優(yōu)化問(wèn)題數(shù)學(xué)模型的一般形式為：求一組 n 維設(shè)計(jì)變量使目標(biāo)函數(shù)達(dá)到即求設(shè)計(jì)問(wèn)題的最優(yōu)解，包括 設(shè)計(jì)向量的最優(yōu)點(diǎn)目標(biāo)函數(shù)的最優(yōu)值無(wú)約束優(yōu)化問(wèn)題的研究?jī)?nèi)容：一維搜索：多維（變量）優(yōu)化：黃金分割插值法 坐標(biāo)輪換法共軛方向法梯度法共軛梯度法牛頓法

27、DFP變尺度法 確定搜索方向 S (k)求最優(yōu)步長(zhǎng)因子(k)一維搜索：求最優(yōu)步長(zhǎng)因子(k)一維搜索 求最優(yōu)步長(zhǎng)因子(k)，使 沿給定方向達(dá)到極小值的過(guò)程已知點(diǎn)給定搜索方向解析法 把函數(shù) 沿 方向作Taylor展開(kāi)，并取二次近似式，則得對(duì) 求導(dǎo)數(shù)并令其等于零，即得求得最優(yōu)步長(zhǎng)因子為可精確求導(dǎo)注意：數(shù)值迭代法搜索區(qū)間的確定第一步：確定函數(shù)值最小點(diǎn)的所在區(qū)間第二步：求最優(yōu)步長(zhǎng)因子(k)黃金分割插值法 數(shù)值迭代法搜索區(qū)間的確定 在區(qū)間 1，3 內(nèi)，函數(shù)只有一個(gè)峰值，則此區(qū)間為單峰區(qū)間。單峰區(qū)間內(nèi)，一定存在一點(diǎn)*，當(dāng)任意一點(diǎn)2*時(shí)，f (2)f (*)，當(dāng)2*時(shí)，仍有f (2)f (*)，則*是最優(yōu)點(diǎn)，

28、也即為最優(yōu)步長(zhǎng)因子(k)。說(shuō)明： 單峰區(qū)間內(nèi)，函數(shù)可以有不可微點(diǎn)，也可以是不連續(xù)函數(shù)； 確定的搜索區(qū)間必定是一個(gè)含有最優(yōu)點(diǎn)*的單峰區(qū)間。數(shù)值迭代法搜索區(qū)間的確定試探步長(zhǎng)加速步長(zhǎng)搜索法外推法（縮小搜索區(qū)間）數(shù)值迭代法新區(qū)間序列消去法一般形式最終區(qū)間長(zhǎng)度終止條件最優(yōu)點(diǎn)數(shù)值迭代法黃金分割法序列消去法數(shù)值迭代法二次插值法基本原理數(shù)值迭代法二次插值法確定二次插值函數(shù)的系數(shù)：已知：解得簡(jiǎn)化公式數(shù)值迭代法二次插值法縮短搜索區(qū)間：已知：新區(qū)間收斂條件坐標(biāo)輪換法基本原理 每次以一個(gè)變量坐標(biāo)軸作為搜索方向，將 n 維的優(yōu)化問(wèn)題轉(zhuǎn)化為一維搜索問(wèn)題。例，第 k 輪迭代的第 i 次搜索，是固定除 xi外的 n-1 個(gè)變

29、量，沿 xi 變量坐標(biāo)軸作一維搜索，求得極值點(diǎn) xi(k) n 次搜索后獲得極值點(diǎn)序列 x1(k), x1(k), xn(k) ，若未收斂，則開(kāi)始第 k+1 次迭代，直至收斂到最優(yōu)點(diǎn) x*。 坐標(biāo)輪換法搜索方向和步長(zhǎng)第k輪第i次迭代公式第k輪第i次迭代初始點(diǎn)第k輪第i次迭代步長(zhǎng)因子第k輪第i次迭代搜索方向收斂條件加速步長(zhǎng)法一維搜索法坐標(biāo)輪換法方法評(píng)價(jià) 方法簡(jiǎn)單，容易實(shí)現(xiàn)。 當(dāng)維數(shù)增加時(shí)，效率明顯下降。 收斂慢，以振蕩方式逼近最優(yōu)點(diǎn)。 受目標(biāo)函數(shù)的性態(tài)影響很大。 如圖 a) 所示，二次就收斂到極值點(diǎn)； 如圖 b) 所示，多次迭代后逼近極值點(diǎn)； 如圖 c) 所示，目標(biāo)函數(shù)等值線出現(xiàn)山脊（或稱陡谷）

30、，若搜索到 A 點(diǎn)，再沿兩個(gè)坐標(biāo)軸，以t0步長(zhǎng)測(cè)試，目標(biāo)函數(shù)值均上升，計(jì)算機(jī)判斷 A 點(diǎn)為最優(yōu)點(diǎn)。事實(shí)上發(fā)生錯(cuò)誤。Powell 法基本思想 若沿連接相鄰兩輪搜索末端的向量 S 方向搜索，收斂速度加快。 因?yàn)閮蓷l平行線 S1, S2 與同心橢圓族相切，兩個(gè)切點(diǎn)的連線 S 直指中心。稱 S1,S2與 S 為共軛方向。 目的：以共軛方向打破振蕩，加速收斂。Powell 法共軛方向與共軛第1輪搜索第2次搜索可以證明Powell法的理論基礎(chǔ)Powell 法步驟Powell 法說(shuō)明 若是正定二次函數(shù)，n 輪迭代后收斂于最優(yōu)點(diǎn) x * 。 若是非正定二次函數(shù)，則迭代次數(shù)增加。 若是 n 維問(wèn)題，步驟相同。

31、搜索方向：第一輪迭代，沿初始方向組 Si(1) (i=1,2,n) 的 n 個(gè)方向和共軛方向 S(1)，搜索 n+1 次得極值點(diǎn) xn+1(1) ；第二輪迭代，沿方向組 Si(1) (i=1,2,n； im ) 的 n1個(gè)方向和共軛方向 S(1)，構(gòu)筑共軛方向 S(2)搜索n+1次得極值點(diǎn) xn+1(2) 。其中，為保證搜索方向的線性無(wú)關(guān)，去除了 Sm(2) 方向 。 在第 k 輪迭代中，為避免產(chǎn)生線性相關(guān)或近似線性相關(guān)，需要去除前一輪中的某個(gè)方向 Sm(k) 。去除的方法請(qǐng)自學(xué)。Powell 法方法評(píng)價(jià) 計(jì)算步驟復(fù)雜; 是二次收斂方法，收斂快。對(duì)非正定函數(shù)也很有效; 是比較穩(wěn)定的方法。 梯度

32、法基本思想 目標(biāo)函數(shù)負(fù)梯度向量方向代表最速下降方向，因此選擇負(fù)梯度向量方向作為搜索方向，期望很快找到最優(yōu)點(diǎn)。是負(fù)梯度方向的單位向量搜索方向第k次迭代得到的新點(diǎn)：收斂條件梯度法方法評(píng)價(jià)迭代過(guò)程簡(jiǎn)單，對(duì)初始點(diǎn)的選擇要求不高。遠(yuǎn)離極小點(diǎn)時(shí)，函數(shù)值下降快。梯度方向目標(biāo)函數(shù)值下降迅速只是個(gè)局部性質(zhì)，從整體來(lái)看，不一定是收斂最快的方向。以二維二次函數(shù)為例，相鄰兩次的搜索方向是正交的，所以搜索路徑是曲折的鋸齒形的；對(duì)于高維的非線性函數(shù)，接近極值點(diǎn)處，容易陷入穩(wěn)定的鋸齒形搜索路徑。共軛梯度法基本思想共軛系數(shù)第 k 次搜索的方向： 對(duì)梯度法作一個(gè)修正，將搜索方向由負(fù)梯度方向旋轉(zhuǎn)一個(gè)角度，使相鄰的兩次搜索方向由正

33、交變?yōu)楣曹棧蔀槎问諗?。搜索方向?k1 次搜索的方向：共軛梯度法步驟共軛梯度法方法評(píng)價(jià)迭代程序簡(jiǎn)單，容易實(shí)現(xiàn)，存儲(chǔ)量較小。開(kāi)始采用梯度方向，目標(biāo)函數(shù)值下降快，后又為旋轉(zhuǎn)梯度方向，具有二次收斂速度，收斂快。需要求一階導(dǎo)數(shù)。牛頓法基本思想 將 f(x) 在 x(k) 點(diǎn)作臺(tái)勞展開(kāi)，取二次函數(shù)式(x) 作為近似函數(shù),以(x) 的極小值點(diǎn)作為 f(x) 的近似極小值點(diǎn)。牛頓法說(shuō)明 是Hesse矩陣的逆矩陣 為牛頓步長(zhǎng) f(x) 若是正定二次函數(shù)，一般迭代一次即可；若是嚴(yán)重非線性函數(shù)，則可能不收斂，或收斂到鞍點(diǎn)。f(x) 不是二次函數(shù)時(shí)，采用如下迭代公式修正牛頓法 (牛頓方向法）f(x) 不是二次函

34、數(shù)時(shí)，采用如下迭代公式 牛頓方向 最優(yōu)步長(zhǎng)因子 使用牛頓法時(shí)，若目標(biāo)函數(shù)是嚴(yán)重非線性函數(shù)，則是否收斂將與初始點(diǎn)有很大關(guān)系；而使用修正牛頓法，能保證每次迭代目標(biāo)函數(shù)值下降，從而放寬了對(duì)初始點(diǎn)的要求。 若初始點(diǎn)選得合適，牛頓法的收斂速度相當(dāng)快。 牛頓法求逆矩陣的工作量大，計(jì)算量與存儲(chǔ)量均隨 n2上升。方法評(píng)價(jià)變尺度法基本思想 發(fā)揚(yáng)梯度法和牛頓法各自的優(yōu)點(diǎn)，避免兩者各自的缺點(diǎn)，將兩者結(jié)合起來(lái)，形成變尺度法。迭代公式： 擬牛頓方向變尺度法步驟迭代公式：2）首次迭代時(shí)，1）選取初始點(diǎn) ，確定計(jì)算精度要求 3）進(jìn)行一維搜索求 使 則4）檢驗(yàn)精度，計(jì)算 ，若 ，則停止，其最小點(diǎn)為 。 若否，則進(jìn)行下一步。5

35、）檢查迭代次數(shù)，若k=n，則重置，從負(fù)梯度方向開(kāi)始，并取 。 若否，則進(jìn)行下一步。6）構(gòu)造新的擬牛頓方向 令 k=k+1，轉(zhuǎn)向第3）步。變尺度法方法評(píng)價(jià)變尺度法以逐次逼近的方法實(shí)現(xiàn) H-1 的計(jì)算，當(dāng)目標(biāo)函數(shù)的一階導(dǎo)數(shù)易求時(shí)，以一階代替二階導(dǎo)數(shù)的計(jì)算是有效的方法。算法的第一步是梯度法，最速下降；接近 x* 時(shí)，又采用二次收斂的共軛方向，總的收斂速度較快。H(k) 近似代表 x(k) 點(diǎn)的二階導(dǎo)數(shù)，當(dāng)其為零時(shí)，可判斷 x(k) 為鞍點(diǎn)。H(k) 的計(jì)算較復(fù)雜，存儲(chǔ)量較大。算法穩(wěn)定性較差，由于計(jì)算機(jī)有舍入誤差，容易使 H(k) 的正定性破壞，趨于奇異。 第五章約束問(wèn)題的最優(yōu)化方法5.1 引言5.2

36、 內(nèi)點(diǎn)懲罰函數(shù)法5.3 外點(diǎn)懲罰函數(shù)法5.4 混合懲罰函數(shù)法5.5 隨機(jī)方向搜索法5.6 復(fù)合形法5.7 可行方向法約束優(yōu)化問(wèn)題數(shù)學(xué)模型的一般形式為： 直接解法：隨機(jī)方向搜索法、復(fù)合形法、可行方向法 間接解法：內(nèi)點(diǎn)懲罰函數(shù)法、外點(diǎn)懲罰函數(shù)法、混合懲罰函數(shù)法約束優(yōu)化問(wèn)題的求解方法：直接解法基本思想 合理選擇初始點(diǎn)，確定搜索方向，以迭代公式 x(k+1)= x(k)+(k)S(k)在可行域中尋優(yōu)，經(jīng)過(guò)若干次迭代，收斂至最優(yōu)點(diǎn)。收斂條件邊界點(diǎn)的收斂條件應(yīng)該符合 K-T 條件；內(nèi)點(diǎn)的收斂條件為：直接解法在可行域內(nèi)進(jìn)行；若可行域是凸集，目標(biāo)函數(shù)是定義在凸集上的凸函數(shù)，則收斂到全局最優(yōu)點(diǎn)；否則，結(jié)果與初始

37、點(diǎn)有關(guān)。特點(diǎn)：間接解法基本思想將有約束優(yōu)化問(wèn)題轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題來(lái)解決。以原目標(biāo)函數(shù)和加權(quán)的約束函數(shù)共同構(gòu)成一個(gè)新的目標(biāo)函數(shù)( x, r1 ,r2 )，成為無(wú)約束優(yōu)化問(wèn)題 。通過(guò)不斷調(diào)整加權(quán)因子，產(chǎn)生一系列函數(shù)的極小點(diǎn)序列 x* (r1(k) , r2(k) ) k= 0,1,2 ，逐漸收斂到原目標(biāo)函數(shù)的約束最優(yōu)解。新目標(biāo)函數(shù)：式中 約束問(wèn)題轉(zhuǎn)換后的新目標(biāo)函數(shù)；r1, r2 兩個(gè)不同的加權(quán)參數(shù)； 分別為由約束函數(shù) 和 所定義的某種型式的泛函數(shù)。 間接解法新目標(biāo)函數(shù)：原目標(biāo)函數(shù)懲罰項(xiàng)無(wú)約束優(yōu)化問(wèn)題： 間接解法新目標(biāo)函數(shù)：無(wú)約束優(yōu)化問(wèn)題： 求一系列無(wú)約束問(wèn)題的極小點(diǎn)序列：逐漸收斂到原問(wèn)題的約束最

38、優(yōu)解上 內(nèi)點(diǎn)懲罰函數(shù)法（障礙函數(shù)法）： 懲罰函數(shù)法（SUMT法）又稱序列無(wú)約束極小化技術(shù) （Sequential Unconstrained Minimization Technique） 內(nèi)點(diǎn)懲罰函數(shù)法以原目標(biāo)函數(shù)和加權(quán)的約束函數(shù)共同構(gòu)成一個(gè)新的目標(biāo)函數(shù)( x, r )，新目標(biāo)函數(shù)為構(gòu)筑在可行域內(nèi)的無(wú)約束優(yōu)化問(wèn)題，隨著懲罰因子 r(k) 的不斷遞減，生成一系列新目標(biāo)函數(shù) (xk ,r(k)，對(duì)其進(jìn)行無(wú)約束優(yōu)化，在可行域內(nèi)逐步迭代，產(chǎn)生的極值點(diǎn) xk*(r(k) 序列從可行域內(nèi)部趨向原目標(biāo)函數(shù)的約束最優(yōu)點(diǎn) x* 。懲罰函數(shù)的形式懲罰因子降低系數(shù)步驟選取合適的初始點(diǎn) x (0) ，以及 r(0)

39、、c、計(jì)算精度 1、2 ，令 k=0；2. 構(gòu)造懲罰（新目標(biāo)）函數(shù)；調(diào)用無(wú)約束優(yōu)化方法，求新目標(biāo)函數(shù) ( x , r (k) )的最優(yōu)解 x*(r (k) ) ；判斷是否收斂：若均滿足，停止迭代，有約束優(yōu)化問(wèn)題的最優(yōu)點(diǎn)為 ；若有一個(gè)準(zhǔn)則不滿足，則令 并轉(zhuǎn)入第 2 步，繼續(xù)計(jì)算。參數(shù)的選取懲罰因子初始值 r(0) 的選擇： 過(guò)大、過(guò)小均不好，建議考慮選擇：2. 降低系數(shù) c 的選擇：c1, 可取0.50.7。建議先試算。3. 初始點(diǎn) x (0) 的選擇：要求： 在可行域內(nèi)； 不要離約束邊界太近。方法： 人工估算，需要校核可行性； 計(jì)算機(jī)隨機(jī)產(chǎn)生，也需校核可行性。方法評(píng)價(jià) 用于目標(biāo)函數(shù)比較復(fù)雜，或

40、在可行域外無(wú)定義的場(chǎng)合下； 由于優(yōu)化過(guò)程是在可行域內(nèi)逐步改進(jìn)設(shè)計(jì)方案，故在解決工程問(wèn)題時(shí)，只要滿足工程要求，即使未達(dá)最優(yōu)解，接近的過(guò)程解也是可行的； 初始點(diǎn)和序列極值點(diǎn)均需嚴(yán)格滿足所有約束條件； 不能解決等式約束問(wèn)題。基本思想： 外點(diǎn)懲罰函數(shù)法以原目標(biāo)函數(shù)和加權(quán)的約束函數(shù)共同構(gòu)成一個(gè)新的目標(biāo)函數(shù)( x, r )，新目標(biāo)函數(shù)為構(gòu)筑在可行域外的無(wú)約束優(yōu)化問(wèn)題，隨著懲罰因子 r(k) 的不斷遞增，生成一系列新目標(biāo)函數(shù) (xk ,r(k)，對(duì)其進(jìn)行無(wú)約束優(yōu)化，在可行域外逐步迭代，產(chǎn)生的極值點(diǎn) xk*(r(k) 序列從可行域外部趨向原目標(biāo)函數(shù)的約束最優(yōu)點(diǎn) x* 。懲罰函數(shù)的形式違反約束條件的集合z 構(gòu)造

41、懲罰函數(shù)的一個(gè)指數(shù)，其值將影響 函數(shù) 等值線在約束面處的性質(zhì) z一般取2。因?yàn)樵诩s束面處 f (x) 與 (x) 當(dāng) z=0 時(shí)，函數(shù)不連續(xù)； 當(dāng) 0z1 時(shí)，一階、二階導(dǎo)數(shù)不連續(xù)； 當(dāng) z=1 時(shí)，一階導(dǎo)數(shù)連續(xù)，二階導(dǎo)數(shù)不連續(xù)。0z1說(shuō) 明參數(shù)的選取懲罰因子初始值 r(0) 的選擇：2. 遞增系數(shù) a 的選擇：通常選擇 5 10，可根據(jù)具體題目，進(jìn)行試算調(diào)整。3. 初始點(diǎn) x (0) 的選擇：r (0) 過(guò)大，會(huì)使懲罰函數(shù)的等值線變形或偏心，求極值困難。r (0) 過(guò)小，迭代次數(shù)太多?？尚杏蛲馊我膺x擇終止準(zhǔn)則和約束裕量： 約束裕量：當(dāng)必須嚴(yán)格滿足約束條件時(shí)，選用約束裕量。終止準(zhǔn)則：步驟選取合

42、適的初始點(diǎn) x (0) ，以及 r(0)、a、0計(jì)算精度 1、2 ，令 k=0；2. 構(gòu)造懲罰（新目標(biāo)）函數(shù)；調(diào)用無(wú)約束優(yōu)化方法，求新目標(biāo)函數(shù) ( x , r (k) )的最優(yōu)解 x*(r (k) ) ；判斷是否接近邊界：若滿足判斷是否收斂則停止迭代， 否則轉(zhuǎn)入第 5 步。若均滿足，停止迭代，有約束優(yōu)化問(wèn)題的最優(yōu)點(diǎn)為 ；若有一個(gè)準(zhǔn)則不滿足，則令 并轉(zhuǎn)入第 2 步，繼續(xù)計(jì)算。方法評(píng)價(jià)初始點(diǎn)原則上可任意選擇;能解決等式約束問(wèn)題;由于優(yōu)化過(guò)程是在可行域外進(jìn)行，故在解決工程問(wèn)題時(shí)，過(guò)程解均不可行。懲罰函數(shù)的形式由于內(nèi)點(diǎn)法容易處理不等式約束優(yōu)化設(shè)計(jì)問(wèn)題，而外點(diǎn)法又容易處理等式約束優(yōu)化設(shè)計(jì)問(wèn)題，因而可將內(nèi)

43、點(diǎn)法與外點(diǎn)法結(jié)合起來(lái)，處理同時(shí)具有等式約束和不等式約束的優(yōu)化設(shè)計(jì)問(wèn)題。 一般既包括障礙項(xiàng)，也包括衰減項(xiàng)。 基本思想懲罰函數(shù)的形式2. 對(duì)不滿足的等式約束和不等式約束都用外點(diǎn)法，而對(duì)于x滿足的不等式約束用內(nèi)點(diǎn)法，即1. 其中其中初始點(diǎn)、r 的選擇參照內(nèi)點(diǎn)法初始點(diǎn)選擇無(wú)限制r 的選擇參照外點(diǎn)法基本思想： 隨機(jī)產(chǎn)生初始點(diǎn)，隨機(jī)產(chǎn)生搜索方向 S (k) ，進(jìn)行搜索。 但要確保： 新迭代點(diǎn)在可行域中； 目標(biāo)函數(shù)值的下降性。可行初始點(diǎn)的產(chǎn)生方法 人工確定的方法 即在可行域內(nèi)人為地確定一個(gè)可行的初始點(diǎn)隨機(jī)選擇方法 即利用計(jì)算機(jī)產(chǎn)生的偽隨機(jī)數(shù)來(lái)選擇一個(gè)可行的初始點(diǎn) 估計(jì)設(shè)計(jì)變量的上、下限： 在區(qū)間0,1中產(chǎn)生

44、偽隨機(jī)數(shù)列 ri ， 判斷是否 ；若滿足，則 若不滿足，則轉(zhuǎn)向。 隨機(jī)產(chǎn)生搜索方向步驟方法評(píng)價(jià)優(yōu)點(diǎn)： 對(duì)目標(biāo)函數(shù)無(wú)性態(tài)要求； 收斂快（當(dāng)m足夠大時(shí)）； 不受維數(shù)影響，維數(shù)愈高，愈體現(xiàn)優(yōu)點(diǎn)。缺點(diǎn)： 對(duì)于嚴(yán)重非線性函數(shù)，只能得近似解； 當(dāng)m不夠大時(shí)，解的近似程度大； 對(duì)于非凸函數(shù)，有可能收斂于局部解。 在 n 維空間中，由 kn+1 個(gè)點(diǎn)組成的多面體稱為復(fù)合形?；舅枷耄?以一個(gè)較好的新點(diǎn)，代替原復(fù)合形中的最壞點(diǎn)，組成新的復(fù)合形，以不斷的迭代，使新復(fù)合形逐漸逼近最優(yōu)點(diǎn)。說(shuō)明： 復(fù)合形可用于約束優(yōu)化的方法。 因?yàn)轫旤c(diǎn)數(shù)較多，所以靈活易變。 復(fù)合形只能解決不等式約束問(wèn)題。 因?yàn)榈^(guò)程始終在可行域內(nèi)進(jìn)

45、行，運(yùn)行結(jié)果可靠。定義：初始復(fù)合形的形成：人工選擇初始復(fù)合形：隨機(jī)產(chǎn)生初始復(fù)合形：若可行域是非凸集，可能失敗，需減小上、下界再進(jìn)行。頂點(diǎn)數(shù)：復(fù)合形法的基本運(yùn)算：擴(kuò)展：收縮：映射：步驟：步驟：方法評(píng)價(jià) 計(jì)算簡(jiǎn)單，不必求導(dǎo)，占內(nèi)存?。?隨著維數(shù)的增加，效率大大下降； 不能解含等式約束的問(wèn)題；建議： 初始取1.3。 n+1 k 2n ，當(dāng) n 5 時(shí)，k 取值接近 2n ； 當(dāng) n 5 時(shí)，k 的取值可小些。 在第 k +1 次迭代時(shí)，從 x(k) 點(diǎn)出發(fā)，尋找一個(gè)可行的搜索方向和合適的步長(zhǎng)因子，從而得到一個(gè)可行、目標(biāo)函數(shù)值下降的新點(diǎn) x(k+1) ，再以此點(diǎn)出發(fā)，尋找新點(diǎn)，直至滿足收斂條件，得到最

46、優(yōu)點(diǎn) x* 。 (k) 的選擇原則： 使新點(diǎn) x(k+1) 在可行域內(nèi)。S (k) 的選擇原則： 必須是可行方向，即必須與所有適時(shí)約束的梯度方向成鈍角。 必須是目標(biāo)函數(shù)值下降的方向，即必須與目標(biāo)函數(shù)的負(fù)梯度方向成銳角。同時(shí)滿足以上兩個(gè)條件的方向，稱為適用可行方向。搜索策略： 可根據(jù)目標(biāo)函數(shù)和約束函數(shù)的不同性態(tài)，選擇不同的搜索策略。第一次搜索為負(fù)梯度方向，終止于邊界。以后各次搜索方向均為適用可行方向，以最大步長(zhǎng)從一個(gè)邊界反彈到另一個(gè)邊界，直至滿足 K-T 條件。第一次搜索為負(fù)梯度方向，終止于邊界。第二次搜索沿適用可行方向作一維搜索以最優(yōu)步長(zhǎng)因子求得最優(yōu)點(diǎn)。反復(fù)以上兩步，直至得到最優(yōu)點(diǎn)x*。 邊界

47、反彈法： 最優(yōu)步長(zhǎng)法：第一次搜索為負(fù)梯度方向，終止于邊界。以后各次搜索貼邊（約束面）進(jìn)行。若適時(shí)約束面是切面，每次搜索到約束面的交集時(shí)，移至另一個(gè)約束面，直至收斂到最優(yōu)點(diǎn)。若可行域是凸集，約束面是非線性時(shí)，從x(k)點(diǎn)沿切線（面）方向s(k) 搜索，會(huì)進(jìn)入非可行域。容差帶： 建立約束面的容差帶 +， 從 x (k)出發(fā)，沿s (k)方向搜索到 s (k) 方向與g(x) =0 的交點(diǎn)x后，再沿適時(shí)約束的負(fù)梯度方向返回約束面的 x(k+1)點(diǎn)。 貼邊搜索法：調(diào)整步長(zhǎng)因子1：試算法 或 估算法估算法：將 g (x) 在 x點(diǎn)臺(tái)勞展開(kāi)，取一階近似式代入上式，注意到 ，則得到r個(gè)適時(shí)約束的規(guī)格化平均負(fù)

48、梯度向量，其各分量為： M為一常數(shù)，其取值應(yīng)滿足:為適用可行方向 的離界系數(shù)，通常取 = 0.0650.08可得較好的搜索方向 簡(jiǎn)化計(jì)算法適用可行方向產(chǎn)生的方法梯度投影法：梯度投影搜索方向: 為待定常系數(shù)列陣 (起作用約束的法向量) (目標(biāo)函數(shù)的負(fù)梯度向量) 適用可行方向產(chǎn)生的方法第六章 現(xiàn)代優(yōu)化計(jì)算方法 6.1 引言 6.2 啟發(fā)式算法 6.3 模擬退火優(yōu)化算法 6.4 遺傳優(yōu)化算法 6.5 蟻群優(yōu)化算法 6.6 混合優(yōu)化算法 6.1 引言Powell 法、梯度法隨機(jī)方向搜索法、復(fù)合形法、懲罰函數(shù)法常規(guī)優(yōu)化算法啟發(fā)式算法 適于求解高非線性、多約束、多極值問(wèn)題 現(xiàn)代優(yōu)化計(jì)算方法： 模擬退火算法

49、（Simulated annealing） 遺傳算法（Genetic algorithms） 蟻群優(yōu)化算法（Ant colony optimization） 混合優(yōu)化算法（Hybrid optimization）是相對(duì)于有嚴(yán)格數(shù)學(xué)背景的數(shù)學(xué)規(guī)劃優(yōu)化算法提出的。啟發(fā)式算法是基于直觀或經(jīng)驗(yàn)構(gòu)造的算法，在可接受的花費(fèi)（指計(jì)算時(shí)間和空間）內(nèi)尋找最好的解，但不能保證所得的解就是最優(yōu)解，以及此解與最優(yōu)解的近似程度。有嚴(yán)格數(shù)學(xué)背景梯度法、坐標(biāo)輪換法、Powell法通過(guò)揭示和模擬自然現(xiàn)象和過(guò)程，并綜合數(shù)學(xué)、物理學(xué)、生物進(jìn)化、人工智能、神經(jīng)科學(xué)和統(tǒng)計(jì)學(xué)等所構(gòu)造的算法。也稱構(gòu)造型算法、智能優(yōu)化算法。6.2 啟發(fā)式

50、算法一. 物理背景： 固體退火的物理過(guò)程和統(tǒng)計(jì)性質(zhì)：（1）加溫：隨溫度升高，粒子能量增高，與平衡位置的距離增大（2）等溫：溫度升至熔解溫度，固體的規(guī)則性被打破，成為液體，粒子可以自由運(yùn)動(dòng)和重新排序，消除系統(tǒng)中原先存在的非均勻狀態(tài)（3）冷卻：隨著溫度的下降，粒子能量減小，運(yùn)動(dòng)減弱，粒子最終進(jìn)入平衡態(tài)，固化為具有最小能量的晶體其中： E(r) 狀態(tài)r的能量 k 常數(shù) E 分子能量的一個(gè)隨機(jī)變量 z(t) 概率分布的標(biāo)準(zhǔn)化因子 D0 最低能量狀態(tài)的個(gè)數(shù) D 狀態(tài)空間中狀態(tài)的個(gè)數(shù)溫度 t 下，分子停留在某一狀態(tài) r 滿足 Bolztmann 概率分布：分子停留在某種能量狀態(tài)的概率與溫度成反比相同溫度下

51、，分子停留在低能量狀態(tài)的概率要更大隨著溫度t不斷降低，分子停留在低能量狀態(tài)的概率不斷增大物理退火優(yōu)化設(shè)計(jì)E（r）E（rmin）f（x）f （x*）狀態(tài) 遷移準(zhǔn)則（ Metropolis 抽樣穩(wěn)定性條件）： 若新?tīng)顟B(tài) j 的能量滿足條件，則被用來(lái)替代原狀態(tài) i。高溫下，接受能量差較大的新?tīng)顟B(tài)；低溫下，只接受能量差較小的新?tīng)顟B(tài)。二. 基本思想：基本思想： 由某一較高的初始溫度開(kāi)始，利用上式在解域內(nèi)隨機(jī)搜索采樣，隨著溫度不斷降低，使系統(tǒng)的能量達(dá)到最低狀態(tài)，即相當(dāng)于能量函數(shù)的全局最優(yōu)解。三. 算法基本步驟：設(shè)求解優(yōu)化問(wèn)題S.1 任選一個(gè)初始解（初始狀態(tài)） x(0) ， 并令 k=0 ， x(k) =x

52、(0) 和 tk= t0（初始退火溫度t0應(yīng)取較高的值），計(jì)算 f (x(k)；S.2 在溫度tk下做下面循環(huán)：S.2.1 在當(dāng)前的tk下隨機(jī)產(chǎn)生新?tīng)顟B(tài)（候選解）x=genete (x(k)S.2.2 計(jì)算 f (x) 值和 f = f (x)f (x(k)S.2.3 若frandom(0,1) ，則令x(k) =x，轉(zhuǎn) S.3 ；否則轉(zhuǎn) S.2.1 S.3 若滿足算法收斂（退火結(jié)束）準(zhǔn)則，則轉(zhuǎn) S.4 ；否則令下一循環(huán)的退火溫度 tk+1= updat(tk) （退溫函數(shù)）和 k=k+1，轉(zhuǎn)向 S.2 ；S.4 終止計(jì)算，輸出結(jié)果，即取 x* =x 和 f (x*)= f (x)。內(nèi)循環(huán)外循

53、環(huán)規(guī)定產(chǎn)生有限個(gè)候選解連續(xù)若干步候選解的目標(biāo)函數(shù)值變化很小 目標(biāo)函數(shù)的均值已相當(dāng)穩(wěn)定 三. 算法的基本步驟：內(nèi)循環(huán)終止條件： 設(shè)置一個(gè)終止溫度te規(guī)定外循環(huán)的最大迭代次數(shù)kmax 算法在每個(gè)tk值搜索到的最優(yōu)解的值在若干次迭代內(nèi)已保持不變 外循環(huán)終止條件： 四. 算法實(shí)現(xiàn)的幾個(gè)技術(shù)問(wèn)題 新?tīng)顟B(tài)產(chǎn)生函數(shù)genete(x(k)基本要求： 應(yīng)保證所產(chǎn)生的候選解可以遍及整個(gè)解域。 式中：K 區(qū)域縮減系數(shù)，取K 1； r0,1間均勻分布的偽隨機(jī)數(shù)； 分布系數(shù)，取正奇數(shù)1，3，5，7等。一般形式： 應(yīng)保證所產(chǎn)生的候選解可以遍及整個(gè)解域。 為攝動(dòng)幅度系數(shù)；為服從某種隨機(jī)分布的變動(dòng)量 例： 已知各變量的變動(dòng)范

54、圍四. 算法實(shí)現(xiàn)的幾個(gè)技術(shù)問(wèn)題 狀態(tài)接受函數(shù) 基本要求：1. 在某個(gè)退火溫度tk下，接受目標(biāo)函數(shù)值下降的候選解的概率大；2. 隨著退火溫度的下降，使接受目標(biāo)函數(shù)值下降的候選解的概率越來(lái)越大，且當(dāng)退火溫度接近于0時(shí)，概率接近于1，即只能接受目標(biāo)函數(shù)值下降的候選解。一般形式：min1,exp(-f /tk)四. 算法實(shí)現(xiàn)的幾個(gè)技術(shù)問(wèn)題 初始溫度 初溫的選擇方法： （初溫大 獲得高質(zhì)量解的概率大 計(jì)算時(shí)間長(zhǎng)） 式中：K 一個(gè)充分大的數(shù)，可取K10，20，100，等試驗(yàn)值； p初始接受概率。1. 均勻抽樣一組狀態(tài)，以各狀態(tài)目標(biāo)函數(shù)值的方差為初溫t0 ；2. 隨機(jī)產(chǎn)生一組狀態(tài)，確定兩狀態(tài)的目標(biāo)函數(shù)差值

55、然后根據(jù)差值，利用一定的函數(shù)產(chǎn)生初溫，如取 或四. 算法實(shí)現(xiàn)的幾個(gè)技術(shù)問(wèn)題 退溫函數(shù) updat(tk)退溫慢，候選解數(shù)目多 獲得高質(zhì)量解的概率大 計(jì)算時(shí)間長(zhǎng)退溫快 計(jì)算效率提高 不能保證收斂到全局最優(yōu)解常用的退溫函數(shù) ： ，其大小可以固定（同比率下降）也可以不斷變化（變比率下降）。 接近于1，溫度下降得緩慢。此法簡(jiǎn)單易行，使用較多； ，式中t0為初始溫度；K為算法溫度下降的規(guī)定總次數(shù)可防止陷入局部最小點(diǎn)，獲得全局最優(yōu)解的可能性大；對(duì)初始點(diǎn)的穩(wěn)定性好；無(wú)需求導(dǎo)，算法通用易實(shí)現(xiàn)。為使獲得全局最優(yōu)解的可能性大，則所需花費(fèi)的計(jì)算時(shí)間相對(duì)較長(zhǎng)。優(yōu)點(diǎn)：缺點(diǎn)：五. 小結(jié)一. 背景：生物進(jìn)化基本循環(huán)圖 依據(jù)

56、生物進(jìn)化論中的“適者生存”規(guī)律而提出： 遺傳算法的主要生物進(jìn)化特征體現(xiàn)在：（1）進(jìn)化發(fā)生在解的編碼（染色體）上。優(yōu)化問(wèn)題通過(guò)編碼來(lái)研究。（2）自然選擇規(guī)律決定哪些染色體產(chǎn)生超過(guò)平均數(shù)的后代。遺傳算法通過(guò)優(yōu)化目標(biāo)構(gòu)造適應(yīng)函數(shù)以達(dá)到好的染色體超過(guò)平均數(shù)的后代。（3）當(dāng)染色體結(jié)合時(shí)，雙親的遺傳基因的結(jié)合使得子女保持父母的特征。（4）當(dāng)染色體結(jié)合后，隨機(jī)的變異會(huì)造成子代與父代的不同。一. 背景：二. 基本思想： 遺傳算法在求解優(yōu)化問(wèn)題時(shí)首先對(duì)求解空間的各個(gè)解進(jìn)行編碼。在尋優(yōu)過(guò)程中，通過(guò)對(duì)染色體（解的編碼，個(gè)體）進(jìn)行結(jié)合（基因遺傳、變異和交配），不斷產(chǎn)生新的解，進(jìn)而根據(jù)適應(yīng)函數(shù)在新解中選擇部分染色體繼續(xù)

57、進(jìn)行結(jié)合，直至最終找到最好的解。遺傳基因：字符串的每一位數(shù) 編 碼： 把解用字符串表示 群 體： 個(gè)體的集合三. 算法的基本步驟：S.1 選擇優(yōu)化問(wèn)題求解的一種編碼；S.2 隨機(jī)產(chǎn)生N個(gè)染色體的初始群體 pop(k) , k=0 ；S.3 對(duì)群體中的每個(gè)染色體popi(k)計(jì)算適應(yīng)函數(shù) f i=fitness(popi(k)S.4 若滿足終止規(guī)則，則轉(zhuǎn)向S.9，否則計(jì)算概率S.5 以概率 pi 從 pop (k) 中隨機(jī)選一些染色體構(gòu)成一個(gè)新群體（其中可以重復(fù)選 pop (k) 中的元素） newpop(k+1)= popi(k) , i=1,2,N 三. 算法的基本步驟：S.6 通過(guò)交配，按

58、交配概率 pc 得到一個(gè)有 N 個(gè)染色體的交配群體crosspop (k+1)；S.7 以一個(gè)較小的變異概率 pm ，使得一個(gè)染色體的基因發(fā)生變異，形成變異群體mutpop (k+1) ；S.8 令 k= k+1 和 popi(k) = mutpop (k+1) ，返回S.3；S.9 終止計(jì)算，輸出最優(yōu)結(jié)果。四. 算法實(shí)現(xiàn)的幾個(gè)技術(shù)問(wèn)題 編碼和解碼 編碼由設(shè)計(jì)空間向編碼空間的映射。將設(shè)計(jì)解用字符串表示的過(guò)程。編碼的選擇是影響算法性能和效率的重要因素。解碼由編碼空間向設(shè)計(jì)空間的映射。連續(xù)變量x，在給定區(qū)間a,b的二進(jìn)制編碼策略（長(zhǎng)度為l）：其中，二進(jìn)制編碼的長(zhǎng)度為l，a1,a2,al 取0或1，

59、二進(jìn)制碼與實(shí)際變量的最大誤差為(b-a ) / 2l四. 算法實(shí)現(xiàn)的幾個(gè)技術(shù)問(wèn)題 編碼和解碼 例：求max f (x)=1-x2，x0,1。假設(shè)對(duì)解的誤差要求為1/16,則可采用4個(gè)二進(jìn)制編碼（即l4），b-a=1，對(duì)照上式，有：幾種常見(jiàn)的編碼方式四. 算法實(shí)現(xiàn)的幾個(gè)技術(shù)問(wèn)題 編碼和解碼 對(duì)于求極大化的目標(biāo)函數(shù)（即max . f (x) ），可通過(guò)下面轉(zhuǎn)換建立與fitness(x)的映射關(guān)系:四. 算法實(shí)現(xiàn)的幾個(gè)技術(shù)問(wèn)題 適應(yīng)函數(shù) fitness(x) 時(shí)時(shí)對(duì)于求極小化的目標(biāo)函數(shù)（即min . f (x) ），可通過(guò)下面轉(zhuǎn)換建立與fitness(x)的映射關(guān)系:時(shí)時(shí)Cmin和Cmax為可調(diào)參數(shù)

60、，所取的值應(yīng)使適應(yīng)函數(shù)fitness(x)恒大于0。適應(yīng)函數(shù)用于對(duì)個(gè)體進(jìn)行評(píng)價(jià)，即反映個(gè)體對(duì)問(wèn)題環(huán)境適應(yīng)能力的強(qiáng)弱。是優(yōu)化進(jìn)程發(fā)展的依據(jù)。其值必須大于等于零群體規(guī)模 N 是影響算法性能和效率的因素之一。規(guī)模太小，不能提供足夠多的采樣點(diǎn)；規(guī)模太大，計(jì)算量大，耗時(shí)長(zhǎng)。通常取N介于n（編碼長(zhǎng)度）和2n之間，或依據(jù)經(jīng)驗(yàn)在范圍內(nèi)取值。四. 算法實(shí)現(xiàn)的幾個(gè)技術(shù)問(wèn)題 算法參數(shù) 交配概率 pc 用于控制交配操作的頻率，通常取0.40.9之間。概率太大，種群更新過(guò)快，會(huì)使一些高適應(yīng)函數(shù)值的個(gè)體過(guò)快被破壞；概率太小，交配操作很少進(jìn)行，搜索速度慢，耗時(shí)長(zhǎng)。變異概率 pm 加大種群多樣性的重要因素，通常取0.10.3