機械優(yōu)化設(shè)計方法第三章

1、第三章 優(yōu)化設(shè)計方法的數(shù)學(xué)基礎(chǔ) 3-1 優(yōu)化設(shè)計問題的幾何意義,一、目標(biāo)函數(shù)的等值面(線) 目標(biāo)函數(shù)的值是評價設(shè)計方案優(yōu)劣的指標(biāo)。n維變量的目標(biāo)函數(shù)，其函數(shù)圖象只能在n+1維空間中描述出來。 當(dāng)給定一個設(shè)計方案，即給定一組x1, x2, , xn的值時，目標(biāo)函數(shù)f(X)=f(x1, x2, , xn)必相應(yīng)有一確定的函數(shù)值； 若給定一個f(X)值,卻有無限多組x1, x2, xn 值與之對應(yīng)，也就是當(dāng)f(X)=a時，X= x1, x2, xn T在設(shè)計空間中對應(yīng)有一個點集。 通常這個點集是一個曲面(二維是曲線，大于三維稱超曲面)，稱之為目標(biāo)函數(shù)的等值面。當(dāng)給定一系列的a值，即a=a1, a2,

2、 時，相應(yīng)有f(X)= a=a1, a2, ，這樣可以得到一組超曲面族等值面族。 等值面具有特性:即在一個待定的等值面上，盡管設(shè)計方案很多，但每一個設(shè)計方案的目標(biāo)函數(shù)值都是相等的。,現(xiàn)以二維無約束最優(yōu)化設(shè)計問題為例闡明其幾何意義。 如圖，二維目標(biāo)函數(shù)f(X)=f(x1, x2)在以x1, x2和f(X)為坐標(biāo)的三維坐標(biāo)系空間內(nèi)是一個曲面。在二維設(shè)計平面x1ox2中，每一個點X= x1, x2T都有一個相應(yīng)的目標(biāo)函數(shù)值f(X)=f(x1, x2)，它在圖中反映為沿f(X)軸方向的高度。,若將f(X)=f(x1,x2)曲面上具有相同高度的點投影到設(shè)計平面x1ox2上，則得f(X)=f(x1,x2)

3、=a的平面曲線，這個曲線就是符合f(X)=f(x1,x2)=a的點集，稱為目標(biāo)函數(shù)的等值線,對于三維問題在設(shè)計空間中是等值面，高于三維的問題在設(shè)計空間中則是等值超曲面。,二、約束最優(yōu)解和無約束最優(yōu)解,n維目標(biāo)函數(shù)f(X)=f(x1, x2, , xn)，若在無約束條件下極小化，即在整個n維設(shè)計空間尋找X*= x1*, x2*, , xn*T使?jié)M足min f(X)= f(X*)，X R n，其最優(yōu)點X*、最優(yōu)值f(X*)構(gòu)成無約束最優(yōu)解； 若在約束條件限制下極小化，即在可行域D中尋找 X*= x1*, x2*, , xn*T使?jié)M足min f(X)= f(X*)， ，其最優(yōu)點X*、最優(yōu)值f(X*)

4、則構(gòu)成約束最優(yōu)解。約束最優(yōu)解和無約束最優(yōu)解，無論在數(shù)學(xué)模型還是幾何意義上，兩者均是不同的概念。,設(shè)已知目標(biāo)函數(shù),受約束于,求其最優(yōu)解X*和f(X*)。,等值錢表示了目標(biāo)函數(shù)值的變化情況，越向里邊的代表目標(biāo)函數(shù)值越小。 顯然其無約束最優(yōu)解為目標(biāo)函數(shù)等值線同心圓中心X*(1)=x1*(1)，x2*(1)T，f(X*(1)=0。 而其約束最優(yōu)解則需在由約束線g1(X)=0，g2(X)=0，g3(X)=0，g4(X)=0組成的可行域D（陰影線里側(cè)）內(nèi)尋找使目標(biāo)函數(shù)值為最小的點由圖可見約束曲線g4(X)=0與某等值線的一個切點X*(2)即為所求。 X*(2) =x1*(2)，x2*(2)T =0.85，

5、1.34 T，f( X*(2) )=3.80，為其約束最優(yōu)解。,圖3-2（a）表示其目標(biāo)函數(shù)和約束函數(shù)的立體圖，圖3-2(b)表示其平面圖。顯然其無約束最優(yōu)解為目標(biāo)函數(shù)等值線同心圓中心,二維問題關(guān)于約束最優(yōu)解和無約束最優(yōu)解幾問意義的討論，同樣可推廣到高維問題。n個設(shè)計變量X= x1, x2, , xnT組成設(shè)計空間。 在這個空間中的每一個點代表一個設(shè)計方案，此時n個變量具有確定的值。 當(dāng)給定目標(biāo)函數(shù)某一定值時，就在n維設(shè)計空間內(nèi)構(gòu)成一個目標(biāo)函數(shù)的等值超曲面。給定目標(biāo)函數(shù)一系列數(shù)值時就獲得一系列目標(biāo)函數(shù)的等值超曲面。這些等值超曲面反映了目標(biāo)函數(shù)變化情況。 無約束最優(yōu)點為這些等值超曲面的共同中心。

6、 對于約束最優(yōu)化問題，每一個約束條件在n維設(shè)計空間是一個約束超曲面,全部約束超曲面在設(shè)計空間中構(gòu)成可行域D，在其上尋找目標(biāo)函數(shù)值最小的點即為約束最優(yōu)點。 這一點可以是目標(biāo)函數(shù)等值超曲面與某個 約束超曲面的一個切點，也可以是目標(biāo)函 數(shù)值較小的某些約束超曲面的交點(如圖所 示的X*點)。,三、局部最優(yōu)解和全域最優(yōu)解,對無約束最優(yōu)化問題，當(dāng)目標(biāo)函數(shù)不是單峰函數(shù)時，有多個極值點X*(1) ，X*(2)，如圖所示。此時X*(1)和f(X *(1) )、X *(2) 和f(X *(2)均稱為局部最優(yōu)解。 如其中X *(1) 的目標(biāo)函數(shù)值f(X *(1) )是全區(qū)域中所有局部最優(yōu)解中的最小者，則稱X *(1

7、) 和f(X *(1) )和為全域最優(yōu)解。,對于約束最優(yōu)化問題，情況更為 復(fù)雜。它不僅與目標(biāo)函數(shù)的性質(zhì) 有關(guān)，而且還與約束條件及其函 數(shù)性質(zhì)有關(guān)。如圖3-5所示，目標(biāo) 函數(shù)f(X)的等值線繪于圖上，有兩 個不等式約束g1(X)0，g2(X) 0， 構(gòu)成兩個可行域D1和D2。X*(1)、 X *(2) 、X *(3)分別是可行域內(nèi)在某 一鄰域目標(biāo)函數(shù)值最小的點，都是 局部極小點，亦即X *(1)、f(X *(1) ，X *(2)、f(X *(2) )，X *(3)、f(X *(3) )均稱局部最優(yōu)解?？芍?X *(3) 為全域極小點，亦即X *(3) 和f(X *(3) )為全域最優(yōu)解。,優(yōu)化設(shè)

8、計總是期望得到全域最優(yōu)解，但目前的優(yōu)化方法只能求出局部最優(yōu)解，并采取對各局部最優(yōu)解的函數(shù)值加以比較、取其中最小的一個作為全域最優(yōu)解。,3-2函數(shù)的方向?qū)?shù)和梯度,為了盡快找到目標(biāo)函數(shù)f(X)的極小值點，研究函數(shù)在其定義空間中的變化規(guī)律是必須的。 譬如說，若是已知在設(shè)計空間的某一點處函數(shù)的取值沿某一個方向下降得最快，于是我們就可以從該點出發(fā)，沿著這個方向去尋找函數(shù)的極小值點。 為此，這里要引用函數(shù)的方向?qū)?shù)和梯度。,一、 函數(shù)的方向?qū)?shù),對一元函數(shù)而言，函數(shù)的導(dǎo)數(shù)是描述函數(shù)相對于自變量變化快慢程度的一個量。 多元函數(shù)的偏導(dǎo)數(shù)是描述當(dāng)只有一個自變量變化，而其余自變量保持不變的情況下，函數(shù)的變化率。

9、具有n個自變量的函數(shù) f(X)=f(x1, x2, xn） 在X(0)x1(0), x2(0), xn(0)T點的一階偏導(dǎo)數(shù)記為,，i=1，2，n,它是一個標(biāo)量。,函數(shù)的偏導(dǎo)數(shù)僅僅描述了函數(shù) 沿其自變量所在坐標(biāo)軸的特定方 向上的變化率 在許多實際問題中，常常需要 知道函數(shù)沿其它任一方向上的變化率。對這樣的問題就要借助于函數(shù)的方向?qū)?shù)來描述。 函數(shù)在某一點X(0)處沿某任意指定方向S上的方向?qū)?shù)就是函數(shù)在X(0)處沿S方向的變化率，記為,（S，xi），i=1，2，n為方向S 相對對于坐標(biāo)軸xi正方向的方向角。,圖示。 函數(shù)f(X)在X(0)x1(0), x2(0)T點的偏導(dǎo)數(shù),從同一點X(0)

10、出發(fā)，沿不同方向的方向?qū)?shù)不相同。 就象爬山一樣，把目標(biāo)函數(shù)值看做山的海拔高度，方向?qū)?shù)不同猶如沿不同的路線或方向山的坡度不一樣。 方向?qū)?shù)越大，表明沿這個方向或路線山的坡度越大。 提出問題：從X(0)點出發(fā)，可以有無窮多個方向，那么究竟哪一個方向函數(shù)f(X)的變化率最大呢？ 這個問題要借助于函數(shù)的梯度來判定。,f(X)值在X(0)點處沿S方向是增加的；,f(X)值在X(0)點處沿S方向是減少的；,即方向S與f(X)的等值面相切，這時，f(X)在X(0)點處沿S方向不增也不減。,二、函數(shù)的梯度,可以對方向?qū)?shù)作如下變換：設(shè)S0為S方的的單位向量，則S0在坐標(biāo)軸上的投影為cosi，i=1，2，n

11、，這里i(S0, xi)，即,f(X)是一個矢量，其分量是f(X)沿各坐標(biāo)軸的偏導(dǎo)數(shù)。該矢量與S0的方向無關(guān)，而完全由函數(shù)f(X)的性質(zhì)所決定。 矢量f(X)的方向就是函數(shù)f(X)變化率最大的方向，且其模f(X)恰好是這個最大變化率的數(shù)值。 把f(X)矢量稱為函數(shù)f(X)在給定點X(0)的梯度。 也就是說，函數(shù)f(X)的梯度方向是函數(shù)值增大最快的方向：函數(shù)f(X) 在某給定點X(0)處的梯度的模等于該給定點處函數(shù)值增大變化率的數(shù)值。,函數(shù)梯度的性質(zhì),(l)函數(shù)f(X)在其定義空間內(nèi)某一點處的方向?qū)?shù)等于函數(shù)在該點處的梯度在這個方向上的投影； (2)梯度是矢量。函數(shù)在其定義空間中的某一點處，其梯

12、度標(biāo)志著函數(shù)值增加最快或最速上升的方向。 注意，這僅是指f(X)在該點附近而言，函數(shù)在其定義空間中的每一個點處都對應(yīng)著一個確定的梯度向量。 負(fù)梯度方向必是函數(shù)值減小最快或最速下降的方向； (3)在目標(biāo)函數(shù)等值線或等值面上的每一點處，函數(shù)的梯度f(X)指向函數(shù)等值線或等值面的外法向，亦即最速上升方向；函數(shù)在與其梯度正交的方向上變化率為零； （4）線性目標(biāo)函數(shù)的梯度是一個常值向量，即在其定義空間中，其梯度處處相同；,幾個常用函數(shù)的梯度公式,(1) 若f(X)在X(0)點有極值，則必有f(X(0)0； 若f(X(0)常數(shù)C，則有 f(X(0)C0 (2) 若f(X)X，則 f(X)(X)I（單位矩陣

13、） (3) 若f(X)BTX，則 (BTX)B (4) 若f(X)QX，Q為對稱方陣，則 (QX)Q (5) 若f(X)XTX，則 (XTX)2X (6) 若Q為實對稱方陣，則對f(X)XTQX 有(XTQX)2QX (7) 若f(X)(1/2)XTQXBTXC ，C為實對稱方陣，則有f(X)QXB,3-3函數(shù)的Taylor展開式和Hessian矩陣,一、函數(shù)的Taylor展開式 當(dāng)一元函數(shù)f(x)在點的某個鄰域N內(nèi)有直到(n+l)階導(dǎo)數(shù)存在并連續(xù)時，則可把f(x) 展成為(x-x0)的n次Taylor多項式與一個余項Rn之和,xN，在x0與x之間取值,在式中若取其前二項，即,則為用直線來近似

14、代替原函數(shù)f(x)。 若取其前三項，即,則為用二次拋物線來近似代替原函數(shù)f(x)。,推廣到n元函數(shù)的情形。令xixix0i，并取類似式（3-7）中的前三項，設(shè)f(X)f(x1, x2, , xn)；Xx1, x2, , xnT，且有，X(0)x1(0), x2(0), , xn(0)T，則有 f(X)f(X(0)+ fx1(X(0)x1+fxn(X(0)xn +0.5 fx1 x1(X(0)x12+fx1 x2(X(0)x1x2+ +fx1 xn(X(0)x1xn+ fx2 x1(X(0)x1x2+ fx2 x2(X(0)x22+fx2 xn(X(0)x2xn+ + fxnx1(X(0)xnx

15、1+fxnx2(X(0)xnx2+ +fxnxn(X(0)xn2 ,用矩陣表示,式中 XXX(0)x1,x2, ,xnT,二、Hessian矩陣,由式所表達(dá)的矩陣稱為函數(shù)f(X)的Hessian矩陣。它是函數(shù)f(X)關(guān)于變量的二階導(dǎo)數(shù)矩陣，亦即Taylor展開式中的二次項系數(shù)矩陣，常記為,3-4二次函數(shù)及其二次項系數(shù)矩陣,在目標(biāo)函數(shù)中，除了線性函數(shù)以外，最簡單但又是最重要的一類是二次函數(shù)。 數(shù)學(xué)上已經(jīng)證明，一般目標(biāo)函數(shù)在其極小值點附近，其等值面近似呈現(xiàn)為橢球面族。 因此，在求一般目標(biāo)函數(shù)的極小值點時，在其極小值點附近常可用二次函數(shù)作近似地替代，然后求其極小值點。,一、二次函數(shù),二次函數(shù)的一般形

16、式為,qij、bi均為實常數(shù)，且qijqji；C為常數(shù)。,或用矩陣表示,Xx1,x2, ,xnT,標(biāo)準(zhǔn)型二次函數(shù)（或稱二次型）為,這里的二次項系數(shù)矩陣Q是n階對稱矩陣。,二、二次函數(shù)的二次項系數(shù)矩陣,若二次函數(shù)是Taylor展開獲得的，則其二次項系數(shù)矩陣Q就是Hassian矩陣。 優(yōu)化設(shè)計中，二次項系數(shù)矩陣Q是非常有用的?？梢砸罁?jù)它的正定性質(zhì)很方便地判定目標(biāo)函數(shù)f(X)的極小值點是否存在，并求出該極小值點。 即如果Q是正定的，則目標(biāo)函數(shù)的等值面是同心橢球面族 且其中心點為 X*=Q1B 矩陣Q是否正定，可用判定定理： 一個nn階對稱矩陣Q是否正定的必要充分條件為其對應(yīng)行列式的各階主子式都取正值

17、，即,；,3-5無約束目標(biāo)函數(shù)的極值點存在條件,一、函數(shù)的極值與極值點 現(xiàn)以一元函數(shù)為例說明函數(shù)的極值與極值點。圖3-6所示為定義在區(qū)間a,b上的一元函數(shù)f(x),圖上有兩個特殊點：x(1)與x(2)。在 x(1) 附近，函數(shù)f(x)的值以f(x(1)為 最大，在x(2)附近，函數(shù)值以f(x(2) 為最小。因此x(1)與x(2)，即為函數(shù) 的極大點與極小點，統(tǒng)稱為函數(shù)f(x)的極值點。f( x(1)與f( x(2)相應(yīng) 地為函數(shù)的極大值與極小值，統(tǒng)稱為函數(shù)f(x)的極值。需要注意， 這里所謂極值是相對于一點的附近鄰域各點而言的，僅具有局部的 性質(zhì)，所以這種極值又稱為局部極值。而函數(shù)的最大值與最

18、小值是 指整個區(qū)間而言的。如圖3-6中函數(shù)的最大值為f(b)，函數(shù)的最小值 為f(a)。函數(shù)的極值并不一定是最大值或最小值。,二、極值點存在的條件,(一)一元函數(shù)(即單變量函數(shù))的情況 (1)極值點存在的必要條件 如果函數(shù)f(x)的一階導(dǎo)數(shù)f(x)存在的話，則欲使x*為極值點的必要條件為： f(x*)=0 但使f(x*)=0的點并不一定部是極值點。 使函數(shù)f(x)的一階導(dǎo)數(shù)f(x)=0的點稱為函數(shù)f(x)的駐點。 極值點(對存在導(dǎo)數(shù)的函數(shù))必為駐點，但駐點不一定是 極值點。至于駐點是否為極值點可以通過二階導(dǎo)數(shù) f(x)=0來判斷。,(2)極值點存在的充分條件,若在駐點附近 f”(x)0 ，則該

19、點為極小點。 在圖3-6中的x(3)附近，其右側(cè)f”(x)0，因此它不是一個極值點?？梢姾瘮?shù)二階導(dǎo)數(shù)的符號成為判斷極值點的充分條件。,(二)多元函數(shù)(即多變量函數(shù))的情況,設(shè)f(X)為定義在 中的n元函數(shù)。向量X的分量x1, x2, , xn就是函數(shù)的自變量。設(shè)X(k)為定義域內(nèi)的一個點，且在該點有連續(xù)的n+1階偏導(dǎo)數(shù)，則在該點附近可用泰勒級數(shù)展開，如取到二次項：,如果用向量定陣形式表示則上式可寫為：,可簡寫為,f(X(k)是函數(shù)f(X)在X(k)點的一階偏導(dǎo)數(shù)矩陣，稱為函數(shù)在該點的梯度。,梯度f(X(k)是一個向量，其方向是函數(shù)f(X)在X(k)點數(shù)值增長最快的方向，亦即負(fù)梯度-f(X(k)

20、方向是函數(shù)f(X)在X(k)點數(shù)值下降最快的方向，梯度的模,但需注意，函數(shù)f(X)在某點X(k)的梯度向量f(X(k)僅反映f(X)在X(k)點附近極小鄰域的性質(zhì)，因而是一種局部性質(zhì)。 函數(shù)在定義域內(nèi)的各點都各自對應(yīng)著一個確定的梯度。此外，函數(shù)f(X)在點X(k)的梯度向量f(X(k)正是函數(shù)等值線或等值超曲面在該點的法向量。,圖3-7表示二元函數(shù)f(X)在X(1)、X(2)點的梯度f(X(1)、f(X(2)和負(fù)梯度 -f(X(1)、-f(X(2)。2f(X(k)是函數(shù)f(X)在X(k)點的二階偏導(dǎo)數(shù)組成的nn階對稱矩陣，或稱為f(X(k)的赫森(Hessian)矩陣，記作H(X(k)。,(1

21、)極值點存在的必要條件,n元函數(shù)在定義域內(nèi)極值點X*存在的必要條件為,即對每一個變量的一階偏導(dǎo)數(shù)值必須為零，或者說梯度為零(n維零向量)。 和一元函數(shù)對應(yīng)，滿足式(3-9)只是多元函數(shù)極值點存在的必要條件，而并非充分條件；滿足f(X*)=0的點X*稱為駐點，至于駐點是否為極值點，尚須通過二階偏導(dǎo)數(shù)矩陣來判斷。,(2)極值點存在的充分條件,如何判斷多元函數(shù)的一個駐點是否為極值點呢? 將多元函數(shù)f(X)在駐點X*附近用泰勒公式的二次式近似地表示，則由式,因X*為駐點，f(X*)=0，于是有,在X*點附近的鄰域內(nèi)，若對一切的X恒有f(X) - f(X*)0 亦即,則X*為極小點；否則，當(dāng)恒有,時，則

22、X*為極大點。,亦即駐點赫森矩陣H(X*)必須為正定；同理知極大點的充分條件為：,根據(jù)矩陣?yán)碚撝?，由?得極小點的充分條件為：,亦即駐點赫森矩陣H(X*)必須為負(fù)定。而,亦即駐點赫森矩陣既非正定，又非負(fù)定，而是不定，f(X)在X*處無極值。,至于對稱矩陣正定、負(fù)定的檢驗，由線性代數(shù)可知：對稱矩陣,正定的條件是它的行列式|A|的順序主子式全部大于零，即,，,負(fù)定的條件是它的行列式|A|中一串主子式為相間的一負(fù)一正的，即,，,例題3-l 求解,的極值點和極值。,解：,的極值點必須滿足,解此聯(lián)立方程得：x1=1,x2=1,x3=-2，即點X*=1,1,-2T為一駐點。再利用赫森矩陣H(X*)的性質(zhì)來

23、判斷此駐點是否為極值點。,對各變量求二階偏導(dǎo)數(shù)，寫出駐點的赫森矩陣,將H(X*)記作,則,因此,赫森矩陣H(X*)是正定的故駐點X*=1，1，-2T為極小點。對應(yīng)于該極小點的函數(shù)極小值為H(X*)=212+512+(-2)2+21(-2) +2(-2) 1-61+3=0,3-6 函數(shù)的凸性,由前述討論可知，函數(shù)的最優(yōu)值與極值是有區(qū)別的。前者是指全域而言，而后者僅為局部的性質(zhì)。一般來說，在函數(shù)定義的區(qū)域內(nèi)部，最優(yōu)點必是極值點，反之卻不一定。如果能得到兩者等同條件，就可以用求極值的方法來求最優(yōu)值，因此對于函數(shù)的最優(yōu)值與極值之間的關(guān)系需作進(jìn)一步的討論。目標(biāo)函數(shù)的凸性與所需討論的問題有密切的關(guān)系。,我

24、們可以先用一元函數(shù)來說明函數(shù)的凸性。如圖3-8所示，圖(a)在x(1)、x(2)區(qū)間曲線為下凸的，圖(b)的曲線是上凸的，它們的極值點(極小點或極大點)在區(qū)間內(nèi)部是唯一的。這詳?shù)暮瘮?shù)稱為具有凸性的函數(shù)，或稱為單峰函數(shù)。,一、凸集與非凸集,為了考慮多元函數(shù)的凸性，首先要說明函數(shù)定義域應(yīng)具有的性態(tài)。 設(shè)D為n維歐氏空間中設(shè)計點X的一個集合，若其中任意兩點X(1)和X(2)的連線都在集合D中，則稱這種集合是n維歐氏空間的一個凸集。二維函數(shù)的情況如圖3-9所示，其中圖(a)為凸集，圖(b)為非凸集。,在n維空間中，若對某集合D內(nèi)的任意兩點X(1)與X(2)作連線，使連線上的各個內(nèi)點對任何實數(shù) (01)

25、恒有,則稱D為凸集。圖3-10是對于二維問題、式(3-17)對應(yīng)的向量圖解。 n維無約束最優(yōu)化問題整個設(shè)計空間Rn是凸集。,(3-17),二、凸函數(shù)的定義,設(shè)f(X)為定義在n維歐氏空間中一個凸集D上的函數(shù)，若對任何實數(shù)(01)及D域中任意兩點X(1)與X(2)存在如下關(guān)系：,（3-18）,則稱函數(shù)f(X)是定義在凸集D上的一個凸函數(shù)?，F(xiàn)用圖3-11所示定義于區(qū)間a，b的單變量函數(shù)來說明這一概念。若連接函數(shù)曲線上任意兩點的直線段，某一點X(k)的函數(shù)值恒低于此直線段上相應(yīng)的縱坐標(biāo)值時，這種函數(shù)就是凸函數(shù)，也就是單峰函數(shù)。,若將式(3-18)中的符號“”改為“0，此即當(dāng)X(k)點處約束面數(shù)q1時

26、的K-T條件，顯然X(k)點附近鄰域內(nèi)任何目標(biāo)函數(shù)值比f(X(k)更小的設(shè)計點都在可行域以外，X(k)點是約束極值點。,圖3-14為在設(shè)計點X(k)處只有一個約束，圖(a)表示f(X(k)和g(X(k)方向不重合，在X(k)鄰近的可行城內(nèi)存在目標(biāo)函數(shù)值比f(X(k)更小的設(shè)計點，故X(k)不能成為約束極值點；,必須指出，K-T條件用于檢驗設(shè)計點是否為約束極值點，對于“凸規(guī)劃”問題，即對于目標(biāo)函數(shù)f(X)為凸函數(shù)、可行域為凸集的優(yōu)化問題，局部極值點與全域最優(yōu)點相重合，如圖3-13(b)、圖3-14(b)皆為凸規(guī)劃問題，X(k)點符合K-T條件，必為全域最優(yōu)點；,但對于非凸規(guī)劃問題則不然。圖3-1

27、5(a)是目標(biāo)函數(shù)為非凸函數(shù)、約束可行域為凸集，圖3-15(b)是目標(biāo)函數(shù)為凸函數(shù)、約束可行域為非凸集，這兩種情況在可行域中均可能出現(xiàn)兩個或更多的局部極小點，它們必須都滿足K-T條件；但其中只有一個函數(shù)值最小的點X*是約束最優(yōu)點。在工程優(yōu)化設(shè)計問題中，函數(shù)在全域上的凸性不一定存在，在許多情況下，凸性的判斷亦難進(jìn)行。因此判斷符合K-T條件的約束極值點是全域最優(yōu)點還是局部極值點目前仍屬優(yōu)化研究的一個重大課題。但凸集、凸函數(shù)、K-T條件等在優(yōu)化理論和實踐中仍具重要意義。,亦須指出，用K-T條件檢驗約束極值點是指具有起作用約束的可行點。如圖3-16所示，無約束極值點X*處gu(X*)均大于零(ul，2

28、，3，4)，這一組約束條件對X*都不起作用，X*亦是約束極值點，但卻不屬K-T條件的范圍。,例題33 用K-T條件檢驗點X(k)=2,0T是否為目標(biāo)函數(shù),在不等式約束：,、,、,解（1)計算X(k)點的諸約束函數(shù)值,X(k)點是可行點，該點起作用的約束函數(shù)是g1(X)和g2(X)。,條件下的約束最優(yōu)點。,(2)求X(k)點的有關(guān)諸梯度,(3) 代入式(3-20)，求拉格朗日乘子,寫成線性方程組,解得：1=2=0.5乘子均為非負(fù)，故滿足K-T條件，即X(k)=2,0T點為約束極值點。參看圖3-17，亦得到證實。而且f(X)是凸函數(shù)，可行域為凸集，所以點X(k)也是約束最優(yōu)點,3-8共軛方向,一般

29、目標(biāo)函數(shù)的等值面在極小值點附近近似呈橢球族。一般二次函數(shù)只要其二次項系數(shù)矩陣是正定的，則其等值面族一定是一同心橢球面族。數(shù)學(xué)上可以證明，同心橢球面族有一個重要的特性：過橢球中心作任意直線，它與各等值橢球面相交交點處的切平面彼此平行?；蛘哒f，過任意兩橢球面作平行切面，其切點的連線必通過橢球中心。,下面以二維問題為例來說明這一事實。如圖所示，此時橢球面族成為橢圓族。現(xiàn)將橢圓中心目標(biāo)函數(shù)的極小值點X*選作坐標(biāo)原點，于是橢圓族方程為 f(x1, x2)=a x12+2h x1 x2+b x22+C,過原點0的任意直線AB，設(shè)其方程為 x2=k x1 直線AB交任意兩個橢圓于X(1)、X(2)。通過該二

30、點的兩個橢圓方程為,a x1(1)2+2h x1(1) x2(1)+b x2(1)2+C= C 1 a x1(2)2+2h x1(2) x2(2)+b x2(2)2+C= C 2,橢圓上任一點的斜率可由隱函式對x1求導(dǎo)數(shù)來求得,即,設(shè)直線AB與二橢圓C1、 C2的交點X(1)、X(2)處 二橢圓斜率分別為k1、 k2，則考慮式x2=k x1有,3-9 最優(yōu)化設(shè)計的數(shù)值計算迭代方法,非線性無約束最優(yōu)化問題解法大致分為兩類：解析法和數(shù)值計算迭代方法。 解析法是采用導(dǎo)數(shù)尋求函數(shù)極值的方法，其特點是以數(shù)學(xué)分析為工具，古典的微分法就屬于這一類。僅適用于求解目標(biāo)函數(shù)具有簡單而明確的數(shù)學(xué)形式的非線性規(guī)劃問題

31、。 而對于目標(biāo)函數(shù)比較復(fù)雜或甚至無明確的數(shù)學(xué)表達(dá)式的情況，這種方法顯得求解效率極低或無能為力。這時應(yīng)采用數(shù)值計算迭代方法。,數(shù)值計算迭代方法是直接從目標(biāo)函數(shù)f(X)出發(fā)，構(gòu)造一種使目標(biāo)函數(shù)值逐次下降逼近，利用電子計算機進(jìn)行迭代，一步步搜索、調(diào)優(yōu)并最后逼近到函數(shù)極值點或達(dá)到最優(yōu)點。根據(jù)確定搜索方向和步長的方法不同，數(shù)值計算尋優(yōu)可有許多方法，但其共同點是： 1）要具有簡單的邏輯結(jié)構(gòu)并能進(jìn)行同一迭代格式的反復(fù)的運算； 2) 這種計算方法所取得的結(jié)果不是理論精確解而是近似解，但其精度是可以根據(jù)需要加以控制的。,一、迭代法的基本思想及其格式,基本思想是：在設(shè)計空間從一個出始設(shè)計點X(0)開始，應(yīng)用某一規(guī)

32、定的算法，沿某一方向S(0)和步長(0)產(chǎn)生改進(jìn)設(shè)計的新點X(1)，使得f(X(1)f(X(0)，然后再從X(1)點開始，仍應(yīng)用同一算法，沿某一方向S(1)和步長(1)，產(chǎn)生又有改進(jìn)的設(shè)計新點X(2)，使得f(X(2)f(X(1)，這樣一 步一步地搜索下去，使目標(biāo) 函數(shù)值步步下降，直至得到 滿足所規(guī)定精度要求的、逼 近理論極小點的X*點為止。 這種尋找最優(yōu)點的反復(fù)過程 稱為數(shù)值迭代過程。圖3-18 為二維無約束最優(yōu)化迭代過 程示意圖。,無約束最優(yōu)化算法，每次迭代都按一選定方向S和一合適的步長向前搜索，可以寫出迭代過程逐次搜索新點的向量方程式 X(1)= X(0)+ (0) S(0) X(2)= X(1) + (1) S(1) 迭代過程的每一步向量方程式，都可寫成如下的迭代