《機(jī)械優(yōu)化設(shè)計(jì)》-第二-五講2015

1、第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一、等值（線）面一、等值（線）面 對(duì)于可計(jì)算的函數(shù)對(duì)于可計(jì)算的函數(shù) f(x)f(x)，給定一個(gè)設(shè)計(jì)點(diǎn)，給定一個(gè)設(shè)計(jì)點(diǎn) X X(k)(k)(x(x1 1(k)(k),x,x2 2(k)(k), , ,x,xn n (k)(k) )，f(x)f(x)總有一個(gè)定值總有一個(gè)定值c c 與之對(duì)應(yīng)；而當(dāng)與之對(duì)應(yīng)；而當(dāng)f(x)f(x)取定值取定值 c c 時(shí)，則有無限多時(shí)，則有無限多個(gè)設(shè)計(jì)點(diǎn)個(gè)設(shè)計(jì)點(diǎn)X X(i)(i)(x(x1 1(i)(i), x, x2 2(i)(i), , ,x,xn n(i)(i) ) ) （i=1,2, i=1,2, ）與之對(duì)應(yīng)，這

2、些點(diǎn)）與之對(duì)應(yīng)，這些點(diǎn)集構(gòu)成一個(gè)曲面，稱為集構(gòu)成一個(gè)曲面，稱為等值面等值面。 當(dāng)當(dāng) c c 取取c c1 1,c,c2 2, , 等值時(shí)，就獲得一族曲等值時(shí)，就獲得一族曲面族，稱為面族，稱為等值面族等值面族。 當(dāng)當(dāng)f(x)f(x)是二維時(shí)，是二維時(shí)，獲得一族等值線族；獲得一族等值線族； 當(dāng)當(dāng)f(x)f(x)是三維時(shí)，是三維時(shí)，獲得一族等值面族；獲得一族等值面族； 當(dāng)當(dāng)f(x)f(x)大于三維時(shí)，大于三維時(shí)，獲得一族超等值面族。獲得一族超等值面族。等值線的等值線的“心心” （以二維為例）第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ) 一個(gè)一個(gè)“心心”：是單峰函數(shù)的極（小）值點(diǎn)，是全局極（?。?/p>

3、值是單峰函數(shù)的極（?。┲迭c(diǎn)，是全局極（?。┲迭c(diǎn)。點(diǎn)。 沒有沒有“心心”：例，線性函數(shù)的等值線是平行的，無例，線性函數(shù)的等值線是平行的，無“心心”，認(rèn)，認(rèn)為極值點(diǎn)在無窮遠(yuǎn)處。為極值點(diǎn)在無窮遠(yuǎn)處。 多個(gè)多個(gè)“心心”：不是單峰函數(shù)，每個(gè)極（?。┲迭c(diǎn)只是局部極不是單峰函數(shù)，每個(gè)極（?。┲迭c(diǎn)只是局部極（小）值點(diǎn)，必須通過比較各個(gè)極值點(diǎn)和（?。┲迭c(diǎn)，必須通過比較各個(gè)極值點(diǎn)和“鞍點(diǎn)鞍點(diǎn)”（須正確判別）（須正確判別）的值，才能確定極（?。┲迭c(diǎn)。的值，才能確定極（?。┲迭c(diǎn)。第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)等值線的分布規(guī)律等值線的分布規(guī)律： 等值線越內(nèi)層其函數(shù)值越小（對(duì)于求目標(biāo)函數(shù)的極小化來說）

4、等值線越內(nèi)層其函數(shù)值越小（對(duì)于求目標(biāo)函數(shù)的極小化來說） 沿等值線密的方向，函數(shù)值變化快；沿等值線疏的方向，函數(shù)值變沿等值線密的方向，函數(shù)值變化快；沿等值線疏的方向，函數(shù)值變化慢?；?。 對(duì)于有心的等值線來說，其等值線簇的中心就是一個(gè)相對(duì)極小點(diǎn)；對(duì)于有心的等值線來說，其等值線簇的中心就是一個(gè)相對(duì)極小點(diǎn)；而對(duì)于無心的等值線簇來說，其相對(duì)極小點(diǎn)就是在無窮遠(yuǎn)了。而對(duì)于無心的等值線簇來說，其相對(duì)極小點(diǎn)就是在無窮遠(yuǎn)了。第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)二、梯度二、梯度方向?qū)?shù)方向?qū)?shù)：函數(shù)值在某一個(gè)方向的變化率。：函數(shù)值在某一個(gè)方向的變化率。 二維問題中，二維問題中，f (xf (x1 1

5、,x,x2 2 ) ) 在在 X X(0) (0) 點(diǎn)點(diǎn)沿方向沿方向 s s的方向?qū)?shù)為：的方向?qū)?shù)為：22)0(11)0()0(cos)(cos)()(xxfxxfsxf(0)(0)(0)(0)1212()()coscos,=() =()cos,Tf xf xSf xf xSf Sxx，其中：其中：Txxfxxfxf2)0(1)0()0()(,)()(是是 X X(0)(0)點(diǎn)的梯度。點(diǎn)的梯度。S S 為為s s方向的單位向量，方向的單位向量， 。1coscos2212S 為為 S S 的方向角的方向角, ,21,方向?qū)?shù)方向?qū)?shù)sf為梯度為梯度 在方向在方向 s s 上的投影。上的投影。第

6、二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)梯度的性質(zhì)：梯度的性質(zhì)： 梯度的模因點(diǎn)而異，即函數(shù)梯度的模因點(diǎn)而異，即函數(shù)f(x)f(x)在不同點(diǎn)的最大增長率不同。在不同點(diǎn)的最大增長率不同。 梯度方向是梯度方向是X X(0)(0)點(diǎn)處指向函數(shù)變化率最大的方向，是函數(shù)的一點(diǎn)處指向函數(shù)變化率最大的方向，是函數(shù)的一種局部性質(zhì)，只反映種局部性質(zhì)，只反映X X(0)(0)點(diǎn)鄰近的函數(shù)性質(zhì)；點(diǎn)鄰近的函數(shù)性質(zhì)； 梯度方向與過該點(diǎn)的等值線的切線是正交的，是過該點(diǎn)的等值梯度方向與過該點(diǎn)的等值線的切線是正交的，是過該點(diǎn)的等值線的法線方向；線的法線方向； 正梯度方向是函數(shù)值最速上升的方向，負(fù)梯度方向是函數(shù)值最正梯度

7、方向是函數(shù)值最速上升的方向，負(fù)梯度方向是函數(shù)值最速下降的方向。速下降的方向。梯度方向的幾何意義梯度方向的幾何意義第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)梯度方向與等值線的關(guān)系梯度方向與等值線的關(guān)系第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ) 對(duì)于對(duì)于 n n 維問題的梯度維問題的梯度Tnxxfxxfxxfxf )(,)(,)()()0(2)0(1)0()0(2)0(22)0(21)0()0()()()()(nxxfxxfxxfxf 第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)例例2-12-1求函求函數(shù)數(shù) 在在 處函數(shù)變化率最大的方向和數(shù)值。處函數(shù)變化率最大的方向和數(shù)值。5

8、24),(21222121xxxxxxfTx000解解 函數(shù)變化率最大的方向就是梯度方向，用單位向函數(shù)變化率最大的方向就是梯度方向，用單位向量量 表示，其數(shù)值就是梯度的模。計(jì)算如下：表示，其數(shù)值就是梯度的模。計(jì)算如下：p242242)(0021210 xxxxxfxfxf5224)(2222210 xfxfxf51525224)()(00 xfxfp第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三、多元函數(shù)的泰勒展開三、多元函數(shù)的泰勒展開n n 維函數(shù)維函數(shù) f(x) f(x) 在在 x x(k)(k) 點(diǎn)點(diǎn)的泰勒展的泰勒展開式開式: : njinjijikiniikkxRxxxxxfxx

9、xfxfxfk.)(!21)()(1,)(21)()()(二階近似式：二階近似式：)()()()()()()()(!21)()()(kkTkkTkkxxHxxxfxfxf其中：增量其中：增量 X (k) =x1 (k) , x2 (k) , xn (k) T梯度梯度 Tnkkkkxxfxxfxxfxf)(,.,)(,)()()(2)(1)()(Hesse Hesse 矩陣矩陣2222122222212212212212)(2)()(nnnnnkkxfxxfxxfxxfxfxxfxxfxxfxfxfxH第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)例例2-2 2-2 求二元函數(shù)求二元函數(shù) 在

10、在 點(diǎn)處的二階泰勒展開式點(diǎn)處的二階泰勒展開式 524),(21222121xxxxxxfTTxxx1220100解解 二階泰勒展開式為二階泰勒展開式為 )()(21)()(),(),(00000201021xxxHxxxxxfxxfxxfTT將將 的具體數(shù)值代入，有的具體數(shù)值代入，有 0 x0),(2010 xxf002242)(0021210 xxxxxfxfxf第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)2002)(02221222122120 xxfxxfxxfxfxH22212121202101020210121) 1()2(1220021221)(21),(xxxxxxxxxx

11、xHxxxxxxf此函數(shù)的圖像是以此函數(shù)的圖像是以 點(diǎn)為頂點(diǎn)的旋轉(zhuǎn)拋物面。點(diǎn)為頂點(diǎn)的旋轉(zhuǎn)拋物面。 0 x對(duì)于對(duì)于二次型函數(shù)，當(dāng)對(duì)任何非零向量二次型函數(shù)，當(dāng)對(duì)任何非零向量 使使0)(HxxxfTHx則二次型函數(shù)正定，則二次型函數(shù)正定， 為正定矩陣。為正定矩陣。四、四、Hesse Hesse 矩陣與正定矩陣與正定 由線性代數(shù)可知，對(duì)稱矩陣正定的條由線性代數(shù)可知，對(duì)稱矩陣正定的條件是它的行列式的順序主子式全部大于零。件是它的行列式的順序主子式全部大于零。第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)Hesse Hesse 矩陣的特性：是實(shí)對(duì)稱矩陣。矩陣的特性：是實(shí)對(duì)稱矩陣。 Hesse Hess

12、e 矩陣的正定性：矩陣的正定性：H(xH(x* *) )正定，正定， 是是 x x* * 為全局極小值點(diǎn)的充分條件為全局極小值點(diǎn)的充分條件；H(xH(x* *) )半正定半正定, , 是是 x x* * 為局部極小值點(diǎn)的充分條件；為局部極小值點(diǎn)的充分條件；H(xH(x* *) )負(fù)定，負(fù)定， 是是 x x* * 為全局極大值點(diǎn)的充分條件；為全局極大值點(diǎn)的充分條件；H(xH(x* *) )半負(fù)定半負(fù)定, , 是是 x x* * 為局部極大值點(diǎn)的充分條件。為局部極大值點(diǎn)的充分條件。 H H是正定矩陣的充要條件是它的所有主子式都大于是正定矩陣的充要條件是它的所有主子式都大于0;0; H H是負(fù)定矩陣

13、的充要條件是它的所有奇數(shù)階主子式都小于是負(fù)定矩陣的充要條件是它的所有奇數(shù)階主子式都小于0 0，并且它的所有偶數(shù)階主子式都大于并且它的所有偶數(shù)階主子式都大于0 0； H H是半正定矩陣的充要條件是它的所有主子式都大于等于是半正定矩陣的充要條件是它的所有主子式都大于等于0 0； H H是半負(fù)定矩陣的充要條件是它的所有奇數(shù)階主子式都小于等是半負(fù)定矩陣的充要條件是它的所有奇數(shù)階主子式都小于等于于0 0，并且它的所有偶數(shù)階主子式都大于等于，并且它的所有偶數(shù)階主子式都大于等于0 0；五、五、凸集、凸函數(shù)與凸規(guī)劃凸集、凸函數(shù)與凸規(guī)劃 設(shè)設(shè) 為為n n維設(shè)計(jì)空間中的一個(gè)集合，若其中任意兩點(diǎn)維設(shè)計(jì)空間中的一個(gè)集

14、合，若其中任意兩點(diǎn) 的連線都包含在該集合內(nèi)，就稱該集合是的連線都包含在該集合內(nèi)，就稱該集合是n n維設(shè)計(jì)維設(shè)計(jì)空間的一個(gè)凸集?？臻g的一個(gè)凸集。 R21xx 和第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)凸集具有以下性質(zhì)：凸集具有以下性質(zhì)： 1 1、若、若 是一個(gè)凸集，是一個(gè)凸集， 是一個(gè)實(shí)數(shù)，是一個(gè)實(shí)數(shù)， 是凸集是凸集 中中的動(dòng)點(diǎn)，即的動(dòng)點(diǎn)，即 ，則集合，則集合AAAaAaaxxA,:還是還是凸凸集。集。2 2、若、若 是凸集，是凸集， 分別是凸集分別是凸集 中的動(dòng)點(diǎn)，中的動(dòng)點(diǎn)，即即 ， ， 則集合則集合BA和ba、BA、AaBbBbAabaxxBA，,:還是凸集。還是凸集。3 3、任何

15、一組凸集的交集還是凸集。、任何一組凸集的交集還是凸集。 第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ) 設(shè)設(shè) 為定義在為定義在n n維設(shè)計(jì)空間中一個(gè)凸集維設(shè)計(jì)空間中一個(gè)凸集 上的函數(shù)，上的函數(shù)，若對(duì)任何實(shí)數(shù)若對(duì)任何實(shí)數(shù) 及及 域中任意兩點(diǎn)域中任意兩點(diǎn) 存在如存在如下關(guān)系：下關(guān)系： 則稱為則稱為 定義在凸集定義在凸集 上的凸函數(shù)。上的凸函數(shù)。凸函數(shù)凸函數(shù))(xfR) 10(R21xx 和)()1 ()()1 (2121xfxafxxf)(xfR 一元函數(shù)一元函數(shù) 若在若在aa，bb內(nèi)為凸函數(shù)，其函數(shù)曲線上任內(nèi)為凸函數(shù)，其函數(shù)曲線上任意兩點(diǎn)所連的直線段不會(huì)落在曲線弧段以下，即函數(shù)值總是意兩點(diǎn)所

16、連的直線段不會(huì)落在曲線弧段以下，即函數(shù)值總是小于或等于直線段上相應(yīng)的縱坐標(biāo)值。小于或等于直線段上相應(yīng)的縱坐標(biāo)值。)(xf第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)凸函數(shù)的基本性質(zhì)凸函數(shù)的基本性質(zhì)：l 若若f(x)f(x)是定義在凸集是定義在凸集D D上的嚴(yán)格凸函數(shù)，則上的嚴(yán)格凸函數(shù)，則f(x)f(x)在在D D上的一個(gè)極小點(diǎn)，上的一個(gè)極小點(diǎn)， 也就是全局最小點(diǎn)。也就是全局最小點(diǎn)。l 凸函數(shù)的線性組合仍然為凸函數(shù)。凸函數(shù)的線性組合仍然為凸函數(shù)。l 設(shè)設(shè)x x(1)(1), x, x(2)(2)為凸函數(shù)為凸函數(shù) f(x)f(x)上的兩個(gè)最小

17、點(diǎn)，則其連線上的任意點(diǎn)也都上的兩個(gè)最小點(diǎn)，則其連線上的任意點(diǎn)也都是最小點(diǎn)。是最小點(diǎn)。 凸性函數(shù)的判定（凸性函數(shù)的判定（判別函數(shù)為凸函數(shù)的條件）判別函數(shù)為凸函數(shù)的條件）l 按梯度判斷凸性：設(shè)按梯度判斷凸性：設(shè)f(x)f(x)是定義在凸集是定義在凸集 D D上具有連續(xù)一階導(dǎo)數(shù)的函上具有連續(xù)一階導(dǎo)數(shù)的函數(shù)，則數(shù)，則f(x)f(x)在在D D上為凸函數(shù)的充要條件是：對(duì)于任意的上為凸函數(shù)的充要條件是：對(duì)于任意的 x x(1)(1),x,x(2)(2)D D 都都有有 成立。成立。 l 按二階偏導(dǎo)數(shù)判斷凸性：設(shè)按二階偏導(dǎo)數(shù)判斷凸性：設(shè) f(x) f(x) 是定義在凸集是定義在凸集D D上具有連續(xù)二階導(dǎo)上具

18、有連續(xù)二階導(dǎo)數(shù)的函數(shù)，則數(shù)的函數(shù)，則f(x)f(x)在在D D上為凸函數(shù)的充要條件是：上為凸函數(shù)的充要條件是：f(x)f(x)的的HesseHesse矩陣處處矩陣處處半正定。若半正定。若HesseHesse矩陣處處正定，則矩陣處處正定，則f(x)f(x)為嚴(yán)格凸函數(shù)。為嚴(yán)格凸函數(shù)。)()()()1()2()1()1()2(xxxfxfxfT)(pf目標(biāo)函數(shù)是非凸函數(shù)（圖目標(biāo)函數(shù)是非凸函數(shù)（圖 a a），或可行域是非凸集（圖），或可行域是非凸集（圖 b b）：）： 則目標(biāo)函數(shù)等值線與適時(shí)約束曲面可能存在多個(gè)切點(diǎn)，則目標(biāo)函數(shù)等值線與適時(shí)約束曲面可能存在多個(gè)切點(diǎn)，是局部極值點(diǎn)，其中只有一個(gè)點(diǎn)是全局最

19、優(yōu)點(diǎn)。是局部極值點(diǎn)，其中只有一個(gè)點(diǎn)是全局最優(yōu)點(diǎn)。p)(pg)(qf)(qg)(pf)(qf)(pg)(qgQQp第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)凸規(guī)劃凸規(guī)劃 對(duì)于約束優(yōu)化問題對(duì)于約束優(yōu)化問題 mjxgxfj, 2 , 10)(. .)(min 若若 、 都為凸函數(shù)，則稱此問題都為凸函數(shù)，則稱此問題為凸規(guī)劃。為凸規(guī)劃。 )(xfmjxgj, 2 , 10)( 1.1.若給定一點(diǎn)若給定一點(diǎn) ，則集合，則集合 為凸集。此性質(zhì)為凸集。此性質(zhì)表明，當(dāng)表明，當(dāng) 為二元函數(shù)時(shí)其等值線呈現(xiàn)大圈套小圈形式。為二元函數(shù)時(shí)其等值線呈現(xiàn)大圈套小圈形式。 0 x)()(0 xfxfxR)(xf凸規(guī)劃的

20、性質(zhì)凸規(guī)劃的性質(zhì)第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)2. 2. 可行域可行域 為凸集。為凸集。 mjxgjxR, 2, 10)(3.3.凸規(guī)劃的任何局部最優(yōu)解就是全域最優(yōu)解。凸規(guī)劃的任何局部最優(yōu)解就是全域最優(yōu)解。 無約束優(yōu)化問題是使目標(biāo)函數(shù)取得極小值，無約束優(yōu)化問題是使目標(biāo)函數(shù)取得極小值，極值條件是指目標(biāo)函數(shù)取得極小值時(shí)極值點(diǎn)應(yīng)極值條件是指目標(biāo)函數(shù)取得極小值時(shí)極值點(diǎn)應(yīng)滿足的條件。滿足的條件。 對(duì)一元函數(shù)，取極值的必要條件是對(duì)一元函數(shù)，取極值的必要條件是0)(0 xf取極值的充分條件是在駐點(diǎn)附近，若取極值的充分條件是在駐點(diǎn)附近，若，則該點(diǎn)為極大點(diǎn)，若，則該點(diǎn)為極大點(diǎn)，若 ，則該點(diǎn)為

21、極小點(diǎn)。則該點(diǎn)為極小點(diǎn)。0)( 0 xf0)( 0 xf六六 無約束優(yōu)化問題的極值條件無約束優(yōu)化問題的極值條件 對(duì)二元函數(shù)，取極值的必要條件是對(duì)二元函數(shù)，取極值的必要條件是 00021xxxfxf為了判斷從上述必要條件求得的是否為極值為了判斷從上述必要條件求得的是否為極值點(diǎn)，需要建立極值的充分條件。根據(jù)二元函點(diǎn)，需要建立極值的充分條件。根據(jù)二元函數(shù)在點(diǎn)處的泰勒展開式，考慮上述極值必要數(shù)在點(diǎn)處的泰勒展開式，考慮上述極值必要條件，有條件，有0)(0 xf 222222121221212201021000221),(),(xxfxxxxfxxfxxfxxfxxx即即 此條件反映了此條件反映了 在在

22、點(diǎn)處的海森點(diǎn)處的海森矩陣矩陣 的各階主子式均大于零，即對(duì)于的各階主子式均大于零，即對(duì)于),(21xxf)(0 xH0 x 所以，二元函數(shù)在某點(diǎn)處取得極值的充分所以，二元函數(shù)在某點(diǎn)處取得極值的充分條件是要求在該點(diǎn)處的條件是要求在該點(diǎn)處的海森矩陣為正定。海森矩陣為正定。0)(*21* Txnxfxfxfxf極值的充分條件為極值的充分條件為 *2222122222212212212212*)(xnnnnnxfxxfxxfxxfxfxxfxxfxxfxfxH(2-7) 正定。正定。 依此類推，多元函數(shù)依此類推，多元函數(shù) 在在 點(diǎn)處取極值的必要條件為點(diǎn)處取極值的必要條件為 ),(21nxxxf 第二章第

23、二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)例例2-3 2-3 求函數(shù)求函數(shù) 的極值。的極值。524),(21222121xxxxxxf解解 首先，根據(jù)極值的必要條件求駐點(diǎn)。首先，根據(jù)極值的必要條件求駐點(diǎn)。002242)(0021210 xxxxxfxfxf得駐點(diǎn)為得駐點(diǎn)為 1220100 xxx再根據(jù)極值的充分條件，判斷此點(diǎn)是否為極值點(diǎn)。由于再根據(jù)極值的充分條件，判斷此點(diǎn)是否為極值點(diǎn)。由于第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)2002)(02221222122120 xxfxxfxxfxfxH的一階主子式和二階主子式分別為的一階主子式和二階主子式分別為020212xxf042002

24、)(0 xH故故 為正定矩陣為正定矩陣 為極小點(diǎn)，相應(yīng)的為極小點(diǎn)，相應(yīng)的極值為極值為 。)(0 xHTx2 , 100)(0 xf第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)無約束優(yōu)化設(shè)計(jì)問題最優(yōu)解：無約束優(yōu)化設(shè)計(jì)問題最優(yōu)解： 不受約束條件限制，使目標(biāo)函數(shù)達(dá)到最小值的一組設(shè)計(jì)不受約束條件限制，使目標(biāo)函數(shù)達(dá)到最小值的一組設(shè)計(jì)變量，即最優(yōu)點(diǎn)變量，即最優(yōu)點(diǎn) x x* *=x=x1 1* *,x,x2 2* *, ,x,x n n* * 和最優(yōu)值和最優(yōu)值 f(xf(x* *) )構(gòu)成構(gòu)成無約束問題最優(yōu)解。無約束問題最優(yōu)解。 x x* *為無約束極小點(diǎn)的充要條件為無約束極小點(diǎn)的充要條件（1 1）

25、；(2)Hesse(2)Hesse矩陣矩陣 為正定。為正定。0)(*xf)(*xH第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)約束優(yōu)化設(shè)計(jì)問題最優(yōu)解約束優(yōu)化設(shè)計(jì)問題最優(yōu)解： 滿足約束條件，使目標(biāo)函數(shù)達(dá)到最小值的一組設(shè)計(jì)變量，滿足約束條件，使目標(biāo)函數(shù)達(dá)到最小值的一組設(shè)計(jì)變量， 即最優(yōu)點(diǎn)即最優(yōu)點(diǎn) x x* *=x=x1 1* *,x,x2 2* *, ,x,x n n* * 和最優(yōu)值和最優(yōu)值 f(xf(x* *) )構(gòu)成約束問構(gòu)成約束問題最優(yōu)解。題最優(yōu)解。0)(0)(05 . 2)(. .41060)(min23122221121222121xxgxxgxxxgtsxxxxxxxf其中其中

26、是約束最優(yōu)點(diǎn)，而是約束最優(yōu)點(diǎn)，而 是無約束最優(yōu)點(diǎn)。是無約束最優(yōu)點(diǎn)。Tx3 , 4*Tx6 , 8*第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)等式約束優(yōu)化問題的極值條件等式約束優(yōu)化問題的極值條件 求解等式約束優(yōu)化問題求解等式約束優(yōu)化問題), 2 , 1(0)(. .)(minmkxhxfk 其思路就是將其轉(zhuǎn)化成無約束優(yōu)化問題，導(dǎo)出極值存在的其思路就是將其轉(zhuǎn)化成無約束優(yōu)化問題，導(dǎo)出極值存在的條件。數(shù)學(xué)上有兩種處理方法：條件。數(shù)學(xué)上有兩種處理方法：消元法和拉格朗日乘子法。消元法和拉格朗日乘子法。 約束優(yōu)化問題可分為等式約束與不等式約束優(yōu)約束優(yōu)化問題可分為等式約束與不等式約束優(yōu)化問題。化問題。

27、第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)消元法消元法 為了便于理解，先討論二元函數(shù)只有一個(gè)等式約束的為了便于理解，先討論二元函數(shù)只有一個(gè)等式約束的情況情況 0),(. .),(min2121xxhxxf用消元法求解就是根據(jù)等式約束條件，將一個(gè)變量表示成另用消元法求解就是根據(jù)等式約束條件，將一個(gè)變量表示成另一個(gè)變量的函數(shù)關(guān)系一個(gè)變量的函數(shù)關(guān)系 ，然后將其代入到目標(biāo)函數(shù)，然后將其代入到目標(biāo)函數(shù) 中消去中消去 ，變成一元函數(shù)，變成一元函數(shù) ，從而將等式約束優(yōu)化問題，從而將等式約束優(yōu)化問題轉(zhuǎn)化成無約束優(yōu)化問題。目標(biāo)函數(shù)通過消元由二元函數(shù)變成轉(zhuǎn)化成無約束優(yōu)化問題。目標(biāo)函數(shù)通過消元由二元函數(shù)變成

28、一元函數(shù)，由二維變成一維。一元函數(shù)，由二維變成一維。 )(21xx1x)(2xF第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)對(duì)于對(duì)于 維情況維情況 n), 2 , 1(0),(. .),(min2121lkxxxhxxxfnkn 由由 個(gè)約束方程將個(gè)約束方程將 個(gè)變量中的前個(gè)變量中的前 個(gè)變量用其余個(gè)變量用其余 個(gè)個(gè) 變量表示，既有變量表示，既有 llnln),(),(),(2121222111nllllnllnllxxxxxxxxxxxx將這些函數(shù)關(guān)系代入到目標(biāo)函數(shù)中去，得到只含將這些函數(shù)關(guān)系代入到目標(biāo)函數(shù)中去，得到只含 共共 個(gè)變量的函數(shù)個(gè)變量的函數(shù) ，從而可以利用無，從而可以利用無

29、約束優(yōu)化問題的極值條件求解。約束優(yōu)化問題的極值條件求解。 nllxxx,21ln),(21nllxxxF第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)拉格朗日乘子法拉格朗日乘子法 拉格朗日乘子法與消元法相反，是通過增加變量將等拉格朗日乘子法與消元法相反，是通過增加變量將等式約束優(yōu)化問題轉(zhuǎn)化成無約束優(yōu)化問題。對(duì)于具有式約束優(yōu)化問題轉(zhuǎn)化成無約束優(yōu)化問題。對(duì)于具有 個(gè)等個(gè)等式約束的式約束的 維優(yōu)化問題。維優(yōu)化問題。nl), 2 , 1(0)(. .)(minlkxhxfk 構(gòu)造如下形式的新的目標(biāo)函數(shù)：構(gòu)造如下形式的新的目標(biāo)函數(shù)： lkkkxhxfxF1)()(),(式中的式中的 就是原目標(biāo)函數(shù)就

30、是原目標(biāo)函數(shù) 的等式約束條件，而待定的等式約束條件，而待定系數(shù)系數(shù) 稱為拉格朗日乘子稱為拉格朗日乘子, , 稱為拉格朗稱為拉格朗函數(shù)。因?yàn)楹瘮?shù)。因?yàn)?，所以求，所以求 的極值就的極值就相當(dāng)于求原目標(biāo)函數(shù)相當(dāng)于求原目標(biāo)函數(shù) 的極值。這樣就把求等式約束優(yōu)化的極值。這樣就把求等式約束優(yōu)化問題轉(zhuǎn)化成求有問題轉(zhuǎn)化成求有l(wèi)+nl+n個(gè)變量的無約束優(yōu)化問題。由個(gè)變量的無約束優(yōu)化問題。由 具有極值的必要條件具有極值的必要條件第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ))(xhk)(xf), 2 , 1(lkk),(xF), 2 , 1(0)(lkxhk ),(xF)(xf), 2 , 1(0), 2 ,

31、 1(0lkFnixFki可得可得l+n個(gè)方程，從而解得個(gè)方程，從而解得 和和共共l+n個(gè)未知變量的值。由上述方程組求得的個(gè)未知變量的值。由上述方程組求得的 是函是函數(shù)數(shù) 極值點(diǎn)的坐標(biāo)值極值點(diǎn)的坐標(biāo)值。), 2 , 1(lkk)(xfTnxxxx*2*1*,Tnxxxx,21第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)從上述分析過程可以看出求解等式約束優(yōu)化問題，可通過把從上述分析過程可以看出求解等式約束優(yōu)化問題，可通過把目標(biāo)函數(shù)改造成如下形式的新的目標(biāo)函數(shù)。目標(biāo)函數(shù)改造成如下形式的新的目標(biāo)函數(shù)。 lkkkxhxfxF1)()(),(從而將等式約束優(yōu)化問題轉(zhuǎn)化成無約束優(yōu)化問題。從而將等式約

32、束優(yōu)化問題轉(zhuǎn)化成無約束優(yōu)化問題。這種方法稱為拉格朗日乘子法，可以敘述如下：這種方法稱為拉格朗日乘子法，可以敘述如下：設(shè)優(yōu)化問題設(shè)優(yōu)化問題), 2 , 1(0),(. .),(min2121lkxxxhxxxfnkn 第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)為求出為求出 可能的極值點(diǎn)可能的極值點(diǎn) ，引入拉，引入拉格朗日乘子格朗日乘子 ，并構(gòu)成一個(gè)新的目標(biāo)函數(shù)，并構(gòu)成一個(gè)新的目標(biāo)函數(shù))(xfTnxxxx*2*1*,), 2 , 1(lkklkkkxhxfxF1)()(),(把把 作為一個(gè)新的無約束條件的目標(biāo)函數(shù)來求它的極作為一個(gè)新的無約束條件的目標(biāo)函數(shù)來求它的極值點(diǎn)，所得的結(jié)果就是滿足約

33、束條件值點(diǎn)，所得的結(jié)果就是滿足約束條件 的原目標(biāo)函數(shù)的原目標(biāo)函數(shù) 的極值點(diǎn)。的極值點(diǎn)。),(xF0),(21nkxxxh)(xf例例2-4 2-4 用拉格朗日乘子法計(jì)算約束條件為用拉格朗日乘子法計(jì)算約束條件為 和目標(biāo)函數(shù)為和目標(biāo)函數(shù)為 的極值點(diǎn)坐標(biāo)。的極值點(diǎn)坐標(biāo)。 0632),(2121xxxxh22212154),(xxxxf第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)解解 改造目標(biāo)函數(shù)改造目標(biāo)函數(shù) )632(54),(212221xxxxxF063203100282111xxFxxFxxF解前兩式得解前兩式得 103,4121xx代入第三式得代入第三式得 ，因此得極值點(diǎn)，因此得極值點(diǎn)

34、 的坐標(biāo)為的坐標(biāo)為 730*x286. 1,071. 1*2*1xx第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)2.62.6不等式約束優(yōu)化問題極值條件不等式約束優(yōu)化問題極值條件mjxgxfj, 2 , 10)(. .)(min K-T ( Kuhn-Tucker K-T ( Kuhn-Tucker 庫恩庫恩- -塔克塔克) ) 條件條件2.6.1 2.6.1 一元不等式約束問題極值條件一元不等式約束問題極值條件12min( ). .( )=a-x0( )=x-b0f xg xgx 第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)1. 1. 有一個(gè)適時(shí)約束時(shí)：有一個(gè)適時(shí)約束時(shí)： 從數(shù)學(xué)上

35、定義，當(dāng)從從數(shù)學(xué)上定義，當(dāng)從 x x(k)(k)點(diǎn)出發(fā)點(diǎn)出發(fā)不不存在一個(gè)存在一個(gè) S S 方向能同時(shí)滿足：方向能同時(shí)滿足： ; ; ，即，即 ， 則獲得最優(yōu)解：則獲得最優(yōu)解：x x(k)(k)為最優(yōu)點(diǎn)為最優(yōu)點(diǎn) x x* *，f(xf(x(k)(k) )為最優(yōu)值為最優(yōu)值 f(xf(x* *) )。0)()(kTxfS0)()(kTxgS0),()()()(kkxgxf從幾何上看，當(dāng)從從幾何上看，當(dāng)從 x (k)x (k)點(diǎn)出發(fā)點(diǎn)出發(fā)不不存在一個(gè)存在一個(gè) S S 方向能同時(shí)滿足方向能同時(shí)滿足： 與與x x(k)(k)點(diǎn)目標(biāo)函數(shù)的負(fù)梯度方向成銳角，點(diǎn)目標(biāo)函數(shù)的負(fù)梯度方向成銳角，即沿即沿 S S 方向

36、目標(biāo)函數(shù)值下降；方向目標(biāo)函數(shù)值下降； 與與x x(k)(k)點(diǎn)約束函數(shù)的梯度方向成鈍角，即點(diǎn)約束函數(shù)的梯度方向成鈍角，即保證保證 S S方向上各點(diǎn)在可行域內(nèi)。方向上各點(diǎn)在可行域內(nèi)。 此時(shí)，獲得最優(yōu)解此時(shí)，獲得最優(yōu)解 x x(k)(k) 為最優(yōu)點(diǎn)為最優(yōu)點(diǎn) x x* *，f(xf(x(k)(k) )為最優(yōu)值為最優(yōu)值 f(xf(x* *) )。2.6.2 2.6.2 庫恩庫恩- -塔克條件（塔克條件（K-TK-T條件）條件）幾何意義幾何意義第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ) 相反，當(dāng)從相反，當(dāng)從 x x(k)(k)點(diǎn)出發(fā)，存在一個(gè)點(diǎn)出發(fā)，存在一個(gè) S S 方向能同時(shí)滿足：方向能同時(shí)滿

37、足： 和和 時(shí)，則時(shí)，則 x x(k)(k) 不是最不是最優(yōu)點(diǎn)。優(yōu)點(diǎn)。0)()(kTxfS0)()(kTxgS 從幾何上看，當(dāng)從從幾何上看，當(dāng)從 x x(k)(k)點(diǎn)出發(fā)存在一個(gè)點(diǎn)出發(fā)存在一個(gè) S S 方向能同時(shí)滿足：方向能同時(shí)滿足： 與與x x(k)(k)點(diǎn)目標(biāo)函數(shù)的負(fù)梯度方向成銳角，即點(diǎn)目標(biāo)函數(shù)的負(fù)梯度方向成銳角，即沿沿 S S 方向目標(biāo)函數(shù)值下降；方向目標(biāo)函數(shù)值下降； 與與x x(k)(k)點(diǎn)約束函數(shù)的梯度方向成鈍角，即保點(diǎn)約束函數(shù)的梯度方向成鈍角，即保證證 S S方向上各點(diǎn)在可行域內(nèi)。方向上各點(diǎn)在可行域內(nèi)。 此時(shí)，此時(shí)，x x(k)(k)不是最優(yōu)點(diǎn)不是最優(yōu)點(diǎn) x x* *。第二章第二章

38、 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)2. 2. 有二個(gè)適時(shí)約束時(shí)：有二個(gè)適時(shí)約束時(shí)： x x(k)(k)成為約束最優(yōu)點(diǎn)成為約束最優(yōu)點(diǎn) x x* * 的必要條件為的必要條件為: :)()()()(22)(11)(kkkxgxgxf0, 021即不存在一個(gè)即不存在一個(gè) S S 方向能同時(shí)滿足：方向能同時(shí)滿足：0)()(1kTxgS0)()(kTxfS0)()(2kTxgS 幾何上幾何上 位于位于和和 所張的扇形子空間所張的扇形子空間內(nèi)。內(nèi)。)()(kxf)()(1kxg)()(2kxg第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)相反，不符合以上條件：相反，不符合以上條件：不能表達(dá)成不能表達(dá)

39、成 和和 的線性組合。的線性組合。)()(kxf)()(1kxg)()(2kxg即存在一個(gè)即存在一個(gè) S S 方向能同時(shí)滿足：方向能同時(shí)滿足：0)()(kTxfS0)()(1kTxgS0)()(2kTxgS幾何上幾何上 不位于不位于 和和 所張的扇形子空所張的扇形子空間內(nèi)。則間內(nèi)。則 x x(k)(k) 點(diǎn)不是最優(yōu)點(diǎn)。點(diǎn)不是最優(yōu)點(diǎn)。)()(kxf)()(1kxg)()(2kxg)()(kxf)()(2kxg)()(1kxg第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ) K-T K-T 條件（擴(kuò)展至條件（擴(kuò)展至 m m 個(gè)適時(shí)約束）：個(gè)適時(shí)約束）：,.,2 , 1, 0)()()()(muxguxIkuk 設(shè)某個(gè)設(shè)計(jì)點(diǎn)設(shè)某個(gè)設(shè)計(jì)點(diǎn) x x(k)(k)，其適時(shí)約束集為，其適時(shí)約束集為 且且 為線性獨(dú)立，則為線性獨(dú)立，則 x x(k)(k)成為約束最優(yōu)點(diǎn)的必要條件是成為約束最優(yōu)點(diǎn)的必要條件是目標(biāo)函數(shù)的負(fù)梯度向量可表示為適時(shí)約束梯度向量的線性組合，目標(biāo)函數(shù)的負(fù)梯度向量可表示為適時(shí)約束梯度向量的線性組合，即即 ，其中，其中 。 )(),()()(kkuxIuxg)()()()()()(kuxIu