機械優(yōu)化設(shè)計第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)

1、機械優(yōu)化設(shè)計第二章第二章 優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)一、多元函數(shù)的方向?qū)?shù)和梯度一、多元函數(shù)的方向?qū)?shù)和梯度二、多元函數(shù)的泰勒展開二、多元函數(shù)的泰勒展開三、無約束優(yōu)化問題的極值條件三、無約束優(yōu)化問題的極值條件四、凸集、凸函數(shù)與凸規(guī)劃四、凸集、凸函數(shù)與凸規(guī)劃五、等式約束優(yōu)化問題的極值條件五、等式約束優(yōu)化問題的極值條件六、不等式約束優(yōu)化問題的極值條件六、不等式約束優(yōu)化問題的極值條件機械優(yōu)化設(shè)計1 1、方向?qū)?shù)、方向?qū)?shù)01020,xxx 二元函數(shù)在點處的偏導(dǎo)數(shù)偏導(dǎo)數(shù)的定義是：10101201020011(,),limxxf xx xfxxfxx20102021020022(,),limx

2、xf xxxfxxfxx 01020,xxx二元函數(shù)在點處沿某一方向 d的變化率，其定義為 010120210200(,),limdxf xx xxf xxfdd 方向?qū)?shù)方向?qū)?shù) 一、多元函數(shù)的方向?qū)?shù)和梯度一、多元函數(shù)的方向?qū)?shù)和梯度),(21xxf),(21xxf機械優(yōu)化設(shè)計X1X10X20X2X0X1X2d21Od圖圖1 1 二維空間中的方向二維空間中的方向= 010120210200(,),limdxf xx xxf xxfdd 011cosxfx022cosxfx+偏導(dǎo)數(shù)與偏導(dǎo)數(shù)與方向?qū)?shù)方向?qū)?shù)的關(guān)系的關(guān)系機械優(yōu)化設(shè)計n n元函數(shù)在點元函數(shù)在點x x0 0處沿處沿d d方向的方向

3、導(dǎo)數(shù)方向的方向?qū)?shù)inixinxxxxxfxfxfxfdfncoscoscoscos1122110000機械優(yōu)化設(shè)計2 2、二元函數(shù)的梯度、二元函數(shù)的梯度000011221212coscos+ cos,cosxxxxfffffdxxxx0010122(),Txxfxfff xfxxx令 梯度梯度000()() cos(, )Txff xdf xf dd 21coscosd機械優(yōu)化設(shè)計 當(dāng)梯度方向和當(dāng)梯度方向和d d方向重合時，方向?qū)?shù)值方向重合時，方向?qū)?shù)值最大，即梯度方向是函數(shù)值變化最快方向，最大，即梯度方向是函數(shù)值變化最快方向，而梯度的模就是函數(shù)值變化率的最大值。而梯度的模就是函數(shù)值變化率

4、的最大值。000()() cos(, )Txff xdf xf dd 22210)(xfxfxf梯度的模：梯度的模：機械優(yōu)化設(shè)計多元函數(shù)的梯度多元函數(shù)的梯度Txnxnxfxfxfxfxfxfxf0021210)(),cos()()(cos00100dfxfdxfxfdfTinixix機械優(yōu)化設(shè)計2/1210)()(0 xniixfxf多元函數(shù)的梯度的模：多元函數(shù)的梯度的模： 函數(shù)的梯度方向函數(shù)的梯度方向與函數(shù)的等值面相垂直與函數(shù)的等值面相垂直，也，也就是和等值面上過就是和等值面上過x0 x0的一切曲線相垂直。的一切曲線相垂直。 由于梯度的模因點而異，即函數(shù)在不同點處由于梯度的模因點而異，即函數(shù)

5、在不同點處的最大變化率是不同的。因此，梯度是函數(shù)的一的最大變化率是不同的。因此，梯度是函數(shù)的一種種局部性質(zhì)局部性質(zhì)。機械優(yōu)化設(shè)計梯度的兩個重要性質(zhì)：梯度的兩個重要性質(zhì)： 函數(shù)在某點的函數(shù)在某點的梯度不為零，則必與過該點的等值面垂直梯度不為零，則必與過該點的等值面垂直（即為過點的等值線的法線方向）；（即為過點的等值線的法線方向）； 梯度方向具有最大變化率方向梯度方向具有最大變化率方向 正梯度方向是函數(shù)值最速上升的方向，正梯度方向是函數(shù)值最速上升的方向， 負(fù)梯度方向是函數(shù)值最速下降的方向負(fù)梯度方向是函數(shù)值最速下降的方向。機械優(yōu)化設(shè)計2121242)(xxxfxfxf42242)(211xxxf例例

6、1 1：求二次函數(shù)求二次函數(shù)44,1222121xxxxxfT2 , 3在點在點處的梯度。處的梯度。 解：解：在點在點T2 , 3處的梯度為：處的梯度為：機械優(yōu)化設(shè)計例例2 2：試試求二次函數(shù)求二次函數(shù)2221212143,xxxxxxfTx1 , 00在點在點處的最速下降方向，并求沿這個方向移動一個單位長處的最速下降方向，并求沿這個方向移動一個單位長度后新點的目標(biāo)函數(shù)值。度后新點的目標(biāo)函數(shù)值。 解：解：21146xxxf21224xxxf242446)(102121102102121xxxxxxxxxfxfxfPTx 1 , 00則函數(shù)在則函數(shù)在 處的最速下降方向為處的最速下降方向為機械優(yōu)化

7、設(shè)計該方向上的單位向量為該方向上的單位向量為551552)2(424)()(2200 xfxfe55115525515521001exx1x新點新點5252643)(12221211xxxxxxf該點函數(shù)值該點函數(shù)值機械優(yōu)化設(shè)計常用梯度公式：常用梯度公式：QXXfQXXXfQXXfXXXfbXfXbXfXfCXfTTT2)()()4(2)()() 3()()()2(0)()()() 1 (為對稱矩陣，常數(shù)注意：梯度為向量注意：梯度為向量二次型二次型機械優(yōu)化設(shè)計二、多元函數(shù)的泰勒展開二、多元函數(shù)的泰勒展開 f x0 xx在在 點處的泰勒展開為：點處的泰勒展開為： 200012f xf xfxxf

8、xx 其中其中2200,xxxxxx 1、一元函數(shù)一元函數(shù)機械優(yōu)化設(shè)計2 2、二元函數(shù)、二元函數(shù)11102220,xxxxxx其中：其中：.2! 21),(,222222121221212221120102100000 xxfxxxxfxxfxxfxxfxxfxxfxxxxx二元函數(shù)二元函數(shù) 在在 點處的泰勒展開式為：點處的泰勒展開式為：)(xf),(20100 xxx機械優(yōu)化設(shè)計上式寫成矩陣形式：上式寫成矩陣形式：2122221221221221212100021)()(xxxfxxfxxfxfxxxxxfxfxfxfxx機械優(yōu)化設(shè)計02221222122120)(xxfxxfxxfxfxG

9、令令 xxGxxxfxfxfTT0002121xxx 0 xG21,xxf上式可寫成上式可寫成稱為函數(shù)稱為函數(shù) 在在 點處的點處的海賽（海賽（Hessian）矩陣）矩陣),(20100 xxx參見教材例題參見教材例題P30機械優(yōu)化設(shè)計海賽矩陣海賽矩陣是由函數(shù)是由函數(shù) 在點在點 處的二階偏處的二階偏導(dǎo)數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有：導(dǎo)數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有：),(21xxf0 x212122xxfxxf)(0 xG2221222122120)(xfxxfxxfxfxG所以所以 矩陣為矩陣為對陣方陣。對陣方陣。機械優(yōu)化設(shè)計海賽矩陣海賽矩陣222212222221221221

10、22120)(nnnnnxfxxfxxfxxfxfxxfxxfxxfxfxG3 3、多元函數(shù)、多元函數(shù) xxGxxxfxfxfTT00021其中：梯度其中：梯度Txnxfxfxfxf0210)(泰勒展開式泰勒展開式機械優(yōu)化設(shè)計若將函數(shù)的泰勒展開式只取到線性項，即取若將函數(shù)的泰勒展開式只取到線性項，即取 )(000 xxxfxfxzT xz0 x則則 是過點是過點 和函數(shù)和函數(shù) 所代表的超曲面相所代表的超曲面相切的切平面。切的切平面。 xf若將函數(shù)的泰勒展開式取到二次項時，則得到二若將函數(shù)的泰勒展開式取到二次項時，則得到二次函數(shù)形式，在線性代數(shù)中將二次齊次函數(shù)稱為次函數(shù)形式，在線性代數(shù)中將二次齊

11、次函數(shù)稱為二次型。二次型。矩陣形式矩陣形式 GxxxfTG-對稱矩陣對稱矩陣機械優(yōu)化設(shè)計當(dāng)對任何非零向量當(dāng)對任何非零向量x x使使 0GxxxfT則二次型函數(shù)正定，則二次型函數(shù)正定，G G為正定矩陣。為正定矩陣。機械優(yōu)化設(shè)計海賽矩陣的特征：是實對稱矩陣。海賽矩陣的特征：是實對稱矩陣。0)det(G0)det(G0)det(G4 4、海賽矩陣與正定、海賽矩陣與正定矩陣矩陣正定正定的充要條件：矩陣的充要條件：矩陣G的各階順序主子式為正，即的各階順序主子式為正，即矩陣矩陣負(fù)定負(fù)定的充要條件：矩陣的充要條件：矩陣G G的的奇數(shù)階主子式奇數(shù)階主子式主子式主子式偶數(shù)階主子式偶數(shù)階主子式海賽矩陣的正定性：海

12、賽矩陣的正定性：)(xG正定正定- 為全局極小值點的充分條件為全局極小值點的充分條件x)(xG負(fù)定負(fù)定- 為全局極大值點的充分條件為全局極大值點的充分條件x機械優(yōu)化設(shè)計例例3 3 判定矩陣判定矩陣 是否正定？是否正定？010401023136032336066解：解：該對稱矩陣的三個主子式依次為：該對稱矩陣的三個主子式依次為：401023136G故可知矩陣故可知矩陣G是正定的。是正定的。機械優(yōu)化設(shè)計定理：定理：若二次函數(shù)若二次函數(shù) 中中Q Q正定，正定，則它的等值面是同心橢球面族，且中心為則它的等值面是同心橢球面族，且中心為cbXQXXXfT21)(bQX1證明：證明：作變換作變換 ，代入二次

13、函數(shù)式中：，代入二次函數(shù)式中：bQYX1cbQYbbQYQbQYT)()()(21111)()(1bQYfYcbQbQYYTT12121QYYT210YbQX1結(jié)論：結(jié)論：Q為正定矩陣的二次型為正定矩陣的二次型 的等值面是以的等值面是以 的同心橢球面族。原二次函數(shù)就是以的同心橢球面族。原二次函數(shù)就是以 為中心的同心為中心的同心橢球面族，橢圓中心為極小值點。橢球面族，橢圓中心為極小值點。機械優(yōu)化設(shè)計例例4 把二次函數(shù)把二次函數(shù) 化為矩陣向量形式并檢驗化為矩陣向量形式并檢驗Q是否正定，如正定，試用公式是否正定，如正定，試用公式 求這個函數(shù)的極小點。求這個函數(shù)的極小點。bQX121312123222

14、132154323),(xxxxxxxxxxxxf32132132133323123222113121132121xxxbbbxxxgggggggggxxxXbQXXxxxfTT21),(321TbQX7 . 07 . 68 . 21054b401023136Q解：解：與題中函數(shù)比較各系數(shù)得：與題中函數(shù)比較各系數(shù)得：由計算知由計算知Q Q正定，極小點正定，極小點機械優(yōu)化設(shè)計三、無約束優(yōu)化問題的極值條件三、無約束優(yōu)化問題的極值條件1 1、一元函數(shù)、一元函數(shù) f x0 xx對于可微的一元函數(shù)對于可微的一元函數(shù) 判斷在判斷在 處是否取得極處是否取得極值的過程：值的過程： 00fx00fx則則 為極小

15、點。為極小點。0 x00fx0 x00fx逐次檢驗其更高階導(dǎo)數(shù)逐次檢驗其更高階導(dǎo)數(shù)的符號，開始不為零的的符號，開始不為零的導(dǎo)數(shù)階數(shù)若為偶次，則導(dǎo)數(shù)階數(shù)若為偶次，則為極值點，若為奇次，為極值點，若為奇次，則為拐點。則為拐點。 則則 為極大點。為極大點。機械優(yōu)化設(shè)計2 2、二元函數(shù)、二元函數(shù) 01020,xxx定理定理1：若二元可微函數(shù)若二元可微函數(shù) 在在 處處取得極值的取得極值的必要條件必要條件是：是：),(21xxf00021xxxfxf即即0)(0 xf凡滿足上式的點稱為函數(shù)的凡滿足上式的點稱為函數(shù)的駐點駐點（零向量）（零向量）機械優(yōu)化設(shè)計如下圖所示的二元函數(shù)，在如下圖所示的二元函數(shù)，在M0

16、點雖有點雖有 和和 是個駐點，但它不是極值點。是個駐點，但它不是極值點。 0 xf0yf機械優(yōu)化設(shè)計01020,xxx定理定理2：若二元可微函數(shù)若二元可微函數(shù) 在在 的的某個鄰域取得極小值的某個鄰域取得極小值的充分條件充分條件是要求在該點附是要求在該點附近的一切點均滿足：近的一切點均滿足：),(21xxf0),(),(201021xxfxxf若函數(shù)存在連續(xù)的一階及二階偏導(dǎo)數(shù)，當(dāng)滿足若函數(shù)存在連續(xù)的一階及二階偏導(dǎo)數(shù)，當(dāng)滿足0),(, 0),(2010201021xxfxxfxx則泰勒展開式的函數(shù)增量近似式（略三階以上則泰勒展開式的函數(shù)增量近似式（略三階以上高階微量）為：高階微量）為：機械優(yōu)化設(shè)計

17、0),(),(2),(21),(),(2),(21),(),(),(),(222010 212010 212010 222010 212010 212010 220101201020102122212122212121xxxfxxxxfxxxfxxxfxxxxfxxxfxxxfxxxfxxfxxfxxxxxxxxxx),(),(),(2010 2010 2010 222121xxfCxxfBxxfAxxxx令令則則0221222121xCxxBxA0, 0CBBAA可見，函數(shù)增量的性態(tài)與可見，函數(shù)增量的性態(tài)與A,B,C的值有關(guān)?？梢宰C明，當(dāng)滿的值有關(guān)?？梢宰C明，當(dāng)滿足以下條件時，足以下條件時，

18、 為極小值（證明略）。為極小值（證明略）。),(2010 xxf此條件反映了函數(shù)在該點的海賽矩陣的各階主子式均大于零（即正定）。此條件反映了函數(shù)在該點的海賽矩陣的各階主子式均大于零（即正定）。機械優(yōu)化設(shè)計結(jié)論：結(jié)論： 二元函數(shù)在某點取得二元函數(shù)在某點取得極小值極小值的的充分條件充分條件是要是要求求該點處的海賽矩陣為正定該點處的海賽矩陣為正定。0()0f x02210 xfx 2221122222120ffxx xG xffx xx 且且 01020,xxx 對于二元函數(shù)對于二元函數(shù) 在在 處取得極處取得極值的值的充分必要條件充分必要條件是：是：),(21xxf參見教材例題參見教材例題P32P3

19、2 機械優(yōu)化設(shè)計3、多元函數(shù)、多元函數(shù)對于多元函數(shù)對于多元函數(shù) 若在若在 處取得處取得極值極值，則，則),(21nxxxfx必要條件：必要條件：充分條件：充分條件：xnnnnnxfxxfxxfxxfxfxxfxxfxxfxfxG2222122222212212212212)(0)(21Txnxfxfxfxf正定正定或負(fù)定或負(fù)定機械優(yōu)化設(shè)計四、凸集、凸函數(shù)與凸規(guī)劃四、凸集、凸函數(shù)與凸規(guī)劃 當(dāng)極值點當(dāng)極值點x x* *能使能使f(xf(x* *) )在整個可行域中為最小值時，即在整個可行域中為最小值時，即在整個可行域中對任一在整個可行域中對任一x x都有都有f(x)=f(xf(x)=f(x* *)

20、,),則則x x* *為為全域最優(yōu)全域最優(yōu)點（全域極小點）。點（全域極小點）。若若f(xf(x* *) )為局部可行域中的極小值而非為局部可行域中的極小值而非整個可行域的最小值時，則稱整個可行域的最小值時，則稱x x* *為為局部最優(yōu)點或相對最優(yōu)局部最優(yōu)點或相對最優(yōu)點點。優(yōu)化的目標(biāo)是全域最優(yōu)點。為了判斷某個極值點是否。優(yōu)化的目標(biāo)是全域最優(yōu)點。為了判斷某個極值點是否為全域最優(yōu)點，研究函數(shù)的凸性是必要的。為全域最優(yōu)點，研究函數(shù)的凸性是必要的。 函數(shù)的凸性表現(xiàn)為函數(shù)的凸性表現(xiàn)為單峰性單峰性。對于具有凸性特點的函數(shù)。對于具有凸性特點的函數(shù)來說，其極值點只有一個，因而該點既是局部最優(yōu)亦是全來說，其極值點

21、只有一個，因而該點既是局部最優(yōu)亦是全域最優(yōu)點。域最優(yōu)點。為了研究函數(shù)的凸性，下面引入為了研究函數(shù)的凸性，下面引入凸集凸集的概念：的概念：機械優(yōu)化設(shè)計1 1、凸集、凸集12,xR xR01如果對一切如果對一切 及一切滿足及一切滿足12(1)xxyR的實數(shù)的實數(shù) ，點點 則稱集合則稱集合R為為凸集凸集，否則稱為非凸集。，否則稱為非凸集。y yx x2 2x x1 1llllxxyx122若若y y是是x x1 1和和x x2 2連線上的點，則有連線上的點，則有整理后即得整理后即得21)1 (xxy機械優(yōu)化設(shè)計凸集的凸集的性質(zhì)：性質(zhì)：若若D為凸集，為凸集， 為一個實數(shù)，則集合為一個實數(shù)，則集合 仍是

22、凸集；仍是凸集；若若D和和F均為凸集，則其和（或并）仍是凸集；均為凸集，則其和（或并）仍是凸集；任何一組凸集的積（或交）仍是凸集。任何一組凸集的積（或交）仍是凸集。D機械優(yōu)化設(shè)計2 2、凸函數(shù)、凸函數(shù) 具有凸性（表現(xiàn)為單峰性）或只有唯一的局部具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱為凸函數(shù)或單最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱為凸函數(shù)或單峰函數(shù)。其數(shù)學(xué)定義是：峰函數(shù)。其數(shù)學(xué)定義是： 設(shè)設(shè)f(x)f(x)為定義在為定義在n n維歐式空間中的一個凸集維歐式空間中的一個凸集D D上上的函數(shù)，如果對于任何實數(shù)的函數(shù)，如果對于任何實數(shù) 以及對以及對D D中任意兩點中任意兩點x

23、x1 1，x x2 2恒有：恒有：1212(1)(1)fxxf xf x f x則則 為為D D上的凸函數(shù)，若不滿足上式，則為上的凸函數(shù)，若不滿足上式，則為凹函數(shù)。凹函數(shù)。如式中的等號去掉，則稱其為嚴(yán)格凸如式中的等號去掉，則稱其為嚴(yán)格凸函數(shù)。函數(shù)。) 10(機械優(yōu)化設(shè)計 1212(1)(1)fxxf xf x凸函數(shù)的凸函數(shù)的幾何意義幾何意義：在函數(shù)曲線上取任意兩點連：在函數(shù)曲線上取任意兩點連成一直線段，則該線段上任一點的縱坐標(biāo)值必大成一直線段，則該線段上任一點的縱坐標(biāo)值必大于或等于該點處的原函數(shù)值。于或等于該點處的原函數(shù)值。llxfxfyxf)()()(121)()1 ()(21xfxfyy)

24、(xfx2xx1xof1f2flxxlxx212,機械優(yōu)化設(shè)計凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)1）若）若f(x)為定義在凸集為定義在凸集D上的一個凸函數(shù)，對于任上的一個凸函數(shù)，對于任意實數(shù)意實數(shù)a0，則，則af(x)也是凸集也是凸集D上的凸函數(shù)；上的凸函數(shù)；2）定義在凸集）定義在凸集D上的兩個凸函數(shù)上的兩個凸函數(shù)f1(x),f2(x)，其和，其和f1(x)+f2(x)亦為該凸集上的一個凸函數(shù)；亦為該凸集上的一個凸函數(shù)；3）若）若f1(x),f2(x)為定義在凸集為定義在凸集D上的兩個凸函數(shù)，上的兩個凸函數(shù)， 為兩個任意正數(shù)，則為兩個任意正數(shù)，則 仍為仍為D上上的凸函數(shù)。的凸函數(shù)。,)()(21xfxf

25、機械優(yōu)化設(shè)計3 3、凸性條件、凸性條件（1）根據(jù)一階導(dǎo)數(shù)（函數(shù)的梯度）來判斷函數(shù)的凸性）根據(jù)一階導(dǎo)數(shù)（函數(shù)的梯度）來判斷函數(shù)的凸性設(shè)設(shè)f(x)f(x)為定義在凸集為定義在凸集R R上，且具有連續(xù)的一階導(dǎo)數(shù)上，且具有連續(xù)的一階導(dǎo)數(shù)的函數(shù)，則的函數(shù)，則f(x)f(x)在在R R上為凸函數(shù)的上為凸函數(shù)的充要條件充要條件是對凸是對凸集集R R內(nèi)任意不同兩點內(nèi)任意不同兩點 、 ，下面不等式，下面不等式恒成立。恒成立。1x2x 21211Tf xf xxxf x機械優(yōu)化設(shè)計（2 2）根據(jù)二階導(dǎo)數(shù)（海賽矩陣）根據(jù)二階導(dǎo)數(shù)（海賽矩陣) )來判斷函數(shù)的凸性來判斷函數(shù)的凸性設(shè)設(shè)f(x)f(x)為定義在凸集為定義在

26、凸集R R上且具有連續(xù)二階導(dǎo)數(shù)的函數(shù)，則上且具有連續(xù)二階導(dǎo)數(shù)的函數(shù)，則f(x)f(x)在在R R上為凸函數(shù)的上為凸函數(shù)的充要條件充要條件為：為：海賽矩陣在海賽矩陣在R R上處處半正定。對于嚴(yán)格的凸函數(shù)，其充上處處半正定。對于嚴(yán)格的凸函數(shù)，其充要條件為海賽矩陣為正定。要條件為海賽矩陣為正定。當(dāng)海賽矩陣當(dāng)海賽矩陣G G的主子式的主子式: : det(G det(G) )0 0時，矩陣正定時，矩陣正定 det(G)0 det(G)0 時，矩陣半正定時，矩陣半正定 det(Gdet(G) )0 0時，矩陣負(fù)定時，矩陣負(fù)定 det(G)0det(G)0時，矩陣半負(fù)定時，矩陣半負(fù)定G(xG(x* *) )

27、正定，正定， 是是 x x* * 為全局極小值點的充分條件為全局極小值點的充分條件；G(xG(x* *) )半正定半正定, , 是是 x x* * 為局部極小值點的充分條件；為局部極小值點的充分條件；G(xG(x* *) )負(fù)定，負(fù)定， 是是 x x* * 為全局極大值點的充分條件；為全局極大值點的充分條件；G(xG(x* *) )半負(fù)定半負(fù)定, , 是是 x x* * 為局部極大值點的充分條件為局部極大值點的充分條件。說明：說明：機械優(yōu)化設(shè)計4 4、凸規(guī)劃、凸規(guī)劃對于約束優(yōu)化問題對于約束優(yōu)化問題min fX. .st0jgX (1,2,3,)jm fXjgX(1,2,3,)jm若若、都為凸函

28、數(shù)，則稱此問題為凸規(guī)劃。都為凸函數(shù)，則稱此問題為凸規(guī)劃。機械優(yōu)化設(shè)計凸規(guī)劃的性質(zhì)：凸規(guī)劃的性質(zhì)：2 2）可行域）可行域 為凸集。為凸集。 1,2,.,0jjmgxRx3 3）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。1 1）若給定一點）若給定一點 ，則集合，則集合 為凸集。為凸集。 0f xf xRx0 x機械優(yōu)化設(shè)計五、等式約束優(yōu)化問題的極值條件五、等式約束優(yōu)化問題的極值條件 min f x. .st 0khx 等式約束優(yōu)化問題：等式約束優(yōu)化問題： 求解等式約束化問題的理論基礎(chǔ)是導(dǎo)出極值求解等式約束化問題的理論基礎(chǔ)是導(dǎo)出極值存在的條件。存在的條件。), 2

29、 , 1(mk機械優(yōu)化設(shè)計1 1、消元法（降維法）、消元法（降維法）2 2、拉格朗日乘子法（升維法）、拉格朗日乘子法（升維法）思想思想: : 通過增加變量將等式約束化問題變成無約通過增加變量將等式約束化問題變成無約束化問題。束化問題。 1,2,)kkl（ 1,lkkkF XfxhX引入引入拉格朗日乘子拉格朗日乘子，并構(gòu)成一個，并構(gòu)成一個新的目標(biāo)函數(shù)新的目標(biāo)函數(shù)拉格朗日函數(shù)拉格朗日函數(shù)拉格朗日乘子拉格朗日乘子新目標(biāo)函數(shù)的極值的新目標(biāo)函數(shù)的極值的必要條件：必要條件：0iFx0kF參見教材例題參見教材例題機械優(yōu)化設(shè)計六、不等式約束優(yōu)化問題的極值條件六、不等式約束優(yōu)化問題的極值條件庫恩庫恩塔克條件（塔

30、克條件（K-TK-T條件）條件） 不等式約束的多元函數(shù)極值的必要條件是著名不等式約束的多元函數(shù)極值的必要條件是著名的的庫恩庫恩塔克（塔克（Kuhn-TuckerKuhn-Tucker）條件）條件, ,它是非線性它是非線性優(yōu)化問題的重要理論。優(yōu)化問題的重要理論。 為了便于理解庫恩為了便于理解庫恩塔克條件，首先分析一塔克條件，首先分析一元函數(shù)在給定區(qū)間的極值條件。元函數(shù)在給定區(qū)間的極值條件。機械優(yōu)化設(shè)計 min f x. .st 10gxax 20gxxb1 1、一元函數(shù)在給定區(qū)間上的極值條件、一元函數(shù)在給定區(qū)間上的極值條件一元函數(shù)一元函數(shù)f(x)f(x)在區(qū)間在區(qū)間a,ba,b 的極值問題，可表

31、示為：的極值問題，可表示為：求解思想求解思想: :引入松弛變量使不等式約束變成等式約束，再引入松弛變量使不等式約束變成等式約束，再利用拉格朗日乘子法求解等式約束的極值問題。利用拉格朗日乘子法求解等式約束的極值問題。機械優(yōu)化設(shè)計 2211111,0h x agxaaxa 2221211,0hx bgxbxbb這樣可以轉(zhuǎn)化為拉格朗日函數(shù)：這樣可以轉(zhuǎn)化為拉格朗日函數(shù)： 11121 11221221121,()F x a bf xh x ahx bf xaxaxbb 12, 是對應(yīng)于不等式約束的拉格朗日乘子，是對應(yīng)于不等式約束的拉格朗日乘子，其值均為非負(fù)的。其值均為非負(fù)的。 設(shè)設(shè) 為松弛變量，則上兩個

32、不等式可寫為松弛變量，則上兩個不等式可寫為如下兩個等式：為如下兩個等式：11,ba機械優(yōu)化設(shè)計12120dgdgdfdxdxdx 110gx 220gx1020 f x,a b對于一元函數(shù)對于一元函數(shù) 在給定區(qū)間在給定區(qū)間上的極值條件，可完整的表示為：上的極值條件，可完整的表示為：結(jié)論：結(jié)論：機械優(yōu)化設(shè)計從以上分析可以看出，對應(yīng)于不起作用的約束的從以上分析可以看出，對應(yīng)于不起作用的約束的拉格朗日乘子拉格朗日乘子取零值取零值，因此可以引入起作用約束，因此可以引入起作用約束的下標(biāo)集合。的下標(biāo)集合。 0,1,2jgxjJ xj一元函數(shù)在給定區(qū)間的極值條件，可以改寫為：一元函數(shù)在給定區(qū)間的極值條件，可

33、以改寫為：極值條件中只考慮起作用的約束和相應(yīng)的乘子。極值條件中只考慮起作用的約束和相應(yīng)的乘子。 000jjj JjjdgdfdxdxgxjJjJ機械優(yōu)化設(shè)計2 2、庫恩、庫恩塔克條件塔克條件10(1,2, )mjjjiif xgxinxx0(1,2,)jjgxjm0(1,2,)jjm 庫恩庫恩塔克條件（塔克條件（K-T條件）可表述為：條件）可表述為：對于多元函數(shù)不等式的約束優(yōu)化問題：對于多元函數(shù)不等式的約束優(yōu)化問題： min f x. .st), 2 , 1(0)(mjxgj機械優(yōu)化設(shè)計庫恩庫恩塔克條件表明：塔克條件表明：如點如點 是函數(shù)是函數(shù) 的極值點，要么的極值點，要么 （此時（此時 ）或者目標(biāo)函數(shù)的負(fù)梯度等于起作）或者目標(biāo)函數(shù)的負(fù)梯度等于起作用約束梯度的非負(fù)線性組合用約束梯度的非負(fù)線性組合 （此時（此時 ）。）。 )(xf0)(xfx0ju0ju10(1,2, )mjjjiif xgxinxx0(1,2,)jjgxjm0(1,2,)jjm機械優(yōu)化