機(jī)械優(yōu)化設(shè)計(jì)第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)

1、機(jī)械優(yōu)化設(shè)計(jì)第二章第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一、多元函數(shù)的方向?qū)?shù)和梯度一、多元函數(shù)的方向?qū)?shù)和梯度二、多元函數(shù)的泰勒展開(kāi)二、多元函數(shù)的泰勒展開(kāi)三、無(wú)約束優(yōu)化問(wèn)題的極值條件三、無(wú)約束優(yōu)化問(wèn)題的極值條件四、凸集、凸函數(shù)與凸規(guī)劃四、凸集、凸函數(shù)與凸規(guī)劃五、等式約束優(yōu)化問(wèn)題的極值條件五、等式約束優(yōu)化問(wèn)題的極值條件六、不等式約束優(yōu)化問(wèn)題的極值條件六、不等式約束優(yōu)化問(wèn)題的極值條件機(jī)械優(yōu)化設(shè)計(jì)1 1、方向?qū)?shù)、方向?qū)?shù)01020,xxx 二元函數(shù)在點(diǎn)處的偏導(dǎo)數(shù)偏導(dǎo)數(shù)的定義是：10101201020011(,),limxxf xx xfxxfxx20102021020022(,),limx

2、xf xxxfxxfxx 01020,xxx二元函數(shù)在點(diǎn)處沿某一方向 d的變化率，其定義為 010120210200(,),limdxf xx xxf xxfdd 方向?qū)?shù)方向?qū)?shù) 一、多元函數(shù)的方向?qū)?shù)和梯度一、多元函數(shù)的方向?qū)?shù)和梯度),(21xxf),(21xxf機(jī)械優(yōu)化設(shè)計(jì)X1X10X20X2X0X1X2d21Od圖圖1 1 二維空間中的方向二維空間中的方向= 010120210200(,),limdxf xx xxf xxfdd 011cosxfx022cosxfx+偏導(dǎo)數(shù)與偏導(dǎo)數(shù)與方向?qū)?shù)方向?qū)?shù)的關(guān)系的關(guān)系機(jī)械優(yōu)化設(shè)計(jì)n n元函數(shù)在點(diǎn)元函數(shù)在點(diǎn)x x0 0處沿處沿d d方向的方向

3、導(dǎo)數(shù)方向的方向?qū)?shù)inixinxxxxxfxfxfxfdfncoscoscoscos1122110000機(jī)械優(yōu)化設(shè)計(jì)2 2、二元函數(shù)的梯度、二元函數(shù)的梯度000011221212coscos+ cos,cosxxxxfffffdxxxx0010122(),Txxfxfff xfxxx令 梯度梯度000()() cos(, )Txff xdf xf dd 21coscosd機(jī)械優(yōu)化設(shè)計(jì) 當(dāng)梯度方向和當(dāng)梯度方向和d d方向重合時(shí)，方向?qū)?shù)值方向重合時(shí)，方向?qū)?shù)值最大，即梯度方向是函數(shù)值變化最快方向，最大，即梯度方向是函數(shù)值變化最快方向，而梯度的模就是函數(shù)值變化率的最大值。而梯度的模就是函數(shù)值變化率

4、的最大值。000()() cos(, )Txff xdf xf dd 22210)(xfxfxf梯度的模：梯度的模：機(jī)械優(yōu)化設(shè)計(jì)多元函數(shù)的梯度多元函數(shù)的梯度Txnxnxfxfxfxfxfxfxf0021210)(),cos()()(cos00100dfxfdxfxfdfTinixix機(jī)械優(yōu)化設(shè)計(jì)2/1210)()(0 xniixfxf多元函數(shù)的梯度的模：多元函數(shù)的梯度的模： 函數(shù)的梯度方向函數(shù)的梯度方向與函數(shù)的等值面相垂直與函數(shù)的等值面相垂直，也，也就是和等值面上過(guò)就是和等值面上過(guò)x0 x0的一切曲線相垂直。的一切曲線相垂直。 由于梯度的模因點(diǎn)而異，即函數(shù)在不同點(diǎn)處由于梯度的模因點(diǎn)而異，即函數(shù)

5、在不同點(diǎn)處的最大變化率是不同的。因此，梯度是函數(shù)的一的最大變化率是不同的。因此，梯度是函數(shù)的一種種局部性質(zhì)局部性質(zhì)。機(jī)械優(yōu)化設(shè)計(jì)梯度的兩個(gè)重要性質(zhì)：梯度的兩個(gè)重要性質(zhì)： 函數(shù)在某點(diǎn)的函數(shù)在某點(diǎn)的梯度不為零，則必與過(guò)該點(diǎn)的等值面垂直梯度不為零，則必與過(guò)該點(diǎn)的等值面垂直（即為過(guò)點(diǎn)的等值線的法線方向）；（即為過(guò)點(diǎn)的等值線的法線方向）； 梯度方向具有最大變化率方向梯度方向具有最大變化率方向 正梯度方向是函數(shù)值最速上升的方向，正梯度方向是函數(shù)值最速上升的方向， 負(fù)梯度方向是函數(shù)值最速下降的方向負(fù)梯度方向是函數(shù)值最速下降的方向。機(jī)械優(yōu)化設(shè)計(jì)2121242)(xxxfxfxf42242)(211xxxf例例

6、1 1：求二次函數(shù)求二次函數(shù)44,1222121xxxxxfT2 , 3在點(diǎn)在點(diǎn)處的梯度。處的梯度。 解：解：在點(diǎn)在點(diǎn)T2 , 3處的梯度為：處的梯度為：機(jī)械優(yōu)化設(shè)計(jì)例例2 2：試試求二次函數(shù)求二次函數(shù)2221212143,xxxxxxfTx1 , 00在點(diǎn)在點(diǎn)處的最速下降方向，并求沿這個(gè)方向移動(dòng)一個(gè)單位長(zhǎng)處的最速下降方向，并求沿這個(gè)方向移動(dòng)一個(gè)單位長(zhǎng)度后新點(diǎn)的目標(biāo)函數(shù)值。度后新點(diǎn)的目標(biāo)函數(shù)值。 解：解：21146xxxf21224xxxf242446)(102121102102121xxxxxxxxxfxfxfPTx 1 , 00則函數(shù)在則函數(shù)在 處的最速下降方向?yàn)樘幍淖钏傧陆捣较驗(yàn)闄C(jī)械優(yōu)化

7、設(shè)計(jì)該方向上的單位向量為該方向上的單位向量為551552)2(424)()(2200 xfxfe55115525515521001exx1x新點(diǎn)新點(diǎn)5252643)(12221211xxxxxxf該點(diǎn)函數(shù)值該點(diǎn)函數(shù)值機(jī)械優(yōu)化設(shè)計(jì)常用梯度公式：常用梯度公式：QXXfQXXXfQXXfXXXfbXfXbXfXfCXfTTT2)()()4(2)()() 3()()()2(0)()()() 1 (為對(duì)稱矩陣，常數(shù)注意：梯度為向量注意：梯度為向量二次型二次型機(jī)械優(yōu)化設(shè)計(jì)二、多元函數(shù)的泰勒展開(kāi)二、多元函數(shù)的泰勒展開(kāi) f x0 xx在在 點(diǎn)處的泰勒展開(kāi)為：點(diǎn)處的泰勒展開(kāi)為： 200012f xf xfxxf

8、xx 其中其中2200,xxxxxx 1、一元函數(shù)一元函數(shù)機(jī)械優(yōu)化設(shè)計(jì)2 2、二元函數(shù)、二元函數(shù)11102220,xxxxxx其中：其中：.2! 21),(,222222121221212221120102100000 xxfxxxxfxxfxxfxxfxxfxxfxxxxx二元函數(shù)二元函數(shù) 在在 點(diǎn)處的泰勒展開(kāi)式為：點(diǎn)處的泰勒展開(kāi)式為：)(xf),(20100 xxx機(jī)械優(yōu)化設(shè)計(jì)上式寫(xiě)成矩陣形式：上式寫(xiě)成矩陣形式：2122221221221221212100021)()(xxxfxxfxxfxfxxxxxfxfxfxfxx機(jī)械優(yōu)化設(shè)計(jì)02221222122120)(xxfxxfxxfxfxG

9、令令 xxGxxxfxfxfTT0002121xxx 0 xG21,xxf上式可寫(xiě)成上式可寫(xiě)成稱為函數(shù)稱為函數(shù) 在在 點(diǎn)處的點(diǎn)處的海賽（海賽（Hessian）矩陣）矩陣),(20100 xxx參見(jiàn)教材例題參見(jiàn)教材例題P30機(jī)械優(yōu)化設(shè)計(jì)海賽矩陣海賽矩陣是由函數(shù)是由函數(shù) 在點(diǎn)在點(diǎn) 處的二階偏處的二階偏導(dǎo)數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有：導(dǎo)數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有：),(21xxf0 x212122xxfxxf)(0 xG2221222122120)(xfxxfxxfxfxG所以所以 矩陣為矩陣為對(duì)陣方陣。對(duì)陣方陣。機(jī)械優(yōu)化設(shè)計(jì)海賽矩陣海賽矩陣222212222221221221

10、22120)(nnnnnxfxxfxxfxxfxfxxfxxfxxfxfxG3 3、多元函數(shù)、多元函數(shù) xxGxxxfxfxfTT00021其中：梯度其中：梯度Txnxfxfxfxf0210)(泰勒展開(kāi)式泰勒展開(kāi)式機(jī)械優(yōu)化設(shè)計(jì)若將函數(shù)的泰勒展開(kāi)式只取到線性項(xiàng)，即取若將函數(shù)的泰勒展開(kāi)式只取到線性項(xiàng)，即取 )(000 xxxfxfxzT xz0 x則則 是過(guò)點(diǎn)是過(guò)點(diǎn) 和函數(shù)和函數(shù) 所代表的超曲面相所代表的超曲面相切的切平面。切的切平面。 xf若將函數(shù)的泰勒展開(kāi)式取到二次項(xiàng)時(shí)，則得到二若將函數(shù)的泰勒展開(kāi)式取到二次項(xiàng)時(shí)，則得到二次函數(shù)形式，在線性代數(shù)中將二次齊次函數(shù)稱為次函數(shù)形式，在線性代數(shù)中將二次齊

11、次函數(shù)稱為二次型。二次型。矩陣形式矩陣形式 GxxxfTG-對(duì)稱矩陣對(duì)稱矩陣機(jī)械優(yōu)化設(shè)計(jì)當(dāng)對(duì)任何非零向量當(dāng)對(duì)任何非零向量x x使使 0GxxxfT則二次型函數(shù)正定，則二次型函數(shù)正定，G G為正定矩陣。為正定矩陣。機(jī)械優(yōu)化設(shè)計(jì)海賽矩陣的特征：是實(shí)對(duì)稱矩陣。海賽矩陣的特征：是實(shí)對(duì)稱矩陣。0)det(G0)det(G0)det(G4 4、海賽矩陣與正定、海賽矩陣與正定矩陣矩陣正定正定的充要條件：矩陣的充要條件：矩陣G的各階順序主子式為正，即的各階順序主子式為正，即矩陣矩陣負(fù)定負(fù)定的充要條件：矩陣的充要條件：矩陣G G的的奇數(shù)階主子式奇數(shù)階主子式主子式主子式偶數(shù)階主子式偶數(shù)階主子式海賽矩陣的正定性：海

12、賽矩陣的正定性：)(xG正定正定- 為全局極小值點(diǎn)的充分條件為全局極小值點(diǎn)的充分條件x)(xG負(fù)定負(fù)定- 為全局極大值點(diǎn)的充分條件為全局極大值點(diǎn)的充分條件x機(jī)械優(yōu)化設(shè)計(jì)例例3 3 判定矩陣判定矩陣 是否正定？是否正定？010401023136032336066解：解：該對(duì)稱矩陣的三個(gè)主子式依次為：該對(duì)稱矩陣的三個(gè)主子式依次為：401023136G故可知矩陣故可知矩陣G是正定的。是正定的。機(jī)械優(yōu)化設(shè)計(jì)定理：定理：若二次函數(shù)若二次函數(shù) 中中Q Q正定，正定，則它的等值面是同心橢球面族，且中心為則它的等值面是同心橢球面族，且中心為cbXQXXXfT21)(bQX1證明：證明：作變換作變換 ，代入二次

13、函數(shù)式中：，代入二次函數(shù)式中：bQYX1cbQYbbQYQbQYT)()()(21111)()(1bQYfYcbQbQYYTT12121QYYT210YbQX1結(jié)論：結(jié)論：Q為正定矩陣的二次型為正定矩陣的二次型 的等值面是以的等值面是以 的同心橢球面族。原二次函數(shù)就是以的同心橢球面族。原二次函數(shù)就是以 為中心的同心為中心的同心橢球面族，橢圓中心為極小值點(diǎn)。橢球面族，橢圓中心為極小值點(diǎn)。機(jī)械優(yōu)化設(shè)計(jì)例例4 把二次函數(shù)把二次函數(shù) 化為矩陣向量形式并檢驗(yàn)化為矩陣向量形式并檢驗(yàn)Q是否正定，如正定，試用公式是否正定，如正定，試用公式 求這個(gè)函數(shù)的極小點(diǎn)。求這個(gè)函數(shù)的極小點(diǎn)。bQX121312123222

14、132154323),(xxxxxxxxxxxxf32132132133323123222113121132121xxxbbbxxxgggggggggxxxXbQXXxxxfTT21),(321TbQX7 . 07 . 68 . 21054b401023136Q解：解：與題中函數(shù)比較各系數(shù)得：與題中函數(shù)比較各系數(shù)得：由計(jì)算知由計(jì)算知Q Q正定，極小點(diǎn)正定，極小點(diǎn)機(jī)械優(yōu)化設(shè)計(jì)三、無(wú)約束優(yōu)化問(wèn)題的極值條件三、無(wú)約束優(yōu)化問(wèn)題的極值條件1 1、一元函數(shù)、一元函數(shù) f x0 xx對(duì)于可微的一元函數(shù)對(duì)于可微的一元函數(shù) 判斷在判斷在 處是否取得極處是否取得極值的過(guò)程：值的過(guò)程： 00fx00fx則則 為極小

15、點(diǎn)。為極小點(diǎn)。0 x00fx0 x00fx逐次檢驗(yàn)其更高階導(dǎo)數(shù)逐次檢驗(yàn)其更高階導(dǎo)數(shù)的符號(hào)，開(kāi)始不為零的的符號(hào)，開(kāi)始不為零的導(dǎo)數(shù)階數(shù)若為偶次，則導(dǎo)數(shù)階數(shù)若為偶次，則為極值點(diǎn)，若為奇次，為極值點(diǎn)，若為奇次，則為拐點(diǎn)。則為拐點(diǎn)。 則則 為極大點(diǎn)。為極大點(diǎn)。機(jī)械優(yōu)化設(shè)計(jì)2 2、二元函數(shù)、二元函數(shù) 01020,xxx定理定理1：若二元可微函數(shù)若二元可微函數(shù) 在在 處處取得極值的取得極值的必要條件必要條件是：是：),(21xxf00021xxxfxf即即0)(0 xf凡滿足上式的點(diǎn)稱為函數(shù)的凡滿足上式的點(diǎn)稱為函數(shù)的駐點(diǎn)駐點(diǎn)（零向量）（零向量）機(jī)械優(yōu)化設(shè)計(jì)如下圖所示的二元函數(shù)，在如下圖所示的二元函數(shù)，在M0

16、點(diǎn)雖有點(diǎn)雖有 和和 是個(gè)駐點(diǎn)，但它不是極值點(diǎn)。是個(gè)駐點(diǎn)，但它不是極值點(diǎn)。 0 xf0yf機(jī)械優(yōu)化設(shè)計(jì)01020,xxx定理定理2：若二元可微函數(shù)若二元可微函數(shù) 在在 的的某個(gè)鄰域取得極小值的某個(gè)鄰域取得極小值的充分條件充分條件是要求在該點(diǎn)附是要求在該點(diǎn)附近的一切點(diǎn)均滿足：近的一切點(diǎn)均滿足：),(21xxf0),(),(201021xxfxxf若函數(shù)存在連續(xù)的一階及二階偏導(dǎo)數(shù)，當(dāng)滿足若函數(shù)存在連續(xù)的一階及二階偏導(dǎo)數(shù)，當(dāng)滿足0),(, 0),(2010201021xxfxxfxx則泰勒展開(kāi)式的函數(shù)增量近似式（略三階以上則泰勒展開(kāi)式的函數(shù)增量近似式（略三階以上高階微量）為：高階微量）為：機(jī)械優(yōu)化設(shè)計(jì)

17、0),(),(2),(21),(),(2),(21),(),(),(),(222010 212010 212010 222010 212010 212010 220101201020102122212122212121xxxfxxxxfxxxfxxxfxxxxfxxxfxxxfxxxfxxfxxfxxxxxxxxxx),(),(),(2010 2010 2010 222121xxfCxxfBxxfAxxxx令令則則0221222121xCxxBxA0, 0CBBAA可見(jiàn)，函數(shù)增量的性態(tài)與可見(jiàn)，函數(shù)增量的性態(tài)與A,B,C的值有關(guān)。可以證明，當(dāng)滿的值有關(guān)。可以證明，當(dāng)滿足以下條件時(shí)，足以下條件時(shí)，

18、 為極小值（證明略）。為極小值（證明略）。),(2010 xxf此條件反映了函數(shù)在該點(diǎn)的海賽矩陣的各階主子式均大于零（即正定）。此條件反映了函數(shù)在該點(diǎn)的海賽矩陣的各階主子式均大于零（即正定）。機(jī)械優(yōu)化設(shè)計(jì)結(jié)論：結(jié)論： 二元函數(shù)在某點(diǎn)取得二元函數(shù)在某點(diǎn)取得極小值極小值的的充分條件充分條件是要是要求求該點(diǎn)處的海賽矩陣為正定該點(diǎn)處的海賽矩陣為正定。0()0f x02210 xfx 2221122222120ffxx xG xffx xx 且且 01020,xxx 對(duì)于二元函數(shù)對(duì)于二元函數(shù) 在在 處取得極處取得極值的值的充分必要條件充分必要條件是：是：),(21xxf參見(jiàn)教材例題參見(jiàn)教材例題P32P3

19、2 機(jī)械優(yōu)化設(shè)計(jì)3、多元函數(shù)、多元函數(shù)對(duì)于多元函數(shù)對(duì)于多元函數(shù) 若在若在 處取得處取得極值極值，則，則),(21nxxxfx必要條件：必要條件：充分條件：充分條件：xnnnnnxfxxfxxfxxfxfxxfxxfxxfxfxG2222122222212212212212)(0)(21Txnxfxfxfxf正定正定或負(fù)定或負(fù)定機(jī)械優(yōu)化設(shè)計(jì)四、凸集、凸函數(shù)與凸規(guī)劃四、凸集、凸函數(shù)與凸規(guī)劃 當(dāng)極值點(diǎn)當(dāng)極值點(diǎn)x x* *能使能使f(xf(x* *) )在整個(gè)可行域中為最小值時(shí)，即在整個(gè)可行域中為最小值時(shí)，即在整個(gè)可行域中對(duì)任一在整個(gè)可行域中對(duì)任一x x都有都有f(x)=f(xf(x)=f(x* *)

20、,),則則x x* *為為全域最優(yōu)全域最優(yōu)點(diǎn)（全域極小點(diǎn)）。點(diǎn)（全域極小點(diǎn)）。若若f(xf(x* *) )為局部可行域中的極小值而非為局部可行域中的極小值而非整個(gè)可行域的最小值時(shí)，則稱整個(gè)可行域的最小值時(shí)，則稱x x* *為為局部最優(yōu)點(diǎn)或相對(duì)最優(yōu)局部最優(yōu)點(diǎn)或相對(duì)最優(yōu)點(diǎn)點(diǎn)。優(yōu)化的目標(biāo)是全域最優(yōu)點(diǎn)。為了判斷某個(gè)極值點(diǎn)是否。優(yōu)化的目標(biāo)是全域最優(yōu)點(diǎn)。為了判斷某個(gè)極值點(diǎn)是否為全域最優(yōu)點(diǎn)，研究函數(shù)的凸性是必要的。為全域最優(yōu)點(diǎn)，研究函數(shù)的凸性是必要的。 函數(shù)的凸性表現(xiàn)為函數(shù)的凸性表現(xiàn)為單峰性單峰性。對(duì)于具有凸性特點(diǎn)的函數(shù)。對(duì)于具有凸性特點(diǎn)的函數(shù)來(lái)說(shuō)，其極值點(diǎn)只有一個(gè)，因而該點(diǎn)既是局部最優(yōu)亦是全來(lái)說(shuō)，其極值點(diǎn)

21、只有一個(gè)，因而該點(diǎn)既是局部最優(yōu)亦是全域最優(yōu)點(diǎn)。域最優(yōu)點(diǎn)。為了研究函數(shù)的凸性，下面引入為了研究函數(shù)的凸性，下面引入凸集凸集的概念：的概念：機(jī)械優(yōu)化設(shè)計(jì)1 1、凸集、凸集12,xR xR01如果對(duì)一切如果對(duì)一切 及一切滿足及一切滿足12(1)xxyR的實(shí)數(shù)的實(shí)數(shù) ，點(diǎn)點(diǎn) 則稱集合則稱集合R為為凸集凸集，否則稱為非凸集。，否則稱為非凸集。y yx x2 2x x1 1llllxxyx122若若y y是是x x1 1和和x x2 2連線上的點(diǎn)，則有連線上的點(diǎn)，則有整理后即得整理后即得21)1 (xxy機(jī)械優(yōu)化設(shè)計(jì)凸集的凸集的性質(zhì)：性質(zhì)：若若D為凸集，為凸集， 為一個(gè)實(shí)數(shù)，則集合為一個(gè)實(shí)數(shù)，則集合 仍是

22、凸集；仍是凸集；若若D和和F均為凸集，則其和（或并）仍是凸集；均為凸集，則其和（或并）仍是凸集；任何一組凸集的積（或交）仍是凸集。任何一組凸集的積（或交）仍是凸集。D機(jī)械優(yōu)化設(shè)計(jì)2 2、凸函數(shù)、凸函數(shù) 具有凸性（表現(xiàn)為單峰性）或只有唯一的局部具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱為凸函數(shù)或單最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱為凸函數(shù)或單峰函數(shù)。其數(shù)學(xué)定義是：峰函數(shù)。其數(shù)學(xué)定義是： 設(shè)設(shè)f(x)f(x)為定義在為定義在n n維歐式空間中的一個(gè)凸集維歐式空間中的一個(gè)凸集D D上上的函數(shù)，如果對(duì)于任何實(shí)數(shù)的函數(shù)，如果對(duì)于任何實(shí)數(shù) 以及對(duì)以及對(duì)D D中任意兩點(diǎn)中任意兩點(diǎn)x

23、x1 1，x x2 2恒有：恒有：1212(1)(1)fxxf xf x f x則則 為為D D上的凸函數(shù)，若不滿足上式，則為上的凸函數(shù)，若不滿足上式，則為凹函數(shù)。凹函數(shù)。如式中的等號(hào)去掉，則稱其為嚴(yán)格凸如式中的等號(hào)去掉，則稱其為嚴(yán)格凸函數(shù)。函數(shù)。) 10(機(jī)械優(yōu)化設(shè)計(jì) 1212(1)(1)fxxf xf x凸函數(shù)的凸函數(shù)的幾何意義幾何意義：在函數(shù)曲線上取任意兩點(diǎn)連：在函數(shù)曲線上取任意兩點(diǎn)連成一直線段，則該線段上任一點(diǎn)的縱坐標(biāo)值必大成一直線段，則該線段上任一點(diǎn)的縱坐標(biāo)值必大于或等于該點(diǎn)處的原函數(shù)值。于或等于該點(diǎn)處的原函數(shù)值。llxfxfyxf)()()(121)()1 ()(21xfxfyy)

24、(xfx2xx1xof1f2flxxlxx212,機(jī)械優(yōu)化設(shè)計(jì)凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)1）若）若f(x)為定義在凸集為定義在凸集D上的一個(gè)凸函數(shù)，對(duì)于任上的一個(gè)凸函數(shù)，對(duì)于任意實(shí)數(shù)意實(shí)數(shù)a0，則，則af(x)也是凸集也是凸集D上的凸函數(shù)；上的凸函數(shù)；2）定義在凸集）定義在凸集D上的兩個(gè)凸函數(shù)上的兩個(gè)凸函數(shù)f1(x),f2(x)，其和，其和f1(x)+f2(x)亦為該凸集上的一個(gè)凸函數(shù)；亦為該凸集上的一個(gè)凸函數(shù)；3）若）若f1(x),f2(x)為定義在凸集為定義在凸集D上的兩個(gè)凸函數(shù)，上的兩個(gè)凸函數(shù)， 為兩個(gè)任意正數(shù)，則為兩個(gè)任意正數(shù)，則 仍為仍為D上上的凸函數(shù)。的凸函數(shù)。,)()(21xfxf

25、機(jī)械優(yōu)化設(shè)計(jì)3 3、凸性條件、凸性條件（1）根據(jù)一階導(dǎo)數(shù)（函數(shù)的梯度）來(lái)判斷函數(shù)的凸性）根據(jù)一階導(dǎo)數(shù)（函數(shù)的梯度）來(lái)判斷函數(shù)的凸性設(shè)設(shè)f(x)f(x)為定義在凸集為定義在凸集R R上，且具有連續(xù)的一階導(dǎo)數(shù)上，且具有連續(xù)的一階導(dǎo)數(shù)的函數(shù)，則的函數(shù)，則f(x)f(x)在在R R上為凸函數(shù)的上為凸函數(shù)的充要條件充要條件是對(duì)凸是對(duì)凸集集R R內(nèi)任意不同兩點(diǎn)內(nèi)任意不同兩點(diǎn) 、 ，下面不等式，下面不等式恒成立。恒成立。1x2x 21211Tf xf xxxf x機(jī)械優(yōu)化設(shè)計(jì)（2 2）根據(jù)二階導(dǎo)數(shù)（海賽矩陣）根據(jù)二階導(dǎo)數(shù)（海賽矩陣) )來(lái)判斷函數(shù)的凸性來(lái)判斷函數(shù)的凸性設(shè)設(shè)f(x)f(x)為定義在凸集為定義在

26、凸集R R上且具有連續(xù)二階導(dǎo)數(shù)的函數(shù)，則上且具有連續(xù)二階導(dǎo)數(shù)的函數(shù)，則f(x)f(x)在在R R上為凸函數(shù)的上為凸函數(shù)的充要條件充要條件為：為：海賽矩陣在海賽矩陣在R R上處處半正定。對(duì)于嚴(yán)格的凸函數(shù)，其充上處處半正定。對(duì)于嚴(yán)格的凸函數(shù)，其充要條件為海賽矩陣為正定。要條件為海賽矩陣為正定。當(dāng)海賽矩陣當(dāng)海賽矩陣G G的主子式的主子式: : det(G det(G) )0 0時(shí)，矩陣正定時(shí)，矩陣正定 det(G)0 det(G)0 時(shí)，矩陣半正定時(shí)，矩陣半正定 det(Gdet(G) )0 0時(shí)，矩陣負(fù)定時(shí)，矩陣負(fù)定 det(G)0det(G)0時(shí)，矩陣半負(fù)定時(shí)，矩陣半負(fù)定G(xG(x* *) )

27、正定，正定， 是是 x x* * 為全局極小值點(diǎn)的充分條件為全局極小值點(diǎn)的充分條件；G(xG(x* *) )半正定半正定, , 是是 x x* * 為局部極小值點(diǎn)的充分條件；為局部極小值點(diǎn)的充分條件；G(xG(x* *) )負(fù)定，負(fù)定， 是是 x x* * 為全局極大值點(diǎn)的充分條件；為全局極大值點(diǎn)的充分條件；G(xG(x* *) )半負(fù)定半負(fù)定, , 是是 x x* * 為局部極大值點(diǎn)的充分條件為局部極大值點(diǎn)的充分條件。說(shuō)明：說(shuō)明：機(jī)械優(yōu)化設(shè)計(jì)4 4、凸規(guī)劃、凸規(guī)劃對(duì)于約束優(yōu)化問(wèn)題對(duì)于約束優(yōu)化問(wèn)題min fX. .st0jgX (1,2,3,)jm fXjgX(1,2,3,)jm若若、都為凸函

28、數(shù)，則稱此問(wèn)題為凸規(guī)劃。都為凸函數(shù)，則稱此問(wèn)題為凸規(guī)劃。機(jī)械優(yōu)化設(shè)計(jì)凸規(guī)劃的性質(zhì)：凸規(guī)劃的性質(zhì)：2 2）可行域）可行域 為凸集。為凸集。 1,2,.,0jjmgxRx3 3）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。1 1）若給定一點(diǎn)）若給定一點(diǎn) ，則集合，則集合 為凸集。為凸集。 0f xf xRx0 x機(jī)械優(yōu)化設(shè)計(jì)五、等式約束優(yōu)化問(wèn)題的極值條件五、等式約束優(yōu)化問(wèn)題的極值條件 min f x. .st 0khx 等式約束優(yōu)化問(wèn)題：等式約束優(yōu)化問(wèn)題： 求解等式約束化問(wèn)題的理論基礎(chǔ)是導(dǎo)出極值求解等式約束化問(wèn)題的理論基礎(chǔ)是導(dǎo)出極值存在的條件。存在的條件。), 2

29、 , 1(mk機(jī)械優(yōu)化設(shè)計(jì)1 1、消元法（降維法）、消元法（降維法）2 2、拉格朗日乘子法（升維法）、拉格朗日乘子法（升維法）思想思想: : 通過(guò)增加變量將等式約束化問(wèn)題變成無(wú)約通過(guò)增加變量將等式約束化問(wèn)題變成無(wú)約束化問(wèn)題。束化問(wèn)題。 1,2,)kkl（ 1,lkkkF XfxhX引入引入拉格朗日乘子拉格朗日乘子，并構(gòu)成一個(gè)，并構(gòu)成一個(gè)新的目標(biāo)函數(shù)新的目標(biāo)函數(shù)拉格朗日函數(shù)拉格朗日函數(shù)拉格朗日乘子拉格朗日乘子新目標(biāo)函數(shù)的極值的新目標(biāo)函數(shù)的極值的必要條件：必要條件：0iFx0kF參見(jiàn)教材例題參見(jiàn)教材例題機(jī)械優(yōu)化設(shè)計(jì)六、不等式約束優(yōu)化問(wèn)題的極值條件六、不等式約束優(yōu)化問(wèn)題的極值條件庫(kù)恩庫(kù)恩塔克條件（塔

30、克條件（K-TK-T條件）條件） 不等式約束的多元函數(shù)極值的必要條件是著名不等式約束的多元函數(shù)極值的必要條件是著名的的庫(kù)恩庫(kù)恩塔克（塔克（Kuhn-TuckerKuhn-Tucker）條件）條件, ,它是非線性它是非線性優(yōu)化問(wèn)題的重要理論。優(yōu)化問(wèn)題的重要理論。 為了便于理解庫(kù)恩為了便于理解庫(kù)恩塔克條件，首先分析一塔克條件，首先分析一元函數(shù)在給定區(qū)間的極值條件。元函數(shù)在給定區(qū)間的極值條件。機(jī)械優(yōu)化設(shè)計(jì) min f x. .st 10gxax 20gxxb1 1、一元函數(shù)在給定區(qū)間上的極值條件、一元函數(shù)在給定區(qū)間上的極值條件一元函數(shù)一元函數(shù)f(x)f(x)在區(qū)間在區(qū)間a,ba,b 的極值問(wèn)題，可表

31、示為：的極值問(wèn)題，可表示為：求解思想求解思想: :引入松弛變量使不等式約束變成等式約束，再引入松弛變量使不等式約束變成等式約束，再利用拉格朗日乘子法求解等式約束的極值問(wèn)題。利用拉格朗日乘子法求解等式約束的極值問(wèn)題。機(jī)械優(yōu)化設(shè)計(jì) 2211111,0h x agxaaxa 2221211,0hx bgxbxbb這樣可以轉(zhuǎn)化為拉格朗日函數(shù)：這樣可以轉(zhuǎn)化為拉格朗日函數(shù)： 11121 11221221121,()F x a bf xh x ahx bf xaxaxbb 12, 是對(duì)應(yīng)于不等式約束的拉格朗日乘子，是對(duì)應(yīng)于不等式約束的拉格朗日乘子，其值均為非負(fù)的。其值均為非負(fù)的。 設(shè)設(shè) 為松弛變量，則上兩個(gè)

32、不等式可寫(xiě)為松弛變量，則上兩個(gè)不等式可寫(xiě)為如下兩個(gè)等式：為如下兩個(gè)等式：11,ba機(jī)械優(yōu)化設(shè)計(jì)12120dgdgdfdxdxdx 110gx 220gx1020 f x,a b對(duì)于一元函數(shù)對(duì)于一元函數(shù) 在給定區(qū)間在給定區(qū)間上的極值條件，可完整的表示為：上的極值條件，可完整的表示為：結(jié)論：結(jié)論：機(jī)械優(yōu)化設(shè)計(jì)從以上分析可以看出，對(duì)應(yīng)于不起作用的約束的從以上分析可以看出，對(duì)應(yīng)于不起作用的約束的拉格朗日乘子拉格朗日乘子取零值取零值，因此可以引入起作用約束，因此可以引入起作用約束的下標(biāo)集合。的下標(biāo)集合。 0,1,2jgxjJ xj一元函數(shù)在給定區(qū)間的極值條件，可以改寫(xiě)為：一元函數(shù)在給定區(qū)間的極值條件，可

33、以改寫(xiě)為：極值條件中只考慮起作用的約束和相應(yīng)的乘子。極值條件中只考慮起作用的約束和相應(yīng)的乘子。 000jjj JjjdgdfdxdxgxjJjJ機(jī)械優(yōu)化設(shè)計(jì)2 2、庫(kù)恩、庫(kù)恩塔克條件塔克條件10(1,2, )mjjjiif xgxinxx0(1,2,)jjgxjm0(1,2,)jjm 庫(kù)恩庫(kù)恩塔克條件（塔克條件（K-T條件）可表述為：條件）可表述為：對(duì)于多元函數(shù)不等式的約束優(yōu)化問(wèn)題：對(duì)于多元函數(shù)不等式的約束優(yōu)化問(wèn)題： min f x. .st), 2 , 1(0)(mjxgj機(jī)械優(yōu)化設(shè)計(jì)庫(kù)恩庫(kù)恩塔克條件表明：塔克條件表明：如點(diǎn)如點(diǎn) 是函數(shù)是函數(shù) 的極值點(diǎn)，要么的極值點(diǎn)，要么 （此時(shí)（此時(shí) ）或者目標(biāo)函數(shù)的負(fù)梯度等于起作）或者目標(biāo)函數(shù)的負(fù)梯度等于起作用約束梯度的非負(fù)線性組合用約束梯度的非負(fù)線性組合 （此時(shí)（此時(shí) ）。）。 )(xf0)(xfx0ju0ju10(1,2, )mjjjiif xgxinxx0(1,2,)jjgxjm0(1,2,)jjm機(jī)械優(yōu)化