優(yōu)化設(shè)計(jì)的理論與數(shù)學(xué)基礎(chǔ)

關(guān)于優(yōu)化設(shè)計(jì)的理論與數(shù)學(xué)基礎(chǔ)第1頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三2二元二次函數(shù)

令:

則:

梯度:驗(yàn)證:二次函數(shù)的矩陣表示方法(補(bǔ)充)其中：:第2頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三3二次函數(shù)的矩陣表示方法(補(bǔ)充)例題:將F(X)=x12-2x1x2+x22-8x1+9x2+10寫(xiě)成矩陣表示式，并求其梯度。解:驗(yàn)證:第3頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三42.1目標(biāo)函數(shù)的泰勒(Taylor)展開(kāi)式工程實(shí)際中的優(yōu)化設(shè)計(jì)問(wèn)題，常常是多維且非線性函數(shù)形式，一般較為復(fù)雜。為便于研究函數(shù)極值問(wèn)題，需用簡(jiǎn)單函數(shù)作局部逼近，通常采用泰勒展開(kāi)式作為函數(shù)在某點(diǎn)附近的近似表達(dá)式，以近似于原函數(shù)。一元函數(shù)f(x)在x(k)點(diǎn)的泰勒展開(kāi)式：二元函數(shù)F(X)=F(x1,x2)=在X(k)=[x1(k)

x2(k)]T點(diǎn)的泰勒展開(kāi)式為：第4頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三5矩陣形式海賽矩陣

即:其中:第5頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三6多元函數(shù)F(X)在X(k)=[x1(k)

x2(k)

xn(k)]T點(diǎn)的泰勒展開(kāi)式為：(二階偏導(dǎo)數(shù)矩陣)n×n階的對(duì)稱方陣

同上：一階偏導(dǎo)數(shù)矩陣稱為函數(shù)在K點(diǎn)的梯度：但其中：第6頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三7

稱為函數(shù)在點(diǎn)的梯度.梯度是一個(gè)向量,其方向是函數(shù)在點(diǎn)處數(shù)值增長(zhǎng)最快的方向.第7頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三82.2目標(biāo)函數(shù)的等值線(面)第8頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三9第9頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三10函數(shù)的極值與極值點(diǎn)2.3無(wú)約束目標(biāo)函數(shù)極值點(diǎn)存在條件第10頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三11極值點(diǎn)存在條件一元函數(shù)的情況極值點(diǎn)存在的必要條件的點(diǎn)稱為駐點(diǎn)，極值點(diǎn)必為駐點(diǎn)，但駐點(diǎn)不一定為極值點(diǎn)。極值點(diǎn)存在的充分條件若在駐點(diǎn)附近第11頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三12(一)極值存在的必要條件:

各一階偏導(dǎo)數(shù)等于零H駐點(diǎn)二元函數(shù)的情況多元函數(shù)的情況:第12頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三13(二)極值存在的充分條件:海賽矩陣H(X*)正定→點(diǎn)X*為極小點(diǎn)海賽矩陣H(X*)負(fù)定→點(diǎn)X*為極大點(diǎn)海賽矩陣H(X*)不定→點(diǎn)X*為鞍點(diǎn)海賽矩陣H(X*)正定→點(diǎn)X*為極小點(diǎn)證明:=0處處F(X)>F(X*),故點(diǎn)X*為極小點(diǎn)二次型>0若：第13頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三14什么是矩陣正定、負(fù)定、不定？①若各階主子行列式均大于零→正定②若各階主子行列式如下→負(fù)定②不是正定或負(fù)定→不定第14頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三152.3無(wú)約束目標(biāo)函數(shù)極值點(diǎn)存在條件函數(shù)極值必要條件充分條件極小H(X*)正定極大H(X*)負(fù)定一元函數(shù)二元函數(shù)H《高等數(shù)學(xué)》：設(shè)函數(shù)F(X)=F(x1,x2)在點(diǎn)X*的某鄰域內(nèi)連續(xù)且有一階及二階連續(xù)偏導(dǎo)數(shù)，在點(diǎn)X*有F'x1=0、F'x2=0，令：正定第15頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三16極值存在的必要條件:

各一階偏導(dǎo)數(shù)等于零H駐點(diǎn)極值存在的充分條件:海賽矩陣H(X*)正定→點(diǎn)X*為極小點(diǎn)各階主子行列式均大于零→正定小結(jié):無(wú)約束目標(biāo)函數(shù)極值點(diǎn)存在條件第16頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三17例題試判斷X0=[24]T是否為下面函數(shù)的極小點(diǎn)：解：滿足極值存在的必要條件各階主子行列式均大于零→H(X0)正定X0是極小點(diǎn)第17頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三18例：求解極值點(diǎn)和極值解的極值點(diǎn)必須滿足：

解此聯(lián)立方程得：即點(diǎn)為一駐點(diǎn)。再利用海賽矩陣的性質(zhì)來(lái)判斷此駐點(diǎn)是否為極值點(diǎn)。第18頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三19第19頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三20因此，赫森矩陣是正定的。故駐點(diǎn)為極小點(diǎn)。對(duì)應(yīng)于該極小點(diǎn)的函數(shù)極小值為

由:第20頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三21設(shè)平面上有點(diǎn)的集合，在該集合中任意取兩個(gè)設(shè)計(jì)點(diǎn)x1和x2，如果連接點(diǎn)x1與x2直線上的一切內(nèi)點(diǎn)均屬于該集合，則此集合稱為x1ox2平面上的一個(gè)凸集，

2.4凸集與凸函數(shù)第21頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三22凸集的數(shù)學(xué)定義如下：對(duì)某集合內(nèi)的任意兩點(diǎn)x1與x2連線，如果連線上的任意點(diǎn)x均滿足x＝αx1+(1-α)x2∈，則該集定義為一個(gè)凸集

第22頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三23優(yōu)化設(shè)計(jì)總是期望得到全局最優(yōu)解局部最優(yōu)解全局最優(yōu)解2.4.2凸函數(shù)由前局部極小點(diǎn)與全局極小點(diǎn):

第23頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三24

凸函數(shù)函數(shù)的凸性(單峰性)

最優(yōu)值(最小值)與極小值是有區(qū)別的,在什么情況下極小點(diǎn)就是最小點(diǎn)?極小值就是最優(yōu)值?

函數(shù)的凸性：實(shí)質(zhì)就是單峰性。如果函數(shù)在定域內(nèi)是單峰的,即只有一個(gè)峰值,則其極大值就是全域內(nèi)的最大值,則其極小值就是全域內(nèi)的最小值第24頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三25幾何解釋：如圖所示的一元函數(shù)f(x)，在定義域內(nèi)任取兩點(diǎn)x1與x2，函數(shù)曲線上的對(duì)應(yīng)點(diǎn)為K1與K2，連該兩點(diǎn)的直線方程設(shè)為。如在[x1，x2]內(nèi)任取一點(diǎn)x，則該點(diǎn)對(duì)應(yīng)的f(x)與直線兩個(gè)函數(shù)值之關(guān)系為f(x)<，則稱f(x)為[a，b]區(qū)間內(nèi)的凸函數(shù)。

數(shù)學(xué)定義：設(shè)F(x)為定義在n維歐氏空間中一個(gè)凸集上的函數(shù)，x1與x2為上的任意兩設(shè)計(jì)點(diǎn)，取任意實(shí)數(shù)α，α∈[0，1]，將x1與x2連線上的內(nèi)點(diǎn)x表達(dá)為：x＝αx1+(1-α)x2，如果恒有下式成立

F[αx1+(1-α)x2]<αF(x1)+(1-α)F(x2)則稱函數(shù)F(x)為定義在凸集上的凸函數(shù)。第25頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三26凸函數(shù)的判定若函數(shù)F(x)在凸集上存在二階偏導(dǎo)數(shù)并且連續(xù)時(shí)，則它在該域上為凸函數(shù)的充要條件是：海賽矩陣H(x)處處是半正定(各階主子行列式均大于等于零)。若海賽矩陣H(x)處處都是正定的，則F(x)為嚴(yán)格凸函數(shù).凸函數(shù)的基本性質(zhì):(1)設(shè)F(x)為定義在凸集上的凸函數(shù)，取λ為任意正實(shí)數(shù)，則

λF(x)也是域上的凸函數(shù)。(2)設(shè)函數(shù)F1(x)、F2(x)為定義在凸集上的凸函數(shù)，則兩函數(shù)之和所構(gòu)成的新函數(shù)F(x)＝F1(x)+F2(x)也必定是域上的凸函數(shù)。(3)設(shè)函數(shù)F1(x)、F2(x)為定義在凸集上的凸函數(shù)，對(duì)于正實(shí)數(shù)，α>0、β>0，則線性組合F(x)＝αF1(x)+βF2(x)也是域上的凸函數(shù)。

第26頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三27函數(shù)的凸性與局部極值及全域最優(yōu)值之間的關(guān)系：若F(x)為凸集上的一個(gè)凸函數(shù)，則上的任何一個(gè)極值點(diǎn)，同時(shí)也是它的最優(yōu)點(diǎn)。第27頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三28

例：判別函數(shù)在上是否為凸函數(shù)。

解：利用海賽矩陣來(lái)判別：

因海賽矩陣是正定的，故為嚴(yán)格凸函數(shù)。第28頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三29§2.5約束極值點(diǎn)存在條件(p89)

在約束條件下求得的函數(shù)極值點(diǎn),稱為約束極值點(diǎn).

K-T條件(約束極小點(diǎn)的必要條件

):如果有n個(gè)起作用的約束條件,即n個(gè)約束函數(shù)交于一點(diǎn),則該點(diǎn)成為約束極值點(diǎn)的必要條件是:該點(diǎn)目標(biāo)函數(shù)的梯度方向應(yīng)處在由該點(diǎn)的n個(gè)約束函數(shù)梯度方向所組成的錐形空間內(nèi).第29頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三30第30頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三31第31頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三32K-T條件可以表示為非負(fù)乘子第32頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三33

對(duì)于凸規(guī)劃問(wèn)題(可行域?yàn)橥辜?目標(biāo)函數(shù)為凸函數(shù)),局部極值點(diǎn)和全域最優(yōu)點(diǎn)相重合,但對(duì)于非凸規(guī)劃問(wèn)題則不然.如圖:第33頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三34K-T條件只能檢驗(yàn)起作用約束的可行點(diǎn),如下圖中X*是約束極值點(diǎn),但K-T條件對(duì)它不實(shí)用.第34頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三35例:用條件檢驗(yàn)點(diǎn)是否為目標(biāo)函數(shù)在不等式約束、條件下的約束最優(yōu)點(diǎn)。解：計(jì)算諸約束函數(shù)值

點(diǎn)是可行點(diǎn)，該點(diǎn)起作用約束函數(shù)為計(jì)算點(diǎn)有關(guān)諸梯度第35頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三36解得：，乘子均為非負(fù)，故滿足條件，點(diǎn)為約束極值點(diǎn)，參看左圖，亦得到證實(shí)。而且，由于是凸函數(shù)，可行域?yàn)橥辜渣c(diǎn)也是約束最優(yōu)點(diǎn)。代入式，求拉格朗日乘子第36頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三372.6優(yōu)化計(jì)算的數(shù)值解法及收斂條件2.6.1數(shù)值計(jì)算法的迭代過(guò)程

選初始點(diǎn)x(0)

確定搜索方向S(0),沿S(0)搜索,步長(zhǎng)為(0)

求得第一個(gè)迭代點(diǎn)x(1)

ox1x2基本迭代公式:步長(zhǎng)方向步步下降步步逼近第37頁(yè)，講稿共41頁(yè)，2023年5月2日，星期三38

數(shù)值計(jì)算法的基本思想及迭代格式：在設(shè)計(jì)空間從一個(gè)初始點(diǎn)x(0)出發(fā)，應(yīng)用某一規(guī)定的算法,按某一方向S(0)和步長(zhǎng)α(0)，產(chǎn)生改進(jìn)設(shè)計(jì)的新點(diǎn)x(1)，使?jié)M足F(x(1))<F(x(0))，再以x(1)為新起點(diǎn)，仍應(yīng)用同一算法,按某一方向S(1)和步長(zhǎng)α(1)，產(chǎn)生第二個(gè)設(shè)計(jì)新點(diǎn)x(2)，使?jié)M足F(x(2))<F(x(1))，這樣一步一步地搜索下去，依次得設(shè)計(jì)點(diǎn)x(1)、x(2)、x(3)、…x(k)、x(k+1)、…使目標(biāo)函數(shù)值逐步下降，直至得到滿足所規(guī)定精度要求的理論極小點(diǎn)x(1)=x(0)+α(0)S(0)x(2