優(yōu)化設計的理論與數學基礎

關于優(yōu)化設計的理論與數學基礎第1頁，講稿共41頁，2023年5月2日，星期三2二元二次函數

令:

則:

梯度:驗證:二次函數的矩陣表示方法(補充)其中：:第2頁，講稿共41頁，2023年5月2日，星期三3二次函數的矩陣表示方法(補充)例題:將F(X)=x12-2x1x2+x22-8x1+9x2+10寫成矩陣表示式，并求其梯度。解:驗證:第3頁，講稿共41頁，2023年5月2日，星期三42.1目標函數的泰勒(Taylor)展開式工程實際中的優(yōu)化設計問題，常常是多維且非線性函數形式，一般較為復雜。為便于研究函數極值問題，需用簡單函數作局部逼近，通常采用泰勒展開式作為函數在某點附近的近似表達式，以近似于原函數。一元函數f(x)在x(k)點的泰勒展開式：二元函數F(X)=F(x1,x2)=在X(k)=[x1(k)

x2(k)]T點的泰勒展開式為：第4頁，講稿共41頁，2023年5月2日，星期三5矩陣形式海賽矩陣

即:其中:第5頁，講稿共41頁，2023年5月2日，星期三6多元函數F(X)在X(k)=[x1(k)

x2(k)

xn(k)]T點的泰勒展開式為：(二階偏導數矩陣)n×n階的對稱方陣

同上：一階偏導數矩陣稱為函數在K點的梯度：但其中：第6頁，講稿共41頁，2023年5月2日，星期三7

稱為函數在點的梯度.梯度是一個向量,其方向是函數在點處數值增長最快的方向.第7頁，講稿共41頁，2023年5月2日，星期三82.2目標函數的等值線(面)第8頁，講稿共41頁，2023年5月2日，星期三9第9頁，講稿共41頁，2023年5月2日，星期三10函數的極值與極值點2.3無約束目標函數極值點存在條件第10頁，講稿共41頁，2023年5月2日，星期三11極值點存在條件一元函數的情況極值點存在的必要條件的點稱為駐點，極值點必為駐點，但駐點不一定為極值點。極值點存在的充分條件若在駐點附近第11頁，講稿共41頁，2023年5月2日，星期三12(一)極值存在的必要條件:

各一階偏導數等于零H駐點二元函數的情況多元函數的情況:第12頁，講稿共41頁，2023年5月2日，星期三13(二)極值存在的充分條件:海賽矩陣H(X*)正定→點X*為極小點海賽矩陣H(X*)負定→點X*為極大點海賽矩陣H(X*)不定→點X*為鞍點海賽矩陣H(X*)正定→點X*為極小點證明:=0處處F(X)>F(X*),故點X*為極小點二次型>0若：第13頁，講稿共41頁，2023年5月2日，星期三14什么是矩陣正定、負定、不定？①若各階主子行列式均大于零→正定②若各階主子行列式如下→負定②不是正定或負定→不定第14頁，講稿共41頁，2023年5月2日，星期三152.3無約束目標函數極值點存在條件函數極值必要條件充分條件極小H(X*)正定極大H(X*)負定一元函數二元函數H《高等數學》：設函數F(X)=F(x1,x2)在點X*的某鄰域內連續(xù)且有一階及二階連續(xù)偏導數，在點X*有F'x1=0、F'x2=0，令：正定第15頁，講稿共41頁，2023年5月2日，星期三16極值存在的必要條件:

各一階偏導數等于零H駐點極值存在的充分條件:海賽矩陣H(X*)正定→點X*為極小點各階主子行列式均大于零→正定小結:無約束目標函數極值點存在條件第16頁，講稿共41頁，2023年5月2日，星期三17例題試判斷X0=[24]T是否為下面函數的極小點：解：滿足極值存在的必要條件各階主子行列式均大于零→H(X0)正定X0是極小點第17頁，講稿共41頁，2023年5月2日，星期三18例：求解極值點和極值解的極值點必須滿足：

解此聯立方程得：即點為一駐點。再利用海賽矩陣的性質來判斷此駐點是否為極值點。第18頁，講稿共41頁，2023年5月2日，星期三19第19頁，講稿共41頁，2023年5月2日，星期三20因此，赫森矩陣是正定的。故駐點為極小點。對應于該極小點的函數極小值為

由:第20頁，講稿共41頁，2023年5月2日，星期三21設平面上有點的集合，在該集合中任意取兩個設計點x1和x2，如果連接點x1與x2直線上的一切內點均屬于該集合，則此集合稱為x1ox2平面上的一個凸集，

2.4凸集與凸函數第21頁，講稿共41頁，2023年5月2日，星期三22凸集的數學定義如下：對某集合內的任意兩點x1與x2連線，如果連線上的任意點x均滿足x＝αx1+(1-α)x2∈，則該集定義為一個凸集

第22頁，講稿共41頁，2023年5月2日，星期三23優(yōu)化設計總是期望得到全局最優(yōu)解局部最優(yōu)解全局最優(yōu)解2.4.2凸函數由前局部極小點與全局極小點:

第23頁，講稿共41頁，2023年5月2日，星期三24

凸函數函數的凸性(單峰性)

最優(yōu)值(最小值)與極小值是有區(qū)別的,在什么情況下極小點就是最小點?極小值就是最優(yōu)值?

函數的凸性：實質就是單峰性。如果函數在定域內是單峰的,即只有一個峰值,則其極大值就是全域內的最大值,則其極小值就是全域內的最小值第24頁，講稿共41頁，2023年5月2日，星期三25幾何解釋：如圖所示的一元函數f(x)，在定義域內任取兩點x1與x2，函數曲線上的對應點為K1與K2，連該兩點的直線方程設為。如在[x1，x2]內任取一點x，則該點對應的f(x)與直線兩個函數值之關系為f(x)<，則稱f(x)為[a，b]區(qū)間內的凸函數。

數學定義：設F(x)為定義在n維歐氏空間中一個凸集上的函數，x1與x2為上的任意兩設計點，取任意實數α，α∈[0，1]，將x1與x2連線上的內點x表達為：x＝αx1+(1-α)x2，如果恒有下式成立

F[αx1+(1-α)x2]<αF(x1)+(1-α)F(x2)則稱函數F(x)為定義在凸集上的凸函數。第25頁，講稿共41頁，2023年5月2日，星期三26凸函數的判定若函數F(x)在凸集上存在二階偏導數并且連續(xù)時，則它在該域上為凸函數的充要條件是：海賽矩陣H(x)處處是半正定(各階主子行列式均大于等于零)。若海賽矩陣H(x)處處都是正定的，則F(x)為嚴格凸函數.凸函數的基本性質:(1)設F(x)為定義在凸集上的凸函數，取λ為任意正實數，則

λF(x)也是域上的凸函數。(2)設函數F1(x)、F2(x)為定義在凸集上的凸函數，則兩函數之和所構成的新函數F(x)＝F1(x)+F2(x)也必定是域上的凸函數。(3)設函數F1(x)、F2(x)為定義在凸集上的凸函數，對于正實數，α>0、β>0，則線性組合F(x)＝αF1(x)+βF2(x)也是域上的凸函數。

第26頁，講稿共41頁，2023年5月2日，星期三27函數的凸性與局部極值及全域最優(yōu)值之間的關系：若F(x)為凸集上的一個凸函數，則上的任何一個極值點，同時也是它的最優(yōu)點。第27頁，講稿共41頁，2023年5月2日，星期三28

例：判別函數在上是否為凸函數。

解：利用海賽矩陣來判別：

因海賽矩陣是正定的，故為嚴格凸函數。第28頁，講稿共41頁，2023年5月2日，星期三29§2.5約束極值點存在條件(p89)

在約束條件下求得的函數極值點,稱為約束極值點.

K-T條件(約束極小點的必要條件

):如果有n個起作用的約束條件,即n個約束函數交于一點,則該點成為約束極值點的必要條件是:該點目標函數的梯度方向應處在由該點的n個約束函數梯度方向所組成的錐形空間內.第29頁，講稿共41頁，2023年5月2日，星期三30第30頁，講稿共41頁，2023年5月2日，星期三31第31頁，講稿共41頁，2023年5月2日，星期三32K-T條件可以表示為非負乘子第32頁，講稿共41頁，2023年5月2日，星期三33

對于凸規(guī)劃問題(可行域為凸集,目標函數為凸函數),局部極值點和全域最優(yōu)點相重合,但對于非凸規(guī)劃問題則不然.如圖:第33頁，講稿共41頁，2023年5月2日，星期三34K-T條件只能檢驗起作用約束的可行點,如下圖中X*是約束極值點,但K-T條件對它不實用.第34頁，講稿共41頁，2023年5月2日，星期三35例:用條件檢驗點是否為目標函數在不等式約束、條件下的約束最優(yōu)點。解：計算諸約束函數值

點是可行點，該點起作用約束函數為計算點有關諸梯度第35頁，講稿共41頁，2023年5月2日，星期三36解得：，乘子均為非負，故滿足條件，點為約束極值點，參看左圖，亦得到證實。而且，由于是凸函數，可行域為凸集，所以點也是約束最優(yōu)點。代入式，求拉格朗日乘子第36頁，講稿共41頁，2023年5月2日，星期三372.6優(yōu)化計算的數值解法及收斂條件2.6.1數值計算法的迭代過程

選初始點x(0)

確定搜索方向S(0),沿S(0)搜索,步長為(0)

求得第一個迭代點x(1)

ox1x2基本迭代公式:步長方向步步下降步步逼近第37頁，講稿共41頁，2023年5月2日，星期三38

數值計算法的基本思想及迭代格式：在設計空間從一個初始點x(0)出發(fā)，應用某一規(guī)定的算法,按某一方向S(0)和步長α(0)，產生改進設計的新點x(1)，使?jié)M足F(x(1))<F(x(0))，再以x(1)為新起點，仍應用同一算法,按某一方向S(1)和步長α(1)，產生第二個設計新點x(2)，使?jié)M足F(x(2))<F(x(1))，這樣一步一步地搜索下去，依次得設計點x(1)、x(2)、x(3)、…x(k)、x(k+1)、…使目標函數值逐步下降，直至得到滿足所規(guī)定精度要求的理論極小點x(1)=x(0)+α(0)S(0)x(2