經(jīng)典最優(yōu)化方法

關(guān)于經(jīng)典最優(yōu)化方法內(nèi)容介紹微分學(xué)中求極值無約束最優(yōu)化問題常用微分公式凸集與凸函數(shù)等式約束最優(yōu)化問題不等式約束最優(yōu)化問題變分學(xué)中求極值第2頁,共34頁，2024年2月25日，星期天微分學(xué)中求極值一元函數(shù)的極值1.一元函數(shù)極值的求法與判別必要條件：設(shè)函數(shù)在點處具有導(dǎo)數(shù)，且在處取得極值，則該函數(shù)在處的導(dǎo)數(shù)

這里有個前提，即函數(shù)在設(shè)計區(qū)間要連續(xù)可導(dǎo)。凡是滿足上述的點都叫函數(shù)的駐點。我們可知駐點并不完全是極值點，它還有拐點，當(dāng)然，極值點必定是駐點。因此，還必須有判別函數(shù)極值的更充分條件。第3頁,共34頁，2024年2月25日，星期天微分學(xué)中求極值第4頁,共34頁，2024年2月25日，星期天微分學(xué)中求極值第5頁,共34頁，2024年2月25日，星期天微分學(xué)中求極值二元函數(shù)的極值第6頁,共34頁，2024年2月25日，星期天微分學(xué)中求極值第7頁,共34頁，2024年2月25日，星期天微分學(xué)中求極值第8頁,共34頁，2024年2月25日，星期天微分學(xué)中求極值(3)赫森矩陣（Hesse）第9頁,共34頁，2024年2月25日，星期天無約束最優(yōu)化問題由上一節(jié)可知，對于無約束最優(yōu)化問題，其數(shù)學(xué)模型中只有目標函數(shù)采用解析法求解，其求解過程可以歸結(jié)為一下三個步驟：

1.令梯度g=0，解出各個駐點。

2.計算各駐點的矩陣A,判斷矩陣A正定或負定，得到相對應(yīng)的極小點或極大點；

3.計算極值。

第10頁,共34頁，2024年2月25日，星期天常用微分公式第11頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第12頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第13頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第14頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第15頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第16頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第17頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第18頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第19頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第20頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第21頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第22頁,共34頁，2024年2月25日，星期天凸集與凸函數(shù)第23頁,共34頁，2024年2月25日，星期天等式約束最優(yōu)化問題

等式約束最優(yōu)化問題的數(shù)學(xué)模型式這里介紹兩種比較常用的方法：消元法和拉格朗日乘子法。第24頁,共34頁，2024年2月25日，星期天等式約束最優(yōu)化問題

第25頁,共34頁，2024年2月25日，星期天等式約束最優(yōu)化問題

第26頁,共34頁，2024年2月25日，星期天等式約束最優(yōu)化問題

第27頁,共34頁，2024年2月25日，星期天等式約束最優(yōu)化問題

第28頁,共34頁，2024年2月25日，星期天不等式約束最優(yōu)化問題

不等式約束的最優(yōu)化問題的解析法與前面處理的基本思路相類似，也是構(gòu)造一個包含原目標函數(shù)與約束函數(shù)的新目標函數(shù)。只是具體的構(gòu)造方法不同，這里處理的也是二維問題原問題的數(shù)學(xué)模型為引入一個松弛變量r,把約束條件改為等式約束，即

第29頁,共34頁，2024年2月25日，星期天不等式約束最優(yōu)化問題

第30頁,共34頁，2024年2月25日，星期天等式約束最優(yōu)化問題

第31頁,共34頁，2024年2月25日，星期天變分學(xué)中求極值第32頁,共34頁，2