經(jīng)典最優(yōu)化方法

經(jīng)典最優(yōu)化方法第一頁，共三十一頁，編輯于2023年，星期一內(nèi)容介紹微分學(xué)中求極值無約束最優(yōu)化問題常用微分公式凸集與凸函數(shù)等式約束最優(yōu)化問題不等式約束最優(yōu)化問題變分學(xué)中求極值第二頁，共三十一頁，編輯于2023年，星期一微分學(xué)中求極值一元函數(shù)的極值1.一元函數(shù)極值的求法與判別必要條件：設(shè)函數(shù)在點(diǎn)處具有導(dǎo)數(shù)，且在處取得極值，則該函數(shù)在處的導(dǎo)數(shù)

這里有個(gè)前提，即函數(shù)在設(shè)計(jì)區(qū)間要連續(xù)可導(dǎo)。凡是滿足上述的點(diǎn)都叫函數(shù)的駐點(diǎn)。我們可知駐點(diǎn)并不完全是極值點(diǎn)，它還有拐點(diǎn)，當(dāng)然，極值點(diǎn)必定是駐點(diǎn)。因此，還必須有判別函數(shù)極值的更充分條件。第三頁，共三十一頁，編輯于2023年，星期一微分學(xué)中求極值第四頁，共三十一頁，編輯于2023年，星期一微分學(xué)中求極值第五頁，共三十一頁，編輯于2023年，星期一微分學(xué)中求極值二元函數(shù)的極值第六頁，共三十一頁，編輯于2023年，星期一微分學(xué)中求極值第七頁，共三十一頁，編輯于2023年，星期一微分學(xué)中求極值第八頁，共三十一頁，編輯于2023年，星期一微分學(xué)中求極值(3)赫森矩陣（Hesse）第九頁，共三十一頁，編輯于2023年，星期一無約束最優(yōu)化問題由上一節(jié)可知，對(duì)于無約束最優(yōu)化問題，其數(shù)學(xué)模型中只有目標(biāo)函數(shù)采用解析法求解，其求解過程可以歸結(jié)為一下三個(gè)步驟：

1.令梯度g=0，解出各個(gè)駐點(diǎn)。

2.計(jì)算各駐點(diǎn)的矩陣A,判斷矩陣A正定或負(fù)定，得到相對(duì)應(yīng)的極小點(diǎn)或極大點(diǎn)；

3.計(jì)算極值。

第十頁，共三十一頁，編輯于2023年，星期一常用微分公式第十一頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第十二頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第十三頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第十四頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第十五頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第十六頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第十七頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第十八頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第十九頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第二十頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第二十一頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第二十二頁，共三十一頁，編輯于2023年，星期一凸集與凸函數(shù)第二十三頁，共三十一頁，編輯于2023年，星期一等式約束最優(yōu)化問題

等式約束最優(yōu)化問題的數(shù)學(xué)模型式這里介紹兩種比較常用的方法：消元法和拉格朗日乘子法。第二十四頁，共三十一頁，編輯于2023年，星期一等式約束最優(yōu)化問題

第二十五頁，共三十一頁，編輯于2023年，星期一等式約束最優(yōu)化問題

第二十六頁，共三十一頁，編輯于2023年，星期一等式約束最優(yōu)化問題

第二十七頁，共三十一頁，編輯于2023年，星期一等式約束最優(yōu)化問題

第二十八頁，共三十一頁，編輯于2023年，星期一不等式約束最優(yōu)化問題

不等式約束的最優(yōu)化問題的解析法與前面處理的基本思路相類似，也是構(gòu)造一個(gè)包含原目標(biāo)函數(shù)與約束函數(shù)的新目標(biāo)函數(shù)。只是具體的構(gòu)造方法不同，這里處理的也是二維問題原問題的數(shù)學(xué)模型為引入一個(gè)松弛變量r,把約束條件改為等式約束，即

第二十九頁，共三十一頁，編輯