數值最優(yōu)化方法

數值最優(yōu)化方法第1頁，課件共124頁，創(chuàng)作于2023年2月2算法思想哪個方向最快？第2頁，課件共124頁，創(chuàng)作于2023年2月3算法步驟第3頁，課件共124頁，創(chuàng)作于2023年2月4整體收斂性第4頁，課件共124頁，創(chuàng)作于2023年2月5整個證明的思路是怎么樣的？只要不趨向于0，就有下降第5頁，課件共124頁，創(chuàng)作于2023年2月6第6頁，課件共124頁，創(chuàng)作于2023年2月7例題課堂練習第7頁，課件共124頁，創(chuàng)作于2023年2月8第8頁，課件共124頁，創(chuàng)作于2023年2月9能證明嗎？第9頁，課件共124頁，創(chuàng)作于2023年2月10第10頁，課件共124頁，創(chuàng)作于2023年2月11最優(yōu)化方法補充內容6牛頓法第11頁，課件共124頁，創(chuàng)作于2023年2月12最速下降法的本質線性函數來逼近原來的函數有沒有什么想法？第12頁，課件共124頁，創(chuàng)作于2023年2月13二次函數的逼近第13頁，課件共124頁，創(chuàng)作于2023年2月14算法步驟有缺點嗎？第14頁，課件共124頁，創(chuàng)作于2023年2月15例題第15頁，課件共124頁，創(chuàng)作于2023年2月16例題第16頁，課件共124頁，創(chuàng)作于2023年2月17收斂性第17頁，課件共124頁，創(chuàng)作于2023年2月18第18頁，課件共124頁，創(chuàng)作于2023年2月19優(yōu)缺點優(yōu)點：第19頁，課件共124頁，創(chuàng)作于2023年2月20作業(yè)P129習題：3.7（1），（2）第20頁，課件共124頁，創(chuàng)作于2023年2月最優(yōu)化方法補充內容7共軛梯度法第21頁，課件共124頁，創(chuàng)作于2023年2月共軛方向第22頁，課件共124頁，創(chuàng)作于2023年2月第23頁，課件共124頁，創(chuàng)作于2023年2月怎么解釋？第24頁，課件共124頁，創(chuàng)作于2023年2月第25頁，課件共124頁，創(chuàng)作于2023年2月實際意義是什么？第26頁，課件共124頁，創(chuàng)作于2023年2月第27頁，課件共124頁，創(chuàng)作于2023年2月共軛方向法的框架第28頁，課件共124頁，創(chuàng)作于2023年2月共軛梯度法的構造第29頁，課件共124頁，創(chuàng)作于2023年2月第30頁，課件共124頁，創(chuàng)作于2023年2月翻譯成文字語言第31頁，課件共124頁，創(chuàng)作于2023年2月第32頁，課件共124頁，創(chuàng)作于2023年2月第33頁，課件共124頁，創(chuàng)作于2023年2月算法的下降性質第34頁，課件共124頁，創(chuàng)作于2023年2月如果初始方向不是負梯度方向是否還共軛？第35頁，課件共124頁，創(chuàng)作于2023年2月作業(yè)第36頁，課件共124頁，創(chuàng)作于2023年2月作業(yè)P130習題：3.9（2）；3.11第37頁，課件共124頁，創(chuàng)作于2023年2月38最優(yōu)化方法補充內容8擬牛頓法第38頁，課件共124頁，創(chuàng)作于2023年2月39擬牛頓法思想第39頁，課件共124頁，創(chuàng)作于2023年2月40第40頁，課件共124頁，創(chuàng)作于2023年2月41第41頁，課件共124頁，創(chuàng)作于2023年2月42怎么解？第42頁，課件共124頁，創(chuàng)作于2023年2月43DFP算法為什么明顯？第43頁，課件共124頁，創(chuàng)作于2023年2月44第44頁，課件共124頁，創(chuàng)作于2023年2月45例題第45頁，課件共124頁，創(chuàng)作于2023年2月46第46頁，課件共124頁，創(chuàng)作于2023年2月47第47頁，課件共124頁，創(chuàng)作于2023年2月48DFP算法的性質第48頁，課件共124頁，創(chuàng)作于2023年2月49部分性質的證明第49頁，課件共124頁，創(chuàng)作于2023年2月50請仔細體會一下這部分的證明？第50頁，課件共124頁，創(chuàng)作于2023年2月51正定繼承性第51頁，課件共124頁，創(chuàng)作于2023年2月52二次終止性第52頁，課件共124頁，創(chuàng)作于2023年2月53第53頁，課件共124頁，創(chuàng)作于2023年2月54第54頁，課件共124頁，創(chuàng)作于2023年2月55第55頁，課件共124頁，創(chuàng)作于2023年2月56第56頁，課件共124頁，創(chuàng)作于2023年2月57作業(yè)P130習題：3.12；3.13第57頁，課件共124頁，創(chuàng)作于2023年2月最優(yōu)化方法補充內容10約束優(yōu)化問題的最優(yōu)性條件第58頁，課件共124頁，創(chuàng)作于2023年2月第59頁，課件共124頁，創(chuàng)作于2023年2月先看等式約束問題第60頁，課件共124頁，創(chuàng)作于2023年2月回顧以前學的知識第61頁，課件共124頁，創(chuàng)作于2023年2月第62頁，課件共124頁，創(chuàng)作于2023年2月如果等于0呢？等于常數第63頁，課件共124頁，創(chuàng)作于2023年2月什么定理？第64頁，課件共124頁，創(chuàng)作于2023年2月推廣到一般的情況第65頁，課件共124頁，創(chuàng)作于2023年2月第66頁，課件共124頁，創(chuàng)作于2023年2月幾何解釋第67頁，課件共124頁，創(chuàng)作于2023年2月二階充分條件第68頁，課件共124頁，創(chuàng)作于2023年2月不等式約束問題不等式約束問題和等式約束問題之間是否存在什么關系？第69頁，課件共124頁，創(chuàng)作于2023年2月有效約束和非有效約束再換句話說，不等式約束問題的在最優(yōu)解處的某個小鄰域內，看以看成等式約束問題第70頁，課件共124頁，創(chuàng)作于2023年2月回想最優(yōu)解的定義，可行的概念對于不等式約束是怎么樣的概念？第71頁，課件共124頁，創(chuàng)作于2023年2月第72頁，課件共124頁，創(chuàng)作于2023年2月

無解

有解第73頁，課件共124頁，創(chuàng)作于2023年2月舉例驗證第74頁，課件共124頁，創(chuàng)作于2023年2月KT條件KKT最優(yōu)化條件是Karush[1939]以及Kuhn和Tucker[1951]先后獨立發(fā)表出來的。這組最優(yōu)化條件在Kuhn和Tucker發(fā)表之后才逐漸受到重視，因此許多書只記載成「Kuhn-Tucker最優(yōu)化條件(Kuhn-Tuckerconditions)」。第75頁，課件共124頁，創(chuàng)作于2023年2月第76頁，課件共124頁，創(chuàng)作于2023年2月凸錐中最優(yōu)解不一定是KT點第77頁，課件共124頁，創(chuàng)作于2023年2月第78頁，課件共124頁，創(chuàng)作于2023年2月二階充分條件第79頁，課件共124頁，創(chuàng)作于2023年2月凸規(guī)劃問題的充分條件

KT條件就是最優(yōu)條件第80頁，課件共124頁，創(chuàng)作于2023年2月驗證KT點第81頁，課件共124頁，創(chuàng)作于2023年2月第82頁，課件共124頁，創(chuàng)作于2023年2月驗證KT點的步驟小結1化為標準形式2驗證約束成立并且求得有效約束3約束規(guī)范4一階條件方程例如5驗證不等式約束互補條件、乘子的非負性6結論第83頁，課件共124頁，創(chuàng)作于2023年2月第84頁，課件共124頁，創(chuàng)作于2023年2月第85頁，課件共124頁，創(chuàng)作于2023年2月第86頁，課件共124頁，創(chuàng)作于2023年2月第87頁，課件共124頁，創(chuàng)作于2023年2月二階充分條件第88頁，課件共124頁，創(chuàng)作于2023年2月作業(yè)第89頁，課件共124頁，創(chuàng)作于2023年2月最優(yōu)化方法補充內容10約束優(yōu)化問題的最優(yōu)性條件第90頁，課件共124頁，創(chuàng)作于2023年2月第91頁，課件共124頁，創(chuàng)作于2023年2月先看等式約束問題第92頁，課件共124頁，創(chuàng)作于2023年2月不等式約束問題不等式約束問題和等式約束問題之間是否存在什么關系？第93頁，課件共124頁，創(chuàng)作于2023年2月有效約束和非有效約束再換句話說，不等式約束問題的在最優(yōu)解處的某個小鄰域內，看以看成等式約束問題第94頁，課件共124頁，創(chuàng)作于2023年2月回想最優(yōu)解的定義，可行的概念對于不等式約束是怎么樣的概念？第95頁，課件共124頁，創(chuàng)作于2023年2月第96頁，課件共124頁，創(chuàng)作于2023年2月

無解

有解第97頁，課件共124頁，創(chuàng)作于2023年2月KT條件KKT最優(yōu)化條件是Karush[1939]以及Kuhn和Tucker[1951]先后獨立發(fā)表出來的。這組最優(yōu)化條件在Kuhn和Tucker發(fā)表之后才逐漸受到重視，因此許多書只記載成「Kuhn-Tucker最優(yōu)化條件(Kuhn-Tuckerconditions)」。第98頁，課件共124頁，創(chuàng)作于2023年2月第99頁，課件共124頁，創(chuàng)作于2023年2月凸錐中最優(yōu)解不一定是KT點第100頁，課件共124頁，創(chuàng)作于2023年2月第101頁，課件共124頁，創(chuàng)作于2023年2月二階充分條件第102頁，課件共124頁，創(chuàng)作于2023年2月凸規(guī)劃問題的充分條件

KT條件就是最優(yōu)條件第103頁，課件共124頁，創(chuàng)作于2023年2月驗證KT點第104頁，課件共124頁，創(chuàng)作于2023年2月第105頁，課件共124頁，創(chuàng)作于2023年2月驗證KT點的步驟小結1化為標準形式2驗證約束成立并且求得有效約束3約束規(guī)范4一階條件方程例如5驗證不等式約束互補條件、乘子的非負性6結論第106頁，課件共124頁，創(chuàng)作于2023年2月第107頁，課件共124頁，創(chuàng)作于2023年2月第108頁，課件共124頁，創(chuàng)作于2023年2月第109頁，課件共124頁，創(chuàng)作于2023年2月第110頁，課件共124頁，創(chuàng)作于2023年2月二階充分條件第111頁，課件共124頁，創(chuàng)作于2023年2月作業(yè)第112頁，課件共124頁，創(chuàng)作于2023年2月113乘子法數值最優(yōu)化方法補充內容12第113頁，課件共124頁，創(chuàng)作于2023年2月114引入乘子法的原因第114頁，課件共124頁，創(chuàng)作于2023年2月115單純求解Lagrange函數，是否可行？

舉例（先考慮等式約束）單純求解外罰函數，罰因子不趨向于無窮大，是否可行？第115頁，課件共124頁，創(chuàng)作于2023年2月116單純求解罰函數，是否可行？

單純求解Lagrange函數的極小，是否可行第116頁，課件共124頁，創(chuàng)作于2023年2月117增廣Lagrange函數。能證明嗎？啟發(fā)我們對Lagrange函數進行外罰方法。兩種方法的結合第117頁，課件共124頁，創(chuàng)作于20