約束優(yōu)化方法總結(jié)課件

第六章約束優(yōu)化方法

根據(jù)求解方式的不同，可分為直接解法和間接解法兩類。機(jī)械優(yōu)化設(shè)計的問題，大多屬于約束優(yōu)化設(shè)計問題，其數(shù)學(xué)模型為：直接解法是在滿足不等式約束的可行設(shè)計區(qū)域內(nèi)直接求出問題的約束最優(yōu)解。屬于這類方法的有：隨機(jī)方向法、復(fù)合形法、可行方向法等。第六章約束優(yōu)化方法根據(jù)求解方式的不同1間接解法是將約束優(yōu)化問題轉(zhuǎn)化為一系列無約束優(yōu)化問題來解的一種方法。由于間接解法可以選用已研究比較成熟的無約束優(yōu)化方法，并且容易處理同時具有不等式約束和等式約束的問題。因而在機(jī)械優(yōu)化設(shè)計得到廣泛的應(yīng)用。間接解法中具有代表性的是懲罰函數(shù)法、增廣乘子法。

直接解法的基本思想：在由m個不等式約束條件gu(x)≤0所確定的可行域φ內(nèi)，選擇一個初始點(diǎn)x(0)，然后確定一個可行搜索方向S，且以適當(dāng)?shù)牟介L沿S方向進(jìn)行搜索，取得一個目標(biāo)函數(shù)有所改善的可行的新點(diǎn)x(1)，即完成了一次迭代。以新點(diǎn)為起始點(diǎn)重復(fù)上述搜索過程，每次均按如下的基本迭代格式進(jìn)行計算：

間接解法是將約束優(yōu)化問題轉(zhuǎn)化為一系列無約束優(yōu)化問題來2x(k+1)＝x(k)+α(k)S(k)(k=0,1,2,…)逐步趨向最優(yōu)解，直到滿足終止準(zhǔn)則才停止迭代。x(k+1)＝3第6章-約束優(yōu)化方法總結(jié)課件4直接解法的原理簡單，方法實用，其特點(diǎn)是：1）由于整個過程在可行域內(nèi)進(jìn)行，因此，迭代計算不論何時終止，都可以獲得比初始點(diǎn)好的設(shè)計點(diǎn)。2）若目標(biāo)函數(shù)為凸函數(shù)，可行域為凸集，則可獲得全域最優(yōu)解，否則，可能存在多個局部最優(yōu)解，當(dāng)選擇的初始點(diǎn)不同，而搜索到不同的局部最優(yōu)解。3）要求可行域有界的非空集。直接解法的原理簡單，方法實用，其特點(diǎn)是：1）由于整個過程在可5a)可行域是凸集；b)可行域是非凸集a)可行域是凸集；b)可行域是非凸集6間接解法的求解思路：將約束函數(shù)進(jìn)行特殊的加權(quán)處理后，和目標(biāo)函數(shù)結(jié)合起來，構(gòu)成一個新的目標(biāo)函數(shù)，即將原約束優(yōu)化問題轉(zhuǎn)化為一個或一系列的無約束優(yōu)化問題。新目標(biāo)函數(shù)加權(quán)因子然后對新目標(biāo)函數(shù)進(jìn)行無約束極小化計算。間接解法的求解思路：將約束函數(shù)進(jìn)行特殊的加權(quán)處理后，和目標(biāo)函7第6章-約束優(yōu)化方法總結(jié)課件8第6章-約束優(yōu)化方法總結(jié)課件9間接解法是目前在機(jī)械優(yōu)化設(shè)計中得到廣泛應(yīng)用的一種有效方法。其特點(diǎn)是:1)由于無約束優(yōu)化方法的研究日趨成熟，已經(jīng)研究出不少有效的無約束最優(yōu)化方法和程序，使得間接解法有了可靠的基礎(chǔ)。目前，這類算法的計算效率和數(shù)值計算的穩(wěn)定性也都有較大的提高。2)可以有效地處理具有等式約束的約束優(yōu)化問題。3)間接解法存在的主要問題是，選取加權(quán)因子較為困難。加權(quán)因子選取不當(dāng)，不但影響收斂速度和計算精度，甚至?xí)?dǎo)致計算失敗。間接解法是目前在機(jī)械優(yōu)化設(shè)計中得到廣泛應(yīng)用的一種10第二節(jié)隨機(jī)方向法隨機(jī)方向法的基本思路：在可行域內(nèi)選擇一個初始點(diǎn)，利用隨機(jī)數(shù)的概率特性，產(chǎn)生若干個隨機(jī)方向，并從中選擇一個能使目標(biāo)函數(shù)值下降最快的隨機(jī)方向作為搜索方向d。從初始點(diǎn)x0出發(fā)，沿d方向以一定步長進(jìn)行搜索，得到新點(diǎn)X，新點(diǎn)x應(yīng)滿足約束條件且f(x)<f(x0)，至此完成一次迭代。基本思路如圖所示。隨機(jī)方向法程序設(shè)計簡單，搜索速度快，是解決小型機(jī)械優(yōu)化問題的十分有效的算法。第二節(jié)隨機(jī)方向法隨機(jī)方向法的基本思路：在可行域內(nèi)選擇一個初始11第6章-約束優(yōu)化方法總結(jié)課件12一、隨機(jī)數(shù)的產(chǎn)生下面介紹一種常用的產(chǎn)生隨機(jī)數(shù)的數(shù)學(xué)模型首先令取r=2657863，按一下步驟計算：令若則若則若則則（0，1）之間的隨機(jī)數(shù)一、隨機(jī)數(shù)的產(chǎn)生下面介紹一種常用的產(chǎn)生隨機(jī)數(shù)的數(shù)學(xué)模型首先令13在任意(a,b)區(qū)間內(nèi)的隨機(jī)數(shù)二、初始點(diǎn)的選擇隨機(jī)方向法的初始點(diǎn)x0必須是一個可行點(diǎn)，既滿足全部不等式約束條件。初始點(diǎn)可以通過隨機(jī)選擇的方法產(chǎn)生。1）輸入設(shè)計變量的下限值和上限值，即2）在區(qū)間（0，1）內(nèi)產(chǎn)生n個偽隨機(jī)數(shù)3）計算隨機(jī)點(diǎn)x的各分量在任意(a,b)區(qū)間內(nèi)的隨機(jī)數(shù)二、初始點(diǎn)的選擇隨機(jī)方向144）判別隨機(jī)點(diǎn)x是否可行，若隨機(jī)點(diǎn)可行，用x代替x0為初始點(diǎn)；若非可行點(diǎn)，轉(zhuǎn)到步驟2）重新產(chǎn)生隨機(jī)點(diǎn)，只到可行為止。三、可行搜索方向的產(chǎn)生產(chǎn)生可行隨機(jī)方向的方法：從k個隨機(jī)方向中，選取一個較好的方向。其計算步驟為：1）在(-1,1)區(qū)間內(nèi)產(chǎn)生偽隨機(jī)數(shù)，得隨機(jī)單位向量4）判別隨機(jī)點(diǎn)x是否可行，若隨機(jī)點(diǎn)可行，用x代替x0為三、可152)取一試驗步長a0，按下式計算k個隨機(jī)點(diǎn)3）檢驗k個隨機(jī)點(diǎn)是否為可行點(diǎn)，除去非可行點(diǎn)，計算余下的可行點(diǎn)的目標(biāo)函數(shù)值，比較其大小，選出目標(biāo)函數(shù)最小的點(diǎn)XL。4)比較XL和X0兩點(diǎn)的目標(biāo)函數(shù)值，若f(XL)<f(X0)，則取XL和X0連線方向為可行搜索方向；若f(XL)>f(X0)，則步長α0縮小，轉(zhuǎn)步驟1）重新計算，直至f(XL)<f(X0)為止。如果α0縮小到很小，仍然找不到一個XL，使f(XL)<f(X0)則說明X0是一個局部極小點(diǎn)，此時可更換初始點(diǎn)，轉(zhuǎn)步驟1）。2)取一試驗步長a0，按下式計算k個隨機(jī)點(diǎn)3）檢驗k個隨機(jī)點(diǎn)16產(chǎn)生可行搜索方向的條件為：則可行搜索方向為：四、搜索步長的確定步長由加速步長法確定。產(chǎn)生可行搜索方向的條件為：則可行搜索方向為：四、搜索步長的確17第6章-約束優(yōu)化方法總結(jié)課件18第6章-約束優(yōu)化方法總結(jié)課件19第三節(jié)復(fù)合形法復(fù)合形法是求解約束優(yōu)化問題的一種重要的直接解法。它的基本思路是在可行域內(nèi)構(gòu)造一個具有k個頂點(diǎn)的初始復(fù)合形。對該復(fù)合形各頂點(diǎn)的目標(biāo)函數(shù)值進(jìn)行比較，找到目標(biāo)函數(shù)最大的頂點(diǎn)（最壞點(diǎn)），然后按一定的法則求出目標(biāo)函數(shù)值有所下降的可行的新點(diǎn)，并用此點(diǎn)代替最壞點(diǎn)，構(gòu)成新的復(fù)合形，復(fù)合形的形狀沒改變一次，就向最優(yōu)點(diǎn)移動一步，直至逼近最優(yōu)點(diǎn)。由于復(fù)合形的形狀不必保持規(guī)則的圖形，對目標(biāo)函數(shù)和約束函數(shù)無特殊要求，因此這種方法適應(yīng)性強(qiáng)，在機(jī)械優(yōu)化設(shè)計中應(yīng)用廣泛。第三節(jié)復(fù)合形法復(fù)合形法是求解約束優(yōu)化問題的一種重要的20第6章-約束優(yōu)化方法總結(jié)課件21初始復(fù)合形生成的方法：1）由設(shè)計者決定k個可形點(diǎn)，構(gòu)成初始復(fù)合形。設(shè)計變量少時適用。2）由設(shè)計者選定一個可形點(diǎn)，其余的k-1個可形點(diǎn)用隨機(jī)法產(chǎn)生。3）由計算機(jī)自動生成初始復(fù)合形的所有頂點(diǎn)。初始復(fù)合形生成的方法：1）由設(shè)計者決定k個可形點(diǎn)，構(gòu)成初始復(fù)22二、復(fù)合形法的搜索方法1.反射1）計算復(fù)合形各頂點(diǎn)的目標(biāo)函數(shù)值，并比較其大小，求出最好點(diǎn)XL、最壞點(diǎn)XH及次壞點(diǎn)XG，即二、復(fù)合形法的搜索方法1.反射1）計算復(fù)合形各頂點(diǎn)的目標(biāo)函數(shù)232）計算除去最壞點(diǎn)XH外的（k-1）個頂點(diǎn)的中心XC

3）從統(tǒng)計的觀點(diǎn)來看，一般情況下，最壞點(diǎn)XH和中心點(diǎn)XC的連線方向為目標(biāo)函數(shù)的下降方向。2）計算除去最壞點(diǎn)XH外的（k-1）個頂點(diǎn)的中心XC3）244）判別反射點(diǎn)XR的位置若XR為可行點(diǎn)，則比較XR和XH兩點(diǎn)的目標(biāo)函數(shù)值，如果f(XR)<f(XH)，則用XR取代XH，構(gòu)成新的復(fù)合形，完成一次迭代；如果f(XR)>=f(XH),則將α縮小0.7倍，重新計算新的反射點(diǎn)，若仍不行，繼續(xù)縮小α，直至f(XR)<f(XH)為止。若為非可行點(diǎn)，則將α縮小0.7倍，直至可行為止。然后再重復(fù)可行點(diǎn)的步驟。4）判別反射點(diǎn)XR的位置若XR為可行點(diǎn)，則比較252.擴(kuò)張2.擴(kuò)張263.收縮3.收縮274.壓縮4.壓縮28第6章-約束優(yōu)化方法總結(jié)課件29第6章-約束優(yōu)化方法總結(jié)課件30第四節(jié)可行方向法

約束優(yōu)化問題的直接解法中，可行方向法是最大的一類，它也是求解大型約束優(yōu)化問題的主要方法之一。這種方法的基本原理是在可行域內(nèi)選擇一個初始點(diǎn)X0，當(dāng)確定了一個可行方向d和適當(dāng)?shù)牟介L后，按下式進(jìn)行迭代計算。在不斷調(diào)整可行方向的過程中，使迭代點(diǎn)逐步逼近約束最優(yōu)點(diǎn)。第四節(jié)可行方向法約束優(yōu)化問題的直接解法中，可行方向法31可行方向法的搜索策略可行方向法的搜索策略32可行方向法的搜索策略可行方向法的搜索策略33產(chǎn)生可行方向的條件產(chǎn)生可行方向的條件34產(chǎn)生可行方向的條件產(chǎn)生可行方向的條件35可行方向的產(chǎn)生方法滿足可行、下降條件的方向位于可行下降扇形區(qū)內(nèi)，在扇形區(qū)內(nèi)尋找一個最有利的方向作為本次迭代的搜索方向，其方法主要有優(yōu)選方向法和梯度投影法兩種。可行方向的產(chǎn)生方法滿足可行、下降條件的方向位36可行方向的產(chǎn)生方法可行方向的產(chǎn)生方法37步長的確定步長的確定38步長的確定步長的確定39步長的確定步長的確定40步長的確定步長的確定41收斂條件收斂條件42可行方向法的計算步驟可行方向法的計算步驟43第五節(jié)懲罰函數(shù)法

懲罰函數(shù)法是一種很廣泛、很有效的間接解法。它的基本原理是將約束優(yōu)化問題中的不等式和不等式約束函數(shù)經(jīng)加權(quán)后，和原目標(biāo)函數(shù)結(jié)合為新的目標(biāo)函數(shù)——懲罰函數(shù)。

將約束優(yōu)化問題轉(zhuǎn)換為無約束優(yōu)化問題。求解無約束優(yōu)化問題的極小值，從而得到原約束優(yōu)化問題的最優(yōu)解。加權(quán)轉(zhuǎn)化項第五節(jié)懲罰函數(shù)法懲罰函數(shù)法是一種很廣泛、很有效的44第6章-約束優(yōu)化方法總結(jié)課件45第6章-約束優(yōu)化方法總結(jié)課件46

懲罰函數(shù)法是按一定的法則改變加權(quán)因子的值，構(gòu)成一系列的無約束優(yōu)化問題，求一系列無約束最優(yōu)解，并不斷地逼近原約束優(yōu)化問題的最優(yōu)解。因此又稱序列無約束極小化方法。常稱SUMT方法。根據(jù)它們在懲罰函數(shù)中的作用，分別稱障礙項和懲罰項。

障礙項的作用是當(dāng)?shù)c(diǎn)在可行域內(nèi)時，在迭代過程中將阻止迭代點(diǎn)越出可形域。

懲罰項的作用是當(dāng)?shù)c(diǎn)在非可行域或不滿足等式約束條件時，在迭代過程中將迫使迭代點(diǎn)逼近約束邊界或等式約束曲面。

按照懲罰函數(shù)在優(yōu)化過程中迭代點(diǎn)是否可行，分為：內(nèi)點(diǎn)法、外點(diǎn)法及混合法。懲罰函數(shù)法是按一定的法則改變加權(quán)因子的值，構(gòu)成一系47一、內(nèi)點(diǎn)懲罰函數(shù)法

內(nèi)點(diǎn)法將新目標(biāo)函數(shù)定義于可行域內(nèi)，這樣它的初始點(diǎn)及后面的迭代點(diǎn)序列必定在可行域內(nèi)。

采用內(nèi)點(diǎn)法只能求解具有不等式約束的優(yōu)化問題。轉(zhuǎn)化后的懲罰函數(shù)形式為：障礙項一、內(nèi)點(diǎn)懲罰函數(shù)法內(nèi)點(diǎn)法將新目標(biāo)函數(shù)定義于可行域內(nèi)48障礙項的作用是阻止迭代點(diǎn)越出可行域。例6-5用內(nèi)點(diǎn)法求問題約束最優(yōu)解。障礙項的作用是阻止迭代點(diǎn)越出可行域。例6-5用內(nèi)點(diǎn)法求問題49第6章-約束優(yōu)化方法總結(jié)課件50用內(nèi)點(diǎn)法求解，首先構(gòu)造內(nèi)點(diǎn)懲罰函數(shù)：用解析法對函數(shù)求極小值。求解得用內(nèi)點(diǎn)法求解，首先構(gòu)造內(nèi)點(diǎn)懲罰函數(shù)：用解析法對函數(shù)求極小值。51不滿足約束條件，舍去。無約束極值點(diǎn)為：不滿足約束條件，舍去。無約束極值點(diǎn)為：52下面介紹內(nèi)點(diǎn)法中的初始點(diǎn)、懲罰因子初值及其縮減系數(shù)的選取和收斂條件的確定。1.初始點(diǎn)的選取

初始點(diǎn)應(yīng)選離約束邊界較遠(yuǎn)的可行點(diǎn)。程序設(shè)計時，一般，考慮具有人工輸入、和計算機(jī)自動生成可行初始點(diǎn)的兩種功能。2.懲罰因子的初值的選取懲罰因子的初值選取應(yīng)適當(dāng)，否則會影響迭代計算的正常進(jìn)行。太大會影響迭代次數(shù)，太小會使懲罰函數(shù)的形態(tài)變壞，難以收斂到極值點(diǎn)。1）取r0=1，根據(jù)試算的結(jié)果，再決定增加或減少r0值。下面介紹內(nèi)點(diǎn)法中的初始點(diǎn)、懲罰因子初值及其縮減系數(shù)的選取和收532）按經(jīng)驗公式

計算r0值。這樣選取的r0，可以是懲罰函數(shù)中的障礙項和原目標(biāo)函數(shù)的值大致相等，不會因障礙項的值太大則其支配作用，也不會因障礙項的值太小而被忽略掉。3.懲罰因子的縮減系數(shù)c的選取

在構(gòu)造序列懲罰函數(shù)時，懲罰因子r是一個逐次遞減到0的數(shù)列，相鄰兩次迭代的懲罰因子的關(guān)系為：2）按經(jīng)驗公式計算r0值。這樣選取的r0，可以是54懲罰因子的縮減系數(shù)通常的取值范圍：0.1-0.7之間。4.收斂條件懲罰因子的縮減系數(shù)4.收斂條件55第6章-約束優(yōu)化方法總結(jié)課件56內(nèi)點(diǎn)法是將懲罰因數(shù)定義于可行域內(nèi)，而外點(diǎn)法與內(nèi)點(diǎn)法不同，是將懲罰項函數(shù)定義于可行區(qū)域的外部。序列迭代點(diǎn)從可行域外部逐漸逼近約束邊界上的最優(yōu)點(diǎn)。二、外點(diǎn)懲罰函數(shù)法外點(diǎn)法可以用來求解含不等式和等式約束的優(yōu)化問題。對于約束優(yōu)化問題內(nèi)點(diǎn)法是將懲罰因數(shù)定義于可行域內(nèi)，而外點(diǎn)法與內(nèi)點(diǎn)法不57懲罰因子，它是由小到大。懲罰項由懲罰項可知，當(dāng)?shù)c(diǎn)不可行時，懲罰項的值大于零。

當(dāng)?shù)c(diǎn)離約束邊界越遠(yuǎn)時，懲罰項愈大，這可看成是對迭代點(diǎn)不滿足約束條件的一種懲罰。轉(zhuǎn)化后的外點(diǎn)懲罰函數(shù)的形式為：懲罰因子，它是由小到大。懲罰項由懲罰項可知，當(dāng)?shù)c(diǎn)58第6章-約束優(yōu)化方法總結(jié)課件59例6-6用外點(diǎn)法求問題約束最優(yōu)解。首先構(gòu)造外點(diǎn)懲罰函數(shù)：用解析法求解例6-6用外點(diǎn)法求問題約束最優(yōu)解。首先構(gòu)造外點(diǎn)懲罰函數(shù)：用60求解得求解得61外點(diǎn)法懲罰銀子按下式遞增遞增系數(shù)，通常取c=5-10。

與內(nèi)點(diǎn)法相反計算r0值。選取的r0太大則會使懲罰函數(shù)等值線偏心或變形，難以取得極小值。但r0太小，勢必增加迭代次數(shù)。經(jīng)驗計算一般取r0=1，c=10常常可以取得滿意的效果。也可以通過經(jīng)驗公式獲得r0值外點(diǎn)法懲罰銀子按下式遞增遞增系數(shù)，通常取c=5-10。與62外點(diǎn)法的特點(diǎn)：

1．初始點(diǎn)可以任選，但應(yīng)使各函數(shù)有定義2．對等式約束和不等式約束均可適用3．僅最優(yōu)解為可行設(shè)計方案4．一般收斂較快5．初始罰因子要選擇得當(dāng)6．懲罰因子為遞增，遞增率c有c>1。內(nèi)點(diǎn)法的特點(diǎn)：

1．初始點(diǎn)必須為嚴(yán)格內(nèi)點(diǎn) 2．不適于具有等式約束的數(shù)學(xué)模型3．迭代過程中各個點(diǎn)均為可行設(shè)計方案4．一般收斂較慢5．初始罰因子要選擇得當(dāng)6．罰因子為遞減，遞減率c有0<c<1。 外點(diǎn)法的特點(diǎn)：內(nèi)點(diǎn)法的特點(diǎn)： 63三、混合懲罰函數(shù)法1.混合懲罰函數(shù)法及其算法步驟

在構(gòu)造懲罰函數(shù)時，可以同時包括障礙項與懲罰項，并將懲罰因子統(tǒng)一用r（k）表示：

由于內(nèi)點(diǎn)法容易處理不等式約束優(yōu)化設(shè)計問題，而外點(diǎn)法又容易處理等式約束優(yōu)化設(shè)計問題，因而可將內(nèi)點(diǎn)法與外點(diǎn)法結(jié)合起來，處理同時具有等式約束和不等式約束的優(yōu)化設(shè)計問題。三、混合懲罰函數(shù)法1.混合懲罰函數(shù)法及其算法步驟64

這種同時處理等式和不等式約束的懲罰函數(shù)法稱為混合懲罰函數(shù)法?；旌蠎土P函數(shù)法與前述內(nèi)點(diǎn)法和外點(diǎn)法一樣，也屬于序列無約束極小化(SUMT)方法中的—種方法。這種同時處理等式和不等式約束的懲罰函數(shù)法稱為混合65第六節(jié)增廣乘子法法一.等式約束問題的拉格朗日乘子法s.t.1.建立拉氏函數(shù)2.在最優(yōu)點(diǎn)處有如下n+q個方程成立其解為第六節(jié)增廣乘子法法一.等式約束問題的拉格朗日乘子法s.t.66s.t.二.含不等式約束問題的拉格朗日乘子法1.建立拉氏函數(shù)

再用前述方法建立拉氏函數(shù)

對不等式約束引入松弛變量,使之成為等式約束:s.t.二.含不等式約束問題的拉格朗日乘子法1.建立拉氏函數(shù)672.在最優(yōu)點(diǎn)處有如下n+q+2p個方程成立其解為2.在最優(yōu)點(diǎn)處有如下其解為68第6章-約束優(yōu)化方法總結(jié)課件69三.等式約束的增廣乘子法

采用拉格朗日乘子法時求解有難度,而罰函數(shù)法當(dāng)?shù)c(diǎn)接近邊界時函數(shù)常有病態(tài),此法的思路是把兩者結(jié)合起來.其增廣拉格朗日函數(shù)為:特點(diǎn):

1.初始點(diǎn)可為非可行點(diǎn);2.因增加了可調(diào)參數(shù),其收斂速度和穩(wěn)定性都優(yōu)于罰函數(shù)法.三.等式約束的增廣乘子法采用拉格朗日乘子法時求解有難70第6章-約束優(yōu)化方法總結(jié)課件71第6章-約束優(yōu)化方法總結(jié)課件72第6章-約束優(yōu)化方法總結(jié)課件73第6章-約束優(yōu)化方法總結(jié)課件74第6章-約束優(yōu)化方法總結(jié)課件75第6章-約束優(yōu)化方法總結(jié)課件76第七節(jié)非線性規(guī)劃問題的線性化解法—線性逼近法線性規(guī)劃問題是數(shù)學(xué)規(guī)劃中提出較早的一類問題，它的求解方法在理論和算法上也較成熟，在實際工作中有比較廣泛的應(yīng)用。因此，自然就會想到，對一些非線性規(guī)劃問題，可否把非線性函數(shù)線性化，再用線性規(guī)劃方法求解?回答自然是肯定的。這類方法如序列線性規(guī)劃法、割平面法、小步梯度法等。第七節(jié)非線性規(guī)劃問題的線性化解法—線性逼近法77第6章-約束優(yōu)化方法總結(jié)課件78第6章-約束優(yōu)化方法總結(jié)課件79第6章-約束優(yōu)化方法總結(jié)課件80第6章-約束優(yōu)化方法總結(jié)課件81第6章-約束優(yōu)化方法總結(jié)課件82第6章-約束優(yōu)化方法總結(jié)課件83第八節(jié)廣義簡約梯度法思路：利用約束條件消去非獨(dú)立變量，使問題簡化，再沿簡化后的目標(biāo)函數(shù)的負(fù)梯度方向搜索.一簡約梯度法1.問題

s.t.2.簡約梯度1）將問題降維基向量（狀態(tài)）式中將X分成兩部分：第八節(jié)廣義簡約梯度法思路：利用約束條件消去非獨(dú)立變量，使問84非基向量（決策)對應(yīng)的系數(shù)矩陣也分成兩部分式中，B為對應(yīng)于XB的m階方陣，且必須為滿秩矩陣；C為對應(yīng)于XN的

階矩陣；于是，（1）故非基向量（決策)對應(yīng)的系數(shù)矩陣也分成兩部分式中，B為對應(yīng)于X852）求簡約梯度（2）式中,3.迭代計算1）迭代公式（3）2）求簡約梯度（2）式中,3.迭代計算1）迭代公式（3）86*(1)在迭代中需保證各分量值大于或等于零;(2)當(dāng)

且

時,

因,必有,不可行.

寫成分量的形式：（4）迭代方向應(yīng)作修正：(當(dāng),時)(在一般情況下)（5）*(1)在迭代中需保證各分量值大于或等于零;(2)872）步長因子的確定(1)若各分量值

大于零,則只要

均能保證變量

非負(fù),此時可取最優(yōu)步長(2)若,由于必須使（6）故,于是有2）步長因子的確定(1)若各分量值大于零,883）確定

的方法由(1)有*通過(3)和(7)可完成一次完整的迭代.（7）由(3)3）確定的方法由(1)有*通過(3)89(允許部分變量的上下界為)二廣義簡約梯度法簡介1.問題s.t.(可引入松弛變量將不等式約束變?yōu)榈仁郊s束)2.解法特點(diǎn)1)和

之間的關(guān)系難以用簡單的式子表達(dá),一般采用牛頓迭代法解非線性方程組獲得;2)求簡約梯度用到的

可用復(fù)合函數(shù)求導(dǎo)的方法求得.(允許部分變量的上下界為)二廣義簡約梯90第6章-約束優(yōu)化方法總結(jié)課件91第6章-約束優(yōu)化方法總結(jié)課件92第6章-約束優(yōu)化方法總結(jié)課件93第6章-約束優(yōu)化方法總結(jié)課件94第6章-約束優(yōu)化方法總結(jié)課件95第6章-約束優(yōu)化方法總結(jié)課件96第6章-約束優(yōu)化方法總結(jié)課件97第6章-約束優(yōu)化方法總結(jié)課件98第6章-約束優(yōu)化方法總結(jié)課件99第六章約束優(yōu)化方法

根據(jù)求解方式的不同，可分為直接解法和間接解法兩類。機(jī)械優(yōu)化設(shè)計的問題，大多屬于約束優(yōu)化設(shè)計問題，其數(shù)學(xué)模型為：直接解法是在滿足不等式約束的可行設(shè)計區(qū)域內(nèi)直接求出問題的約束最優(yōu)解。屬于這類方法的有：隨機(jī)方向法、復(fù)合形法、可行方向法等。第六章約束優(yōu)化方法根據(jù)求解方式的不同100間接解法是將約束優(yōu)化問題轉(zhuǎn)化為一系列無約束優(yōu)化問題來解的一種方法。由于間接解法可以選用已研究比較成熟的無約束優(yōu)化方法，并且容易處理同時具有不等式約束和等式約束的問題。因而在機(jī)械優(yōu)化設(shè)計得到廣泛的應(yīng)用。間接解法中具有代表性的是懲罰函數(shù)法、增廣乘子法。

直接解法的基本思想：在由m個不等式約束條件gu(x)≤0所確定的可行域φ內(nèi)，選擇一個初始點(diǎn)x(0)，然后確定一個可行搜索方向S，且以適當(dāng)?shù)牟介L沿S方向進(jìn)行搜索，取得一個目標(biāo)函數(shù)有所改善的可行的新點(diǎn)x(1)，即完成了一次迭代。以新點(diǎn)為起始點(diǎn)重復(fù)上述搜索過程，每次均按如下的基本迭代格式進(jìn)行計算：

間接解法是將約束優(yōu)化問題轉(zhuǎn)化為一系列無約束優(yōu)化問題來101x(k+1)＝x(k)+α(k)S(k)(k=0,1,2,…)逐步趨向最優(yōu)解，直到滿足終止準(zhǔn)則才停止迭代。x(k+1)＝102第6章-約束優(yōu)化方法總結(jié)課件103直接解法的原理簡單，方法實用，其特點(diǎn)是：1）由于整個過程在可行域內(nèi)進(jìn)行，因此，迭代計算不論何時終止，都可以獲得比初始點(diǎn)好的設(shè)計點(diǎn)。2）若目標(biāo)函數(shù)為凸函數(shù)，可行域為凸集，則可獲得全域最優(yōu)解，否則，可能存在多個局部最優(yōu)解，當(dāng)選擇的初始點(diǎn)不同，而搜索到不同的局部最優(yōu)解。3）要求可行域有界的非空集。直接解法的原理簡單，方法實用，其特點(diǎn)是：1）由于整個過程在可104a)可行域是凸集；b)可行域是非凸集a)可行域是凸集；b)可行域是非凸集105間接解法的求解思路：將約束函數(shù)進(jìn)行特殊的加權(quán)處理后，和目標(biāo)函數(shù)結(jié)合起來，構(gòu)成一個新的目標(biāo)函數(shù)，即將原約束優(yōu)化問題轉(zhuǎn)化為一個或一系列的無約束優(yōu)化問題。新目標(biāo)函數(shù)加權(quán)因子然后對新目標(biāo)函數(shù)進(jìn)行無約束極小化計算。間接解法的求解思路：將約束函數(shù)進(jìn)行特殊的加權(quán)處理后，和目標(biāo)函106第6章-約束優(yōu)化方法總結(jié)課件107第6章-約束優(yōu)化方法總結(jié)課件108間接解法是目前在機(jī)械優(yōu)化設(shè)計中得到廣泛應(yīng)用的一種有效方法。其特點(diǎn)是:1)由于無約束優(yōu)化方法的研究日趨成熟，已經(jīng)研究出不少有效的無約束最優(yōu)化方法和程序，使得間接解法有了可靠的基礎(chǔ)。目前，這類算法的計算效率和數(shù)值計算的穩(wěn)定性也都有較大的提高。2)可以有效地處理具有等式約束的約束優(yōu)化問題。3)間接解法存在的主要問題是，選取加權(quán)因子較為困難。加權(quán)因子選取不當(dāng)，不但影響收斂速度和計算精度，甚至?xí)?dǎo)致計算失敗。間接解法是目前在機(jī)械優(yōu)化設(shè)計中得到廣泛應(yīng)用的一種109第二節(jié)隨機(jī)方向法隨機(jī)方向法的基本思路：在可行域內(nèi)選擇一個初始點(diǎn)，利用隨機(jī)數(shù)的概率特性，產(chǎn)生若干個隨機(jī)方向，并從中選擇一個能使目標(biāo)函數(shù)值下降最快的隨機(jī)方向作為搜索方向d。從初始點(diǎn)x0出發(fā)，沿d方向以一定步長進(jìn)行搜索，得到新點(diǎn)X，新點(diǎn)x應(yīng)滿足約束條件且f(x)<f(x0)，至此完成一次迭代?；舅悸啡鐖D所示。隨機(jī)方向法程序設(shè)計簡單，搜索速度快，是解決小型機(jī)械優(yōu)化問題的十分有效的算法。第二節(jié)隨機(jī)方向法隨機(jī)方向法的基本思路：在可行域內(nèi)選擇一個初始110第6章-約束優(yōu)化方法總結(jié)課件111一、隨機(jī)數(shù)的產(chǎn)生下面介紹一種常用的產(chǎn)生隨機(jī)數(shù)的數(shù)學(xué)模型首先令取r=2657863，按一下步驟計算：令若則若則若則則（0，1）之間的隨機(jī)數(shù)一、隨機(jī)數(shù)的產(chǎn)生下面介紹一種常用的產(chǎn)生隨機(jī)數(shù)的數(shù)學(xué)模型首先令112在任意(a,b)區(qū)間內(nèi)的隨機(jī)數(shù)二、初始點(diǎn)的選擇隨機(jī)方向法的初始點(diǎn)x0必須是一個可行點(diǎn)，既滿足全部不等式約束條件。初始點(diǎn)可以通過隨機(jī)選擇的方法產(chǎn)生。1）輸入設(shè)計變量的下限值和上限值，即2）在區(qū)間（0，1）內(nèi)產(chǎn)生n個偽隨機(jī)數(shù)3）計算隨機(jī)點(diǎn)x的各分量在任意(a,b)區(qū)間內(nèi)的隨機(jī)數(shù)二、初始點(diǎn)的選擇隨機(jī)方向1134）判別隨機(jī)點(diǎn)x是否可行，若隨機(jī)點(diǎn)可行，用x代替x0為初始點(diǎn)；若非可行點(diǎn)，轉(zhuǎn)到步驟2）重新產(chǎn)生隨機(jī)點(diǎn)，只到可行為止。三、可行搜索方向的產(chǎn)生產(chǎn)生可行隨機(jī)方向的方法：從k個隨機(jī)方向中，選取一個較好的方向。其計算步驟為：1）在(-1,1)區(qū)間內(nèi)產(chǎn)生偽隨機(jī)數(shù)，得隨機(jī)單位向量4）判別隨機(jī)點(diǎn)x是否可行，若隨機(jī)點(diǎn)可行，用x代替x0為三、可1142)取一試驗步長a0，按下式計算k個隨機(jī)點(diǎn)3）檢驗k個隨機(jī)點(diǎn)是否為可行點(diǎn)，除去非可行點(diǎn)，計算余下的可行點(diǎn)的目標(biāo)函數(shù)值，比較其大小，選出目標(biāo)函數(shù)最小的點(diǎn)XL。4)比較XL和X0兩點(diǎn)的目標(biāo)函數(shù)值，若f(XL)<f(X0)，則取XL和X0連線方向為可行搜索方向；若f(XL)>f(X0)，則步長α0縮小，轉(zhuǎn)步驟1）重新計算，直至f(XL)<f(X0)為止。如果α0縮小到很小，仍然找不到一個XL，使f(XL)<f(X0)則說明X0是一個局部極小點(diǎn)，此時可更換初始點(diǎn)，轉(zhuǎn)步驟1）。2)取一試驗步長a0，按下式計算k個隨機(jī)點(diǎn)3）檢驗k個隨機(jī)點(diǎn)115產(chǎn)生可行搜索方向的條件為：則可行搜索方向為：四、搜索步長的確定步長由加速步長法確定。產(chǎn)生可行搜索方向的條件為：則可行搜索方向為：四、搜索步長的確116第6章-約束優(yōu)化方法總結(jié)課件117第6章-約束優(yōu)化方法總結(jié)課件118第三節(jié)復(fù)合形法復(fù)合形法是求解約束優(yōu)化問題的一種重要的直接解法。它的基本思路是在可行域內(nèi)構(gòu)造一個具有k個頂點(diǎn)的初始復(fù)合形。對該復(fù)合形各頂點(diǎn)的目標(biāo)函數(shù)值進(jìn)行比較，找到目標(biāo)函數(shù)最大的頂點(diǎn)（最壞點(diǎn)），然后按一定的法則求出目標(biāo)函數(shù)值有所下降的可行的新點(diǎn)，并用此點(diǎn)代替最壞點(diǎn)，構(gòu)成新的復(fù)合形，復(fù)合形的形狀沒改變一次，就向最優(yōu)點(diǎn)移動一步，直至逼近最優(yōu)點(diǎn)。由于復(fù)合形的形狀不必保持規(guī)則的圖形，對目標(biāo)函數(shù)和約束函數(shù)無特殊要求，因此這種方法適應(yīng)性強(qiáng)，在機(jī)械優(yōu)化設(shè)計中應(yīng)用廣泛。第三節(jié)復(fù)合形法復(fù)合形法是求解約束優(yōu)化問題的一種重要的119第6章-約束優(yōu)化方法總結(jié)課件120初始復(fù)合形生成的方法：1）由設(shè)計者決定k個可形點(diǎn)，構(gòu)成初始復(fù)合形。設(shè)計變量少時適用。2）由設(shè)計者選定一個可形點(diǎn)，其余的k-1個可形點(diǎn)用隨機(jī)法產(chǎn)生。3）由計算機(jī)自動生成初始復(fù)合形的所有頂點(diǎn)。初始復(fù)合形生成的方法：1）由設(shè)計者決定k個可形點(diǎn)，構(gòu)成初始復(fù)121二、復(fù)合形法的搜索方法1.反射1）計算復(fù)合形各頂點(diǎn)的目標(biāo)函數(shù)值，并比較其大小，求出最好點(diǎn)XL、最壞點(diǎn)XH及次壞點(diǎn)XG，即二、復(fù)合形法的搜索方法1.反射1）計算復(fù)合形各頂點(diǎn)的目標(biāo)函數(shù)1222）計算除去最壞點(diǎn)XH外的（k-1）個頂點(diǎn)的中心XC

3）從統(tǒng)計的觀點(diǎn)來看，一般情況下，最壞點(diǎn)XH和中心點(diǎn)XC的連線方向為目標(biāo)函數(shù)的下降方向。2）計算除去最壞點(diǎn)XH外的（k-1）個頂點(diǎn)的中心XC3）1234）判別反射點(diǎn)XR的位置若XR為可行點(diǎn)，則比較XR和XH兩點(diǎn)的目標(biāo)函數(shù)值，如果f(XR)<f(XH)，則用XR取代XH，構(gòu)成新的復(fù)合形，完成一次迭代；如果f(XR)>=f(XH),則將α縮小0.7倍，重新計算新的反射點(diǎn)，若仍不行，繼續(xù)縮小α，直至f(XR)<f(XH)為止。若為非可行點(diǎn)，則將α縮小0.7倍，直至可行為止。然后再重復(fù)可行點(diǎn)的步驟。4）判別反射點(diǎn)XR的位置若XR為可行點(diǎn)，則比較1242.擴(kuò)張2.擴(kuò)張1253.收縮3.收縮1264.壓縮4.壓縮127第6章-約束優(yōu)化方法總結(jié)課件128第6章-約束優(yōu)化方法總結(jié)課件129第四節(jié)可行方向法

約束優(yōu)化問題的直接解法中，可行方向法是最大的一類，它也是求解大型約束優(yōu)化問題的主要方法之一。這種方法的基本原理是在可行域內(nèi)選擇一個初始點(diǎn)X0，當(dāng)確定了一個可行方向d和適當(dāng)?shù)牟介L后，按下式進(jìn)行迭代計算。在不斷調(diào)整可行方向的過程中，使迭代點(diǎn)逐步逼近約束最優(yōu)點(diǎn)。第四節(jié)可行方向法約束優(yōu)化問題的直接解法中，可行方向法130可行方向法的搜索策略可行方向法的搜索策略131可行方向法的搜索策略可行方向法的搜索策略132產(chǎn)生可行方向的條件產(chǎn)生可行方向的條件133產(chǎn)生可行方向的條件產(chǎn)生可行方向的條件134可行方向的產(chǎn)生方法滿足可行、下降條件的方向位于可行下降扇形區(qū)內(nèi)，在扇形區(qū)內(nèi)尋找一個最有利的方向作為本次迭代的搜索方向，其方法主要有優(yōu)選方向法和梯度投影法兩種。可行方向的產(chǎn)生方法滿足可行、下降條件的方向位135可行方向的產(chǎn)生方法可行方向的產(chǎn)生方法136步長的確定步長的確定137步長的確定步長的確定138步長的確定步長的確定139步長的確定步長的確定140收斂條件收斂條件141可行方向法的計算步驟可行方向法的計算步驟142第五節(jié)懲罰函數(shù)法

懲罰函數(shù)法是一種很廣泛、很有效的間接解法。它的基本原理是將約束優(yōu)化問題中的不等式和不等式約束函數(shù)經(jīng)加權(quán)后，和原目標(biāo)函數(shù)結(jié)合為新的目標(biāo)函數(shù)——懲罰函數(shù)。

將約束優(yōu)化問題轉(zhuǎn)換為無約束優(yōu)化問題。求解無約束優(yōu)化問題的極小值，從而得到原約束優(yōu)化問題的最優(yōu)解。加權(quán)轉(zhuǎn)化項第五節(jié)懲罰函數(shù)法懲罰函數(shù)法是一種很廣泛、很有效的143第6章-約束優(yōu)化方法總結(jié)課件144第6章-約束優(yōu)化方法總結(jié)課件145

懲罰函數(shù)法是按一定的法則改變加權(quán)因子的值，構(gòu)成一系列的無約束優(yōu)化問題，求一系列無約束最優(yōu)解，并不斷地逼近原約束優(yōu)化問題的最優(yōu)解。因此又稱序列無約束極小化方法。常稱SUMT方法。根據(jù)它們在懲罰函數(shù)中的作用，分別稱障礙項和懲罰項。

障礙項的作用是當(dāng)?shù)c(diǎn)在可行域內(nèi)時，在迭代過程中將阻止迭代點(diǎn)越出可形域。

懲罰項的作用是當(dāng)?shù)c(diǎn)在非可行域或不滿足等式約束條件時，在迭代過程中將迫使迭代點(diǎn)逼近約束邊界或等式約束曲面。

按照懲罰函數(shù)在優(yōu)化過程中迭代點(diǎn)是否可行，分為：內(nèi)點(diǎn)法、外點(diǎn)法及混合法。懲罰函數(shù)法是按一定的法則改變加權(quán)因子的值，構(gòu)成一系146一、內(nèi)點(diǎn)懲罰函數(shù)法

內(nèi)點(diǎn)法將新目標(biāo)函數(shù)定義于可行域內(nèi)，這樣它的初始點(diǎn)及后面的迭代點(diǎn)序列必定在可行域內(nèi)。

采用內(nèi)點(diǎn)法只能求解具有不等式約束的優(yōu)化問題。轉(zhuǎn)化后的懲罰函數(shù)形式為：障礙項一、內(nèi)點(diǎn)懲罰函數(shù)法內(nèi)點(diǎn)法將新目標(biāo)函數(shù)定義于可行域內(nèi)147障礙項的作用是阻止迭代點(diǎn)越出可行域。例6-5用內(nèi)點(diǎn)法求問題約束最優(yōu)解。障礙項的作用是阻止迭代點(diǎn)越出可行域。例6-5用內(nèi)點(diǎn)法求問題148第6章-約束優(yōu)化方法總結(jié)課件149用內(nèi)點(diǎn)法求解，首先構(gòu)造內(nèi)點(diǎn)懲罰函數(shù)：用解析法對函數(shù)求極小值。求解得用內(nèi)點(diǎn)法求解，首先構(gòu)造內(nèi)點(diǎn)懲罰函數(shù)：用解析法對函數(shù)求極小值。150不滿足約束條件，舍去。無約束極值點(diǎn)為：不滿足約束條件，舍去。無約束極值點(diǎn)為：151下面介紹內(nèi)點(diǎn)法中的初始點(diǎn)、懲罰因子初值及其縮減系數(shù)的選取和收斂條件的確定。1.初始點(diǎn)的選取

初始點(diǎn)應(yīng)選離約束邊界較遠(yuǎn)的可行點(diǎn)。程序設(shè)計時，一般，考慮具有人工輸入、和計算機(jī)自動生成可行初始點(diǎn)的兩種功能。2.懲罰因子的初值的選取懲罰因子的初值選取應(yīng)適當(dāng)，否則會影響迭代計算的正常進(jìn)行。太大會影響迭代次數(shù)，太小會使懲罰函數(shù)的形態(tài)變壞，難以收斂到極值點(diǎn)。1）取r0=1，根據(jù)試算的結(jié)果，再決定增加或減少r0值。下面介紹內(nèi)點(diǎn)法中的初始點(diǎn)、懲罰因子初值及其縮減系數(shù)的選取和收1522）按經(jīng)驗公式

計算r0值。這樣選取的r0，可以是懲罰函數(shù)中的障礙項和原目標(biāo)函數(shù)的值大致相等，不會因障礙項的值太大則其支配作用，也不會因障礙項的值太小而被忽略掉。3.懲罰因子的縮減系數(shù)c的選取

在構(gòu)造序列懲罰函數(shù)時，懲罰因子r是一個逐次遞減到0的數(shù)列，相鄰兩次迭代的懲罰因子的關(guān)系為：2）按經(jīng)驗公式計算r0值。這樣選取的r0，可以是153懲罰因子的縮減系數(shù)通常的取值范圍：0.1-0.7之間。4.收斂條件懲罰因子的縮減系數(shù)4.收斂條件154第6章-約束優(yōu)化方法總結(jié)課件155內(nèi)點(diǎn)法是將懲罰因數(shù)定義于可行域內(nèi)，而外點(diǎn)法與內(nèi)點(diǎn)法不同，是將懲罰項函數(shù)定義于可行區(qū)域的外部。序列迭代點(diǎn)從可行域外部逐漸逼近約束邊界上的最優(yōu)點(diǎn)。二、外點(diǎn)懲罰函數(shù)法外點(diǎn)法可以用來求解含不等式和等式約束的優(yōu)化問題。對于約束優(yōu)化問題內(nèi)點(diǎn)法是將懲罰因數(shù)定義于可行域內(nèi)，而外點(diǎn)法與內(nèi)點(diǎn)法不156懲罰因子，它是由小到大。懲罰項由懲罰項可知，當(dāng)?shù)c(diǎn)不可行時，懲罰項的值大于零。

當(dāng)?shù)c(diǎn)離約束邊界越遠(yuǎn)時，懲罰項愈大，這可看成是對迭代點(diǎn)不滿足約束條件的一種懲罰。轉(zhuǎn)化后的外點(diǎn)懲罰函數(shù)的形式為：懲罰因子，它是由小到大。懲罰項由懲罰項可知，當(dāng)?shù)c(diǎn)157第6章-約束優(yōu)化方法總結(jié)課件158例6-6用外點(diǎn)法求問題約束最優(yōu)解。首先構(gòu)造外點(diǎn)懲罰函數(shù)：用解析法求解例6-6用外點(diǎn)法求問題約束最優(yōu)解。首先構(gòu)造外點(diǎn)懲罰函數(shù)：用159求解得求解得160外點(diǎn)法懲罰銀子按下式遞增遞增系數(shù)，通常取c=5-10。

與內(nèi)點(diǎn)法相反計算r0值。選取的r0太大則會使懲罰函數(shù)等值線偏心或變形，難以取得極小值。但r0太小，勢必增加迭代次數(shù)。經(jīng)驗計算一般取r0=1，c=10常?？梢匀〉脻M意的效果。也可以通過經(jīng)驗公式獲得r0值外點(diǎn)法懲罰銀子按下式遞增遞增系數(shù)，通常取c=5-10。與161外點(diǎn)法的特點(diǎn)：

1．初始點(diǎn)可以任選，但應(yīng)使各函數(shù)有定義2．對等式約束和不等式約束均可適用3．僅最優(yōu)解為可行設(shè)計方案4．一般收斂較快5．初始罰因子要選擇得當(dāng)6．懲罰因子為遞增，遞增率c有c>1。內(nèi)點(diǎn)法的特點(diǎn)：

1．初始點(diǎn)必須為嚴(yán)格內(nèi)點(diǎn) 2．不適于具有等式約束的數(shù)學(xué)模型3．迭代過程中各個點(diǎn)均為可行設(shè)計方案4．一般收斂較慢5．初始罰因子要選擇得當(dāng)6．罰因子為遞減，遞減率c有0<c<1。 外點(diǎn)法的特點(diǎn)：內(nèi)點(diǎn)法的特點(diǎn)： 162三、混合懲罰函數(shù)法1.混合懲罰函數(shù)法及其算法步驟

在構(gòu)造懲罰函數(shù)時，可以同時包括障礙項與懲罰項，并將懲罰因子統(tǒng)一用r（k）表示：

由于內(nèi)點(diǎn)法容易處理不等式約束優(yōu)化設(shè)計問題，而外點(diǎn)法又容易處理等式約束優(yōu)化設(shè)計問題，因而可將內(nèi)點(diǎn)法與外點(diǎn)法結(jié)合起來，處理同時具有等式約束和不等式約束的優(yōu)化設(shè)計問題。三、混合懲罰函數(shù)法1.混合懲罰函數(shù)法及其算法步驟163

這種同時處理等式和不等式約束的懲罰函數(shù)法稱為混合懲罰函數(shù)法?；旌蠎土P函數(shù)法與前述內(nèi)點(diǎn)法和外點(diǎn)法一樣，也屬于序列無約束極小化(SUMT)方法中的—種方法。這種同時處理等式和不等式約束的懲罰函數(shù)法稱為混合164第六節(jié)增廣乘子法法一.等式約束問題的拉格朗日乘子法s.t.1.建立拉氏函數(shù)2.在最優(yōu)點(diǎn)處有如下n+q個方程成立其解為第六節(jié)增廣乘子法法一.等式約束問題的拉格朗日乘子法s.t.165s.t.二.含不等式約束問題的拉格朗日乘子法1.建立拉氏函數(shù)

再用前述方法建立拉氏函數(shù)

對不等式約束引入松弛變量,使之成為等式約束:s.t.二.含不等式約束問題的拉格朗日乘子法1.建立拉氏函數(shù)1662.在最優(yōu)點(diǎn)處有如下n+q+2p個方程成立其解為2.在最優(yōu)點(diǎn)處有如下其解為167第6章-約束優(yōu)化方法總結(jié)課件168三.等式約束的增廣乘子法

采用拉格朗日乘子法時求解有難度,而罰函數(shù)法當(dāng)?shù)c(diǎn)接近邊界時函數(shù)常有病態(tài),此法的思路是把兩者結(jié)合起來.其增廣拉格朗日函數(shù)為:特點(diǎn):

1.初始點(diǎn)可為非可行點(diǎn);2.因增加了可調(diào)參數(shù),其收斂速度和穩(wěn)定性都優(yōu)于罰函數(shù)法.三.等式約束的增廣乘子法