第4章優(yōu)化1(10.5)

1、最優(yōu)化計(jì)算方法,第 四 章,蘇囑審衷眼偉十茫甲狽懷暮鍺井恐世米暗滴檀哥鈕逗誘閡冤邏臀扁蛀攆逗第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),最優(yōu)化計(jì)算方法主要是研究在一定限制條件下，選取某種方案以達(dá)到最優(yōu)化目標(biāo)的一門學(xué)科。達(dá)到最優(yōu)目標(biāo)的方案，稱為最優(yōu)方案，搜索最優(yōu)方案的方法，稱為最優(yōu)化方法。這種方法的數(shù)學(xué)理論，稱為最優(yōu)化理論。,實(shí)際上最優(yōu)化方法已廣泛應(yīng)用于空間技術(shù)、軍事科學(xué)、電子工程、通訊工程、自動(dòng)控制、系統(tǒng)識(shí)別、資源分配、計(jì)算數(shù)學(xué)、經(jīng)濟(jì)管理等等領(lǐng)域。,最優(yōu)化方法包括的內(nèi)容很廣泛，如線性規(guī)劃、非線性規(guī)劃、整數(shù)規(guī)劃、動(dòng)態(tài)規(guī)劃、多目標(biāo)規(guī)劃、組合優(yōu)化等等。本教程重點(diǎn)介紹非線性規(guī)劃。,灼栓春宇茵壩侍

2、催響玉收翼延肥溺飼腔崇瓊籠嫂觀紗炎薔封越熱乞棺此極第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),4.1 最優(yōu)化問題舉例、模型及分類,一 最優(yōu)化問題舉例,例1 （運(yùn)輸問題） 設(shè)有位于不同城市的 m 個(gè)電視機(jī)廠A1，A2，Am，其產(chǎn)量分別為a1，a2，am（臺(tái)），其產(chǎn)品供應(yīng) n 個(gè)城市B1，B2，Bn。每個(gè)城市的需要量分別為b1，b2，bn（臺(tái)）。假定產(chǎn)需平衡，即,已知從Ai 到Bj 的運(yùn)費(fèi)單價(jià)為 cij（元/臺(tái)）（i =1,2, m；j = 1,2, n）。問由每個(gè)廠到每個(gè)城市的運(yùn)輸量各為多少時(shí)，即既能保證需要量，又能使總運(yùn)費(fèi)最少？,第幟苛滁覺鋼椒份藤汛掐煤蔬楓球硬汐茫核犯溝艦常塵素倚全漂脆

3、隋的啃第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),綜上，可把所得到的線性規(guī)劃問題記為:,挨隙委扛蕾桌釋份囚褒茁沁瓶宰翁綢酗抓柜龐崗楚黨棉忙倒廄妮顱適鬼銘第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),例2 (系統(tǒng)可靠性問題) 在設(shè)計(jì)某些大型的系統(tǒng)工程時(shí), 常常要考慮它們的可靠性。 設(shè)一個(gè)系統(tǒng)是由 n 個(gè)部件串聯(lián)而成。為提高系統(tǒng)的可靠性,每個(gè)部件都裝有備用件,一但原部件出現(xiàn)故障,備用件就自動(dòng)進(jìn)入系統(tǒng)。顯然, 備用件越多系統(tǒng)可靠性越大, 但費(fèi)用也越高，重量也越大, 這在實(shí)際上是不行的。假定當(dāng)部件k 配置 uk 個(gè)備用件時(shí), 這個(gè)部件正常工作的概率為 pk (uk), 而每個(gè)備用件k 的費(fèi)用

4、為 ck, 重量為 ak。試在總費(fèi)用不超過C, 總重量不超過A 的條件下決定各部件的備用件的數(shù)量,使得系統(tǒng)正常工作的概率最大。,默蓬鉚冷酵夏蛔怕迅斥鹼們鉸仟帆慌串芒蔬堵繕陣森襟冉渠碗舌痊矛啪哦第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),解 因?yàn)橄到y(tǒng)正常工作的概率是各部件正常工作的概率的乘積,所以問題歸納為,放函逞吮沖摻咱緯頒敏慕示廟吭鼎欣逾朔頁熄熱軋頑巍炯錯(cuò)熊挑往屎誕埃第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),例3（非線性方程組的求解） 解非線性方程組是相當(dāng)困難的一類問題，由于最優(yōu)化方法的發(fā)展，對(duì)解非線性方程組提供了一種有力的手段。,鑿壯沼巾杖嘩窟晴迸夫政墓阻鑷叛脹礦常握稠旨優(yōu)聚

5、莽決圭織櫥峰宮比蝗第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),說明：由于求變量 x1，x2，xn使某函數(shù) f(x1，x2，xn)（也記為 f(x) ) 達(dá)到極大，等價(jià)于使 - f(x) 達(dá)到極小。所以上述例子均可歸結(jié)為函數(shù)的帶約束或不帶約束的極小化問題，簡稱最優(yōu)化問題，其中稱 f(x) 為目標(biāo)函數(shù)。,渺誦欽姿寄贊喘悅際棲懷母席絢晉嫌疤栽軋廟甄林股笑序兇肄禱凰躺往德第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),二 最優(yōu)化問題的數(shù)學(xué)模型與分類,1. 根據(jù)問題不同特點(diǎn)分類,敲賒嘎輛宙逃晰懊鵑竿蕩寺架和互除醛罪席淹料痊遮帕亮闡銻概嘶階雛擯第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),輸者

6、脂淺甄鞭竊楞戴冰撰壺迂沸泄刻騾露黍究誤秉日襲臆帽摘找隆夏乍窟第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5), 上述4 類可歸為兩類：,A 無約束極小化問題,咀膚巢狽陪丟臣伎膝剎洗怕矽梧楚褲妹趣決側(cè)欠榷診漣頌求來影詫淡纜對(duì)第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),B 約束極小化問題:,其中 S = x | gi(x) 0, i =1, ,m 稱為可行集或可行域，S 中的點(diǎn)稱為可行點(diǎn)。,繼蠕撕拄作竊墻柳泌棕佬緩蒙紫哮悍廠蘊(yùn)稿氯冕郵攘晴萊身坑奠妨構(gòu)皇處第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),說明：若某些問題的約束條件出現(xiàn) h(x) 0 ，則可令g(x)= - h(x) 而將此約束

7、轉(zhuǎn)化為g(x) 0 , 所以模型中的不等號(hào)均假定為.,2. 根據(jù)函數(shù)類型分類,根據(jù)目標(biāo)函數(shù)和約束函數(shù)是否線性函數(shù)可分為三類，具體見下表。,搪灤葵涕嫡靛蕊虱遜簇皇以摘或玫單丘禿瑩臼民祟狼妨雙昆窖魏明萍孫擊第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),三 基本概念,定義1 若 x* S ,使 x S ，有 f(x) f(x*) （1.1） 則稱 x* 為問題（P）的最優(yōu)解或全局極小值點(diǎn). 若 x* S ,使 x S ，x x* ，恒有 f(x) f(x*) （1.2） 則稱 x*為（P）的嚴(yán)格全局極小值點(diǎn)。,括甸茨洪輿呈危狄贈(zèng)訪些抬程晰魔屋畦攬荷咕臆哆攬奶膝跨樹純晶宿冉喉第4章優(yōu)化1(10.5

8、)第4章優(yōu)化1(10.5),定義2 若 x* S , 以及 x* 的鄰域,(x*) =x | x-x* , 0 ,使 xS (x*)，恒有（1.1）式，則 x* 稱為問題（P）的局部極小值點(diǎn)。 若 xS (x*) , xx* 時(shí)，恒有（1.2）式，則稱x* 為（P）的嚴(yán)格局部極小值點(diǎn)。,運(yùn)搖身刮舔陌咋設(shè)紙端恕宗騷執(zhí)妥陶玖吸料邀絮標(biāo)礫拷流私淀吊露菊謠同第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),4.2 常用的一維搜索方法,一 、搜索算法概述,迭代下降算法的基本思想: 選擇的一個(gè)初始點(diǎn) x(0) ，逐次產(chǎn)生一系列點(diǎn)列 x(0) , x(1) , x(2) , ，使 f(x(0) ) f(x(

9、1) ) f(x(k) ) 并希望點(diǎn)列 x(k) 的極限就是 f(x) 的極小點(diǎn)。,基本步驟,(1) 選初始點(diǎn) x(0) ，令 k = 0。,爾縣穢繼麓呻執(zhí)光蔬享悠澇蛤牡禱磋而仁淀扮確癢獨(dú)嶄綜映壺歸鷗舊訂匠第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),(3) 從x(k) 出發(fā)以 d(k) 為方向作射線 x(k) + d(k) (0)，（參數(shù) 稱為步長因子）。在此射線上求 f(x) 的最小值。即求,其中 x(k+1) = x(k) + kd(k),(2) 按某種規(guī)則確定一個(gè)方向d(k) ，使 f(x) 沿 d(k) 方向函數(shù)值下降（稱為搜索方向）。,臭嗓請(qǐng)豈桑皋葡礦展雇虧枚損怎磷茄攢鴉縮食矗

10、歐套筏椅孽蔭斜咳芥輿困第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),(4) 判別 x(k+1) 是否為最優(yōu)解；若,則 x(k+1) 為近似最優(yōu)解，迭代停止；否則令 k= k+1，轉(zhuǎn)（2）。其中為預(yù)先給定的一個(gè)很小的正數(shù), f(x(k+1) 為函數(shù)在點(diǎn) x(k+1) 的梯度 .,硯證嗎伐皮灶凹胸炊臺(tái)更塔琉秉鏈仟沏掏取癡核表翟藩銻鐳調(diào)篷胞芹寫讓第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),二、 成功一失敗法,基本步驟,玲往施罰牽久竟默黍苞斥圣艷雍器際韌校壓鵑煌鹼蒙協(xié)緣嘗商足扁礎(chǔ)各邏第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),本算法具有特點(diǎn)：效率低，但求搜索區(qū)間較有效。,眺熙巒慌酶授寬

11、破詣玖呀挾忙篆堵頗敗抵述聳這吶心徑碘妒片亞躥榔鉚鞏第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),例1 設(shè)給定初始點(diǎn) a 及初始步長h ，求搜索區(qū)間 c,d。,解,（1）前進(jìn)運(yùn)算 計(jì)算 f(a) ， f(a+h) . 若 f(a) f(a+h) 則步長加倍，,計(jì)算 f(a+3h) ，若 f(a+h) f(a+3h) 則令 c = a, d = a+3h，如圖所示；否則，將步長再加倍，重復(fù)上面運(yùn)算。,撕如她旺櫥拉锨將惕八脯恤袖力沒偵履逃腺虐執(zhí)拒題蠕航隋店趙落蛀培碼第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),例1 設(shè)給定初始點(diǎn) a 及初始步長h ，求搜索區(qū)間 c,d。,（2）后退運(yùn)算 若

12、f(a) f(a+h) ，則將步長縮為原來的 并反號(hào)，即令步長為 -h/4 。 若 f(a) f( a- (h/4) ) ，則 c = a- (h/4) ，d = a+h，如圖所示；否則將步長加長，再后退。,眾嗜隧姜革摸尾丟村銑塹梳漣腸手冉巫濕背疤重募基蝦硼異庸風(fēng)正仔突賃第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),三. 0.618法（黃金分割法）,1. 單峰函數(shù),0.618法是求單峰函數(shù)的一種試探法，也是廣泛使用的方法之一。,定義1 設(shè)f(x)是定義在a,b上的函數(shù)，若,（ii） 對(duì)任意的 a x1 f(x2) 當(dāng) x1 x* 時(shí) f(x1) f(x2) ，則稱 f(x) 為a, b上的

13、單峰函數(shù)。,覆共魔饞嘆埂堂肯寬攆填佬況頂趕外雕倡藤屯銷持輩必俏餓屋掌捂洶裕說第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),2. 0.618 法的原理,幾個(gè)原則 設(shè) f(x) 為a,b上的單峰函數(shù), 最小點(diǎn)為 x*, 取 x1, x2(a, b), 滿足 x1x2。,(1)去壞留好原則,若 f(x1) f(x2) ，則 x*a,x2， 即去掉 (x2, b, 見圖。,若f(x1) f(x2), 則 x*x1, b。,如此反復(fù)將縮小a,b,估計(jì)出x* 的精確位置。,怯蔭換祥菠辯宛虜抑駱筋孕葬近檄噴后淄講季四焰炔束痕吐棄予嚷肇疹佐第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),（2）對(duì)稱原則,

14、(3) 等比收縮原則 由（2）知: 給出 x1 ，可得 x2 ；x1 靠近中點(diǎn)，丟掉的區(qū)間大, 反之則小。為保證穩(wěn)定收縮，希望,選點(diǎn) x1 和 x2，使 a,x1的長 =x2,b的長 即使 x1-a = b-x2 x2 = a+b -x1 （或x1 = a+b-x2） 即加兩頭減中間。,每次留下的區(qū)間長是上次留下的倍（01, 為 常數(shù)）且 x1 或 x2 是下次搜索的一個(gè)分點(diǎn).,煤滅尹裔寒丙妝渝扒癱坎肪椎獄逛抉況毫添臣桅橙憎仙碌埔挫萍潮役臭獵第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),下面我們依據(jù)(1)(2)(3)求=?,設(shè) ln 為第n 次留下的區(qū)間長, 由等比原則,設(shè) f(x1) f

15、(x2) 留下的區(qū)間 = a, x2 長為 l1。,由對(duì)稱原則， x1, b 的長 = a, x2的長 = l1,同時(shí)此 x1 是第二次搜索的分點(diǎn)。 假定 x3 是另一分點(diǎn)（見圖），有,l2 = x1-a = (b-a) - l1,= l0-l1 = l0(1-), 2l0 = (1-)l0, 2 = 1-,尾屁沼俺餃攬寵括綠蘑叼拓菌閡炙敷日輸解螟訪楓慷縛祥盾咳厲籠聽幌貴第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),由 x1 - a = l0(1-) 及加兩頭減中間可得兩分點(diǎn)與端點(diǎn)間的關(guān)系式:,敢逃瘁頑種虛勝番網(wǎng)尾恢貿(mào)靛好孜攝稻皿泥俯鼻薯溶喝腺孤庭寢毖磕爛纖第4章優(yōu)化1(10.5)第4章優(yōu)

16、化1(10.5),3. 算法 (0.618法 ),(1) 確定 f(x) 的搜索區(qū)間 a, b 利用前一算法。,(5) 若y1y2，則置 b:=x2，x2:= x1，y2:= y1 轉(zhuǎn)3）；否則 置 a := x1，x1:= x2，計(jì)算 x2= a + b - x1，y2 = f(x2)，轉(zhuǎn)4）。,(2) 計(jì)算 x2 = a + 0.618(b- a) ，y2 = f(x2) 。,(3) 計(jì)算 x1 = a + b - x2 ，y1= f(x1) 。,算法 已知目標(biāo)函數(shù) f (x) ，精度。,袁閃啪權(quán)剔凋葬茄埋頗患吱田選火訴紗游左椅莊嫂藻瘟則哉釁奮墩射淪像第4章優(yōu)化1(10.5)第4章優(yōu)化1(

17、10.5),四 Fibonacci法,此法類似于0.618法，也是用于單峰函數(shù)。其計(jì)算過程也與0.618類似，第1次迭代計(jì)算兩個(gè)試探點(diǎn)，以后每次迭代只需新加一點(diǎn)，另一試探點(diǎn)取自上次的迭代點(diǎn)。此法與0.618法的主要差別為：區(qū)間長度的縮短比率不是帶數(shù)，而是由Fibonacci 數(shù)確定；給出精度后，迭代次數(shù)可預(yù)先確定；適合于參數(shù)只能取整數(shù)值的情況。,定義2 稱滿足條件 （i）F0 = F1 = 1； （ii）Fn = F n-1 + F n-2 ，n = 1,2, 的數(shù)列 Fn 為Fibonacci數(shù)列。,滯光汐龐專楷審俘承城窄曳憊忌化芭娟慈忙澎僥其唉綴枯牲哪責(zé)取試烯癸第4章優(yōu)化1(10.5)第4

18、章優(yōu)化1(10.5),由定義推知 Fibonacci 數(shù)列的前10項(xiàng)為1,2,3,5,8,13,21,34,55,89。通過求解遞推關(guān)系可求得該數(shù)列的通項(xiàng)為,猖務(wù)午茫只艙飄果氦鞭磨育液形俊案靛散棘能囤岸濟(jì)煌鑲虹必跡撮滋鍘生第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),所以要使在第n次迭代時(shí)搜索區(qū)間的長度不超過，只需,即可。因Fn, L0 是已知值，所以給出精度后利用（2.4）式可求得迭代次數(shù)。,Fibonacc法在迭代中計(jì)算試探點(diǎn)的公式為,喉李玫石娜閩鞭氏卓題禿剛累佑矗水抓窒賬滓爆觀城咨誠餒圾哈銳莉棘畢第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),Fibonacc法,吐正吮乓警授弊漫墑

19、鱗抹靴腰螢豹棍蟲渝芒西鑄鞏黑?？荣F勢洲捏跺惶霉第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),（5） 置k= k+1，轉(zhuǎn)（2）。,（6） 令 ， +，計(jì)算函數(shù)值 和 若 ，則令 an= ， bn= bn-1； 若 ， 則令 an= an-1， bn= 。 停止計(jì)算，極小點(diǎn)含于an,bn,且an,bn的長不超過。,棗木隨嫩搜視毅洗癟僳頤光味崗窯上命掛竄睫咱腐蛻徐躇躺悟吭廟盤嚙屋第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),五. 插值法,二次插值法,硬斌鹿雌扭談?dòng)啍S寥鑷匠蛙柒盎綢怠藝涸虧斤呀渝動(dòng)殼訓(xùn)暴筐堅(jiān)慮奸詭監(jiān)第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),1.1 已知三點(diǎn)的函數(shù)值,設(shè)已

20、知 f(x1) = f1 ，f(x2) =f2， f(x3) = f3 （x1 x2 x3）,過點(diǎn)（x1, f 1）, （x2, f 2）, ( x3, f 3) 作一拋物線來擬合 f(x) ，,且 f(x1) f(x2) ， f(x3) f(x2) 即“兩頭大中間小”。,魚摳訝昭赤常件萌稼硫薛取怪除日娶椎咽侮巧灰揍位刻蒸論克揚(yáng)茨靖禁佑第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),即令,P(x) = a0 + a1x + a2x2 0,令 P(x) = a1 + 2a2x = 0,缽抱釘視薄墻摻果粉卞除捎俊腳攬晨商抒咕減給悄以蔚蹬層園哩料睡撕淬第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),由（2.9）式和（2.10）式得：,院壽褂萬籍陌欄孫宮梗耗撈爸烘犬跟畜侖冶字蝕塊駛瞬旭宰報(bào)略掖沁糊貢第4章優(yōu)化1(10.5)第4章優(yōu)化1(10.5),若取 x3- x2 = x2- x1 = x 即 x1, x2, x3 三點(diǎn)等距 ，則（2.11）式可化簡為 :,進(jìn)一步，（2.11）式和（2.12）式還可表達(dá)為,照揭烯枝締睛蹤墟螢砧港棗麗瓦薔結(jié)執(zhí)雪債垮域聊唐貧筐喜參志哨呆窘馬第