《無約束優(yōu)化》PPT課件.ppt

無約束最優(yōu)化,數(shù)學(xué)建模與數(shù)學(xué)實(shí)驗(yàn),實(shí)驗(yàn)?zāi)康?實(shí)驗(yàn)內(nèi)容,2.掌握用數(shù)學(xué)軟件包求解無約束最優(yōu)化問題.,1.無約束最優(yōu)化基本算法.,1. 無約束優(yōu)化基本思想及基本算法.,4. 實(shí)驗(yàn)作業(yè).,3. 用MATLAB求解無約束優(yōu)化問題.,2. MATLAB優(yōu)化工具箱簡介.,無約束最優(yōu)化問題,求解無約束最優(yōu)化問題的的基本思想,*無約束最優(yōu)化問題的基本算法,返回,標(biāo)準(zhǔn)形式：,求解無約束最優(yōu)化問題的基本思想,求解的基本思想 ( 以二元函數(shù)為例 ),5,3,1,連續(xù)可微,多局部極小,唯一極小 (全局極小),搜索過程,最優(yōu)點(diǎn) (1 1) 初始點(diǎn) (-1 1),-1,1,4.00,-0.79,0.58,3.39,-0.53,0.23,2.60,-0.18,0.00,1.50,0.09,-0.03,0.98,0.37,0.11,0.47,0.59,0.33,0.20,0.80,0.63,0.05,0.95,0.90,0.003,0.99,0.99,1E-4,0.999,0.998,1E-5,0.9997,0.9998,1E-8,返回,無約束優(yōu)化問題的基本算法,最速下降法是一種最基本的算法，它在最優(yōu)化方法中占有重要地位.最速下降法的優(yōu)點(diǎn)是工作量小，存儲變量較少,初始點(diǎn)要求不高；缺點(diǎn)是收斂慢，最速下降法適用于尋優(yōu)過程的前期迭代或作為間插步驟，當(dāng)接近極值點(diǎn)時(shí)，宜選用別種收斂快的算法.,1最速下降法（共軛梯度法）算法步驟：,2牛頓法算法步驟：,如果f是對稱正定矩陣A的二次函數(shù)，則用牛頓法，經(jīng)過一次迭代 就可達(dá)到最優(yōu)點(diǎn),如不是二次函數(shù)，則牛頓法不能一步達(dá)到極值點(diǎn)， 但由于這種函數(shù)在極值點(diǎn)附近和二次函數(shù)很近似,因此牛頓法的收 斂速度還是很快的.,牛頓法的收斂速度雖然較快，但要求黑塞矩陣可逆，要計(jì)算二階導(dǎo)數(shù)和逆矩陣，就加大了計(jì)算機(jī)的計(jì)算量和存儲量.,3擬牛頓法,返回,MATLAB優(yōu)化工具箱簡介,1.MATLAB求解優(yōu)化問題的主要函數(shù),2.優(yōu)化函數(shù)的輸入變量,使用優(yōu)化函數(shù)或優(yōu)化工具箱中其他優(yōu)化函數(shù)時(shí), 輸入變量見下表:,3.優(yōu)化函數(shù)的輸出變量見下表:,4控制參數(shù)選項(xiàng)的設(shè)置,(3) MaxIter: 允許進(jìn)行迭代的最大次數(shù),取值為正整數(shù).,選項(xiàng)中常用的幾個參數(shù)的名稱、含義、取值如下:,(1) 陳列: 顯示水平.取值為off時(shí),不顯示輸出; 取值為iter時(shí),顯示每次迭代的信息;取值為final時(shí),顯示最終結(jié)果.默認(rèn)值為final.,(2) MaxFunEvals: 允許進(jìn)行函數(shù)評價(jià)的最大次數(shù),取值為正整數(shù).,例：opts=optimset(Display, iter, TolFun,1e-8) 該語句創(chuàng)建一個稱為選擇的優(yōu)化選項(xiàng)結(jié)構(gòu),其中顯示參數(shù)設(shè)為iter, TolFun參數(shù)設(shè)為1e-8.,控制參數(shù)選項(xiàng)可以通過函數(shù)optimset創(chuàng)建或修改.命令的格式如下：,(1) options=optimset(optimfun) 創(chuàng)建一個含有所有參數(shù)名,并與優(yōu)化函數(shù)optimfun相關(guān)的默認(rèn)值的選項(xiàng)結(jié)構(gòu).,（2）options=optimset(param1,value1,param2,value2,.) 創(chuàng)建一個名稱為選項(xiàng)的優(yōu)化選項(xiàng)參數(shù),其中指定的參數(shù)具有指定值,所有未指定的參數(shù)取默認(rèn)值.,(3) options= optimset(oldops, param1,value1,param2,value2,.) 創(chuàng)建名稱為oldops的參數(shù)的拷貝,用指定的參數(shù)值修改oldops中相應(yīng)的參數(shù).,返回,用MATLAB解無約束優(yōu)化問題,其中等式（3）、（4）、（5）的右邊可選用（1）或（2）的等式右邊. 函數(shù)fminbnd的算法基于黃金分割法和二次插值法，它要求目標(biāo)函數(shù)必須是連續(xù)函數(shù)，并可能只給出局部最優(yōu)解.,常用格式如下： （1）x= fminbnd (fun,x1,x2) （2）x= fminbnd (fun,x1,x2 ，options) （3）x，fval= fminbnd（） （4）x，fval，exitflag= fminbnd（） （5）x，fval，exitflag，output= fminbnd（）,MATLAB(wliti1),主程序?yàn)閣liti1.m: f=2*exp(-x).*sin(x); fplot(f,0,8); %作圖語句 xmin,ymin=fminbnd (f, 0,8) f1=-2*exp(-x).*sin (x); xmax,ymax=fminbnd (f1, 0,8),例2 有邊長為3m的正方形鐵板，在四個角剪去相等的正方形以制成方形無蓋水槽，問如何剪法使水槽的容積最大？,解,先編寫M文件fun0.m如下: function f=fun0(x) f=-(3-2*x).2*x;,主程序?yàn)閣liti2.m: x,fval=fminbnd(fun0,0,1.5); xmax=x fmax=-fval,運(yùn)算結(jié)果為: xmax = 0.5000,fmax =2.0000.即剪掉的正方形的邊長為0.5m時(shí)水槽的容積最大,最大容積為2m3.,MATLAB(wliti2),命令格式為: （1）x= fminunc（fun,X0 ）；或x=fminsearch（fun,X0 ） （2）x= fminunc（fun,X0 ，options）； 或x=fminsearch（fun,X0 ，options） （3）x，fval= fminunc（.）； 或x，fval= fminsearch（.） （4）x，fval，exitflag= fminunc（.）； 或x，fval，exitflag= fminsearch （5）x，fval，exitflag，output= fminunc（.）； 或x，fval，exitflag，output= fminsearch（.）,2.多元函數(shù)無約束優(yōu)化問題,標(biāo)準(zhǔn)型為：min,3 fminunc為中型優(yōu)化算法的步長一維搜索提供了兩種算法，由選項(xiàng)中參數(shù)LineSearchType控制： LineSearchType=quadcubic (缺省值)，混合的二次和三次多項(xiàng)式插值； LineSearchType=cubicpoly，三次多項(xiàng)式插,使用fminunc和 fminsearch可能會得到局部最優(yōu)解.,說明:,fminsearch是用單純形法尋優(yōu).fminunc算法見以下幾點(diǎn)說明：,1 fminunc為無約束優(yōu)化提供了大型優(yōu)化和中型優(yōu)化算法.由選項(xiàng)中的參數(shù)LargeScale控制： LargeScale=on (默認(rèn)值),使用大型算法 LargeScale=off (默認(rèn)值),使用中型算法,2 fminunc為中型優(yōu)化算法的搜索方向提供了4種算法，由 選項(xiàng)中的參數(shù)HessUpdate控制： HessUpdate=bfgs（默認(rèn)值），擬牛頓法的BFGS公式； HessUpdate=dfp，擬牛頓法的DFP公式； HessUpdate=steepdesc，最速下降法,例3 min,MATLAB(wliti3),1.編寫M文件 fun1.m: function f = fun1 (x) f = exp(x(1)*(4*x(1)2+2*x(2)2+4*x(1)*x(2)+2*x(2)+1); 2.輸入M文件wliti3.m如下: x0 = -1, 1; x=fminunc(fun1,x0); y=fun1(x),3.運(yùn)行結(jié)果: x= 0.5000 -1.0000 y = 1.3029e-10,MATLAB (wliti31),MATLAB (wliti32),3.用fminsearch函數(shù)求解,MATLAB (wliti41),輸入命令: f=100*(x(2)-x(1)2)2+(1-x(1)2; x,fval,exitflag,output=fminsearch(f,-1.2 2),運(yùn)行結(jié)果: x =1.0000 1.0000 fval =1.9151e-010 exitflag = 1 output= iterations: 108 funcCount: 202 algorthm: Nelder-Mead simplex direct search ,4.用fminunc 函數(shù),MATLAB (wliti44),(1)建立M文件fun2.m function f=fun2(x) f=100*(x(2)-x(1)2)2+(1-x(1)2,(2)主程序wliti44.m,Rosenbrock函數(shù)不同算法的計(jì)算結(jié)果,可以看出，最速下降法的結(jié)果最差.因?yàn)樽钏傧陆捣ㄌ貏e不適合于從一狹長通道到達(dá)最優(yōu)解的情況.,例5 產(chǎn)銷量的最佳安排 某廠生產(chǎn)一種產(chǎn)品有甲、乙兩個牌號，討論在產(chǎn)銷平衡的情況下如何確定各自的產(chǎn)量，使總利潤最大.所謂產(chǎn)銷平衡指工廠的產(chǎn)量等于市場上的銷量.,基本假設(shè),1價(jià)格與銷量成線性關(guān)系,2成本與產(chǎn)量成負(fù)指數(shù)關(guān)系,模型建立,若根據(jù)大量的統(tǒng)計(jì)數(shù)據(jù),求出系數(shù)b1=100,a11=1,a12=0.1,b2=280,a21=0.2,a22=2,r1=30,1=0.015, c1=20, r2=100,2=0.02,c2=30,則 問題轉(zhuǎn)化為無約束優(yōu)化問題： 求甲,乙兩個牌號的產(chǎn)量x1，x2，使總利潤z最大.,為簡化模型,先忽略成本,并令a12=0,a21=0,問題轉(zhuǎn)化求 z1 = ( b1 - a11x1 ) x1 + ( b2 - a22x2 ) x2的極值.顯然其解為x1 = b1/2a11 = 50, x2 = b2/2a22 = 70,我們把它作為原問題的初始值.,總利潤為： z(x1,x2)=(p1-q1)x1+(p2-q2)x2,模型求解,1.建立M文件fun.m: function f = fun (x) y1=(100-x(1)- 0.1*x(2)-(30*exp(-0.015*x(1)+20)*x(1); y2=