3-2 無(wú)約束最優(yōu)化

1、 無(wú)約束最優(yōu)化問(wèn)題求解無(wú)約束最優(yōu)化問(wèn)題的的基本思想*無(wú)約束最優(yōu)化問(wèn)題的基本算法1標(biāo)準(zhǔn)形式：求解無(wú)約束最優(yōu)化問(wèn)題的基本思想求解的基本思想 ( 以二元函數(shù)為例 )531連續(xù)可微23多局部極小 唯一極小(全局極小)4搜索過(guò)程最優(yōu)點(diǎn) (1 1)初始點(diǎn) (-1 1)-114.00-0.790.583.39-0.530.232.60-0.180.001.500.09-0.030.980.370.110.470.590.330.200.800.630.050.950.900.0030.990.991E-40.9990.9981E-50.99970.99981E-85無(wú)約束優(yōu)化問(wèn)題的基本算法 最速下降法是一種

2、最基本的算法，它在最優(yōu)化方法中占有重要地位.最速下降法的優(yōu)點(diǎn)是工作量小，存儲(chǔ)變量較少,初始點(diǎn)要求不高；缺點(diǎn)是收斂慢，最速下降法適用于尋優(yōu)過(guò)程的前期迭代或作為間插步驟，當(dāng)接近極值點(diǎn)時(shí)，宜選用別種收斂快的算法. 1最速下降法（共軛梯度法）算法步驟：62牛頓法算法步驟： 如果f是對(duì)稱正定矩陣A的二次函數(shù)，則用牛頓法經(jīng)過(guò)一次迭代就可達(dá)到最優(yōu)點(diǎn),如不是二次函數(shù)，則牛頓法不能一步達(dá)到極值點(diǎn)，但由于這種函數(shù)在極值點(diǎn)附近和二次函數(shù)很近似,因此牛頓法的收斂速度還是很快的. 牛頓法的收斂速度雖然較快，但要求Hessian矩陣要可逆，要計(jì)算二階導(dǎo)數(shù)和逆矩陣，就加大了計(jì)算機(jī)計(jì)算量和存儲(chǔ)量.73擬牛頓法89用Matla

3、b解無(wú)約束優(yōu)化問(wèn)題 其中（3）、（4）、（5）的等式右邊可選用（1）或（2）的等式右邊。 函數(shù)fminbnd的算法基于黃金分割法和二次插值法，它要求目標(biāo)函數(shù)必須是連續(xù)函數(shù)，并可能只給出局部最優(yōu)解。常用格式如下：（1）x= fminbnd (fun,x1,x2)（2）x= fminbnd (fun,x1,x2 ，options)（3）x，fval= fminbnd（.）（4）x，fval，exitflag= fminbnd（.）（5）x，fval，exitflag，output= fminbnd（.）10 主程序?yàn)閣liti1.m: f=2*exp(-x).*sin(x); fplot(f,0,

4、8); %作圖語(yǔ)句 xmin,ymin=fminbnd (f, 0,8) f1=-2*exp(-x).*sin(x); xmax,ymax=fminbnd (f1, 0,8)11例2 對(duì)邊長(zhǎng)為3米的正方形鐵板，在四個(gè)角剪去相等的正方形以制成方形無(wú)蓋水槽，問(wèn)如何剪法使水槽的容積最大？解先編寫(xiě)M文件fun0.m如下: function f=fun0(x) f=-(3-2*x).2*x;主程序?yàn)閣liti2.m: x,fval=fminbnd(fun0,0,1.5); xmax=x fmax=-fval運(yùn)算結(jié)果為: xmax = 0.5000,fmax =2.0000.即剪掉的正方形的邊長(zhǎng)為0.5米

5、時(shí)水槽的容積最大,最大容積為2立方米.12 命令格式為:（1）x= fminunc（fun,X0 ）；或x=fminsearch（fun,X0 ）（2）x= fminunc（fun,X0 ，options）； 或x=fminsearch（fun,X0 ，options）（3）x，fval= fminunc（.）； 或x，fval= fminsearch（.）（4）x，fval，exitflag= fminunc（.）； 或x，fval，exitflag= fminsearch（5）x，fval，exitflag，output= fminunc（.）； 或x，fval，exitflag，outp

6、ut= fminsearch（.） 2、多元函數(shù)無(wú)約束優(yōu)化問(wèn)題標(biāo)準(zhǔn)型為：min F(X)133 fminunc為中型優(yōu)化算法的步長(zhǎng)一維搜索提供了兩種算法， 由options中參數(shù)LineSearchType控制：LineSearchType=quadcubic(缺省值)，混合的二次和三 次多項(xiàng)式插值；LineSearchType=cubicpoly，三次多項(xiàng)式插使用fminunc和 fminsearch可能會(huì)得到局部最優(yōu)解.說(shuō)明:fminsearch是用單純形法尋優(yōu). fminunc的算法見(jiàn)以下幾點(diǎn)說(shuō)明：1 fminunc為無(wú)約束優(yōu)化提供了大型優(yōu)化和中型優(yōu)化算法。由options中的參數(shù)Lar

7、geScale控制：LargeScale=on(默認(rèn)值),使用大型算法LargeScale=off(默認(rèn)值),使用中型算法2 fminunc為中型優(yōu)化算法的搜索方向提供了4種算法，由 options中的參數(shù)HessUpdate控制：HessUpdate=bfgs（默認(rèn)值），擬牛頓法的BFGS公式；HessUpdate=dfp，擬牛頓法的DFP公式；HessUpdate=steepdesc，最速下降法14例3 min f(x)=(4x12+2x22+4x1x2+2x2+1)*exp(x1) 1、編寫(xiě)M-文件 fun1.m: function f = fun1 (x) f = exp(x(1)*(

8、4*x(1)2+2*x(2)2+4*x(1)*x(2)+2*x(2)+1); 2、輸入M文件wliti3.m如下: x0 = -1, 1; x=fminunc(fun1,x0); y=fun1(x) 3、運(yùn)行結(jié)果: x= 0.5000 -1.0000 y = 1.3029e-1015To Matlab (wliti31)To Matlab (wliti32)163.用fminsearch函數(shù)求解To Matlab(wliti41)輸入命令: f=100*(x(2)-x(1)2)2+(1-x(1)2; x,fval,exitflag,output=fminsearch(f, -1.2 2)運(yùn)行結(jié)果: x =1.0000 1.0000fval =1.9151e-010exitflag = 1output = iterations: 108 funcCount: 202 algorithm: Nelder-Mead simplex direct search174. 用fminunc 函數(shù)To Matlab(wliti44)(1)建立M-文件fun2.m fu