第2章優(yōu)化設(shè)計1

第2章

優(yōu)化設(shè)計(1)

ⅡOptimalDesign第2章優(yōu)化設(shè)計

優(yōu)化設(shè)計是現(xiàn)代設(shè)計方法的重要內(nèi)容之一。它以數(shù)學(xué)規(guī)劃論為理論基礎(chǔ)，以電子計算機(jī)為工具，在充分考慮多種設(shè)計約束的前提下，尋求滿足某項(xiàng)預(yù)定目標(biāo)的最佳設(shè)計方案的一種設(shè)計方法。

本章主要介紹了如下方面內(nèi)容：內(nèi)容簡介■

優(yōu)化設(shè)計的基本概念及數(shù)學(xué)模型的建立■

常用的一維優(yōu)化方法■

多維無約束優(yōu)化方法■

約束優(yōu)化方法■

多目標(biāo)優(yōu)化方法■

機(jī)械優(yōu)化設(shè)計的一般步驟及設(shè)計應(yīng)用實(shí)例2.1.1優(yōu)化設(shè)計基本概念

優(yōu)化設(shè)計（OptimalDesign）是20世紀(jì)60年代發(fā)展起來的一種現(xiàn)代設(shè)計方法。它是將最優(yōu)化原理和計算機(jī)技術(shù)應(yīng)用于設(shè)計領(lǐng)域，為工程設(shè)計提供一種重要的科學(xué)設(shè)計方法。

利用這一設(shè)計方法，設(shè)計者就可從眾多的設(shè)計方案中尋找出最佳設(shè)計方案，從而大大提高設(shè)計效率和質(zhì)量，因此優(yōu)化設(shè)計是現(xiàn)代設(shè)計理論和方法的一個重要領(lǐng)域，它已廣泛應(yīng)用于各個工業(yè)設(shè)計領(lǐng)域和各種產(chǎn)品設(shè)計中。

所謂優(yōu)化設(shè)計，就是在規(guī)定的設(shè)計限制條件下，運(yùn)用最優(yōu)化原理和方法將實(shí)際工程設(shè)計問題轉(zhuǎn)化為最優(yōu)化問題，然后以計算機(jī)為工具進(jìn)行尋優(yōu)計算，在全部可行設(shè)計方案中，尋求滿足預(yù)定設(shè)計目標(biāo)的最佳設(shè)計方案。2.1概述

進(jìn)行最優(yōu)化設(shè)計時：

首先必須將實(shí)際問題加以數(shù)學(xué)描述，形成一組由數(shù)學(xué)表達(dá)式組成的數(shù)學(xué)模型；

然后選擇一種最優(yōu)化數(shù)值計算方法和計算機(jī)程序，在計算機(jī)上進(jìn)行尋優(yōu)運(yùn)算求解，得到一組最佳的設(shè)計參數(shù)。這組設(shè)計參數(shù)就是設(shè)計的最優(yōu)解。

●設(shè)計課題分析

●建立數(shù)學(xué)模型

●選擇優(yōu)化設(shè)計方法

●上機(jī)電算求解獲得最優(yōu)解與傳統(tǒng)設(shè)計方法不同，優(yōu)化設(shè)計過程一般分為如下四步：

（２）建立數(shù)學(xué)模型：

將工程優(yōu)化設(shè)計問題用數(shù)學(xué)方程式的形式予以全面地、準(zhǔn)確地描述，即建立優(yōu)化數(shù)學(xué)模型。

（１）設(shè)計課題分析：通過對設(shè)計課題的分析，提出設(shè)計目標(biāo)，它可以是單項(xiàng)設(shè)計指標(biāo)，也可以是多項(xiàng)設(shè)計指標(biāo)的組合。從技術(shù)經(jīng)濟(jì)的觀點(diǎn)出發(fā)，對機(jī)械設(shè)計而言，機(jī)器的運(yùn)動學(xué)和動力學(xué)性能、體積、重量、效率、成本、可靠性等都可以作為設(shè)計追求的目標(biāo)。然后分析設(shè)計應(yīng)滿足的要求，主要的有：某些參數(shù)的取值范圍；某種設(shè)計性能或指標(biāo)按設(shè)計規(guī)范推導(dǎo)出的技術(shù)性能；還有工藝條件對設(shè)計參數(shù)的限制等。

（３）選擇優(yōu)化設(shè)計方法：

根據(jù)所建立的數(shù)學(xué)方程式的性質(zhì)、設(shè)計精度的要求等選用合適的優(yōu)化設(shè)計方法，并做出相應(yīng)的程序設(shè)計。

（４）上機(jī)電算求解：將所編程序及有關(guān)數(shù)據(jù)上機(jī)運(yùn)算，自動得出最優(yōu)值。然后對計算結(jié)果做出分析和判斷，則得出最優(yōu)設(shè)計方案。

上述優(yōu)化設(shè)計過程的四步其核心是進(jìn)行如下兩項(xiàng)工作：

一是分析設(shè)計任務(wù)，將實(shí)際問題轉(zhuǎn)化為一個最優(yōu)化問題，即建立優(yōu)化問題的數(shù)學(xué)模型；

二是選用適用的優(yōu)化方法在計算機(jī)上求解數(shù)學(xué)模型，尋求最優(yōu)設(shè)計方案。

例2-1

如圖2-1所示，有一圓形等截面的銷軸，一端固定，一端作用著集中載荷F

=1000N和轉(zhuǎn)矩T=100N·m。由于結(jié)構(gòu)需要，軸的長度l不得小于8cm，已知銷軸材料的許用彎曲應(yīng)力［σW］＝120MPa，許用扭轉(zhuǎn)切應(yīng)力[τ]=80MPa，允許撓度［f］=0.01cm，密度ρ=7.8t/m3，彈性模量E=2×10580MPa。

下面通過三個簡單的優(yōu)化設(shè)計實(shí)例，說明優(yōu)化數(shù)學(xué)模型的一般形式及其有關(guān)概念。圖2-1圓形等截面的銷軸

現(xiàn)要求在滿足使用要求的條件下，試設(shè)計一個用料最省（銷軸質(zhì)量最輕）的方案。2.1.2優(yōu)化設(shè)計的數(shù)學(xué)模型

解：根據(jù)上述問題，該銷軸的力學(xué)模型是一個懸臂梁。設(shè)銷軸直徑為d，長度為，體積為V，則該問題的物理表達(dá)式如下：可見銷軸用料取決于其直徑d

和長度。這是一個合理選擇

d和而使體積V

最小的優(yōu)化設(shè)計問題。(2)滿足的條件：①強(qiáng)度條件：彎曲強(qiáng)度扭轉(zhuǎn)強(qiáng)度式②剛度條件：撓度表達(dá)式(1)銷軸用料最?。大w積最?。孩劢Y(jié)構(gòu)尺寸邊界條件：將題意的有關(guān)已知數(shù)值代入，按優(yōu)化數(shù)學(xué)模型的規(guī)范形式，可歸納為如下數(shù)學(xué)模型：設(shè)：設(shè)計變量：

目標(biāo)函數(shù)的極小化：約束條件：綜上所述，這是一個具有4個約束條件的二維非線性的約束優(yōu)化問題。

例2-2

現(xiàn)用薄鋼板制造一體積為5，長度不小于4m的無上蓋的立方體貨箱。要求該貨箱的鋼板耗費(fèi)量最少，試確定貨箱的長、寬和高的尺寸。

解：分析可知，鋼板的耗費(fèi)量與貨箱的表面積成正比。設(shè)貨箱的長、寬、高分別為，貨箱的表面積為S，則該問題的物理表達(dá)式為：

(1)貨箱的鋼板耗費(fèi)量（即貨箱的表面積用料）最少：可見貨箱的表面積取決于貨箱的長度、寬度和高度。(2)滿足的條件：按優(yōu)化數(shù)學(xué)模型的規(guī)范形式，可歸納為如下數(shù)學(xué)模型：設(shè)計變量：目標(biāo)函數(shù)的極小化：約束條件：由等式約束條件可知，三個設(shè)計變量中只有兩個是獨(dú)立變量，即。所以，該問題的優(yōu)化數(shù)學(xué)模型應(yīng)寫為：設(shè)計變量：目標(biāo)函數(shù)的極小化：

約束條件：這樣，使該優(yōu)化問題的數(shù)學(xué)模型更為準(zhǔn)確、精煉。

例2-3

某車間生產(chǎn)甲、乙兩種產(chǎn)品。生產(chǎn)甲種產(chǎn)品每件需使用材料9kg、3個工時、4kw電，可獲利潤60元。生產(chǎn)乙種產(chǎn)品每件需用材料4kg、10個工時、5kw電，可獲利120元。若每天能供應(yīng)材料360kg，有300個工時，能供200kw電。試確定兩種產(chǎn)品每天的產(chǎn)量，以使每天可能獲得的利潤最大。

每天實(shí)際消耗的材料、工時和電力可分別用以下約束函數(shù)表示：

解：這是一個生產(chǎn)計劃問題，可歸結(jié)為既滿足各項(xiàng)生產(chǎn)條件，又使每天所能獲得的利潤達(dá)到最大的優(yōu)化設(shè)計問題。

設(shè)每天生產(chǎn)的甲、乙兩種產(chǎn)品分別為件，每天獲得的利潤可用函數(shù)

表示，即于是上述生產(chǎn)計劃問題的優(yōu)化數(shù)學(xué)模型應(yīng)寫為：設(shè)計變量：目標(biāo)函數(shù)的極小化：約束條件：（工時約束）（電力約束）（材料約束）

由于目標(biāo)函數(shù)和所有約束函數(shù)均為設(shè)計變量的線性函數(shù)，故此優(yōu)化問題屬線性約束優(yōu)化問題。

從以上三個實(shí)例可以看出，優(yōu)化設(shè)計的數(shù)學(xué)模型需要用設(shè)計變量、目標(biāo)函數(shù)和約束條件等基本概念才能予以完整的描述，可以寫成以下統(tǒng)一形式：求設(shè)計變量(2-1)使極小化函數(shù)(2-2)滿足約束條件：其中，稱為不等式約束條件，稱為等式約束條件。

若用向量

－－表示設(shè)計變量，－－表示向量X屬于n維實(shí)歐氏空間；用min、max－－表示極小化和極大化，

s.t.（subjectedto的英文縮寫）－－表示“滿足于”，

m、p－－分別表示不等式約束和等式約束的個數(shù)。(2-3)上式就是優(yōu)化數(shù)學(xué)模型的一般表達(dá)式。這一優(yōu)化數(shù)學(xué)模型，稱為約束優(yōu)化設(shè)計問題。(2-4)這一優(yōu)化問題不受任何約束，稱為無約束優(yōu)化設(shè)計問題。式（2-4）即為無約束優(yōu)化問題的數(shù)學(xué)模型表達(dá)式。若上式所列數(shù)學(xué)模型內(nèi)m

=p=0，則成為上述優(yōu)化數(shù)學(xué)模型還可以寫成如下向量形式：

當(dāng)涉及問題要求極大化f(X)目標(biāo)函數(shù)時，只要將式中目標(biāo)函數(shù)改寫為－f(X)即可。因?yàn)楹途哂邢嗤慕狻Ｍ瑯?，?dāng)不等式約束為：“≥０”時，只要將不等式兩端同乘以“－1”，即可得到“≤”的一般形式。

一個完整的規(guī)格化的優(yōu)化數(shù)學(xué)模型應(yīng)包含有三部分內(nèi)容，即

設(shè)計變量X；

目標(biāo)函數(shù)；

約束條件和。它們又被稱為：優(yōu)化數(shù)學(xué)模型的三要素。

建立出的優(yōu)化數(shù)學(xué)模型，在計算機(jī)上求得的解稱為優(yōu)化問題的最優(yōu)解，它包括：最優(yōu)方案：最優(yōu)目標(biāo)函數(shù)值：即優(yōu)化問題的最優(yōu)解由最優(yōu)設(shè)計方案

X*（或稱最優(yōu)點(diǎn)）和最優(yōu)目標(biāo)函數(shù)值

兩部分組成。

最優(yōu)目標(biāo)函數(shù)值是最優(yōu)點(diǎn)X*帶入目標(biāo)函數(shù)所求得的最優(yōu)函數(shù)值，它是評價設(shè)計方案優(yōu)劣程度的一個標(biāo)量值。下面就優(yōu)化數(shù)學(xué)模型三要素的有關(guān)問題說明如下:

在優(yōu)化設(shè)計過程中需要調(diào)整和優(yōu)選的參數(shù)，稱為設(shè)計變量?？杀硎緸椋?/p>

由于實(shí)際工程設(shè)計對象的不同，則選取的設(shè)計變量也就不同。它可以是幾何參數(shù)：如零件外形尺寸、截面尺寸、機(jī)構(gòu)的運(yùn)動尺寸等；也可以是某些物理量：如零部件的重量、體積、力與力矩、慣性矩等；還可以是代表機(jī)器工作性能的導(dǎo)出量：如應(yīng)力、變形等?？傊?，設(shè)計變量必須對該項(xiàng)設(shè)計性能指標(biāo)優(yōu)劣有影響的參數(shù)。

設(shè)計變量是一組相互獨(dú)立的基本參數(shù)。一般用向量X來表示。設(shè)計變量的每一個分量都是相互獨(dú)立的。以n個設(shè)計變量為坐標(biāo)軸所構(gòu)成的實(shí)數(shù)空間稱為設(shè)計空間，或稱n維實(shí)歐式空間，用Rn

表示。1.設(shè)計變量

當(dāng)n=2時，X=[x1,x2]T

是二維設(shè)計向量；當(dāng)n=3時，X=[x1,x2,x3]T為三維設(shè)計向量，設(shè)計變量x1,x2,x3組成一個三維空間；當(dāng)n>3時，設(shè)計空間是一個想象的超越空間，稱n維實(shí)屬空間。其中二維和三維設(shè)計空間如圖2-2所示。

圖2-2設(shè)計空間(a)(b)

在工程設(shè)計中，當(dāng)有些設(shè)計變量的取值要求是離散型量，則稱離散設(shè)計變量，如齒輪的齒數(shù)、模數(shù)，鋼管的直徑、鋼板的厚度等。對于離散設(shè)計變量，在優(yōu)化設(shè)計過程中常是先把它視為連續(xù)量，再求得連續(xù)量的優(yōu)化結(jié)果后再進(jìn)行圓整或標(biāo)準(zhǔn)化，以求得一個實(shí)用的最優(yōu)設(shè)計方案。

設(shè)計變量的個數(shù)，稱為維數(shù)（自由度），它決定了優(yōu)化問題的大小范圍，當(dāng)：

n＝2～10為小型優(yōu)化問題；

n＝10～50為中型優(yōu)化問題；

n>50為大型優(yōu)化問題。設(shè)計變量可分為連續(xù)變量和離散變量。2.目標(biāo)函數(shù)

目標(biāo)函數(shù)是用來評價設(shè)計方案優(yōu)劣的標(biāo)準(zhǔn)，又稱評價函數(shù)。它是設(shè)計變量的函數(shù)，常記為

確定目標(biāo)函數(shù)，是優(yōu)化設(shè)計中最重要的決策之一。因?yàn)檫@不僅直接影響優(yōu)化方案的質(zhì)量，而且還影響到優(yōu)化過程。

目標(biāo)函數(shù)可以根據(jù)工程問題的要求從不同角度來建立，例如：機(jī)械零件設(shè)計中的重量、體積、效率、可靠性、幾何尺寸、承載能力；機(jī)械設(shè)計中的運(yùn)動誤差、功率、應(yīng)力、動力特性；產(chǎn)品設(shè)計中的成本、壽命等。

優(yōu)化設(shè)計就是要尋求一個最優(yōu)設(shè)計方案，即最優(yōu)點(diǎn)X*，從而使目標(biāo)函數(shù)達(dá)到最優(yōu)值

。在優(yōu)化設(shè)計中，一般取最優(yōu)值為目標(biāo)函數(shù)的最小值。

一個優(yōu)化問題，可以用一個目標(biāo)函數(shù)來衡量，稱之為單目標(biāo)優(yōu)化問題；也可以用多個目標(biāo)函數(shù)來衡量，稱之為多目標(biāo)優(yōu)化問題。

目標(biāo)函數(shù)可以通過等值線（面）在設(shè)計空間中表現(xiàn)出來。

現(xiàn)以二維優(yōu)化問題為例，來說明目標(biāo)函數(shù)的等值線(面)的幾何意義。圖2-3二維目標(biāo)函數(shù)的等值線由于每一條曲線上的各點(diǎn)都具有相等的目標(biāo)函數(shù)值，所以這些曲線稱為目標(biāo)函數(shù)的等值線。如圖2-3所示，當(dāng)目標(biāo)函數(shù)f(x)等于某一值ci(i=1,2,…)時，就可得到一條等值線，它是在設(shè)計平面上由f(x)＝Ci

的無數(shù)個設(shè)計點(diǎn)X

所連成，當(dāng)

f(x)為不等的函數(shù)值c1，c2，…時，可以得到一族等值線。所謂目標(biāo)函數(shù)的等值線（面），就是當(dāng)目標(biāo)函數(shù)f(X)的值依次等于一系列常數(shù)(i=1,2,…)時，設(shè)計變量X

取得一系列值的集合。

對于一個目標(biāo)函數(shù)來說，它可以有無窮多條的等值線?？梢哉f等值線充滿了設(shè)計空間。

由圖可見，等值線族反映了目標(biāo)函數(shù)值的變化規(guī)律，等值線越向里面，目標(biāo)函數(shù)值越小。對于有中心的曲線族來說，等值線族的共同中心就是目標(biāo)函數(shù)的無約束極小點(diǎn)。故從幾何意義上來說，求目標(biāo)函數(shù)無約束極小點(diǎn)也就是求其等值線族的共同中心。

等值線有以下幾個特點(diǎn)：(1)

不同值的等值線不相交；(2)除極值點(diǎn)外，在設(shè)計空間內(nèi)，等值線不會中斷；(3)等值線充滿整個設(shè)計空間；(4)

等值線分布的疏或密，反應(yīng)出函數(shù)值變化的慢或快；(5)

一般來說，在極值點(diǎn)附近，等值線近似是同心橢圓族，極值點(diǎn)就是橢圓的中心點(diǎn)。在設(shè)計空間內(nèi)，目標(biāo)函數(shù)值相等點(diǎn)的連線：

■

對于二維優(yōu)化問題，構(gòu)成了等值線；

■對于三維優(yōu)化問題，構(gòu)成了等值面；

■對于四維以上的優(yōu)化問題，則構(gòu)成了等值超曲面。3.約束條件

約束條件是設(shè)計變量選取的限制條件，或稱設(shè)計約束。

按照約束條件的形式不同，約束有不等式和等式約束兩類，一般表達(dá)式為：不等式約束等式約束

按照設(shè)計約束的性質(zhì)不同，約束又可分為如下兩類：

（１）性能約束：是根據(jù)設(shè)計性能或指標(biāo)要求而確定的一種約束條件，例如零件的工作應(yīng)力、變形的限制條件以及對運(yùn)動學(xué)參數(shù)如位移、速度、加速度值的限制條件均屬性能約束。

（２）邊界約束：則是對設(shè)計變量取值范圍的限制，例如對齒輪的模數(shù)、齒數(shù)的上、下限的限制以及對構(gòu)件長度尺寸的限制都是邊界約束。

任何一個不等式約束方程的圖形將設(shè)計空間劃分為兩部分：

一部分：滿足約束，即gj(X)＜0；

另一部分：則不滿足約束，即gj(X)＞0。故將該分界線或分界面稱為約束邊界（或約束面）。

等式約束本身也是約束邊界，不過此時只有約束邊界上的點(diǎn)滿足約束，而邊界兩邊的所有部分都不滿足約束。以二維問題為例，如圖2-4所示，其中陰影方向部分表示不滿足約束的區(qū)域。圖2-4約束邊界(2-5)圖2-5二維問題的可行域

不滿足約束條件的設(shè)計點(diǎn)構(gòu)成該優(yōu)化問題的不可行域。

可行域也可看做滿足所有約束條件的設(shè)計點(diǎn)的集合，因此，可用集合表示如下：

約束的幾何意義是它將設(shè)計空間一分為二，形成了可行域和非可行域。

每一個不等式約束或等式約束都將設(shè)計空間分為兩部分，滿足所有約束的部分形成一個交集，該交集稱為此約束問題的可行域，記做D，見圖2-5。

綜上所述，優(yōu)化數(shù)學(xué)模型是對實(shí)際問題的數(shù)學(xué)描述和概括，是進(jìn)行優(yōu)化設(shè)計的基礎(chǔ)。因此，根據(jù)設(shè)計問題的具體要求和條件建立完備的數(shù)學(xué)模型是關(guān)系優(yōu)化設(shè)計成敗的關(guān)鍵。

這是因?yàn)閮?yōu)化問題的計算求解完全是圍繞數(shù)學(xué)模型進(jìn)行的。也就是說，優(yōu)化計算所得的最優(yōu)解實(shí)際上只是數(shù)學(xué)模型的最優(yōu)解。此解是否滿足實(shí)際問題的要求，是否就是實(shí)際問題的最優(yōu)解，完全取決于數(shù)學(xué)模型和實(shí)際問題的符合程度。

建立優(yōu)化數(shù)學(xué)模型是一項(xiàng)重要而復(fù)雜的工作：一方面希望建立一個盡可能完善的數(shù)學(xué)模型，以求精確地表達(dá)實(shí)際問題，得到滿意的結(jié)果；另一方面又力求使所建立的數(shù)學(xué)模型盡可能簡單，以方便于計算與求解。工程設(shè)計的類型很多，總的來說，它可以分為兩個層次：

●

總體方案優(yōu)化

●

設(shè)計參數(shù)優(yōu)化

這兩者之間有著密切的聯(lián)系，但也存在著實(shí)質(zhì)性的區(qū)別。2.1.3優(yōu)化問題的分類

總體方案優(yōu)化：是指總體布局、結(jié)構(gòu)或系統(tǒng)的類型以及幾何形式的優(yōu)化設(shè)計；

設(shè)計參數(shù)優(yōu)化：是在總體方案選定后，對具體設(shè)計參數(shù)（幾何參數(shù)、性能參數(shù)等）的優(yōu)化設(shè)計。

總體方案設(shè)計是一種創(chuàng)造性活動，必須依靠思考與推理，綜合運(yùn)用多學(xué)科的專門知識和豐富的實(shí)踐經(jīng)驗(yàn)，才能獲得正確、合理的設(shè)計。因此，總體方案優(yōu)化其大量工作是依據(jù)知識和經(jīng)驗(yàn)進(jìn)行演繹和推理，可用人工智能方法（特別是專家系統(tǒng)技術(shù)）適宜于求解這類問題。

設(shè)計參數(shù)優(yōu)化是擇優(yōu)確定具體的設(shè)計參數(shù)，屬于數(shù)值計算型工作，比較容易總結(jié)出可供計算分析用的數(shù)學(xué)模型，因而一般采用數(shù)學(xué)規(guī)劃方法來求解。

本章主要介紹設(shè)計參數(shù)優(yōu)化問題。

根據(jù)優(yōu)化問題的數(shù)學(xué)模型是否含有設(shè)計約束，可將工程優(yōu)化問題分為：

工程優(yōu)化設(shè)計問題中的絕大多數(shù)問題都是約束優(yōu)化問題。工程優(yōu)化問題約束優(yōu)化問題無約束優(yōu)化問題一維優(yōu)化問題多維無約束優(yōu)化問題非線性規(guī)劃問題線性規(guī)劃問題二次規(guī)劃問題凸規(guī)劃問題

對于優(yōu)化問題數(shù)學(xué)模型的求解，目前可采用的求解方法有三種：

■數(shù)學(xué)解析法：就是把優(yōu)化對象用數(shù)學(xué)模型描述出來后，用數(shù)學(xué)解析法（如微分、變分發(fā)等）來求出最優(yōu)解，如高等數(shù)學(xué)中求函數(shù)極值或條件極值的方法。

數(shù)學(xué)解析法是優(yōu)化設(shè)計的理論基礎(chǔ)。但它僅限于維數(shù)較少且易求導(dǎo)的優(yōu)化問題的求解。

數(shù)學(xué)解析法

圖解法數(shù)

值迭代法

■圖解法：就是直接用作圖的方法來求解優(yōu)化問題，通過畫出目標(biāo)函數(shù)和約束函數(shù)的圖形，求出最優(yōu)解。

此法的特點(diǎn)是簡單直觀，但僅限于n≤2的低維優(yōu)化問題的求解。

2.1.4優(yōu)化設(shè)計的迭代算法圖2-6

所示－－為采用圖解法來求解如下二維優(yōu)化問題：minf(X)=x12+x22－4x1+4

s.t.

g1(X)=x2－x1－2≤0

g2(X)=x12－x2+1≤0

g3(X)=－x1≤0

g4(X)=－x2≤0該問題的目標(biāo)函數(shù)、約束函數(shù)的立體圖－－如圖2-6(a)所示；該問題的設(shè)計空間關(guān)系圖－－如圖2-6(b)所示，陰影線部分即為由所有約束邊界圍成的可行域。該問題的約束最優(yōu)點(diǎn)－－為圖中的X*點(diǎn)，即

X*=[x1*,x2*]T=[0.58,1.34]T

約束最優(yōu)值為：

的最優(yōu)解的結(jié)果。f(X*)=0.38。

(a)問題的立體圖(b)設(shè)計空間關(guān)系圖圖2-6二維優(yōu)化問題的幾何解

■數(shù)值迭代法：完全是依賴于計算機(jī)的數(shù)值計算特點(diǎn)而產(chǎn)生的，它是具有一定邏輯結(jié)構(gòu)并按一定格式反復(fù)迭代計算，逐步逼近優(yōu)化問題最優(yōu)解的一種方法。采用數(shù)值迭代法可以求解各種優(yōu)化問題。1.數(shù)值迭代法的迭代格式數(shù)值迭代法的基本思想：搜索、迭代、逼近。

為了求得目標(biāo)函數(shù)

的極小點(diǎn)，其迭代過程如下：①在設(shè)計空間給出一初始迭代點(diǎn)；②從出發(fā)，按照確定的搜索方向和迭代步長，求得第一個改進(jìn)設(shè)計點(diǎn)，它應(yīng)該滿足：；③再以為新的初始點(diǎn)，重復(fù)上述步驟，求得，如此反復(fù)迭代，得到一個不斷改進(jìn)的點(diǎn)列

及一相應(yīng)的遞減函數(shù)值數(shù)列。式中：X(k)——前一步已取得的設(shè)計方案（迭代點(diǎn)）；

X(k+1)——新的改進(jìn)設(shè)計方案（新的迭代點(diǎn)）；

S(k)——第k次迭代計算的搜索方向；

α(k)

——第k次迭代計算的步長因子。（2-6）④

這樣一步步地重復(fù)數(shù)值計算，不斷用改進(jìn)的新點(diǎn)迭代前次設(shè)計點(diǎn)，逐步改進(jìn)

值并使設(shè)計點(diǎn)最終逼近極小點(diǎn)（極值點(diǎn)）。這一迭代過程如圖2-7所示。

這一迭代過程用數(shù)學(xué)式子表達(dá)，得數(shù)值迭代法的基本迭代格式為：圖2-7二維優(yōu)化問題的迭代過程

在優(yōu)化算法中，關(guān)于迭代方法有多種，它們之間的區(qū)別就在于確定α(k)

和S

(k)的方式不同。特別是S

(k)的確定，在各種方法中起著關(guān)鍵性的作用。關(guān)于α(k)

和S(k)的確定，將在后面各節(jié)中介紹。

由以上分析及圖2-7可知，要用數(shù)值迭代法尋找最優(yōu)點(diǎn)X*，這里關(guān)鍵要解決三個問題：

●一是如何確定迭代步長α(k)；

●二是怎樣選定搜索方向S(k)；

●三是如何判斷是否找到了最優(yōu)點(diǎn)X*，以終止迭代。2.迭代計算的終止準(zhǔn)則

目前，通常采用的迭代終止準(zhǔn)則有以下幾種：●點(diǎn)距足夠小準(zhǔn)則●函數(shù)下降量足夠小準(zhǔn)則

●函數(shù)梯度充分小準(zhǔn)則（１）點(diǎn)距足夠小準(zhǔn)則相鄰兩迭代點(diǎn)之間的距離已達(dá)到充分小，即（2-7）式中，

——給定的計算精度，一般可取。（２）函數(shù)下降量足夠小準(zhǔn)則

相鄰兩迭代點(diǎn)的函數(shù)值下降量已達(dá)到充分小，即（2-8）

式中，——給定的計算精度，一般可取。

目標(biāo)函數(shù)在迭代點(diǎn)的梯度已達(dá)到充分小，即（３）函數(shù)梯度充分小準(zhǔn)則（2-9）

上述三個準(zhǔn)則都可以單獨(dú)使用。只要其中一個得到滿足，就可以認(rèn)為達(dá)到了近似最優(yōu)解，迭代計算到此結(jié)束。對于約束優(yōu)化問題，不同的優(yōu)化方法有各自的終止準(zhǔn)則，在此不在介紹。

這是由于函數(shù)極值點(diǎn)的必要條件是函數(shù)在這一點(diǎn)的梯度值的模為零。因此當(dāng)?shù)c(diǎn)的函數(shù)梯度的模已充分小時，則認(rèn)為迭代可以終止。式中，——給定的計算精度，一般可取。

在介紹有關(guān)優(yōu)化算法時，常常要用到函數(shù)的梯度和海森(Hessian)矩陣的概念。這里簡要介紹之。1.

多元函數(shù)的梯度

已知一n元函數(shù)，則該函數(shù)在點(diǎn)處的梯度可記為：（2-19）

函數(shù)的梯度在優(yōu)化設(shè)計中有著十分重要的作用。由于梯度是一個向量，而梯度方向是函數(shù)具有最大變化率的方向。亦即梯度方向是指函數(shù)的最速上升方向，而負(fù)梯度一則為函數(shù)的最速下降方向。如圖2-11所示。

2.2優(yōu)化方法的數(shù)學(xué)基礎(chǔ)(略)圖2-11梯度方向與等值線的關(guān)系

2.多元函數(shù)的海森矩陣

已知一n元函數(shù)，則該函數(shù)在點(diǎn)的所有二階偏導(dǎo)數(shù)組成的矩陣，稱為函數(shù)在點(diǎn)的二階偏導(dǎo)數(shù)矩陣或海森(Hessian)矩陣，經(jīng)常記作。該二階偏導(dǎo)數(shù)矩陣的組成形式如下：(2-21)

由于n元函數(shù)的偏導(dǎo)數(shù)有n×n個，而且偏導(dǎo)數(shù)的值與求導(dǎo)次序無關(guān)，所以函數(shù)的二階偏導(dǎo)數(shù)矩陣是一個n×n階的對稱矩陣。

海森矩陣在判別多元函數(shù)極值的充分條件以及在牛頓法構(gòu)造牛頓搜索方向時都有重要用途。

求解一維目標(biāo)函數(shù)

最優(yōu)解的過程，稱為一維優(yōu)化(或一維搜索)，所使用的方法稱為一維優(yōu)化方法。

一維優(yōu)化方法，它不僅可用來解決一維目標(biāo)函數(shù)的求優(yōu)問題，且常用于多維優(yōu)化問題在既定方向上尋求最優(yōu)步長的一維搜索。

由前數(shù)值迭代法可知，求某目標(biāo)函數(shù)的最優(yōu)值時，迭代過程每一步的格式都是從某一定點(diǎn)出發(fā)，沿著某一使目標(biāo)函數(shù)下降的規(guī)定方向搜索，以找出此方向的極小點(diǎn)。這一過程是各種最優(yōu)化方法的一種基本過程。

在此過程中因、已確定，要使目標(biāo)函數(shù)值為最小，只需找到一個合適的步長就可以了。這也就是說，在任何一次迭代計算過程中，當(dāng)起步點(diǎn)和搜索方向確定之后，就把求多維目標(biāo)函數(shù)極小值這個多維問題，化解為求一個變量（步長因子α)的最優(yōu)值的一維問題。

2.3一維優(yōu)化方法

一維搜索方法主要有：

一維搜索方法一般分兩步進(jìn)行：

■

首先在方向

上確定一個包含函數(shù)極小點(diǎn)的初始區(qū)間，即確定函數(shù)的搜索區(qū)間，該區(qū)間必須是單峰區(qū)間；

■

然后采用縮小區(qū)間或插值逼近的方法得到最優(yōu)步長，即求出該搜索區(qū)間內(nèi)的最優(yōu)步長和一維極小點(diǎn)。

分?jǐn)?shù)法

二次插值

黃金分割法（0.618法）

三次插值法等本節(jié)介紹最常用的黃金分割法和二次插值法。

根據(jù)函數(shù)的變化情況，可將區(qū)間分為單峰區(qū)間和多峰區(qū)間。所謂單峰區(qū)間，就是在該區(qū)間內(nèi)的函數(shù)變化只有一個峰值，即函數(shù)的極小值，如圖2-18所示。即在單峰區(qū)間內(nèi)的極小值點(diǎn)X*的左側(cè)：函數(shù)呈下降趨勢，而在極小值點(diǎn)X*

的右側(cè)：函數(shù)呈上升趨勢。也就是說，單峰區(qū)間的函數(shù)值呈“高-低-高”的變化特征。

設(shè)區(qū)間[α1，α3]為單峰區(qū)間，

而α2為該區(qū)間內(nèi)的一點(diǎn)，若有

α1<α2<α3

或α1>α2>α3成立，則必有

f(α1)>f(α2)<f(α3)同時成立。圖2-18單峰區(qū)間2.3.1搜索區(qū)間的確定

目前，在一維優(yōu)化搜索中，確定單峰區(qū)間常用的方法是進(jìn)退試算法。

進(jìn)退試算法的基本思想為：按照一定的規(guī)律給出若干試算點(diǎn)，依次比較各試算點(diǎn)的函數(shù)值的大小，直到找到相鄰三點(diǎn)的函數(shù)值按“高-低-高”變化的單峰區(qū)間為止。

進(jìn)退試算法的運(yùn)算步驟如下：圖2-19求搜索區(qū)間(2)將α0及α0+h代入目標(biāo)函數(shù)

f(x)進(jìn)行計算并比較它們的大小。(1)給定初始點(diǎn)α0和初始步長h，設(shè)搜索區(qū)間[a,b]，如圖2-19所示。

(3)若，則表明極小點(diǎn)在試算點(diǎn)的右側(cè)，需做前進(jìn)試算。在做前進(jìn)運(yùn)算時，為加速計算，可將步長h增加2倍，并取計算新點(diǎn)為α0+h+2h=α0+3h。

若，則所計算的相鄰三點(diǎn)的函數(shù)值已具“高-低-高”特征，這時可確定搜索區(qū)間為否則，將步長再加倍，并重復(fù)上述運(yùn)算。否則，將步長再加倍，繼續(xù)后退，重復(fù)上述步驟，直到滿足單峰區(qū)間條件為止。

(4)若

，則表明極小點(diǎn)在試算點(diǎn)的左側(cè)，需做后退試算。在做后退運(yùn)算時，應(yīng)將后退的步長縮短為原步長h的1/4，則取步長為－h(huán)/4，并從

點(diǎn)出發(fā)，得到后退點(diǎn)為，

若，則搜索區(qū)間可取為上述進(jìn)退試算法的程序計算框圖，如圖2-20所示。圖2-20進(jìn)退法的程序框圖

該算法的基本思路是：通過比較單峰區(qū)間內(nèi)兩個插點(diǎn)的函數(shù)值，不斷舍棄單峰區(qū)間的左端或右端一部分，使區(qū)間按照固定區(qū)間縮短率（縮小后的新區(qū)間與原區(qū)間長度之比）逐步縮短，直到極小點(diǎn)所在的區(qū)間縮短到給定的誤差范圍內(nèi)，而得到近似最優(yōu)解。

黃金分割法，又稱0.618法，它是一種等比例縮短區(qū)間的直接搜索方法。

如圖2-21所示，為使a～b區(qū)間縮小，在單峰區(qū)間[a,b]內(nèi)插入兩個內(nèi)分點(diǎn)，且滿足，并計算它的函數(shù)值

f(α1),

f(α2)，比較它們的大小，可能發(fā)生以下情況：

(1)若f(α1)<f(α2)，則由于函數(shù)的單峰性，極小點(diǎn)必位于區(qū)間[a，α2]內(nèi)，因而可以去掉區(qū)間[a2，b]，得到縮短了的搜索區(qū)間[a，a2]，如圖2-21(a)所示；

2.3.2黃金分割法

(2)若f(α1)>f(α2)，顯然，極小點(diǎn)必位于[α1，b]內(nèi)，因而可去掉區(qū)間[a，α1]，得到新區(qū)間[α1，b]，如圖2-21(b)所示；

圖2-21黃金分割法的序列消去原理

(3)若f(α1)=f(α2)，極小點(diǎn)應(yīng)在區(qū)間[α1，α2]內(nèi)，因而可去掉[a，α1]或[α2，b]，甚至將此二段都去掉，如圖2-21(c)所示。

對于上述縮短后的新區(qū)間，可在其內(nèi)再取一個新點(diǎn)α3，然后將此點(diǎn)和該區(qū)間內(nèi)剩下的那一點(diǎn)進(jìn)行函數(shù)值大小的比較，以再次按照上述方法，進(jìn)一步縮短區(qū)間，這樣不斷進(jìn)行下去，直到所保留的區(qū)間縮小到給定的誤差范圍內(nèi)，而得到近似最優(yōu)解。

黃金分割法的內(nèi)插點(diǎn)選取原則是：每次區(qū)間縮短都取相等的區(qū)間縮短率。按照這一原則，其區(qū)間縮短率都是取λ=0.618，即該法是按區(qū)間全長的0.618倍的關(guān)系來選取兩個對稱內(nèi)插點(diǎn)α1,α2的。

圖2-220.618法新、舊區(qū)間的幾何關(guān)系

為縮短區(qū)間，黃金分割法要求在區(qū)間[a，b]上對稱地取兩個內(nèi)分點(diǎn)α1和α2，設(shè)兩個對稱內(nèi)分點(diǎn)交錯離兩端點(diǎn)距離為，則

首次區(qū)間縮短率為：再次區(qū)間縮短率為：

如圖2-22所示，設(shè)原區(qū)間[a，b]長度為L，區(qū)間縮短率為λ。根據(jù)每次區(qū)間縮短率相等的原則，則有

由此得即

，或，解此方程取其正根可得這意味著，只要取λ=0.618，就以滿足區(qū)間縮短率不變的要求。即每次縮小區(qū)間后，所得到的區(qū)間是原區(qū)間的0.618倍，舍棄的區(qū)間是原區(qū)間的0.382倍。根據(jù)以上結(jié)果，黃金分割法的兩個內(nèi)插點(diǎn)的取點(diǎn)規(guī)則為：（2-30）

(1)給定初始單峰區(qū)間[a,b]和收斂精度ε；(2)在區(qū)間[a,b]內(nèi)取兩個內(nèi)插點(diǎn)并計算其函數(shù)值：

若

f1<f2

，則取[a,]為新區(qū)間，而則作為新區(qū)間內(nèi)的第一個試算點(diǎn)，即令(3)比較函數(shù)值f1和f2的大?。壕C上所述，黃金分割法的計算步驟如下：而另一試算點(diǎn)可按下式計算出來：而另一試算點(diǎn)可按下式計算出

若

f1≥f2

，則取[，b]為新區(qū)間，而作為新區(qū)間內(nèi)的第一個試算點(diǎn)，即令圖2-23黃金分割法的計算框圖(4)迭代終止條件判別

若滿足b-a≤ε，則轉(zhuǎn)下一步；

否則返回步驟(3)，進(jìn)行下一次迭代計算，進(jìn)一步縮短區(qū)間。(5)輸出最優(yōu)解

黃金分割法的計算框圖，如圖2-23所示。

二次插值法又稱近似拋物線法。

該法的基本思想是：在給定的單峰區(qū)間中，利用目標(biāo)函數(shù)上的三個點(diǎn)來構(gòu)造一個二次插值函數(shù)，以近似地表達(dá)原目標(biāo)函數(shù)，并求這個插值函數(shù)的極小點(diǎn)近似作為原目標(biāo)函數(shù)的極小點(diǎn)。

該法是以目標(biāo)函數(shù)的二次插值函數(shù)的極小點(diǎn)作為新的中間插入點(diǎn)，進(jìn)行區(qū)間縮小的一維搜索方法。

設(shè)一元函數(shù)，在單峰區(qū)間內(nèi)取一點(diǎn)

且，這三點(diǎn)對應(yīng)的函數(shù)值分別為于是通過原函數(shù)曲線上的三個點(diǎn)和可以構(gòu)成一個二次插值函數(shù)，如圖2-24所示。設(shè)該二次插值函數(shù)為(2-31)2.3.3二次插值法圖2-24二次插值法的原理及區(qū)間縮小過程（2-32）為求得，應(yīng)設(shè)法求得式(2-32)中的待定系數(shù)

B和C。解得此函數(shù)可以很容易地求得它的極小點(diǎn)。令其一階導(dǎo)數(shù)等于零，即由于所構(gòu)造的二次插值函數(shù)曲線通過原函數(shù)上的三個點(diǎn)，因此將三個點(diǎn)及代人方程(2-31)可得解得系數(shù)（2-33）（2-34）將B，C之值代入式(2-32)，可求得由上可知，在已知一個單峰搜索區(qū)間內(nèi)的三點(diǎn)值后，便可通過二次搜值方法求得極小點(diǎn)的近似值。由于在求時，是采用原函數(shù)的近似函數(shù)，因而求得的不一定與原函數(shù)的極值點(diǎn)

重合，見圖2-24。

為了求得滿足預(yù)定精度要求的原函數(shù)的近似極小點(diǎn)，一般要進(jìn)行多次迭代。為此，可根據(jù)前述的序列消去原理，在已有的四個點(diǎn)及中選擇新的三個點(diǎn)，得到一個縮小了的單峰區(qū)間，并利用此單峰區(qū)間的三個點(diǎn)，再一次進(jìn)行插值。如此進(jìn)行下去，直至達(dá)到給定的精度為止。

二次插值法的計算步驟如下：(1)給定初始搜索區(qū)間和計算精度ε；(2)在區(qū)間內(nèi)取一內(nèi)點(diǎn)，有下面兩種取法：（等距原則取點(diǎn)）（不等距原則取點(diǎn)）計算三點(diǎn)的函數(shù)值。(3)計算二次插值多項(xiàng)式

的極小點(diǎn)與極小值；

(4)進(jìn)行收斂判斷：

若滿足，則轉(zhuǎn)(6)，停止迭代，并將點(diǎn)與中函數(shù)值較小的點(diǎn)作為極小點(diǎn)輸出，結(jié)束一維搜索；

否則，轉(zhuǎn)下步(5)；

(5)

縮小區(qū)間：以得到新的單峰區(qū)間，然后轉(zhuǎn)第(3)步，繼續(xù)迭代，直到滿足精度要求為止。(6)輸出最優(yōu)解：二次插值法的程序計算框圖，如圖2-25所示。圖2-25二次插值法程序框圖

（2-35）

求解這類問題的方法，稱為多維無約束優(yōu)化方法。多維無約束優(yōu)化問題的一般數(shù)學(xué)表達(dá)式為：

無約束優(yōu)化方法有很多種，但歸納可以分為兩大類：

■解析法

■直接法2.4多維無約束優(yōu)化方法

■解析法

這類方法是需要利用函數(shù)的一階偏導(dǎo)數(shù)甚至二階偏導(dǎo)數(shù)構(gòu)造搜索方向，如梯度法、牛頓法和變尺度法等。由于需要計算偏導(dǎo)數(shù)，故這類方法計算量大，但收斂較快。

■

直接法

這類方法是僅利用迭代點(diǎn)的函數(shù)值來構(gòu)造搜索方向，如坐標(biāo)輪換法、powell共軛梯度法和單純形法等。由于只需要計算函數(shù)值，對于無法求導(dǎo)或求導(dǎo)困難的函數(shù)，則這類方法就有突出的優(yōu)越性，但是其收斂速度較慢。是求解多維無約束優(yōu)化問題的一種直接法，它不需求函數(shù)導(dǎo)數(shù)而直接搜索目標(biāo)函數(shù)的最優(yōu)解。該法又稱降維法。該法將一個多維無約束優(yōu)化問題轉(zhuǎn)化為一系列一維優(yōu)化問題來求解，即依次沿著坐標(biāo)軸的方向進(jìn)行一維搜索，求得極小點(diǎn)。當(dāng)對n個變量x1,x2…,xn依次進(jìn)行過一次搜索之后，即完成一輪計算。若未收斂到極小點(diǎn)，則又從前一輪的最末點(diǎn)開始，再作下一輪搜索，如此繼續(xù)下去，直至收斂到最優(yōu)點(diǎn)為止。坐標(biāo)輪換法，就是由此而得名的。坐標(biāo)輪換法坐標(biāo)輪換法的基本原理：2.4.1坐標(biāo)輪換法現(xiàn)以二維優(yōu)化問題（圖2-26）為例，說明該法的搜索過程。圖2-26坐標(biāo)輪換法搜索過程

先以為初始點(diǎn)，沿著坐標(biāo)軸

方向進(jìn)行一維搜索，求得極小點(diǎn)，然后固定不變，改沿著坐標(biāo)軸

方向進(jìn)行一維搜索，求得極小點(diǎn)，至此完成了該二維問題的一輪計算。由于未得到問題的最優(yōu)點(diǎn)，需進(jìn)行第二論迭代，即從前一輪的最末點(diǎn)出發(fā)，重復(fù)前面的過程求得點(diǎn)。如此繼續(xù)下去，直到找到問題的最優(yōu)解。現(xiàn)以二維優(yōu)化問題（圖2-26）為例，說明該法的搜索過程。

根據(jù)上述原理，對于第k輪計算，坐標(biāo)輪換法的迭代計算公式為：

（2-36）

其中，搜索方向

是輪流取n

維空間各坐標(biāo)軸的單位向量：即

關(guān)于坐標(biāo)輪換法的迭代步長，常用如下兩種取法：

(1)最優(yōu)步長；

(2)加速步長。即在每一維，先選擇一個初始步長，若沿該維正向第一步搜索成功(即該點(diǎn)函數(shù)搜索時值下降)，則以倍增的步長繼續(xù)沿該維向前搜索，步長的序列為

坐標(biāo)輪換法的特點(diǎn)：計算簡單，概念清楚；但搜索線路較長，計算效率低；所以它只能用于低維（n<10）優(yōu)化問題的求解。直到函數(shù)值出現(xiàn)上升時，則取前一點(diǎn)為本維極小點(diǎn)，然后改換為沿下一維方向進(jìn)行搜索，依次循環(huán)繼續(xù)前進(jìn)，直至到達(dá)收斂精度為止。

1.

最優(yōu)步長的幾何意義

以二維優(yōu)化問題為例，最優(yōu)步長

的幾何意義如圖2-a所示。2.最優(yōu)步長的計算已知：圖2-a最優(yōu)步長的幾何意義求最優(yōu)步長舉例：求：在給定點(diǎn)處沿給定方向搜索的最優(yōu)步長。解：根據(jù)基本迭代公式，有則由上可見，原本

函數(shù)→這時成為

的函數(shù)，即

。為求得最優(yōu)步長，可令即故得最優(yōu)步長：

在上述坐標(biāo)輪換法中，之所以收斂很慢，其原因在于：其搜索方向總是平行于坐標(biāo)軸，不適應(yīng)函數(shù)的變化情況。

鮑威爾法（powell法，又稱共軛方向法）:

該算法是鮑威爾于1964年提出的，它是在坐標(biāo)輪換法的基礎(chǔ)上，通過構(gòu)造共軛方向，以達(dá)到快速收斂的目的。并通過改進(jìn)后，是一種比較有效的算法。2.4.2鮑威爾法如圖2-27所示：若把上一輪的搜索末點(diǎn)（即這一輪搜索的起點(diǎn)）和本輪搜索的末點(diǎn)連接起來，形成一新的搜索方向圖2-27共軛方向

并沿此方向進(jìn)行一維搜索，則由此圖可看到，它能極大地加快收斂速度，鮑威爾法正是利用這種原理來構(gòu)成搜索方向并進(jìn)行迭代計算的。首先采用坐標(biāo)輪換法進(jìn)行第一輪迭代。然后以第一輪迭代的最末一個極小點(diǎn)和初始點(diǎn)，構(gòu)成一個新的方向，并以此新的方向作為最末一個方向，而去掉第一個方向，得到第二輪迭代的n個方向。仿此進(jìn)行下去，直至求得問題的極小點(diǎn)。現(xiàn)以二維優(yōu)化問題為例，來說明鮑威爾法的迭代過程?；觉U威爾法的基本原理：1.

基本鮑威爾法圖2-29基本鮑威爾法的迭代過程

取初始點(diǎn)作為迭代計算的出發(fā)點(diǎn)，即令，先沿坐標(biāo)軸

的方向作一維搜索，求得此方向上的極小點(diǎn)。

作一維搜索，求得該方向上的極小點(diǎn)。然后，再沿

坐標(biāo)方向二維問題基本鮑威爾法的迭代過程，如圖2-29所示。

然后利用兩次搜索得到的極小點(diǎn)

及構(gòu)成一個新的迭代方向

，即進(jìn)行第二輪迭代時，

去掉第一個方向，將方向

作為最末一個迭代方向，即從出發(fā)，依次沿著方向及并沿此方向作一維搜索，得到該方向上一維極小點(diǎn)，至此完成第一輪搜索。并沿此方向搜索得到。

進(jìn)行一維搜索，得到極小點(diǎn)：、；然后利用、構(gòu)成另一個迭代方向，即

為形成第三輪迭代的方向，將加到第二輪方向組之中，并去掉第二輪迭代的第一個方向，即令

即第三輪的迭代方向?qū)嶋H上是和，由于是連接兩個平行線的方向搜索得到的二極小點(diǎn)、所構(gòu)成的，根據(jù)共軛方向的概念可知，和是互為共軛的方向。如果所考察的二維函數(shù)是二次的，即對于二維二次函數(shù)，經(jīng)過沿共軛方向、