第3章優(yōu)化設(shè)計(jì)-現(xiàn)代設(shè)計(jì)方法教學(xué)課件

優(yōu)化設(shè)計(jì)主要講述內(nèi)容優(yōu)化設(shè)計(jì)概述優(yōu)化數(shù)學(xué)模型優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一維搜索方法無約束優(yōu)化方法約束優(yōu)化方法優(yōu)化設(shè)計(jì)主要講述內(nèi)容優(yōu)化設(shè)計(jì)概述1第一節(jié)優(yōu)化設(shè)計(jì)概述定義：在現(xiàn)代計(jì)算機(jī)廣泛應(yīng)用的基礎(chǔ)上發(fā)展起來的一項(xiàng)新技術(shù)，是根據(jù)最優(yōu)化原理和方法綜合各方面的因素，以人機(jī)配合方式或“自動(dòng)探索”方式，在計(jì)算機(jī)上進(jìn)行的自動(dòng)或半自動(dòng)設(shè)計(jì)，以選出現(xiàn)有工程條件下的最佳設(shè)計(jì)方案的一種現(xiàn)代設(shè)計(jì)方法。設(shè)計(jì)原則：最優(yōu)設(shè)計(jì)設(shè)計(jì)手段：電子計(jì)算機(jī)和計(jì)算程序設(shè)計(jì)方法：最優(yōu)化數(shù)學(xué)方法第一節(jié)優(yōu)化設(shè)計(jì)概述定義：在現(xiàn)代計(jì)算機(jī)廣泛應(yīng)用的基礎(chǔ)上發(fā)展起2第一節(jié)優(yōu)化設(shè)計(jì)概述機(jī)械優(yōu)化設(shè)計(jì)在給定的載荷或環(huán)境條件下，在對(duì)機(jī)械產(chǎn)品的性態(tài)、幾何尺寸關(guān)系或其他因素的限制（約束）范圍內(nèi)，選取設(shè)計(jì)變量，建立目標(biāo)函數(shù)并使其獲得最優(yōu)值的一種新的設(shè)計(jì)方法。設(shè)計(jì)變量、目標(biāo)函數(shù)和約束條件三者在設(shè)計(jì)空間（以設(shè)計(jì)變量為坐標(biāo)軸組成的實(shí)空間）的幾何表示中構(gòu)成設(shè)計(jì)問題。第一節(jié)優(yōu)化設(shè)計(jì)概述機(jī)械優(yōu)化設(shè)計(jì)3第一節(jié)優(yōu)化設(shè)計(jì)概述優(yōu)化設(shè)計(jì)與傳統(tǒng)設(shè)計(jì)的比較

機(jī)械的傳統(tǒng)設(shè)計(jì)方法:基于手工勞動(dòng)或簡易計(jì)算工具,低效,一般只能獲得一個(gè)可行的設(shè)計(jì)方案。機(jī)械的優(yōu)化設(shè)計(jì)方法：基于計(jì)算機(jī)的應(yīng)用，從實(shí)際問題中抽象出數(shù)學(xué)模型;選擇合適的優(yōu)化方法求解數(shù)學(xué)模型。以人機(jī)配合或自動(dòng)搜索方式進(jìn)行，能從“所有的”可行方案中找出“最優(yōu)的”設(shè)計(jì)方案。第一節(jié)優(yōu)化設(shè)計(jì)概述優(yōu)化設(shè)計(jì)與傳統(tǒng)設(shè)計(jì)的比較4第一節(jié)優(yōu)化設(shè)計(jì)概述優(yōu)化設(shè)計(jì)的求解方法

古典方法:微分法;變分法。僅能解決簡單的極值問題。現(xiàn)代方法:數(shù)學(xué)規(guī)劃方法，可求解包含等式約束和不等式約束的復(fù)雜的優(yōu)化問題。有線性規(guī)劃、非線性規(guī)劃、幾何規(guī)劃、動(dòng)態(tài)規(guī)劃和混合離散規(guī)劃等。第一節(jié)優(yōu)化設(shè)計(jì)概述優(yōu)化設(shè)計(jì)的求解方法古典5第一節(jié)優(yōu)化設(shè)計(jì)方法概述優(yōu)化設(shè)計(jì)方法的發(fā)展是適于生產(chǎn)建設(shè)、計(jì)劃管理、科學(xué)實(shí)驗(yàn)和戰(zhàn)爭的需要發(fā)展起來的。1）二十世紀(jì)三十年代.前蘇聯(lián)Канторович根據(jù)生產(chǎn)組織和計(jì)劃管理的需要提出線性規(guī)劃問題.在第二次世界大戰(zhàn)期間出于戰(zhàn)爭運(yùn)輸需要，提出線性規(guī)劃問題的解法；2）二十世紀(jì)五十年代末.H.W.Kuhn&A.W.Tucker提出非線性規(guī)劃的基本定理,奠定了非線性規(guī)劃的理論基礎(chǔ).其求解方法在六十年代獲得飛速發(fā)展;第一節(jié)優(yōu)化設(shè)計(jì)方法概述優(yōu)化設(shè)計(jì)方法的發(fā)展是適于生產(chǎn)建設(shè)、計(jì)6第一節(jié)優(yōu)化設(shè)計(jì)概述3)二十世紀(jì)六十年代.美數(shù)學(xué)家R.J.Duffin提出了幾何規(guī)劃,可把高度非線性的問題轉(zhuǎn)化為具有線性約束的問題來求解,使計(jì)算大為簡化;4)動(dòng)態(tài)規(guī)劃由R.Bellman創(chuàng)立,可解與時(shí)間有關(guān)的最優(yōu)化問題;5)混合離散規(guī)劃是二十世紀(jì)八十年代提出的,目前仍在發(fā)展過程中。優(yōu)化設(shè)計(jì)方法的發(fā)展第一節(jié)優(yōu)化設(shè)計(jì)概述3)二十世紀(jì)六十年代.美數(shù)學(xué)家R.J.7第一節(jié)優(yōu)化設(shè)計(jì)概述*最優(yōu)化方法用于機(jī)械設(shè)計(jì)是從二十世紀(jì)六十年代開始的,較早的成果主要反映在機(jī)構(gòu)的優(yōu)化設(shè)計(jì)方面,現(xiàn)已廣泛用于機(jī)械零部件設(shè)計(jì)和機(jī)械系統(tǒng)的優(yōu)化設(shè)計(jì).優(yōu)化設(shè)計(jì)方法的發(fā)展第一節(jié)優(yōu)化設(shè)計(jì)概述*最優(yōu)化方法用于機(jī)械設(shè)計(jì)是從二十世紀(jì)六8第二節(jié)優(yōu)化數(shù)學(xué)模型引例1.要用薄鋼板制造一體積為5的長方形汽車貨箱(無上蓋),其長度要求不超過4m.問如何設(shè)計(jì)可使耗用的鋼板表面積最小?第二節(jié)優(yōu)化數(shù)學(xué)模型引例9第二節(jié)優(yōu)化數(shù)學(xué)模型解:設(shè)貨箱的長、寬、高分別為，該問題可表示為：求

使

達(dá)到最小滿足于其解為：第二節(jié)優(yōu)化數(shù)學(xué)模型解:設(shè)貨箱的長、寬、高分別為10該問題可表示為求使?jié)M足于解：由有2.設(shè)計(jì)一曲柄搖桿機(jī)構(gòu).已知:要求:使達(dá)到最大.該問題可表示為解：由有2.設(shè)11第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型

求使?jié)M足于第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型求使?jié)M足于12第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型

完整的規(guī)格化的數(shù)學(xué)模型包含三要素：設(shè)計(jì)變量，目標(biāo)函數(shù)，約束函數(shù)。由于數(shù)學(xué)模型構(gòu)成不同，可以分為：無約束優(yōu)化有約束優(yōu)化線性規(guī)劃非線性規(guī)劃第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型完整的規(guī)格化的數(shù)13第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型

例:求解二維問題s.t.X2X1f123第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型例:求解二維問題14第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型

第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型15第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量

在設(shè)計(jì)中需進(jìn)行優(yōu)選的獨(dú)立的待求參數(shù)；ⅰ)設(shè)計(jì)常量—預(yù)先已給定的參數(shù)；ⅱ)設(shè)計(jì)方案—由設(shè)計(jì)常量和設(shè)計(jì)變量組成。ⅲ)維數(shù)—設(shè)計(jì)變量的個(gè)數(shù)n.通常,設(shè)計(jì)自由度,越能獲得理想的結(jié)果,但求解難度.第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量在設(shè)計(jì)中需進(jìn)行優(yōu)選的16第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量

1)設(shè)計(jì)點(diǎn)與設(shè)計(jì)向量—每組設(shè)計(jì)變量值對(duì)應(yīng)于以n個(gè)設(shè)計(jì)變量為坐標(biāo)軸的n維空間上的一個(gè)點(diǎn)，該點(diǎn)稱設(shè)計(jì)點(diǎn).原點(diǎn)到該點(diǎn)的向量稱設(shè)計(jì)向量.*可用數(shù)組表示：*設(shè)計(jì)點(diǎn)有連續(xù)與不連續(xù)之分;第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量1)設(shè)計(jì)點(diǎn)與設(shè)計(jì)向量17第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量

2)設(shè)計(jì)空間—設(shè)計(jì)點(diǎn)的集合（維實(shí)歐氏空間）。當(dāng)設(shè)計(jì)點(diǎn)連續(xù)時(shí),為直線;為平面;為立體空間;為超越空間.第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量2)設(shè)計(jì)空間—設(shè)計(jì)點(diǎn)18第二節(jié)優(yōu)化數(shù)學(xué)模型四.目標(biāo)函數(shù)

最好的性能;最小的重量;最緊湊的外形;最小的生產(chǎn)成本;最大的經(jīng)濟(jì)效益等.---對(duì)極大化問題可取原函數(shù)的負(fù)值③常處理為極小化形式;②單目標(biāo)和多目標(biāo)；①常用指標(biāo):數(shù)學(xué)模型中用來評(píng)價(jià)設(shè)計(jì)方案優(yōu)劣的函數(shù)式（又稱評(píng)價(jià)函數(shù)):第二節(jié)優(yōu)化數(shù)學(xué)模型四.目標(biāo)函數(shù)最19第二節(jié)優(yōu)化數(shù)學(xué)模型四.目標(biāo)函數(shù)

在無約束極小點(diǎn)處，等值線一般收縮一個(gè)點(diǎn)。如:目標(biāo)函數(shù)的等值線（面）—能使目標(biāo)函數(shù)取某一定值的所有設(shè)計(jì)點(diǎn)的集合;第二節(jié)優(yōu)化數(shù)學(xué)模型四.目標(biāo)函數(shù)在無約束極小點(diǎn)處，20第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)

—對(duì)設(shè)計(jì)變量的取值范圍加以限制的條件；為使問題有解，須使(1)按約束的數(shù)學(xué)形式分不等式約束：

等式約束：第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)—對(duì)設(shè)計(jì)變量的取值范21第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)

—對(duì)設(shè)計(jì)變量的取值范圍加以限制的條件；---由需滿足的某種性能條件而導(dǎo)出的約束(如強(qiáng)度條件、剛度條件、曲柄存在條件等）。---對(duì)某個(gè)設(shè)計(jì)變量直接給出取值范圍:邊界約束性能約束(2)按約束的作用分*此外，也有將約束分成顯約束和隱約束的。第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)—對(duì)設(shè)計(jì)變量的取值范22第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)

(2)不可行域:

—滿足約束條件的設(shè)計(jì)點(diǎn)的集合

用D表示:(1)可行域—約束函數(shù)將設(shè)計(jì)空間分為可行域和不可行域第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)(2)不可行域:23第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)

滿足

的約束為起作用約束,否則為不起作用的約束.(等式約束一定是起作用約束)ⅲ)起作用的約束與不起作用的約束約束邊界上的可行點(diǎn)為邊界點(diǎn),其余可行點(diǎn)為內(nèi)點(diǎn).ⅱ)邊界點(diǎn)與內(nèi)點(diǎn)D內(nèi)的設(shè)計(jì)點(diǎn)為可行點(diǎn),否則為不可行點(diǎn).*ⅰ)可行點(diǎn)與不可行點(diǎn)第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)滿足24第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

優(yōu)化設(shè)計(jì)工作包括兩部分內(nèi)容：將設(shè)計(jì)問題的物理模型轉(zhuǎn)化為數(shù)學(xué)模型；用適當(dāng)?shù)淖顑?yōu)化方法求解數(shù)學(xué)模型。1)解析法---對(duì)簡單的無約束問題及等式約束問題;2)圖解法---對(duì)簡單的低維問題;3)數(shù)值迭代法---利用計(jì)算機(jī)按某種邏輯方式反復(fù)運(yùn)算,是最基本的方法。第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解優(yōu)化設(shè)計(jì)工25第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

產(chǎn)生點(diǎn)列:使得:當(dāng)滿足終止迭代條件時(shí),便認(rèn)為達(dá)到了最優(yōu)點(diǎn).迭代過程3)數(shù)值迭代法---利用計(jì)算機(jī)按某種邏輯方式反復(fù)運(yùn)算,是最基本的方法。第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解產(chǎn)生點(diǎn)列:26第二節(jié)優(yōu)化數(shù)學(xué)模型?。┑?六.優(yōu)化數(shù)學(xué)模型的求解

其中,

稱為迭代點(diǎn).第二節(jié)優(yōu)化數(shù)學(xué)模型ⅰ）迭代公式:六.優(yōu)化數(shù)學(xué)模型的求解27第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

1.初始點(diǎn):2.搜索方向:3.步長:4.是否終止迭代.ⅱ）需解決的問題：--后三個(gè)問題是每次迭代都要解決的問題第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解1.初28第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：算法的收斂性第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的29第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：一般根據(jù)算法對(duì)正定二次函數(shù)的求解能力來判斷，能在有限步迭代中得到其極小點(diǎn)，稱算法具有二次收斂性。具有二次收斂性的算法是收斂速度較高的方法。算法的收斂速度第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的30第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：算法的收斂準(zhǔn)則①點(diǎn)距準(zhǔn)則第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的31第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：算法的收斂準(zhǔn)則②目標(biāo)函數(shù)下降量準(zhǔn)則相對(duì)下降量準(zhǔn)則絕對(duì)下降量準(zhǔn)則第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的32第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：算法的收斂準(zhǔn)則③梯度準(zhǔn)則第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的33第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：算法的收斂準(zhǔn)則③梯度準(zhǔn)則以上各準(zhǔn)則單獨(dú)使用時(shí)并非十分可靠，有時(shí)需幾種準(zhǔn)則聯(lián)用。第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的34第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式

一元函數(shù)的Taylor展開式*在實(shí)際計(jì)算中,常取前三項(xiàng)(二次函數(shù))來近似原函數(shù):第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式一元函35第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式

多元函數(shù)的Taylor展開式第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式多元函36第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式

多元函數(shù)的Taylor展開式梯度海賽(Hessian)矩陣第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式多元函37第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)故解：例：將函數(shù)

寫成在點(diǎn)

處泰勒展開式的矩陣形式。第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)故解：例：將函數(shù)38第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)二.二次其次矩陣

系數(shù)矩陣第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)二.二次其次矩陣系數(shù)矩陣39第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)二.二次其次矩陣

*矩陣A為正定的充要條件--A的各階主子式均大于零。如

為正定，則必有：第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)二.二次其次矩陣*矩陣A40第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)

函數(shù)沿指定方向

的平均變化率的極限。第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)函數(shù)沿指定方向41第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)

第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)42第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)

第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)43第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.梯度

令單位矢量于是第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.梯度令單位矢量于是44第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.梯度

從上式可得出如下結(jié)論：最優(yōu)點(diǎn)*最速下降只是局部性質(zhì).4）在與梯度垂直的方向（等值線的切線方向）上，函數(shù)的變化率為零。2）梯度的模是最大的方向?qū)?shù),負(fù)梯度方向是函數(shù)的最速下降方向；1）方向?qū)?shù)是梯度在指定方向上的投影；3）最速下降方向?yàn)榈戎稻€（面）的法線方向；第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.梯度從上式可得出如下結(jié)45第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向

*

幾何意義:經(jīng)過線性變換A后成了與

正交的向量.例：

設(shè)A為n*n階正定對(duì)稱矩陣，是兩個(gè)n維向量，若存在則稱

對(duì)A共軛。第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向*幾何意義46第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向

*這種性質(zhì)稱為有限步收斂性（亦稱二次收斂性）（2）從任意選定的初始點(diǎn)出發(fā)，只要依次沿n個(gè)共軛方向進(jìn)行一維搜索，一輪后便可達(dá)到n元正定二次函數(shù)的極小點(diǎn)。（1）若矢量系

彼此對(duì)正定對(duì)稱矩陣A共軛，則它們組成線性無關(guān)的矢量系；共軛方向的性質(zhì)第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向*這種性質(zhì)47第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向

正定二元二次函數(shù)的性質(zhì)（1）正定二元二次函數(shù)的等值線是一族同心橢圓，其中心坐標(biāo)就是該函數(shù)的極小點(diǎn)。（2）過同心橢圓族的中心作任意直線與橢圓族中任意兩橢圓相交，再過兩交點(diǎn)所作相應(yīng)橢圓的切線必相互平行。逆命題:

設(shè)兩平行線與同心橢圓族中兩橢圓分別相切于

點(diǎn),則過

的直線必通過橢圓族的中心。第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向正定二元二次函48第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向

構(gòu)成共軛方向的方法設(shè)

為平行于

的兩條直線，則過這兩直線上正定n元二次目標(biāo)函數(shù)的極小點(diǎn)

的向量

和

對(duì)Hession矩陣A共軛。

第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向構(gòu)成共軛方向的49

再從

出發(fā)，沿

搜索得2）取初始點(diǎn)，沿

方向搜索

解：1）例：對(duì)于目標(biāo)函數(shù)，給定，試求出與

共軛的方向，并求出目標(biāo)函數(shù)的極小點(diǎn)。再從出發(fā)，沿搜索得2）取初始點(diǎn)50第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性

XX2X1凸集非凸集凹集*若X是X1和X2連線上的點(diǎn)，則有凸集---若任意兩點(diǎn)

，對(duì)于

，恒有。第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性XX2X1凸51第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性

凸函數(shù)—設(shè)f(X)為定義在Rn內(nèi)一個(gè)凸集D上的函數(shù)，若對(duì)于

及D上的任意兩點(diǎn)X1,X2,恒有第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性凸函數(shù)—設(shè)f52第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性

為凸函數(shù)的充要條件是對(duì)于任意的(D為凸集),凸函數(shù)的判定第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性為凸函數(shù)的充53第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)六.優(yōu)化問題存在極值的條件

梯度為零向量海賽矩陣正定多元函數(shù)具有極小值的充要條件一元函數(shù)具有極小值的充要條件第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)六.優(yōu)化問題存在極值的條件54第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)六.優(yōu)化問題存在極值的條件

（2）對(duì)于整個(gè)可行域，恒有，則X*為全局極小點(diǎn)；（1）對(duì)于X*在可行域中的一個(gè)鄰域，恒有，則X*為局部極小點(diǎn)；局部極小點(diǎn)與全局極小點(diǎn)第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)六.優(yōu)化問題存在極值的條件55第四節(jié)一維搜索方法一.一維問題是多維問題的基礎(chǔ)如：*在上次迭代中已求得，由某種邏輯方式（如負(fù)梯度方向、共軛方向等）給定，每次迭代可歸結(jié)為以

為變量的一維問題。則當(dāng)?shù)谒墓?jié)一維搜索方法一.一維問題是多維問題的基礎(chǔ)如：*56第四節(jié)一維搜索方法二.的確定方法上例中，2）取最優(yōu)步長：上例中，--能使目標(biāo)函數(shù)值下降的步長；1）取下降步長（任意步長）：第四節(jié)一維搜索方法二.的確定方法上例中，2）取最優(yōu)57第四節(jié)一維搜索方法三.一維搜索的步驟2）將含最優(yōu)點(diǎn)的區(qū)間不斷縮小1）確定一個(gè)包含最優(yōu)點(diǎn)的初始搜索區(qū)間特點(diǎn)：高--低--高*區(qū)間縮短率：

當(dāng)該區(qū)間的長度小于預(yù)先給定的一個(gè)很小的正數(shù)，則可認(rèn)為該區(qū)間中的某點(diǎn)(如中點(diǎn))是最優(yōu)點(diǎn)。第四節(jié)一維搜索方法三.一維搜索的步驟2）將含最優(yōu)點(diǎn)的區(qū)間不58第四節(jié)一維搜索方法四.確定初始區(qū)間的進(jìn)退算法前進(jìn)計(jì)算后退計(jì)算—試探后作前進(jìn)或后退計(jì)算。第四節(jié)一維搜索方法四.確定初始區(qū)間的進(jìn)退算法前進(jìn)計(jì)算后退計(jì)59第四節(jié)一維搜索方法四.確定初始區(qū)間的進(jìn)退算法h=h0y1=f(x1)、x2=x1+h、y2=f(x2)給定x1、h0y1≥y2y2≥y3是h=2hx3=x2+h、y3=f(x3)結(jié)束否h=-hx3=x1y3=y1a=x1、b=x3是x1=x2y1=y2x2=x3y2=y3是a=x3、b=x1否h>0否初始進(jìn)退距計(jì)算程序框圖第四節(jié)一維搜索方法四.確定初始區(qū)間的進(jìn)退算法h=h0y1=60khx1y1x2y2x3y310.10.2090.18.2030.36.68120.40.18.2030.36.6810.74.42930.80.36.6810.74.4291.57.125khx1y1x2y2x3y3161第四節(jié)一維搜索方法五.格點(diǎn)法ab先將搜索區(qū)間分成若干等分，計(jì)算出當(dāng)中的n個(gè)等分點(diǎn)的目標(biāo)函數(shù)值。再通過比較,找出其中的最小點(diǎn)，則該點(diǎn)的兩個(gè)鄰近點(diǎn)圍成縮短了的新區(qū)間。1）基本思路第四節(jié)一維搜索方法五.格點(diǎn)法ab先將搜索區(qū)間分成62第四節(jié)一維搜索方法五.格點(diǎn)法2）每輪迭代區(qū)間的縮短率思路簡單，編程容易，宜于離散型優(yōu)化問題；計(jì)算量大，不宜用于高維優(yōu)化問題。3）特點(diǎn)第四節(jié)一維搜索方法五.格點(diǎn)法2）每輪迭代區(qū)間的縮短率思路簡63第四節(jié)一維搜索方法六.黃金分割法1）基本思路為預(yù)先給定的誤差限?？s短區(qū)間的總次數(shù)

將區(qū)間按一定的比例縮小，且正常迭代時(shí)每縮短一次區(qū)間只需計(jì)算一次函數(shù)值。第四節(jié)一維搜索方法六.黃金分割法1）基本思路為預(yù)先給定的誤64令得：其正根為：證：*①關(guān)于

的證明令得：其正根為：證：*①關(guān)于的65②關(guān)于縮小區(qū)間總次數(shù)的證明即證：②關(guān)于縮小區(qū)間總次數(shù)的證明即證：66第四節(jié)一維搜索方法六.黃金分割法2）迭代步驟給定否否是是止*也可采用迭代次數(shù)是否大于或等于k作終止準(zhǔn)則。第四節(jié)一維搜索方法六.黃金分割法2）迭代步驟給定否否是是止67第四節(jié)一維搜索方法七.二次插值法1）基本思路ⅡⅠ原函數(shù)用三點(diǎn)二次插值多項(xiàng)式來逼近原函數(shù)。第四節(jié)一維搜索方法七.二次插值法1）基本思路ⅡⅠ原函數(shù)用三68第四節(jié)一維搜索方法求出a、b后得求系數(shù)a和b求駐點(diǎn)插值多項(xiàng)式：第四節(jié)一維搜索方法求出a、b后得求系數(shù)a和b求駐點(diǎn)插值多項(xiàng)69區(qū)間的縮短x4=0.5(x1+x2)f4=f(x4)x1=x4f1=f4x3=x2f3=f2x2=x4f2=f4x1=xpf1=fpx3=x2f3=f2x2=xpf2=fpx1=x2f1=f2x2=xpf2=fpx3=xpf3=fp是否輸出二次插值法縮小區(qū)間流程圖輸入xp>x2f4>f2f2<fpf2>fpxp<x2是是是是否否否否區(qū)間的縮短x4=0.5(x1+x2)x1=x4x3=x2x170第四節(jié)一維搜索方法七.二次插值法2）迭代步驟f1=f(x1)，f3=f(x3),x2=0.5(x1+x3)，f2=f(x2)K=0A=f1(x2-x3)+f2(x3-x1)+f3(x1-x2)計(jì)算xp，fp縮短區(qū)間K=K+1xp0=xp否(xp-x1)(x3-xp)≤0xp-xp0

≤εA=0K>0x*=xp,f*=fpx*=x2,f*=f2否給定x1、x3、ε否否是結(jié)束是是是第四節(jié)一維搜索方法七.二次插值法2）迭代步驟f1=f(x171第五節(jié)無約束優(yōu)化方法一.解法分類1）直接法

其搜索方向直接取定或由計(jì)算目標(biāo)函數(shù)值所得的信息來確定；2）間接法（解析法）確定搜索方向時(shí)用到一階或（和）二階導(dǎo)數(shù)的方法。第五節(jié)無約束優(yōu)化方法一.解法分類72第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法

坐標(biāo)輪換法又稱為“變量輪換法”，“交替法”或“降維法”。是一種不需要求函數(shù)導(dǎo)數(shù)，直接探索目標(biāo)函數(shù)最優(yōu)解的方法。

每次僅對(duì)多元函數(shù)的一個(gè)變量沿其坐標(biāo)軸進(jìn)行一維探索，其余各變量均固定不動(dòng)，并依次輪換進(jìn)行一維探索的坐標(biāo)軸，完成第一輪探索后再重新進(jìn)行第二輪探索，直到找到目標(biāo)函數(shù)在全域上的最小點(diǎn)為止。基本思路第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法坐標(biāo)輪換73第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法迭代公式第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法迭代公式74第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法步長選取方法1)隨機(jī)選擇值的方法此方法每次選擇值時(shí)，需滿足下式：由于這種方法是輪流沿n個(gè)設(shè)計(jì)變量的坐標(biāo)軸方向前進(jìn)，所以此方法有時(shí)路程過于迂回曲折，因此它不是快速探索的方法。第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法步長選取方法1)隨機(jī)選75第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法步長選取方法2)加速步長法此方法先規(guī)定沿方向的初始實(shí)驗(yàn)步，確定步長的正負(fù)，當(dāng)沿坐標(biāo)軸正方向探索能使目標(biāo)函數(shù)值減小時(shí)，則取正值，否則應(yīng)取負(fù)值。

再取步長計(jì)算并判斷。當(dāng)步長不宜延伸而宜縮小時(shí)，亦可縮小，也是一直到函數(shù)達(dá)到最小值為止。第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法步長選取方法2)加速步長76加速步長法流程圖給定得出TTFTFTTFFFT結(jié)束加速步長法流程圖給定得出TTFTFTTFFFT結(jié)束77第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法步長選取方法3)最優(yōu)步長法最優(yōu)步長法是利用一維探索方方，如黃金分割法或二次插值法，來確定最優(yōu)步長值。在第k輪探索的第i次迭代中其步長為：第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法步長選取方法3)最優(yōu)步長78第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法坐標(biāo)輪換法特點(diǎn)1）編程簡單，容易掌握；2）收斂速度通常較低（其有效性取決于目標(biāo)函數(shù)的性態(tài)），僅適于低維的情況。如:(1)等值線為橢圓,且長短軸分別平行于坐標(biāo)軸時(shí)--高效(2)等值線為如圖脊線時(shí)--無效(3)一般情況--低效第五節(jié)無約束優(yōu)化方法二.坐標(biāo)輪換法坐標(biāo)輪換法特點(diǎn)1）編程簡79第五節(jié)無約束優(yōu)化方法三.最速下降法基本思路

最速下降法是以負(fù)梯度方向作為下降方向的極小化算法，又稱梯度法，是1874年法國科學(xué)家Cauchy提出的，最速下降法是無約束最優(yōu)化中最簡單的方法。柯西（Cauchy，AugustinLouis1789-1857），出生于巴黎，在數(shù)學(xué)領(lǐng)域，有很高的建樹和造詣。很多數(shù)學(xué)的定理和公式也都以他的名字來稱呼，如柯西不等式、柯西積分公式...第五節(jié)無約束優(yōu)化方法三.最速下降法基本思路80第五節(jié)無約束優(yōu)化方法三.最速下降法迭代公式(1)梯度方向是目標(biāo)函數(shù)上升最快的方向，負(fù)梯度方向則是最速下降方向(2)步長為了使目標(biāo)函數(shù)值沿搜索方向能獲得最大的下降值。步長步長第五節(jié)無約束優(yōu)化方法三.最速下降法迭代公式(1)梯度方向是81計(jì)算程序框圖給定X0,εX(K)=X0K=K+1是否結(jié)束K:=0計(jì)算程序框圖給定X0,εX(K)=X0K=K+82第五節(jié)無約束優(yōu)化方法三.最速下降法算法特點(diǎn)（1）在最速下降法中，相鄰兩個(gè)迭代點(diǎn)上的函數(shù)梯度相互垂直。迭代點(diǎn)向函數(shù)極小點(diǎn)靠近的過程，走的是曲折路線。這一次的搜索方向與前一次的搜索方向相互垂直，形成“之”字形的鋸齒現(xiàn)象。（2）在遠(yuǎn)離極小點(diǎn)的位置，每次迭代可使函數(shù)值有較多的下降。可是在接近極小點(diǎn)的位置，由于鋸齒現(xiàn)象使每次迭代行進(jìn)的距離縮短，因而收斂速度減慢。第五節(jié)無約束優(yōu)化方法三.最速下降法算法特點(diǎn)（1）在最速下降83第五節(jié)無約束優(yōu)化方法四.牛頓法（Newton-Raphson，二階梯度法）基本思路

牛頓法就是一種收斂速度很的方法，其基本思路是利用二次曲線來逐點(diǎn)近似原目標(biāo)函數(shù)，以二次曲線的極小點(diǎn)來近似原目標(biāo)函數(shù)的極小值點(diǎn)并逐漸逼近該點(diǎn)。第五節(jié)無約束優(yōu)化方法四.牛頓法（Newton-Raphso84第五節(jié)無約束優(yōu)化方法四.牛頓法（Newton-Raphson，二階梯度法）基本思路具體做法：利用二次函數(shù)（二次曲線），來逐點(diǎn)去近似或逼近原目標(biāo)函數(shù)，然后求出二次函數(shù)的最小點(diǎn)，作為對(duì)元目標(biāo)函數(shù)求優(yōu)的下一個(gè)迭代點(diǎn)，通過若干次的迭代，使迭代點(diǎn)逐步逼近元目標(biāo)函數(shù)的極小值點(diǎn)（如右圖）。第五節(jié)無約束優(yōu)化方法四.牛頓法（Newton-Raphso85第五節(jié)無約束優(yōu)化方法公式推導(dǎo)

取原目標(biāo)函數(shù)在各迭代點(diǎn)附近展開的泰勒二次多項(xiàng)式，作為每次迭代計(jì)算時(shí)用以逼近目標(biāo)函數(shù)的函數(shù)的函數(shù)表達(dá)式。令式中的Hessian矩陣=，上式可以改寫為：第五節(jié)無約束優(yōu)化方法公式推導(dǎo)取原目標(biāo)函數(shù)86第五節(jié)無約束優(yōu)化方法公式推導(dǎo)當(dāng)時(shí)可求得二次曲線的極值點(diǎn)，且當(dāng)在該處的Hessian矩陣為正定時(shí)有極小點(diǎn)。由上式得：由于是二次函數(shù)，故是線性函數(shù)。令，得到：第五節(jié)無約束優(yōu)化方法公式推導(dǎo)當(dāng)87第五節(jié)無約束優(yōu)化方法公式推導(dǎo)若為可逆矩陣，將上式兩邊左乘以整理之后得：第五節(jié)無約束優(yōu)化方法公式推導(dǎo)若88當(dāng)目標(biāo)函數(shù)是二次函數(shù)時(shí)，牛頓法變得很簡單有效，這時(shí)是一個(gè)常數(shù)矩陣，所逼近的二次曲線就變成精確表達(dá)式，而利用上式做一次迭代計(jì)算所求得的X就是最優(yōu)點(diǎn)。但在一般情況下，不一定就是二次函數(shù)，則不能一步求出極小值點(diǎn)，即極小點(diǎn)不在方向上，但由于在點(diǎn)附近函數(shù)與是近似的，所以這個(gè)方向可以作為近似方向，可以用上式求出的點(diǎn)X作為一個(gè)逼近點(diǎn)，這時(shí)上式既可以改寫成牛頓法的一般迭代公式：

第五節(jié)無約束優(yōu)化方法牛頓方向當(dāng)目標(biāo)函數(shù)是二次函數(shù)時(shí)，牛89例題：試用牛頓法球目標(biāo)函數(shù)的極小值點(diǎn)。解：取有例題：試用牛頓法球目標(biāo)函數(shù)90其逆矩陣為：則：其逆矩陣為：則：91即為最小點(diǎn)，因?yàn)槟繕?biāo)函數(shù)為二次函數(shù)，所以迭代一次就可以達(dá)到極值點(diǎn)。前面已經(jīng)說到，牛頓法對(duì)初始點(diǎn)的選擇要求較高，即使目標(biāo)函數(shù)不是二次函數(shù)，當(dāng)初始點(diǎn)選得好時(shí)，例如滿足出事誤差時(shí)，也會(huì)很快收斂，但是如果不能滿足時(shí)就不能保證有比較好的收斂性。初始點(diǎn)選擇不當(dāng)有時(shí)也會(huì)導(dǎo)致收斂到鞍點(diǎn)或不收斂，基于這種原因，對(duì)古典牛頓法要做些修改—修正牛頓法。即92牛頓修正法的方法是：由求時(shí)不是直接用原來的迭代公式計(jì)算，而是沿著點(diǎn)處的牛頓方向進(jìn)行一維探索，將該方向上的最優(yōu)點(diǎn)作為。于是牛頓迭代公式可以寫為：令第五節(jié)無約束優(yōu)化方法牛頓修正法的方法是：由求93式中探索步長為：這種修正牛頓法通常又稱為廣義牛頓法，計(jì)算量大，但是具有收斂快的優(yōu)點(diǎn)，當(dāng)初始點(diǎn)選擇不當(dāng)時(shí)，這種探索方法也會(huì)成功，（以犧牲計(jì)算量的代價(jià)得到了初始點(diǎn)的選擇任意性，因?yàn)樵谧铋_始并不是每次初始點(diǎn)都選擇的恰當(dāng)，從而使設(shè)計(jì)變得簡化）其迭代步驟如下：第五節(jié)無約束優(yōu)化方法式中探索步長為：這種修正牛頓94（1）給定初始點(diǎn)，允許誤差令（2）計(jì)算（3）檢驗(yàn)是否滿足，若滿足則迭代停止，否則進(jìn)行步驟（4）（4）令第五節(jié)無約束優(yōu)化方法（1）給定初始點(diǎn)，允許誤差95（5）從出發(fā)沿牛頓方向進(jìn)行一維探索：（6）令轉(zhuǎn)步驟（2）第五節(jié)無約束優(yōu)化方法（5）從出發(fā)沿牛頓方向進(jìn)行一維探96第五節(jié)無約束優(yōu)化方法

牛頓法及修正牛頓法的缺點(diǎn)是需要計(jì)算二階偏導(dǎo)數(shù)和矩陣，特別是還需要求逆矩陣，計(jì)算繁瑣，當(dāng)目標(biāo)函數(shù)的維數(shù)n較高時(shí)，計(jì)算量和儲(chǔ)存量都以n的平方比例增加。因此，當(dāng)目標(biāo)函數(shù)的變量較多且次數(shù)較高時(shí)，一般不用這種方法。此外，特別是當(dāng)Hessian矩陣是奇異矩陣時(shí)，其逆矩陣不存在，使得不收斂，此方法也不能用。牛頓法對(duì)初始點(diǎn)要求嚴(yán)格，修正牛頓法對(duì)初始點(diǎn)的要求不嚴(yán)格，具有二次收斂性，最優(yōu)點(diǎn)附近的收斂速度極快。對(duì)于正定二次函數(shù)的尋優(yōu)、迭代一次即可達(dá)到極小值點(diǎn)。方法特點(diǎn)第五節(jié)無約束優(yōu)化方法牛頓法及修正牛頓法的缺點(diǎn)是97五.共軛梯度法

共軛梯度法是共軛方向法的一種，在該方法中每一個(gè)共軛向量是依賴于迭代點(diǎn)處的負(fù)梯度而構(gòu)造出來的，所以稱作共軛梯度法。共軛梯度法最早是由Hestenes和Stiefle（1952）提出來的，用于解正定系數(shù)矩陣的線性方程組，在這個(gè)基礎(chǔ)上，F(xiàn)letcher和Reeves（1964）首先提出了解非線性最優(yōu)化問題的共軛梯度法。由于共軛梯度法不需要矩陣存儲(chǔ)，且有較快的收斂速度和二次終止性等優(yōu)點(diǎn)，現(xiàn)在共軛梯度法已經(jīng)廣泛地應(yīng)用與實(shí)際問題中。第五節(jié)無約束優(yōu)化方法五.共軛梯度法第五節(jié)無約束優(yōu)化方法98第五節(jié)無約束優(yōu)化方法五.共軛梯度法基本思路每輪搜索方向?yàn)橐唤M共軛方向,但第一方向?yàn)樨?fù)梯度方向.目標(biāo)函數(shù)在極值點(diǎn)附近的等值線方程為（以二元函數(shù)為例）：當(dāng)函數(shù)有極小值存在時(shí)需滿足：根據(jù)解析幾何可知滿足上式條件時(shí)等值線方程為近似橢圓族。幾何特性第五節(jié)無約束優(yōu)化方法五.共軛梯度法基本思路99如果非零向量組S1，S2，S3…,SK中的任意兩個(gè)向量關(guān)于n階實(shí)對(duì)稱矩陣A是共軛的，即滿足式SiTASj=0i≠ji，j=1,2，…，k則稱向量組S1，S2，S3,…,SK關(guān)于矩陣A是共軛的。設(shè)A為n×n階實(shí)對(duì)稱正定矩陣，而S1，S2為在n維歐氏空間En中的兩個(gè)非零向量，如果滿足式S1TAS2=0則稱向量S1與S2關(guān)于實(shí)對(duì)稱正定矩陣A是共軛的，或簡稱S1與S2關(guān)于A共軛。凡是滿足上式的向量S1和S2稱為具有A共軛方向。數(shù)學(xué)基礎(chǔ)如果非零向量組S1，S2，S3…,SK中的任意兩個(gè)向量關(guān)于n100考慮二次函數(shù)點(diǎn)出發(fā)，沿G的某一共軛方向作一維搜索，到達(dá)點(diǎn)，即數(shù)學(xué)推導(dǎo)共軛方向與梯度之間的關(guān)系考慮二次函數(shù)點(diǎn)出發(fā)，沿G的某一共軛方向作一維搜索，到達(dá)101

而在分別為點(diǎn)處的梯度所以有若和對(duì)G是共軛的，則有利用式（4-1）對(duì)兩端前乘，即得（4-1）而在分別為點(diǎn)處的梯度所以有若和102

這就是共軛方向與梯度之間的關(guān)系。此式表明沿方向進(jìn)行一維搜索，其終點(diǎn)與點(diǎn)的梯度之差與的共軛方向正交。共軛梯度法就是利用這個(gè)性質(zhì)做到不計(jì)算矩陣G就能求得共軛方向的。圖一共軛梯度法的幾何說明這就是共軛方向與梯度之間的關(guān)系。此式表明沿方103

第二方向：第一方向：*可表示為兩個(gè)負(fù)梯度方向的線性組合。圖二.共軛方向的構(gòu)成公式推導(dǎo)第二方向：第一方向：*可表示為兩個(gè)負(fù)梯度方向104

，以后新方向均按下述迭代公式產(chǎn)生：因而，因?yàn)椋ˋ是二次函數(shù)的Hessian矩陣）二次函數(shù)其梯度為故有故有又（正交）劉惟信用數(shù)學(xué)歸納法對(duì)此法的共軛性作出過證明。，以后新方向均按下述迭代公式產(chǎn)生：因而，因?yàn)椋ˋ是二次函數(shù)105

是是否否K<n給定X0,n,εK=1,X(K)=X0S(K)=-▽F(X(K))從X(K)始，沿S(K)進(jìn)行一維搜索得X(K+1)K=K+1計(jì)算結(jié)束重置負(fù)梯度方向程序框圖是是否否K<n給定X0,n,εK=1,X(K)106

1.為共軛方向法,具有二次收斂性;2.共軛梯度法是一個(gè)典型的共軛方向法，它的每一個(gè)搜索方向是互相共軛的，而這些搜索方向d僅僅是負(fù)梯度方向與上一次迭代的搜索方向的組合，因此，計(jì)算方便算法簡單,編程容易,存儲(chǔ)量小;3.需用到一階導(dǎo)數(shù)。算法特點(diǎn)1.為共軛方向法,具有二次收斂性;2.共軛梯度法是一個(gè)典型107一.等式約束問題的拉格朗日乘子法1.拉格朗日乘子法簡介2.拉格朗日乘子拉格朗日乘子法是一種將約束最優(yōu)化問題轉(zhuǎn)換為無約束最優(yōu)化問題的求優(yōu)方法。引入一個(gè)待定系數(shù)——乘子，形成新的無約束條件的目標(biāo)函數(shù)，新目標(biāo)函數(shù)的無約束最優(yōu)解就是原目標(biāo)函數(shù)的約束最優(yōu)解。設(shè)目標(biāo)函數(shù)在等式約束條件下的最優(yōu)點(diǎn)則在約束極值點(diǎn)附近函數(shù)需滿足探索方向S應(yīng)與約束函數(shù)的梯度方向交成直角第六節(jié)約束優(yōu)化方法一.等式約束問題的拉格朗日乘子法1.拉格朗日乘子法簡介2.拉108在約束最優(yōu)點(diǎn)處任何允許的位移都必須滿足聯(lián)立以上方程可得：則稱為拉格朗日待定系數(shù)，或稱拉格朗日乘子。s.t.通過求拉格朗日函數(shù)L（X，λ）的無約束極值,來求解等式約束條件下目標(biāo)函數(shù)f(x)極值。這種最優(yōu)化方法成為拉格朗日乘子法在約束最優(yōu)點(diǎn)處任何允許的位移都必須滿足聯(lián)立以上方程可得：則稱1093.建立拉氏函數(shù)4.在最優(yōu)點(diǎn)處有如下n+q個(gè)方程成立其解為q個(gè)等式約束條件的n維非線性規(guī)劃問題，其拉格朗日函數(shù)為3.建立拉氏函數(shù)4.在最優(yōu)點(diǎn)處有如下n+q個(gè)方程成立其解為110

基本思想：通過構(gòu)造罰函數(shù)把約束問題轉(zhuǎn)化為一系列無約束最優(yōu)化問題，進(jìn)而用無約束最優(yōu)化方法去求解，這類方法稱為序列無約束最小化方法。§5-10懲罰函數(shù)法二.懲罰函數(shù)法基本思想：通過構(gòu)造罰函數(shù)把約束問題轉(zhuǎn)化為一系列無約111

將有約束的優(yōu)化問題轉(zhuǎn)化為無約束優(yōu)化問題來求解。前提：一是不能破壞約束問題的約束條件，二是使它歸結(jié)到原約束問題的同一最優(yōu)解上去。

構(gòu)成一個(gè)新的目標(biāo)函數(shù)，稱為懲罰函數(shù)

將有約束的優(yōu)化問題轉(zhuǎn)化為無約束優(yōu)化問題來求解。前提：112從而有懲罰項(xiàng)必須具有以下極限性質(zhì)：

求解該新目標(biāo)函數(shù)的無約束極小值，以期得到原問題的約束最優(yōu)解。按一定的法則改變罰因子r1和r2的值，求得一序列的無約束最優(yōu)解，不斷地逼近原約束優(yōu)化問題的最優(yōu)解。從而有懲罰項(xiàng)必須具有以下極限性質(zhì)：求解該新目標(biāo)函數(shù)的113優(yōu)化設(shè)計(jì)主要講述內(nèi)容優(yōu)化設(shè)計(jì)概述優(yōu)化數(shù)學(xué)模型優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一維搜索方法無約束優(yōu)化方法約束優(yōu)化方法優(yōu)化設(shè)計(jì)主要講述內(nèi)容優(yōu)化設(shè)計(jì)概述114第一節(jié)優(yōu)化設(shè)計(jì)概述定義：在現(xiàn)代計(jì)算機(jī)廣泛應(yīng)用的基礎(chǔ)上發(fā)展起來的一項(xiàng)新技術(shù)，是根據(jù)最優(yōu)化原理和方法綜合各方面的因素，以人機(jī)配合方式或“自動(dòng)探索”方式，在計(jì)算機(jī)上進(jìn)行的自動(dòng)或半自動(dòng)設(shè)計(jì)，以選出現(xiàn)有工程條件下的最佳設(shè)計(jì)方案的一種現(xiàn)代設(shè)計(jì)方法。設(shè)計(jì)原則：最優(yōu)設(shè)計(jì)設(shè)計(jì)手段：電子計(jì)算機(jī)和計(jì)算程序設(shè)計(jì)方法：最優(yōu)化數(shù)學(xué)方法第一節(jié)優(yōu)化設(shè)計(jì)概述定義：在現(xiàn)代計(jì)算機(jī)廣泛應(yīng)用的基礎(chǔ)上發(fā)展起115第一節(jié)優(yōu)化設(shè)計(jì)概述機(jī)械優(yōu)化設(shè)計(jì)在給定的載荷或環(huán)境條件下，在對(duì)機(jī)械產(chǎn)品的性態(tài)、幾何尺寸關(guān)系或其他因素的限制（約束）范圍內(nèi)，選取設(shè)計(jì)變量，建立目標(biāo)函數(shù)并使其獲得最優(yōu)值的一種新的設(shè)計(jì)方法。設(shè)計(jì)變量、目標(biāo)函數(shù)和約束條件三者在設(shè)計(jì)空間（以設(shè)計(jì)變量為坐標(biāo)軸組成的實(shí)空間）的幾何表示中構(gòu)成設(shè)計(jì)問題。第一節(jié)優(yōu)化設(shè)計(jì)概述機(jī)械優(yōu)化設(shè)計(jì)116第一節(jié)優(yōu)化設(shè)計(jì)概述優(yōu)化設(shè)計(jì)與傳統(tǒng)設(shè)計(jì)的比較

機(jī)械的傳統(tǒng)設(shè)計(jì)方法:基于手工勞動(dòng)或簡易計(jì)算工具,低效,一般只能獲得一個(gè)可行的設(shè)計(jì)方案。機(jī)械的優(yōu)化設(shè)計(jì)方法：基于計(jì)算機(jī)的應(yīng)用，從實(shí)際問題中抽象出數(shù)學(xué)模型;選擇合適的優(yōu)化方法求解數(shù)學(xué)模型。以人機(jī)配合或自動(dòng)搜索方式進(jìn)行，能從“所有的”可行方案中找出“最優(yōu)的”設(shè)計(jì)方案。第一節(jié)優(yōu)化設(shè)計(jì)概述優(yōu)化設(shè)計(jì)與傳統(tǒng)設(shè)計(jì)的比較117第一節(jié)優(yōu)化設(shè)計(jì)概述優(yōu)化設(shè)計(jì)的求解方法

古典方法:微分法;變分法。僅能解決簡單的極值問題?，F(xiàn)代方法:數(shù)學(xué)規(guī)劃方法，可求解包含等式約束和不等式約束的復(fù)雜的優(yōu)化問題。有線性規(guī)劃、非線性規(guī)劃、幾何規(guī)劃、動(dòng)態(tài)規(guī)劃和混合離散規(guī)劃等。第一節(jié)優(yōu)化設(shè)計(jì)概述優(yōu)化設(shè)計(jì)的求解方法古典118第一節(jié)優(yōu)化設(shè)計(jì)方法概述優(yōu)化設(shè)計(jì)方法的發(fā)展是適于生產(chǎn)建設(shè)、計(jì)劃管理、科學(xué)實(shí)驗(yàn)和戰(zhàn)爭的需要發(fā)展起來的。1）二十世紀(jì)三十年代.前蘇聯(lián)Канторович根據(jù)生產(chǎn)組織和計(jì)劃管理的需要提出線性規(guī)劃問題.在第二次世界大戰(zhàn)期間出于戰(zhàn)爭運(yùn)輸需要，提出線性規(guī)劃問題的解法；2）二十世紀(jì)五十年代末.H.W.Kuhn&A.W.Tucker提出非線性規(guī)劃的基本定理,奠定了非線性規(guī)劃的理論基礎(chǔ).其求解方法在六十年代獲得飛速發(fā)展;第一節(jié)優(yōu)化設(shè)計(jì)方法概述優(yōu)化設(shè)計(jì)方法的發(fā)展是適于生產(chǎn)建設(shè)、計(jì)119第一節(jié)優(yōu)化設(shè)計(jì)概述3)二十世紀(jì)六十年代.美數(shù)學(xué)家R.J.Duffin提出了幾何規(guī)劃,可把高度非線性的問題轉(zhuǎn)化為具有線性約束的問題來求解,使計(jì)算大為簡化;4)動(dòng)態(tài)規(guī)劃由R.Bellman創(chuàng)立,可解與時(shí)間有關(guān)的最優(yōu)化問題;5)混合離散規(guī)劃是二十世紀(jì)八十年代提出的,目前仍在發(fā)展過程中。優(yōu)化設(shè)計(jì)方法的發(fā)展第一節(jié)優(yōu)化設(shè)計(jì)概述3)二十世紀(jì)六十年代.美數(shù)學(xué)家R.J.120第一節(jié)優(yōu)化設(shè)計(jì)概述*最優(yōu)化方法用于機(jī)械設(shè)計(jì)是從二十世紀(jì)六十年代開始的,較早的成果主要反映在機(jī)構(gòu)的優(yōu)化設(shè)計(jì)方面,現(xiàn)已廣泛用于機(jī)械零部件設(shè)計(jì)和機(jī)械系統(tǒng)的優(yōu)化設(shè)計(jì).優(yōu)化設(shè)計(jì)方法的發(fā)展第一節(jié)優(yōu)化設(shè)計(jì)概述*最優(yōu)化方法用于機(jī)械設(shè)計(jì)是從二十世紀(jì)六121第二節(jié)優(yōu)化數(shù)學(xué)模型引例1.要用薄鋼板制造一體積為5的長方形汽車貨箱(無上蓋),其長度要求不超過4m.問如何設(shè)計(jì)可使耗用的鋼板表面積最小?第二節(jié)優(yōu)化數(shù)學(xué)模型引例122第二節(jié)優(yōu)化數(shù)學(xué)模型解:設(shè)貨箱的長、寬、高分別為，該問題可表示為：求

使

達(dá)到最小滿足于其解為：第二節(jié)優(yōu)化數(shù)學(xué)模型解:設(shè)貨箱的長、寬、高分別為123該問題可表示為求使?jié)M足于解：由有2.設(shè)計(jì)一曲柄搖桿機(jī)構(gòu).已知:要求:使達(dá)到最大.該問題可表示為解：由有2.設(shè)124第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型

求使?jié)M足于第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型求使?jié)M足于125第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型

完整的規(guī)格化的數(shù)學(xué)模型包含三要素：設(shè)計(jì)變量，目標(biāo)函數(shù)，約束函數(shù)。由于數(shù)學(xué)模型構(gòu)成不同，可以分為：無約束優(yōu)化有約束優(yōu)化線性規(guī)劃非線性規(guī)劃第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型完整的規(guī)格化的數(shù)126第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型

例:求解二維問題s.t.X2X1f123第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型例:求解二維問題127第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型

第二節(jié)優(yōu)化數(shù)學(xué)模型二.優(yōu)化數(shù)學(xué)模型128第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量

在設(shè)計(jì)中需進(jìn)行優(yōu)選的獨(dú)立的待求參數(shù)；ⅰ)設(shè)計(jì)常量—預(yù)先已給定的參數(shù)；ⅱ)設(shè)計(jì)方案—由設(shè)計(jì)常量和設(shè)計(jì)變量組成。ⅲ)維數(shù)—設(shè)計(jì)變量的個(gè)數(shù)n.通常,設(shè)計(jì)自由度,越能獲得理想的結(jié)果,但求解難度.第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量在設(shè)計(jì)中需進(jìn)行優(yōu)選的129第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量

1)設(shè)計(jì)點(diǎn)與設(shè)計(jì)向量—每組設(shè)計(jì)變量值對(duì)應(yīng)于以n個(gè)設(shè)計(jì)變量為坐標(biāo)軸的n維空間上的一個(gè)點(diǎn)，該點(diǎn)稱設(shè)計(jì)點(diǎn).原點(diǎn)到該點(diǎn)的向量稱設(shè)計(jì)向量.*可用數(shù)組表示：*設(shè)計(jì)點(diǎn)有連續(xù)與不連續(xù)之分;第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量1)設(shè)計(jì)點(diǎn)與設(shè)計(jì)向量130第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量

2)設(shè)計(jì)空間—設(shè)計(jì)點(diǎn)的集合（維實(shí)歐氏空間）。當(dāng)設(shè)計(jì)點(diǎn)連續(xù)時(shí),為直線;為平面;為立體空間;為超越空間.第二節(jié)優(yōu)化數(shù)學(xué)模型三.設(shè)計(jì)變量2)設(shè)計(jì)空間—設(shè)計(jì)點(diǎn)131第二節(jié)優(yōu)化數(shù)學(xué)模型四.目標(biāo)函數(shù)

最好的性能;最小的重量;最緊湊的外形;最小的生產(chǎn)成本;最大的經(jīng)濟(jì)效益等.---對(duì)極大化問題可取原函數(shù)的負(fù)值③常處理為極小化形式;②單目標(biāo)和多目標(biāo)；①常用指標(biāo):數(shù)學(xué)模型中用來評(píng)價(jià)設(shè)計(jì)方案優(yōu)劣的函數(shù)式（又稱評(píng)價(jià)函數(shù)):第二節(jié)優(yōu)化數(shù)學(xué)模型四.目標(biāo)函數(shù)最132第二節(jié)優(yōu)化數(shù)學(xué)模型四.目標(biāo)函數(shù)

在無約束極小點(diǎn)處，等值線一般收縮一個(gè)點(diǎn)。如:目標(biāo)函數(shù)的等值線（面）—能使目標(biāo)函數(shù)取某一定值的所有設(shè)計(jì)點(diǎn)的集合;第二節(jié)優(yōu)化數(shù)學(xué)模型四.目標(biāo)函數(shù)在無約束極小點(diǎn)處，133第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)

—對(duì)設(shè)計(jì)變量的取值范圍加以限制的條件；為使問題有解，須使(1)按約束的數(shù)學(xué)形式分不等式約束：

等式約束：第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)—對(duì)設(shè)計(jì)變量的取值范134第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)

—對(duì)設(shè)計(jì)變量的取值范圍加以限制的條件；---由需滿足的某種性能條件而導(dǎo)出的約束(如強(qiáng)度條件、剛度條件、曲柄存在條件等）。---對(duì)某個(gè)設(shè)計(jì)變量直接給出取值范圍:邊界約束性能約束(2)按約束的作用分*此外，也有將約束分成顯約束和隱約束的。第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)—對(duì)設(shè)計(jì)變量的取值范135第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)

(2)不可行域:

—滿足約束條件的設(shè)計(jì)點(diǎn)的集合

用D表示:(1)可行域—約束函數(shù)將設(shè)計(jì)空間分為可行域和不可行域第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)(2)不可行域:136第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)

滿足

的約束為起作用約束,否則為不起作用的約束.(等式約束一定是起作用約束)ⅲ)起作用的約束與不起作用的約束約束邊界上的可行點(diǎn)為邊界點(diǎn),其余可行點(diǎn)為內(nèi)點(diǎn).ⅱ)邊界點(diǎn)與內(nèi)點(diǎn)D內(nèi)的設(shè)計(jì)點(diǎn)為可行點(diǎn),否則為不可行點(diǎn).*ⅰ)可行點(diǎn)與不可行點(diǎn)第二節(jié)優(yōu)化數(shù)學(xué)模型五.約束函數(shù)滿足137第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

優(yōu)化設(shè)計(jì)工作包括兩部分內(nèi)容：將設(shè)計(jì)問題的物理模型轉(zhuǎn)化為數(shù)學(xué)模型；用適當(dāng)?shù)淖顑?yōu)化方法求解數(shù)學(xué)模型。1)解析法---對(duì)簡單的無約束問題及等式約束問題;2)圖解法---對(duì)簡單的低維問題;3)數(shù)值迭代法---利用計(jì)算機(jī)按某種邏輯方式反復(fù)運(yùn)算,是最基本的方法。第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解優(yōu)化設(shè)計(jì)工138第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

產(chǎn)生點(diǎn)列:使得:當(dāng)滿足終止迭代條件時(shí),便認(rèn)為達(dá)到了最優(yōu)點(diǎn).迭代過程3)數(shù)值迭代法---利用計(jì)算機(jī)按某種邏輯方式反復(fù)運(yùn)算,是最基本的方法。第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解產(chǎn)生點(diǎn)列:139第二節(jié)優(yōu)化數(shù)學(xué)模型ⅰ）迭代公式:六.優(yōu)化數(shù)學(xué)模型的求解

其中,

稱為迭代點(diǎn).第二節(jié)優(yōu)化數(shù)學(xué)模型?。┑?六.優(yōu)化數(shù)學(xué)模型的求解140第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

1.初始點(diǎn):2.搜索方向:3.步長:4.是否終止迭代.ⅱ）需解決的問題：--后三個(gè)問題是每次迭代都要解決的問題第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解1.初141第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：算法的收斂性第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的142第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：一般根據(jù)算法對(duì)正定二次函數(shù)的求解能力來判斷，能在有限步迭代中得到其極小點(diǎn)，稱算法具有二次收斂性。具有二次收斂性的算法是收斂速度較高的方法。算法的收斂速度第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的143第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：算法的收斂準(zhǔn)則①點(diǎn)距準(zhǔn)則第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的144第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：算法的收斂準(zhǔn)則②目標(biāo)函數(shù)下降量準(zhǔn)則相對(duì)下降量準(zhǔn)則絕對(duì)下降量準(zhǔn)則第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的145第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：算法的收斂準(zhǔn)則③梯度準(zhǔn)則第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的146第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解

ⅲ）算法的收斂性、收斂速度和收斂準(zhǔn)則：算法的收斂準(zhǔn)則③梯度準(zhǔn)則以上各準(zhǔn)則單獨(dú)使用時(shí)并非十分可靠，有時(shí)需幾種準(zhǔn)則聯(lián)用。第二節(jié)優(yōu)化數(shù)學(xué)模型六.優(yōu)化數(shù)學(xué)模型的求解ⅲ）算法的147第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式

一元函數(shù)的Taylor展開式*在實(shí)際計(jì)算中,常取前三項(xiàng)(二次函數(shù))來近似原函數(shù):第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式一元函148第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式

多元函數(shù)的Taylor展開式第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式多元函149第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式

多元函數(shù)的Taylor展開式梯度海賽(Hessian)矩陣第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一.函數(shù)的泰勒展開式多元函150第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)故解：例：將函數(shù)

寫成在點(diǎn)

處泰勒展開式的矩陣形式。第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)故解：例：將函數(shù)151第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)二.二次其次矩陣

系數(shù)矩陣第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)二.二次其次矩陣系數(shù)矩陣152第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)二.二次其次矩陣

*矩陣A為正定的充要條件--A的各階主子式均大于零。如

為正定，則必有：第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)二.二次其次矩陣*矩陣A153第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)

函數(shù)沿指定方向

的平均變化率的極限。第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)函數(shù)沿指定方向154第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)

第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)155第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)

第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.方向?qū)?shù)156第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.梯度

令單位矢量于是第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.梯度令單位矢量于是157第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.梯度

從上式可得出如下結(jié)論：最優(yōu)點(diǎn)*最速下降只是局部性質(zhì).4）在與梯度垂直的方向（等值線的切線方向）上，函數(shù)的變化率為零。2）梯度的模是最大的方向?qū)?shù),負(fù)梯度方向是函數(shù)的最速下降方向；1）方向?qū)?shù)是梯度在指定方向上的投影；3）最速下降方向?yàn)榈戎稻€（面）的法線方向；第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)三.梯度從上式可得出如下結(jié)158第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向

*

幾何意義:經(jīng)過線性變換A后成了與

正交的向量.例：

設(shè)A為n*n階正定對(duì)稱矩陣，是兩個(gè)n維向量，若存在則稱

對(duì)A共軛。第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向*幾何意義159第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向

*這種性質(zhì)稱為有限步收斂性（亦稱二次收斂性）（2）從任意選定的初始點(diǎn)出發(fā)，只要依次沿n個(gè)共軛方向進(jìn)行一維搜索，一輪后便可達(dá)到n元正定二次函數(shù)的極小點(diǎn)。（1）若矢量系

彼此對(duì)正定對(duì)稱矩陣A共軛，則它們組成線性無關(guān)的矢量系；共軛方向的性質(zhì)第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向*這種性質(zhì)160第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向

正定二元二次函數(shù)的性質(zhì)（1）正定二元二次函數(shù)的等值線是一族同心橢圓，其中心坐標(biāo)就是該函數(shù)的極小點(diǎn)。（2）過同心橢圓族的中心作任意直線與橢圓族中任意兩橢圓相交，再過兩交點(diǎn)所作相應(yīng)橢圓的切線必相互平行。逆命題:

設(shè)兩平行線與同心橢圓族中兩橢圓分別相切于

點(diǎn),則過

的直線必通過橢圓族的中心。第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向正定二元二次函161第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向

構(gòu)成共軛方向的方法設(shè)

為平行于

的兩條直線，則過這兩直線上正定n元二次目標(biāo)函數(shù)的極小點(diǎn)

的向量

和

對(duì)Hession矩陣A共軛。

第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)四.共軛方向構(gòu)成共軛方向的162

再從

出發(fā)，沿

搜索得2）取初始點(diǎn)，沿

方向搜索

解：1）例：對(duì)于目標(biāo)函數(shù)，給定，試求出與

共軛的方向，并求出目標(biāo)函數(shù)的極小點(diǎn)。再從出發(fā)，沿搜索得2）取初始點(diǎn)163第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性

XX2X1凸集非凸集凹集*若X是X1和X2連線上的點(diǎn)，則有凸集---若任意兩點(diǎn)

，對(duì)于

，恒有。第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性XX2X1凸164第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性

凸函數(shù)—設(shè)f(X)為定義在Rn內(nèi)一個(gè)凸集D上的函數(shù)，若對(duì)于

及D上的任意兩點(diǎn)X1,X2,恒有第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性凸函數(shù)—設(shè)f165第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性

為凸函數(shù)的充要條件是對(duì)于任意的(D為凸集),凸函數(shù)的判定第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)五.函數(shù)的凸性為凸函數(shù)的充166第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)六.優(yōu)化問題存在極值的條件

梯度為零向量海賽矩陣正定多元函數(shù)具有極小值的充要條件一元函數(shù)具有極小值的充要條件第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)六.優(yōu)化問題存在極值的條件167第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)六.優(yōu)化問題存在極值的條件

（2）對(duì)于整個(gè)可行域，恒有，則X*為全局極小點(diǎn)；（1）對(duì)于X*在可行域中的一個(gè)鄰域，恒有，則X*為局部極小點(diǎn)；局部極小點(diǎn)與全局極小點(diǎn)第三節(jié)優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)六.優(yōu)化問題存在極值的條件168第四節(jié)一維搜索方法一.一維問題是多維問題的基礎(chǔ)如：*在上次迭代中已求得，由某種邏輯方式（如負(fù)梯度方向、共軛方向等）給定，每次迭代可歸結(jié)為以

為變量的一維問題。則當(dāng)?shù)谒墓?jié)一維搜索方法一.一維問題是多維問題的基礎(chǔ)如：*169第四節(jié)一維搜索方法二.的確定方法上例中，2）取最優(yōu)步長：上例中，--能使目標(biāo)函數(shù)值下降的步長；1）取下降步長（任意步長）：第四節(jié)一維搜索方法二.的確定方法上例中，2）取最優(yōu)170第四節(jié)一維搜索方法三.一維搜索的步驟2）將含最優(yōu)點(diǎn)的區(qū)間不斷縮小1）確定一個(gè)包含最優(yōu)點(diǎn)的初始搜索區(qū)間特點(diǎn)：高--低--高*區(qū)間縮短率：

當(dāng)該區(qū)間的長度小于預(yù)先給定的一個(gè)很小的正數(shù)，則可認(rèn)為該區(qū)間中的某點(diǎn)(如中點(diǎn))是最優(yōu)點(diǎn)。第四節(jié)一維搜索方法三.一維搜索的步驟2）將含最優(yōu)點(diǎn)的區(qū)間不171第四節(jié)一維搜索方法四.確定初始區(qū)間的進(jìn)退算法前進(jìn)計(jì)算后退計(jì)算—試探后作前進(jìn)或后退計(jì)算。第四節(jié)一維搜索方法四.確定初始區(qū)間的進(jìn)退算法前進(jìn)計(jì)算后退計(jì)172第四節(jié)一維搜索方法四.確定初始區(qū)間的進(jìn)退算法h=h0y1=f(x1)、x2=x1+h、y2=f(x2)給定x1、h0y1≥y2y2≥y3是h=2hx3=x2+h、y3=f(x3)結(jié)束否h=-hx3=x1y3=y1a=x1、b=x3是x1=x2y1=y2x2=x3y2=y3是a=x3、b=x1否h>0否初始進(jìn)退距計(jì)算程序框圖第四節(jié)一維搜索方法四.確定初始區(qū)間的進(jìn)退算法h=h0y1=173khx1y1x2y2x3y310.10.2090.18.2030.36.68120.40.18.2030.36.6810.74.42930.80.36.6810.74.4291.57.125khx1y1x2y2x3y31174第四節(jié)一維搜索方法五.格點(diǎn)法ab先將搜索區(qū)間分成若干等分，計(jì)算出當(dāng)中的n個(gè)等分點(diǎn)的目標(biāo)函數(shù)值。再通過比較,找出其中的最小點(diǎn)，則該點(diǎn)的兩個(gè)鄰近點(diǎn)圍成縮短了的新區(qū)間。1）基本思路第四節(jié)一維搜索方法五.格點(diǎn)法ab先將搜索區(qū)間分成175第四節(jié)一維搜索方法五.格點(diǎn)法2）每輪迭代區(qū)間的縮短率思路簡單，編程容易，宜于離散型優(yōu)化問題；計(jì)算量大，不宜用于高維優(yōu)化問題。3）特點(diǎn)第四節(jié)一維搜索方法五.格點(diǎn)法2）每輪迭代區(qū)間的縮短率思路簡176第四節(jié)一維搜索方法六.黃金分割法1）基本思路為預(yù)先給定的誤差限?？s短區(qū)間的總次數(shù)

將區(qū)間按一定的比例縮小，且正常迭代時(shí)每縮短一次區(qū)間只需計(jì)算一次函數(shù)值。第四節(jié)一維搜索方法六.黃金分割法1）基本思路為預(yù)先給定的誤177令得：其正根為：證：*①關(guān)于

的證明令得：其正根為：證：*①關(guān)于的178②關(guān)于縮小區(qū)間總次數(shù)的證明即證：②關(guān)于縮小區(qū)間總次數(shù)的證明即證：179第四節(jié)一維搜索方法六.黃金分割法2）迭代步驟給定否否是是止*也可采用迭代次數(shù)是否大于或等于k作終止準(zhǔn)則。第四節(jié)一維搜索方法六.黃金分割法2）迭代步驟給定否否是是止180第四節(jié)一維搜索方法七.二次插值法1）基本思路ⅡⅠ原函數(shù)用三點(diǎn)二次插值多項(xiàng)式來逼近原函數(shù)。第四節(jié)一維搜索方法七.二次插值法1）基本思路ⅡⅠ原函數(shù)用三181第四節(jié)一維搜索方法求出a、b后得求系數(shù)a和b求駐點(diǎn)插值多項(xiàng)式：第四節(jié)一維搜索方法求出a、b后得求系數(shù)a和b求駐點(diǎn)插值多項(xiàng)182區(qū)間的