最優(yōu)控制理論.ppt

1、最優(yōu)控制理論,主講：羅文廣,授課內(nèi)容,1、最優(yōu)控制概述 2、最優(yōu)控制中的變分法 3、極小值原理及其應(yīng)用 4、動(dòng)態(tài)規(guī)劃 5、線(xiàn)性最優(yōu)狀態(tài)調(diào)節(jié)器 6、線(xiàn)性最優(yōu)輸出調(diào)節(jié)器與跟蹤系統(tǒng),考核方式,一、小設(shè)計(jì)論文（30） 1、選題：每人自選一個(gè)與最優(yōu)控制相關(guān)的實(shí)際小問(wèn)題，在小組討論中初步確定選題。小組45人，自行成立。 2、解題：通過(guò)建模、編程和仿真，獲得問(wèn)題的最優(yōu)解；或者通過(guò)制作實(shí)物、編程，對(duì)對(duì)象實(shí)現(xiàn)最優(yōu)控制。 3、論文：通過(guò)以上工作，完成一篇小論文。論文撰寫(xiě)格式按照廣西工學(xué)院學(xué)報(bào)的格式要求。 4、報(bào)告和答辯：每人約用10分鐘對(duì)所做選題進(jìn)行匯報(bào)和答辯 5、時(shí)間要求： 題目確定：第6周，個(gè)人上交自擬的題目

2、。 答辯時(shí)間：12周以后。 最后完成時(shí)間：本學(xué)期最后一周。 6、上交材料：（1）編制的程序、仿真結(jié)果，或制作的實(shí)物；（2）小論文。由班長(zhǎng)統(tǒng)一上交（含統(tǒng)計(jì)表） 二、考試（70） 開(kāi)卷方式,第1章 導(dǎo)論 1.1 引言,一、現(xiàn)代控制理論 現(xiàn)代控制理論是研究系統(tǒng)狀態(tài)的控制和觀測(cè)的理論，主要包括5個(gè)方 面： 1、線(xiàn)性系統(tǒng)理論：研究線(xiàn)性系統(tǒng)的性質(zhì)，能觀性、能控性、穩(wěn)定性等。以狀態(tài)空間法為主要工具研究多變量線(xiàn)性系統(tǒng)的理論。 2、系統(tǒng)辨識(shí)：根據(jù)輸入、輸出觀測(cè)確定系統(tǒng)數(shù)學(xué)模型。 3、最優(yōu)控制：尋找最優(yōu)控制向量u(t)。根據(jù)給定的目標(biāo)函數(shù)和約束條件,尋求最優(yōu)的控制規(guī)律的問(wèn)題。 4、最佳濾波（卡爾曼濾波、最優(yōu)估計(jì)）

3、：存在噪聲情況下，如何根 據(jù)輸入、輸出估計(jì)狀態(tài)變量。 5、適應(yīng)控制：利用辨識(shí)系統(tǒng)動(dòng)態(tài)特性的方法隨時(shí)調(diào)整控制規(guī)律以實(shí) 現(xiàn)最優(yōu)控制，即在參數(shù)擾動(dòng)情況下，控制器的設(shè)計(jì)問(wèn)題。 把魯棒控制、預(yù)測(cè)控制均納入到現(xiàn)代控制理論的范疇。,第1章 導(dǎo)論 1.1 引言,二、最優(yōu)控制的發(fā)展簡(jiǎn)史 先期工作： 1948年，維納(N.Wiener)發(fā)表控制論，引進(jìn)了信息、反饋和控制等重要概念，奠定了控制論(Cybernetics)的基礎(chǔ)。并提出了相對(duì)于某一性能指標(biāo)進(jìn)行最優(yōu)設(shè)計(jì)的概念。1950年,米頓納爾(Medona1)首先將這個(gè)概念用于研究繼電器系統(tǒng)在單位階躍作用下的過(guò)渡過(guò)程的時(shí)間最短最優(yōu)控制問(wèn)題。 1954年，錢(qián)學(xué)森編著

4、工程控制論（上下冊(cè)），作者系統(tǒng)地揭示了控制論對(duì)自動(dòng)化、航空、航天、電子通信等科學(xué)技術(shù)的意義和重大影響。其中“最優(yōu)開(kāi)關(guān)曲線(xiàn)”等素材，直接促進(jìn)了最優(yōu)控制理論的形成和發(fā)展。,第1章 導(dǎo)論 1.1 引言,理論形成階段： 自動(dòng)控制聯(lián)合會(huì)(IFAC)第一屆世界大會(huì)于1960年召開(kāi),卡爾曼（Kalman）、貝爾曼（R.Bellman）和龐特里亞金（Pontryagin）分別在會(huì)上作了“控制系統(tǒng)的一般理論”、“動(dòng)態(tài)規(guī)劃”和“最優(yōu)控制理論”的報(bào)告,宣告了最優(yōu)控制理論的誕生,人們也稱(chēng)這三個(gè)工作是現(xiàn)代控制理論的三個(gè)里程碑。 19531957年，貝爾曼(R.E.Bellman)創(chuàng)立“動(dòng)態(tài)規(guī)劃”原理。為了解決多階段決策

5、過(guò)程逐步創(chuàng)立的，依據(jù)最優(yōu)化原理，用一組基本的遞推關(guān)系式使過(guò)程連續(xù)地最優(yōu)轉(zhuǎn)移?！皠?dòng)態(tài)規(guī)劃”對(duì)于研究最優(yōu)控制理論的重要性，表現(xiàn)于可得出離散時(shí)間系統(tǒng)的理論結(jié)果和迭代算法。,第1章 導(dǎo)論,19561958年，龐特里亞金創(chuàng)立“極小值原理”。它是最優(yōu)控制理論的主要組成部分和該理論發(fā)展史上的一個(gè)里程碑。對(duì)于“最大值原理”，由于放寬了有關(guān)條件的使得許多古典變分法和動(dòng)態(tài)規(guī)劃方法無(wú)法解決的工程技術(shù)問(wèn)題得到解決，所以它是解決最優(yōu)控制問(wèn)題的一種最普遍的有效的方法。同時(shí)，龐特里亞金在最優(yōu)過(guò)程的數(shù)學(xué)理論著作中已經(jīng)把最優(yōu)控制理論初步形成了一個(gè)完整的體系。 此外，構(gòu)成最優(yōu)控制理論及現(xiàn)代最優(yōu)化技術(shù)理論基礎(chǔ)的代表性工作， 還有不

6、等式約束條件下的非線(xiàn)性最優(yōu)必要條件(庫(kù)恩圖克定理)以及卡爾曼的關(guān)于隨機(jī)控制系統(tǒng)最優(yōu)濾波器等。,第1章 導(dǎo)論 1.2 最優(yōu)控制問(wèn)題,一、問(wèn)題的描述 已知被控系統(tǒng)的狀態(tài)方程以及給定的初始狀態(tài) 規(guī)定的目標(biāo)集為S(例如 ） 求一容許控制 ,使系統(tǒng)在該控制的作用下由初態(tài)出 發(fā)，在某個(gè)大于t0 的終端時(shí)刻tf 達(dá)到目標(biāo)集S上，并使性能指 標(biāo) 達(dá)到最小。,第1章 導(dǎo)論 1.2 最優(yōu)控制問(wèn)題,從以上最優(yōu)控制問(wèn)題的描述中可見(jiàn)： 1、有一個(gè)被控對(duì)象（系統(tǒng)數(shù)學(xué)模型） 它通常由常微分方程組描述的動(dòng)態(tài)模型來(lái)表征，即 其初態(tài)一般是給定的，即 2、有一目標(biāo)集及邊界條件 目標(biāo)集：在控制u的作用下，把被控對(duì)象的初態(tài)x0在某個(gè)終

7、端時(shí)刻轉(zhuǎn)移到某個(gè)終端狀態(tài)x(tf)。 x(tf)通常受幾何約束。例如考慮它是一個(gè)點(diǎn)集，在約束條件 下 目標(biāo)集為,第1章 導(dǎo)論 1.2 最優(yōu)控制問(wèn)題,邊界條件： 初始狀態(tài)：初始時(shí)刻t0和x(t0),通常是已知的。 末端狀態(tài)：末端時(shí)刻tf和x(tf) ，通常是未知的。 3、容許控制集 控制向量u的各個(gè)分量ui往往是具有不同物理屬性的控制量。在實(shí)際控制問(wèn)題中，大多數(shù)控制量受客觀條件的限制只能取值于一定的范圍，將控制約束條件的點(diǎn)集稱(chēng)為控制域 ，則將在閉區(qū)間t0,tf上有定義，且在控制域內(nèi)取值的每個(gè)控制函數(shù)u(t)稱(chēng)為容許控制，記做,第1章 導(dǎo)論 1.2 最優(yōu)控制問(wèn)題,4、性能指標(biāo) 為了能在各種控制律中

8、尋找到效果最好的控制，需要建立一種評(píng)價(jià)控制效果好壞或控制品質(zhì)優(yōu)劣的性能指標(biāo)函數(shù)。又稱(chēng)代價(jià)（成本，目標(biāo)）函數(shù)或泛函，記做 ，它是一個(gè)依賴(lài)于控制的有限實(shí)數(shù)，一般的表達(dá)式為： 該表達(dá)式包括了依賴(lài)于終端時(shí)刻tf和終端狀態(tài)x(tf)的末值型項(xiàng)，以及依賴(lài)于這個(gè)控制過(guò)程的積分型項(xiàng)。因此，可將最優(yōu)控制問(wèn)題的性能指標(biāo)分為：混合型、末值型和積分型。不同的控制問(wèn)題，應(yīng)取不同的性能指標(biāo)：,第1章 導(dǎo)論 1.2 最優(yōu)控制問(wèn)題,（1）積分型性能指標(biāo)： a.最短時(shí)間控制： b.最少燃燒控制： c.最小能量控制: （2）末值型性能指標(biāo) （3）混合型性能指標(biāo),第1章 導(dǎo)論 1.2 最優(yōu)控制問(wèn)題,二、對(duì)最優(yōu)控制問(wèn)題的進(jìn)一步說(shuō)明

9、如果最優(yōu)控制問(wèn)題有解，即:使 達(dá)到極小值的控制函數(shù)存在，記為 ，稱(chēng)為最優(yōu)控制；相應(yīng)的狀態(tài)軌跡x*(t)稱(chēng)為最優(yōu)軌跡；性能指標(biāo) 稱(chēng)為最優(yōu)性能指標(biāo)。 三、舉例 月球上的軟著陸問(wèn)題（最小燃耗問(wèn)題）,飛船靠其發(fā)動(dòng)機(jī)產(chǎn)生一與月球重力方向相反的推力u(t)，以使飛船在月球表面實(shí)現(xiàn)軟著陸，要尋求發(fā)動(dòng)機(jī)推力的最優(yōu)控制規(guī)律，以便使燃料的消耗為最少。,第1章 導(dǎo)論 1.2 最優(yōu)控制問(wèn)題,設(shè)飛船質(zhì)量為m(t)，高度為h(t)，垂直速度為v(t)，發(fā)動(dòng)機(jī)推力為u(t)，月球表面的重力加速度為常數(shù)g。設(shè)不帶燃料的飛船質(zhì)量為M， 初始燃料的總質(zhì)量為F初始高度為h0，初始的垂直速度為v0，那么飛船的運(yùn)動(dòng)方程式可以表示為：,

10、初始條件,終端條件,性能指標(biāo)是使燃料消耗為最小，即,約束條件,達(dá)到最大值,第2章 最優(yōu)控制中的變分法,變分法是求解泛函極值的一種經(jīng)典方法，因此也是研究最優(yōu) 控制問(wèn)題的一種重要工具。本章的中心內(nèi)容是介紹經(jīng)典變分 法的基本原理，并加以推廣，用以求解某些最優(yōu)控制問(wèn)題。 盡管經(jīng)典變分法有其局限性，但本章所涉及的有關(guān)內(nèi)容，在 最優(yōu)控制理論中是最基本的東西。,第2章 最優(yōu)控制中的變分法 2.1 泛函與變分,（1）泛函定義: 給定函數(shù)空間U，若對(duì)于任何函數(shù)x(t) U，總 有一個(gè)確定的值J(x(t)與之對(duì)應(yīng)，則稱(chēng)J(x(t)是函數(shù)x(t)的泛函。 這里x(t)常被稱(chēng)做宗量。 從定義中可以發(fā)現(xiàn)，泛函是變量與函

11、數(shù)之間的關(guān)系,常稱(chēng)之為 “函數(shù)的函數(shù)”。 例： 是一個(gè)泛函，當(dāng)x(t)=t時(shí)，J=0.5; 而不定積分 不是一個(gè)泛函。,第2章 最優(yōu)控制中的變分法 2.1 泛函與變分,函數(shù)： 對(duì)于變量t的某一變域中的每一個(gè)值，x都有一個(gè)值與之相對(duì)應(yīng)，那么變量x稱(chēng)作變量t的函數(shù)。 記為： x=f (t) t稱(chēng)為函數(shù)的自變量 自變量的微分： dt=t-t0 （增量足夠小時(shí)）,泛函： 對(duì)于某一類(lèi)函數(shù)x()中的每一個(gè)函數(shù)x(t)，變量J都有一個(gè)值與之相對(duì)應(yīng)，那么變量J稱(chēng)作依賴(lài)于函數(shù)x(t)的泛函。 記為： J=J x(t) x(t)稱(chēng)為泛函的宗量 宗量的變分：,函數(shù)與泛函比較：,第2章 最優(yōu)控制中的變分法 2.1 泛

12、函與變分,關(guān)于變分，可將泛函的變分概念看成是函數(shù)微分概念的推廣， 其作用如同微分在函數(shù)中的作用。 （2）變分定義: 若連續(xù)泛函J(x(t)的增量可表示為 其中第一項(xiàng)是 的連續(xù)線(xiàn)性泛函，第二項(xiàng)是關(guān)于 的高階無(wú)窮小，則稱(chēng)上式第一項(xiàng)為泛函的變分，記做 如同函數(shù)的微分是函數(shù)增量的線(xiàn)性主部一樣，泛函的變分就是 泛函增量的線(xiàn)性主部。,第2章 最優(yōu)控制中的變分法 2.1 泛函與變分,顯然，直接用定義求泛函的變分 很困難。因此必須尋求一種計(jì)算方法。 （3）計(jì)算泛函變分的公式 定理21 如果連續(xù)泛函J(x(t)的變分存在，則 證明： (見(jiàn)P12) 例子：（見(jiàn)P12 ） 為了確定泛函的極小值或極大值，需要考察泛函

13、的二次變 分： （4）二次變分定義：P12 （5）求解二次變分定理：P12,第2章 最優(yōu)控制中的變分法 2.1 泛函與變分,例：求下列泛函的變分,第2章 最優(yōu)控制中的變分法 2.1 泛函與變分,（6）泛函極值定義：定義215 對(duì)于與x0(t)接近的曲線(xiàn)x(t)，泛函Jx(t) 的增量 （7）泛函極值的必要條件：定理23 （8）泛函極小值的充要條件：定理24 （9）變分引理：定理25,則泛函Jx(t) 在曲線(xiàn)x0(t)上達(dá)到極值。,泛函極值定理： 若可微泛函Jx(t)在x0(t)上達(dá)到極值，則在x= x0(t)上的變分為零。即,第2章 最優(yōu)控制中的變分法 2.2 歐拉方程,主要討論： （1）無(wú)約

14、束和有約束情況下，泛函極值存在的必要條件歐拉方程； （2）泛函極小值的充分條件勒讓德條件。 2.2.1 無(wú)約束泛函極值的必要條件 這里所提到的約束或無(wú)約束是指狀態(tài)x(t)的約束問(wèn)題。 無(wú)約束：指求解最優(yōu)控制解時(shí)狀態(tài)無(wú)約束，即無(wú)狀態(tài)方程的約束。 1、所定義的問(wèn)題 問(wèn)題2-1:無(wú)約束泛函極值問(wèn)題為,問(wèn)題為：確定一個(gè)函數(shù)x(t)，使Jx(t) 達(dá)到極?。ù螅┲?。這條能使泛函Jx(t) 達(dá)到極值的曲線(xiàn)稱(chēng)為極值曲線(xiàn)（軌線(xiàn)），記作：x*(t)，見(jiàn)圖2-2。 對(duì)于端點(diǎn)固定的情況，容許軌線(xiàn)x(t)應(yīng)滿(mǎn)足下列邊界條件：,第2章 最優(yōu)控制中的變分法 2.2 歐拉方程,2、極值的必要條件 定理26：極值軌線(xiàn)x(t)

15、滿(mǎn)足歐拉方程 證明：P16.注意名詞：橫截條件（第3節(jié)討論） 例22：（求極值軌線(xiàn)） 2.2.2 有等式約束的泛函極值的必要條件 在最優(yōu)控制問(wèn)題中，泛函Jx(t)所依賴(lài)的函數(shù)x(t)往往會(huì)受到一定約束條 件的限制。在動(dòng)態(tài)最優(yōu)化問(wèn)題中，由于受控系統(tǒng)的數(shù)學(xué)模型往往用微分 方程來(lái)描述，所以等式約束就是系統(tǒng)的狀態(tài)方程。 等式約束：系統(tǒng)的運(yùn)動(dòng)微分方程,第2章 最優(yōu)控制中的變分法 2.2 歐拉方程,1、定義的問(wèn)題 問(wèn)題描述：?jiǎn)栴}22 2、極值的必要條件 解決有約束問(wèn)題方法：將有約束問(wèn)題轉(zhuǎn)化為無(wú)約束問(wèn)題，利用無(wú)約束 的結(jié)論。通過(guò)引入拉格朗日乘子向量，解決這個(gè)問(wèn)題。 定理27： （主要的問(wèn)題：將有約束問(wèn)題轉(zhuǎn)化

16、為無(wú)約束問(wèn)題后的拉格朗日乘子向量定義、計(jì)算） 這里，為了將有約束條件的泛函極值問(wèn)題轉(zhuǎn)化為無(wú)約束條件的泛函極值 問(wèn)題，應(yīng)用拉格朗日乘子法。為此，引入待定的n維拉格朗日乘子向量 (t)，即 證明：P18 例2-3：,第2章 最優(yōu)控制中的變分法 2.2 歐拉方程,2.2.3 泛函極小值的充分條件 （1）無(wú)約束情況 定理2-8： （2）有約束情況 定理2-9： 例2-4:,第2章 最優(yōu)控制中的變分法 2.3 橫截條件,橫截條件：兩點(diǎn)邊界滿(mǎn)足的條件。例如式（226） 前面討論的是最簡(jiǎn)單的情況：兩端固定（初始狀態(tài)和末端狀態(tài)）且初始時(shí)刻和末端時(shí)刻都固定，在工程實(shí)際中存在許多復(fù)雜的情況，討論如下： 2.3.1

17、 末端時(shí)刻固定時(shí)的橫截條件 末端時(shí)刻tf固定，存在以下幾種情況：見(jiàn)表2-1 2.3.2 末端時(shí)刻自由時(shí)的橫截條件 橫截條件：式（2-53） 末端時(shí)刻tf自由，存在以下幾種情況：見(jiàn)表2-2 2.3.3 初始時(shí)刻自由時(shí)的橫截條件 橫截條件：式（2-62） 初始時(shí)刻自由，存在以下幾種情況：見(jiàn)表2-2,橫截條件：,第2章 最優(yōu)控制中的變分法 2.4 用變分法解最優(yōu)控制問(wèn)題,用變分法求解連續(xù)系統(tǒng)最優(yōu)控制問(wèn)題:(1)具有等式約束條件的泛函極值 問(wèn)題，只要把受控系統(tǒng)的數(shù)學(xué)模型看成是最優(yōu)軌線(xiàn)x(t) 應(yīng)滿(mǎn)足的等式約 束條件即可；(2)控制變量不受約束；（3）末端時(shí)刻固定和末端時(shí)刻自 由時(shí)最優(yōu)解的必要條件和充分

18、條件。 一、可用變分法求解的最優(yōu)控制問(wèn)題 一般描述，非線(xiàn)性時(shí)變系統(tǒng)狀態(tài)方程為,初始狀態(tài),其中，x 為n 維狀態(tài)向量； u 為m 維控制向量； f 為n 維向量函數(shù)。,要求在控制空間中尋求一個(gè)最優(yōu)控制向量 (不受約束) ，使以下 性能指標(biāo),沿最優(yōu)軌線(xiàn) 取極小值。,目標(biāo)集（末端狀態(tài)集）,第2章 最優(yōu)控制中的變分法 2.4 用變分法解最優(yōu)控制問(wèn)題,二、末端時(shí)刻固定時(shí)的最優(yōu)解 問(wèn)題的描述：P30 1、末端受約束情況 兩個(gè)約束：狀態(tài)受系統(tǒng)狀態(tài)方程約束，末端狀態(tài)受目標(biāo)集約束。 引入兩個(gè)拉格朗日乘子向量(t)、(t)，構(gòu)造廣義泛函（無(wú)條件極值）：,定義哈密頓函數(shù) (關(guān)于該函數(shù)的說(shuō)明P31),代入上式得,式中

19、的第三項(xiàng)進(jìn)行分部積分，得,當(dāng)泛函J 取極值時(shí)，其一次變分等于零。 即,第2章 最優(yōu)控制中的變分法 2.4 用變分法解最優(yōu)控制問(wèn)題,可以變分的量：,求出J 的一次變分并令其為零,廣義泛函取極值的必要條件是（定理210） 正則方程： 邊界條件： 極值條件（控制方程）：,第2章 最優(yōu)控制中的變分法 2.4 用變分法解最優(yōu)控制問(wèn)題,幾點(diǎn)說(shuō)明：,1）實(shí)際上，（2-73）式和（2-74）式為歐拉方程。,因?yàn)?推導(dǎo)過(guò)程：如果令（廣義泛函的積分內(nèi)的函數(shù)）,簡(jiǎn)記成,由歐拉方程得到,即,第2章 最優(yōu)控制中的變分法 2.4 用變分法解最優(yōu)控制問(wèn)題,而（275）式和初始條件（266）就是橫截條件。,2） 是泛函取極值

20、的必要條件，是否為極小值還需要二次變分 來(lái)判斷， 則泛函J 取極小值。,第2章 最優(yōu)控制中的變分法 2.4 用變分法解最優(yōu)控制問(wèn)題,3） 哈密頓函數(shù)沿最優(yōu)軌線(xiàn)隨時(shí)間的變化率,在最優(yōu)控制 、最優(yōu)軌線(xiàn) 下，有 和,（270）式的哈密頓函數(shù)對(duì) 求偏導(dǎo)，結(jié)果為,于是,第2章 最優(yōu)控制中的變分法 2.4 用變分法解最優(yōu)控制問(wèn)題,即哈密頓函數(shù)H 沿最優(yōu)軌線(xiàn)對(duì)時(shí)間的全導(dǎo)數(shù)等于它對(duì)時(shí)間的偏導(dǎo)數(shù)。記為 則,對(duì)上式積分，得到,當(dāng)哈密頓函數(shù)不顯含 t 時(shí)，得,第2章 最優(yōu)控制中的變分法 2.4 用變分法解最優(yōu)控制問(wèn)題,2、末端自由情況 廣義泛函取極值的必要條件是（定理211） 正則方程： 邊界條件： 極值條件：,3

21、、末端固定情況 廣義泛函取極值的必要條件是（定理212） 正則方程： 邊界條件： 極值條件： 末端時(shí)刻固定時(shí)最優(yōu)解的充分條件：定理213,第2章 最優(yōu)控制中的變分法 2.4 用變分法解最優(yōu)控制問(wèn)題,三、末端時(shí)刻自由時(shí)的最優(yōu)解 推導(dǎo)過(guò)程與末端時(shí)刻固定時(shí)一樣，只不過(guò)不同在于,可以變分的量：,不可以變分的量：,末端受約束情況：定理214 末端自由情況：定理215 末端固定時(shí)情況：定理216 注意與末端時(shí)刻固定的情況不同。,第3章 極小值原理及其應(yīng)用 3.1 連續(xù)系統(tǒng)的極小值原理,問(wèn)題的提出,用變分法求解最優(yōu)控制時(shí)，認(rèn) 為控制向量 不受限制。但是 實(shí)際的系統(tǒng)，控制信號(hào)都是受到 某種限制的。,因此，應(yīng)用

22、控制方程 來(lái)確定最優(yōu)控制，可能出錯(cuò)。,a)圖中所示，H 最小值出現(xiàn)在左側(cè)，不滿(mǎn)足控制方程。 b)圖中不存在,第3章 極小值原理及其應(yīng)用 3.1 連續(xù)系統(tǒng)的極小值原理,一、自由末端的極小值原理 定理3-1：對(duì)應(yīng)如下定常系統(tǒng)、末值型性能指標(biāo)、末端自由、控制受約束 的最優(yōu)控制問(wèn)題,及,滿(mǎn)足下述正則方程:,對(duì)于最優(yōu)解和最優(yōu)末端時(shí)刻、最優(yōu)軌線(xiàn)，存在非零的n維向量函數(shù) 使,第3章 極小值原理及其應(yīng)用 3.1 連續(xù)系統(tǒng)的極小值原理,式中哈密頓函數(shù),及,滿(mǎn)足邊界條件,哈密頓函數(shù)相對(duì)最優(yōu)控制為極小值,哈密頓函數(shù)沿最優(yōu)軌跡線(xiàn)保持為常數(shù),固定時(shí),當(dāng),自由時(shí),當(dāng),第3章 極小值原理及其應(yīng)用 3.1 連續(xù)系統(tǒng)的極小值原

23、理,上述極小值原理與變分法主要區(qū)別在于條件。當(dāng)控制無(wú)約束時(shí)， 相應(yīng)條件為 ；,不再成立，而代之為,當(dāng)控制有約束時(shí)，,極小值原理的重要意義：（P51) （1）容許控制條件放寬了。 （2）最優(yōu)控制使哈密頓函數(shù)取全局極小值。 （3）極小值原理不要求哈密頓函數(shù)對(duì)控制的可微性。 （4）極小值原理給出了最優(yōu)控制的必要而非充分條件。 例31：,說(shuō)明： 1）極小值原理給出的只是最優(yōu)控制應(yīng)該滿(mǎn)足的必要條件。 2）極小值原理與用變分法求解最優(yōu)問(wèn)題相比，差別僅在于極值條件。 3）這里給出了極小值原理，而在龐德里亞金著作論述的是極大值原理。因?yàn)榍笮阅苤笜?biāo)J的極小值與求J的極大值等價(jià)。 4）非線(xiàn)性時(shí)變系統(tǒng)也有極小值原理

24、。,第3章 極小值原理及其應(yīng)用 3.1 連續(xù)系統(tǒng)的極小值原理,二、極小值原理的一些推廣形式 1、時(shí)變問(wèn)題 定義：描述最優(yōu)控制問(wèn)題的相關(guān)函數(shù)顯含時(shí)間，稱(chēng)為時(shí)變問(wèn)題。 解決辦法：引入新?tīng)顟B(tài)變量，將時(shí)變問(wèn)題轉(zhuǎn)為定常問(wèn)題，利用定理3-1。,定理3-2：,滿(mǎn)足下述正則方程:,及,式中哈密頓函數(shù),第3章 極小值原理及其應(yīng)用 3.1 連續(xù)系統(tǒng)的極小值原理,及,滿(mǎn)足邊界條件,哈密頓函數(shù)相對(duì)最優(yōu)控制為極小值,在最優(yōu)軌線(xiàn)末端哈密頓函數(shù)應(yīng)滿(mǎn)足,沿最優(yōu)軌線(xiàn)哈密頓函數(shù)變化率,定理32與定理31的區(qū)別：P61,第3章 極小值原理及其應(yīng)用 3.1 連續(xù)系統(tǒng)的極小值原理,2、積分型性能指標(biāo)問(wèn)題,定理3-3：,滿(mǎn)足下述正則方程

25、:,及,式中哈密頓函數(shù),及,滿(mǎn)足邊界條件,第3章 極小值原理及其應(yīng)用 3.1 連續(xù)系統(tǒng)的極小值原理,哈密頓函數(shù)相對(duì)最優(yōu)控制為極小值,哈密頓函數(shù)沿最優(yōu)軌跡線(xiàn)保持為常數(shù),固定時(shí),當(dāng),自由時(shí),當(dāng),第3章 極小值原理及其應(yīng)用 3.1 連續(xù)系統(tǒng)的極小值原理,例3-2： 試求： 時(shí)的 ， 解：定常系統(tǒng)、積分型 ， 固定， 自由， 受約束。取哈密頓函數(shù),由協(xié)態(tài)方程,由邊界條件,注：控制的切換點(diǎn)為(ts)=1,第3章 極小值原理及其應(yīng)用 3.1 連續(xù)系統(tǒng)的極小值原理,控制的切換點(diǎn)處,根據(jù)邊界條件繼續(xù)求出：,代入狀態(tài)方程得,第3章 極小值原理及其應(yīng)用 3.1 連續(xù)系統(tǒng)的極小值原理,第3章 極小值原理及其應(yīng)用 3

26、.1 連續(xù)系統(tǒng)的極小值原理,最優(yōu)性能指標(biāo)為：,例3-3： 3、末端受約束的情況 做法與前面得一樣，引入兩個(gè)拉格朗日乘子向量，構(gòu)造廣義泛函， 在滿(mǎn)足末端約束條件下，泛函取得極值是等價(jià)的。 定理3-4：（定常系統(tǒng)） 定理3-5:（時(shí)變系統(tǒng)） 4、復(fù)合型性能指標(biāo)情況 定理36： 表3-1,3-2 例35：,第3章 極小值原理及其應(yīng)用 3.2 離散系統(tǒng)的極小值原理,一、離散歐拉方程 控制序列不受約束時(shí)，利用離散變分法求解離散系統(tǒng)的最優(yōu)控制問(wèn)題。,設(shè)系統(tǒng)的差分方程為：,系統(tǒng)的性能指標(biāo)為：,離散泛函取得極值的必要條件（歐拉方程）,離散橫截條件為：,若始端固定，末端自由， 由離散橫截條件得邊界條件： 例36

27、：,第3章 極小值原理及其應(yīng)用 3.2 離散系統(tǒng)的極小值原理,二、離散極小值原理 先給出控制序列不受約束時(shí)得離散極小值原理，然后推廣到控制序列受 約束的情況。 1、末端狀態(tài)受等式約束,定理3-7:設(shè)離散系統(tǒng)狀態(tài)方程,系統(tǒng)的性能指標(biāo)為：,目標(biāo)集：,取得極值的必要條件：,和,滿(mǎn)足下列差分方程:,式中離散哈密頓函數(shù),第3章 極小值原理及其應(yīng)用 3.2 離散系統(tǒng)的極小值原理,和,滿(mǎn)足邊界條件,離散哈密頓函數(shù)對(duì)最優(yōu)控制,取極小值,控制序列不受約束時(shí),2、末端狀態(tài)自由時(shí) 定理38： 例37：,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,時(shí)間最優(yōu)控制：如果性能指標(biāo)是系統(tǒng)由初態(tài)轉(zhuǎn)移到目標(biāo)集的運(yùn)動(dòng)時(shí)間，則

28、使 轉(zhuǎn)移時(shí)間為最短的控制稱(chēng)為時(shí)間最優(yōu)控制。,一、一類(lèi)非線(xiàn)性系統(tǒng)的時(shí)間最優(yōu)控制,最短時(shí)間控制問(wèn)題的提法： 設(shè)受控系統(tǒng)狀態(tài)方程為,給定終端約束條件為,尋求m維有界閉集中的最優(yōu)控制u*(t)，滿(mǎn)足不等式約束,使系統(tǒng)從已知初始狀態(tài) 轉(zhuǎn)移到目標(biāo)集中某一狀態(tài) 時(shí)，如 下目標(biāo)泛函取極小值，其中 未知,屬于時(shí)變系統(tǒng)、積分型性能指標(biāo)、終端受約束的最優(yōu)控制問(wèn)題,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,應(yīng)用極小值原理，系統(tǒng)的哈密爾頓函數(shù)為：,在使J最小以實(shí)現(xiàn)最優(yōu)控制的必要條件中，側(cè)重分析極值條件,將上式中的矩陣表達(dá)式展開(kāi)成分量形式,則極值條件可寫(xiě)為：,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,由上

29、式可見(jiàn)，由于 是確定的，故使 取極小值的最優(yōu)控制為,或簡(jiǎn)寫(xiě)為：,根據(jù) 是否為零，將系統(tǒng)分為兩種情形：正常（平凡）、奇異（非平凡）,（砰-砰控制）,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,正常（平凡）最短時(shí)間控制系統(tǒng)（定義31） 只是在各個(gè)孤立的瞬刻才取零值， 是有第一類(lèi)間斷點(diǎn)的分段常數(shù)函數(shù)。,奇異（非平凡）最短時(shí)間控制系統(tǒng)（定義32） 并不意味著在該區(qū)間內(nèi)最優(yōu)控制不存在，僅表明，從必要條件不能推出確切關(guān)系式。,定理39：砰-砰控制原理,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,二、線(xiàn)性定常系統(tǒng)的時(shí)間最優(yōu)控制,線(xiàn)性時(shí)間最優(yōu)調(diào)節(jié)器問(wèn)題的提法（問(wèn)題32）： 設(shè)受控系統(tǒng)狀態(tài)方程為,給

30、定終端約束條件為,尋求m維有界閉集中的最優(yōu)控制u*(t)，滿(mǎn)足不等式約束,使系統(tǒng)以最短時(shí)間從初始狀態(tài) 轉(zhuǎn)移到狀態(tài)空間原點(diǎn)。目標(biāo)泛函取極小值,根據(jù)上一節(jié)的結(jié)論，可得極值條件為：,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,對(duì)于線(xiàn)性定常系統(tǒng)的最短時(shí)間控制問(wèn)題，經(jīng)過(guò)理論推導(dǎo)和證明，可得如下重要結(jié)論： （1）系統(tǒng)正常（平凡）的充要條件（定理311）：當(dāng)且僅當(dāng)m個(gè)矩陣,中全部為非奇異矩陣時(shí)，系統(tǒng)是正常（平凡）的。（至少有一個(gè)為奇異矩陣時(shí)，系統(tǒng)是奇異的（定理310） ） 定理3-11:當(dāng)且僅當(dāng) 問(wèn)題3-2是正常的,（2）系統(tǒng)最優(yōu)解存在的條件：常數(shù)矩陣A的特征值全部具有非正實(shí)部。,（3）最優(yōu)解唯一性定

31、理：系統(tǒng)是平凡的且最短時(shí)間控制存在，則最短時(shí)間控制必然是唯一的。(定理3-12),（4）開(kāi)關(guān)次數(shù)定理：系統(tǒng)是平凡的且最短時(shí)間控制存在，則最優(yōu)控制u* 的任一分量 的切換次數(shù)最多為n-1次。（n為系統(tǒng)維數(shù)）(定理3-14),第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,三、雙積分模型的最短時(shí)間控制問(wèn)題,雙積分模型的物理意義：慣性負(fù)載在無(wú)阻力環(huán)境中運(yùn)動(dòng)（例38）,負(fù)載運(yùn)動(dòng)方程：,傳遞函數(shù)：,（由兩個(gè)積分環(huán)節(jié)組成）,定義u(t)=f(t)/m , 則上式變?yōu)椋?取狀態(tài)變量,則有,矩陣形式為：,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,定理3-15 正則方程,式中哈密頓函數(shù),邊界條件,，,

32、極小值條件,函數(shù)變化率,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,雙積分模型最短時(shí)間控制問(wèn)題的提法： 已知二階系統(tǒng)的狀態(tài)方程為,給定端點(diǎn)約束條件為,尋求有界閉集中的最優(yōu)控制u*(t)，滿(mǎn)足不等式約束,使系統(tǒng)從以最短時(shí)間從任意初態(tài)轉(zhuǎn)移到終態(tài)。,先判斷該系統(tǒng)是否平凡？,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,由上節(jié)重要結(jié)論可知： （1）本系統(tǒng)為（正常）平凡最短時(shí)間控制系統(tǒng) （2）其時(shí)間最優(yōu)控制必然存在且唯一 （3）時(shí)間最優(yōu)控制u(t)至多切換一次,最優(yōu)控制表達(dá)式：,下面利用協(xié)態(tài)方程求解,哈密頓函數(shù)：,最優(yōu)控制：,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,為一直線(xiàn)，為非零向

33、量，故c1和c2不能同時(shí)為零。由于開(kāi)關(guān)次數(shù)的限制，其四種可能的開(kāi)關(guān)序列為（如圖3-7）：,下面通過(guò)圖解法，在相平面上分析相軌跡轉(zhuǎn)移的規(guī)律，從而尋找最優(yōu)控制u*(t)。首先求解狀態(tài)軌線(xiàn)的方程。令 ：,相軌跡方程為,令,相軌跡,滿(mǎn)足末態(tài)要求的相軌跡為,滿(mǎn)足末態(tài)要求的相軌跡為,兩種情況組合后,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,為開(kāi)關(guān)曲線(xiàn),第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,求解狀態(tài)轉(zhuǎn)移最短時(shí)間t*：,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控制,式（1）與式（2）比較有,第3章 極小值原理及其應(yīng)用 3.3 時(shí)間最優(yōu)控

34、制,四、離散系統(tǒng)的時(shí)間最優(yōu)控制 離散系統(tǒng)的時(shí)間最優(yōu)控制問(wèn)題：最多在n個(gè)采樣周期內(nèi)，可使任意初始狀態(tài) 轉(zhuǎn)移到要求的末端狀態(tài)。找出這n個(gè)采樣周期內(nèi)的控制序列，則是最優(yōu)控制 序列。 線(xiàn)性定常離散系統(tǒng)的控制:P106 例39：,第3章 極小值原理及其應(yīng)用 3.4 燃料最優(yōu)控制,燃料最優(yōu)控制問(wèn)題的提法： 設(shè)受控系統(tǒng)狀態(tài)方程為,給定端點(diǎn)約束條件為,尋求m維有界閉集中的最優(yōu)控制u*(t)，滿(mǎn)足不等式約束,使系統(tǒng)從已知初始狀態(tài) 轉(zhuǎn)移到目標(biāo)集中某一狀態(tài) 時(shí)，如 下目標(biāo)泛函取極小值，其中 未知,第3章 極小值原理及其應(yīng)用 3.4 燃料最優(yōu)控制,二次積分模型最少燃料控制問(wèn)題的提法： 已知二階系統(tǒng)的狀態(tài)方程為,尋求有

35、界閉集中的最優(yōu)控制u*(t)，滿(mǎn)足不等式約束,二次積分模型的燃料最優(yōu)控制問(wèn)題（問(wèn)題3-7）,使系統(tǒng)由任意初始狀態(tài) ，轉(zhuǎn)移到預(yù)定終態(tài) ，并使如下 目標(biāo)函數(shù)取極小值 。其中 自由。,給定端點(diǎn)約束條件為,第3章 極小值原理及其應(yīng)用 3.4 燃料最優(yōu)控制,哈密頓函數(shù)：,協(xié)態(tài)方程：,極小值條件：,哈密頓函數(shù)在末端時(shí)刻變化率：,哈密頓函數(shù)取得極小值后，極小值條件式等價(jià)于：,用極小值原理求解：,對(duì)最優(yōu)控制取得極小值,第3章 極小值原理及其應(yīng)用 3.4 燃料最優(yōu)控制,令,則,關(guān)系如圖321（分析如何得到圖）。,死區(qū)函數(shù)關(guān)系：,引入死區(qū)函數(shù)記號(hào)dez：,得圖321的b圖,則,得圖321的a圖,第3章 極小值原理

36、及其應(yīng)用 3.4 燃料最優(yōu)控制,平凡燃料最優(yōu)控制,奇異（非平凡）燃料最優(yōu)控制 并不意味著在該區(qū)間內(nèi)最優(yōu)控制不存在，僅表明，利用常規(guī)公式無(wú)法求解,第3章 極小值原理及其應(yīng)用 3.4 燃料最優(yōu)控制,(1)奇異區(qū)內(nèi)，有（命題31）,(2)平凡區(qū)內(nèi)，此時(shí),得出9種可能的控制序列作為候選函數(shù)（命題32）,第3章 極小值原理及其應(yīng)用 3.4 燃料最優(yōu)控制,等速直線(xiàn),由圖見(jiàn)，這是一族不通過(guò)原點(diǎn)的平行線(xiàn)，或是x1軸上的孤立點(diǎn)。因此，以u(píng)=0結(jié)尾的控制序列不是最優(yōu)控制，九個(gè)序列變?yōu)榱鶄€(gè)。,該關(guān)系式提供了燃料消耗量的下限，所以，如果能找到一個(gè)控制，驅(qū)使?fàn)顟B(tài)從初態(tài)轉(zhuǎn)移到原點(diǎn)的燃料消耗為 ，則該控制肯定是燃料最優(yōu)控制

37、。,命題33：,第3章 極小值原理及其應(yīng)用 3.4 燃料最優(yōu)控制,第3章 極小值原理及其應(yīng)用 3.4 燃料最優(yōu)控制,曲線(xiàn) 以及坐標(biāo)軸x1將相平面分成了四個(gè)區(qū)域,第3章 極小值原理及其應(yīng)用 3.4 燃料最優(yōu)控制,（1）初態(tài)位于開(kāi)關(guān)曲線(xiàn) 上 命題3-4: 對(duì)于問(wèn)題3-7,若初態(tài) ，則 是燃料最優(yōu)控制，且唯一。若初態(tài) ，則 是燃料最優(yōu)控制，且唯一。 （2）初態(tài)位于區(qū)域R4和R2上 命題3-5:對(duì)于問(wèn)題3-7,若初態(tài) ，則 是燃料最優(yōu)控制。若初態(tài) ，則 是燃料最優(yōu)控制。,平凡情況：只有序列 0，+1和-1，0，+1 可驅(qū)使系統(tǒng)狀態(tài)到達(dá)原點(diǎn)。其中： 0，+1控制下，燃料消耗為 -1，0，+1，燃料消耗大

38、于 結(jié)論：0，+1為最優(yōu)控制序列，且在各種情況下其響應(yīng)時(shí)間最短,第3章 極小值原理及其應(yīng)用 3.4 燃料最優(yōu)控制,（3）初態(tài)位于區(qū)域R1和R3上,平凡情況：只有序列 -1，0，+1 可驅(qū)使系統(tǒng)狀態(tài)到達(dá)原點(diǎn)。,結(jié)論：燃料控制問(wèn)題無(wú)解（ 燃料最優(yōu)控制(命題3-6)）,第3章 極小值原理及其應(yīng)用 3.4 燃料最優(yōu)控制,類(lèi)似地，可對(duì)其它兩個(gè)區(qū)間進(jìn)行研究。綜上所述，雙積分裝置最少燃料問(wèn)題的控制規(guī)律如下：,第3章 極小值原理及其應(yīng)用 3.5 時(shí)間燃料最優(yōu)控制,一、問(wèn)題的提出 以節(jié)省燃料為目標(biāo)的燃料最優(yōu)控制問(wèn)題，一般說(shuō)響應(yīng)速度慢，有時(shí)不能 滿(mǎn)足系統(tǒng)的性能要求。為此，將時(shí)間與燃料綜合考慮，使所設(shè)計(jì)的控制 系統(tǒng)

39、既能節(jié)約燃料，又不至于響應(yīng)緩慢，因此產(chǎn)生了時(shí)間-燃料最優(yōu)控制 問(wèn)題。取性能指標(biāo)：,0,為時(shí)間加權(quán)系數(shù)，表示設(shè)計(jì)者對(duì)響應(yīng)時(shí)間的重視程度。若0，表示不計(jì)響應(yīng)時(shí)間長(zhǎng)短，只考慮節(jié)省燃料；若無(wú)窮大，表示不計(jì)燃料消耗，只要求時(shí)間最短。,第3章 極小值原理及其應(yīng)用 3.5 時(shí)間燃料最優(yōu)控制,二次積分模型最少燃料控制問(wèn)題的提法： 已知二階系統(tǒng)的狀態(tài)方程為,尋求有界閉集中的最優(yōu)控制u*(t)，滿(mǎn)足不等式約束,二、二次積分模型的燃料最優(yōu)控制問(wèn)題（問(wèn)題3-8）,使系統(tǒng)由任意初始狀態(tài) ，轉(zhuǎn)移到預(yù)定終態(tài) ，并使如下 目標(biāo)函數(shù)取極小值 。其中 自由。,給定端點(diǎn)約束條件為,第3章 極小值原理及其應(yīng)用 3.5 時(shí)間燃料最優(yōu)控

40、制,屬于定常系統(tǒng)、積分型性能指標(biāo)、末端時(shí)間自由和末端固定的最優(yōu)控制問(wèn)題,哈密頓函數(shù)：,協(xié)態(tài)方程：,極小值條件：,哈密頓函數(shù)在末端時(shí)刻變化率：,經(jīng)過(guò)分析（見(jiàn)P117-120），時(shí)間燃料最優(yōu)控制是比單純?nèi)剂献顑?yōu)控制和單純時(shí)間最優(yōu)控制更廣泛的一類(lèi)控制。兩者是前者的特例。,用極小值原理求解：,第4章 動(dòng)態(tài)規(guī)劃,本章主要內(nèi)容： 4.1 多級(jí)決策問(wèn)題 4.2 離散動(dòng)態(tài)規(guī)劃 4.3 連續(xù)動(dòng)態(tài)規(guī)劃 4.4 動(dòng)態(tài)規(guī)劃與變分法、極小值原理的關(guān)系,求解動(dòng)態(tài)最優(yōu)化問(wèn)題的兩種基本方法：最小值原理和動(dòng)態(tài)規(guī)劃 動(dòng)態(tài)規(guī)劃：美國(guó)學(xué)者貝爾曼在20世紀(jì)50年代提出 是一種分級(jí)最優(yōu)化方法 其連續(xù)形式與最小值原理相輔相成，深化了最優(yōu)控

41、制的研究,第4章 動(dòng)態(tài)規(guī)劃 4.1 多級(jí)決策問(wèn)題,多級(jí)決策過(guò)程 所謂多級(jí)決策過(guò)程，是指將一個(gè)過(guò)程按時(shí)間或空間順序分為若干級(jí)(步)，然后給每一級(jí)(步)作出“決策”(在控制過(guò)程中令每走一步所要決定的控制步驟稱(chēng)之為決策)，以使整個(gè)過(guò)程取得最優(yōu)的效果，即多次的決策最終要構(gòu)成一個(gè)總的最優(yōu)控制策略(最優(yōu)控制方案)。,說(shuō)明：1）全部“決策”總體，成為“策略”。 2）在多級(jí)決策過(guò)程中，每一級(jí)的輸出狀態(tài)都僅與該級(jí)的“決策”及該級(jí)的輸入狀態(tài)有關(guān)，而與其前面各級(jí)的“決策”及狀態(tài)的轉(zhuǎn)移規(guī)律無(wú)關(guān)。這種特有性質(zhì)，稱(chēng)為無(wú)后效性。,第4章 動(dòng)態(tài)規(guī)劃 4.1 多級(jí)決策問(wèn)題,4.1.1 最短路線(xiàn)問(wèn)題,解法一：窮舉法，列出所有可能

42、的組合方案，找出時(shí)間最短的一個(gè) 可能的行車(chē)線(xiàn)路共有：2*2*2=8 （每階段有兩種可能） 缺點(diǎn)：計(jì)算量大，容易出錯(cuò)。,需確定一條最優(yōu)的汽車(chē)行駛路線(xiàn)，使從S站到F站的行車(chē)時(shí)間為最短。,第4章 動(dòng)態(tài)規(guī)劃 4.1 多級(jí)決策問(wèn)題,解法二：動(dòng)態(tài)規(guī)劃法，是一種逆序計(jì)算法，從終點(diǎn)開(kāi)始，按時(shí)間最短為目標(biāo)，逐段向前逆推，依次計(jì)算出各站至終點(diǎn)站的時(shí)間最優(yōu)值，據(jù)此決策出每一站的最優(yōu)路線(xiàn)。,4,3,4,5,10,8,13,第4章 動(dòng)態(tài)規(guī)劃 4.1 多級(jí)決策問(wèn)題,特點(diǎn)：1）將一個(gè)多階段決策問(wèn)題化為多個(gè)單階段決策問(wèn)題，易于分析 2）每階段評(píng)估只與前一階段結(jié)果有關(guān)，計(jì)算量減小 具體解法：P132,2.最優(yōu)性原理 不論初始狀

43、態(tài)和初始決策如何，當(dāng)把其中的任何一級(jí)和狀態(tài)再作為初始級(jí)和初始狀態(tài)時(shí)，其余的決策對(duì)此必定也是一個(gè)最優(yōu)決策。 表明： 若有一個(gè)初態(tài)x(0)的N級(jí)決策過(guò)程，其最優(yōu)決策為u(0),u(1),u(N-1),那么，對(duì)于以x(1)為初態(tài)的N-1級(jí)決策過(guò)程來(lái)說(shuō)，決策集合u(1),u(2),u(N-1)必定是最優(yōu)策略。,第4章 動(dòng)態(tài)規(guī)劃 4.1多級(jí)決策問(wèn)題,3、離散系統(tǒng)動(dòng)態(tài)規(guī)劃的基本遞推方程 離散控制系統(tǒng)最優(yōu)控制問(wèn)題的提法：（問(wèn)題41） 離散控制系統(tǒng)的狀態(tài)方程為,給定端點(diǎn)約束條件為,尋求最優(yōu)控制序列,使系統(tǒng)從起點(diǎn)轉(zhuǎn)移終端時(shí)，目標(biāo)函數(shù)取極小值,第4章 動(dòng)態(tài)規(guī)劃 4.1 多級(jí)決策問(wèn)題,相對(duì)獨(dú)立,動(dòng)態(tài)規(guī)劃基本方程或貝

44、爾曼泛函方程,第4章 動(dòng)態(tài)規(guī)劃 4.1 多級(jí)決策問(wèn)題,同理，不斷向終點(diǎn)遞推，可得,結(jié)合（5），從（4）出發(fā)逆推到（1），可得出最優(yōu)控制序列,基本的遞推方程,第4章 動(dòng)態(tài)規(guī)劃 4.1 多級(jí)決策問(wèn)題,例:設(shè)一階離散控制系統(tǒng),試確定最優(yōu)控制序列u(0),u(1),u(2),使如下性能指標(biāo)達(dá)最小。,解：從最后一級(jí)相前遞推（N=3)：,為使 達(dá)到最小，則有：,第4章 動(dòng)態(tài)規(guī)劃 4.1 多級(jí)決策問(wèn)題,最后，從前往后推，可得出最優(yōu)控制序列: u*(0)=-3/2,u*(1)=-1/2,u*(2)=0,關(guān)于動(dòng)態(tài)規(guī)劃本質(zhì)的討論： 一個(gè)最優(yōu)控制策略具有這樣的性質(zhì)，不論過(guò)去的狀態(tài)及過(guò)去的決策如何，如把現(xiàn)在的狀態(tài)看作

45、后續(xù)狀態(tài)的初態(tài)，則其后諸決策仍必須構(gòu)成一最優(yōu)策略。 動(dòng)態(tài)規(guī)劃的最優(yōu)性原理得以成立的前提條件是所謂“無(wú)后效性”。即上一狀態(tài)和上一決策對(duì)后續(xù)過(guò)程的影響，僅表現(xiàn)在它們把狀態(tài)轉(zhuǎn)移到了當(dāng)前狀態(tài)，至于后續(xù)過(guò)程如何，他們就不再起作用了。 動(dòng)態(tài)規(guī)劃的解題順序，與事物發(fā)展進(jìn)程相反。,第4章 動(dòng)態(tài)規(guī)劃 4.2離散動(dòng)態(tài)規(guī)劃,給定端點(diǎn)約束條件為,尋求最優(yōu)控制序列,使系統(tǒng)從起點(diǎn)轉(zhuǎn)移終端時(shí)，目標(biāo)函數(shù)取極小值,離散控制系統(tǒng)最優(yōu)控制問(wèn)題的提法：（問(wèn)題42） 離散控制系統(tǒng)的狀態(tài)方程為,求解過(guò)程與上節(jié)相同：例4-1,第4章 動(dòng)態(tài)規(guī)劃 4.3連續(xù)控制系統(tǒng)的動(dòng)態(tài)規(guī)劃,控制問(wèn)題的提法:（問(wèn)題43） 設(shè)受控系統(tǒng)狀態(tài)方程為,給定端點(diǎn)約束條

46、件為,尋求m維有界閉集中的最優(yōu)控制u*(t)，即,使系統(tǒng)從已知初始狀態(tài) 轉(zhuǎn)移到目標(biāo)集中某一狀態(tài) 時(shí)，如 下目標(biāo)泛函取極小值，,第4章 動(dòng)態(tài)規(guī)劃 4.3連續(xù)控制系統(tǒng)的動(dòng)態(tài)規(guī)劃,由動(dòng)態(tài)規(guī)劃最優(yōu)性原理：,第4章 動(dòng)態(tài)規(guī)劃 4.3連續(xù)控制系統(tǒng)的動(dòng)態(tài)規(guī)劃,對(duì)任意給定初態(tài) 時(shí)，式（4-21）可改寫(xiě)為：,哈密爾頓雅可比貝爾曼方程,定義：,可視為影響函數(shù)，表示 的變分施加于 的影響程度。,第4章 動(dòng)態(tài)規(guī)劃 4.3連續(xù)控制系統(tǒng)的動(dòng)態(tài)規(guī)劃,哈密爾頓雅可比貝爾曼方程,表明：在最優(yōu)軌線(xiàn)上，最優(yōu)控制函數(shù)必使H達(dá)整體最小，這是最小值原理的另一種表述形式。 連續(xù)動(dòng)態(tài)規(guī)劃的基本方程、最優(yōu)解的求解步驟：P148-150,第4章

47、 動(dòng)態(tài)規(guī)劃 4.4 動(dòng)態(tài)規(guī)劃與變分法、最小值原理的關(guān)系,1.動(dòng)態(tài)規(guī)劃與變分法 由哈密爾頓雅可比貝爾曼方程可推倒出歐拉方程,結(jié)論： 動(dòng)態(tài)規(guī)劃與變分法和極小值原理在數(shù)學(xué)上是等效關(guān)系 應(yīng)用范疇有所不同：對(duì)某些最優(yōu)性能指標(biāo)的可微性條件不能滿(mǎn)足的最優(yōu)控制問(wèn)題，未必能寫(xiě)出哈密爾頓雅可比貝爾曼方程。,2.動(dòng)態(tài)規(guī)劃與極小值原理 由哈密爾頓雅可比貝爾曼方程，本身就是極小值原理的極值條件，通過(guò)它還可推倒極小值原理的協(xié)態(tài)方程和橫截條件。區(qū)別在于：,第5章 線(xiàn)性最優(yōu)狀態(tài)調(diào)節(jié)器 5.1 線(xiàn)性二次型問(wèn)題,線(xiàn)性二次型問(wèn)題的特點(diǎn) （1）最優(yōu)解可寫(xiě)成統(tǒng)一的解析表達(dá)式，實(shí)現(xiàn)求解過(guò)程規(guī)范化 （2）可以兼顧系統(tǒng)的性能指標(biāo)（快速性、準(zhǔn)

48、確性、穩(wěn)定性、靈敏度）,線(xiàn)性二次型問(wèn)題：系統(tǒng)為線(xiàn)性系統(tǒng)，性能指標(biāo)為狀態(tài)變量與控制變量的二次型函數(shù)，這類(lèi)系統(tǒng)的最優(yōu)控制問(wèn)題。 主要內(nèi)容：最優(yōu)狀態(tài)調(diào)節(jié)、最優(yōu)輸出調(diào)節(jié)和最優(yōu)跟蹤，其中，最優(yōu)輸出調(diào)節(jié)問(wèn)題和最優(yōu)跟蹤問(wèn)題可以化為最優(yōu)狀態(tài)調(diào)節(jié)問(wèn)題。,第5章 線(xiàn)性最優(yōu)狀態(tài)調(diào)節(jié)器 5.1 線(xiàn)性二次型問(wèn)題,線(xiàn)性二次性問(wèn)題的提法： 設(shè)線(xiàn)性時(shí)變系統(tǒng)的狀態(tài)方程為,假設(shè)控制向量 不受約束 ，用 表示期望輸出，則誤差向量為,正定二次型 半正定二次型 實(shí)對(duì)稱(chēng)陣A為正定（半正定）的充要條件是全部特征值0（=0)。,求最優(yōu)控制 ，使下列二次型性能指標(biāo)最小。,第5章 線(xiàn)性最優(yōu)狀態(tài)調(diào)節(jié)器 5.1 線(xiàn)性二次型問(wèn)題,性能指標(biāo)的物理含義：

49、（P163）,加權(quán)矩陣的意義： （1）F,Q,R是衡量誤差分量和控制分量的加權(quán)矩陣，可根據(jù)各分量的重要性靈活選取。 （2）采用時(shí)變矩陣Q(t),R(t)更能適應(yīng)各種特殊情況。 例如： Q(t)可開(kāi)始取值小，而后取值大,第5章 線(xiàn)性最優(yōu)狀態(tài)調(diào)節(jié)器 5.1 線(xiàn)性二次型問(wèn)題,線(xiàn)性二次型問(wèn)題的本質(zhì)： 用不大的控制，來(lái)保持較小的誤差，以達(dá)到能量和誤差綜合最優(yōu)的目的。,線(xiàn)性二次型問(wèn)題的三種重要情形：,第5章 線(xiàn)性最優(yōu)狀態(tài)調(diào)節(jié)器 5.2 狀態(tài)調(diào)節(jié)器問(wèn)題,設(shè)線(xiàn)性時(shí)變系統(tǒng)的狀態(tài)方程為,假設(shè)控制向量 不受約束 ，求最優(yōu)控制 ，使系統(tǒng)的二次型性能指標(biāo)取極小值。,5.2.1 有限時(shí)間狀態(tài)調(diào)節(jié)器問(wèn)題,物理意義：以較小的

50、控制能量為代價(jià)，使?fàn)顟B(tài)保持在零值附近。,狀態(tài)調(diào)節(jié)器問(wèn)題，就是要求系統(tǒng)的狀態(tài)保持在平衡狀態(tài)附件。分兩種情況討論：,第5章 線(xiàn)性最優(yōu)狀態(tài)調(diào)節(jié)器 5.2 狀態(tài)調(diào)節(jié)器問(wèn)題,1、最優(yōu)解的充分必要條件 定理5-1: 最優(yōu)控制的充分必要條件,最優(yōu)性能指標(biāo)：,對(duì)稱(chēng)非負(fù)矩陣P滿(mǎn)足黎卡提矩陣微分方程：,邊界條件：,2、黎卡提方程解的若干性質(zhì)：P168,3、最優(yōu)控制解的存在性與唯一性： 定理5-2,第5章 線(xiàn)性最優(yōu)狀態(tài)調(diào)節(jié)器 5.2 狀態(tài)調(diào)節(jié)器問(wèn)題,（1）根據(jù)系統(tǒng)要求和工程實(shí)際經(jīng)驗(yàn)，選取加權(quán)矩陣F,Q,R,狀態(tài)調(diào)節(jié)器的設(shè)計(jì)步驟,（2）求解黎卡提微分方程，求得矩陣P(t),（3）求反饋增益矩陣K(t)及最優(yōu)控制u*(t),（4）求解最優(yōu)軌線(xiàn)x*(t),（5）計(jì)算性能指標(biāo)最優(yōu)值,第5章 線(xiàn)性最優(yōu)狀態(tài)調(diào)節(jié)器 5.2 狀態(tài)調(diào)節(jié)器問(wèn)題,例5-2,已知一階系統(tǒng)的微分方程為,求使性能指標(biāo)為極小值時(shí)的最優(yōu)控制。,解：,二次型性能指標(biāo)為：,其中p(t)為黎卡提方程的解,最優(yōu)軌為如下時(shí)變一階微分方程的解(可得出解析解）,第5章 線(xiàn)性最優(yōu)狀態(tài)調(diào)節(jié)器 5.2 狀態(tài)調(diào)節(jié)器問(wèn)題,1.無(wú)限時(shí)間時(shí)變狀態(tài)調(diào)節(jié)器 設(shè)線(xiàn)性時(shí)變