最優(yōu)控制理論

最優(yōu)控制理論課件第一頁，共一百五十七頁，編輯于2023年，星期三6/10/20231現(xiàn)代控制理論最優(yōu)控制理論東北大學(xué)信息科學(xué)與工程學(xué)院井元偉教授二○○九年十一月第二頁，共一百五十七頁，編輯于2023年，星期三6/10/20232第2章求解最優(yōu)控制的變分方法第3章最大值原理第4章動(dòng)態(tài)規(guī)劃第5章線性二次型性能指標(biāo)的最優(yōu)控制第6章快速控制系統(tǒng)第1章最優(yōu)控制問題第三頁，共一百五十七頁，編輯于2023年，星期三6/10/20233最優(yōu)控制理論現(xiàn)代控制理論的重要組成部分20世紀(jì)50年代發(fā)展形成系統(tǒng)的理論研究的對(duì)象

控制系統(tǒng)中心問題

給定一個(gè)控制系統(tǒng)，選擇控制規(guī)律，使系統(tǒng)在某種意義上是最優(yōu)的統(tǒng)一的、嚴(yán)格的數(shù)學(xué)方法最優(yōu)控制問題研究者的課題，工程師們?cè)O(shè)計(jì)控制系統(tǒng)時(shí)的目標(biāo)最優(yōu)控制能在各個(gè)領(lǐng)域中得到應(yīng)用，效益顯著第四頁，共一百五十七頁，編輯于2023年，星期三6/10/20234現(xiàn)代控制理論1.1兩個(gè)例子1.2問題描述第1章最優(yōu)控制問題第五頁，共一百五十七頁，編輯于2023年，星期三6/10/20235現(xiàn)代控制理論最優(yōu)控制問題1.1兩個(gè)例子

例1.1飛船軟著陸問題

第六頁，共一百五十七頁，編輯于2023年，星期三6/10/20236現(xiàn)代控制理論最優(yōu)控制問題1.1兩個(gè)例子

例1.1飛船軟著陸問題

m

飛船的質(zhì)量h

高度v

垂直速度g

月球重力加速度常數(shù)M

飛船自身質(zhì)量F

燃料的質(zhì)量軟著陸過程開始時(shí)刻t為零

K為常數(shù)

第七頁，共一百五十七頁，編輯于2023年，星期三6/10/20237現(xiàn)代控制理論最優(yōu)控制問題1.1兩個(gè)例子

例1.1飛船軟著陸問題

m

飛船的質(zhì)量h

高度v

垂直速度g

月球重力加速度常數(shù)M

飛船自身質(zhì)量F

燃料的質(zhì)量軟著陸過程開始時(shí)刻t為零

K為常數(shù)

第八頁，共一百五十七頁，編輯于2023年，星期三6/10/20238現(xiàn)代控制理論最優(yōu)控制問題1.1兩個(gè)例子

例1.1飛船軟著陸問題

m

飛船的質(zhì)量h

高度v

垂直速度g

月球重力加速度常數(shù)M

飛船自身質(zhì)量F

燃料的質(zhì)量軟著陸過程開始時(shí)刻t為零

K為常數(shù)

初始狀態(tài)

第九頁，共一百五十七頁，編輯于2023年，星期三6/10/20239現(xiàn)代控制理論最優(yōu)控制問題1.1兩個(gè)例子

例1.1飛船軟著陸問題

m

飛船的質(zhì)量h

高度v

垂直速度g

月球重力加速度常數(shù)M

飛船自身質(zhì)量F

燃料的質(zhì)量軟著陸過程開始時(shí)刻t為零

K為常數(shù)

初始狀態(tài)

終點(diǎn)條件

第十頁，共一百五十七頁，編輯于2023年，星期三6/10/202310現(xiàn)代控制理論最優(yōu)控制問題1.1兩個(gè)例子

例1.1飛船軟著陸問題

m

飛船的質(zhì)量h

高度v

垂直速度g

月球重力加速度常數(shù)M

飛船自身質(zhì)量F

燃料的質(zhì)量軟著陸過程開始時(shí)刻t為零

K為常數(shù)

初始狀態(tài)

終點(diǎn)條件

控制目標(biāo)第十一頁，共一百五十七頁，編輯于2023年，星期三6/10/202311現(xiàn)代控制理論最優(yōu)控制問題1.1兩個(gè)例子

例1.1飛船軟著陸問題

m

飛船的質(zhì)量h

高度v

垂直速度g

月球重力加速度常數(shù)M

飛船自身質(zhì)量F

燃料的質(zhì)量軟著陸過程開始時(shí)刻t為零

K為常數(shù)

初始狀態(tài)

終點(diǎn)條件

控制目標(biāo)推力方案第十二頁，共一百五十七頁，編輯于2023年，星期三6/10/202312現(xiàn)代控制理論最優(yōu)控制問題例1.2導(dǎo)彈發(fā)射問題第十三頁，共一百五十七頁，編輯于2023年，星期三6/10/202313現(xiàn)代控制理論最優(yōu)控制問題例1.2導(dǎo)彈發(fā)射問題第十四頁，共一百五十七頁，編輯于2023年，星期三6/10/202314現(xiàn)代控制理論最優(yōu)控制問題例1.2導(dǎo)彈發(fā)射問題第十五頁，共一百五十七頁，編輯于2023年，星期三6/10/202315現(xiàn)代控制理論最優(yōu)控制問題例1.2導(dǎo)彈發(fā)射問題初始條件

第十六頁，共一百五十七頁，編輯于2023年，星期三6/10/202316現(xiàn)代控制理論

最優(yōu)控制問題例1.2導(dǎo)彈發(fā)射問題初始條件

末端約束

第十七頁，共一百五十七頁，編輯于2023年，星期三6/10/202317現(xiàn)代控制理論

最優(yōu)控制問題例1.2導(dǎo)彈發(fā)射問題初始條件

末端約束

指標(biāo)

第十八頁，共一百五十七頁，編輯于2023年，星期三6/10/202318現(xiàn)代控制理論

最優(yōu)控制問題例1.2導(dǎo)彈發(fā)射問題初始條件

末端約束

指標(biāo)

控制第十九頁，共一百五十七頁，編輯于2023年，星期三6/10/202319現(xiàn)代控制理論最優(yōu)控制問題1.2問題描述(1)狀態(tài)方程一般形式為第二十頁，共一百五十七頁，編輯于2023年，星期三6/10/202320現(xiàn)代控制理論

最優(yōu)控制問題1.2問題描述(1)狀態(tài)方程一般形式為第二十一頁，共一百五十七頁，編輯于2023年，星期三6/10/202321現(xiàn)代控制理論最優(yōu)控制問題1.2問題描述(1)狀態(tài)方程一般形式為為n維狀態(tài)向量第二十二頁，共一百五十七頁，編輯于2023年，星期三6/10/202322現(xiàn)代控制理論

最優(yōu)控制問題1.2問題描述(1)狀態(tài)方程一般形式為為n維狀態(tài)向量為r維控制向量第二十三頁，共一百五十七頁，編輯于2023年，星期三6/10/202323現(xiàn)代控制理論最優(yōu)控制問題1.2問題描述(1)狀態(tài)方程一般形式為為n維狀態(tài)向量為r維控制向量為n維向量函數(shù)第二十四頁，共一百五十七頁，編輯于2023年，星期三6/10/202324現(xiàn)代控制理論

最優(yōu)控制問題1.2問題描述(1)狀態(tài)方程一般形式為為n維狀態(tài)向量為r維控制向量為n維向量函數(shù)給定控制規(guī)律第二十五頁，共一百五十七頁，編輯于2023年，星期三6/10/202325現(xiàn)代控制理論最優(yōu)控制問題1.2問題描述(1)狀態(tài)方程一般形式為為n維狀態(tài)向量為r維控制向量為n維向量函數(shù)給定控制規(guī)律滿足一定條件時(shí)，方程有唯一解第二十六頁，共一百五十七頁，編輯于2023年，星期三6/10/202326現(xiàn)代控制理論

最優(yōu)控制問題(2)容許控制第二十七頁，共一百五十七頁，編輯于2023年，星期三6/10/202327現(xiàn)代控制理論最優(yōu)控制問題(2)容許控制：第二十八頁，共一百五十七頁，編輯于2023年，星期三6/10/202328現(xiàn)代控制理論

最優(yōu)控制問題(2)容許控制：第二十九頁，共一百五十七頁，編輯于2023年，星期三6/10/202329現(xiàn)代控制理論最優(yōu)控制問題(2)容許控制：有時(shí)控制域可為超方體

第三十頁，共一百五十七頁，編輯于2023年，星期三6/10/202330現(xiàn)代控制理論

最優(yōu)控制問題(2)容許控制：有時(shí)控制域可為超方體

第三十一頁，共一百五十七頁，編輯于2023年，星期三6/10/202331現(xiàn)代控制理論最優(yōu)控制問題(3)目標(biāo)集第三十二頁，共一百五十七頁，編輯于2023年，星期三6/10/202332現(xiàn)代控制理論最優(yōu)控制問題(3)目標(biāo)集第三十三頁，共一百五十七頁，編輯于2023年，星期三6/10/202333現(xiàn)代控制理論

最優(yōu)控制問題(3)目標(biāo)集n維向量函數(shù)第三十四頁，共一百五十七頁，編輯于2023年，星期三6/10/202334現(xiàn)代控制理論最優(yōu)控制問題(3)目標(biāo)集固定端問題

n維向量函數(shù)第三十五頁，共一百五十七頁，編輯于2023年，星期三6/10/202335現(xiàn)代控制理論最優(yōu)控制問題(3)目標(biāo)集固定端問題

自由端問題

n維向量函數(shù)第三十六頁，共一百五十七頁，編輯于2023年，星期三6/10/202336現(xiàn)代控制理論

最優(yōu)控制問題(4)性能指標(biāo)第三十七頁，共一百五十七頁，編輯于2023年，星期三6/10/202337現(xiàn)代控制理論最優(yōu)控制問題(4)性能指標(biāo)第三十八頁，共一百五十七頁，編輯于2023年，星期三6/10/202338現(xiàn)代控制理論最優(yōu)控制問題(4)性能指標(biāo)對(duì)狀態(tài)、控制以及終點(diǎn)狀態(tài)的要求，復(fù)合型性能指標(biāo)第三十九頁，共一百五十七頁，編輯于2023年，星期三6/10/202339現(xiàn)代控制理論

最優(yōu)控制問題(4)性能指標(biāo)對(duì)狀態(tài)、控制以及終點(diǎn)狀態(tài)的要求，復(fù)合型性能指標(biāo)第四十頁，共一百五十七頁，編輯于2023年，星期三6/10/202340現(xiàn)代控制理論最優(yōu)控制問題(4)性能指標(biāo)對(duì)狀態(tài)、控制以及終點(diǎn)狀態(tài)的要求，復(fù)合型性能指標(biāo)積分型性能指標(biāo)，表示對(duì)整個(gè)狀態(tài)和控制過程的要求

第四十一頁，共一百五十七頁，編輯于2023年，星期三6/10/202341現(xiàn)代控制理論

最優(yōu)控制問題(4)性能指標(biāo)對(duì)狀態(tài)、控制以及終點(diǎn)狀態(tài)的要求，復(fù)合型性能指標(biāo)積分型性能指標(biāo)，表示對(duì)整個(gè)狀態(tài)和控制過程的要求

第四十二頁，共一百五十七頁，編輯于2023年，星期三6/10/202342現(xiàn)代控制理論最優(yōu)控制問題(4)性能指標(biāo)對(duì)狀態(tài)、控制以及終點(diǎn)狀態(tài)的要求，復(fù)合型性能指標(biāo)積分型性能指標(biāo)，表示對(duì)整個(gè)狀態(tài)和控制過程的要求

終點(diǎn)型指標(biāo)，表示僅對(duì)終點(diǎn)狀態(tài)的要求第四十三頁，共一百五十七頁，編輯于2023年，星期三6/10/202343現(xiàn)代控制理論

2.1泛函與變分法基礎(chǔ)2.2歐拉方程2.3橫截條件2.4含有多個(gè)未知函數(shù)泛函的極值2.5條件極值2.6最優(yōu)控制問題的變分解法第2章求解最優(yōu)控制的變分方法第四十四頁，共一百五十七頁，編輯于2023年，星期三6/10/202344現(xiàn)代控制理論

求解最優(yōu)控制的變分方法2.1泛函與變分法基礎(chǔ)平面上兩點(diǎn)連線的長度問題

第四十五頁，共一百五十七頁，編輯于2023年，星期三6/10/202345現(xiàn)代控制理論

求解最優(yōu)控制的變分方法2.1泛函與變分法基礎(chǔ)平面上兩點(diǎn)連線的長度問題

第四十六頁，共一百五十七頁，編輯于2023年，星期三6/10/202346現(xiàn)代控制理論

求解最優(yōu)控制的變分方法2.1泛函與變分法基礎(chǔ)平面上兩點(diǎn)連線的長度問題

一般來說，曲線不同，弧長就不同，即弧長依賴于曲線，記為第四十七頁，共一百五十七頁，編輯于2023年，星期三6/10/202347現(xiàn)代控制理論

求解最優(yōu)控制的變分方法2.1泛函與變分法基礎(chǔ)平面上兩點(diǎn)連線的長度問題

一般來說，曲線不同，弧長就不同，即弧長依賴于曲線，記為稱為泛函

稱為泛函的宗量

第四十八頁，共一百五十七頁，編輯于2023年，星期三6/10/202348現(xiàn)代控制理論

求解最優(yōu)控制的變分方法泛函與函數(shù)的幾何解釋第四十九頁，共一百五十七頁，編輯于2023年，星期三6/10/202349現(xiàn)代控制理論

求解最優(yōu)控制的變分方法泛函與函數(shù)的幾何解釋第五十頁，共一百五十七頁，編輯于2023年，星期三6/10/202350現(xiàn)代控制理論

求解最優(yōu)控制的變分方法泛函與函數(shù)的幾何解釋宗量的變分第五十一頁，共一百五十七頁，編輯于2023年，星期三6/10/202351現(xiàn)代控制理論

求解最優(yōu)控制的變分方法泛函與函數(shù)的幾何解釋宗量的變分泛函的增量第五十二頁，共一百五十七頁，編輯于2023年，星期三6/10/202352現(xiàn)代控制理論

求解最優(yōu)控制的變分方法泛函與函數(shù)的幾何解釋宗量的變分泛函的增量泛函的變分第五十三頁，共一百五十七頁，編輯于2023年，星期三6/10/202353現(xiàn)代控制理論

求解最優(yōu)控制的變分方法泛函與函數(shù)的幾何解釋連續(xù)泛函

宗量的變分趨于無窮小時(shí)，泛函的變分也趨于無窮小線性泛函

泛函對(duì)宗量是線性的宗量的變分泛函的增量泛函的變分第五十四頁，共一百五十七頁，編輯于2023年，星期三6/10/202354現(xiàn)代控制理論

求解最優(yōu)控制的變分方法定理2.2若泛函有極值，則必有上述方法與結(jié)論對(duì)多個(gè)未知函數(shù)的泛數(shù)同樣適用

第五十五頁，共一百五十七頁，編輯于2023年，星期三6/10/202355現(xiàn)代控制理論

求解最優(yōu)控制的變分方法2.6最優(yōu)控制問題的變分解法2.6.4終值時(shí)間自由的問題2.6.3末端受限問題2.6.2固定端問題2.6.1自由端問題第五十六頁，共一百五十七頁，編輯于2023年，星期三6/10/202356現(xiàn)代控制理論求解最優(yōu)控制的變分方法2.6.1自由端問題約束方程新的泛函令有哈米頓函數(shù)

第五十七頁，共一百五十七頁，編輯于2023年，星期三6/10/202357現(xiàn)代控制理論

求解最優(yōu)控制的變分方法進(jìn)行變分令有伴隨方程

必要條件第五十八頁，共一百五十七頁，編輯于2023年，星期三6/10/202358現(xiàn)代控制理論

求解最優(yōu)控制的變分方法例2.5

哈米頓函數(shù)伴隨方程邊界條件必要條件第五十九頁，共一百五十七頁，編輯于2023年，星期三6/10/202359現(xiàn)代控制理論

求解最優(yōu)控制的變分方法最優(yōu)控制代入狀態(tài)方程并求解令第六十頁，共一百五十七頁，編輯于2023年，星期三6/10/202360現(xiàn)代控制理論求解最優(yōu)控制的變分方法2.6.2固定端問題性能指標(biāo)分部積分進(jìn)行變分令變分為零第六十一頁，共一百五十七頁，編輯于2023年，星期三6/10/202361現(xiàn)代控制理論

求解最優(yōu)控制的變分方法邊界條件指標(biāo)泛函例2.6考慮如下系統(tǒng)的終端固定的最優(yōu)控制問題，求取最優(yōu)控制和最優(yōu)狀態(tài)曲線，使指標(biāo)泛函J取得極小值。

系統(tǒng)的狀態(tài)方程：第六十二頁，共一百五十七頁，編輯于2023年，星期三6/10/202362現(xiàn)代控制理論

求解最優(yōu)控制的變分方法哈米頓函數(shù)伴隨方程由狀態(tài)方程代入初始和終端條件，可求得第六十三頁，共一百五十七頁，編輯于2023年，星期三6/10/202363現(xiàn)代控制理論

求解最優(yōu)控制的變分方法4.考慮如下系統(tǒng)的終端固定的最優(yōu)控制問題，求取最優(yōu)控制和最優(yōu)狀態(tài)曲線，使指標(biāo)泛函J取得極小值。系統(tǒng)的狀態(tài)方程為：其邊界條件為：其指標(biāo)泛函為：第六十四頁，共一百五十七頁，編輯于2023年，星期三6/10/202364現(xiàn)代控制理論

求解最優(yōu)控制的變分方法哈米頓函數(shù)伴隨方程第六十五頁，共一百五十七頁，編輯于2023年，星期三6/10/202365現(xiàn)代控制理論

求解最優(yōu)控制的變分方法第六十六頁，共一百五十七頁，編輯于2023年，星期三6/10/202366現(xiàn)代控制理論

求解最優(yōu)控制的變分方法2.6.3末端受限問題新的泛函變分第六十七頁，共一百五十七頁，編輯于2023年，星期三6/10/202367現(xiàn)代控制理論求解最優(yōu)控制的變分方法必要條件第六十八頁，共一百五十七頁，編輯于2023年，星期三6/10/202368現(xiàn)代控制理論

求解最優(yōu)控制的變分方法2.6.4終值時(shí)間自由的問題T有時(shí)是可變的，是指標(biāo)泛函，選控制使有T極小值變分第六十九頁，共一百五十七頁，編輯于2023年，星期三6/10/202369現(xiàn)代控制理論

求解最優(yōu)控制的變分方法必要條件第七十頁，共一百五十七頁，編輯于2023年，星期三6/10/202370現(xiàn)代控制理論

求解最優(yōu)控制的變分方法例2.7

指標(biāo)泛函哈米頓函數(shù)伴隨方程必要條件第七十一頁，共一百五十七頁，編輯于2023年，星期三6/10/202371現(xiàn)代控制理論

3.1古典變分法的局限性3.2最大值原理3.3變分法與極大值原理第3章最大值原理第七十二頁，共一百五十七頁，編輯于2023年，星期三6/10/202372現(xiàn)代控制理論

最大值原理3.1古典變分法的局限性u(píng)(t)受限的例子例3.1伴隨方程極值必要條件矛盾!!第七十三頁，共一百五十七頁，編輯于2023年，星期三6/10/202373現(xiàn)代控制理論

最大值原理3.2最大值原理定理3.1(最小值原理)設(shè)為容許控制，為對(duì)應(yīng)的積分軌線，為使為最優(yōu)控制，為最優(yōu)軌線，必存在一向量函數(shù)，使得和滿足正則方程且第七十四頁，共一百五十七頁，編輯于2023年，星期三6/10/202374現(xiàn)代控制理論

最大值原理最小值原理只是最優(yōu)控制所滿足的必要條件。但對(duì)于線性系統(tǒng)最小值原理也是使泛函取最小值得充分條件。第七十五頁，共一百五十七頁，編輯于2023年，星期三6/10/202375現(xiàn)代控制理論

最大值原理例3.2重解例3.1哈密頓函數(shù)伴隨方程由極值必要條件，知又于是有第七十六頁，共一百五十七頁，編輯于2023年，星期三6/10/202376現(xiàn)代控制理論

最大值原理協(xié)態(tài)變量與控制變量的關(guān)系圖

第七十七頁，共一百五十七頁，編輯于2023年，星期三6/10/202377現(xiàn)代控制理論

最大值原理例3.3

性能指標(biāo)泛函哈密頓函數(shù)伴隨方程第七十八頁，共一百五十七頁，編輯于2023年，星期三6/10/202378現(xiàn)代控制理論

最大值原理上有第七十九頁，共一百五十七頁，編輯于2023年，星期三6/10/202379現(xiàn)代控制理論

最大值原理協(xié)態(tài)變量與控制變量的關(guān)系圖

整個(gè)最優(yōu)軌線第八十頁，共一百五十七頁，編輯于2023年，星期三6/10/202380現(xiàn)代控制理論最大值原理例3.4

把系統(tǒng)狀態(tài)在終點(diǎn)時(shí)刻轉(zhuǎn)移到性能指標(biāo)泛函終點(diǎn)時(shí)刻是不固定的哈米頓函數(shù)伴隨方程第八十一頁，共一百五十七頁，編輯于2023年，星期三6/10/202381現(xiàn)代控制理論

最大值原理H是u的二次拋物線函數(shù)，u在上一定使H有最小值，可能在內(nèi)部，也可能在邊界上。最優(yōu)控制可能且只能取三個(gè)值

此二者都不能使?fàn)顟B(tài)變量同時(shí)滿足初始條件和終點(diǎn)條件第八十二頁，共一百五十七頁，編輯于2023年，星期三6/10/202382現(xiàn)代控制理論最大值原理最優(yōu)控制最優(yōu)軌線最優(yōu)性能指標(biāo)第八十三頁，共一百五十七頁，編輯于2023年，星期三6/10/202383現(xiàn)代控制理論

最大值原理例3.5

使系統(tǒng)以最短時(shí)間從給定初態(tài)轉(zhuǎn)移到零態(tài)哈米頓函數(shù)伴隨方程第八十四頁，共一百五十七頁，編輯于2023年，星期三6/10/202384現(xiàn)代控制理論

最大值原理最優(yōu)控制切換及最優(yōu)軌線示意圖第八十五頁，共一百五十七頁，編輯于2023年，星期三6/10/202385現(xiàn)代控制理論

最大值原理3.3古典變分法與最小值原理古典變分法適用的范圍是對(duì)u無約束，而最小值原理一般都適用。特別當(dāng)u不受約束時(shí)，條件就等價(jià)于條件第八十六頁，共一百五十七頁，編輯于2023年，星期三6/10/202386現(xiàn)代控制理論4.1多級(jí)決策過程與最優(yōu)性原理4.2離散系統(tǒng)動(dòng)態(tài)規(guī)劃4.3連續(xù)系統(tǒng)動(dòng)態(tài)規(guī)劃4.4動(dòng)態(tài)規(guī)劃與最大值原理的關(guān)系第4章動(dòng)態(tài)規(guī)劃第八十七頁，共一百五十七頁，編輯于2023年，星期三6/10/202387現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃

動(dòng)態(tài)規(guī)劃是求解最優(yōu)控制的又一種方法，特別對(duì)離散型控制系統(tǒng)更為有效，而且得出的是綜合控制函數(shù)。這種方法來源于多決策過程，并由貝爾曼首先提出，故稱貝爾曼動(dòng)態(tài)規(guī)劃。第八十八頁，共一百五十七頁，編輯于2023年，星期三6/10/202388現(xiàn)代控制理論動(dòng)態(tài)規(guī)劃4.1多級(jí)決策過程與最優(yōu)性原理作為例子，首先分析最優(yōu)路徑問題(a)(b)(c)試分析(a),(b)和(c)三種情況的最優(yōu)路徑，即從走到所需時(shí)間最少。規(guī)定沿水平方向只能前進(jìn)不能后退。第八十九頁，共一百五十七頁，編輯于2023年，星期三6/10/202389現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃(a)中只有兩條路徑，從起點(diǎn)開始，一旦選定路線，就直達(dá)終點(diǎn)，選最優(yōu)路徑就是從兩條中選一條，使路程所用時(shí)間最少。這很容易辦到，只稍加計(jì)算，便可知道，上面一條所需時(shí)間最少。(b)共有6條路徑可到達(dá)終點(diǎn)，若仍用上面方法，需計(jì)算6次，將每條路線所需時(shí)間求出，然后比較，找出一條時(shí)間最短的路程。(c)需計(jì)算20次，因?yàn)檫@時(shí)有20條路徑，由此可見，計(jì)算量顯著增大了。第九十頁，共一百五十七頁，編輯于2023年，星期三6/10/202390現(xiàn)代控制理論動(dòng)態(tài)規(guī)劃逆向分級(jí)計(jì)算法

逆向是指計(jì)算從后面開始，分級(jí)是指逐級(jí)計(jì)算。逆向分級(jí)就是從后向前逐級(jí)計(jì)算。以(c)為例從倒數(shù)第一級(jí)開始，狀態(tài)有兩個(gè)，分別為和在處，只有一條路到達(dá)終點(diǎn)，其時(shí)間是；在處，也只有一條，時(shí)間為1。后一條時(shí)間最短，將此時(shí)間相應(yīng)地標(biāo)在點(diǎn)上。并將此點(diǎn)到終點(diǎn)的最優(yōu)路徑畫上箭頭。第九十一頁，共一百五十七頁，編輯于2023年，星期三6/10/202391現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃然后再考慮第二級(jí)只有一種選擇，到終點(diǎn)所需時(shí)間是有兩條路，比較后選出時(shí)間最少的一條，即4+1=5。用箭頭標(biāo)出也標(biāo)出最優(yōu)路徑和時(shí)間依此類推，最后計(jì)算初始位置求得最優(yōu)路徑最短時(shí)間為13第九十二頁，共一百五十七頁，編輯于2023年，星期三6/10/202392現(xiàn)代控制理論動(dòng)態(tài)規(guī)劃最優(yōu)路徑示意圖

第九十三頁，共一百五十七頁，編輯于2023年，星期三6/10/202393現(xiàn)代控制理論動(dòng)態(tài)規(guī)劃5.利用逆向分級(jí)計(jì)算法求解如下的最優(yōu)路徑問題從倒數(shù)第一級(jí)開始，狀態(tài)有兩個(gè)，分別為和在處，只有一條路到達(dá)終點(diǎn)，其時(shí)間是；在處，也只有一條，時(shí)間為3。后一條時(shí)間最短，將此時(shí)間相應(yīng)地標(biāo)在點(diǎn)上。并將此點(diǎn)到終點(diǎn)的最優(yōu)路徑畫上箭頭。第九十四頁，共一百五十七頁，編輯于2023年，星期三6/10/202394現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃然后再考慮第二級(jí)，亦即倒數(shù)第二級(jí)只有一種選擇，到終點(diǎn)所需時(shí)間是有兩條路，比較后選出時(shí)間最少的一條，即2+4=6。用箭頭標(biāo)出也標(biāo)出最優(yōu)路徑和時(shí)間3+3=6

第九十五頁，共一百五十七頁，編輯于2023年，星期三6/10/202395現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃然后再考慮第一級(jí)，亦即倒數(shù)第三級(jí)有兩種選擇，到終點(diǎn)所需時(shí)間是分別是，保留前者有兩條路，比較后選出時(shí)間最少的一條，即2+(2+4)=8和2+(3+3)=8。用箭頭標(biāo)出。第九十六頁，共一百五十七頁，編輯于2023年，星期三6/10/202396現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃最后再考慮第一級(jí)，亦即倒數(shù)第四級(jí)有兩種選擇，到終點(diǎn)所需時(shí)間是分別是或2+(2+3+3)=10。于是，最短路經(jīng)有3條，時(shí)間為10。求得最優(yōu)路徑第九十七頁，共一百五十七頁，編輯于2023年，星期三6/10/202397現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃多級(jí)過程

多級(jí)決策過程

目標(biāo)函數(shù)

控制目的

選擇決策序列使目標(biāo)函數(shù)取最小值或最大值實(shí)際上就是離散狀態(tài)的最優(yōu)控制問題

第九十八頁，共一百五十七頁，編輯于2023年，星期三6/10/202398現(xiàn)代控制理論動(dòng)態(tài)規(guī)劃最優(yōu)性原理在一個(gè)多級(jí)決策問題中的最優(yōu)決策具有這樣的性質(zhì)，不管初始級(jí)、初始狀態(tài)和初始決策是什么，當(dāng)把其中任何一級(jí)和狀態(tài)做為初始級(jí)和初始狀態(tài)時(shí)，余下的決策對(duì)此仍是最優(yōu)決策。第九十九頁，共一百五十七頁，編輯于2023年，星期三6/10/202399現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃指標(biāo)函數(shù)多是各級(jí)指標(biāo)之和，即具有可加性最優(yōu)性原理的數(shù)學(xué)表達(dá)式第一百頁，共一百五十七頁，編輯于2023年，星期三6/10/2023100現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃4.2離散系統(tǒng)動(dòng)態(tài)規(guī)劃階離散系統(tǒng)性能指標(biāo)求決策向量使有最小值（或最大值），其終點(diǎn)可自由，也可固定或受約束。第一百零一頁，共一百五十七頁，編輯于2023年，星期三6/10/2023101現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃引進(jìn)記號(hào)應(yīng)用最優(yōu)性原理可建立如下遞推公式貝爾曼動(dòng)態(tài)規(guī)劃方程

第一百零二頁，共一百五十七頁，編輯于2023年，星期三6/10/2023102現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃例4.2設(shè)一階離散系統(tǒng)，狀態(tài)方程和初始條件為性能指標(biāo)求使有最小值的最優(yōu)決策序列和最優(yōu)軌線序列指標(biāo)可寫為第一百零三頁，共一百五十七頁，編輯于2023年，星期三6/10/2023103現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃代入上一級(jí)第一百零四頁，共一百五十七頁，編輯于2023年，星期三6/10/2023104現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃代入狀態(tài)方程最優(yōu)決策序列最優(yōu)軌線第一百零五頁，共一百五十七頁，編輯于2023年，星期三6/10/2023105現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃4.3連續(xù)系統(tǒng)的動(dòng)態(tài)規(guī)劃性能指標(biāo)目標(biāo)集引進(jìn)記號(hào)根據(jù)最優(yōu)性原理及第一百零六頁，共一百五十七頁，編輯于2023年，星期三6/10/2023106現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃第一百零七頁，共一百五十七頁，編輯于2023年，星期三6/10/2023107現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃由泰勒公式，得由中值定理，得第一百零八頁，共一百五十七頁，編輯于2023年，星期三6/10/2023108現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃連續(xù)型動(dòng)態(tài)規(guī)劃方程

實(shí)際上它不是一個(gè)偏微分方程，而是一個(gè)函數(shù)方程和偏微分方程的混合方程第一百零九頁，共一百五十七頁，編輯于2023年，星期三6/10/2023109現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃滿足連續(xù)型動(dòng)態(tài)規(guī)劃方程，有設(shè)邊界條件動(dòng)態(tài)規(guī)劃動(dòng)態(tài)規(guī)劃方程是最優(yōu)控制函數(shù)滿足的充分條件；解一個(gè)偏微分方程；可直接得出綜合函數(shù)；動(dòng)態(tài)規(guī)劃要求有連續(xù)偏導(dǎo)數(shù)最大值原理最大值原理是最優(yōu)控制函數(shù)滿足的必要條件；解一個(gè)常微分方程組；最大值原理則只求得。第一百一十頁，共一百五十七頁，編輯于2023年，星期三6/10/2023110現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃例4.3一階系統(tǒng)性能指標(biāo)動(dòng)態(tài)規(guī)劃方程右端對(duì)u求導(dǎo)數(shù)，令其導(dǎo)數(shù)為零，則得第一百一十一頁，共一百五十七頁，編輯于2023年，星期三6/10/2023111現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃4.4動(dòng)態(tài)規(guī)劃與最大值原理的關(guān)系

變分法、最大值原理和動(dòng)態(tài)規(guī)劃都是研究最優(yōu)控制問題的求解方法，很容易想到，若用三者研究同一個(gè)問題，應(yīng)該得到相同的結(jié)論。因此三者應(yīng)該存在著內(nèi)在聯(lián)系。變分法和最大值原理之間的關(guān)系前面已說明，下面將分析動(dòng)態(tài)規(guī)劃和最大值原理的關(guān)系?？梢宰C明，在一定條件下，從動(dòng)態(tài)規(guī)劃方程能求最大值原理的方程。

第一百一十二頁，共一百五十七頁，編輯于2023年，星期三6/10/2023112現(xiàn)代控制理論

動(dòng)態(tài)規(guī)劃動(dòng)態(tài)規(guī)劃方程令哈米頓函數(shù)最大值原理的必要條件第一百一十三頁，共一百五十七頁，編輯于2023年，星期三6/10/2023113現(xiàn)代控制理論

5.1問題提出5.2狀態(tài)調(diào)節(jié)器5.3輸出調(diào)節(jié)器5.4跟蹤問題5.5利用Matlab求解最優(yōu)控制第5章線性二次型性能指標(biāo)的最優(yōu)控制第一百一十四頁，共一百五十七頁，編輯于2023年，星期三6/10/2023114現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制

用最大值原理求最優(yōu)控制，求出的最優(yōu)控制通常是時(shí)間的函數(shù)，這樣的控制為開環(huán)控制。

當(dāng)用開環(huán)控制時(shí)，在控制過程中不允許有任何干擾，這樣才能使系統(tǒng)以最優(yōu)狀態(tài)運(yùn)行。在實(shí)際問題中，干擾不可能沒有，因此工程上總希望應(yīng)用閉環(huán)控制，即控制函數(shù)表示成時(shí)間和狀態(tài)的函數(shù)。

求解這樣的問題一般來說是很困難的。

但對(duì)一類線性的且指標(biāo)是二次型的動(dòng)態(tài)系統(tǒng)，卻得了完全的解決。不但理論比較完善，數(shù)學(xué)處理簡單，而且在工程實(shí)際中又容易實(shí)現(xiàn)，因而在工程中有著廣泛的應(yīng)用。第一百一十五頁，共一百五十七頁，編輯于2023年，星期三6/10/2023115現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制5.1問題提法動(dòng)態(tài)方程指標(biāo)泛函求使之有最小值此問題稱線性二次型性能指標(biāo)的最優(yōu)控制問題通常稱為綜合控制函數(shù)第一百一十六頁，共一百五十七頁，編輯于2023年，星期三6/10/2023116現(xiàn)代控制理論線性二次型性能指標(biāo)的最優(yōu)控制指標(biāo)泛函的物理意義積分項(xiàng)，被積函數(shù)由兩項(xiàng)組成，都是二次型。第一項(xiàng)

過程

在控制過程中，實(shí)際上是要求每個(gè)分量越小越好，但每一個(gè)分量不一定同等重要，所以用加權(quán)來調(diào)整，當(dāng)權(quán)為零時(shí)，對(duì)該項(xiàng)無要求。第二項(xiàng)

控制能力

能量消耗最小。對(duì)每個(gè)分量要求不一樣，因而進(jìn)行加權(quán)。要求正定，一方面對(duì)每個(gè)分量都應(yīng)有要求，否則會(huì)出現(xiàn)很大幅值，在實(shí)際工程中實(shí)現(xiàn)不了；另一方面，在計(jì)算中需要有逆存在。指標(biāo)中的第一項(xiàng)是對(duì)點(diǎn)狀態(tài)的要求，由于對(duì)每個(gè)分量要求不同，用加權(quán)陣來調(diào)整。第一百一十七頁，共一百五十七頁，編輯于2023年，星期三6/10/2023117現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制5.2狀態(tài)調(diào)節(jié)器5.2.1末端自由問題5.2.2固定端問題5.2.3

的情況狀態(tài)調(diào)節(jié)器選擇或使系統(tǒng)性能指標(biāo)有最小值第一百一十八頁，共一百五十七頁，編輯于2023年，星期三6/10/2023118現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制5.2.1末端自由問題構(gòu)造哈密頓函數(shù)伴隨方程及邊界條件最優(yōu)控制應(yīng)滿足代入正則方程第一百一十九頁，共一百五十七頁，編輯于2023年，星期三6/10/2023119現(xiàn)代控制理論線性二次型性能指標(biāo)的最優(yōu)控制求導(dǎo)第一百二十頁，共一百五十七頁，編輯于2023年，星期三6/10/2023120現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制（矩陣?yán)杩ㄌ嵛⒎址匠蹋?/p>

邊界條件最優(yōu)控制令最優(yōu)控制是狀態(tài)變量的線性函數(shù)借助狀態(tài)變量的線性反饋可實(shí)現(xiàn)閉環(huán)最優(yōu)控制對(duì)稱半正定陣第一百二十一頁，共一百五十七頁，編輯于2023年，星期三6/10/2023121現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制例5.1

性能指標(biāo)泛函最優(yōu)控制黎卡提微分方程第一百二十二頁，共一百五十七頁，編輯于2023年，星期三6/10/2023122現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制最優(yōu)軌線的微分方程解最優(yōu)軌線最優(yōu)控制

第一百二十三頁，共一百五十七頁，編輯于2023年，星期三6/10/2023123現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制黎卡提方程的解隨終點(diǎn)時(shí)間變化的黎卡提方程的解第一百二十四頁，共一百五十七頁，編輯于2023年，星期三6/10/2023124現(xiàn)代控制理論線性二次型性能指標(biāo)的最優(yōu)控制5.2.2固定端問題指標(biāo)泛函（設(shè)

）采用“補(bǔ)償函數(shù)”法補(bǔ)償函數(shù)懲罰函數(shù)邊界條件黎卡提方程逆黎卡提方程第一百二十五頁，共一百五十七頁，編輯于2023年，星期三6/10/2023125現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制求導(dǎo)黎卡提方程乘以逆黎卡提方程解逆第一百二十六頁，共一百五十七頁，編輯于2023年，星期三6/10/2023126現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制5.2.3的情況性能指標(biāo)無限長時(shí)間調(diào)節(jié)器問題

黎卡提方程邊界條件最優(yōu)控制最優(yōu)指標(biāo)第一百二十七頁，共一百五十七頁，編輯于2023年，星期三6/10/2023127現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制5.2.4定常系統(tǒng)完全可控指標(biāo)泛函矩陣代數(shù)方程最優(yōu)控制最優(yōu)指標(biāo)第一百二十八頁，共一百五十七頁，編輯于2023年，星期三6/10/2023128現(xiàn)代控制理論線性二次型性能指標(biāo)的最優(yōu)控制例5.2

黎卡提方程第一百二十九頁，共一百五十七頁，編輯于2023年，星期三6/10/2023129現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制5.3輸出調(diào)節(jié)器指標(biāo)泛函輸出調(diào)節(jié)器問題狀態(tài)調(diào)節(jié)器問題

令第一百三十頁，共一百五十七頁，編輯于2023年，星期三6/10/2023130現(xiàn)代控制理論線性二次型性能指標(biāo)的最優(yōu)控制5.4跟蹤問題問題的提法

已知的理想輸出

偏差量指標(biāo)泛函尋求控制規(guī)律使性能指標(biāo)有極小值。物理意義

在控制過程中，使系統(tǒng)輸出盡量趨近理想輸出，同時(shí)也使能量消耗最少。第一百三十一頁，共一百五十七頁，編輯于2023年，星期三6/10/2023131現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制指標(biāo)泛函哈密頓函數(shù)第一百三十二頁，共一百五十七頁，編輯于2023年，星期三6/10/2023132現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制設(shè)并微分第一百三十三頁，共一百五十七頁，編輯于2023年，星期三6/10/2023133現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制的任意性

最優(yōu)控制第一百三十四頁，共一百五十七頁，編輯于2023年，星期三6/10/2023134現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制最優(yōu)軌線方程

最優(yōu)性能指標(biāo)

第一百三十五頁，共一百五十七頁，編輯于2023年，星期三6/10/2023135現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制例5.3

性能指標(biāo)

第一百三十六頁，共一百五十七頁，編輯于2023年，星期三6/10/2023136現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制最優(yōu)控制第一百三十七頁，共一百五十七頁，編輯于2023年，星期三6/10/2023137現(xiàn)代控制理論線性二次型性能指標(biāo)的最優(yōu)控制，最優(yōu)控制極限解

第一百三十八頁，共一百五十七頁，編輯于2023年，星期三6/10/2023138現(xiàn)代控制理論

線性二次型性能指標(biāo)的最優(yōu)控制閉環(huán)控制系統(tǒng)結(jié)構(gòu)第一百三十九頁，共一百五十七頁，編輯于2023年，星期三6/10/2023139現(xiàn)代控制理論

快速控制系統(tǒng)6.1快速控制問題6.2綜合問題第6章快速控制系統(tǒng)第一百四十頁，共一百五十七頁，編輯于2023年，星期三6/10/2023140現(xiàn)代控制理論

快速控制系統(tǒng)

在實(shí)際問題中，經(jīng)常發(fā)生以時(shí)間為性能指標(biāo)的控制問題。

如，當(dāng)被控對(duì)象受干擾后，偏離了平衡狀態(tài)，希望施加控制能以最短時(shí)間恢復(fù)到平衡狀態(tài)。

凡是以運(yùn)動(dòng)時(shí)間為性能指標(biāo)的最優(yōu)控制問題稱為最小時(shí)間控制。第一百四十一頁，共一百五十七頁，編輯于2023年，星期三6/10/2023141現(xiàn)代控制理論