動(dòng)態(tài)規(guī)劃原理與最優(yōu)控制.ppt

1,第 7 章 動(dòng)態(tài)規(guī)劃在最優(yōu)控制中的應(yīng)用,2,動(dòng)態(tài)規(guī)劃 求解最優(yōu)控制問(wèn)題的有效方法之一 二十世紀(jì)五十年代由 Bellman 提出 動(dòng)態(tài)規(guī)劃與極小值原理在數(shù)學(xué)上是等效的 從不同的角度發(fā)展了古典變分學(xué),3,最優(yōu)性原理 多級(jí)決策過(guò)程的最優(yōu)策略具有這種性質(zhì)。不論初始狀態(tài)和初始決策為何，其余的決策對(duì)于由初始決策所形成的狀態(tài)來(lái)說(shuō)，必定也是一個(gè)最優(yōu)策略。,主要內(nèi)容,離散動(dòng)態(tài)規(guī)劃 離散動(dòng)態(tài)規(guī)劃在離散系統(tǒng)最優(yōu)控制中的應(yīng)用 連續(xù)動(dòng)態(tài)規(guī)劃在連續(xù)系統(tǒng)最優(yōu)控制中的應(yīng)用,5,7.1 離散動(dòng)態(tài)規(guī)劃,最優(yōu)性原理 動(dòng)態(tài)規(guī)劃的基礎(chǔ) 若一個(gè) N 級(jí)決策系統(tǒng)是最優(yōu)的,則以第 k 級(jí)（ ）決策所形成的狀態(tài)作為初態(tài)的任何一個(gè) N - K 級(jí)子決策也必然是最優(yōu)的。,6,根據(jù)最優(yōu)性原理 確定了一個(gè)從后向前的遞推過(guò)程 基于最優(yōu)性原理的動(dòng)態(tài)規(guī)劃方法 成為解決最優(yōu)控制問(wèn)題的有力工具,7,動(dòng)態(tài)規(guī)劃原理,求從S F 點(diǎn)路程最短的方法,8,枚舉法,S X1(1) X1(2) X1(3) F 4+6+1+4=15 S X1(1) X2(2) X1(3) F 4+6+2+4=16 S X1(1) X2(2) X2(3) F 4+6+2+3=15 S X1(1) X1(2) X2(3) F 4+6+1+3=14 S X2(1) X1(2) X1(3) F 5+4+1+4=14 S X2(1) X1(2) X2(3) F 5+4+1+3=13 S X2(1) X2(2) X1(3) F 5+7+2+4=18 S X2(1) X2(2) X2(3) F 5+7+2+3=17,9,可能解數(shù)量為 2(n-1) n = 4, 為 23 = 8 種. 加法次數(shù)為：(n-1)* 2(n-1) n = 4, 為 (4-1) * 23 = 24 次. 若n = 10, 則可能解數(shù)為： 2(10-1) = 29 = 512 種. 加法 (10-1) * 29 = 9 * 29 = 9 * 512 = 4608 次.,10,動(dòng)態(tài)規(guī)劃法,從最后一級(jí)開(kāi)始： J X1(3) =4 J X2(3) =3 ,J*X1(3) =4 ,J *X2(3) =3 倒數(shù)第二級(jí)： 路線 X1(2) X1(3) F J =1+J* X1(3) = 5 X1(2) X2(3) F J* =1+J*X2(3) =4 X2(2) X1(3) F J =2+J*X1(3) = 6 X2(2) X2(3) F J * =2+J*X2(3) = 5 J*X1(2) = 4, J*X2(2) = 5,11,倒數(shù)第三級(jí) 路線 X1(1) X1(2) F J * = 6 + 4 = 10 X1(1) X2(2) F J = 6 + 5 = 11 X2 (1) X1(2) F J* = 4 + 4 = 8 X2(1) X2(2) F J = 7 + 5 = 12 J * X1(1) = 10 , J *X2(1) = 8,12,第一級(jí) 路線 S X1(1) F J = 4 + 10 = 14 S X2(1) F J* = 5 + 8 = 13 即 J * S = 13,13,最優(yōu)決策為 S X2(1) X1(2) X2(3) F J* S = 13 加法次數(shù): 4 * (n-2) + 2 次 n = 4時(shí)， 4 * (4-2) + 2 = 10 次,14,各個(gè)狀態(tài)到終點(diǎn)的最短距離,J*S = 13 J*X1(1) = 10 J*X2(1) = 8 J*X1(2) = 4 J*X2(2) = 5 J*X1(3) =4 J *X2(3) =3,15,16,設(shè)離散系統(tǒng)的狀態(tài)方程為 x n 維狀態(tài)向量，u m 維控制向量 始端 和終端 固定,7.2 離散動(dòng)態(tài)規(guī)劃在離散系統(tǒng)最優(yōu)控制中的應(yīng)用,17,求最優(yōu)控制序列 使目標(biāo)泛函 取極小值,18,動(dòng)態(tài)規(guī)劃的目的 使 J 最小 即 將以 為初態(tài)的 N-j(=k) 級(jí)最優(yōu)決策,19,根據(jù)最優(yōu)性定理 如果 N 級(jí)決策是最優(yōu)的 則以在前 j 1 決策上形成的 為初態(tài)的 N j 級(jí)決策是最優(yōu)決策 從這點(diǎn)出發(fā)，形成了逆向遞推的最優(yōu)化方法，這種方法被稱為動(dòng)態(tài)規(guī)劃,20,根據(jù)最優(yōu)性定理 利用動(dòng)態(tài)規(guī)劃方法形成遞推公式 當(dāng)終端固定時(shí) 直接利用遞推公式求解最優(yōu)控制問(wèn)題,21,22,令：,23,24,例 1 設(shè)離散系統(tǒng)的狀態(tài)方程為 已知 求最優(yōu)控制 u 使目標(biāo)泛函為 最小,25,解：由遞推公式,K=3時(shí),26,上述最優(yōu)化問(wèn)題的解為,最優(yōu)目標(biāo)函數(shù)為,K=2時(shí),27,K=1時(shí),求解可得,最優(yōu)目標(biāo)函數(shù)為,28,K=0時(shí),求解可得,最優(yōu)目標(biāo)函數(shù)為,29,求解的結(jié)果,30,31,7.3 連續(xù)動(dòng)態(tài)規(guī)劃 在連續(xù)系統(tǒng)最優(yōu)控制中的應(yīng)用,動(dòng)態(tài)規(guī)劃 可用于連續(xù)系統(tǒng)的優(yōu)化問(wèn)題 對(duì)于連續(xù)系統(tǒng) 根據(jù)最優(yōu)性原理 可得到 Hamilton-Jacobi 方程,32,對(duì)于連續(xù)系統(tǒng) x n 維狀態(tài)向量，u m 維控制向量 且容許控制 u 在 m 維歐氏空間 的某一給定域 中取值即,33,已知始端固定 即 求最優(yōu)控制 使目標(biāo)泛函 取極小值,（3）,34,由最優(yōu)性原理推導(dǎo)出極大值原理 定義 式中 而x(s)是在區(qū)間 上和最優(yōu)控制函數(shù)有關(guān)的軌線，其中 ，且 給定。,（4）,（5）,35,顯然 所有 都滿足 假設(shè) V 存在，連續(xù) 并且具有連續(xù)的一階和二階偏導(dǎo)數(shù),（6）,36,推導(dǎo)動(dòng)態(tài)規(guī)劃的Hamilton-Jacobi方程,（7）,37,（8）,38,等式兩邊消去 ，得 上式稱為Hamilton-Jacobi方程 或者稱為 Hamilton-Jacobi-Bellman方程,（9）,39,對(duì)于所給最優(yōu)控制問(wèn)題，重復(fù)以上討論，導(dǎo)致 由此，對(duì)于所有 ，u必須滿足,（10）,（11）,（12）,40,上式說(shuō)明，Lagrange乘子向量（或協(xié)態(tài)向量）是最小目標(biāo)函數(shù)在最優(yōu)軌線上的梯度。 從（9）、（10）式可以看出 即在最優(yōu)軌線上應(yīng)使Hamilton函數(shù)H為全局最小，這正是龐特里亞金的極大值原理。,41,例 1 考慮線性定常系統(tǒng) 式中 假定任何的 都是容許控制 要求找到作為 的函數(shù) ，使得,42,解： 即,43,這樣,44,因?yàn)?時(shí)不變 且最優(yōu)化是針對(duì)一個(gè)無(wú)限持續(xù)的過(guò)程 只依賴于初始狀態(tài) 即,45,由于 故 Hamilton Jacobi 方程變成,46,假設(shè)一個(gè)解 則 - 對(duì)稱矩陣,47,則Hamilton-Jacobi方程變成 P必須滿足的代數(shù)方程,48,