現(xiàn)代控制理論-第6章-最優(yōu)控制(錄像)2極小值-1加了二次型

6.8極小值原理經(jīng)典變分法控制方程狀態(tài)方程伴隨方程應(yīng)用范圍：u無約束,且H對u連續(xù)可微難滿足一般更一般控制u(t)受不等式約束：極小值原理：1956年由前蘇聯(lián)學(xué)者龐特里亞金提出，是處理控制變量受約束情況的有力工具，另外它對L,f

的可微性要求也不過分嚴(yán)格。關(guān)鍵證明了控制變量受約束時(shí)性能指標(biāo)J達(dá)到極值的必要條件為：

最優(yōu)控制u*使哈密頓函數(shù)H取最小值。6.8.1連續(xù)系統(tǒng)的最小值原理求均為連續(xù)可微的函數(shù),待定終端時(shí)刻。設(shè)系統(tǒng)維連續(xù)可微矢量函數(shù)維連續(xù)可微矢量函數(shù)終端狀態(tài)滿足一.將不等式約束問題等式約束問題1.引入新維控制變量：目的：2.引入新維變量：將不等式約束問題等式約束的波爾扎問題二.構(gòu)造增廣泛函：終端邊界約束控制約束狀態(tài)方程約束拉格朗日乘子矢量終端乘子矢量控制約束乘子矢量式中：三、實(shí)現(xiàn)最優(yōu)控制的必要條件為：1）沿最優(yōu)軌線滿足正則方程：取哈密頓函數(shù)3）函數(shù)在最優(yōu)軌線終點(diǎn)處的值決定于：2）在最優(yōu)軌線上，與最優(yōu)控制相應(yīng)的函數(shù)取絕對極小值，即：或且在最優(yōu)軌線上：4）協(xié)態(tài)終值滿足橫截條件：5）滿足邊界條件：說明：a.正則方程：適用于求解各種類型的最優(yōu)控制問題；求解無控制約束的最優(yōu)控制問題是其特例。b.當(dāng)終端時(shí)刻固定時(shí)，終值條件：不存在。c.邊值條件：d.極大值原理：e.極小值原理僅給出了最優(yōu)控制的必要條件，而不是充要條件?？梢宰C明，對于線性系統(tǒng)，極小值原理為充要條件。f.極小值原理中：實(shí)質(zhì)上放寬了控制條件，解決了容許控制的求解問題，且不再要求對可微。0Huminmax用極小值原理求解最優(yōu)控制的步驟：1）設(shè)：拉格朗日乘子矢量引入哈密頓函數(shù)：2）寫出正則方程：3）對于最優(yōu)控制，取絕對極小值:4）利用邊界條件聯(lián)立求解例6.8.1試求:時(shí)的解:自由定常系統(tǒng)、積分型性能指標(biāo)、固定，，受約束情況。（2）列寫正則方程：(3）（4）據(jù)橫截和邊界條件求解（上界）（下界）求最優(yōu)狀態(tài)軌線：其中，若自由，求使例6.8.2已知系統(tǒng)解:自由定常系統(tǒng)、終端性能指標(biāo)、固定，，受約束情況。（2）列寫正則方程：(3）（4）據(jù)橫截和邊界條件求解(3）Bang-Bang控制,又稱開關(guān)控制。特點(diǎn)：1.控制矢量的各分量均取控制域的邊界值；2.控制矢量可不斷從一個(gè)邊界值變換到另一個(gè)邊界值；3.性能指標(biāo)簡單：極小值原理求解的一種特殊情況6.9Bang-Bang控制設(shè)能控的線性定常系統(tǒng)：求取哈密爾頓函數(shù)：得：1.時(shí)間控制是Bang-Bang控制,即開關(guān)控制；2.最優(yōu)控制是唯一的：定理：線性定常系統(tǒng)則該最優(yōu)控制是若存在時(shí)間最優(yōu)控制唯一的。（證明略）3.最優(yōu)控制的開關(guān)次數(shù)：定理：線性定常系統(tǒng)若存在時(shí)間最優(yōu)控制滿足都是Bang-Bang控制，最多切換n-1次。且在兩個(gè)邊界值之間且矩陣A的特征值均為實(shí)數(shù)。則每一個(gè)6.10雙積分系統(tǒng)的時(shí)間最優(yōu)控制設(shè)雙積分系統(tǒng):求6.10.1根據(jù)極小值原理確定最優(yōu)控制1.取哈密爾頓函數(shù)：2.列寫正則方程組：3.對于最優(yōu)控制，取絕對極小值:得：直線切換時(shí)刻Bang-Bang控制6.10.2狀態(tài)軌線及開關(guān)曲線系統(tǒng):通向原點(diǎn)的曲線：開關(guān)曲線6.10.3最優(yōu)控制律目的求最優(yōu)控制律則最優(yōu)控制律可簡寫為：開關(guān)函數(shù)反相器繼電器R6.10.4最優(yōu)控制律的工程實(shí)現(xiàn)受控對象控制裝置開關(guān)曲線6.10.5最優(yōu)時(shí)間計(jì)算t1t26.11動(dòng)態(tài)規(guī)劃法動(dòng)態(tài)規(guī)劃法處理控制變量受約束的最優(yōu)控制問題的另一種方法。貝爾曼等人在上世紀(jì)50年代通過研究離散系統(tǒng)的多步?jīng)Q策問題（即過程最優(yōu)問題）中提出來的，又稱貝爾曼動(dòng)態(tài)規(guī)劃法。動(dòng)態(tài)規(guī)劃法的核心：最優(yōu)性原理最優(yōu)決策問題多段最優(yōu)決策問題動(dòng)態(tài)規(guī)劃法的思想多個(gè)一段最優(yōu)決策問題P1P2P3723AB446832432Q1Q2Q3設(shè)汽車從A城B城途中需穿越三條河流橋橋最優(yōu)路線決策問題1234將A到B分成四段多段最優(yōu)決策問題所選的最優(yōu)路線必須保證其后部子路線是最優(yōu)的P1P2P3723AB446832432Q1Q2Q3最優(yōu)路線決策問題1234將A到B分成四段多段最優(yōu)決策問題動(dòng)態(tài)規(guī)劃法遵循最優(yōu)化原則：

從終點(diǎn)開始，按時(shí)間最短為目標(biāo)，逐段向前逆推.每段最優(yōu)決策1144852242344Q3Q2Q112AP1P2P3B7圖6-21各站至終點(diǎn)站的最優(yōu)路線最優(yōu)路線決策問題1234將A到B分成四段多段最優(yōu)決策問題Kuk-1xkxk+1xN-1xNx11K+1u0ukuN-1x0N前k段子過程后N－k段子過程離散系統(tǒng)的狀態(tài)轉(zhuǎn)移圖3）動(dòng)態(tài)規(guī)劃法體現(xiàn)了多段最優(yōu)決策的一個(gè)重要規(guī)律，即所謂最優(yōu)性原理。它是動(dòng)態(tài)規(guī)劃的基礎(chǔ)。動(dòng)態(tài)規(guī)劃法的特點(diǎn)：1）與窮舉算法相比，可使計(jì)算量大大減少；2）整體最優(yōu)決策是從終點(diǎn)開始，采用逆推方法，通過計(jì)算、比較各段性能指標(biāo)，逐段決策逐步延伸完成；不論初始狀態(tài)和初始決策如何，其余（后段）決策（或控制）對于由初始決策所形成的狀態(tài)來說，必定也是一個(gè)最優(yōu)策略。最優(yōu)性原理:Kuk-1xkxk+1xN-1xNx11K+1u0ukuN-1x0N前k段子過程后N－k段子過程離散系統(tǒng)的狀態(tài)轉(zhuǎn)移圖初始狀態(tài)最優(yōu)性原理同樣適用于連續(xù)系統(tǒng)。求最優(yōu)控制及最優(yōu)軌線。例:設(shè)一階離散系統(tǒng)解：為簡單計(jì)，取N=2。即確定最優(yōu)控制最優(yōu)軌線最優(yōu)性能泛函1u(1)2x(0)u(0)x(1)x(2)狀態(tài)轉(zhuǎn)移圖第2步求第1步求求解順序已知1)求故有的函數(shù)2)求最優(yōu)性能泛函都是初始狀態(tài)x(0)的函數(shù)。最優(yōu)控制最優(yōu)軌線

6.11.2離散系統(tǒng)的動(dòng)態(tài)規(guī)則設(shè)離散系統(tǒng)的狀態(tài)方程為k=0,1,…N-1式中n維狀態(tài)矢量在(k+1)T時(shí)刻的值；維容許控制矢量或決策矢量在kT時(shí)刻的值；n維矢量函數(shù)。狀態(tài)初值

控制約束性能泛函1問題提出性能泛函式中對終端狀態(tài)的要求。尋求輸入矢量目標(biāo)函數(shù)J最小。典型多段最優(yōu)決策問題：逐段作出決策，選擇最優(yōu)控制使目標(biāo)函數(shù)J最小。2動(dòng)態(tài)規(guī)劃基本方程（貝爾曼泛函方程）2動(dòng)態(tài)規(guī)劃基本方程（貝爾曼泛函方程）據(jù)最優(yōu)性原理:xk+1xN-1xNx112K+1u0u1ukuN-1x0x2xkN第一段子過程后N－1段子過程N(yùn)－1段最優(yōu)控制則對N段最優(yōu)決策過程：其初始狀態(tài)為。式中N段決策過程的最優(yōu)性能泛函，其初始狀態(tài)為;后N-1段決策過程的最優(yōu)性能泛函，動(dòng)態(tài)規(guī)劃基本方程（貝爾曼泛函方程）動(dòng)態(tài)規(guī)劃基本方程（貝爾曼泛函方程）同理得一般動(dòng)態(tài)規(guī)劃遞推方程：其初始狀態(tài)為。后N-2段決策過程的最優(yōu)性能泛函，式中一般動(dòng)態(tài)規(guī)劃遞推方程：式中N－k段決策過程的最優(yōu)性能泛函，其初始狀態(tài)為;后N-(k+1)段決策過程的最優(yōu)性能泛函。若則其中應(yīng)用動(dòng)態(tài)規(guī)劃遞推方程式求解最優(yōu)控制序列的解題過程：動(dòng)態(tài)規(guī)劃求解最優(yōu)控制序列的解題過程：Kuk-1xkxk+1xN-1xNx11K+1u0ukuN-1x0N前k段子過程后N－k段子過程第N步求第N-1步第N-k步求第一步求求解順序例：設(shè)一階慣性系統(tǒng)如圖所示，性能泛函自由。假定采用離散控制，把分成三段，求最優(yōu)控制。uxx(k+1)=gx(k)+hu(k)解：系統(tǒng)的狀態(tài)方程進(jìn)行離散化，得差分方程6.11.3連續(xù)系統(tǒng)的動(dòng)態(tài)規(guī)劃動(dòng)態(tài)規(guī)劃最優(yōu)性原理哈密爾頓－雅可比方程（泛函為極小必要條件）設(shè)連續(xù)系統(tǒng)狀態(tài)方程為初始狀態(tài)終端約束性能泛函求最優(yōu)控制將軌線分成前后兩半段必定是最優(yōu)軌線.．o設(shè)時(shí)，狀態(tài)為若取，則最優(yōu)性原理其中最優(yōu)性原理其中則:當(dāng)很小時(shí)，有在泰勒展開，取一次近似整理得:連續(xù)系統(tǒng)的動(dòng)態(tài)規(guī)劃基本方程(貝爾曼方程）邊界條件令哈密爾頓函數(shù)為：則：則：控制矢量u(t)不受限制時(shí)，則有2）由貝爾曼方程可推導(dǎo)出協(xié)態(tài)方程和橫截條件；3）用動(dòng)態(tài)規(guī)劃方法間接證明了最小值原理;結(jié)論：1)哈密頓－雅可比方程說明在最優(yōu)軌線上，最優(yōu)控制必須使H達(dá)全局最??；哈密頓－雅可比方程4）動(dòng)態(tài)規(guī)劃法需解偏微分方程，且要求J具有連續(xù)偏導(dǎo)，限制了應(yīng)用范圍。綜上所述，可將連續(xù)型動(dòng)態(tài)規(guī)劃求解最優(yōu)控制問題的步驟歸納如下：1）構(gòu)造哈密頓函數(shù):2）以取極值為條件求，即（當(dāng)取值無限制時(shí)）（當(dāng)為容許控制時(shí)）或由上述條件解出的是的函數(shù)。3）將代入哈密爾頓－貝爾曼方程，并根據(jù)邊界條件，解出4）將代回，即得最優(yōu)控制，它是狀態(tài)變量的函數(shù)，據(jù)此可實(shí)現(xiàn)閉環(huán)最優(yōu)控制。5）將代入狀態(tài)方程，可進(jìn)一步解出最優(yōu)軌線。6）再將代入求得最優(yōu)性能泛函。6.12線性二次型最優(yōu)問題在最優(yōu)控制問題中，若系統(tǒng)是線性的，且性能指標(biāo)為二次型函數(shù)，則稱為線性二次型最優(yōu)控制問題，簡稱線性二次型。特點(diǎn)：1）應(yīng)用廣泛；2）控制規(guī)律是狀態(tài)變量的線性函數(shù)。6.12.1二次型性能泛函二次型性能泛函的一般形式如下：式中：n×n維半正定的狀態(tài)加權(quán)矩陣；r×r維正定的控制加權(quán)矩陣；n×n維半正定的終端加權(quán)矩陣。在工程實(shí)際中，和，是對稱矩陣而且常取對角陣。6.12.2有限時(shí)間狀態(tài)調(diào)節(jié)器問題任務(wù)：當(dāng)系統(tǒng)狀態(tài)由于某種原因偏離平衡狀態(tài)時(shí)，能在不消耗過多能量的情況下，保證系統(tǒng)狀態(tài)仍接近于平衡狀態(tài)。設(shè)線性時(shí)變系統(tǒng)的狀態(tài)方程為：二次型性能泛函如下：式中：n×n維半正定的狀態(tài)加權(quán)矩陣；r×r維正定的控制加權(quán)矩陣；n×n維半正定的終端加權(quán)矩陣。設(shè)u取值不受限制，尋求最優(yōu)控制，使J取極值。上述最優(yōu)控制問題稱為有限時(shí)間狀態(tài)調(diào)節(jié)器問題，可以用極小值原理求解。構(gòu)造哈密頓函數(shù)為：控制u不受約束，因此滿足控制方程：由于正定所以取得極小值的充分必要條件。將上式代入正則方程，得：其邊界條件和橫截條件為：由于橫截條件中存在線性關(guān)系，且正則方程又是線性的，因此，可以假設(shè)在任何時(shí)刻，均可能存在線性關(guān)系：維實(shí)對稱正定矩陣，待定。維最優(yōu)反饋增益矩陣。閉環(huán)系統(tǒng)方程如下所示：上式說明，線性二次型問題，最優(yōu)控制律是一個(gè)線性狀態(tài)反饋，因而可以方便地實(shí)現(xiàn)閉環(huán)最優(yōu)控制?？偨Y(jié)以上表達(dá)式有：整理得：邊界條件：---黎卡提(Riccati)矩陣方程是一個(gè)一階非線性矩陣微分方程。2）最優(yōu)控制規(guī)律為：由黎卡提方程解出后，可得：1）最優(yōu)反饋增益矩陣：3）求解最優(yōu)軌線：4）計(jì)算性能泛函最優(yōu)值：6.12.3無限時(shí)間狀態(tài)調(diào)節(jié)器問題設(shè)線性定常系統(tǒng)能控，且性能泛函如下：式中：n×n維半正定常數(shù)矩陣；r×r維正定常數(shù)矩陣；不受限制。則最優(yōu)控制存在且唯一，并由下式確定：其中，P為正定對稱常數(shù)矩陣，滿足下列黎卡提矩陣代數(shù)方程：最優(yōu)軌線是下列線性微分方程的解：性能泛函最小值：說明幾點(diǎn)：1）系統(tǒng)是定常的，性能指標(biāo)中的加權(quán)矩陣是常值矩陣；2）在性能泛函中，由于，終端泛函失去意義3）與有限時(shí)間狀態(tài)調(diào)節(jié)器一樣，無限時(shí)間狀態(tài)調(diào)節(jié)器的最優(yōu)控制也是全狀態(tài)的線性反饋，由此構(gòu)成一個(gè)線性定常閉環(huán)系統(tǒng)。4