《優(yōu)控制的計算方法》PPT課件

1、第七章 最優(yōu)控制的計算方法1精選ppt本章主要內(nèi)容7.1 直接法 7.2 間接法 7.3 小結(jié) 返回主目錄2精選ppt 在前面討論變分法、極小值原理和動態(tài)規(guī)劃時，我們列舉了一些例子。為了易于說明問題，這些例子都是非常簡單的，可以用手算來解決問題。但是在實際工作中所遇到的最優(yōu)控制問題，一般都是很復(fù)雜的，必須用計算機(jī)求解。 因此，最優(yōu)控制的計算方法就變得十分重要了。這方面的內(nèi)容十分豐富，由于篇幅所限，我們只介紹幾種典型的算法。3精選ppt( 無約束)（ii）哈密頓函數(shù) 取極小的必要條件( 有約束) （7-2）或 由極小值原理可知，最優(yōu)控制問題的解必須滿足以下幾個條件（iii）邊界條件（包括橫截條件

2、）（i）正則方程（7-1）4精選ppt 最優(yōu)控制的計算方法一般是先求出滿足上面三個條件中某兩個的解，然后用合適的迭代計算形式逐次改變這個解，以達(dá)到滿足剩下的另一個條件的解（即最優(yōu)解）。 通常把最優(yōu)控制的計算方法分成兩類：直接法和間接法。5精選ppt 直接法。 它的特點是，在每一步迭代中， 不一定要滿足 取極小的必要條件，而是逐步改善它，在迭代終了使它滿足這個必要條件，而且，積分狀態(tài)方程是從 到 ，積分協(xié)態(tài)方程是從 到 ，這樣就避免了去尋找缺少的協(xié)態(tài)初值 的困難。常用的直接法有梯度法，二階梯度法，共軛梯度法。6精選ppt 間接法。 它的特點是，在每一步迭代中都要滿足 取極小的必要條件，而且要同時

3、積分狀態(tài)方程和協(xié)態(tài)方程，兩種方程的積分都從 到 或從 到 。常用的間接法有邊界迭代法和擬線性化法。7精選ppt7.1 直接法（一）梯度法 。 這是一種直接方法，應(yīng)用比較廣泛。它的特點是：先猜測任意一個控制函數(shù) ，它可能并不滿足 取極小的必要條件，然后用迭代算法根據(jù) 梯度減小的方向來改善 ，使它最后滿足必要條件。 計算步驟如下：8精選ppt1 先猜測 中的一個控制向量 ， 是迭代步數(shù)，初始時 。 的決定要憑工程經(jīng)驗，猜得合理，計算收斂得就快。9精選ppt2 在第 步，以估計值 和給定的初始條件 ，從 到 順向積分狀態(tài)方程，求出狀態(tài)向量 。 10精選ppt 3 用 、 和橫截條件求得的終端值 ，從

4、 到 反向積分協(xié)態(tài)方程，求出協(xié)態(tài)向量 。11精選ppt4 表示在 、 、 處取值。當(dāng)這些量非最優(yōu)值時， 。計算哈密頓函數(shù) 對 的梯度向量12精選ppt5、 是一個步長因子，它是待定的數(shù)。選擇 使指標(biāo)達(dá)到極小。這是一維尋優(yōu)問題，有很多現(xiàn)成的優(yōu)化方法可用。如分?jǐn)?shù)法，0.618法，拋物線法，立方近似法等。(7-3)表明迭代是沿著梯度的負(fù)方向進(jìn)行的。修正控制向量（7-3）13精選ppt 6、 計算是否滿足下列指標(biāo)（7-4） 是指定小量，若滿足則停止計算，否則，令 ,轉(zhuǎn)步驟2。另一停止計算的標(biāo)準(zhǔn)是（7-5）14精選ppt例7-1考慮下面的一階非線性狀態(tài)方程（7-6）用梯度法尋找最優(yōu)控制使下面的指標(biāo)最?。?/p>

5、7-7）15精選ppt解因 自由，由橫截條件得哈密頓函數(shù)為（7-8）協(xié)態(tài)方程為（7-9）16精選ppt、選初始估計 。代入初始條件： ，確定積分常數(shù)、將 代入狀態(tài)方程（7-6）可得（7-11）積分上式可得（7-12）代入（7-12）式即可得（7-13）17精選ppt3將 代入?yún)f(xié)態(tài)方程（7-9），且由邊界條件 從t=1倒向積分可得5 。 這里選步長因子 。如此繼續(xù)下去，直至指標(biāo)函數(shù)隨迭代變化很小為止。 4由18精選ppt 圖7-1用梯度法尋找最優(yōu)控制 圖7-2 最優(yōu)狀態(tài)的求解 圖7-1和圖7-2表示了控制和狀態(tài)的初始值和第一次迭代值，可以看到第一次迭代 就幾乎收斂到最優(yōu)值， 與最優(yōu)值還有差異，而

6、且一般說來愈接近最優(yōu)值收斂愈慢19精選ppt梯度法應(yīng)用得比較多，它的優(yōu)點是：（1）簡單，編制程序容易；（2）計算穩(wěn)定可靠。缺點是：（1）在接近最優(yōu)解時，迭代收斂很慢，為改善 收斂性可用共軛梯度法和二階變分法等；（2）不能區(qū)分局部極小和全局極小；（3）對控制變量受約束，終端狀態(tài)受約束的情 況不能直接處理。對于這種有約束的情況可用約束梯度法或懲罰函數(shù)法加以處理。20精選ppt約束梯度法可處理如下的不等式約束：（7-15）首先，對于任何控制 ，定義約束算子（7-16）21精選ppt顯然 滿足約束，即 滿足約束，其中 ， 再由 用無約束的梯度法求解，在每一次迭代中得出 ，然后用 代替，再進(jìn)行下一次迭代

7、。 （7-17）22精選ppt 懲罰函數(shù)法可處理如下形式的約束：（7-18）（7-19）23精選ppt這時，將性能指標(biāo) 增廣為其中， ，（7-21）（7-20）24精選ppt 顯然，當(dāng)滿足約束時， 中后兩項為零。當(dāng)不滿足約束時，后兩項將使 增大，故稱為懲罰函數(shù)。在迭代過程中，逐次增大 和 。顯然當(dāng) 和 很大時，所求得的 的無約束最優(yōu)控制近似于 的有約束最優(yōu)控制。25精選ppt（二）共軛梯度法 用共軛梯度法尋找最優(yōu)控制時是沿著所謂共軛梯度向量的方向進(jìn)行的。為了說明共軛梯度的意義，我們先從求函數(shù)極值問題的共軛梯度法開始，再推廣到求泛函極值問題。26精選ppt 1求函數(shù)極值的共軛梯度法其中，為常數(shù)，

8、 為正定陣。是 和 的內(nèi)積。要求尋找 使 取極值。(7-23)設(shè) 是定義在 空間中的二次指標(biāo)函數(shù)（7-22）27精選ppt定義 則稱 和 是 共軛的。 （單位陣）時，共軛就變?yōu)橥ǔ５恼?。?中兩個向量 和 滿足（7-24）28精選ppt 設(shè)向量 ， 是兩兩 共軛的，以 為尋找方向，可得共軛梯度法的迭代尋優(yōu)程序：（7-25） 與梯度法不同處僅在于用共軛梯度 代替負(fù)梯度 。問題是如何產(chǎn)生共軛梯度方向 。29精選ppt 值由 和 對 共軛的關(guān)系來確定，即（7-26）（7-27）令 ，即初始時共軛梯度與梯度方向相反、大小相等。以后的共軛梯度可如下遞歸產(chǎn)生：30精選ppt將（7-26）代入（7-27）

9、，得稱為共軛系數(shù)。故（7-28）31精選ppt用（7-28）式計算 是不方便的，因為要用到二階導(dǎo)數(shù)陣 。由（7-22）和（7-23）知 分別為 的第 個和第 個分量，右端表示由 的第 行第 列元素構(gòu)成的矩陣。計算這個二階導(dǎo)數(shù)陣非常困難。為此，有必要推導(dǎo)不用 來計算 的公式。（7-29）32精選ppt 性質(zhì)1 若 是 空間中彼此 共軛的向量，則它們是線性獨立的。在這個推導(dǎo)中要用到共軛梯度的下列性質(zhì)：33精選ppt證明：因為 正定，上式對每一個 成立，所以必須有 與假設(shè)矛盾，這說明 是線性獨立的，它們構(gòu)成了 空間中的一組基向量。 上式左端各項對 取內(nèi)積后有（7-31）用反證法。若不線性獨立，則必存

10、在不全為零的常數(shù) 使 （7-30）34精選ppt其中, 可這樣來求：作內(nèi)積（7-33）從而按照這個性質(zhì)，函數(shù) 的極小點 可用這組基來表示，即（7-32）35精選ppt性質(zhì)2 式中， 。（7-34）說明，在 處函數(shù) 的梯度 與前一步的尋找方向 必正交。如果 ，則有（7-34）36精選ppt若不然，不妨先設(shè) 。再設(shè) ,即 是最優(yōu)步長。在 附近選一個 ，將 在 處展開，保留一階項后，有 證明：（7-35）37精選ppt這與 為極小相矛盾。若設(shè) 則可取 ，同樣得出矛盾，于是必有（7-34）成立。 38精選ppt性質(zhì)3（7-36）說明， 在 處的梯度 與以前各步的共軛梯度尋找方向都正交。若 ，則必有（7

11、-36）39精選ppt證明由（7-22）式所假定的二次函數(shù) ，可得（7-38）（7-37）得到重復(fù)使用40精選ppt設(shè) 為極小點，則（7-39）（7-38）減去（7-39）得（7-40）41精選ppt上式兩邊對 作內(nèi)積，得（7-42）（7-41）=（7-37）代入（7-40），得42精選ppt由性質(zhì)2知 再由 與是 共軛的定義可知（7-42）右端第二項也為零，因此 （7-36）得證。43精選ppt但 是線性無關(guān)的，它們構(gòu)成 中一組基， 與所有基正交，而 中只有 個基，故 。這說明 處的梯度為零，即 為二次函數(shù) 的極小點。 如果取 ，則（7-43）44精選ppt如果一個算法能在有限步內(nèi)求出二次函

12、數(shù)的極小點，就稱這個算法具有二階收斂性或有限步收斂性。 由此可見，在 空間中，對二次函數(shù) 用（7-25）式所示的共軛梯度法尋優(yōu)，迭代至多 步就可達(dá)到極小點。45精選ppt性質(zhì)4若 ，則（7-44）46精選ppt證：（7-44）得證。由性質(zhì)3和（7-26）式知47精選ppt 下面根據(jù)這四個性質(zhì)來推出 的一個簡單的計算公式。在（7-41）中令 ,可導(dǎo)出48精選ppt再利用（7-26）式，可得 由性質(zhì)4知 ，因此得（7-45）49精選ppt 用（7-46）計算 ，只用到 在 和 兩處的梯度，因此非常方便。 （7-46）對二次函數(shù)是精確的，對非二次函數(shù)，它只是一個近似公式 由性質(zhì)3，就可得出（7-46

13、）50精選ppt 將共軛梯度法求 的極小解的算式歸納如下：（4）遞推逼近極值點解 用一維尋優(yōu)決定。 （2）算共軛系數(shù) ，（1）算梯度（3）算共軛梯度51精選ppt2、用共軛梯度法解最優(yōu)控制問題 前面已說過，最優(yōu)控制計算的直接法是用迭代方法逐步改善控制量 ，使它最后滿足哈密頓函數(shù) 取極小的必要條件。52精選ppt 除了這些以外，其它在形式上與求函數(shù)極值的共軛梯度法一樣。故梯度向量為（7-47） 這里梯度向量 是時間的函數(shù)，向量時間函數(shù)的內(nèi)積定義為（7-48）53精選ppt共軛梯度法求最優(yōu)控制步驟為（1）（2）（3）設(shè)已求出第K步估計的控制函數(shù) 可任選。以 為初值，從 到 積分狀態(tài)方程，得出狀態(tài)軌

14、跡 。以 為終值，從 到 反向積分協(xié)態(tài)方程，求得協(xié)態(tài)軌跡 。54精選ppt（4）（5）（6）計算梯度向量計算共軛系數(shù)時， 。（7-49）時， 。（7-50）計算共軛梯度55精選ppt（7）（8）停止計算。否則令 ,回到步驟2。當(dāng)滿足下面的不等式（7-53）用一維尋優(yōu)決定 ，即 （7-52）（7-51）計算控制函數(shù)56精選ppt例7-2要求用共軛梯度法決定最優(yōu)控制 ，使 最小。性能指標(biāo)（7-56）設(shè)系統(tǒng)狀態(tài)方程為（7-54）（7-55）57精選ppt解（常數(shù)）（7-59）（7-58）協(xié)態(tài)方程為（7-57）哈密頓函數(shù)為58精選ppt（7-62）（7-63）故協(xié)態(tài)方程化為（7-61）（7-60）由橫

15、截條件59精選ppt（1） 選 ，代入狀態(tài)方程和協(xié)態(tài)方程（7-54）、（7-55）、（7-62）和（7-63），時的計算可求得積分可得60精選ppt 梯度向量共軛梯度 。61精選ppt（2） 時 ， 用一維尋優(yōu)來決定。將 代入狀態(tài)方程（7-54）、（7-55）和協(xié)態(tài)方程（7-62）、（7-63），得62精選ppt積分得可求得 的最優(yōu)值為于是63精選ppt 由（7-62）式積分上式可得64精選ppt 共軛系數(shù)共軛梯度65精選ppt（3） 時，控制量為同以上步驟，將 代入狀態(tài)方程和協(xié)態(tài)方程，求出對 尋優(yōu)，可得 ，于是由66精選ppt 所以這個例子只要兩步迭代即可得到最優(yōu)解。一般說來，共軛梯度法比梯

16、度法收斂快，但接近最優(yōu)解后收斂性仍是較慢的。一個補救辦法是重新啟動，即找出幾個共軛梯度方向 后，令 ，再用（7-50）重新迭代，尋找共軛梯度方向。可以證明 ，即為最優(yōu)控制。這只要證明即可。67精選ppt7.2 間接法 （一）邊界迭代法這個方法的特點是逐步改善對缺少的初始條件的估計，以滿足規(guī)定的邊界條件。它的原理如下。68精選ppt可解出 ，將它表示為 和 的函數(shù)，即利用哈密頓函數(shù)H取極小的方法（7-64） 將所求得的 代入正則方程（7-1），消去正則方程中的 。再引入增廣狀態(tài)（7-65）69精選ppt 設(shè)（7-65）式有 個已知初始條件 ， 個終端條件已知，設(shè)為 和 ，這是混合式的兩點邊值條件

17、（參見例3-6），用邊界迭代法也很易處理。一般是非線性向量函數(shù)。則正則方程（7-1）可寫成（7-66）70精選ppt 顯然， 是已知的，設(shè)（7-67）定義71精選ppt因 未知，用一個估計值 得到的解為（7-69） 設(shè)由 、 出發(fā)積分正則方程（7-66），求得解 ,從中抽出 個分量構(gòu)成 。顯然 的值將隨 而變，記成（7-68）72精選ppt 因 估計得不一定準(zhǔn)確，故 一般不等于給定值 .將（7-68）在 處展開為臺勞級數(shù)，保留一次項，得 其中， 是 維矩陣，稱為敏感矩陣或轉(zhuǎn)移矩陣。（7-70）73精選ppt 式中， 是 的第 行，第 列元素。（7-71）式右端表示由第 行第 列元素構(gòu)成的矩陣。

18、由（7-69）和（7-70）可得（7-71）（7-72） 因 一般是非線性函數(shù)，（7-72）式是一個近似式，為了求得正確的 ，要用迭代求解。74精選ppt 其中， 是迭代次數(shù)， 是松馳因子， ， 可改善收斂性，收斂到最后時，將 取為1。在第 步，用 作為估值，積分正則方程，求得 ， 令 是第 步的估值，則根據(jù)（7-72）可得到下面的迭代格式（7-73）75精選ppt 為指定的小值，則停止計算。否則用 代替 ，再積分正則方程，重復(fù)進(jìn)行。若（7-74）76精選ppt計算步驟如下（1）（2）由 解出 ，代入狀態(tài)和協(xié)態(tài)方程。設(shè)已求出 的第 步估計值 和給定的合在一起，從 積分正則方程，求出 抽出 個要

19、求的分量的終值 ，若 ，停止計算，否則進(jìn)行下一步。77精選ppt（3）（4）（5）按（7-73）計算 。令 回到步驟2。求敏感矩陣78精選ppt這種方法的缺點是：（1）（2）（3）第一次估計 很困難，終端值對 非常敏感時， 與 相差很大，線性關(guān)系（7-70）不成立。敏感矩陣難于確定得很精確，對它求逆的運算也容易引入誤差。79精選ppt例7-3 系統(tǒng)狀態(tài)方程為性能指標(biāo)為用邊界迭代法尋找 ，使 最小。（7-77）（7-76）（7-75）80精選ppt解因終端 ， 自由，故 設(shè) 的初始估計值為零，迭代結(jié)果見表7-1。可見在第7次迭代時， 、 已為零，滿足了邊界條件。81精選ppt表7-182精選pp

20、t 這個方法的特點是用迭代算法來改善對正則方程解的估計，使它逐步逼近正則方程的精確解。和前面一樣，將正則方程寫成。（二）擬線性化法 設(shè)已知 個初始條件 和 個終端條件 （7-79）（7-78）83精選ppt 擬線性化法將非線性兩點邊值問題轉(zhuǎn)化為線性兩點邊值問題，因此變得容易求解。 設(shè)在迭代的第 步獲得近似解 ，將正則方程（7-78）在展開，保留一次項，可得到 步的近似解 ，有（7-80）84精選ppt滿足給定邊界條件（7-81）（7-82）85精選ppt（7-80）可寫成下面的線性非齊次方程（7-83）或（7-84）是 的系統(tǒng)矩陣，其中（7-85）86精選ppt可停止計算當(dāng)滿足（7-87） 是

21、 驅(qū)動函數(shù)向量。（7-84）是線性微分方程，由給定的 個邊界條件可確定其通解的 個未知常數(shù)，故解 可完全被確定。（7-86）87精選ppt例7-4用擬線性化法求 ，使 最小。系統(tǒng)方程為性能指標(biāo)為（7-89）（7-88）88精選ppt解哈密頓函數(shù)為（7-90）（7-91）89精選ppt上式代入狀態(tài)方程后得到（7-92）（7-93）或?qū)懗桑?-94）上式與（7-78）對照可知（7-95） 90精選ppt根據(jù)（7-85）、（7-86）可得（7-96）（7-97）91精選ppt 于是線性化后的正則方程（7-84）中的系數(shù)陣 和驅(qū)動項 都已確定，解這個非齊次時變微分方程，并用邊界條件 和 以決定通解中的未定常數(shù)，就完全確定了 ，這就完成了一次迭代。當(dāng)滿足（7-87）式時，停止計算，求解結(jié)束。 92精選ppt7.3 小結(jié) 1 最優(yōu)控制的計算方法可分為直接法和間接法兩大類。直接法中我們列舉了梯度法和共軛梯度法。間接法中列舉了邊界迭代法和擬線性化法。93精選ppt2 直接法的特點是：在每步迭代中并不滿足哈密頓函數(shù) 取極小的必要條件，只是在迭代終了才滿足這個條件；另外積分狀態(tài)方程時是從 ，而積分協(xié)態(tài)方程時是從 。由于狀態(tài)和協(xié)