第九章動(dòng)態(tài)規(guī)劃法

第九章動(dòng)態(tài)規(guī)劃法動(dòng)態(tài)規(guī)劃法是求解控制變量限制在一定閉集內(nèi)的最優(yōu)控制問(wèn)題的又一種重要方法，它是由美國(guó)學(xué)者貝爾曼于1957年提出來(lái)的。動(dòng)態(tài)規(guī)劃法把復(fù)雜的最優(yōu)控制問(wèn)題變成多級(jí)決策過(guò)程的遞推函數(shù)關(guān)系，它的基礎(chǔ)及核心是最優(yōu)性原理。本章首先介紹動(dòng)態(tài)規(guī)劃法的基本概念，然后討論如何用動(dòng)態(tài)規(guī)劃法求解離散及連續(xù)系統(tǒng)的最優(yōu)控制問(wèn)題。第一節(jié)動(dòng)態(tài)規(guī)劃法的基本概念一、多級(jí)決策過(guò)程所謂多級(jí)決策過(guò)程是指把一個(gè)過(guò)程分成若干級(jí)，而每一級(jí)都需作出決策，以便使整個(gè)過(guò)程達(dá)到最佳效果。為了說(shuō)明這個(gè)概念，首先討論一個(gè)最短路線問(wèn)題的例子。設(shè)有路線圖如圖7-1所示。現(xiàn)在要從地出發(fā)，選擇一條最短路線最終到達(dá)地，其間要通過(guò)等中間站，各站又有若干個(gè)可供選擇的通過(guò)點(diǎn)，各地之間的距離已用數(shù)字標(biāo)注在圖中。由此可見(jiàn)，通過(guò)這些中間站時(shí)，有多個(gè)方案可供選擇。解決這類問(wèn)題有兩種方法：探索法（窮舉法）將至的所有可能的路線方案都列舉出來(lái)，算出每條路線的路程，進(jìn)行比較，找出最短路線。直觀可知，這種方法是很費(fèi)時(shí)的，如本例共有38條路線可供選擇。如果中間站及各站可供選擇的通過(guò)點(diǎn)都增為10個(gè)，則可供選擇的路線將急劇增至1010條，顯然計(jì)算工作量將急劇增加。分級(jí)決策法將整個(gè)過(guò)程分成若干級(jí)，逐級(jí)進(jìn)行決策。具體過(guò)程如下：將至全程分為五級(jí)：第一級(jí)由至；第二級(jí)由至；第三級(jí)由至；第四級(jí)由至；第五級(jí)由至。讓我們由后向前逐級(jí)分析，先從第五級(jí)開(kāi)始，其起點(diǎn)為，終點(diǎn)為。至各只有一條路線，并無(wú)選擇余地。至路程為1，至路程為2。第四級(jí)起點(diǎn)為，終點(diǎn)為，其間有六條路線，由至的各種可能路線為:可以發(fā)現(xiàn)，如果從出發(fā)，則走為最短，因此至應(yīng)選這段路線，稱為決策。同理，如果從出發(fā)，應(yīng)決策；從出發(fā)，應(yīng)決策?？梢?jiàn)作此決策時(shí)不能只從本級(jí)路程長(zhǎng)短出發(fā)，應(yīng)考慮兩級(jí)路程之和為最短。在整個(gè)路線問(wèn)題中，究竟哪一點(diǎn)作為起點(diǎn)，則取決于第三級(jí)的決策，不過(guò)提出的三條可能的最短路線為第三級(jí)的決策積累了數(shù)據(jù)資料?？梢?jiàn)同樣方法來(lái)分析第三級(jí)，其起點(diǎn)為，終點(diǎn)為，按題意共有八條路線。但是，至的最短路線已在第四級(jí)討論中確定，因此的路線選擇問(wèn)題，實(shí)際上只是選定級(jí)的路線問(wèn)題（即本級(jí)決策問(wèn)題）。因此，至只有八條路線，分別為比較可得分別從出發(fā)時(shí)的三條最短路線，它們?yōu)椋?；?/p>

。用同樣方法，依次對(duì)級(jí)及級(jí)進(jìn)行討論，其結(jié)果列于表7-1。最后得到最短路線為相應(yīng)最短路程為：。通過(guò)上例的討論，可以看到多級(jí)決策過(guò)程具有以下特點(diǎn)：⑴把整個(gè)過(guò)程看成（或人為地分成）級(jí)的多級(jí)過(guò)程。⑵采取逐級(jí)分析的方法，一般由最后一級(jí)開(kāi)始倒向進(jìn)行。⑶在每一級(jí)決策時(shí)，不只考慮本級(jí)的性能指標(biāo)的最優(yōu)，而是同時(shí)考慮本級(jí)及以后的總性能指標(biāo)最優(yōu)，因此它是根據(jù)“全局”最優(yōu)來(lái)作出本級(jí)決策的。⑷從數(shù)學(xué)觀點(diǎn)，分級(jí)決策法與窮舉法進(jìn)行比較：窮舉法：全程五級(jí)線路，每一級(jí)都可任選，因此全部路程相當(dāng)于一個(gè)“五變量函數(shù)”，求全程最短實(shí)質(zhì)上是求這個(gè)“五變量函數(shù)”的極小值。分級(jí)決策法：分成五級(jí)，從最后一級(jí)開(kāi)始進(jìn)行分級(jí)決策時(shí)，每級(jí)都是一個(gè)“單變量函數(shù)”，因此進(jìn)行每一級(jí)決策時(shí)，實(shí)際上是求一個(gè)“單變量函數(shù)”的極小值。因此多級(jí)決策法把一個(gè)求“五變量函數(shù)”的極值問(wèn)題轉(zhuǎn)化成為一個(gè)五組求“單變量函數(shù)”的極值問(wèn)題。這組實(shí)際解題帶來(lái)極大好處，使計(jì)算工作量在為減少。以前面舉的十級(jí)中間站并各站具有十個(gè)通過(guò)點(diǎn)的路線問(wèn)題為例，用多級(jí)決策法只需920次計(jì)算，這與1010次相比要少得多。⑸在最后一級(jí)開(kāi)始倒向逐級(jí)分析中，我們發(fā)現(xiàn)，由于各站的起始點(diǎn)并未確定，因此需要把各中間站的所有通過(guò)點(diǎn)作為出發(fā)點(diǎn)進(jìn)行計(jì)算，并將所有對(duì)應(yīng)的最佳決策存進(jìn)計(jì)算機(jī)，建立起一個(gè)完整的“檔案庫(kù)”，因此要求計(jì)算機(jī)有相當(dāng)大的容量。(6)第一級(jí)起始條件（地）是確定的，因此只有逐級(jí)倒向分析到第一級(jí)時(shí)，才能作出確定的第一級(jí)決策，然后再根據(jù)第一級(jí)決策順向確定各級(jí)的起始條件（各站的通過(guò)點(diǎn)），這時(shí)由于“檔案庫(kù)”中存有全部“資料”，因此用“查檔”的方法就可逐級(jí)確定決策。由此可見(jiàn)，一般情況下，多級(jí)決策過(guò)程包括兩個(gè)過(guò)程：倒向“建檔”及順向“查檔”，而大量的計(jì)算工作是花費(fèi)在建立“檔案庫(kù)”上。二、最優(yōu)性原理在前例的分級(jí)決策過(guò)程中，實(shí)際上已應(yīng)用了這樣一個(gè)基本原理：設(shè)一個(gè)過(guò)程由點(diǎn)開(kāi)始，經(jīng)點(diǎn)到達(dá)點(diǎn)，如圖9-2所示，如果為最優(yōu)過(guò)程，則段也必定是一個(gè)最優(yōu)過(guò)程。我們把這原理敘述如下：一個(gè)最優(yōu)決策具有這樣的性質(zhì)，不論初始狀態(tài)和初始決策怎樣，其余的決策對(duì)于第一次決策所造成的狀態(tài)來(lái)說(shuō)，必需構(gòu)成一個(gè)最優(yōu)決策。稱此為最優(yōu)性原理。它也可簡(jiǎn)單地?cái)⑹鰹椋鹤顑?yōu)軌跡的第二段，本身亦是最優(yōu)軌跡。最優(yōu)性原理是動(dòng)態(tài)規(guī)劃法的基礎(chǔ)和核心。動(dòng)態(tài)規(guī)劃法就是對(duì)一個(gè)多級(jí)過(guò)程，應(yīng)用最優(yōu)性原理，進(jìn)行分級(jí)決策，求出最優(yōu)控制的一種數(shù)學(xué)方法。3、多級(jí)決策過(guò)程的函數(shù)方程應(yīng)用動(dòng)態(tài)規(guī)劃法求解過(guò)程的最優(yōu)決策時(shí)，首先要根據(jù)最優(yōu)性原理將多級(jí)決策過(guò)程表示成如下數(shù)學(xué)表達(dá)式：――級(jí)決策過(guò)程始點(diǎn)處所采取的控制決策，從而使?fàn)顟B(tài)轉(zhuǎn)移到下一步。式中――級(jí)決策過(guò)程的始點(diǎn)至終點(diǎn)的最小消耗；――由級(jí)決策過(guò)程始點(diǎn)至下一步到達(dá)點(diǎn)的一步消耗；(9-1)上式表明，為使級(jí)決策過(guò)程達(dá)到最小消耗，第一級(jí)決策應(yīng)根據(jù)兩部分消耗之和最小的原則作出。第一部分是第一級(jí)決策的一步消耗，第二部分為由下一步到達(dá)點(diǎn)作起點(diǎn)至終點(diǎn)的最小消耗。式(7-1)稱為多級(jí)決策過(guò)程的函數(shù)方程，它是最優(yōu)性原理的數(shù)學(xué)表達(dá)形式。在上述路線問(wèn)題中，至的四級(jí)決策過(guò)程的函數(shù)方程可表示成：式中:――四級(jí)過(guò)程的起點(diǎn)；――由出發(fā)到達(dá)下一步站的某個(gè)可能通過(guò)點(diǎn)，它可能為或；――由至站的路線選擇（本級(jí)決策）；(9-2)――由至之間的路程；――從至終點(diǎn)的最短路程。由表7-1可知三者進(jìn)行比較，由此作出第一級(jí)決策為即應(yīng)選路線。這時(shí)最小路程為。函數(shù)方程是一個(gè)遞推方程，一般說(shuō)來(lái)，難于獲得解析解，需要用數(shù)字計(jì)算機(jī)求解。第二沫節(jié)興動(dòng)態(tài)課規(guī)劃怖法解泰離散患系統(tǒng)享的最優(yōu)享控制矛問(wèn)題設(shè)系吩統(tǒng)狀省態(tài)方旦程為式中，為維狀態(tài)向量，為維控制向量，設(shè)為每一步轉(zhuǎn)移中的性能指標(biāo)。(9-3)第一步，系統(tǒng)初始狀態(tài)在作用下轉(zhuǎn)移至，即要求選擇控制，使達(dá)最小。這是一個(gè)一級(jí)決策過(guò)程。(9-4)這時(shí)，第一步的性能指標(biāo)為：(9-5)(9-6)第二步，系統(tǒng)在作用下由轉(zhuǎn)移到，轉(zhuǎn)移中的性能指標(biāo)為，則兩步轉(zhuǎn)移的總性能指標(biāo)為：這里，因?yàn)橐阎?，而，因此在上述兩步轉(zhuǎn)移的總性能指標(biāo)中，只有及未知?，F(xiàn)在要求選擇及，使兩步性能指標(biāo)達(dá)極小。這就是二級(jí)決策問(wèn)題。依次類推，系統(tǒng)狀態(tài)由作起點(diǎn)進(jìn)行步轉(zhuǎn)移，則步轉(zhuǎn)移的總性能指標(biāo)為：現(xiàn)在要求選擇使性能指標(biāo)達(dá)最小，這就是級(jí)決策問(wèn)題。我們可以應(yīng)用動(dòng)態(tài)規(guī)劃法來(lái)求解。根據(jù)最優(yōu)性原理，對(duì)級(jí)最優(yōu)決策過(guò)程來(lái)說(shuō)，不論第一級(jí)控制向量怎樣選定，余下的級(jí)過(guò)程，從產(chǎn)生的狀態(tài)作為起點(diǎn)，必須構(gòu)成級(jí)最優(yōu)過(guò)程。(9-7)如果我們用表示級(jí)過(guò)程的性能指標(biāo)的極小值，表示級(jí)過(guò)程性能指標(biāo)的極小值，則我們就可以列寫(xiě)出級(jí)決策過(guò)程的函數(shù)方程為：由此穗可見(jiàn)押，第食一級(jí)怕決策環(huán)實(shí)質(zhì)餓上是迎函數(shù)對(duì)第一級(jí)的控制決策求極值的問(wèn)題。求解遞推方程(9-8)，就可解得最優(yōu)控制決策。(9-8)例9-境1設(shè)離恢散系確統(tǒng)狀善態(tài)方秋程為舒：初始條件為，控制變量不受限制，性能指標(biāo)為求最優(yōu)控制，使達(dá)最小。解:為簡(jiǎn)單起見(jiàn)，設(shè)，則這是一個(gè)二步控制問(wèn)題，性能指標(biāo)可表示成：首先考慮最后一步，即由某狀態(tài)出發(fā)到達(dá)的一步，如采用控制，則有或求最優(yōu)控制使為極小，則有解得：可見(jiàn)為的函數(shù)。相應(yīng)的最優(yōu)性能指標(biāo)及為再考慮倒數(shù)第二步，即由初始狀態(tài)出發(fā)到達(dá)的一步，如采用控制，則有令有相應(yīng)的最優(yōu)性能指標(biāo)及為：最后得最優(yōu)控制為：最優(yōu)軌線為：最優(yōu)性能指標(biāo)為：上述電離散替型動(dòng)噸態(tài)規(guī)獎(jiǎng)劃可擋近似艘地用在來(lái)求股解連受續(xù)系蟲(chóng)統(tǒng)的蟻?zhàn)顑?yōu)磨控制揀問(wèn)題技。設(shè)連島續(xù)系服統(tǒng)狀總態(tài)方萌程為速：(9-9)

給定，性能指標(biāo)為：(9-10)

(9-11)

求最優(yōu)控制，使為最小。由于函數(shù)方程是一個(gè)遞推方程，故特別適合于求解離散系統(tǒng)的最優(yōu)控制問(wèn)題。為此要把連續(xù)過(guò)程問(wèn)題轉(zhuǎn)化成一個(gè)多級(jí)決策過(guò)程。首先將時(shí)間間隔分成段，每段為，為使盡量符合連續(xù)過(guò)程的實(shí)際情況，應(yīng)取足夠大，取足夠小。接著應(yīng)將連續(xù)狀態(tài)方程進(jìn)行離散化，使之用下列有限差分方程來(lái)近似表示：(9-12)

故(9-13)

這樣，就把研究連續(xù)過(guò)程問(wèn)題近似轉(zhuǎn)化成了級(jí)決策過(guò)程。下面就可按離散過(guò)程一樣建立函數(shù)方程，用遞推求解方法逐級(jí)進(jìn)行最優(yōu)決策，求出最優(yōu)控制序列來(lái)。(9-14)

這里，假設(shè)在每段時(shí)間內(nèi)，及保持常值。同時(shí)，將積分型的性能指標(biāo)用以下序列和的形式來(lái)近似第三棍節(jié)誕動(dòng)渡態(tài)規(guī)徑劃法尼解離獄散線簡(jiǎn)性二摟次型算問(wèn)題設(shè)離誦散線顯性系獵統(tǒng)狀定態(tài)方腦程為刺：(9-15)

性能輩指標(biāo)圖為二答次型(9-16)

式中，均為對(duì)稱矩陣，為正定矩陣，為正半定矩陣。求最優(yōu)控制序列使為最小?，F(xiàn)在我們用動(dòng)態(tài)規(guī)劃法來(lái)求解。從初始端開(kāi)始，經(jīng)過(guò)級(jí)決策得到的最優(yōu)性能指標(biāo)可表示為(9-17)

(9-18)

根據(jù)收最優(yōu)丙性原躍理，傻可以催建立獲函數(shù)咽方程醉如下拌：如果過(guò)程是從第級(jí)開(kāi)始至終產(chǎn)端，則這一段的最優(yōu)性能指標(biāo)可表示為：假設(shè)肝二次緒型問(wèn)翁題的蠻最優(yōu)偉性能紅指標(biāo)憤為狀渣態(tài)的蓋二次浪函數(shù)懷：(9-20)

上式對(duì)成立，代入式(9-19)得：

(9-21)

將系坡統(tǒng)狀東態(tài)方卷程代擾入，設(shè)得：(9-22)

設(shè)不受約束，則令(9-23)

可得：(9-24)

式中現(xiàn)在需要確定，將式(9-24)代入式(9-22)，并利用

的假設(shè)，則式(9-22)可寫(xiě)成：(9-26)

上式役對(duì)任總意狀劑態(tài)變愛(ài)量都鏈滿足霧，由針此可皂得離夢(mèng)散系鬼統(tǒng)的倡黎卡羞提方除程(9-27)

第四脊節(jié)貌動(dòng)態(tài)挪規(guī)劃較法解棗連續(xù)漫系統(tǒng)紹的最囑優(yōu)控房誠(chéng)制問(wèn)雁題用離站散動(dòng)罵態(tài)規(guī)帆劃法營(yíng)求解幻玉連續(xù)摸系統(tǒng)止最優(yōu)粱控制漠問(wèn)題婚時(shí)，這可能呢會(huì)由殼于離堵散化摩過(guò)程壓而造擾成一垮定誤轉(zhuǎn)差。世應(yīng)用陵最優(yōu)驕性原量理，習(xí)對(duì)連芳續(xù)系健統(tǒng)也麥可建憂立起傳相應(yīng)賠的函上數(shù)方稈程，泄經(jīng)過(guò)鞭變換攪，最納后得認(rèn)到一出個(gè)一少階非哈線性夸偏微則分方閘程，檔解之防可得腸連續(xù)獻(xiàn)形式懼的最陶優(yōu)控份制即恭最優(yōu)意決策塊。設(shè)連論續(xù)系機(jī)統(tǒng)狀寄態(tài)方零程為(9-28)(9-29)性能貧指標(biāo)洗為(9-30)求最優(yōu)控制，使為最小。我們知道，對(duì)應(yīng)最優(yōu)控制及最優(yōu)軌線，性能指標(biāo)將取極小值，且為系統(tǒng)初始狀態(tài)及初始時(shí)刻的函數(shù)，以表示，則可寫(xiě)成：(9-31)(9-32)這里，與的關(guān)系受系統(tǒng)動(dòng)態(tài)方程約束。將指標(biāo)函數(shù)的表示式代入，則顯然(9-33)設(shè)時(shí)刻在區(qū)間內(nèi)，則根據(jù)最優(yōu)性原理，從到這一段過(guò)程必須構(gòu)成最優(yōu)過(guò)程，這一段過(guò)程的性能指標(biāo)極小值可表示為將這段最優(yōu)過(guò)程分成二步，第一步由到，是一很小的時(shí)間間隔，第二步由至，于是有(9-34)(9-35)根據(jù)最優(yōu)性原理，從到這一段過(guò)程也應(yīng)當(dāng)構(gòu)成最優(yōu)過(guò)程，其性能指標(biāo)極小值可表示為：這樣先，式(9幫-3米5)就變預(yù)成：(9-36)(9-37)因?yàn)楹苄?，上式可?xiě)成：(9-38)將用臺(tái)勞級(jí)數(shù)展開(kāi)(9-39)式中，