動態(tài)規(guī)劃培訓(xùn)

1、首先，什么是動態(tài)計劃(Dynamic Programming)流程優(yōu)化：為了實現(xiàn)預(yù)定的任務(wù)，需要控制任務(wù)之前的流程，任務(wù)實施的好壞可以用數(shù)字指標來衡量。在這種情況下，必須選擇控制流程發(fā)展的措施，以便最好地完成將這些問題稱為流程優(yōu)化的任務(wù)。(David aser，Northern Exposure)。多階段決策問題：如果流程可以分為多個相互連接的階段，則每個階段都必須做出決策，并且決策之間沒有隔離，而是有一定的關(guān)聯(lián)性。當前決策影響當前收入，還影響流程的總收入。為了實現(xiàn)特定目標，下一個決策必須根據(jù)上一課的決策效果進行適當調(diào)整，以實現(xiàn)整個過程的優(yōu)化。決策問題包括每個階段的決策結(jié)果構(gòu)成了一個稱為“策略

2、”(Policy)的決策序列。每個階段都可能有很多可選的決策，因此策略也可能很多。多階段決策問題是在很多允許策略中，根據(jù)給定的標準選擇最佳的。決策的關(guān)鍵：每次做出決定，都要從國家利益出發(fā)，渡邊杏考慮整體利益。動態(tài)計劃是解決多階段決策過程優(yōu)化的一種方法。主要想法是根據(jù)優(yōu)化原理將多元優(yōu)化問題轉(zhuǎn)化為一系列單變量最優(yōu)問題。二、動態(tài)程序設(shè)計基本數(shù)學描述和解決思路2.1動態(tài)計劃的基本配置動態(tài)計劃基本要素：決策時間集、系統(tǒng)狀態(tài)集、系統(tǒng)工作集、狀態(tài)轉(zhuǎn)移、轉(zhuǎn)移概率、收益系統(tǒng)：對象研究對象稱為系統(tǒng)。后面的具體例子。1)決策時間集即做出決策的時間點集合，可以是連續(xù)的，也可以是不連續(xù)的，可以是有限的，也可以是無限的。

3、將兩個類別分類。l離散時，例如，一般稱為周期或多層次決策問題。當決策層時刻固定且有限制時，稱為有限周期確定問題(finite-period(stage)decision problem)。無限時，稱為無限周期決定問題決策層時刻是離散點，但可能不是固定的?？梢栽谌魏螘r間點出現(xiàn)。(不是每一點都必須做。)。這種問題也稱為離散事件動態(tài)系統(tǒng)(discrete event dynamic system，DEDS)。離散的，但l連續(xù)時隨機最優(yōu)控制問題。2)狀態(tài)和活動集通過狀態(tài)，為了解系統(tǒng)的某些信息和掌握運行規(guī)律奠定了基礎(chǔ)。狀態(tài)實際上是我們觀察理解系統(tǒng)的中介。對于動態(tài)系統(tǒng)，進化是動態(tài)的，所以每個決策時刻T，系

4、統(tǒng)可以出現(xiàn)不同的狀態(tài)值，從而形成狀態(tài)集，其中狀態(tài)可以是矢量。當決策觀察特定狀態(tài)時，可以從允許的行動集中選擇一個行動。例如。行為集取決于狀態(tài)，不同的狀態(tài)可以有不同的行為集。都可以是有限集或無限集。這里的狀態(tài)可以只指當前時刻T的狀態(tài)，也可以包括過去所有時刻的狀態(tài)。3)收入和狀態(tài)轉(zhuǎn)移和轉(zhuǎn)移概率總是選擇t行為at會產(chǎn)生兩個結(jié)果。獲得當前收益(或成本)。發(fā)生狀態(tài)轉(zhuǎn)移?？捎没蛞愿怕史植祭L制。系統(tǒng)狀態(tài)，表示選擇行為時轉(zhuǎn)換到狀態(tài)的概率。概率1轉(zhuǎn)移到特定狀態(tài)。也就是說，為了確定動態(tài)計劃。否則，如果沒有概率為1的狀態(tài)，則顯示為隨機動態(tài)計劃。對于隨機動態(tài)計劃，必須進行說明；對于動態(tài)計劃，不必寫入此條目。最優(yōu)系統(tǒng)還有

5、一個終端收益。4)決策目標和優(yōu)化問題決策目標：對于確定問題，一般是總成本最低，或總收益最大等。對于隨機問題，總成本的預(yù)期最小或總收益的期望值最大。優(yōu)化問題：從所有可能的策略集中查找策略5)動態(tài)規(guī)劃方程(數(shù)學模型和算法階段)根據(jù)動態(tài)規(guī)劃原理，用與動態(tài)規(guī)劃方程相同的值表示上述優(yōu)化問題，結(jié)合多元復(fù)合問題，實現(xiàn)單變量簡單問題的獨立優(yōu)化效果。具體地說，它由以下方程式表示：命令、或者有如果有限制步驟的問題，必須說明。意義：K周期后的最佳化是對兩部分之和的最佳化，一部分是K周期的收益，另一部分是認為k 1后秒的最佳收益。(阿爾伯特愛因斯坦，Northern Exposure)實現(xiàn)此過程依賴性的思想優(yōu)化原則：

6、直觀地說，最優(yōu)策略(基于每個階段決策順序的決策集)必須滿足這些特性，無論初始狀態(tài)和以前決策的當前狀態(tài)如何。其馀每個階段的決策仍然是最佳的。簡要說明如下：最優(yōu)策略的子策略仍然是最優(yōu)的。對于初始狀態(tài)，不管以前的狀態(tài)和決策如何，對于以前的決策導(dǎo)致的當前狀態(tài)，仍然是后續(xù)子系統(tǒng)的最佳決策。優(yōu)化原理的可視化解釋示例-最短路徑問題(Djstra算法)最短路徑：任意截取最優(yōu)策略必須從一開始就是最好的。可以思考這些問題的方法：貧困法(可以小規(guī)模)動態(tài)規(guī)劃模型，DJStra算法(對于受限狀態(tài)的受限階段問題非常有效)線性規(guī)劃模型(相對有效)啟發(fā)算法：尋找規(guī)則，盡量往好的方向靠近，每次都尋找最好的。每次都找最短的，但

7、結(jié)果不是最短的。三、確定性動態(tài)規(guī)劃對于確定性問題，因為從一開始就知道事態(tài)的所有信息，所以不需要重新調(diào)整中間過程，所以可能不需要將多元最優(yōu)問題轉(zhuǎn)換為單變量最優(yōu)問題。您可以直接設(shè)置計劃模型(線性計劃或非線性計劃或整數(shù)計劃)，并使用相應(yīng)的算法(例如，最快的下降方法、共軛梯度方法、牛頓方法)。如果可以使用其他算法識別問題，請不要使用動態(tài)編程算法。但是，如果離散狀態(tài)集很大，則可以使用動態(tài)計劃。并且動態(tài)計劃獲取是全局最優(yōu)解，包括單純形法在內(nèi)的前一種方法不是最優(yōu)算法。確定性動態(tài)規(guī)劃模型逆序算法動態(tài)計劃模型：.最優(yōu)決策的動態(tài)規(guī)劃逆序算法：步驟1:命令和隨機；步驟2:滿足每個計算的公式。命令如果步驟3:停止，則

8、停止，否則轉(zhuǎn)至步驟2。也可以使用動態(tài)編程前順序算法。想想模特長什么樣。算法如何運行* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *案例1。庫存問題一.問題說明和模型建設(shè)1)問題說明通過某工廠調(diào)查研究，了解了市場情況，估計在接下來的四個時期里，對產(chǎn)品的市場需求在表中。時機1234需求數(shù)量2324假設(shè)隨時生產(chǎn)每批產(chǎn)品的固定成本比為3(千元)，如果不生產(chǎn)，則為0，每個單位的生產(chǎn)成本比為1(千元)。同時，在任何時間，能力允許的最大生產(chǎn)批量均不超過6個單位。每個時間期的每

9、個單位產(chǎn)品庫存費設(shè)置為0.5(千元)問題假設(shè)：這個周期沒有用完的產(chǎn)品要轉(zhuǎn)到下一個周期，產(chǎn)生庫存費用不允許缺貨。否則，不產(chǎn)生任何東西的成本最低2)創(chuàng)建模型=表示系統(tǒng)運行周期的總數(shù)。=生產(chǎn)過程的步驟變量；=階段k的需求；=每個批的固定成本；=單位生產(chǎn)成本的k階段；=k階段的最大生產(chǎn)能力；=步驟k的單位存儲成本；=k階段結(jié)束庫存，作為狀態(tài)變量；=k階段生產(chǎn)，作為決定性變量狀態(tài)轉(zhuǎn)移方程式：周期基礎(chǔ)成本函數(shù)：庫存成本：生產(chǎn)成本：或者所以成本函數(shù)的第一個周期；表示策略時，如果初始狀態(tài)為和策略，則系統(tǒng)的總成本為：系統(tǒng)的優(yōu)化問題是為給定的初始狀態(tài)找到以下策略。初始狀態(tài)為時系統(tǒng)的最佳決定。動態(tài)程式設(shè)計方程式包括

10、：其中表示與周期后狀態(tài)相關(guān)的最佳成本。二、解決問題在上述參數(shù)假設(shè)下，成本函數(shù)如下而且，動態(tài)程式設(shè)計方程式包括：具體的水產(chǎn)階段是DJStra算法過程。注意：如果存在能力上限，則系統(tǒng)狀態(tài)為您可以使用計算機代替手動過程。具體的解決方案可以是Lingo、Matlab、Mathematica等。三、線性規(guī)劃模型沒有啟動費用的時候，實際上是平衡問題。沒有缺貨，盡可能最低的費用。以習慣的形式表達如下。有啟動費用時，必須添加示意圖函數(shù)。同樣，可以使用軟件解決。=范例2:機器負載分配問題一.問題說明和模型建設(shè)1)問題說明有些機器可以在高低兩種負荷下生產(chǎn)，年產(chǎn)量與年初投入生產(chǎn)的機器數(shù)量有關(guān)。在高負荷下生產(chǎn)時，年產(chǎn)

11、量是投入生產(chǎn)的機器數(shù)，年末完整的機器數(shù)是系數(shù)0.7，稱為機器完成率。在低負荷下生產(chǎn)時，年產(chǎn)量，糧食中投入生產(chǎn)的機器數(shù)，機器完成率為0.9，安裝開始時完整的機器數(shù)要求制定5年計劃，每年開始時確定將暖電機器在兩個不同負荷下工作的數(shù)量重新分配的方法，5年內(nèi)總產(chǎn)量最高。(阿爾伯特愛因斯坦，Northern Exposure)2)創(chuàng)建模型=表示系統(tǒng)運行周期的總數(shù)=生產(chǎn)工序的步驟變量=高負荷生產(chǎn)時單位機器的年產(chǎn)量=低負荷生產(chǎn)中單位機器的年產(chǎn)量=高負載生產(chǎn)時機器的完成度=低負載生產(chǎn)時機器的完成度=k秒擁有的全電機器數(shù)(或k-1年末的全電機器數(shù))=如果在K年分配高負荷下生產(chǎn)的機器數(shù)，則分配低負荷生產(chǎn)的機器數(shù)為

12、：系統(tǒng)的狀態(tài)是擁有k秒的溫控機的數(shù)量，狀態(tài)方程如下k周期系統(tǒng)的收益顯示如下：初始狀態(tài)為時，政策下系統(tǒng)的總產(chǎn)量優(yōu)化問題是為給定的初始狀態(tài)找到以下策略：稱為系統(tǒng)的最佳決定。表示k年到5年年底最高總產(chǎn)量的動態(tài)計劃方程如下：二、模型解決方案在上述參數(shù)假設(shè)下：=4；=1，2，3，4；=8；=5；=0.7；=0.9；具體計算程序：步驟1:當k=5時，然后。這表明，第五年，必須將超完美的機器全部投入高負荷生產(chǎn)。步驟2:當k=4時，這表明，4年初，必須將完好無損的機器全部投入高負荷生產(chǎn)。步驟3:當k=3時，然后。這表明，3年初，必須將完好無損的機器全部投入高負荷生產(chǎn)。步驟4:當k=2時，然后。這表明，兩年年初

13、沒有投入任何數(shù)量的機器進行高負荷生產(chǎn)。步驟5:當k=1時，然后。這表明，一年年初沒有任何數(shù)量的機器投入高負荷生產(chǎn)。上述最優(yōu)決策規(guī)則、狀態(tài)方程和因此，高負荷生產(chǎn)的完整機器的最佳戰(zhàn)略是這表明，過去2年初，完整的機器投入到低負荷生產(chǎn)中，此后3年初，完整的機器投入到高負荷生產(chǎn)中。5年末，溫電機器數(shù)為0.7397=278臺。* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *問題1:如果計劃是n年，如何決定？問題2:如果第5年年底完整的機器數(shù)量是500臺，如何在5年內(nèi)實現(xiàn)總產(chǎn)量最

14、高？* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *第一個問題與上述類似，第二個問題稱為固定終端問題。-由，下一個那么決定是根據(jù)上述公式?jīng)Q定的-當K=4時，然后。當K=4時，然后。后面的過程和以前相似，有。這表明，如果5年后，完整的機器數(shù)量限制為500臺，則總產(chǎn)量低于無限制，最佳戰(zhàn)略也相應(yīng)變化，在1-4年內(nèi)將完整的機器全部投入低負荷生產(chǎn)。(莎士比亞，溫斯頓，電腦名言)。和以上最佳決策規(guī)則第五年，452臺機器投入高負荷生產(chǎn)，剩下的投入低負荷生產(chǎn)。在上述過程中，計算過程

15、和最短路徑問題是相同的。實際上，可以使上述問題與最短路徑問題相同。已確定的有限狀態(tài)的動態(tài)計劃問題都可以轉(zhuǎn)換為最短路徑問題，但是此圖中有很多節(jié)點和邊緣，如上所述。相反，任何最短路徑問題都是動態(tài)計劃問題。如上所述，識別問題的初始信息是完全已知的。動態(tài)規(guī)劃模型的優(yōu)點是將多個變量的同時最優(yōu)問題轉(zhuǎn)換為多個變量的最優(yōu)問題，從而降低計算的復(fù)雜性。當然，答案是最佳解決方案。如果可以用其他方法解決，最好不要把多元最優(yōu)問題分解成多個單變量問題。當問題狀態(tài)和決定都是離散的時候，最好使用動態(tài)計劃。除了將多元問題轉(zhuǎn)換為單變量解決問題的優(yōu)點外，動態(tài)決策的另一個優(yōu)點是利用對流程某些部分的反饋來調(diào)整特定決策值和進行動態(tài)調(diào)整。

16、這是動態(tài)決策的更實際意義，也是一般靜態(tài)規(guī)劃和圖論模型無法解決的部分。交通問題等?？偩€調(diào)度問題。延遲是決定公交系統(tǒng)服務(wù)水平的重要指標，減少延遲是提高服務(wù)的重要手段。像現(xiàn)在的民航系統(tǒng)一樣，有時延遲6 7個小時，極大地挑戰(zhàn)乘客的耐心，新聞事件經(jīng)常發(fā)生。從計劃和圖論模型的角度來看，當然，可以創(chuàng)建一個模型，給出各車輛(飛機或火車)的出發(fā)時間、?？繒r間等最佳方案，并達到最佳效果。但是，當這些方案實際實施時，可能會發(fā)生突然的變化，即不靈活的情況。一家公共汽車公司有多個網(wǎng)站，公司目標是最大限度地提高服務(wù)水平。請考慮以下幾個約束：每個出發(fā)都分配到一輛車。每個站點的車輛數(shù)量有限。每輛車都屬于唯一的站點。某些旅行線路分配給特定站點集合中的車輛。傳統(tǒng)的公共汽車時刻表一般制定后不變，除非有新的時間要求。這種方法不好的是，任何旅行遲到都可能導(dǎo)致下一條路