馬爾科夫預(yù)測法--期望利潤預(yù)測(PPT 45頁)[稻谷書苑]

1、1教學(xué)運用 一、基本概念 1.隨機變量 、 隨機函數(shù)與隨機過程 一變量x，能隨機地取數(shù)據(jù)（但不能準(zhǔn)確地預(yù)言它 取何值），而對于每一個數(shù)值或某一個范圍內(nèi)的值有 一定的概率，那么稱x為隨機變量。 假定隨機變量的可能值xi發(fā)生概率為Pi 即P(x = xi) = Pi 對于xi的所有n個可能值，有離散型隨機變量分布 列： Pi = 1 對于連續(xù)型隨機變量，有 P(x)dx = 1 2教學(xué)運用 在試驗過程中，隨機變量可能隨某一參數(shù)（不一定 是時間）的變化而變化. 如測量大氣中空氣溫度變化x = x(h),隨高度變化。 這種隨參變量而變化的隨機變量稱為隨機函數(shù)。而以 時間t作參變量的隨機函數(shù)稱為隨機過程

2、。 也就是說：隨機過程是這樣一個函數(shù)，在每次試 驗結(jié)果中，它以一定的概率取某一個確定的，但預(yù)先 未知的時間函數(shù)。 3教學(xué)運用 2、馬爾科夫過程 隨機過程中，有一類具有“無后效 性性質(zhì)”，即當(dāng)隨機過程在某一時刻to所 處的狀態(tài)已知的條件下，過程在時刻tto 時所處的狀態(tài)只和to時刻有關(guān)，而與to以 前的狀態(tài)無關(guān)，則這種隨機過程稱為馬爾 科夫過程。 即是：ito為確知,it(tto)只與ito有關(guān)， 這種性質(zhì)為無后效性，又叫馬爾科夫假設(shè)。 4教學(xué)運用 簡例：設(shè)x(t)為大米在糧倉中t月末的庫存量， 則 x(t) = x(t1)y(t) +G(t) t月的轉(zhuǎn)出量 第t1月末庫存量 ,G(t)為當(dāng)月轉(zhuǎn)

3、入 量 x(t)可看作一個馬爾科夫過程。 5教學(xué)運用 3、馬爾科夫鏈 時間和狀態(tài)都是離散的馬爾科夫過程稱為 馬爾科夫鏈。例：蛙跳問題 假定池中有N張荷葉，編號為1，2， 3,N，即蛙跳可能有N個狀態(tài)（狀態(tài)確知 且離散）。青蛙所屬荷葉，為它目前所處的狀 態(tài)；因此它未來的狀態(tài)，只與現(xiàn)在所處狀態(tài)有 關(guān)，而與以前的狀態(tài)無關(guān)（無后效性成立） 6教學(xué)運用 1 2 3 4 P33 P22 P44 P41 P42 P31 P32 7教學(xué)運用 寫成數(shù)學(xué)表達式為： P( xt+1 = j | xt = it , xt-1 = it1,x1 = i1) =P( xt+1 = j | xt = it ) 定義：Pij

4、 = P( xt+1 = j | xt = i) 即在xt = i的條件下，使 xt+1 = j的條件概率， 是從 i狀態(tài)一步轉(zhuǎn)移到j(luò)狀態(tài)的概率，因此它又 稱一步狀態(tài)轉(zhuǎn)移概率。 由狀態(tài)轉(zhuǎn)移圖，由于共有N個狀態(tài)，所以有 8教學(xué)運用 二狀態(tài)轉(zhuǎn)移矩陣 1.一步狀態(tài)轉(zhuǎn)移矩陣 系統(tǒng)有N個狀態(tài)，描述各種狀態(tài)下向其他狀態(tài)轉(zhuǎn)移的 概率矩陣 P11 P12 P1N 定義為 P21 P22 P2N : : : PN1 PN2 PNN 這是一個N階方陣，滿足概率矩陣性質(zhì) 1） Pij 0,i,j = 1,2, , N 非負(fù)性性質(zhì) 2） Pij = 1 行元素和為1 ,i=1,2,N NN P = 9教學(xué)運用 如：

5、W1 = 1/4, 1/4, 1/2, 0 W2 = 1/3, 0, 2/3 W3 = 1/4, 1/4, 1/4, 1/2大于1 W4 = 1/3, 1/3, -1/3,0, 2/3不是非負(fù) 3）若A和B分別為概率矩陣時，則AB為概率 矩陣。 概率向量 非概率向量 10教學(xué)運用 2.穩(wěn)定性假設(shè) 若系統(tǒng)的一步狀態(tài)轉(zhuǎn)移概率不隨時 間變化，即轉(zhuǎn)移矩陣在各個時刻都相同， 稱該系統(tǒng)是穩(wěn)定的。 這個假設(shè)稱為穩(wěn)定性假設(shè)。蛙跳問 題屬于此類，后面的討論均假定滿足穩(wěn) 定性條件。 2004/11/22 11教學(xué)運用 3.k步狀態(tài)轉(zhuǎn)移矩陣 經(jīng)過k步轉(zhuǎn)移由狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率記為 P(xt+k =j | xt

6、= i) = Pij(k) i,j = 1,2, , N 定義：k步狀態(tài)轉(zhuǎn)移矩陣為： P11(k) P12(k) P1N(k) P = : : : PN1(k) PN2(k) PNN (k) 當(dāng)系統(tǒng)滿足穩(wěn)定性假設(shè)時 P = P = P P P 其中P為一步狀態(tài)轉(zhuǎn)移矩陣。 即當(dāng)系統(tǒng)滿足穩(wěn)定性假設(shè)時，k步狀態(tài)轉(zhuǎn)移矩陣為 一步狀態(tài)轉(zhuǎn)移矩陣的k次方. k k k 12教學(xué)運用 例：設(shè)系統(tǒng)狀態(tài)為N = 3，求從狀態(tài)1轉(zhuǎn)移到狀態(tài)2的 二步狀態(tài)轉(zhuǎn)移概率. 解：作狀態(tài)轉(zhuǎn)移圖 有三個狀態(tài) 解法一：由狀態(tài)轉(zhuǎn)移圖： 1 1 2: P11 P12 （ 此三個都是經(jīng)過兩步完成的） 1 2 2: P12 P22 1 3

7、2: P13 P32 P12 = P11 P12 + P12 P22 +P13 P32 = P1i Pi2 1 3 2 P13 P32 P11 P12 P12 P22 13教學(xué)運用 解法二： k = 2, N = 3 P11(2) P12 (2) P13(2) P = P21(2) P22 (2) P23(2) P31(2) P32(2) P33(2) P11 P12 P13 P11 P12 P13 = PP = P21 P22 P23 P21 P22 P23 P31 P32 P33 P31 P32 P33 得： P12(2) = P11 P12 + P12 P22 +P13 P32 = P1

8、i Pi2 P12(2) 是第一行乘以第二列的結(jié)果 14教學(xué)運用 例：味精銷售問題 已連續(xù)統(tǒng)計六年共24個季度，確定暢銷，滯銷界限， 即只允許出現(xiàn)兩種狀態(tài)，且具備無后效性。 設(shè)狀態(tài)1為暢銷，狀態(tài)2為滯銷,作出狀態(tài)轉(zhuǎn)移圖: 圖中: P11為當(dāng)前暢銷，連續(xù)暢銷概率； P12為當(dāng)前暢銷，轉(zhuǎn)滯銷概率； P22為當(dāng)前滯銷，連續(xù)滯銷概率； P21為當(dāng)前滯銷，轉(zhuǎn)暢銷概率。 12 P22 P11 P12 P21 15教學(xué)運用 數(shù)據(jù)在確定盈虧量化界限后的統(tǒng)計表如下： t 1 2 3 4 5 6 7 8 9 10 11 12 13 狀態(tài) t 14 15 16 17 18 19 20 21 22 23 24 狀態(tài)

9、進行概率計算時，第二十四個季度為暢銷，但后續(xù)是什么狀 態(tài)不知，故計算時不能采用，只用于第二十三季度統(tǒng)計。 有： P11 = 7/(7 + 7) = 0.5; P12 = 7/(7 + 7) = 0.5; P21 = 7/(7 + 2) = 0.78; P22 = 2/(7 + 2) = 0.22 則 0.5 0.5 0.78 0.22 此式說明了：若本季度暢銷，則下季度暢銷和滯銷的可能性 各占一半 若本季度滯銷，則下季度滯銷有78%的把握，滯銷風(fēng) 險22% P = 16教學(xué)運用 二步狀態(tài)轉(zhuǎn)移矩陣為： 0.5 0.5 0.5 0.5 0.78 0.22 0.78 0.22 0.64 0.36 0

10、.5616 0.4384 P11(2) P12(2) P21(2) P22(2) = = P = P = 22 17教學(xué)運用 三.穩(wěn)態(tài)概率： 用于解決長期趨勢預(yù)測問題。 即：當(dāng)轉(zhuǎn)移步數(shù)的不斷增加時，轉(zhuǎn)移 概率矩陣 P 的變化趨勢。 1.正規(guī)概率矩陣。 定義：若一個概率矩陣P，存在著某 一個正整數(shù)m,使P 的所有元素均為正數(shù) （Pij o），則該矩陣稱為正規(guī)概率矩陣 k 18教學(xué)運用 例： 1/2 1/4 1/4 P = 1/3 1/3 1/3 為正規(guī)概率矩陣 2/5 1/5 2/5 0 1 P11 = 0 1/2 1/2 但當(dāng) m = 2， 有 有Pij 0 它也是正規(guī)概率矩陣。 （P 每個元

11、素均為正數(shù)） 但 1 0 0 1 就找不到一個正數(shù)m,使P 的每 一個元素均大于0，所以它不是正規(guī)概率矩陣。 （也就是說單位矩陣不是正規(guī)概率矩陣 ） P = 2 2 P =m P = 2 19教學(xué)運用 2.固定概率向量（特征概率向量） 設(shè) P為NN概率矩陣,若U = U1, U2, UN為概率向 量,且滿足UP = U,稱U為P的固定概率向量 例 0 1 1/2 1/2 為概率矩陣 P的固定概率向量 U = 1/3 , 2/3 檢驗 UP = 1/3 2/3 0 1 1/2 1/2 =1/3 2/3 注:U是行向量。 P = 20教學(xué)運用 3.正規(guī)概率矩陣的性質(zhì) 定理一 設(shè)P為NN正規(guī)概率矩陣

12、，則 A .P有且只有一個固定概率向量（唯一性） U = U1,U2, UN 且U的所有元素均為正數(shù) Ui 0 B.NN方陣P的各次方組成序列 P, P, P, ,P 趨 于方陣T，且T的每一個行向量都是固定概率向量 U。 即 U1 U2 UN U lim Pk = T = : : : = : U1 U2 UN U 這個方陣T稱穩(wěn)態(tài)概率矩陣。 23k 21教學(xué)運用 這個定理說明：無論系統(tǒng)現(xiàn)在處于何種 狀態(tài)，在經(jīng)過足夠多的狀態(tài)轉(zhuǎn)移之后，均達到 一個穩(wěn)態(tài)。 因此，欲求長期轉(zhuǎn)移概率矩陣，即進行長 期狀態(tài)預(yù)測，只要求出穩(wěn)態(tài)概率矩陣T； 而T的每個行向量都是固定概率向量，所 以只須求出固定概率向量U就行

13、了 ! 22教學(xué)運用 定理二：設(shè)X為任意概率向量，則XT = U 即任意概率向量與穩(wěn)態(tài)概率矩陣之點積為 固定概率向量。 U1 U2 UN XT = X : : : = U1Xi U1Xi U1Xi U1 U2 UN = U1 U2 UN = U Xi =1 23教學(xué)運用 例：若 0.4 0.3 0.3 P = 0.6 0.3 0.1 求T 0.6 0.1 0.3 解：設(shè) U = U1 U2 U3 = U1 U2 1U1U2 由 UP = U 有 0.4 0.3 0.3 U1 U2 1U1U2 0.6 0.3 0.1 = U1 U2 U3 0.6 0.1 0.3 24教學(xué)運用 即 -0.2U1

14、+ 0.6 = U1 U1 = 0.5 0.2U1 + 0.2U2 + 0.1 =U2 U2 = 0.25 -0.2U2 + 0.3 = U3 U3 = 0.25 U = 0.5 0.25 0.25 則 0.5 0.25 0.25 T = 0.5 0.25 0.25 0.5 0.25 0.25 說明： 不管系統(tǒng)的初始狀態(tài)如何，當(dāng)系統(tǒng)運行時間較長時，轉(zhuǎn) 移到各個狀態(tài)的概率都相等。（列向量各元素相等） 即 各狀態(tài)轉(zhuǎn)移到1狀態(tài)都為0.5; 2狀態(tài)都為0.25 ; 3狀態(tài)都為0.25 25教學(xué)運用 商品在市場上參與競爭，都擁有顧客，并由此而 產(chǎn)生銷售，事實上，同一商品在某一地區(qū)所有的N個商 家（或不同

15、品牌的N個同類產(chǎn)品）都擁有各自的顧客， 產(chǎn)生各自銷售額，于是產(chǎn)生了市場占有率定義： 設(shè)某一確定市場某商品有N個不同品牌（或N個商家） 投入銷售，第i個商家在第j期的市場占有率 Si(j) = xi(j)/x i =1,2, N 其中 xi(j)為第i個商家在第j期的銷售額（或擁有 顧客數(shù)） x為同類產(chǎn)品在市場上總銷售額（或顧客數(shù)） 市場占有率所需數(shù)據(jù)可通過顧客抽樣調(diào)查得到。 26教學(xué)運用 一般地,首先考慮初始條件,設(shè)當(dāng)前狀態(tài)（即j = 0 ） 為 S(0) = S1(0) S2(0) SN(0) 第i個商家 Si(0) = xi(0)/x xi(0) = Si(0) x 即當(dāng)前第i個商家市場占

16、有率與初始市場占有率及市 場總量有關(guān). 同時假定滿足無后效性及穩(wěn)定性假設(shè). 由于銷售商品的流通性質(zhì),有第i個商家第j期銷售狀為 27教學(xué)運用 xi(k) = x1(0)P1i(k) + x2(0)P2i(k)+ + xN(0)PNi(k) = xS1(0)P1i(k) +xS2(0)P2i(k) + + xSN(0)PNi(k) P1i(k) = xS1(0) S2(0) SN(0) P2i(k) : PNi(k) 有：Si(k) = xi(k)/x P1i(k) = S1(0) S2(0) SN(0) P2i(k) : PNi(k) 28教學(xué)運用 故可用矩陣式表達所有狀態(tài): S1(k),S2

17、(k), ,SN(k)= S1(0),S2(0), ,SN(0) P 即 S(k) = S(0) P 當(dāng)滿足穩(wěn)定性假設(shè)時,有 S(k) = S(0) P 這個公式稱為已知初始狀態(tài)條件下的市場占有 率k步預(yù)測模型. k k k 29教學(xué)運用 例:東南亞各國味精市場占有率預(yù)測, 初期工作: a)行銷上海,日本,香港味精,確定狀態(tài)1,2,3. b)市場調(diào)查,求得目前狀況,即初始分布 c)調(diào)查流動狀況;上月轉(zhuǎn)本月情況,求出一步狀 態(tài)轉(zhuǎn)移概率. 1)初始向量: 設(shè) 上海味精狀況為1; 日本味精狀況為2; 香港味精狀況為3; 有 S(0) = S1(0) S2(0) S3(0) = 0.4 0.3 0.3

18、 30教學(xué)運用 2)確定一步狀態(tài)轉(zhuǎn)移矩陣 P11 P12 P13 0.4 0.3 0.3 P = P21 P22 P23 = 0.6 0.3 0.1 P31 P32 P33 0.6 0.1 0.3 3),3 步狀態(tài)轉(zhuǎn)移矩陣(假定要預(yù)測3個月后) P11(3) P12(3) P13(3) 0.496 0.252 0.252 P 3= P21(3) P22(3) P23(3) = P = 0.504 0.252 0.244 P31(3) P32(3) P33(3) 0.504 0.244 0.252 3 31教學(xué)運用 4)預(yù)測三個月后市場 0.496 0.252 0.252 S(3) = S(0)

19、P3 =0.4 0.3 0.3 0.504 0.252 0.244 0.504 0.244 0.252 S1(3) = 0.40.496 +0.30.504 + 0.30.504 = 0.5008 S2(3) = 0.2496 S3(3) = 0.2496 32教學(xué)運用 二.長期市場占有率預(yù)測 這是求當(dāng) k 時 S(k) ? 我們知道: S(k) = S(0) P lim S(k) = S(0) lim P = S(0)T = U 因此,在已知初始條件下求長期市場占有率 就是求穩(wěn)態(tài)概率矩陣,也是求固定概率向量. 求固定概率向量的方法,我們在前一節(jié)已有 例子,只不過說明了長期市場占有率也是只與穩(wěn)

20、 態(tài)矩陣有關(guān),與初始條件無關(guān). k k 33教學(xué)運用 上面味精例子, 0.4 0.3 0.3 已知 P = 0.6 0.3 0.1 0.6 0.1 0.4 0.5 0.25 0.25 求出 T = 0.5 0.25 0.25 = lim Pk 0.5 0.25 0.25 lim S(k) = 0.5 0.25 0.25 即中國味精可擁有50%的長期市場. 34教學(xué)運用 是考慮:一個與經(jīng)濟有關(guān)隨機系統(tǒng)在 進行狀態(tài)轉(zhuǎn)移時,利潤要發(fā)生相應(yīng)變化,例 如商品連續(xù)暢銷到滯銷,顯然在這些過程 變化時,利潤變化的差距是很大的. 所以有如下的定義: 若馬爾科夫鏈在發(fā)生狀態(tài)轉(zhuǎn)移時,伴 隨利潤變化,稱這個馬爾科夫鏈

21、為帶利潤 的馬爾科夫鏈. 35教學(xué)運用 設(shè)系統(tǒng)有N個狀態(tài) 狀態(tài)i經(jīng)過一步轉(zhuǎn)移到狀態(tài)j時(即當(dāng)事件發(fā) 生時,Pij = 1)所獲得的利潤為rij i,j = 1,2, N 于是有利潤矩陣 r11 r12 r1N R = r21 r22 r2n : : : rN1 rN2 rNN 顯然 ,rij 0 盈利 ;rij 0 虧損 ; rij = 0 平衡 由于系統(tǒng)狀態(tài)轉(zhuǎn)移為隨機的,得到的利潤也 應(yīng)當(dāng)是隨機的,這個利潤只能是期望利潤. 36教學(xué)運用 11、即時期望利潤(一步狀態(tài)轉(zhuǎn)移期望利潤) 考慮狀態(tài) i 狀態(tài)轉(zhuǎn)移 i 1 i 2 i i i N 一步轉(zhuǎn)移概率 Pi1 Pi2 Pii PiN 利潤變化

22、ri1 ri2 rii riN 所以:從i轉(zhuǎn)到1的期望利潤值 P11r11 從i轉(zhuǎn)到2的期望利潤值 P12r12 : : 從i轉(zhuǎn)到i的期望利潤值 Piirii : : 從i轉(zhuǎn)到N的期望利潤值 P1Nr1N 37教學(xué)運用 而從狀態(tài)i開始經(jīng)過一步轉(zhuǎn)移后所得到的期望 利潤值為 Pijrij = Pi1ri1 + Pi2ri2 PiNriN 這個值稱為即時期望利潤,又是一步狀態(tài)轉(zhuǎn)移 期望利潤,是概率定義下的利潤均值. 記為 Vi = Vi = Pijrij 特別地Vi = 0 ,即當(dāng) k = 0, 未轉(zhuǎn)移,沒有利潤變 化. 1 0 38教學(xué)運用 2. k步轉(zhuǎn)移期望利潤遞推公式 k步轉(zhuǎn)移期望利潤可以分解

23、為兩步,即一步和 k1步, 一步轉(zhuǎn)移期望利潤為Vi = Pijrij 現(xiàn)考慮k1步 首先,從0時刻到1時刻發(fā)生了一步狀態(tài)轉(zhuǎn)移, 假定 狀態(tài)已轉(zhuǎn)移1狀態(tài)(令Pij = 1)后,從1狀態(tài)開 始 k1 步轉(zhuǎn)移后達到期望利潤為V1k-1 . 而i狀態(tài)轉(zhuǎn)移到1狀態(tài)的發(fā)生概率為Pi1 , 因此 i狀態(tài)先轉(zhuǎn)移到1狀態(tài)后的k1步實際期望利潤 為 Pi1 V1k-1 k1 39教學(xué)運用 同理 i狀態(tài)先轉(zhuǎn)到2狀態(tài)后的k1步實際期望利潤為 Pi2 V2 即:各實際期望利潤之和,構(gòu)成了初始狀態(tài)為i的 k1步轉(zhuǎn) 移后的轉(zhuǎn)移期望利潤 : PijVj k步轉(zhuǎn)移期望利潤 Vi = Vi +PijVj = Pijrij + PijVj = Pij (rij + Vj ) 以上公式為k步轉(zhuǎn)移期望利潤遞推公式 此公式可改寫為矩陣遞推式: 由 Vi = Vi + PijVj k1 k1 k1 k1 k1 k1 k k1 40教學(xué)運用 V1 定義 V = V2 為j步轉(zhuǎn)移期望利潤列向量 : VN V1 V = V2 為即時期望利潤列向量 :. VN P11 P12 P1N : : : 為一步狀態(tài)轉(zhuǎn)移概率矩陣 PN1 PN2 PNN 有V = V +PV j j j j P = K k1 41教學(xué)運用 例:設(shè)某商品銷售狀態(tài)分別為暢銷(狀態(tài)1)及滯銷 (狀態(tài)2),銷售狀態(tài)轉(zhuǎn)移概率矩陣為 P11 P12 0.5