隨機(jī)過程第五章連續(xù)時(shí)間的馬爾可夫鏈

1、第五章 連續(xù)時(shí)間的馬爾可夫鏈5.1連續(xù)時(shí)間的馬爾可夫鏈考慮取非負(fù)整數(shù)值的連續(xù)時(shí)間隨機(jī)過程X(t),t0.定義5.1設(shè)隨機(jī)過程X(t),t0.，狀態(tài)空間I in,n 0,若對任意0 t1 t2. tn 1 及 i1,i2,.in 11 ,CPX(tni) in 1 X(t1)i1,X(t2)i2,.X(tn)詁=PX(tn 1)第 X(tn) J(5.1)則稱X(t),t0.為連續(xù)時(shí)間馬爾可夫鏈.由定義知，連續(xù)時(shí)間馬爾可夫鏈?zhǔn)蔷哂旭R爾可夫性的隨機(jī)過程，即過程在已知 現(xiàn)在時(shí)刻tn及一切過去時(shí)刻所處狀態(tài)的條件下 ，將來時(shí)刻tn1的狀態(tài)只依賴于現(xiàn) 在狀態(tài)而與過去無關(guān).記(5.1)式條件概率一般形式為P

2、X(s t) jX(s) i Pj(s,t)(5.2)它表示系統(tǒng)在s時(shí)刻處于狀態(tài)i,經(jīng)過時(shí)間t后轉(zhuǎn)移到狀態(tài)j的轉(zhuǎn)移概率.定義5.2若(5.2)式的轉(zhuǎn)移概率與s無關(guān),則稱連續(xù)時(shí)間馬爾可夫鏈具有平穩(wěn)的 或齊次的轉(zhuǎn)移概率，此時(shí)轉(zhuǎn)移概率簡記為Pij (s,t)Pij (t),其轉(zhuǎn)移概率矩陣簡記為P(t) (Pj(t),(i, j I,t 0).以下的討論均假定我們所考慮的連續(xù)時(shí)間馬爾可夫鏈都具有齊次轉(zhuǎn)移概率.簡稱為齊次馬爾可夫過程.假設(shè)在某時(shí)刻，比如說時(shí)刻0,馬爾可夫鏈進(jìn)入狀態(tài)i,而且接下來的s個(gè)單位時(shí)間 單位中過程未離開狀態(tài)i,(即未發(fā)生轉(zhuǎn)移)，問隨后的t個(gè)單位時(shí)間中過程仍不離開 狀態(tài)i的概率是多少

3、呢？由馬爾可夫我們知道，過程在時(shí)刻s處于狀態(tài)i條件下，在 區(qū)間s,s+t中仍然處于i的概率正是它處于i至少t個(gè)單位的無條件概率.若記hi為記過程在轉(zhuǎn)移到另一個(gè)狀態(tài)之前停留在狀態(tài)i的時(shí)間，則對一切s,t 0有Phi s thi sPhit,可見，隨機(jī)變量hi具有無記憶性，因此hi服從指數(shù)分布.由此可見，一個(gè)連續(xù)時(shí)間馬爾可夫鏈，每當(dāng)它進(jìn)入狀態(tài)i,具有如下性質(zhì)：(1) 在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i的時(shí)間服從參數(shù)為Vi的指數(shù)分布；當(dāng)過程離開狀態(tài)i時(shí)，接著以概率Pj進(jìn)行狀態(tài)j,Pj1 .j i上述性質(zhì)也是我們構(gòu)造連續(xù)時(shí)間馬爾可夫鏈的一種方法當(dāng)Vi時(shí),稱狀態(tài)i為瞬時(shí)狀態(tài)，因?yàn)檫^程一旦進(jìn)入此狀態(tài)立即就離開

4、.Vi 0時(shí),稱狀態(tài)i為吸收狀態(tài)，因?yàn)檫^程一旦進(jìn)入狀態(tài)就永遠(yuǎn)不再離開了盡管瞬時(shí)狀態(tài)在理論上是可能的，但以后假設(shè)對一切i, 0Vi因此,實(shí)際上一個(gè)連續(xù)時(shí)間的馬爾可夫鏈?zhǔn)且粋€(gè)這樣的隨機(jī)過程，它按照一個(gè)離散時(shí)間的馬爾可夫鏈從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)，但在轉(zhuǎn)移到下一個(gè)狀態(tài)之前，它在各個(gè)狀態(tài)停留的 時(shí)間服從指數(shù)分布.此外在狀態(tài)i過程停留的時(shí)間與下一個(gè)到達(dá)的狀態(tài)必須是相 互獨(dú)立的隨機(jī)變量.因此下一個(gè)到達(dá)的狀態(tài)依賴于hi,那么過程處于狀態(tài)i已有多 久的信息與一個(gè)狀態(tài)的預(yù)報(bào)有關(guān)，這與馬爾可夫性的假定相矛盾定理5.1齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)：(1) Pj0;(2) Pj 1；j i(3) Pij

5、(t s) Pik (t)Pkj(s).k I其中(3)式即為連續(xù)時(shí)間齊次馬爾可夫鏈的切普曼一柯爾哥洛夫方程證明 只證(3).由全概率公式及馬爾可夫性可得Pj(t s) PX(t s) jX(0)i)=PX(t s) j,X(t) kX(0) ik I= PX(t) kX (0) iPX(t s) j X(t) kk IPik (t)Pkj(s).k I對于轉(zhuǎn)移概率Pij(t),一般還假定它滿足：1,i jlim t o Pj (t).(5.3)0,i j.稱(5.3)式為正則條件.正則條件說明，過程剛進(jìn)入某狀態(tài)不可能立即又跳躍到另一 狀態(tài).這正好說明一個(gè)物理系統(tǒng)要在有限時(shí)間內(nèi)發(fā)生限多次跳躍，

6、從而消耗無窮多的能量這是不可能的定義5.3對于任一 t 0記Pj (t) PX(t) j,PjPj(0)PX(0)j, j I,分別稱Pj(t), j I, Pj,j I齊次馬爾可夫過程的絕對概率分布和初始概率分布定理5.2齊次馬爾可夫過程的絕對概率及有限維概率分布具有下列性質(zhì)：(1)Pj(t) 0,j IPj (t)1,Pj(t)i IPi Pj (t);Pj(t h)Pi(t)Pij(h)i IpX(ti)ii,.,X(tn) inPi Piit Pi2 (t 2 ti)pin dn (tn t n 1 ).i I例5.1試證明泊松過程X(t),t0為連續(xù)時(shí)間齊次馬爾可夫鏈證明 先證泊松過

7、程具有馬爾可夫性，再證明齊次性.由泊松過程的定義它是獨(dú)立增量過程 且X(0)=0. 0 ti,. tn tn i,有PX(tn l) in 1 X(ti) ii,.,X(tn) in=PX(tn i) X(tn)ini in X (ti) X(0) .= X(t2)X(ti) i2 ii,.X(tn) X(tni) in ini,=PX(tn i) X(tn) in i in.另一方面，因?yàn)镻X(tn i) in i X(tn) in=PX(tn i) X(tn) ini in|X(tn) X(0) in=PX(tn i) X(tn) ini in所以 PX(tni) in i X(ti) i

8、i,.,X(tn) in= PX(tn i) ini|X(tn)即泊松過程是一個(gè)連續(xù)時(shí)間馬爾可夫過程.以下證明齊次性.當(dāng)j i時(shí)，由泊松過程的定義PX(s t)j X(s) i= PX(s t) X(s) j it( t)j i(j i)!j<i.時(shí)，由于過程的增量只取非負(fù)整數(shù)，故Pj(s,t)0,所以Pj(S,t)Pj(t)t ( t)j i .e, j(j i)!0, j i即轉(zhuǎn)移概率只與t有關(guān),泊松過程具有齊次性5.2柯爾莫哥洛夫微分方程對于連續(xù)時(shí)間齊次馬爾可夫鏈轉(zhuǎn)移概率P. (t)的求解一般比較復(fù)雜.下面首先討論P(yáng). (t)的可微性及P. (t)滿足的柯爾莫哥洛夫微分程.引理5.

9、1設(shè)齊次馬爾可夫過程滿足正則性條件(5.3),則對于任意固定的i, j I, Pj (t)是t的一致連續(xù)函數(shù).證明設(shè)h>0,由定理5.1得Pj (th)Pj (t)Pir(h)Prj (t)Pj (t)r IPir(h)Prj(t) Pii(h)Pj(t) Pj (t)r iPir (h)Prj(t)1 Pii(h) Pj (t)r i故有Pij (th)Pj(t)1Pii (h)Pij (t)1Pii(h),Pj (th)Pj(t)Pr ir(h)Prj(t)Pir (h)1 Pii (h)r i因此Pj(th)Pj (t)1Pii (h)對于h<0,同樣有Pj (th)Pj (

10、t)1Pii ( h).綜上所述得到Pj(th)Pj (t)1Pii(h).由正則性條件知lim h 0 Pj (t h)Pj (t)0,即Pij (t)關(guān)于t 是- -致連續(xù)的以下我們恒設(shè)齊次馬爾可夫過程滿足正則性條件(5.3)式.定理5.3設(shè)pj (t)是齊次馬爾可夫過程的轉(zhuǎn)移概率，則下列極限存在1 Pii ( t) lim t o-Viqii ; lim tPj ( t)otqj我們稱qj為齊次馬爾可夫過程從狀態(tài)I到狀態(tài)j的轉(zhuǎn)移概率或跳躍強(qiáng)度.定理中 的極限的概率意義為：在長為t的時(shí)間區(qū)間內(nèi)，過程從狀態(tài)i轉(zhuǎn)移到另一其他狀態(tài) 的轉(zhuǎn)移概率為1 pii ( t)等于qii t加一個(gè)比t高階的無

11、窮小量，而過程從狀態(tài)i轉(zhuǎn) 移到狀態(tài)j的轉(zhuǎn)移概率為Pj ( t)等于qj t加一個(gè)比t高階的無窮小量.推論對有限齊次馬爾可夫過程，有qiiqijj i證明由定理5.1 ,有Pj( t) 1,1Pii ( t) Pj ( t)j Ij i由于求和是在有限集中進(jìn)行，故有Pj ( t) tqij .j itj i(5.4).1 Pii( t)qii lim t o -lim t o，一般只有對于狀態(tài)空間無限的齊次馬爾可夫過程q iiqij .j i若連續(xù)時(shí)間齊次馬爾可夫是具有有限狀態(tài)空間匸0,1,2,n,則其轉(zhuǎn)移速率構(gòu) 成以下形式的矩陣q00q01. q0nqi0qi1. qinQ(5.5) qnOq

12、n1. qnn由(5.4)式知,Q矩陣的每一行元素之和為0,對角線元素為負(fù)或0,其余,qj 0.利用Q矩陣可以推出任意時(shí)間間隔t的轉(zhuǎn)移概率所滿足的方法組，從而可以求 解轉(zhuǎn)移概率.由切普曼-柯爾莫哥洛夫方程有Pj(t h)Pik(h)Pq(t),k I或等價(jià)地Pj (th)pj (t) Pik(h)Pkj(t) 1Pii(h) pj(t)k i兩邊除以h后令h 0取極限,應(yīng)用定理5.3得到lim hPj (th) Pij (t)0hlim h 0 Pik(h)Pkj (t)k i hqii Pj(t)(5.6)假定在(5.6)式的右邊可交換極限與求和，再運(yùn)用定理5.3,于是得到以下結(jié)論：定理5.

13、4 (柯爾莫哥洛夫向后方程)假設(shè)qik qn,則對一切i,j及t 0，有k iPij (t)qik Pkj (t) qn pij,(5.7)k i證明 只要證明(5.6)式右邊極限與求和可交換次序.現(xiàn)在對于任意固定的N,有l(wèi)im h0 infk iPik(h)Pkj(t)lim h 0 infPik (h)Pkj(t)k i,k N hqik Pkj (t)k i ,k N因?yàn)樯鲜綄σ磺蠳成立，所以(5.8)lim h °infPi"h)Pkj(t) qik Pkj (t)k i, hk i,為了倒轉(zhuǎn)不等式，注意對于N>i,由于pkj (t) 1,所以lim h os

14、up Pik (h)Pkj (t)k i, hpik (h)lim h osup Pkj(t)k i,k N hPik(h)k N hlimh osup-PPkj(t) 1k i,k N hPii (h)Pik(h)hk i,k N hk i ,kqik Pkj (t) qQk,Nk i ,k N,由定理5.3和條件得lim h0 supk i,Pik(h)Pkj (t) qik Pkj(t). hk i,上式連同(5.8)可得p ik (h)lim h 0 一 Pkj(t) qik Pkj (t).k i, hk i,定理5.4中pj(t)滿足的微分方程組以柯爾莫可洛夫向后方程著稱.稱它們?yōu)?/p>

15、 向后方程，是因?yàn)樵谟?jì)算時(shí)刻t+h的狀態(tài)的概率分布時(shí)我們對退后到時(shí)刻 h的狀 態(tài)取條件，即我們從Pij(t h) PX(t h) jX(0) i,X(h) k.k I.PX(h)kX(0) i Pkj (t)Pik (h)k I開始計(jì)算.對時(shí)刻t的狀態(tài)取條件，我們可以導(dǎo)出另一組方程，稱為柯爾莫哥洛夫向前方程Pik(t)Pkj(h),可得Pij (t h)Pj(th) Pj(t)Pik(t)pq(h)Pj(t)k I=Pik(t)Pkj(h) 1 Pjj(h)Pj(t),k j所以limhPj (th)Pij(t)lim h oPik (t)斗 J1 ? Pij (t).k jhh假定我們能交換

16、極限與求和，則由定理5.3便得到Pj (t) Pik (t)qkj qiiPj(t),k j令人遺憾的是上述極限與求和的交換不是恒成立，所以上式并非總是成立.然而在 大多數(shù)模型中-包括全部生滅過程與全部有限狀態(tài)的模型，它們是成立的.定理5.5(柯爾莫哥洛夫向前方程)在適當(dāng)?shù)恼齽t條件下，Pij (t)Pik (t)qkj Pij (t)qjj ,(5.9)k i利用方程組(5.7)或(5.9)及初始條件Pii(0)1,Pij(0)0,i j.我們可以解得Pij (t).柯爾莫哥洛夫向后和向前方程雖然形式不同，但是可以證明它們所求得的解Pij (t)是相同的.在實(shí)際應(yīng)用中，當(dāng)固定最后所處狀態(tài)j,研

17、究Pij (t) 時(shí)(i=0,1,2,n),采用向后方程比較方便；當(dāng)固定狀態(tài)i,研究Pij(t)時(shí)(j=0,1,2, ,), 則采用向前方程較方便.(5.10)(5.11)向后方程和向前方程可以寫成矩陣形式P (t) QP(t),P (t) P(t)Q,其中qooq01q02Qq10qnq12q20q21q22Poop01p02PP10P11p12P20p21p22這樣，連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率的求解問題就是矩陣微分方程的求解問題，其轉(zhuǎn)移概率由其轉(zhuǎn)移速率矩陣Q決定特別地，若Q是一個(gè)有限維矩陣，則(5.10)和(5.11)的解為P(t)eQt(Q.j o j!定理5.6 .齊次馬爾可夫過程在

18、t時(shí)刻處于狀態(tài)j I的絕對概率Pj(t)滿足下列 方程：Pj (t) Pj(t)qjj Pk(t)qkj.(5.12)k j證明 由定理5.2,有Pj(t)Pi Pij (t) ti I將向前方程(5.9)式兩邊乘以Pi,并對i求和得Pi Pij (t)(Pi Pij(t)qjj)PiPik (t)qkj.i Ii Ii I k j故Pj(t) Pj(t)qjjPk(t)qkj.k j與離散馬爾可夫鏈類似，我們討論轉(zhuǎn)移概率Pij (t)當(dāng)t 時(shí)的極限分布與平穩(wěn)分布的有限性質(zhì).定義5.4設(shè)Pj(t)為連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率，若存在時(shí)刻tnt2,使得Pij (t1 )0,Pij(t2)0,則

19、稱狀態(tài)i和j是互通的.若所有狀態(tài)都是互通的，則稱此馬爾可夫鏈為不可約定理5.7設(shè)連續(xù)時(shí)間的馬爾可夫是不可約的，則有下列性質(zhì)： 若它是正常返的,則極限lim tPij (t)存在且等于j 0, j I.這里j 0, j I .是方程組jqjjk qkj , j 1(5.13)k jj I的唯一非負(fù)解.此時(shí)稱 j 0, j I.是該過程的平穩(wěn)分布，并且有l(wèi)imt Pj(t) j.若它是零常返的或非常返的，則lim t Pij (t) lim t Pj (t)0,i, j I.在實(shí)際問題中，有些問題可以用柯爾莫哥洛夫方程直接求解，有些問題雖然不 能求解但是可以用方程(5.13)求解.例5.2考慮兩個(gè)

20、狀態(tài)的連續(xù)時(shí)間馬爾可夫鏈，在轉(zhuǎn)移到狀態(tài)1之前鏈在狀態(tài)0停留的時(shí)間是參數(shù)為 的指數(shù)變量，而在回到狀態(tài)0之前它停留在狀態(tài)1的 時(shí)間是參數(shù)為的指數(shù)變量,顯然該鏈?zhǔn)且粋€(gè)齊次馬爾可夫過程，其狀態(tài)轉(zhuǎn)移概率為Po1(h)h o(h), p1o(h)h o(h),由定理5.3知qoo lim h 01一P°°(h)hlim hP°1(h)0hddhP01(h) hq01 ,qn limh0Lhlim hP10(h)0hddhPe(h) hq10 ,由柯爾莫哥洛夫向前方程得到Poo(t)Poi(t)Poo(t)=()Poo(t),)t，則其中最后一個(gè)等式來自P01 (t)1 P00

21、 (t)因?yàn)镻oo(O)1,由常數(shù)變易法得Poo(t)若記oPoo(t) o oe ()t類似地由向前方程Poi (t)Poo(t)Poi (t)可解得Poi(t)°e ()t由對稱性知Pii(t)oe ()tPio(t)oe ()t轉(zhuǎn)移概率的極限為lim t Poo (t)lim tPio(t), lim t Poi (t) o lim t Pii(t),由此可見，當(dāng)t時(shí)，Pj (t)的極限存在且與i無關(guān).定理5.6知，平穩(wěn)分布為若取初始分布為平穩(wěn)分布，即PX(o) o Po o,PX(o) iPio則過程在時(shí)刻t的絕對概率分布為Po (t) Po Poo(t) Pi Pio(t)

22、0 o1ooe例5.3機(jī)器維修問題.設(shè)例5.2中狀態(tài)0代表某機(jī)器正常工作狀態(tài)1代表機(jī)器出故障.狀態(tài)轉(zhuǎn)移概率與例5.2相同，即在h時(shí)間內(nèi),機(jī)器從正常工作變?yōu)槌龉收系?概率為Poi(h)h o(h),在h時(shí)間內(nèi)，機(jī)器從有故障變?yōu)榻?jīng)修復(fù)后正常工作的概率為Pio(h)h o(h),試求在t=0時(shí)正常工作的機(jī)器，在t=5時(shí)為正常工作的概率.解由例5.2已求得該過程的Q矩陣為根據(jù)題意，要求機(jī)器最后所處的狀態(tài)為正常工作，只需計(jì)算Poo(t)即可.由例5.2知Poo (t)oe ()t故Poo(5) o oe因?yàn)镻X(0)=0=仁Po,所以PX(5)0 Po(5)PoPoo(5) Poo (5)oe)55.3

23、生滅過程連續(xù)時(shí)間馬爾可夫鏈的一類重要特殊情形是生滅過程，它的特征是在很短的時(shí)間內(nèi)，系統(tǒng)的狀態(tài)只能從狀態(tài)i轉(zhuǎn)移到狀態(tài)i-1或i+1或保持不變，確切定義如下.定義5.5設(shè)齊次馬爾可夫過程X(t),t0的狀態(tài)空間為 匸0,1,2,，轉(zhuǎn)移概率為Pij (t)，如果Pi1(h)ih o(h), i 0,Pi,i(h)1( ii)h o(h),Pi,j(h)o(h), i j 2,則稱X(t),t0為生滅過程，i為出生率,i為死亡率.若 i i , i i ,(,是正常數(shù))，則稱X(t),t0為線性生滅過程.若 i 0,則稱X(t),t0為純生過程.若i 0,則稱X(t),t0為純滅過程.生滅過程可作如下概率解釋：若以X(t)表示一個(gè)生物群體