隨機(jī)過程連續(xù)時(shí)間的馬爾可夫鏈

1、第五章 連續(xù)時(shí)間的馬爾可夫鏈 5.1連續(xù)時(shí)間的馬爾可夫鏈 考慮取非負(fù)整數(shù)值的連續(xù)時(shí)間隨機(jī)過程 定義5.1 設(shè)隨機(jī)過程,狀態(tài)空間,若對(duì)任意及,有 = (5.1)則稱為連續(xù)時(shí)間馬爾可夫鏈. 由定義知,連續(xù)時(shí)間馬爾可夫鏈?zhǔn)蔷哂旭R爾可夫性的隨機(jī)過程,即過程在已知現(xiàn)在時(shí)刻及一切過去時(shí)刻所處狀態(tài)的條件下,將來時(shí)刻的狀態(tài)只依賴于現(xiàn)在狀態(tài)而與過去無關(guān). 記(5.1)式條件概率一般形式為 (5.2)它表示系統(tǒng)在s時(shí)刻處于狀態(tài)i,經(jīng)過時(shí)間t后轉(zhuǎn)移到狀態(tài)j的轉(zhuǎn)移概率. 定義5.2 若(5.2)式的轉(zhuǎn)移概率與s無關(guān),則稱連續(xù)時(shí)間馬爾可夫鏈具有平穩(wěn)的或齊次的轉(zhuǎn)移概率,此時(shí)轉(zhuǎn)移概率簡(jiǎn)記為 其轉(zhuǎn)移概率矩陣簡(jiǎn)記為 以下的討論

2、均假定我們所考慮的連續(xù)時(shí)間馬爾可夫鏈都具有齊次轉(zhuǎn)移概率.簡(jiǎn)稱為齊次馬爾可夫過程. 假設(shè)在某時(shí)刻,比如說時(shí)刻0,馬爾可夫鏈進(jìn)入狀態(tài)i,而且接下來的s個(gè)單位時(shí)間單位中過程未離開狀態(tài)i,(即未發(fā)生轉(zhuǎn)移),問隨后的t個(gè)單位時(shí)間中過程仍不離開狀態(tài)i的概率是多少呢?由馬爾可夫我們知道,過程在時(shí)刻s處于狀態(tài)i條件下,在區(qū)間s,s+t中仍然處于i的概率正是它處于i至少t個(gè)單位的無條件概率.若記為記過程在轉(zhuǎn)移到另一個(gè)狀態(tài)之前停留在狀態(tài)i的時(shí)間,則對(duì)一切s,t有 可見,隨機(jī)變量具有無記憶性,因此服從指數(shù)分布. 由此可見,一個(gè)連續(xù)時(shí)間馬爾可夫鏈,每當(dāng)它進(jìn)入狀態(tài)i,具有如下性質(zhì):(1) 在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i

3、的時(shí)間服從參數(shù)為的指數(shù)分布;(2) 當(dāng)過程離開狀態(tài)i時(shí),接著以概率進(jìn)行狀態(tài)j,.上述性質(zhì)也是我們構(gòu)造連續(xù)時(shí)間馬爾可夫鏈的一種方法.當(dāng)時(shí),稱狀態(tài)i為瞬時(shí)狀態(tài),因?yàn)檫^程一旦進(jìn)入此狀態(tài)立即就離開.時(shí),稱狀態(tài)i為吸收狀態(tài),因?yàn)檫^程一旦進(jìn)入狀態(tài)就永遠(yuǎn)不再離開了.盡管瞬時(shí)狀態(tài)在理論上是可能的,但以后假設(shè)對(duì)一切i, .因此,實(shí)際上一個(gè)連續(xù)時(shí)間的馬爾可夫鏈?zhǔn)且粋€(gè)這樣的隨機(jī)過程,它按照一個(gè)離散時(shí)間的馬爾可夫鏈從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài),但在轉(zhuǎn)移到下一個(gè)狀態(tài)之前,它在各個(gè)狀態(tài)停留的時(shí)間服從指數(shù)分布.此外在狀態(tài)i過程停留的時(shí)間與下一個(gè)到達(dá)的狀態(tài)必須是相互獨(dú)立的隨機(jī)變量.因此下一個(gè)到達(dá)的狀態(tài)依賴于,那么過程處于狀態(tài)i

4、已有多久的信息與一個(gè)狀態(tài)的預(yù)報(bào)有關(guān),這與馬爾可夫性的假定相矛盾. 定理5.1 齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì): (2) (3) .其中(3)式即為連續(xù)時(shí)間齊次馬爾可夫鏈的切普曼柯爾哥洛夫方程. 證明 只證(3).由全概率公式及馬爾可夫性可得 = = . 對(duì)于轉(zhuǎn)移概率,一般還假定它滿足: (5.3)稱(5.3)式為正則條件.正則條件說明,過程剛進(jìn)入某狀態(tài)不可能立即又跳躍到另一狀態(tài).這正好說明一個(gè)物理系統(tǒng)要在有限時(shí)間內(nèi)發(fā)生限多次跳躍,從而消耗無窮多的能量這是不可能的. 定義5.3 對(duì)于任 一記 分別稱 齊次馬爾可夫過程的絕對(duì)概率分布和初始概率分布. 定理5.2齊次馬爾可夫過程的絕對(duì)概率及有

5、限維概率分布具有下列性質(zhì): (1) (2) (3) ; (4) (5)例5.1試證明泊松過程為連續(xù)時(shí)間齊次馬爾可夫鏈.證明 先證泊松過程具有馬爾可夫性,再證明齊次性.由泊松過程的定義它是獨(dú)立增量過程,且X(0)=0.,有 = = = .另一方面,因?yàn)?= = 所以=.即泊松過程是一個(gè)連續(xù)時(shí)間馬爾可夫過程.以下證明齊次性. 當(dāng) 時(shí),由泊松過程的定義 = = j<i.時(shí),由于過程的增量只取非負(fù)整數(shù),故所以 ,即轉(zhuǎn)移概率只與t有關(guān),泊松過程具有齊次性. 5.2柯爾莫哥洛夫微分方程 對(duì)于連續(xù)時(shí)間齊次馬爾可夫鏈轉(zhuǎn)移概率的求解一般比較復(fù)雜.下面首先討論的可微性及滿足的柯爾莫哥洛夫微分程. 引理5.1

6、 設(shè)齊次馬爾可夫過程滿足正則性條件(5.3),則對(duì)于任意固定的是t的一致連續(xù)函數(shù). 證明 設(shè)h>0,由定理5.1得 =故有 因此 對(duì)于h<0,同樣有綜上所述得到 由正則性條件知 即關(guān)于t是一致連續(xù)的. 以下我們恒設(shè)齊次馬爾可夫過程滿足正則性條件(5.3)式. 定理5.3 設(shè)是齊次馬爾可夫過程的轉(zhuǎn)移概率,則下列極限存在 (1) (2) 我們稱為齊次馬爾可夫過程從狀態(tài)i到狀態(tài)j的轉(zhuǎn)移概率或跳躍強(qiáng)度.定理中的極限的概率意義為:在長(zhǎng)為的時(shí)間區(qū)間內(nèi),過程從狀態(tài)i轉(zhuǎn)移到另一其他狀態(tài)的轉(zhuǎn)移概率為等于加一個(gè)比高階的無窮小量,而過程從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的轉(zhuǎn)移概率為等于加一個(gè)比高階的無窮小量. 推論

7、對(duì)有限齊次馬爾可夫過程,有 證明 由定理5.1 ,有 由于求和是在有限集中進(jìn)行,故有 (5.4) 對(duì)于狀態(tài)空間無限的齊次馬爾可夫過程,一般只有 . 若連續(xù)時(shí)間齊次馬爾可夫是具有有限狀態(tài)空間I=0,1,2,n,則其轉(zhuǎn)移速率構(gòu)成以下形式的矩陣 (5.5)由(5.4)式知,Q矩陣的每一行元素之和為0,對(duì)角線元素為負(fù)或0,其余 利用Q矩陣可以推出任意時(shí)間間隔t的轉(zhuǎn)移概率所滿足的方法組,從而可以求解轉(zhuǎn)移概率. 由切普曼-柯爾莫哥洛夫方程有 或等價(jià)地 兩邊除以h后令取極限,應(yīng)用定理5.3得到 (5.6)假定在(5.6)式的右邊可交換極限與求和,再運(yùn)用定理5.3,于是得到以下結(jié)論: 定理5.4 (柯爾莫哥洛

8、夫向后方程)假設(shè)則對(duì)一切i,j及,有 (5.7) 證明 只要證明(5.6)式右邊極限與求和可交換次序.現(xiàn)在對(duì)于任意固定的N,有 因?yàn)樯鲜綄?duì)一切N成立,所以 (5.8)為了倒轉(zhuǎn)不等式,注意對(duì)于N>i,由于所以 令,由定理5.3和條件得 .上式連同(5.8)可得 . 定理5.4中滿足的微分方程組以柯爾莫可洛夫向后方程著稱.稱它們?yōu)橄蚝蠓匠?是因?yàn)樵谟?jì)算時(shí)刻t+h的狀態(tài)的概率分布時(shí)我們對(duì)退后到時(shí)刻h的狀態(tài)取條件,即我們從 開始計(jì)算. 對(duì)時(shí)刻t的狀態(tài)取條件,我們可以導(dǎo)出另一組方程,稱為柯爾莫哥洛夫向前方程.可得 =, 所以 假定我們能交換極限與求和,則由定理5.3便得到 令人遺憾的是上述極限與求

9、和的交換不是恒成立,所以上式并非總是成立.然而在大多數(shù)模型中-包括全部生滅過程與全部有限狀態(tài)的模型,它們是成立的. 定理5.5(柯爾莫哥洛夫向前方程) 在適當(dāng)?shù)恼齽t條件下, (5.9)利用方程組(5.7)或(5.9)及初始條件 我們可以解得.柯爾莫哥洛夫向后和向前方程雖然形式不同,但是可以證明它們所求得的解是相同的.在實(shí)際應(yīng)用中,當(dāng)固定最后所處狀態(tài)j,研究時(shí)(i=0,1,2,n),采用向后方程比較方便;當(dāng)固定狀態(tài)i,研究時(shí)(j=0,1,2,),則采用向前方程較方便. 向后方程和向前方程可以寫成矩陣形式 (5.10) (5.11)其中 這樣,連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率的求解問題就是矩陣微分方程

10、的求解問題,其轉(zhuǎn)移概率由其轉(zhuǎn)移速率矩陣Q決定.特別地,若Q是一個(gè)有限維矩陣,則(5.10)和(5.11)的解為 定理5.6 .齊次馬爾可夫過程在t時(shí)刻處于狀態(tài)的絕對(duì)概率滿足下列方程: (5.12) 證明 由定理5.2,有 將向前方程(5.9)式兩邊乘以并對(duì)i求和得 故 . 與離散馬爾可夫鏈類似,我們討論轉(zhuǎn)移概率 當(dāng) 時(shí)的極限分布與平穩(wěn)分布的有限性質(zhì). 定義5.4 設(shè)為連續(xù)時(shí)間馬爾可夫鏈的轉(zhuǎn)移概率,若存在時(shí)刻 ,使得 則稱狀態(tài)i和j是互通的.若所有狀態(tài)都是互通的,則稱此馬爾可夫鏈為不可約的. 定理5.7 設(shè)連續(xù)時(shí)間的馬爾可夫是不可約的,則有下列性質(zhì):(1) 若它是正常返的,則極限存在且等于這里是

11、方程組 (5.13)的唯一非負(fù)解.此時(shí)稱是該過程的平穩(wěn)分布,并且有 (2) 若它是零常返的或非常返的,則 在實(shí)際問題中,有些問題可以用柯爾莫哥洛夫方程直接求解,有些問題雖然不能求解但是可以用方程(5.13)求解. 例5.2 考慮兩個(gè)狀態(tài)的連續(xù)時(shí)間馬爾可夫鏈,在轉(zhuǎn)移到狀態(tài)1之前鏈在狀態(tài)0停留的時(shí)間是參數(shù)為的指數(shù)變量,而在回到狀態(tài)0之前它停留在狀態(tài)1的時(shí)間是參數(shù)為的指數(shù)變量,顯然該鏈?zhǔn)且粋€(gè)齊次馬爾可夫過程,其狀態(tài)轉(zhuǎn)移概率為 由定理5.3知由柯爾莫哥洛夫向前方程得到 =其中最后一個(gè)等式來自因?yàn)橛沙?shù)變易法得 若記則 類似地由向前方程可解得 由對(duì)稱性知 轉(zhuǎn)移概率的極限為 由此可見,當(dāng)時(shí), 的極限存在且

12、與i無關(guān).定理5.6知,平穩(wěn)分布為 若取初始分布為平穩(wěn)分布,即 則過程在時(shí)刻t的絕對(duì)概率分布為 = =. 例5.3 機(jī)器維修問題.設(shè)例5.2中狀態(tài)0代表某機(jī)器正常工作狀態(tài)1代表機(jī)器出故障.狀態(tài)轉(zhuǎn)移概率與例5.2相同,即在h時(shí)間內(nèi),機(jī)器從正常工作變?yōu)槌龉收系母怕蕿樵趆時(shí)間內(nèi),機(jī)器從有故障變?yōu)榻?jīng)修復(fù)后正常工作的概率為試求在t=0時(shí)正常工作的機(jī)器,在t=5時(shí)為正常工作的概率. 解 由例5.2已求得該過程的Q矩陣為 .根據(jù)題意,要求機(jī)器最后所處的狀態(tài)為正常工作,只需計(jì)算即可. 由例5.2知 故 因?yàn)镻X(0)=0=1=所以 5.3 生滅過程 連續(xù)時(shí)間馬爾可夫鏈的一類重要特殊情形是生滅過程,它的特征是在

13、很短的時(shí)間內(nèi),系統(tǒng)的狀態(tài)只能從狀態(tài)i轉(zhuǎn)移到狀態(tài)i-1或i+1或保持不變,確切定義如下. 定義5.5 設(shè)齊次馬爾可夫過程的狀態(tài)空間為I=0,1,2,轉(zhuǎn)移概率為,如果 則稱 為生滅過程,為出生率,為死亡率. 若是正常數(shù)),則稱為線性生滅過程. 若,則稱為純生過程. 若,則稱為純滅過程. 生滅過程可作如下概率解釋:若以X(t)表示一個(gè)生物群體在t時(shí)刻的大小,則在很短的時(shí)間h內(nèi)(不計(jì)高階無窮小),群體變化有三種可能,狀態(tài)由i變到i+1,即增加一個(gè)個(gè)體,其概率為;.狀態(tài)由i變到i-1,即減少一個(gè)個(gè)體,.其概率為;群體大小保持不變,其概率為 由定理5.3得到 故柯爾莫哥洛夫向前方程為 故柯爾莫哥洛夫向后方程為 因?yàn)樯鲜龇匠探M的求解較為困難,我們討論其平穩(wěn)分布.由(5.13)式,有 逐步遞推得 , 再利用,得平穩(wěn)分布, , 例5.4 生滅過程例子 M/M/S排隊(duì)系統(tǒng).假設(shè)顧客按照參數(shù)為的泊松過程來到一個(gè)有s個(gè)服務(wù)員的服務(wù)