連續(xù)時間馬爾科夫鏈.ppt

1、1,第四章：連續(xù)時間的馬爾可夫鏈,連續(xù)時間馬爾可夫鏈定義 無窮小轉(zhuǎn)移概率矩陣 Kolmogorov向前方程與向后方程 連續(xù)時間馬爾可夫鏈的應(yīng)用,2,定義： 設(shè)隨機過程X(t),t0，狀態(tài)空間I=in, n0，若對任意0t1t2 tn1及i1,i2,in+1I，有,則稱X(t),t0為連續(xù)時間馬爾可夫鏈。,上式中條件概率的一般表現(xiàn)形式為,定義： 若pij(s,t)的轉(zhuǎn)移概率與s無關(guān)，則稱連續(xù)時間馬爾可夫鏈具有平穩(wěn)的或齊次的轉(zhuǎn)移概率，此時轉(zhuǎn)移概率簡記為 其轉(zhuǎn)移概率矩陣簡記為,3,時間軸,0,s,s+t,狀態(tài)i,狀態(tài)i持續(xù)時間i,在0時刻馬爾可夫鏈進入狀態(tài)i，而且在接下來的s個單位時間中過程未離開狀

2、態(tài)i，問在隨后的t個單位時間中過程仍不離開狀態(tài)i的概率是多少？,4,一個連續(xù)時間的馬爾可夫鏈，每當它進入狀態(tài)i，具有如下性質(zhì)：,當vi=時，稱狀態(tài)i為瞬時狀態(tài)；,一個連續(xù)時間馬爾可夫鏈是按照一個離散時間的馬爾可夫鏈從一個狀態(tài)轉(zhuǎn)移到另一個狀態(tài)，但在轉(zhuǎn)移到下一個狀態(tài)之前，它在各個狀態(tài)停留的時間服從指數(shù)分布，此外在狀態(tài)i過程停留的時間與下一個到達的狀態(tài)必須是相互獨立的隨機變量。,1、在轉(zhuǎn)移到另一狀態(tài)之前處于狀態(tài)i的時間服從參數(shù)為vi的指數(shù)分布；,2、當過程離開狀態(tài)i時，接著以概率pij進入狀態(tài)j，,當vi0時，稱狀態(tài)i為吸收狀態(tài)。,5,定理： 齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)：,正則性條件,6

3、,定義 對于任一t0，記,分別稱pj(t),jI和pj,jI為齊次馬爾可夫過程的絕對概率分布和初始概率分布。,定理 齊次馬爾可夫過程的絕對概率及有限維概率分布具有下列性質(zhì)：,7,定理 設(shè)pij(t)是齊次馬爾可夫過程的轉(zhuǎn)移概率且滿足正則性條件，則下列極限存在：,無窮小轉(zhuǎn)移概率矩陣,引理 設(shè)齊次馬爾可夫過程滿足正則性條件，則對于任意固定的i,jI，pij(t)是t的一致連續(xù)函數(shù)。,8,若連續(xù)時間齊次馬爾可夫鏈是具有有限狀態(tài)空間I=1,2, ,n，則其轉(zhuǎn)移速率可構(gòu)成以下形式的矩陣,Q矩陣的每一行元素之和為0，對角線元素為負或0，其余qij0,9,例題：證明泊松過程為連續(xù)時間齊次馬爾可夫鏈，并求其p

4、ij、qij 。,例題：一個城市劃分成兩個區(qū)域A和B，各區(qū)被指定一輛消防車1和2負責(zé)。當接到報警電話時，不論其來自A區(qū)還是B區(qū)，只要有一輛消防車空閑就會被服務(wù)；當兩輛車都忙時，呼叫被拒絕。假設(shè)兩區(qū)的報警電話都是泊松分布（參數(shù)為 j ，j=A，B ），兩輛車服務(wù)于不同區(qū)的時間為獨立的指數(shù)分布（參數(shù)為 ij ，i=1，2 ，j=A，B ），則兩輛消防車的狀態(tài)為連續(xù)時間齊次馬爾可夫鏈。,10,定理（ Kolmogorov向后方程） 假設(shè) ，則對一切i,j及t0，有,定理（ Kolmogorov向前方程） 在適當?shù)恼齽t條件下，則對一切i,j及t0，有,利用Kolmogorov向后方程或向前方程及下述初

5、始條件，可以解得pij(t),11,Kolmogorov向后和向前方程所求得的解pij(t)是相同的,在實際應(yīng)用中，當固定最后所處狀態(tài)j，研究pij(t)時（i=0,1, ），采用向后方程較方便； 當固定狀態(tài)i，研究pij(t)時（j=0,1, ），采用向前方程較方便；,Kolmogorov向后和向前方程的矩陣表達形式為,連續(xù)時間馬爾可夫鏈的轉(zhuǎn)移概率的求解問題就是矩陣微分方程的求解問題，其轉(zhuǎn)移概率由其轉(zhuǎn)移速率矩陣Q決定。,若Q是一個有限維矩陣，則上述矩陣方程的解為,12,定理 齊次馬爾可夫過程在t時刻處于狀態(tài)jI的絕對概率pj(t)滿足下列方程,定義 設(shè)pij(t)為連續(xù)時間馬爾可夫鏈的轉(zhuǎn)移概

6、率，若存在時刻t1和t2，使得,則稱狀態(tài)i和j是互通的。若所有狀態(tài)都是互通的，則稱此馬爾可夫鏈為不可約的。,13,轉(zhuǎn)移概率pij(t)在t時的性質(zhì)及其平穩(wěn)分布關(guān)系,定理 設(shè)連續(xù)時間的馬爾可夫鏈是不可約的，則有下列性質(zhì)： 若它是正常返的，則極限 存在且等于j0，jI。這里j是方程組 的唯一非負解，此時稱j,jI是該過程的平穩(wěn)分布，并且有 若它是零常返的或非常返的，則,14,例題 考慮兩個狀態(tài)的連續(xù)時間馬爾可夫鏈，在轉(zhuǎn)移到狀態(tài)1之前在狀態(tài)0停留的時間是參數(shù)為的指數(shù)變量，而在回到狀態(tài)0之前它停留在狀態(tài)1的時間是參數(shù)為的指數(shù)分布，求該馬爾可夫鏈的平穩(wěn)分布。,例題：機器維修問題1 設(shè)例題5.2中狀態(tài)0代

7、表某機器正常工作，狀態(tài)1代表機器出故障。狀態(tài)轉(zhuǎn)移概率與例題5.2相同，即在h時間內(nèi)，及其從正常工作變?yōu)槌龉收系母怕蕿閜01(h)=h+o(h)；在h時間內(nèi)，機器從有故障變?yōu)榻?jīng)修復(fù)后正常工作的概率為p10(h)=h+o(h)，試求在t=0時正常工作的機器，在t=5時為正常工作的概率。,15,生滅過程,16,例題（理發(fā)店問題）：一個理發(fā)店有兩位理發(fā)師，兩個等待座位，顧客的到達率為每小時5個，理發(fā)師一小時可給兩個人理發(fā)。假定顧客到達為泊松分布，理發(fā)師的服務(wù)時間為指數(shù)分布，用X(t)表示理發(fā)店內(nèi)的顧客數(shù)，則X(t)為生滅過程。,例題（M/M/1排隊系統(tǒng)）：顧客到達為參數(shù)為的泊松過程，系統(tǒng)內(nèi)只有一個服務(wù)臺，每個顧客的服務(wù)時間為的指數(shù)分布且與顧客到達時間相互獨立。用X(t)表示系統(tǒng)t時刻的顧客數(shù)，則X(t)為生滅過程，求 1）求平穩(wěn)分布； 2）系統(tǒng)的平均隊長； 3）平均等待的顧客數(shù)；,17,例題（機器維修問題2）設(shè)有m臺機床，s個維修工，s m，機床或是工作，或是損壞等待修理。機床損壞后，空著的維修工立即修理，若維修工不空，則