北郵概率論講議 第11講

2024/3/7北京郵電大學電子工程學院1第九章Markov鏈內容

Markov鏈及一步轉移概率的概念；n步轉移概率與一步轉移概率的關系；Markov鏈的狀態(tài)分類；狀態(tài)空間的分解；平穩(wěn)分布。重點

Markov鏈的定義、轉移概率及狀態(tài)分類難點狀態(tài)分類2024/3/7北京郵電大學電子工程學院2

前面討論的隨機過程是按照其數(shù)字特征來進行分類的，而后面我們對Markov過程按其狀態(tài)空間E和參數(shù)集T進行分類。T離散連續(xù)離散馬爾可夫鏈馬爾可夫序列連續(xù)純不連續(xù)的馬爾可夫過程（間斷型Markov過程）連續(xù)型馬爾可夫過程E不妨假設2024/3/7北京郵電大學電子工程學院3第一節(jié)Markov鏈的基本概念及轉移概率一、Markov鏈的定義2024/3/7北京郵電大學電子工程學院42024/3/7北京郵電大學電子工程學院52024/3/7北京郵電大學電子工程學院6123411/31/31/31/31/31/31由上圖可知，1、4是質點不可越過的壁:1為吸收壁，即質點到達該點后就被完全吸住，不再轉移；4是反射壁，即質點一旦到達該狀態(tài)，必然被反射回去。畫出狀態(tài)轉移圖：2024/3/7北京郵電大學電子工程學院7例1.2（排隊模型）設服務系統(tǒng)由一個服務員和只容納兩個人的等候室組成。服務規(guī)則是：先到先服務，后來者需在等候室依次排隊。假定一個需要服務的顧客到達系統(tǒng)時發(fā)現(xiàn)系統(tǒng)內已有三個顧客，則該顧客離去。設時間間隔?t內將有一個顧客進入系統(tǒng)的概率為q，原來被服務的顧客離開系統(tǒng)的概率為p；又設當?t充分小時，在?t的時間間隔內多于一個顧客進入或離開系統(tǒng)實際上是不可能的；再設有無顧客來到與服務是否完畢是相互獨立的?，F(xiàn)用馬氏鏈來描述該系統(tǒng)，設

n=

(n?t)表示時刻n?t時系統(tǒng)內的顧客數(shù)，則{

n，n=0，1，2，…}為一個齊次的馬氏鏈，狀態(tài)空間E={0,1,2,3}，計算其一步轉移概率矩陣。2024/3/7北京郵電大學電子工程學院8等候室服務臺隨機到達者離去者qp解：根據題意p00=P{

n+1=0|

n=0}，即系統(tǒng)內原本沒有顧客，經過

t的時間間隔后仍然沒有顧客的概率，即無人進入該系統(tǒng)，因此p00=1-q；同理：p01=q。p02=p03=0—

t的時間間隔內不可能有多于一個的顧客離開。p10=P{

n+1=0|

n=1}—系統(tǒng)原有一個顧客，經過

t的時間間隔后沒有顧客的概率，即

t的時間間隔內原有顧客因服務完畢而離開，且沒有任何人進入該系統(tǒng)，因此p10=p(1-q)。p11=P{

n+1=1|

n=1}—系統(tǒng)原有一個顧客，經過

t的時間間隔后仍為一個顧客的概率，這里有兩種情況：或者原有顧客因服務完畢而離開，且有一個新的顧客進入該系統(tǒng)；或者原有顧客沒有離開，同時無新的顧客進入系統(tǒng)。所以p11=pq+(1-p)(1-q)。2024/3/7北京郵電大學電子工程學院92024/3/7北京郵電大學電子工程學院100a-1a+1aa+bpq2024/3/7北京郵電大學電子工程學院112024/3/7北京郵電大學電子工程學院122024/3/7北京郵電大學電子工程學院13第二節(jié)n步轉移概率2024/3/7北京郵電大學電子工程學院142024/3/7北京郵電大學電子工程學院152024/3/7北京郵電大學電子工程學院161in12n1jnm+lm+nmr2024/3/7北京郵電大學電子工程學院172024/3/7北京郵電大學電子工程學院182024/3/7北京郵電大學電子工程學院192024/3/7北京郵電大學電子工程學院202024/3/7北京郵電大學電子工程學院212024/3/7北京郵電大學電子工程學院22第三節(jié)Markov鏈的狀態(tài)分類一、狀態(tài)的互通

在例1.1中根據轉移概率，可將某些邊界分為吸收壁、反射壁等，下面我們從隨機游動出發(fā)，利用轉移概率研究Markov鏈的狀態(tài)空間，分析狀態(tài)之間的關系，進而將所有狀態(tài)進行分類。

通常將狀態(tài)空間中互通的狀態(tài)構成的集合稱為類，互通的狀態(tài)為同類。2024/3/7北京郵電大學電子工程學院232024/3/7北京郵電大學電子工程學院242024/3/7北京郵電大學電子工程學院252024/3/7北京郵電大學電子工程學院262024/3/7北京郵電大學電子工程學院272024/3/7北京郵電大學電子工程學院282024/3/7北京郵電大學電子工程學院292024/3/7北京郵電大學電子工程學院30p2123p1q2q3q1p32024/3/7北京郵電大學電子工程學院31p2123p1q2q3q1p32024/3/7北京郵電大學電子工程學院322024/3/7北京郵電大學電子工程學院33202