馬爾柯夫過程(設備可靠性教程07)

1、馬爾柯夫過程潘爾順 副教授工業(yè)工程與管理系8/19/20221主要內容基本概念馬爾柯夫過程馬爾柯夫狀態(tài)轉移圖馬 柯夫轉移矩陣8/19/20222基本概念隨機過程（Random Process）隨機事件的變化過程。隨機過程無確定的變化形式及必然的變化規(guī)律，因而不可能用精確的數學關系式來表達，但可用隨機函數來描述。隨機函數X(t)在時間t1時的取值，稱為X(t)在t=t1時的狀態(tài)，它也是隨機變量，而t則稱為過程參數。兩者所有可能值的集合，分別稱為“狀態(tài)空間”和“參數空間”8/19/20223基本概念當系統(tǒng)完全由定義狀態(tài)的變量值來描述時，則稱這個系統(tǒng)處于一種狀態(tài)。當描述系統(tǒng)的變量從一種狀態(tài)的特定值變

2、化到另一種狀態(tài)的特定值時，則稱改系統(tǒng)實現了狀態(tài)的轉移。馬爾柯夫過程就是研究系統(tǒng)的“狀態(tài)”與“狀態(tài)”間的相互轉移關系的。狀態(tài)轉移圖-圖15-48/19/20224馬爾柯夫過程在系統(tǒng)可靠性的研究中，值得注意的一種性質就是隨機變量X(t)在任意時刻tn時的狀態(tài)X(tn)與過去所有時刻ti(1 in-1)時的狀態(tài)X(ti)間的關系。對于這一性質，可用下述條件概率來描述：當隨機過程中出現的系統(tǒng)狀態(tài)已定時，則出現下一個系統(tǒng)狀態(tài)X(tn)=xn的條件概率為則稱8/19/20225馬爾柯夫過程當條件概率為時，則稱X(tn)與過去歷史無關，即為獨立隨機過程當條件概率為時，則稱X(tn)僅與前一狀態(tài)X(tn-1)

3、有關而與更前的狀態(tài)無關。這一隨機過程就是最簡單的馬爾柯夫過程，稱為“一步馬爾柯夫過程”或“簡單馬爾柯夫過程”8/19/20226馬爾柯夫過程將上述過程推廣到一般，則馬爾柯夫過程是這樣一種隨機過程，即其隨機變量在任意時刻tn時的狀態(tài)X(tn)，僅與其前有限次數之內的狀態(tài)X(tn-i-1), X(tn-i-2), ,X(tn-i)有關，而與以前的狀態(tài)無關。馬爾柯夫過程所具有的這種更以前的各種狀態(tài)不影響現狀態(tài)X(tn)的性質，稱為“馬氏性”或“無后效性”，“無記憶性”。而馬爾柯夫過程又稱為“無記憶過程”。8/19/20227馬爾柯夫過程為了方便，現將狀態(tài)X(tn)記為j, X(tn-1)記為i，則式

4、可寫為條件概率Pij稱為過程從狀態(tài)i到狀態(tài)j的轉移概率。如果馬爾可夫過程從一個給定狀態(tài)向另一個狀態(tài)轉移的概率僅與兩狀態(tài)的相對時間有關，而與觀測時刻無關，或具體觀測時間變化時其轉移概率值仍不變，即則稱為“穩(wěn)態(tài)馬而可夫過程”，“平穩(wěn)”，“齊次”。8/19/20228馬爾柯夫狀態(tài)轉移圖馬爾可夫的狀態(tài)轉移，可用馬爾可夫狀態(tài)轉移圖來說明例：一臺可修復的設備存在著正常運行狀態(tài)i和故障狀態(tài)j間的狀態(tài)轉移問題。如果該設備在運行了一段時間后處于狀態(tài)i的概率為2/3，則它轉移到狀態(tài)j的概率為1-2/3=1/3。簡記為Pii=2/3，Pij=1/3。反之，如果該設備處于狀態(tài)j而經過維修后轉移到狀態(tài)i的概率是3/4，

5、那么它處于狀態(tài)j的概率則為1-3/4=1/4，簡記為Pji=3/4,Pjj=1/48/19/20229馬爾柯夫狀態(tài)轉移圖用馬爾可夫狀態(tài)轉移圖可以簡單而清晰地反映這一過程。因此，在用馬爾可夫過程求解系統(tǒng)或設備的狀態(tài)概率時，應首先作出相應的狀態(tài)轉移圖，并填入有關概率值，則會一目了然并方便求解。ij圖2 馬爾可夫狀態(tài)轉移圖8/19/202210馬爾柯夫轉移矩陣圖2所示的馬爾可夫狀態(tài)轉移過程，也可用馬爾可夫轉移矩陣或簡稱“轉移矩陣”，“概率矩陣”來表達：矩陣中的元素均為轉移概率，例如，Pij為由狀態(tài)i至狀態(tài)j的轉移概率。矩陣行的位置為狀態(tài)轉移的起始位置，矩陣列的位置為狀態(tài)轉移的達到位置。8/19/20

6、2211馬爾柯夫轉移矩陣對于n狀態(tài)的系統(tǒng)，若可能產生的狀態(tài)為S1,S2,Sn，且在狀態(tài)Si產生后，狀態(tài)j產生的條件概率為Pij（轉移概率），若由最初的分布中隨機地選出Si的概率為ai，則當此事件群的條件概率為一定值且關系式成立時，稱此關系式為馬爾可夫鏈。當可能產生的狀態(tài)為有限個時，又稱為有限馬爾可夫鏈。8/19/202212馬爾柯夫轉移矩陣且有 n狀態(tài)系統(tǒng)的轉移矩陣為nn的方陣轉移矩陣的各元素均為不大于1的非負元素，而每一行中的各元素之和均等于1。8/19/202213馬爾柯夫轉移矩陣系統(tǒng)初始狀態(tài)的概率向量由分量組成：當從某一狀態(tài)I開始時，通常取該狀態(tài)的概率分量Pi=1,而其它分量取為08/1

7、9/202214例題某系統(tǒng)的狀態(tài)轉移圖如圖所示。若該系統(tǒng)的初始狀態(tài)的概率向量 ，求各次轉移后系統(tǒng)所處的狀態(tài)。當 又該如何？馬爾柯夫轉移矩陣解：由圖可知轉移矩陣為8/19/202215由 得 馬爾柯夫轉移矩陣8/19/202216當 時 馬爾柯夫轉移矩陣8/19/202217馬爾柯夫轉移矩陣隨著轉移步數n的增加，狀態(tài)趨于穩(wěn)定。穩(wěn)定狀態(tài)的概率稱為極限概率。例如上題中最后穩(wěn)定在：正常狀態(tài)為4/9；故障狀態(tài)為5/9，這是極限狀態(tài)概率。馬爾可夫過程的特性之一，就是它的極限狀態(tài)矩陣與初始狀態(tài)無關或極限狀態(tài)概率與初始狀態(tài)無關。這種過程稱為“各態(tài)歷經過程”或“遍歷過程”，其狀態(tài)轉移矩陣稱為“遍歷矩陣”。8/19/202218馬爾柯夫轉移矩陣例題試檢驗矩陣 是否為遍歷矩陣解：將大于0的元素均以x表示，檢驗經n次方計算后矩陣的各元素是否均大于08/19/202219馬爾柯夫轉移矩陣可見矩陣P為遍歷矩陣8/19/202220馬爾柯夫轉移矩陣當概率矩陣P為正規(guī)的遍歷矩陣時，則具有以下性質：Pn隨著轉移步數n的增加而趨于某一穩(wěn)定矩陣。即各態(tài)轉移的概率趨于穩(wěn)定；穩(wěn)定矩陣的各元素均大于0；穩(wěn)定矩陣的各行是同一概率向量：且8/1