馬爾可夫鏈課件

1、CHAPTER 5 馬爾可夫鏈第一節(jié) 基本概念1、分類(lèi)離散連續(xù)離散連續(xù)馬爾可夫鏈馬爾可夫序列可數(shù)狀態(tài)馬爾可夫過(guò)程連續(xù)狀態(tài)馬爾可夫過(guò)程按馬爾可夫過(guò)程參數(shù)空間和狀態(tài)空間的不同可分為一、馬爾可夫鏈的定義及例子 隨機(jī)過(guò)程 稱(chēng)為馬爾可夫鏈，若它只取有限或可列個(gè)值（稱(chēng)為過(guò)程的狀態(tài)，記為0，1，2，），并且，對(duì)任意 及狀態(tài) ，有2. 馬爾可夫鏈的定義 定義 稱(chēng) 為n時(shí)刻的一步轉(zhuǎn)移概率。 若 ，即pij與n無(wú)關(guān)，稱(chēng)轉(zhuǎn)移概率具有平穩(wěn)性.此時(shí)稱(chēng)Xn,n0為齊次（或時(shí)齊的）馬爾可夫鏈。記P=(pij)，稱(chēng)P為Xn,n0的一步轉(zhuǎn)移概率矩陣.3、轉(zhuǎn)移概率4、馬爾可夫鏈的例子顯然Yn , n1也是一馬爾可夫鏈。例1 獨(dú)立

2、隨機(jī)變量和的序列 設(shè) Yn,n1為獨(dú)立同分布隨機(jī)變量序列，且Yn取值為非負(fù)整數(shù)，其概率分布為PYn=i=ai，i=0,1,2, 令X0=0,Xn=Y1+ Yn ，則易證Xn,n0是一馬爾可夫鏈，且例2 M/G/1排隊(duì)系統(tǒng) 假設(shè)顧客依參數(shù)為 的泊松過(guò)程來(lái)到一服務(wù)中心，只有一個(gè)服務(wù)員，來(lái)客發(fā)現(xiàn)服務(wù)員空著即刻得到服務(wù)；其他人排隊(duì)等待服務(wù)。相繼來(lái)到的顧客的服務(wù)時(shí)間Ti假定為相互獨(dú)立的隨機(jī)變量，具有共同的分布G；且假定他們與來(lái)到過(guò)程獨(dú)立。 M/G/1排隊(duì)系統(tǒng)中字母M代表顧客來(lái)到時(shí)間間隔服從指數(shù)分布， G代表服務(wù)時(shí)間的分布， 數(shù)字1代表只有一個(gè)服務(wù)員。 若以X(t)記在t時(shí)刻系統(tǒng)中的顧客數(shù)，X(t),t0

3、則不具馬爾可夫性。因?yàn)?，若我們知道在t時(shí)刻系統(tǒng)中的顧客數(shù)，那么為了預(yù)測(cè)將來(lái)的狀態(tài)，我們不用關(guān)心從最近的一位顧客來(lái)到后已過(guò)去了多長(zhǎng)時(shí)間（因?yàn)閬?lái)到過(guò)程是無(wú)記憶的），但和服務(wù)中的顧客服務(wù)了多長(zhǎng)時(shí)間有關(guān)（因?yàn)榉?wù)時(shí)間分布不具無(wú)記憶性）。Xn-第n個(gè)顧客走后剩下的顧客數(shù)，Yn -第n+1個(gè)顧客接受服務(wù)期間來(lái)到的顧客數(shù)，則容易證明Yn，n1獨(dú)立同分布，且因此， Xn，n1是馬爾可夫鏈。其轉(zhuǎn)移概率為 為了克服上述困難，我們可以只在顧客離去的時(shí)刻考察系統(tǒng)，記例3 G / M /1排隊(duì)系統(tǒng) 來(lái)到時(shí)間間隔分布為G，服務(wù)時(shí)間分布為指數(shù)分布，參數(shù)為 ，且與顧客到達(dá)過(guò)程獨(dú)立。 Xn-第n個(gè)顧客來(lái)到時(shí)見(jiàn)到系統(tǒng)中的顧客數(shù)（

4、包括該顧客），則Xn，n1是馬爾可夫鏈。記 Yn -第n個(gè)顧客來(lái)到時(shí)刻到第n+1個(gè)顧客來(lái)到時(shí)刻之間系統(tǒng)服務(wù)完的顧客數(shù)，則 pi0公式略有不同，它是服務(wù)臺(tái)由有i個(gè)顧客轉(zhuǎn)為空閑的概率，即第n個(gè)顧客來(lái)到時(shí)刻到第n+1個(gè)顧客來(lái)到時(shí)刻之間系統(tǒng)服務(wù)完的顧客數(shù)i+1。例4 直線(xiàn)上的隨機(jī)游動(dòng) （1）無(wú)限制的隨機(jī)游動(dòng) 設(shè)有一質(zhì)點(diǎn)在數(shù)軸上隨機(jī)游動(dòng)，每隔一單位時(shí)間移動(dòng)一次，每次只能向左或向右移動(dòng)一單位，或原地不動(dòng)。設(shè)質(zhì)點(diǎn)在0時(shí)刻的位置為a,向右移動(dòng)的概率為p，向左移動(dòng)的概率為q，原地不動(dòng)的概率為r(p+q+r=1),且各次移動(dòng)相互獨(dú)立，以Xn表示質(zhì)點(diǎn)經(jīng)n次移動(dòng)后所處的位置，則Xn,n0是一馬爾可夫鏈,轉(zhuǎn)移概率為Pi

5、,i+1=p, Pi,i-1=q, Pi,i=r, 其余Pi,j=0 （2）帶吸收壁的隨機(jī)游動(dòng) 設(shè)（1）中的隨機(jī)游動(dòng)限制在S=0,1,2, b，當(dāng)質(zhì)點(diǎn)移動(dòng)到狀態(tài)0或b后就永遠(yuǎn)停留在該位置，即p00=1, pbb=1，其余pij(1i,j b-1)同（1），這時(shí)Xn,n0稱(chēng)為帶兩個(gè)吸收壁0和b的隨機(jī)游動(dòng) ，它是一有限狀態(tài)馬爾可夫鏈。例5 Polya（波利亞）模型 罐中有b只黑球及r只紅球，每次隨機(jī)地取出一只后把原球放回，并加入與抽出球同色的球c只，再第二次隨機(jī)地取球重復(fù)上面步驟進(jìn)行下去，Xn=i表示第n回摸球放回操作完成后，罐中有i只黑球這一事件，所以這是一個(gè)非齊次的馬爾可夫鏈，在傳染病研究中有

6、用。 下面的定理提供了一個(gè)非常有用的獲得馬爾可夫鏈的方法，并可用于檢驗(yàn)一隨機(jī)過(guò)程是否為馬爾可夫鏈。定理：設(shè)隨機(jī)過(guò)程Xn,n0滿(mǎn)足 （1） Xn=f(Xn-1,Yn),(n 1), 其中f:S S S,且Yn取值在S上， （2） Yn,n1為獨(dú)立同分布隨機(jī)變量，且X0與Yn,n1也相互獨(dú)立，則Xn,n0是馬爾可夫鏈，其一步轉(zhuǎn)移概率為 pij=Pf(i,Y1)=j證明：設(shè)n1 ，則Yn+1與X0, X1, , Xn相互獨(dú)立，事實(shí)上， 因?yàn)閄1=f(X0,Y1)， Y2與X0,Y1獨(dú)立，所以， Y2與X1， X0獨(dú)立。同理， X2=f(X1,Y2)= f(f(X0,Y1),Y2)，所以， Y3與X2

7、， X1， X0獨(dú)立。歸納可得Yn+1與X0, X1, , Xn相互獨(dú)立。所以Xn,n0是馬爾可夫鏈，且所以有二、切普曼-柯?tīng)柲缏宸蚍匠?顯然馬爾可夫鏈Xn,n0的一步轉(zhuǎn)移概率矩陣P為隨機(jī)矩陣。2，n步轉(zhuǎn)移概率定義：設(shè)Xn,n0是一馬爾可夫鏈，稱(chēng)1，隨機(jī)矩陣 定義：稱(chēng)矩陣A=(aij)SS為隨機(jī)矩陣，若aij 0，且為馬爾可夫鏈Xn,n0的n步轉(zhuǎn)移概率。記稱(chēng)為n時(shí)刻Xn的概率分布向量。稱(chēng)為馬爾可夫鏈Xn,n0的初始分布向量。 結(jié)論：一個(gè)馬爾可夫鏈的特性完全由它的一步轉(zhuǎn)移概率矩陣及初始分布向量決定。 類(lèi)似地可以證明馬爾可夫鏈任意個(gè)時(shí)刻的聯(lián)合分布也完全由一步轉(zhuǎn)移概率矩陣及初始分布向量決定。事實(shí)上

8、3、定理：切普曼-柯?tīng)柲缏宸蚍匠蹋–-K方程）或其中為馬爾可夫鏈Xn , n0的n步轉(zhuǎn)移概率矩陣。證明： 例（馬爾可夫預(yù)測(cè)）某種鮮奶A改變了廣告方式，經(jīng)調(diào)查發(fā)現(xiàn)購(gòu)買(mǎi)A種鮮奶及另外三種鮮奶B、C、D的顧客每?jī)蓚€(gè)月的平均轉(zhuǎn)換率為：（假設(shè)市場(chǎng)上只有這4種鮮奶） A A（95%） B（2%） C（2%） D（1%） B A（30%） B（60%）C（6%） D（4%） C A（20%） B（10%）C（7%） D（0%） D A（20%） B（20%）C（10%） D（50%）假設(shè)目前購(gòu)買(mǎi)A、B、C、D 4種鮮奶的顧客的分布為（25%，30%，35%，10%），求半年后鮮奶A、B、C、D的市場(chǎng)份額。

9、解 一階轉(zhuǎn)移矩陣為初始分布為則半年后A種鮮奶的市場(chǎng)占有率為（1）寫(xiě)出狀態(tài)空間；（2）求P(2)；（3）問(wèn)在甲獲得1分的情況下，再賽二局可以結(jié)束比賽的概率是多少？例 甲、乙兩人進(jìn)行比賽，設(shè)每局比賽中甲勝的概率p，乙勝的概率是q，和局的概率是 r,(p+q+r=1)。設(shè)每局比賽后，勝者記“+1”分，負(fù)者記“-1”分，和局不記分。當(dāng)兩人中有一人獲得2分結(jié)束比賽。以Xn表示比賽至第n局時(shí)甲獲得的分?jǐn)?shù)。 解 （1）記甲獲得“負(fù)2分”為狀態(tài)1，獲得“負(fù)1分”為狀態(tài)2，獲得“0分”為狀態(tài)3，獲得“正1分”為狀態(tài)4，獲得“正2分”為狀態(tài)5，則狀態(tài)空間為一步轉(zhuǎn)移概率矩陣為（2）二步轉(zhuǎn)移概率矩陣（3）在P2中P4

10、5(2)是在甲得1分的情況下經(jīng)二步轉(zhuǎn)移至2分從而結(jié)束比賽的概率； P41(2)是在甲得1分的情況下經(jīng)二步轉(zhuǎn)移至-2分（即乙得2分）從而結(jié)束比賽的概率。解例 某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出故障,研究者每隔15分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài),收集了24小時(shí)的數(shù)據(jù) (共作97次觀察) . 用1表示正常狀態(tài), 用0表示不正常狀態(tài), 所得的數(shù)據(jù)序列如下:1110010011111110011110111111001111111110001101101分析狀態(tài)空間: I=0, 1. 例11101101101011110111011110111111001101111110011196 次狀態(tài)轉(zhuǎn)移的情況:因此,

11、一步轉(zhuǎn)移概率可用頻率近似地表示為:第二節(jié) 狀態(tài)的分類(lèi)及性質(zhì) 定義1 : 若存在某個(gè)n使得 ，則稱(chēng)從狀態(tài)i可達(dá)狀態(tài)j，記為ij，如果ij且 j i ，則稱(chēng) i 與 j 相通，記為 。若一馬爾可夫鏈的任意兩個(gè)狀態(tài)都是相通的，則稱(chēng)該馬爾可夫鏈?zhǔn)遣豢杉s的。 若pii=1。則稱(chēng)狀態(tài) i 為吸收態(tài)。定理：相通是一種等價(jià)關(guān)系。即 定義2：若集合 則稱(chēng)該數(shù)集的最大公約數(shù)d(i)為狀態(tài) i 的周期。若d(i) 1，稱(chēng)i為周期的，若d(i) =1，稱(chēng)i為非周期的。 注意：若狀態(tài) i 的周期為d ,則對(duì)一切n0（mod(d)）都有 ,但并非對(duì)任意的n，都有 。例如定理：則 d ( i )=d ( j )。證明：若i

12、與j相通，則存在m,n，使得對(duì)任意的s，若有 ，則則，對(duì)應(yīng)狀態(tài)1而言，集合的最大公約數(shù)為2，所以， 。但是，當(dāng) 時(shí)， 。但可以證明：對(duì)于充分大的n，有 。 因?yàn)閐(i)是i的周期，所以d(i)應(yīng)同時(shí)整除n+m和n+m+s，則d(i)一定整除s，而d(j)是j的周期，所以d(i)整除d(j)。反過(guò)來(lái)也可證明d(j)整除d(i)，于是d(i)= d(j)。定義3：首達(dá)時(shí)間定義為若右邊為空集，則令 Tij表示從i出發(fā)首次到達(dá)j的時(shí)間，Tii表示從 i 出發(fā)首次回到 i 的時(shí)間.定義4：首達(dá)概率定義為表示從i經(jīng)n步首次到達(dá)j的 概率。顯然有定義5 fij表示過(guò)程從i出發(fā)在有限步內(nèi)能夠到達(dá)j的概率，（或

13、者說(shuō)從i出發(fā)遲早轉(zhuǎn)移到狀態(tài)j的概率）。fii表示過(guò)程從i出發(fā)在有限步內(nèi)（遲早）回到狀態(tài)i的概率。定義6: 若fii=1, 則稱(chēng) i 為常返狀態(tài)， 若fii1, 則稱(chēng) i 為非常返狀態(tài)（或瞬時(shí)狀態(tài)或稱(chēng)滑過(guò)的）。定義7: 若 i 為常返狀態(tài)，即 fii=1, 記稱(chēng) 為從狀態(tài) i 出發(fā)再回到 i 的平均回轉(zhuǎn)時(shí)間（或平均回轉(zhuǎn)步數(shù)）。若 ，稱(chēng)為正常返狀態(tài)，若 ，稱(chēng)為零常返狀態(tài)。 定義8: 若狀態(tài) i 是正常返的并且是非周期的，則稱(chēng)狀態(tài) i 為遍歷狀態(tài)。注：當(dāng) i 為非常返狀態(tài)（滑過(guò)的）時(shí)， 。定理： 與 有如下關(guān)系定理：狀態(tài) i 是常返狀態(tài)，當(dāng)且僅當(dāng)狀態(tài) i 是非常返狀態(tài)，當(dāng)且僅當(dāng)證明：約定 ，的含義則

14、表示過(guò)程到達(dá) i 的次數(shù)。所以表示過(guò)程從 i 出發(fā)返回到 i 的平均次數(shù)。 若狀態(tài) i 是滑過(guò)的（非常返的）則 即滑過(guò)狀態(tài)i只能有限次到達(dá)i 。從而有限狀態(tài)的馬爾可夫鏈不可能全部狀態(tài)都是滑過(guò)的。即有限狀態(tài)的馬爾可夫鏈至少有一個(gè)狀態(tài)是常返的。 定理：若 ，則 i, j 同為常返的和非常返的。即常 返性具有類(lèi)性質(zhì)。若為常返的，則它們同為正常返狀態(tài)或零常返狀態(tài)。 證明：由 ，知存在n, m， 使得 ，由C-K方程總有所以， 相互控制，同為無(wú)窮或有限，從而同為常返或非常返。 以Nj(t)記到時(shí)刻t為止轉(zhuǎn)移到j(luò)的次數(shù)。若j是常返的，且X0=j，則因?yàn)橐坏┺D(zhuǎn)移到j(luò)，過(guò)程在概率上重新從頭開(kāi)始，故Nj(t),

15、t0是一個(gè)來(lái)到時(shí)間間隔分布為 的更新過(guò)程。若X0=i ， ，且j是常返的，則Nj(t),t0是一個(gè)延遲更新過(guò)程，其初始來(lái)到時(shí)間間隔分布為 。 為什么要將狀態(tài)進(jìn)行分類(lèi)呢？ 常返態(tài)表明，過(guò)程從常返狀態(tài)出發(fā)能無(wú)窮次返回該狀態(tài)，而滑過(guò)狀態(tài)最多只能有限次地返回，因此，隨著時(shí)間的發(fā)展，滑過(guò)狀態(tài)將逐漸消失。所以，在對(duì)Markov鏈作穩(wěn)態(tài)設(shè)計(jì)時(shí)，滑過(guò)狀態(tài)是不予考慮的，這也說(shuō)明了區(qū)分常返態(tài)與滑過(guò)狀態(tài)是十分重要的。例 考慮直線(xiàn)上無(wú)限制的隨機(jī)游動(dòng)，狀態(tài)空間為轉(zhuǎn)移概率為則對(duì)于狀態(tài)0，有由斯特林(Stirling)公式可知：當(dāng)n充分大時(shí)有所以注意到所以，當(dāng) 時(shí)， 此時(shí)，狀態(tài)0是常返的。當(dāng) 時(shí)，此時(shí)，狀態(tài)0是滑過(guò)的。 由

16、于過(guò)程的各個(gè)狀態(tài)都是相通的，由此可判斷其它狀態(tài)的常返性。例轉(zhuǎn)移矩陣試對(duì)其狀態(tài)分類(lèi)。解按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖21/4111/41/411/4143從圖可知，此鏈的每一狀態(tài)都可到達(dá)另一狀態(tài)，即4個(gè)狀態(tài)都是相通的?？紤]狀態(tài)1是否常返，類(lèi)似地可求得所以于是狀態(tài)1是常返的。又因?yàn)樗誀顟B(tài)1是正常返的。由定理可知，此鏈所有狀態(tài)都是正常返的。例設(shè)馬氏鏈的狀態(tài)空間I=0,1,2,，其一步轉(zhuǎn)移概率為其中試證此馬氏鏈?zhǔn)且粋€(gè)不可約常返態(tài)鏈證先證I不可約設(shè)i，j是I中任意兩個(gè)狀態(tài)，則有類(lèi)似地可證所以即I中任意兩個(gè)狀態(tài)都是相通的。因此，I是一個(gè)不可約的閉集再證I中狀態(tài)0是一個(gè)常返態(tài)：由狀態(tài)的轉(zhuǎn)移規(guī)則，得所

17、以102345由定義知狀態(tài)0為常返態(tài)。因此，由定理知I中所有狀態(tài)都是常返態(tài)。故此馬氏鏈為不可約常返鏈。 例 股票價(jià)格的馬爾科夫性 考慮離散時(shí)間的股票價(jià)格過(guò)程，對(duì)時(shí)間t (t=0,1,2, ),設(shè)S(t)表示某一股票在t 時(shí)刻的價(jià)格，每間隔一個(gè)單位時(shí)間股票價(jià)格以概率q上升到前一期的u倍，或以概率1-q下降到前一期的 d 倍，且各次漲跌是相互獨(dú)立的，即以概率q,以概率1-q, 設(shè)S(0)=S，則 定義獨(dú)立同分布的隨機(jī)變量序列第 i 次上漲,第 i 次下跌。則并且定義第 i 次上漲,第 i 次下跌。則 是一Markov鏈。(隨機(jī)游動(dòng)) 狀態(tài)空間的分解 定義1 設(shè)馬爾可夫鏈的狀態(tài)空間為S， ，若對(duì)任意

18、的 ，都有 ，則稱(chēng) C 為（隨機(jī)）閉集。若C 的狀態(tài)相通，則稱(chēng)閉集C 是不可約的。 注：狀態(tài) i 是吸收態(tài)等價(jià)于單點(diǎn)集 i 是閉集；馬爾可夫鏈的整個(gè)狀態(tài)空間為 S 構(gòu)成一閉集。 閉集 C 的直觀意義是自 C 的內(nèi)部不能到達(dá) C 的外部，這意味著系統(tǒng)狀態(tài)一旦進(jìn)入閉集 C 內(nèi)，它就永遠(yuǎn)在C 中運(yùn)動(dòng)。 引理1 C是閉集的充要條件是對(duì)任意的都有 。 證明：充分性顯然，下證必要性，用歸納法證明：當(dāng)n=1時(shí)，由定義知結(jié)論成立，假設(shè) n=k 時(shí)結(jié)論成立，即對(duì)任意的 有 則 引理2 若 i 是常返的，且 ，則 。 證明：若假如 ，則以正概率 ，使得從 j 出發(fā)不能在有限步內(nèi)到達(dá) i 。而 ，這意味著系統(tǒng)中存在

19、著一個(gè)正概率，使得它從 i 出發(fā)不能在有限步內(nèi)回到 i , 從而 ，與 i 是常返狀態(tài)矛盾，所以只能 。 引理3 若 i 是常返的，且 ，則 j 是常返的。 證明：由引理 2 知 ，于是存在 n 使得從而 ，即 。所以 。即 j 也是常返狀態(tài)。 定理1 所有的常返狀態(tài)構(gòu)成一閉集。 證明：設(shè) i 是常返狀態(tài)，且 ，則引理1，2知 ，且 j 也是常返狀態(tài)，說(shuō)明從常返狀態(tài)出發(fā)只能到達(dá)常返狀態(tài)，不可能到達(dá)非常返狀態(tài)。 定理2 馬爾可夫鏈的狀態(tài)空間 S 可分解為其中 為基本常返閉集，且T 為所有非常返狀態(tài)組成的集合（不一定是閉集）。 【注】當(dāng)系統(tǒng)從某非常返狀態(tài)出發(fā)，系統(tǒng)可能一直在非常返集 T 中（當(dāng) T

20、 為閉集時(shí)），也可能在某時(shí)刻離開(kāi) T 進(jìn)入到基本常返集中運(yùn)動(dòng)，一旦進(jìn)入到基本常返集，就永遠(yuǎn)在該常返集中運(yùn)動(dòng)。 定理3 若 S 為有限集，則所有非常返狀態(tài)組成的集合 T 一定是非閉集。即不管系統(tǒng)自什么狀態(tài)出發(fā)，遲早要進(jìn)入常返閉集。 推論 有限不可約馬爾可夫鏈的狀態(tài)都是常返態(tài)。即 定理4 設(shè) 是閉集，只考慮 上所得的 m步轉(zhuǎn)移概率子矩陣 ，則 是一隨機(jī)矩陣。 證明：顯然 ， 任取所以，矩陣 為隨機(jī)矩陣。 定理5 （系統(tǒng)進(jìn)入基本常返閉集后的運(yùn)動(dòng)情形） 若基本常返閉集 中的狀態(tài)的周期為d，則 可進(jìn)一步 d 個(gè)不交子集之和，即這些子集有性質(zhì)：自 中任一狀態(tài)出發(fā)， 下一步（經(jīng)1步轉(zhuǎn)移）必轉(zhuǎn)移到 中去。 如

21、果 i=d-1，則 i+1=d 解釋為0，即 中的的狀態(tài)下一步轉(zhuǎn)移到 中去。證略。第三節(jié) 極限定理與平穩(wěn)分布 一、極限定理 在實(shí)際應(yīng)用中，人們常常關(guān)心兩個(gè)問(wèn)題： （1）當(dāng) 時(shí)， 的極限是否存在？ （2）當(dāng)什么條件下，一個(gè)馬爾可夫鏈?zhǔn)且粋€(gè)平穩(wěn)序列？ 注意到： ，故對(duì)（1）的研究可轉(zhuǎn)化為對(duì) 的漸近性質(zhì)的研究。即 是否存在？若存在，其極限是否與狀態(tài) i 有關(guān)？Markov鏈理論中，有關(guān)這一問(wèn)題的定理統(tǒng)稱(chēng)為遍歷定理。 問(wèn)題(2) 的實(shí)際上是討論馬爾可夫鏈平穩(wěn)分布是否存在的問(wèn)題。這兩個(gè)問(wèn)題之間有密切聯(lián)系。 例1 設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為現(xiàn)在來(lái)計(jì)算令則所以 定理1 若 j 是非常返態(tài)（滑過(guò)的）則對(duì)任意

22、的 i 有證明：因?yàn)樗裕?，得（因?yàn)?j 是非常返態(tài)）顯然此時(shí)有 定理2 若 j 是常返態(tài)，則（1）若 ， 則有（2）若 時(shí)（不可達(dá)）則有證明（1）若 ，則 使得而故 （2）顯然。的含義則表示過(guò)程到達(dá) j 的次數(shù)。所以表示過(guò)程從 i 出發(fā)進(jìn)入狀態(tài) j 的平均次數(shù)。 定理3 若 j 是非常返態(tài)或零常返態(tài)，則對(duì)任意的 i 有 證明：定理1已證 j 是非常返態(tài)情形，當(dāng) j 是零常返態(tài)時(shí)，取 有，先固定 m ，令 得這是因?yàn)樯鲜街?，且是有限項(xiàng)和。從而再令 ，注意到所以 推論1 有限狀態(tài)的馬爾可夫鏈沒(méi)有零常返態(tài)。 推論2 有限狀態(tài)的馬爾可夫鏈的狀態(tài)不可能全為非常返狀態(tài)。 推論3 不可約的有限狀態(tài)馬

23、爾可夫鏈的狀態(tài)全為正常返的。 推論4 若馬爾可夫鏈有一個(gè)零常返態(tài)，則必有無(wú)限個(gè)零常返態(tài)。（由推論1可得）。 定理4 若 j 是正常返態(tài)，周期為 d , 則對(duì)任意的 i 及 有 當(dāng) j 是正常返狀態(tài)時(shí)情況較復(fù)雜，此時(shí) 不一定存在，即使存在也可能與 i 有關(guān)。這時(shí)有一下結(jié)論: (證略)其中 表示從狀態(tài) i 出發(fā)，在時(shí)刻 n=r (mod(d) 首次到達(dá)狀態(tài) j 的概率。且 推論1 若 j 是遍歷狀態(tài)（正常返的并且是非周期的），則對(duì)任意的狀態(tài) i S 有 證明：在定理4 中取 d =1, r = 0。 推論2 對(duì)于不可約的遍歷鏈（即所有狀態(tài)是遍歷狀態(tài)且相通），若對(duì)任意狀態(tài) i ，jS，有 注意到：若

24、 ，且 j 為常返態(tài)，則 。由推論1即得。 定理4 若 j 是常返狀態(tài)，則對(duì)任意的 i S， 有 推論 若不可約馬爾可夫鏈的狀態(tài)是常返狀態(tài)，則對(duì)任意的 i ，j S， 有 注意： 表示過(guò)程從 i 出發(fā)前 n個(gè)單位時(shí)間進(jìn)入狀態(tài) j 的總的平均次數(shù)， 表示每單位時(shí)間到達(dá)狀態(tài) j 的平均次數(shù)，與 表達(dá)的含義相同。狀態(tài)性質(zhì)判別法：i非常返i零常返i正常返i遍歷的二、平穩(wěn)分布與極限分布 1，定義：設(shè)pij是馬爾可夫鏈Xn, n1的轉(zhuǎn)移概率。若概率分布pj , j 0滿(mǎn)足則稱(chēng)pj, j 0為Xn, n1的平穩(wěn)分布。記 則平穩(wěn)分布可表示為如下矩陣形式顯然有即 注意：由 知， 所以1是矩陣 P 的左特征值，平

25、穩(wěn)分布 是 P 的左特征向量。 證明：若馬爾可夫鏈 Xn, n0 的初始分布 即Xn與X0有相同的 分布，這說(shuō)明過(guò)程Xn, n0是平穩(wěn)過(guò)程。這也是稱(chēng)分布pj=PX0=j 為平穩(wěn)分布的原因。 定理：設(shè) Xn, n0 是馬爾可夫鏈， 則 Xn, n0是平穩(wěn)過(guò)程的充要條件是其初始分布是平穩(wěn)分布。 是平穩(wěn)分布，則對(duì)任意的 n ，有 反之，若Xn, n0 是平穩(wěn)過(guò)程，則而所以即 是平穩(wěn)分布。 平穩(wěn)分布 可通過(guò)求方程組的非負(fù)解得到。其中 。 2，定義：若不可約馬爾可夫鏈?zhǔn)潜闅v的（即所有狀稱(chēng)為馬爾可夫鏈的極限分布。態(tài)相通且均為周期為1的正常返態(tài)），則極限 定理：不可約遍歷的馬爾可夫鏈有唯一的平穩(wěn)分布此時(shí)唯一

26、的平穩(wěn)分布就是極限分布。即 注：若狀態(tài)都是滑過(guò)的（非常返）或都是零常返的，則平穩(wěn)分布不存在。 證明：由定理4的推論2知不可約遍歷的馬爾可夫鏈的極限分布存在，且下證 是平穩(wěn)分布。由于則有易知上式中極限與求和可交換，則有再由C-K方程得，兩邊取極限得，即 ，從而 是平穩(wěn)分布。再證平穩(wěn)分布的唯一性： 假設(shè)還有另外一個(gè)平穩(wěn)分布 ，則有歸納可證令 有，因?yàn)?，所以有 ，即平穩(wěn)分布是唯一的。 定理：一個(gè)不可約非周期的馬爾可夫鏈屬于下列兩種情況之一： 1，狀態(tài)或全是滑過(guò)的（非常返的）或全是零常返的。此時(shí)對(duì)一切的 i, j 有因而不存在平穩(wěn)分布。2，狀態(tài)全是正常返態(tài)。即此時(shí) 是平穩(wěn)分布，且不存在任何其它的平穩(wěn)

27、分布。此時(shí)極限分布即是平穩(wěn)分布。注：1，對(duì)于不可約的遍歷鏈（不可約、正常返、周期為1）因?yàn)樗裕?可被解釋為馬爾可夫鏈長(zhǎng)時(shí)間之后處于狀態(tài)j 的時(shí)間所占的比率。2，對(duì)于不可約的遍歷鏈，因?yàn)闃O限分布存在且等于平穩(wěn)分布，這意味著當(dāng)n充分大時(shí)有， 即Xn,n0是一漸近平穩(wěn)序列(平穩(wěn)過(guò)程)，這在實(shí)際問(wèn)題中是很有意義的。例設(shè)馬氏鏈的狀態(tài)空間I = 0,1,2,，轉(zhuǎn)移概率為試討論各狀態(tài)的遍歷性。解根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖1/21/21/21/21/21/20121/231/2從圖可知，對(duì)任一狀態(tài) 都有 ，故由定理可知，I 中的所以狀態(tài)都是相通的，因此只需考慮狀態(tài)0是否正常返即可。故從而0是常返態(tài)。又因?yàn)樗?/p>

28、以狀態(tài)0為正常返。又由于故狀態(tài)0為非周期的從而狀態(tài)0是遍歷的。故所有狀態(tài)i都是遍歷的。例設(shè)有6個(gè)球（其中2個(gè)紅球，4個(gè)白球）分放于甲、乙兩個(gè)盒子中，每盒放3個(gè)，今每次從兩個(gè)盒中各任取一球并進(jìn)行交換，以 表示開(kāi)始時(shí)甲盒中紅球的個(gè)數(shù)， （ ）表示經(jīng)n次交換后甲盒中的紅球數(shù)。( 1 ) 求馬氏鏈 ， 的轉(zhuǎn)移概率矩陣；( 2 ) 證明 ， 是遍歷的；（3）求（4）求解其一步轉(zhuǎn)移矩陣為甲乙紅球0白球3紅球2白球1紅球1白球2紅球1白球2紅球2白球1紅球0白球3并作出狀態(tài)傳遞圖1/32/95/92/32/91/30122/3（2）由于它是一個(gè)有限馬氏鏈，故必有一個(gè)常返態(tài)，又鏈中三個(gè)狀態(tài)0、1、2都相通，所

29、以每個(gè)狀態(tài)都是常返態(tài)。所以是一個(gè)不可約的有限馬氏鏈，從而每個(gè)狀態(tài)都是正常返的。所以此鏈為非周期的。故此鏈?zhǔn)遣豢杉s非周期的正常返鏈，即此鏈?zhǔn)潜闅v的。（2）可以利用定理證明遍歷性解之得故得（4）討論對(duì)時(shí)間連續(xù)狀態(tài)離散的馬爾可夫過(guò)程，取時(shí)間參數(shù) ，狀態(tài)空間I=0,1,2,第五節(jié) 時(shí)間連續(xù)馬爾可夫鏈一、定義及性質(zhì)時(shí)間連續(xù)的馬爾可夫鏈轉(zhuǎn)移概率齊次馬氏鏈轉(zhuǎn)移概率僅由t決定而與s無(wú)關(guān)2性質(zhì)性質(zhì)1切普曼柯?tīng)柲缏宸蚍匠绦再|(zhì)2連續(xù)時(shí)間齊次馬氏鏈的有限維概率分布由它的初始分布和轉(zhuǎn)移矩陣所確定注性質(zhì)3注對(duì)時(shí)間來(lái)說(shuō)是可逆性性質(zhì)4已知現(xiàn)在，那么過(guò)去與將來(lái)是獨(dú)立注性質(zhì)5 （遍歷性定理）馬爾可夫定理設(shè) , 是狀態(tài)空間I=0,1，2,s的時(shí)間連續(xù)的齊次馬氏鏈，則的滿(mǎn)足條件的唯一解。例1考慮一個(gè)電話(huà)總機(jī)接到的呼喚流，以 表示這個(gè)總機(jī)在0，t中接到的呼喚次數(shù)，由于呼喚流在不相交的時(shí)間區(qū)間中接到的呼喚次數(shù)是相互獨(dú)立的，且 服從泊松分布，所以 是一個(gè)時(shí)間連續(xù)狀態(tài)離散的馬氏過(guò)程，而且是齊次的。寫(xiě)出它的轉(zhuǎn)移概率。當(dāng)呼喚次數(shù) 時(shí)轉(zhuǎn)移概率當(dāng) 時(shí)其狀態(tài)空間I=0，1，2，轉(zhuǎn)移概率為1隨機(jī)連續(xù)則稱(chēng) 是隨機(jī)連續(xù)的