隨機過程第四章(2)

1、14.3 狀態(tài)空間的分解狀態(tài)空間的分解 前面給出了馬氏鏈狀態(tài)分類的一些基本概念以及如何判別狀態(tài)分類的定理，但如果對狀態(tài)空間中的每個狀態(tài)都按照這些定理逐一檢查分類，這不僅是很繁瑣的甚至是不可能的，因此,如果能夠借助狀態(tài)之間的轉(zhuǎn)移使得對狀態(tài)分類不再是一個一個地進行，而是“群體”地進行，也就是說如果能從某個狀態(tài)的分類來確定一類狀態(tài)的分類，無疑這將給我們帶來很大方便。從某種意義上看相當(dāng)于對狀態(tài)空間進行分解。2) 1(0iiikpiiCCpCkCiCI為吸收狀態(tài)。為閉集，稱若單點集狀態(tài)空間不可約。為不可約的，如其的狀態(tài)互通；稱馬氏鏈如稱為不可約的，；閉集都有及稱為閉集，如對任意的子集定義：狀態(tài)空間中。中

2、，它將永遠留在閉集這意味著一旦質(zhì)點進入的外部，的內(nèi)部不能到達閉集的直觀含義是自CCCC3由歸納法引理得證。，則，時，時結(jié)論成立，現(xiàn)設(shè)由定義知當(dāng)為閉集，歸納法，設(shè)證：只需證必要性，用cjcjjkijcjcjjkijjkijikikpmppmppmpmpCkCimpmnnC000)()()(10)(1。，都有及任意是閉集的充要條件為對引理：10)(nnpCkCiCik4000100000100100002102102100215 , 4 , 3 , 2 , 1PIXn轉(zhuǎn)移矩陣為：的狀態(tài)空間例：設(shè)馬氏鏈5 不是不可約鏈。含有子閉集，故馬氏鏈又本身是最大閉集，是不可約的，、其中都是閉集。，、，、，另外

3、最小閉集是閉集是吸收的，故由轉(zhuǎn)移圖可知，狀態(tài)nXII41332413414133狀態(tài)轉(zhuǎn)移圖為：2153421212121116中的狀態(tài)。到達中的狀態(tài)不能，自由全體非常返狀態(tài)組成；，期且常返，它們有相同的周正常返，或全是零中的狀態(tài)同類，或全是中的狀態(tài)到達；狀態(tài)不可能從的閉集且是常返態(tài)組成的不可約每一個DCDCkjfCnmCCCnnjknmnn)3(1)2() 1 (之和，使得互不相交的子集分解成有限個或可列個，可唯一地的狀態(tài)空間分解定理：任一馬氏鏈,21CCDI7為基本常返閉集。中狀態(tài)，一般稱中的狀態(tài)不能到達顯然，從nCDCn)3(；則按互通關(guān)系進行分解為非常返狀態(tài)全體，將集合，為全體常返狀態(tài)組

4、成的記證：21,) 1 (CCDICCIDC 是同一類型的；知狀態(tài)互通的，又由互通關(guān)系而不可約閉集中狀態(tài)是可約的閉集，是由常返狀態(tài)組成的不其中每一個nC28)(是不可約的閉集中運動。遠在，它將永，當(dāng)然一旦進入某個基本常返閉集而進入某一時刻離開中進行，反之則可能在直在為閉集時，狀態(tài)轉(zhuǎn)移一一非常返態(tài)，則當(dāng)鏈的初態(tài)為某不一定是閉集，如馬氏定理中的nnnnCCCCDDDD進入常返閉集。自什么狀態(tài)出發(fā)遲早要系統(tǒng)一定不是閉集，即不管為有限集時，則注：DI。，且也為常返狀態(tài)，為常返狀態(tài)，則，定理：如果jifjijiji19210002100000010031031310100001000000001006

5、, 21P，I轉(zhuǎn)移矩陣為設(shè)例試分解此鏈并指出各狀態(tài)的常返性及周期性10解：由轉(zhuǎn)移矩陣可得轉(zhuǎn)移圖.13523121313121111146；也為正常返且周期為及從而狀態(tài)的基本常返閉集為：含等于為正常返狀態(tài)，且周期即，3535 , 3 , 11:1313)(130)(1)3(11111111111kkCnnffnnffn11是遍歷狀態(tài)。周期為為正常返狀態(tài)，故，周期為，同理，6, 1,23610)(1212120)(21)2(21) 1 (66666666666npfnnfff是遍歷狀態(tài)。可見：的基本常返閉集為：含26 , 2662kkC為非常返。，故，由于410)(31) 1 (4444nnff

6、。，可分解為：于是62531421CCDII12仍是隨機矩陣。步轉(zhuǎn)移子矩陣，則上所得的是，為閉集，又引理：設(shè)GkCCjikpGCij)(也為隨機矩陣。步轉(zhuǎn)移矩陣，其，有每個負，且對為隨機矩陣，如元素非稱矩陣：定義)()(1kpkPkpIipijIjijij為隨機矩陣。，故顯然，則有證：任取GkpkpkpkpkpCiijcjijcjijcjijIjij0)()()()()(1中的運動情況。下面考慮在不可約閉集C13。個互不相交的子集之和可唯一地分解為態(tài)空間的不可約馬氏鏈，其狀定理：周期為dId的子矩陣。，是原馬氏鏈轉(zhuǎn)移矩陣，轉(zhuǎn)移矩陣為：間為的子馬氏鏈，其狀態(tài)空上的原馬氏鏈，可考慮的一個子集可見對

7、IjipPCjipGCCCIijij定理：的不可約馬氏鏈的分解下面是周期為d141100, 0drrndpnjGiijr，）（：對某個任取狀態(tài)G G2 2G G1 1G G0 0G G1 1d d0110)2(,) 1 (GGGGsrGGGIdrrdrsrr中，其中進入步轉(zhuǎn)移必中某一狀態(tài)出發(fā)，經(jīng)一從任一即：150430410000001000010000001031031003102102100P24353141316113143212111，其轉(zhuǎn)移圖如下：轉(zhuǎn)移矩陣為間設(shè)不可約馬氏鏈狀態(tài)空例PI：6 , 5 , 4 , 3 , 2 , 116易看出注：取。有對某個；有對某個；有對某個，并令：現(xiàn)

8、固定狀態(tài)都為”，故各狀態(tài)的周期首尾相連接的“三角形都有一個的任一個狀態(tài)出發(fā)從圖易見，從020)23(,5 , 30) 13(,6 , 4 , 10)3(,13,121110nnpnkGnpnkGnpnkGIkkk 中的運動如圖此鏈在故I，GGGI253641210171iiGG經(jīng)一步轉(zhuǎn)移可從6 , 4 , 10G 22G5 , 31G18在實際應(yīng)用中，人們常關(guān)心的問題有兩個： 的漸近性質(zhì)故可轉(zhuǎn)化為研究由于列。爾可夫鏈是一個平穩(wěn)序在什么條件下，一個馬的極限是否存在？時，當(dāng))()()0()()2() 1 (npnppnpnpjXpnijIiijijjn。這兩個問題有密切聯(lián)系是否存在的問題。實際上是

9、一個平穩(wěn)分布對于有關(guān)若存在，其極限是否與是否存在即)2(?)(liminpijn 的的漸漸近近性性質(zhì)質(zhì)與與平平穩(wěn)穩(wěn)分分布布4 4. .4 4nijp19Iinpijjnpijnij0)(lim. 1)(.，有對一切為非常返或零常返，則定理：設(shè)況是非常返或零常返的情的漸近性質(zhì)一為遍歷定理。這類問題的定理，統(tǒng)稱在馬氏鏈理論中，有關(guān)nNkijNkjjijnkjjijijkfknpkfknpkfnpnN111)()()()()()(1有證：由前面定理，對200)(lim)(0)(lim0npnpjnpjnNjjnnjjjjn為非常返，由若定理推論為零常返，則，若，先令固定。級數(shù)收斂，故，由于；再令右邊

10、第一項0)(lim0)(, 1)(011npNkfkfNijnNkijkij21 推論：如馬氏鏈的狀態(tài)有限，則這些狀態(tài)不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)。從而不可約的有限馬氏鏈必為正常返的。產(chǎn)生矛盾。，而對任意。由定理知則對返，如果所有狀態(tài)全是非常證：nnpnnnpIjiNINjijij00)(10)(, , 2 , 1 , 0 。npCjijCiIcjij產(chǎn)生矛盾由上面定理知：狀態(tài)均為零常返，于是中所有是有限集，故不可約閉集，又因為它是，則含有零常返態(tài)另外，如01:22 矛盾。不能為有限集，否則與其狀態(tài)全為零常返，故為不可約閉集，為零常返，則證：設(shè)多個零常返狀態(tài)。返態(tài)，則必有無限：

11、如馬氏鏈有一個零常推論cjijnpjijCi01,223見移概率情況，由下圖易狀態(tài)的馬氏鏈的狀態(tài)轉(zhuǎn)種一個有有關(guān)，例如下圖描述了存在也可能與不一定存在，即使是正常返的，如果狀態(tài)，況要復(fù)雜一此，事實上情形。這比前面兩種情返常返情形，現(xiàn)討論正常以上討論了零常返與非6)(liminpjijn12354621213131311111是正常返情形. 224有關(guān)。但極限值與存在極限這說明對正常返狀態(tài)，另外不存在；故，iinpnpnnpnpnpnnpnpinn5 , 3 , 2)(lim0)(121)(1)()(lim, 2 , 10) 12(1)2(3235333111111。；而只研究：，我們一般不討論極

12、限對正常返狀態(tài)nkijnijnijnkpnndpnpj1)(1lim)2()(lim) 1 ()(lim25為馬氏鏈的周期。的概率，式中首次到達狀態(tài)不計周期出發(fā)，在某時刻表示從，記djdrnidrrmdffndpmijrijijn)()mod(10)()(lim) 1 (0)(6039jjjj26) 12() 12()2() 1() 1()() 1() 1 ()0(ddfdfdfddfdfdfdfffijijijijijijijijij展開：ijmijdrmdrijrijfmfrmdff010010)()()(顯然：jrijijndfrndpdridj)()(lim10有及，則對任意的為正常返

13、，周期為定理：如27)(mod(00)(dnnpdnjdjj整除時，不能被的周期，所以當(dāng)為證：因為dmnprmdfvrndpvfrndpnmjjijrndvjjijij)()()()()(00所以100)()()()()()(1NmijNmjjijNmijjjijrmdfdmnprmdfrndpdmnprmdfnN有于是，對任意的28iiindndpNnN)(lim由前面定理得：，再令，然后令在上式中先固定 0)()(limmijrijjrijijnjrijrmdffdfrndpdfjrijijndfrndp)()(lim29，前面定理給出。其中否則，同屬于子集與如，有，則對一切其狀態(tài)空間為的

14、馬氏鏈，返，周期推論：設(shè)不可約，正常100)(limdsssjijnGIGjidndpIjiId稱為極限分布。有，則對一切特別當(dāng)Ijnpjidjjijn,11)(lim130 000)()()(lim00000ijijssijsmijijjijijnfmdfGiGmdpGjimdffdfndpr中），從而經(jīng)周期倍回到中的（對中，則不在同一個與如果，其中則得：證：在定理中取 0)(, 0)(mod0,nfnpdnGjiijijs從而時則當(dāng)同屬于與如果 1)()(000ijmijmijijfmfmdff所以否則同屬于子集與如所以：，Gji，udndpsjijn0)(lim31的平均次數(shù)。表示單位時

15、間內(nèi)再回到平均次數(shù)，步之內(nèi)返回到的出發(fā)，在表示從jkpnjnjkpnkjjnkjj11)(1)(單位時間內(nèi)返回二次。平均半小時返回一次，小時，表示平均返回時間，如215 . 0)(1jjnjjjnnf nkijnkpn1)(1lim232jnkjjjkpnjj1)(111所以應(yīng)有的平均次數(shù)，出發(fā)，單位時間回到也表示從而理：的大小，于是有如下定情況，即要考慮的出發(fā)能否到達出發(fā)，則要考慮從如果質(zhì)點由ijfjii為正常返如，為非常返或零常返如，有，定理：對任意狀態(tài)jfjkpnjijijnkijn0)(1lim133nkknnkijijaanaankpnnpj1110)(10)(，則數(shù)學(xué)分析中結(jié)論：若

16、，定理知為非常返或零常返，由證：如論：，應(yīng)用數(shù)分中的如下結(jié)為正常返，有周期如dj10111limlim2101210drrnkknrrndnrndbdanbarndrad，則必有，存在如對每一，個數(shù)列假設(shè)有34 jijdrjrijnkijnjrijrijrndfdfdkpndfbrndpa101)(1)(1lim)(于是有由上個定理知：令) 1(1)(1lim1ijjnkijnnfkpnjiX有，任意為不可約，常返，則對推論：如無關(guān)。不可約時，其極限與的極限存在，特別當(dāng)鏈值不一定存在，但其平均定理說明：盡管inpijn)(lim35IiijijjjjIiijijnjpnnnpnnIjjXPn則

17、上式可寫成記無關(guān)與若的極限考慮絕對概率,)(,)() 1()(,)(平穩(wěn)分布。若它滿足為馬氏鏈的，稱概率分布轉(zhuǎn)移概率為，間為為齊次馬氏鏈，狀態(tài)空定義：設(shè)IjpInXjijn,0,二、平穩(wěn)分布0, 1,21jIjjjIiijijPp或36 一致。與永遠的絕對分布，則鏈在任一時刻作為鏈的初始分布，即，若用對于平穩(wěn)分布的概率都相等。態(tài)過程在任何時刻處于狀平穩(wěn)分布的直觀含義：)(0npnpj不變概率測度。平穩(wěn)分布也稱馬氏鏈的或有注：平穩(wěn)分布有：和事實上由nijIiijjnnpnpIjpPPPnPpnpPnPpnp)(,)0()()0()()()0()(137Ijuj，平穩(wěn)分布就是極限分布是存在平穩(wěn)分布

18、，且此件氏鏈是正常返的充要條定理：不可約非周期馬1IiijijjnpIj)(是平穩(wěn)分布，設(shè)證：先證充分性jIijiIiijniIiijinjIiiinpnp11)(lim)(lim01得順序，故可交換極限與求和，由于380101kIikiu，即，故至少存在一個鏈是正常返的。為正常返態(tài)，故該馬氏或零常返為非常返于是knpkkikn,0001)(lim 01limkijnunp返的，于是設(shè)馬氏鏈是非周期正常再證必要性：39) 1 ()(1)(11)(11)()()()()(000IkkjkNkkjkjNkkjkjNkkjikIkkjikijnpnpNnpumnpmpnpmpmnpNkc取極限得：再

19、令取極限得：令，有，對任意正整數(shù)由方程40 產(chǎn)生矛盾。式為嚴格大于，求和，并假定對某個對于將式取極限得：，再令先令由下面來證明等號成立，11211)()(10jjuNnnpnpIkkNkikIkik41 是平穩(wěn)分布。取極限得：令故有，產(chǎn)生矛盾 IjnpnnpnpnpjIkkIkkjIkkjnkjIkijkjIkkIkIjkjkIjIkkjkIjj,11111lim11,111)(1)(11142 。正常返態(tài)；不可約有限馬氏鏈只有必有正常返狀態(tài)；沒有零常返狀態(tài)；集合不可能是閉集；所有非常返狀態(tài)組成的有限馬爾可夫鏈性質(zhì)：nCCCDI2154321是非常返態(tài)。不可約閉集，有限均是由正常返態(tài)組成的，每

20、個DnCn, 2 , 143 分布。可夫鏈存在唯一的平穩(wěn)有限不可約非周期馬爾平穩(wěn)分布總存在；有限狀態(tài)馬爾可夫鏈的常返閉集；要條件為只有一個基本平穩(wěn)分布唯一存在的充；條件為平穩(wěn)分布不存在的充要的集合，則有：常返狀態(tài)構(gòu)成為馬爾可夫鏈中全體正定理：設(shè)4321CC以下結(jié)論：若存在，是否唯一？有？，其平穩(wěn)分布是否存在對于一般的馬爾可夫鏈44 有則對則由平穩(wěn)分布定義知有分布馬氏鏈存在一個平穩(wěn)充分性：反證，假設(shè)該證101nP，在平穩(wěn)分布。矛盾，故該馬氏鏈不存與時，非常返，而當(dāng)馬氏鏈中均為零常返或，故該時，因為，當(dāng)00nnPnCnPP上的子轉(zhuǎn)移矩陣，即：在是，其中使存在一個平穩(wěn)分布上則該馬氏鏈限制在只有一個正

21、常返閉集，不妨設(shè)假設(shè)必要性：仍用反證法CPPPCCCC11111,45。故分布不存在矛盾，故是平穩(wěn)分布，與平穩(wěn)則此時只需取C，PQRP，P，QRPPTT000000111111146 寫成：可，則易知一步轉(zhuǎn)移矩陣的并，即集可分解為兩個正常返閉又不妨假設(shè)其常返態(tài)集，知故由穩(wěn)分布必要性：它存在一個平證明：PCCCC211,)2(TQRRPPP2121000047。知它的平穩(wěn)分布總存在，故由馬氏鏈總有，即有限狀態(tài)非常返不含零常返或不能全是存在正常返態(tài)；有限狀態(tài)馬爾可夫鏈總) 1 ()()3(C)0 , 0(0 , 00 , 0 ,0 , 0 ,0 , 00 , 0 ,2221112122211121

22、2121PPPPPPCCPPP則，若取，使，故存在上的轉(zhuǎn)移子矩陣，在分別是其中常返閉集。馬氏鏈只有一個基本正性矛盾，故該均是平穩(wěn)分布，與唯一與故48。各狀態(tài)的平均返回時間求馬氏鏈的平穩(wěn)分布及矩陣為：例設(shè)馬氏鏈的轉(zhuǎn)移概率9 . 005. 005. 01 . 08 . 01 . 02 . 01 . 07 . 0P 分布且等于極限分布。定理知存在唯一的平穩(wěn)面鏈必為正常返態(tài)，由前有限不可約非周期馬氏4方程組所以平穩(wěn)分布存在，由約的非周期有限狀態(tài)，解：因為馬氏鏈是不可4919 . 01 . 02 . 005. 08 . 01 . 005. 01 . 07 . 03213213321232115882. 0 ,2358. 0 ,1765. 0,.5882. 0,2358. 0,1765. 0321321平穩(wěn)分布為：解得：,70. 11,25. 41,67. 51332211分別為：各狀態(tài)的平均返回時間50。分布