馬爾科夫鏈的狀態(tài)分類(lèi)要點(diǎn)課件

馬爾可夫鏈的狀態(tài)分類(lèi)一、互通與閉集1．互通則稱(chēng)自狀態(tài)i可到達(dá)狀態(tài)j則稱(chēng)狀態(tài)i和狀態(tài)j互通說(shuō)明如果自狀態(tài)i不能到達(dá)狀態(tài)j，馬爾可夫鏈的狀態(tài)分類(lèi)一、互通與閉集1．互通則稱(chēng)自狀態(tài)i可到達(dá)定理1即它滿(mǎn)足（1）自反性（2）對(duì)稱(chēng)性證（3）傳遞性（1），（2）顯然，下證（3）定理1即它滿(mǎn)足（1）自反性（2）對(duì)稱(chēng)性證（3）傳遞性（1），證3則由相通定義，根據(jù)切普曼---柯?tīng)柲缏宸蚍匠?，有同理可證證3則由相通定義，根據(jù)切普曼---柯?tīng)柲缏宸蚍匠?，有同理可說(shuō)明

按互通關(guān)系是等價(jià)關(guān)系，可以把狀態(tài)空間S劃分為若干個(gè)不相交的集合（或者說(shuō)等價(jià)類(lèi)），并稱(chēng)之為狀態(tài)類(lèi)。若兩個(gè)狀態(tài)互通，則這兩個(gè)狀態(tài)屬于同一類(lèi)。任意兩個(gè)類(lèi)或不相交或者相同。2．閉集設(shè)C為狀態(tài)空間S的一個(gè)子集，則C稱(chēng)為閉集注1

若C為閉集，則表示自C內(nèi)任意狀態(tài)i出發(fā)，始終不能到達(dá)C以外的任何狀態(tài)j。顯然，整個(gè)狀態(tài)空間構(gòu)成一個(gè)閉集。說(shuō)明按互通關(guān)系是等價(jià)關(guān)系，可以把狀態(tài)空間S吸收態(tài)指一個(gè)閉集中只含一個(gè)狀態(tài)注2若狀態(tài)空間含有吸收狀態(tài)，那么這個(gè)吸收狀態(tài)構(gòu)成一個(gè)最小的閉集。3．不可約的

若除整個(gè)狀態(tài)空間S以外沒(méi)有其它的閉集，則稱(chēng)此馬氏鏈?zhǔn)遣豢杉s的。

如果閉集C的狀態(tài)都是互通的，則稱(chēng)閉集C是不可約的。吸收態(tài)指一個(gè)閉集中只含一個(gè)狀態(tài)注2若狀態(tài)空間含有吸收狀態(tài)，那例1其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系，并畫(huà)出狀態(tài)傳遞圖。解先按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖例1其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系，并畫(huà)出狀態(tài)傳遞圖。2/31/41/41/31/21/20121/2圖3---1由圖可知狀態(tài)0可到達(dá)狀態(tài)1，經(jīng)過(guò)狀態(tài)1又可到達(dá)狀態(tài)2；反之，從狀態(tài)2出發(fā)經(jīng)狀態(tài)1也可到達(dá)狀態(tài)0。因此，狀態(tài)空間S的各狀態(tài)都是互通的。又由于S的任意狀態(tài)i(i=0，1，2)不能到達(dá)S以外的任何狀態(tài)，所以S是一個(gè)閉集而且S中沒(méi)有其它閉集所以此馬氏鏈?zhǔn)遣豢杉s的。2/31/41/41/31/21/20121/2圖3---1例2其一步轉(zhuǎn)移矩陣為試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈。解先按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖例2其一步轉(zhuǎn)移矩陣為試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈。111/21/21/2311/2圖3---24521

閉集，由圖可知狀態(tài)3為吸收態(tài)且閉集，閉集，其中是不可約的。又因狀態(tài)空間S有閉子集，故此鏈為非不可約鏈。111/21/21/2311/2圖3---24521二、首達(dá)時(shí)間和狀態(tài)分類(lèi)1．首達(dá)時(shí)間系統(tǒng)從狀態(tài)i出發(fā)，首次到達(dá)狀態(tài)j的時(shí)刻稱(chēng)為從狀態(tài)i出發(fā)首次進(jìn)入狀態(tài)j的時(shí)間，或稱(chēng)自i到j(luò)的首達(dá)時(shí)間。如果這樣的n不存在，就規(guī)定說(shuō)明二、首達(dá)時(shí)間和狀態(tài)分類(lèi)1．首達(dá)時(shí)間系統(tǒng)從狀態(tài)i出發(fā)，首次到自狀態(tài)i出發(fā)，經(jīng)過(guò)n步首次到達(dá)狀態(tài)j的概率自狀態(tài)i出發(fā)，經(jīng)有窮步終于到達(dá)狀態(tài)j的概率注1自狀態(tài)i出發(fā)，經(jīng)過(guò)n步首次到達(dá)狀態(tài)j的概率自狀態(tài)i出發(fā)，對(duì)于首次到達(dá)時(shí)間表示從狀態(tài)i出發(fā)首次返回狀態(tài)i所需的時(shí)間相應(yīng)的便是從狀態(tài)i出發(fā)，經(jīng)有限步終于返回狀態(tài)i的概率，對(duì)于首次到達(dá)時(shí)間表示從狀態(tài)i出發(fā)首次返回狀態(tài)i所需的時(shí)間相2．首次到達(dá)分解式定理2

證設(shè)系統(tǒng)從狀態(tài)i經(jīng)n步轉(zhuǎn)移到狀態(tài)j，由條件概率及馬氏性得對(duì)任意Iji?,及13n，有2．首次到達(dá)分解式定理2證設(shè)系統(tǒng)從狀態(tài)i經(jīng)n步轉(zhuǎn)移到狀態(tài)說(shuō)明(m=1，2，…，n)的所有可能值進(jìn)行分解，定理3

證充分性由定理2得從而所以說(shuō)明(m=1，2，…，n)的所有可能值進(jìn)行分解，定理3必要性由定理2得所以推論必要性由定理2得所以推論3．常返態(tài)與瞬時(shí)態(tài)則稱(chēng)狀態(tài)i為常返態(tài)則稱(chēng)狀態(tài)i為瞬時(shí)態(tài)注“常返”一詞，有時(shí)又稱(chēng)“返回”、“常駐”或“持久”“瞬時(shí)”也稱(chēng)“滑過(guò)”或“非常返”定理4證則系統(tǒng)從狀態(tài)i出發(fā)，經(jīng)過(guò)有限次轉(zhuǎn)移之后，必定以概率1返回狀態(tài)i。再由馬氏性系統(tǒng)返回狀態(tài)i要重復(fù)發(fā)生3．常返態(tài)與瞬時(shí)態(tài)則稱(chēng)狀態(tài)i為常返態(tài)則稱(chēng)狀態(tài)i為瞬時(shí)態(tài)注“常這樣，系統(tǒng)從狀態(tài)i出發(fā)，又返回，再出發(fā)，再返回，隨著時(shí)間的無(wú)限推移，將無(wú)限次訪(fǎng)問(wèn)狀態(tài)i。將“不返回i”稱(chēng)為成功，則首次成功出現(xiàn)的次數(shù)服從幾何分布，這就是說(shuō)也就是說(shuō)以概率1只有有窮次返回i。這樣，系統(tǒng)從狀態(tài)i出發(fā)，又返回，再出發(fā)，再返回，隨著時(shí)間的無(wú)定理5證

令n=0，1，2，…因此，從狀態(tài)i出發(fā)，訪(fǎng)問(wèn)狀態(tài)i的平均次數(shù)為由定理4，得證。定理5證令n=0，1，2，…因此，從狀態(tài)i出發(fā)，訪(fǎng)問(wèn)狀說(shuō)明本定理的等價(jià)形式：i為瞬時(shí)態(tài)，當(dāng)且僅當(dāng)定理6證如果i為常返態(tài)，且，則j也是常返態(tài)。因由切普曼---可爾莫哥洛夫方程得上式兩邊對(duì)所有的s相加，得又因?yàn)閕為常返態(tài)，所以說(shuō)明本定理的等價(jià)形式：i為瞬時(shí)態(tài)，當(dāng)且僅當(dāng)定理6證如果i為常故得從而即狀態(tài)j也是常返態(tài)定理7所有常返態(tài)構(gòu)成一個(gè)閉集證設(shè)i為常返態(tài)，即i和j相通。這是因?yàn)槿糇詊出發(fā)不能到達(dá)i，那么從i出發(fā)到達(dá)j后，就不能再返回i，這與i是常返態(tài)的相矛盾。再由定理6知，j也是常返態(tài)，這就是說(shuō)，自常返態(tài)出發(fā)，只能到達(dá)常返態(tài)，不能到達(dá)瞬時(shí)態(tài)。故常返態(tài)全體構(gòu)成一個(gè)閉集故得從而即狀態(tài)j也是常返態(tài)定理7所有常返態(tài)構(gòu)成一個(gè)閉集證設(shè)i4．狀態(tài)空間的分解如果已知類(lèi)中有一個(gè)常返態(tài)，則這個(gè)類(lèi)中其它狀態(tài)都是常返的；若類(lèi)中有一個(gè)瞬時(shí)態(tài)，則類(lèi)中其它狀態(tài)都是瞬時(shí)態(tài)。若對(duì)不可約馬氏鏈，則要么全是常返態(tài)，要么全是瞬時(shí)態(tài)。定理8任一馬氏鏈的狀態(tài)空間S必可分解為其中N是瞬時(shí)態(tài)集，而且4．狀態(tài)空間的分解如果已知類(lèi)中有一個(gè)常返態(tài)，則這個(gè)類(lèi)中其它狀證記C為全體常返態(tài)所構(gòu)成的集合，則由定理7知C為閉集將C按互通關(guān)系分類(lèi)：那么再?gòu)挠嘞碌臓顟B(tài)中任取一個(gè)狀態(tài)如此進(jìn)行下去，并且顯然滿(mǎn)足條件（1）和（2）。證記C為全體常返態(tài)所構(gòu)成的集合，則由定理7知C為閉集將C按互5．正常返態(tài)與零常返態(tài)平均返回時(shí)間從狀態(tài)i出發(fā)，首次返回狀態(tài)i的平均時(shí)間稱(chēng)為狀態(tài)i平均返回時(shí)間.根據(jù)的值是有限或無(wú)限，可把常返態(tài)分為兩類(lèi)：設(shè)i是常返態(tài)，則稱(chēng)i為正常返態(tài)；則稱(chēng)i為零常返態(tài)。5．正常返態(tài)與零常返態(tài)平均返回時(shí)間從狀態(tài)i出發(fā)，首次返回狀態(tài)定理9設(shè)i是常返態(tài)，則（1）i是零常返態(tài)的充要條件是（2）i是正常返態(tài)的充要條件是證明（略）推論證因?yàn)槿绻鹙是零常返態(tài)，i是任一狀態(tài)，則定理9設(shè)i是常返態(tài)，則（1）i是零常返態(tài)的充要條件是（2）i由定理9，上式第一項(xiàng)有從而推論得證。由定理9，上式第一項(xiàng)有從而推論得證。說(shuō)明用極限判斷狀態(tài)類(lèi)型的準(zhǔn)則（2）i是零常返態(tài)（2）i是正常返態(tài)（1）i是瞬時(shí)態(tài)且且說(shuō)明用極限判斷狀態(tài)類(lèi)型的準(zhǔn)則（2）i是零常返態(tài)（2）i是正常定理10證明由切普曼---可爾莫哥洛夫方程得由此可知由定理9知定理10證明由切普曼---可爾莫哥洛夫方程得由此可知由定理96．有限馬氏鏈對(duì)有限狀態(tài)的馬氏鏈我們給出不加證明的性質(zhì)定理11（1）瞬時(shí)態(tài)集N不可能是閉集；（2）至少有一個(gè)常返態(tài)；（3）不存在零常返態(tài)；（4）若鏈?zhǔn)遣豢杉s的，那么狀態(tài)都是正常返的（5）其狀態(tài)空間可分解為是互不相交的由正常返態(tài)組成的閉集。6．有限馬氏鏈對(duì)有限狀態(tài)的馬氏鏈我們給出不加證明的性質(zhì)定理1例3轉(zhuǎn)移矩陣試對(duì)其狀態(tài)分類(lèi)。解按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖21/4111/41/411/4143例3轉(zhuǎn)移矩陣試對(duì)其狀態(tài)分類(lèi)。解按一步轉(zhuǎn)移概率，21/4111從圖可知，此鏈的每一狀態(tài)都可到達(dá)另一狀態(tài)，即4個(gè)狀態(tài)都是互通的?？紤]狀態(tài)1是否常返，從圖可知，此鏈的每一狀態(tài)都可到達(dá)另一狀態(tài)，即4個(gè)狀態(tài)都是互通類(lèi)似地可求得所以于是狀態(tài)1是常返的。又因?yàn)樗誀顟B(tài)1是正常返的。由定理可知，此鏈所有狀態(tài)都是正常返的。類(lèi)似地可求得所以于是狀態(tài)1是常返的。又因?yàn)樗誀顟B(tài)1是正常返例4

設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，其一步轉(zhuǎn)移概率為其中試證此馬氏鏈?zhǔn)且粋€(gè)不可約常返態(tài)鏈證先證S不可約設(shè)i，j是I中任意兩個(gè)狀態(tài)，則有例4設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，其一步轉(zhuǎn)移概類(lèi)似地可證所以即I中任意兩個(gè)狀態(tài)都是相通的。因此，S是一個(gè)不可約的閉集再證S中狀態(tài)0是一個(gè)常返態(tài)：由狀態(tài)的轉(zhuǎn)移規(guī)則，得所以類(lèi)似地可證所以即I中任意兩個(gè)狀態(tài)都是相通的。因此，S是一個(gè)不由定義知狀態(tài)0為常返態(tài)。因此，由定理知S中所有狀態(tài)都是常返態(tài)。故此馬氏鏈為不可約常返鏈。由定義知狀態(tài)0為常返態(tài)。因此，由定理知S中所有狀態(tài)都是常返態(tài)三、狀態(tài)的周期與遍歷1．周期狀態(tài)對(duì)于任意的，令其中GCD表示最大公約數(shù)則稱(chēng)為周期態(tài)，則稱(chēng)為非周期態(tài)。定理12三、狀態(tài)的周期與遍歷1．周期狀態(tài)對(duì)于任意的證所以存在正整數(shù)m、n，使則有則有因此有類(lèi)似地可證得故證所以存在正整數(shù)m、n，使則有則有因此有類(lèi)似地可證得故（2）所以從而i為非周期態(tài)。又因?yàn)轳R氏鏈不可約，所以j也是非周期態(tài)，從而該馬氏鏈?zhǔn)欠侵芷阪湣?．遍歷狀態(tài)若狀態(tài)i是正常返且非周期，則稱(chēng)i為遍歷狀態(tài)。（2）所以從而i為非周期態(tài)。又因?yàn)轳R氏鏈不可約，所以j也是非例5設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，轉(zhuǎn)移概率為試討論各狀態(tài)的遍歷性。解根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖…1/21/21/21/21/21/20121/2圖3---431/2例5設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，轉(zhuǎn)移概率為從圖可知，對(duì)任一狀態(tài)都有，故由定理可知，S中的所以狀態(tài)都是相通的，因此只需考慮狀態(tài)0是否正常返即可?！蕪亩?是常返態(tài)。又因?yàn)樗誀顟B(tài)0為正常返。又由于故狀態(tài)0為非周期的從而狀態(tài)0是遍歷的。故所有狀態(tài)i都是遍歷的。從圖可知，對(duì)任一狀態(tài)都有習(xí)題課1．帶有兩個(gè)反射壁的隨機(jī)游動(dòng)如果狀態(tài)空間S={0，1，2，…，m}，移動(dòng)的規(guī)則是：（1）若移動(dòng)前在0處，則下一步以概率p向右移動(dòng)一個(gè)單位，以概率q停留在原處（p+q=1）；（2）若移動(dòng)前在m處，則下一步以概率q向左移動(dòng)一個(gè)單位，以概率p停留在原處；（3）若移動(dòng)前在其它點(diǎn)處，則均以概率p向右移動(dòng)一個(gè)單位，以概率q向左移動(dòng)一個(gè)單位。設(shè)表示在時(shí)刻n質(zhì)點(diǎn)的位置，則{，}是一個(gè)齊次馬氏鏈，寫(xiě)出其一步轉(zhuǎn)移概率矩陣。習(xí)題課1．帶有兩個(gè)反射壁的隨機(jī)游動(dòng)如果狀態(tài)空間S={0，qp右反射壁m-1mpq左反射壁120qp右反射壁m-1mpq左反射壁1202．帶有反射壁的隨機(jī)游動(dòng)設(shè)隨機(jī)游動(dòng)的狀態(tài)空間S={0，1，2，…}，移動(dòng)的規(guī)則是：（1）若移動(dòng)前在0處，則下一步以概率p向右移動(dòng)一個(gè)單位，以概率q停留在原處（p+q=1）；（2）若移動(dòng)前在其它點(diǎn)處，則均以概率p向右移動(dòng)一個(gè)單位，以概率q向左移動(dòng)一個(gè)單位。設(shè)表示在時(shí)刻n質(zhì)點(diǎn)的位置，則{，}是一個(gè)齊次馬氏鏈，寫(xiě)出其一步轉(zhuǎn)移概率。2．帶有反射壁的隨機(jī)游動(dòng)設(shè)隨機(jī)游動(dòng)的狀態(tài)空間S={0，1pq反射壁1230pq反射壁12303．一個(gè)圓周上共有N格（按順時(shí)針排列），一個(gè)質(zhì)點(diǎn)在該圓周上作隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是：質(zhì)點(diǎn)總是以概率p順時(shí)針游動(dòng)一格，以概率逆時(shí)針游動(dòng)一格。試求轉(zhuǎn)移概率矩陣。3．一個(gè)圓周上共有N格（按順時(shí)針排列），一個(gè)質(zhì)點(diǎn)在該圓周上作4．一個(gè)質(zhì)點(diǎn)在全直線(xiàn)的整數(shù)點(diǎn)上作隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是：以概率p從i移到i-1，以概率q從i移到i+1，以概率r停留在i，且，試求轉(zhuǎn)移概率矩陣。4．一個(gè)質(zhì)點(diǎn)在全直線(xiàn)的整數(shù)點(diǎn)上作隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是：以概5．設(shè)袋中有a個(gè)球，球?yàn)楹谏幕虬咨?，今隨機(jī)地從袋中取一個(gè)球，然后放回一個(gè)不同顏色的球。若在袋里有k個(gè)白球，則稱(chēng)系統(tǒng)處于狀態(tài)k，試用馬爾可夫鏈描述這個(gè)模型（稱(chēng)為愛(ài)倫菲斯特模型），并求轉(zhuǎn)移概率矩陣。解這是一個(gè)齊次馬氏鏈，其狀態(tài)空間為S={—a，—a+1，…，—1，0，1，2，…，a}一步轉(zhuǎn)移矩陣是5．設(shè)袋中有a個(gè)球，球?yàn)楹谏幕虬咨模耠S機(jī)地從袋中取一個(gè)1/31/211/31/211/312346．設(shè)馬氏鏈的狀態(tài)空間S={1，2，3，4}，其一步轉(zhuǎn)移矩陣為解試對(duì)其狀態(tài)分類(lèi)。按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖它是有限狀態(tài)的馬氏鏈，故必有一個(gè)常返態(tài)，又鏈中四個(gè)狀態(tài)都是互通的。因此，所有狀態(tài)都是常返態(tài)，這是一個(gè)有限狀態(tài)不可約的馬氏鏈?？衫^續(xù)討論是否為正常返態(tài)1/31/211/31/211/312346．設(shè)馬氏鏈的狀態(tài)可討論狀態(tài)11/31/211/31/211/31234可討論狀態(tài)11/31/211/31/211/31234狀態(tài)1是常返態(tài)狀態(tài)1是正常返態(tài)所以，全部狀態(tài)都是正常返態(tài)狀態(tài)1是常返態(tài)狀態(tài)1是正常返態(tài)所以，全部狀態(tài)都是正常返態(tài)7．設(shè)馬氏鏈的狀態(tài)空間S={1，2，3，4，5}，其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)的類(lèi)及周期性解各狀態(tài)間的傳遞圖7．設(shè)馬氏鏈的狀態(tài)空間S={1，2，3，4，5}，其一步轉(zhuǎn)移對(duì)于任意有，即S為不可再分閉集。所以S中每一個(gè)狀態(tài)都是常返態(tài)，且此馬氏鏈為有限狀態(tài)不可約常返鏈。0.40.2110.50.50.80.631254所以狀態(tài)1的周期為3，由定理知，S中所有狀態(tài)都為周期態(tài)，且周期都為3。因此，這個(gè)馬氏鏈又是以3為周期的周期鏈。又因?yàn)轳R氏鏈為有限狀態(tài)不可約鏈，所以所有狀態(tài)都是正常返狀態(tài)。對(duì)于任意有，所以S8．設(shè)馬氏鏈的狀態(tài)空間為S={1，2，3}，其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系。解0.50.50.5120.513可繼續(xù)討論正常返8．設(shè)馬氏鏈的狀態(tài)空間為S={1，2，3}，其一步轉(zhuǎn)移矩9．設(shè)馬氏鏈的狀態(tài)空間為S={1，2，3，4}，其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系。解10.60.20.20.71120.334狀態(tài)空間為S分兩個(gè)部分：={1，2，3}，={4}

是閉集

中狀態(tài)4可到達(dá)中各狀態(tài)，且它非吸收狀態(tài)，所以不是閉集。9．設(shè)馬氏鏈的狀態(tài)空間為S={1，2，3，4}，其一步轉(zhuǎn)馬爾可夫鏈的狀態(tài)分類(lèi)一、互通與閉集1．互通則稱(chēng)自狀態(tài)i可到達(dá)狀態(tài)j則稱(chēng)狀態(tài)i和狀態(tài)j互通說(shuō)明如果自狀態(tài)i不能到達(dá)狀態(tài)j，馬爾可夫鏈的狀態(tài)分類(lèi)一、互通與閉集1．互通則稱(chēng)自狀態(tài)i可到達(dá)定理1即它滿(mǎn)足（1）自反性（2）對(duì)稱(chēng)性證（3）傳遞性（1），（2）顯然，下證（3）定理1即它滿(mǎn)足（1）自反性（2）對(duì)稱(chēng)性證（3）傳遞性（1），證3則由相通定義，根據(jù)切普曼---柯?tīng)柲缏宸蚍匠?，有同理可證證3則由相通定義，根據(jù)切普曼---柯?tīng)柲缏宸蚍匠?，有同理可說(shuō)明

按互通關(guān)系是等價(jià)關(guān)系，可以把狀態(tài)空間S劃分為若干個(gè)不相交的集合（或者說(shuō)等價(jià)類(lèi)），并稱(chēng)之為狀態(tài)類(lèi)。若兩個(gè)狀態(tài)互通，則這兩個(gè)狀態(tài)屬于同一類(lèi)。任意兩個(gè)類(lèi)或不相交或者相同。2．閉集設(shè)C為狀態(tài)空間S的一個(gè)子集，則C稱(chēng)為閉集注1

若C為閉集，則表示自C內(nèi)任意狀態(tài)i出發(fā)，始終不能到達(dá)C以外的任何狀態(tài)j。顯然，整個(gè)狀態(tài)空間構(gòu)成一個(gè)閉集。說(shuō)明按互通關(guān)系是等價(jià)關(guān)系，可以把狀態(tài)空間S吸收態(tài)指一個(gè)閉集中只含一個(gè)狀態(tài)注2若狀態(tài)空間含有吸收狀態(tài)，那么這個(gè)吸收狀態(tài)構(gòu)成一個(gè)最小的閉集。3．不可約的

若除整個(gè)狀態(tài)空間S以外沒(méi)有其它的閉集，則稱(chēng)此馬氏鏈?zhǔn)遣豢杉s的。

如果閉集C的狀態(tài)都是互通的，則稱(chēng)閉集C是不可約的。吸收態(tài)指一個(gè)閉集中只含一個(gè)狀態(tài)注2若狀態(tài)空間含有吸收狀態(tài)，那例1其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系，并畫(huà)出狀態(tài)傳遞圖。解先按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖例1其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系，并畫(huà)出狀態(tài)傳遞圖。2/31/41/41/31/21/20121/2圖3---1由圖可知狀態(tài)0可到達(dá)狀態(tài)1，經(jīng)過(guò)狀態(tài)1又可到達(dá)狀態(tài)2；反之，從狀態(tài)2出發(fā)經(jīng)狀態(tài)1也可到達(dá)狀態(tài)0。因此，狀態(tài)空間S的各狀態(tài)都是互通的。又由于S的任意狀態(tài)i(i=0，1，2)不能到達(dá)S以外的任何狀態(tài)，所以S是一個(gè)閉集而且S中沒(méi)有其它閉集所以此馬氏鏈?zhǔn)遣豢杉s的。2/31/41/41/31/21/20121/2圖3---1例2其一步轉(zhuǎn)移矩陣為試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈。解先按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖例2其一步轉(zhuǎn)移矩陣為試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈。111/21/21/2311/2圖3---24521

閉集，由圖可知狀態(tài)3為吸收態(tài)且閉集，閉集，其中是不可約的。又因狀態(tài)空間S有閉子集，故此鏈為非不可約鏈。111/21/21/2311/2圖3---24521二、首達(dá)時(shí)間和狀態(tài)分類(lèi)1．首達(dá)時(shí)間系統(tǒng)從狀態(tài)i出發(fā)，首次到達(dá)狀態(tài)j的時(shí)刻稱(chēng)為從狀態(tài)i出發(fā)首次進(jìn)入狀態(tài)j的時(shí)間，或稱(chēng)自i到j(luò)的首達(dá)時(shí)間。如果這樣的n不存在，就規(guī)定說(shuō)明二、首達(dá)時(shí)間和狀態(tài)分類(lèi)1．首達(dá)時(shí)間系統(tǒng)從狀態(tài)i出發(fā)，首次到自狀態(tài)i出發(fā)，經(jīng)過(guò)n步首次到達(dá)狀態(tài)j的概率自狀態(tài)i出發(fā)，經(jīng)有窮步終于到達(dá)狀態(tài)j的概率注1自狀態(tài)i出發(fā)，經(jīng)過(guò)n步首次到達(dá)狀態(tài)j的概率自狀態(tài)i出發(fā)，對(duì)于首次到達(dá)時(shí)間表示從狀態(tài)i出發(fā)首次返回狀態(tài)i所需的時(shí)間相應(yīng)的便是從狀態(tài)i出發(fā)，經(jīng)有限步終于返回狀態(tài)i的概率，對(duì)于首次到達(dá)時(shí)間表示從狀態(tài)i出發(fā)首次返回狀態(tài)i所需的時(shí)間相2．首次到達(dá)分解式定理2

證設(shè)系統(tǒng)從狀態(tài)i經(jīng)n步轉(zhuǎn)移到狀態(tài)j，由條件概率及馬氏性得對(duì)任意Iji?,及13n，有2．首次到達(dá)分解式定理2證設(shè)系統(tǒng)從狀態(tài)i經(jīng)n步轉(zhuǎn)移到狀態(tài)說(shuō)明(m=1，2，…，n)的所有可能值進(jìn)行分解，定理3

證充分性由定理2得從而所以說(shuō)明(m=1，2，…，n)的所有可能值進(jìn)行分解，定理3必要性由定理2得所以推論必要性由定理2得所以推論3．常返態(tài)與瞬時(shí)態(tài)則稱(chēng)狀態(tài)i為常返態(tài)則稱(chēng)狀態(tài)i為瞬時(shí)態(tài)注“常返”一詞，有時(shí)又稱(chēng)“返回”、“常駐”或“持久”“瞬時(shí)”也稱(chēng)“滑過(guò)”或“非常返”定理4證則系統(tǒng)從狀態(tài)i出發(fā)，經(jīng)過(guò)有限次轉(zhuǎn)移之后，必定以概率1返回狀態(tài)i。再由馬氏性系統(tǒng)返回狀態(tài)i要重復(fù)發(fā)生3．常返態(tài)與瞬時(shí)態(tài)則稱(chēng)狀態(tài)i為常返態(tài)則稱(chēng)狀態(tài)i為瞬時(shí)態(tài)注“常這樣，系統(tǒng)從狀態(tài)i出發(fā)，又返回，再出發(fā)，再返回，隨著時(shí)間的無(wú)限推移，將無(wú)限次訪(fǎng)問(wèn)狀態(tài)i。將“不返回i”稱(chēng)為成功，則首次成功出現(xiàn)的次數(shù)服從幾何分布，這就是說(shuō)也就是說(shuō)以概率1只有有窮次返回i。這樣，系統(tǒng)從狀態(tài)i出發(fā)，又返回，再出發(fā)，再返回，隨著時(shí)間的無(wú)定理5證

令n=0，1，2，…因此，從狀態(tài)i出發(fā)，訪(fǎng)問(wèn)狀態(tài)i的平均次數(shù)為由定理4，得證。定理5證令n=0，1，2，…因此，從狀態(tài)i出發(fā)，訪(fǎng)問(wèn)狀說(shuō)明本定理的等價(jià)形式：i為瞬時(shí)態(tài)，當(dāng)且僅當(dāng)定理6證如果i為常返態(tài)，且，則j也是常返態(tài)。因由切普曼---可爾莫哥洛夫方程得上式兩邊對(duì)所有的s相加，得又因?yàn)閕為常返態(tài)，所以說(shuō)明本定理的等價(jià)形式：i為瞬時(shí)態(tài)，當(dāng)且僅當(dāng)定理6證如果i為常故得從而即狀態(tài)j也是常返態(tài)定理7所有常返態(tài)構(gòu)成一個(gè)閉集證設(shè)i為常返態(tài)，即i和j相通。這是因?yàn)槿糇詊出發(fā)不能到達(dá)i，那么從i出發(fā)到達(dá)j后，就不能再返回i，這與i是常返態(tài)的相矛盾。再由定理6知，j也是常返態(tài)，這就是說(shuō)，自常返態(tài)出發(fā)，只能到達(dá)常返態(tài)，不能到達(dá)瞬時(shí)態(tài)。故常返態(tài)全體構(gòu)成一個(gè)閉集故得從而即狀態(tài)j也是常返態(tài)定理7所有常返態(tài)構(gòu)成一個(gè)閉集證設(shè)i4．狀態(tài)空間的分解如果已知類(lèi)中有一個(gè)常返態(tài)，則這個(gè)類(lèi)中其它狀態(tài)都是常返的；若類(lèi)中有一個(gè)瞬時(shí)態(tài)，則類(lèi)中其它狀態(tài)都是瞬時(shí)態(tài)。若對(duì)不可約馬氏鏈，則要么全是常返態(tài)，要么全是瞬時(shí)態(tài)。定理8任一馬氏鏈的狀態(tài)空間S必可分解為其中N是瞬時(shí)態(tài)集，而且4．狀態(tài)空間的分解如果已知類(lèi)中有一個(gè)常返態(tài)，則這個(gè)類(lèi)中其它狀證記C為全體常返態(tài)所構(gòu)成的集合，則由定理7知C為閉集將C按互通關(guān)系分類(lèi)：那么再?gòu)挠嘞碌臓顟B(tài)中任取一個(gè)狀態(tài)如此進(jìn)行下去，并且顯然滿(mǎn)足條件（1）和（2）。證記C為全體常返態(tài)所構(gòu)成的集合，則由定理7知C為閉集將C按互5．正常返態(tài)與零常返態(tài)平均返回時(shí)間從狀態(tài)i出發(fā)，首次返回狀態(tài)i的平均時(shí)間稱(chēng)為狀態(tài)i平均返回時(shí)間.根據(jù)的值是有限或無(wú)限，可把常返態(tài)分為兩類(lèi)：設(shè)i是常返態(tài)，則稱(chēng)i為正常返態(tài)；則稱(chēng)i為零常返態(tài)。5．正常返態(tài)與零常返態(tài)平均返回時(shí)間從狀態(tài)i出發(fā)，首次返回狀態(tài)定理9設(shè)i是常返態(tài)，則（1）i是零常返態(tài)的充要條件是（2）i是正常返態(tài)的充要條件是證明（略）推論證因?yàn)槿绻鹙是零常返態(tài)，i是任一狀態(tài)，則定理9設(shè)i是常返態(tài)，則（1）i是零常返態(tài)的充要條件是（2）i由定理9，上式第一項(xiàng)有從而推論得證。由定理9，上式第一項(xiàng)有從而推論得證。說(shuō)明用極限判斷狀態(tài)類(lèi)型的準(zhǔn)則（2）i是零常返態(tài)（2）i是正常返態(tài)（1）i是瞬時(shí)態(tài)且且說(shuō)明用極限判斷狀態(tài)類(lèi)型的準(zhǔn)則（2）i是零常返態(tài)（2）i是正常定理10證明由切普曼---可爾莫哥洛夫方程得由此可知由定理9知定理10證明由切普曼---可爾莫哥洛夫方程得由此可知由定理96．有限馬氏鏈對(duì)有限狀態(tài)的馬氏鏈我們給出不加證明的性質(zhì)定理11（1）瞬時(shí)態(tài)集N不可能是閉集；（2）至少有一個(gè)常返態(tài)；（3）不存在零常返態(tài)；（4）若鏈?zhǔn)遣豢杉s的，那么狀態(tài)都是正常返的（5）其狀態(tài)空間可分解為是互不相交的由正常返態(tài)組成的閉集。6．有限馬氏鏈對(duì)有限狀態(tài)的馬氏鏈我們給出不加證明的性質(zhì)定理1例3轉(zhuǎn)移矩陣試對(duì)其狀態(tài)分類(lèi)。解按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖21/4111/41/411/4143例3轉(zhuǎn)移矩陣試對(duì)其狀態(tài)分類(lèi)。解按一步轉(zhuǎn)移概率，21/4111從圖可知，此鏈的每一狀態(tài)都可到達(dá)另一狀態(tài)，即4個(gè)狀態(tài)都是互通的?？紤]狀態(tài)1是否常返，從圖可知，此鏈的每一狀態(tài)都可到達(dá)另一狀態(tài)，即4個(gè)狀態(tài)都是互通類(lèi)似地可求得所以于是狀態(tài)1是常返的。又因?yàn)樗誀顟B(tài)1是正常返的。由定理可知，此鏈所有狀態(tài)都是正常返的。類(lèi)似地可求得所以于是狀態(tài)1是常返的。又因?yàn)樗誀顟B(tài)1是正常返例4

設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，其一步轉(zhuǎn)移概率為其中試證此馬氏鏈?zhǔn)且粋€(gè)不可約常返態(tài)鏈證先證S不可約設(shè)i，j是I中任意兩個(gè)狀態(tài)，則有例4設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，其一步轉(zhuǎn)移概類(lèi)似地可證所以即I中任意兩個(gè)狀態(tài)都是相通的。因此，S是一個(gè)不可約的閉集再證S中狀態(tài)0是一個(gè)常返態(tài)：由狀態(tài)的轉(zhuǎn)移規(guī)則，得所以類(lèi)似地可證所以即I中任意兩個(gè)狀態(tài)都是相通的。因此，S是一個(gè)不由定義知狀態(tài)0為常返態(tài)。因此，由定理知S中所有狀態(tài)都是常返態(tài)。故此馬氏鏈為不可約常返鏈。由定義知狀態(tài)0為常返態(tài)。因此，由定理知S中所有狀態(tài)都是常返態(tài)三、狀態(tài)的周期與遍歷1．周期狀態(tài)對(duì)于任意的，令其中GCD表示最大公約數(shù)則稱(chēng)為周期態(tài)，則稱(chēng)為非周期態(tài)。定理12三、狀態(tài)的周期與遍歷1．周期狀態(tài)對(duì)于任意的證所以存在正整數(shù)m、n，使則有則有因此有類(lèi)似地可證得故證所以存在正整數(shù)m、n，使則有則有因此有類(lèi)似地可證得故（2）所以從而i為非周期態(tài)。又因?yàn)轳R氏鏈不可約，所以j也是非周期態(tài)，從而該馬氏鏈?zhǔn)欠侵芷阪湣?．遍歷狀態(tài)若狀態(tài)i是正常返且非周期，則稱(chēng)i為遍歷狀態(tài)。（2）所以從而i為非周期態(tài)。又因?yàn)轳R氏鏈不可約，所以j也是非例5設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，轉(zhuǎn)移概率為試討論各狀態(tài)的遍歷性。解根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖…1/21/21/21/21/21/20121/2圖3---431/2例5設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，轉(zhuǎn)移概率為從圖可知，對(duì)任一狀態(tài)都有，故由定理可知，S中的所以狀態(tài)都是相通的，因此只需考慮狀態(tài)0是否正常返即可。…故從而0是常返態(tài)。又因?yàn)樗誀顟B(tài)0為正常返。又由于故狀態(tài)0為非周期的從而狀態(tài)0是遍歷的。故所有狀態(tài)i都是遍歷的。從圖可知，對(duì)任一狀態(tài)都有習(xí)題課1．帶有兩個(gè)反射壁的隨機(jī)游動(dòng)如果狀態(tài)空間S={0，1，2，…，m}，移動(dòng)的規(guī)則是：（1）若移動(dòng)前在0處，則下一步以概率p向右移動(dòng)一個(gè)單位，以概率q停留在原處（p+q=1）；（2）若移動(dòng)前在m處，則下一步以概率q向左移動(dòng)一個(gè)單位，以概率p停留在原處；（3）若移動(dòng)前在其它點(diǎn)處，則均以概率p向右移動(dòng)一個(gè)單位，以概率q向左移動(dòng)一個(gè)單位。設(shè)表示在時(shí)刻n質(zhì)點(diǎn)的位置，則{，}是一個(gè)齊次馬氏鏈，寫(xiě)出其一步轉(zhuǎn)移概率矩陣。習(xí)題課1．帶有兩個(gè)反射壁的隨機(jī)游動(dòng)如果狀態(tài)空間S={0，qp右反射壁m-1mpq左反射壁120qp右反射壁m-1mpq左反射壁1202．帶有反射壁的隨機(jī)游動(dòng)設(shè)隨機(jī)游動(dòng)的狀態(tài)空間S={0，1，2，…}，移動(dòng)的規(guī)則是：（1）若移動(dòng)前在0處，則下一步以概率p向右移動(dòng)一個(gè)單位，以概率q停留在原處（p+q=1）；（2）若移動(dòng)前在其它點(diǎn)處，則均以概率p向右移動(dòng)一個(gè)單位，以概率q向左移動(dòng)一個(gè)單位。設(shè)表示在時(shí)刻n質(zhì)點(diǎn)的位置，則{，}是一個(gè)齊次馬氏鏈，寫(xiě)出其一步轉(zhuǎn)移概率。2．帶有反射壁的隨機(jī)游動(dòng)設(shè)隨機(jī)游動(dòng)的狀態(tài)空間S={0，1pq反射壁1230pq反射壁12303．一個(gè)圓周上共有N格（按順時(shí)針排列），一個(gè)質(zhì)點(diǎn)在該圓周上作隨機(jī)游動(dòng)，移動(dòng)的規(guī)則是：質(zhì)點(diǎn)總是以概率p順時(shí)針游動(dòng)一格，以概率逆時(shí)針游動(dòng)一格。試求轉(zhuǎn)移概率矩陣。3．一個(gè)圓周上共有N格（按順時(shí)針排列），一個(gè)質(zhì)點(diǎn)在該圓周上作4．一個(gè)質(zhì)點(diǎn)在全