《概率論》第10章-馬爾可夫鏈課件

第十章馬爾可夫鏈第一節(jié)馬爾可夫鏈的概念及轉(zhuǎn)移概率第二節(jié)多步轉(zhuǎn)移概率的確定第三節(jié)馬氏鏈的有限維分布第四節(jié)遍歷性第十章馬爾可夫鏈第一節(jié)馬爾可夫鏈的概念及轉(zhuǎn)移概率1第一節(jié)

馬爾可夫鏈的概念及轉(zhuǎn)移概率第一節(jié)

馬爾可夫鏈的概念及轉(zhuǎn)移概率2《概率論》第10章---馬爾可夫鏈課件3下面我們只討論齊次馬氏鏈，并習(xí)慣上常將“齊次”兩字省略。下面我們只討論齊次馬氏鏈，并習(xí)慣上常將“齊次”兩字省略。4《概率論》第10章---馬爾可夫鏈課件5《概率論》第10章---馬爾可夫鏈課件6而且當(dāng)時(shí)，等以后的行為只與有關(guān)，而與質(zhì)點(diǎn)以前是如何到是完全無(wú)關(guān)的，所以，它是一個(gè)馬氏鏈，且為齊次馬氏鏈。其狀態(tài)空間為：而且當(dāng)時(shí)，7稱其為具有兩個(gè)反射壁的隨機(jī)游動(dòng)稱其為具有兩個(gè)反射壁的隨機(jī)游動(dòng)801若令表示質(zhì)點(diǎn)在時(shí)刻的位置，那末，是一個(gè)隨機(jī)過(guò)程，而且當(dāng)時(shí)，等以后的行為只與有關(guān)，而與質(zhì)點(diǎn)以前是如何到是完全無(wú)關(guān)的，所以，它是一個(gè)馬氏鏈。其狀態(tài)空間為：例：一維隨機(jī)游動(dòng)。考慮在直線上作隨機(jī)游動(dòng)的質(zhì)點(diǎn)，且只在非負(fù)整數(shù)上作隨機(jī)游動(dòng)。當(dāng)質(zhì)點(diǎn)在時(shí)刻時(shí)處在位置，在時(shí)刻轉(zhuǎn)移到的概率為，轉(zhuǎn)移到的概率為，不動(dòng)的概率為，而處在別的位置的概率為0。01若令表示質(zhì)點(diǎn)在時(shí)刻的位置，那末，9它的一步轉(zhuǎn)移矩陣為：0123這里并且由于它的轉(zhuǎn)移概率與起點(diǎn)無(wú)關(guān)，所以它還是齊次馬氏鏈。它的一步轉(zhuǎn)移矩陣為：0123這里并且由于它的轉(zhuǎn)移概率與10如果稱為帶一個(gè)吸收壁的隨機(jī)游動(dòng)，質(zhì)點(diǎn)一旦到達(dá)狀態(tài)0后就永遠(yuǎn)停留在0這個(gè)狀態(tài)上，這樣的狀態(tài)稱為吸收狀態(tài)。如果稱為帶一個(gè)反射壁的隨機(jī)游動(dòng)，質(zhì)點(diǎn)一旦到達(dá)狀態(tài)0后下一步它以概率向右移一格。0101如果狀態(tài)空間是有限的，且狀態(tài)0與狀態(tài)N都為吸收狀態(tài)，即稱為具有兩個(gè)吸收壁的隨機(jī)游動(dòng).01N如果11第二節(jié)

多步轉(zhuǎn)移概率的確定第二節(jié)

多步轉(zhuǎn)移概率的確定12定理:設(shè)為齊次馬氏鏈，則對(duì)任意的有或證明：利用全概率公式及馬爾可夫性，有定理:設(shè)為齊次馬氏鏈，則對(duì)13這就是有名的切普曼－柯?tīng)柲缏宸蚍匠?，?jiǎn)稱為方程?；蜻@就是有名的切普曼－柯?tīng)柲缏宸蚍匠?，?jiǎn)稱為方程。14有由可見(jiàn)齊次馬氏鏈，它的多步轉(zhuǎn)移概率完全由它的一步轉(zhuǎn)移概率所決定。因此，在馬氏鏈中，一步轉(zhuǎn)移概率是最基本的。有由15第三節(jié)

馬氏鏈的有限維分布第三節(jié)

馬氏鏈的有限維分布16定義：設(shè) 為馬氏鏈，稱它為馬氏鏈的初始分布。0n定義：設(shè) 為馬氏鏈，稱它為馬17一維分布可用向量形式表示為：初始分布與一維分布的關(guān)系可表示為：表明一維分布可由初始分布和n步轉(zhuǎn)移概率矩陣確定。一維分布可用向量形式表示為：初始分布與一維分布的關(guān)系可表示為18定理說(shuō)明，馬爾可夫鏈的有限維分布完全由它的初始分布和轉(zhuǎn)移概率決定。定理說(shuō)明，馬爾可夫鏈的有限維分布完全由它的初始分布和轉(zhuǎn)移19《概率論》第10章---馬爾可夫鏈課件20《概率論》第10章---馬爾可夫鏈課件21《概率論》第10章---馬爾可夫鏈課件22例：某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出現(xiàn)故障，研究者每隔15分鐘觀察一次計(jì)算機(jī)的運(yùn)行狀態(tài)，收集了24小時(shí)的數(shù)據(jù)（共作97次觀察）。用1表示正常狀態(tài)，用0表示不正常狀態(tài)，所得數(shù)據(jù)序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111設(shè)為第n個(gè)時(shí)段的計(jì)算機(jī)狀態(tài)，可以認(rèn)為它是一個(gè)齊次馬氏鏈，狀態(tài)空間為由于96次狀態(tài)轉(zhuǎn)移的情況是：次次次次因此，一步轉(zhuǎn)移概率可用頻率近似地表示為：例：某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出現(xiàn)故障，研究者每隔15分鐘觀23《概率論》第10章---馬爾可夫鏈課件24續(xù)例：若計(jì)算機(jī)在某一時(shí)段（15分鐘）的狀態(tài)為0，問(wèn)從此時(shí)段起此計(jì)算機(jī)能連續(xù)正常工作一小時(shí)（4個(gè)時(shí)段）的概率為多少？解：由題意，續(xù)例：若計(jì)算機(jī)在某一時(shí)段（15分鐘）的狀態(tài)為0，問(wèn)從此時(shí)段25《概率論》第10章---馬爾可夫鏈課件26《概率論》第10章---馬爾可夫鏈課件27續(xù)例：（3）設(shè)初始分布又已知系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1，問(wèn)原發(fā)數(shù)字也是1的概率為多少？先求出n步轉(zhuǎn)移概率矩陣由于由特征方程可得到兩個(gè)相異的特征值:續(xù)例：（3）設(shè)初始分布又已知系統(tǒng)經(jīng)n級(jí)傳輸后輸出為128由線性代數(shù)知識(shí)可將P表示成對(duì)角陣的相似矩陣。具體做法是:求出對(duì)應(yīng)的特征向量令：則由線性代數(shù)知識(shí)可將P表示成對(duì)角陣的相似矩陣。具體做法是:29于是根據(jù)貝葉斯公式，當(dāng)已知系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1，原數(shù)字也是1的概率為于是根據(jù)貝葉斯公式，當(dāng)已知系統(tǒng)經(jīng)n級(jí)傳輸后輸出為30第四節(jié)

遍歷性第四節(jié)

遍歷性31《概率論》第10章---馬爾可夫鏈課件32《概率論》第10章---馬爾可夫鏈課件33則稱為平穩(wěn)分布，稱具有平穩(wěn)性。定義：對(duì)于齊次馬氏鏈 如果存在概率分布

滿足：即定義中平穩(wěn)性的直觀含義是過(guò)程在任何時(shí)刻處于狀態(tài)的概率都相等。在定理的條件下，馬氏鏈的極限分布就是平穩(wěn)分布，且是唯一的。即，若用作為鏈的初始分布，即，則鏈在任一時(shí)刻的絕對(duì)分布永遠(yuǎn)與一致。事實(shí)上由和有則稱為平穩(wěn)分布，稱具有平穩(wěn)性。定義：34例：考慮直線上帶反射壁的隨機(jī)游動(dòng),如果質(zhì)點(diǎn)只能取1、2、3三個(gè)點(diǎn),一步轉(zhuǎn)移概率矩陣為:其中試說(shuō)明此鏈?zhǔn)潜闅v的，并求出極限分布。解：計(jì)算二步轉(zhuǎn)移概率矩陣可見(jiàn)當(dāng) ,對(duì)任意的 有由定理可知,此鏈具有遍歷性,例：考慮直線上帶反射壁的隨機(jī)游動(dòng),如果質(zhì)點(diǎn)只能取1、2、3三35下面求極限分布列出方程式：由此解得：下面求極限分布列出方程式：由此解得：36例：設(shè)一馬氏鏈的一步轉(zhuǎn)移概率矩陣為討論它的遍歷性。解：先計(jì)算二步轉(zhuǎn)移矩陣進(jìn)一步可驗(yàn)證：這表明對(duì)任一固定的

j，極限都不存在，當(dāng)n為奇數(shù)時(shí)，；而當(dāng)n為偶數(shù)時(shí)，按定義，此鏈不具有遍歷性。例：設(shè)一馬氏鏈的一步轉(zhuǎn)移概率矩陣為討論它的遍歷性。解：先計(jì)算37第十章馬爾可夫鏈第一節(jié)馬爾可夫鏈的概念及轉(zhuǎn)移概率第二節(jié)多步轉(zhuǎn)移概率的確定第三節(jié)馬氏鏈的有限維分布第四節(jié)遍歷性第十章馬爾可夫鏈第一節(jié)馬爾可夫鏈的概念及轉(zhuǎn)移概率38第一節(jié)

馬爾可夫鏈的概念及轉(zhuǎn)移概率第一節(jié)

馬爾可夫鏈的概念及轉(zhuǎn)移概率39《概率論》第10章---馬爾可夫鏈課件40下面我們只討論齊次馬氏鏈，并習(xí)慣上常將“齊次”兩字省略。下面我們只討論齊次馬氏鏈，并習(xí)慣上常將“齊次”兩字省略。41《概率論》第10章---馬爾可夫鏈課件42《概率論》第10章---馬爾可夫鏈課件43而且當(dāng)時(shí)，等以后的行為只與有關(guān)，而與質(zhì)點(diǎn)以前是如何到是完全無(wú)關(guān)的，所以，它是一個(gè)馬氏鏈，且為齊次馬氏鏈。其狀態(tài)空間為：而且當(dāng)時(shí)，44稱其為具有兩個(gè)反射壁的隨機(jī)游動(dòng)稱其為具有兩個(gè)反射壁的隨機(jī)游動(dòng)4501若令表示質(zhì)點(diǎn)在時(shí)刻的位置，那末，是一個(gè)隨機(jī)過(guò)程，而且當(dāng)時(shí)，等以后的行為只與有關(guān)，而與質(zhì)點(diǎn)以前是如何到是完全無(wú)關(guān)的，所以，它是一個(gè)馬氏鏈。其狀態(tài)空間為：例：一維隨機(jī)游動(dòng)?？紤]在直線上作隨機(jī)游動(dòng)的質(zhì)點(diǎn)，且只在非負(fù)整數(shù)上作隨機(jī)游動(dòng)。當(dāng)質(zhì)點(diǎn)在時(shí)刻時(shí)處在位置，在時(shí)刻轉(zhuǎn)移到的概率為，轉(zhuǎn)移到的概率為，不動(dòng)的概率為，而處在別的位置的概率為0。01若令表示質(zhì)點(diǎn)在時(shí)刻的位置，那末，46它的一步轉(zhuǎn)移矩陣為：0123這里并且由于它的轉(zhuǎn)移概率與起點(diǎn)無(wú)關(guān)，所以它還是齊次馬氏鏈。它的一步轉(zhuǎn)移矩陣為：0123這里并且由于它的轉(zhuǎn)移概率與47如果稱為帶一個(gè)吸收壁的隨機(jī)游動(dòng)，質(zhì)點(diǎn)一旦到達(dá)狀態(tài)0后就永遠(yuǎn)停留在0這個(gè)狀態(tài)上，這樣的狀態(tài)稱為吸收狀態(tài)。如果稱為帶一個(gè)反射壁的隨機(jī)游動(dòng)，質(zhì)點(diǎn)一旦到達(dá)狀態(tài)0后下一步它以概率向右移一格。0101如果狀態(tài)空間是有限的，且狀態(tài)0與狀態(tài)N都為吸收狀態(tài)，即稱為具有兩個(gè)吸收壁的隨機(jī)游動(dòng).01N如果48第二節(jié)

多步轉(zhuǎn)移概率的確定第二節(jié)

多步轉(zhuǎn)移概率的確定49定理:設(shè)為齊次馬氏鏈，則對(duì)任意的有或證明：利用全概率公式及馬爾可夫性，有定理:設(shè)為齊次馬氏鏈，則對(duì)50這就是有名的切普曼－柯?tīng)柲缏宸蚍匠?，?jiǎn)稱為方程?；蜻@就是有名的切普曼－柯?tīng)柲缏宸蚍匠?，?jiǎn)稱為方程。51有由可見(jiàn)齊次馬氏鏈，它的多步轉(zhuǎn)移概率完全由它的一步轉(zhuǎn)移概率所決定。因此，在馬氏鏈中，一步轉(zhuǎn)移概率是最基本的。有由52第三節(jié)

馬氏鏈的有限維分布第三節(jié)

馬氏鏈的有限維分布53定義：設(shè) 為馬氏鏈，稱它為馬氏鏈的初始分布。0n定義：設(shè) 為馬氏鏈，稱它為馬54一維分布可用向量形式表示為：初始分布與一維分布的關(guān)系可表示為：表明一維分布可由初始分布和n步轉(zhuǎn)移概率矩陣確定。一維分布可用向量形式表示為：初始分布與一維分布的關(guān)系可表示為55定理說(shuō)明，馬爾可夫鏈的有限維分布完全由它的初始分布和轉(zhuǎn)移概率決定。定理說(shuō)明，馬爾可夫鏈的有限維分布完全由它的初始分布和轉(zhuǎn)移56《概率論》第10章---馬爾可夫鏈課件57《概率論》第10章---馬爾可夫鏈課件58《概率論》第10章---馬爾可夫鏈課件59例：某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出現(xiàn)故障，研究者每隔15分鐘觀察一次計(jì)算機(jī)的運(yùn)行狀態(tài)，收集了24小時(shí)的數(shù)據(jù)（共作97次觀察）。用1表示正常狀態(tài)，用0表示不正常狀態(tài)，所得數(shù)據(jù)序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111設(shè)為第n個(gè)時(shí)段的計(jì)算機(jī)狀態(tài)，可以認(rèn)為它是一個(gè)齊次馬氏鏈，狀態(tài)空間為由于96次狀態(tài)轉(zhuǎn)移的情況是：次次次次因此，一步轉(zhuǎn)移概率可用頻率近似地表示為：例：某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出現(xiàn)故障，研究者每隔15分鐘觀60《概率論》第10章---馬爾可夫鏈課件61續(xù)例：若計(jì)算機(jī)在某一時(shí)段（15分鐘）的狀態(tài)為0，問(wèn)從此時(shí)段起此計(jì)算機(jī)能連續(xù)正常工作一小時(shí)（4個(gè)時(shí)段）的概率為多少？解：由題意，續(xù)例：若計(jì)算機(jī)在某一時(shí)段（15分鐘）的狀態(tài)為0，問(wèn)從此時(shí)段62《概率論》第10章---馬爾可夫鏈課件63《概率論》第10章---馬爾可夫鏈課件64續(xù)例：（3）設(shè)初始分布又已知系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1，問(wèn)原發(fā)數(shù)字也是1的概率為多少？先求出n步轉(zhuǎn)移概率矩陣由于由特征方程可得到兩個(gè)相異的特征值:續(xù)例：（3）設(shè)初始分布又已知系統(tǒng)經(jīng)n級(jí)傳輸后輸出為165由線性代數(shù)知識(shí)可將P表示成對(duì)角陣的相似矩陣。具體做法是:求出對(duì)應(yīng)的特征向量令：則由線性代數(shù)知識(shí)可將P表示成對(duì)角陣的相似矩陣。具體做法是:66于是根據(jù)貝葉斯公式，當(dāng)已知系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1，原數(shù)字也是1的概率為于是根據(jù)貝葉斯公式，當(dāng)已知系統(tǒng)經(jīng)n級(jí)傳