隨機(jī)過程-第六章sjgc

電子科技大學(xué)§6.2馬氏鏈序列(二)四、遍歷性與平穩(wěn)性

將老鼠迷宮涂上不同顏色,對老鼠運(yùn)動進(jìn)行足夠多次的觀察，以了解，1紅2白3黑1）哪一種顏色的吸引力最大？2）初始狀態(tài)對結(jié)果有何種影響？電子科技大學(xué)

關(guān)注當(dāng)n→∞,pij(n)

的極限分布（j=1,2,3）是否與

i有關(guān)？數(shù)學(xué)問題：

定義6.2.6

設(shè){X(n),n=0，1,2,…}是齊次馬氏鏈,若對且與

i無關(guān)，稱此馬氏鏈具有遍歷性.下極限存在電子科技大學(xué)為齊次馬氏鏈的極限分布.齊次遍歷馬氏鏈的n步轉(zhuǎn)移矩陣，有

是概率向量電子科技大學(xué)EX.10直線上的隨機(jī)游動

123狀態(tài)空間E={1,2,3}討論{X(n),n≥1}是否遍歷？解

{X(n),n≥1}是齊次馬氏鏈.電子科技大學(xué)電子科技大學(xué)故{X(n),n≥1}不是遍歷馬氏鏈.設(shè)齊次馬氏鏈{X(n),n=0,1,2,…}的狀態(tài)空間為定理6.2.4

(遍歷性定理)E={1,2,…,s}.若存在正整數(shù)n0,對任意

且極限分布Π是方程組

電子科技大學(xué)在滿足條件

下的唯一解.是概率向量注一

對于齊次馬氏鏈,由C－K方程,有

定理6.2.4條件可敘述為：存在正整數(shù)n0,使n0步轉(zhuǎn)移矩陣的每一元素都為正數(shù).電子科技大學(xué)

定義6.2.7

稱齊次馬氏鏈的轉(zhuǎn)移矩陣P是正則的,若若存在正整數(shù)k，使Pk

的每一個(gè)元素均為正數(shù).推論1

若齊次馬氏鏈的轉(zhuǎn)移矩陣P是正則陣,則此馬氏鏈?zhǔn)潜闅v的.注二

定理6.2.4中(1)式可改寫為

(1')電子科技大學(xué)電子科技大學(xué)

定義6.2.8

若行向量U=(u1,u2,…,us)與s

階方陣R滿足UR=U稱U是R的不動點(diǎn)向量.定理6.2.5若P是遍歷齊次馬氏鏈的正則陣,則1)P有唯一的不動點(diǎn)向量Π,其分量均為正數(shù)；

2）Pn(n≥1)隨n

的增大而趨于矩陣W，W的每一行向量等于不動點(diǎn)向量Π.電子科技大學(xué)EX.11迷宮問題

老鼠運(yùn)動是齊次馬氏鏈.

設(shè)老鼠運(yùn)動的轉(zhuǎn)移矩陣P為

正則陣由于P是正則陣,則

電子科技大學(xué)第n步絕對分布為

電子科技大學(xué)

一般,對任意初始概率向量p(0)=（p1

p2

p3）均有π(0)

W=Π

Π是不動點(diǎn)向量

定義6.2.9

設(shè){X(n),n≥0}為齊次馬氏鏈,若存在行向量電子科技大學(xué)稱馬氏鏈?zhǔn)瞧椒€(wěn)的,稱V是馬氏鏈的平穩(wěn)分布.

P178定義4注

若馬氏鏈的初始分布是一個(gè)平穩(wěn)分布V，則絕對分布為

即絕對分布保持不變.系統(tǒng)具有平穩(wěn)性電子科技大學(xué)定理6.2.5之推論

正則(遍歷)馬氏鏈的極限分布是平穩(wěn)分布.

EX.12

考慮經(jīng)多級傳送后,數(shù)字傳輸?shù)臏?zhǔn)確可靠程度如何？（P109例3）X(0)—進(jìn)入系統(tǒng)第一級的數(shù)字;

X(n)—表示第n級傳出的數(shù)字,

{X(n),n=0,1,2,…}是齊次馬氏鏈,狀態(tài)空間為E={0,1}.

電子科技大學(xué)

假設(shè)每一級的誤碼率為p(0<p<1),則轉(zhuǎn)移矩陣為

設(shè)初始分布為π(0).經(jīng)第n

級傳送后,其概率分布(絕對分布)為需求極限分布.

電子科技大學(xué)

因P

是正則陣,故此馬氏鏈?zhǔn)潜闅v的,極限分布即平穩(wěn)分布.

由遍歷性定理知問題轉(zhuǎn)化為求P的不動點(diǎn)概率向量

W=(w1w2)W應(yīng)滿足：1）w1+w2=1,wi>0;

2）WP=W.

電子科技大學(xué)電子科技大學(xué)故極限分布為

最壞結(jié)果電子科技大學(xué)EX.1