應(yīng)用隨機(jī)過程課件 ch3 可數(shù)狀態(tài)馬氏鏈

應(yīng)用隨機(jī)過程第三章可數(shù)狀態(tài)馬氏鏈中國人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過程第三章可數(shù)狀態(tài)馬氏鏈中國人民大學(xué)出版社PAGE1/24第三章可數(shù)狀態(tài)馬氏鏈第三章可數(shù)狀態(tài)馬氏鏈應(yīng)用隨機(jī)過程中國人民大學(xué)出版社離散時(shí)間馬氏鏈與可數(shù)狀態(tài)馬氏鏈離散時(shí)間馬氏鏈與可數(shù)狀態(tài)馬氏鏈離散時(shí)間馬氏鏈的時(shí)間和狀態(tài)均離散，并且狀態(tài)是有限的。本章將在其基礎(chǔ)上，將狀態(tài)空間拓展為可數(shù)（countable）狀態(tài)。所謂的可數(shù)狀態(tài)是指狀態(tài)的取值是在整數(shù)域Z上，且狀態(tài)的數(shù)量無窮大，因此可數(shù)狀態(tài)馬氏鏈所包含的狀態(tài)為：S=Z。正因?yàn)榭蓴?shù)狀態(tài)馬氏鏈的狀態(tài)數(shù)是無窮多個(gè)，其與離散時(shí)間馬氏鏈在性質(zhì)上存在一定的區(qū)別。本章內(nèi)容本章內(nèi)容1狀態(tài)的分類12分支過程2狀態(tài)的分類狀態(tài)的分類狀態(tài)的分類可數(shù)狀態(tài)馬氏鏈遇到的新問題是常返并不能保證平穩(wěn)分布的存在。狀態(tài)的分類舉例舉例1：帶反射壁的隨機(jī)游動(dòng)狀態(tài)的分類質(zhì)點(diǎn)在{0,1,2,...}上游動(dòng)，它以概率p狀態(tài)的分類(1?p)向左移動(dòng)一步，但是如果處于0點(diǎn)，并試圖向左移動(dòng)一步時(shí)，它將停留在0點(diǎn)。012301231?p 1?p 1?p 1?p

p p p

p pn1n1?p1?p

p···1?p應(yīng)用隨機(jī)過程1?p應(yīng)用隨機(jī)過程第三章可數(shù)狀態(tài)馬氏鏈中國人民大學(xué)出版社PAGE6/24帶反射壁的隨機(jī)游動(dòng)帶反射壁的隨機(jī)游動(dòng)(cont.)狀態(tài)的分類狀態(tài)的分類p(i,i?1)=1?p, i≥1(0,0)=1?, p(i,i?1)=1?p, i≥1該模型屬于生滅鏈的特殊形式，可以根據(jù)細(xì)致平衡方程來求其平穩(wěn)分布p(i,j)π(i)=p(j,i)π(j)p(i,i+1)π(i)=p(i+1,i)π(i+1), i≥0p·π(i)=(1?p)·π(i+1)因此：

π(i+1)=

p π(i)帶反射壁的隨機(jī)游動(dòng)帶反射壁的隨機(jī)游動(dòng)(cont.)狀態(tài)的分類令π(0)=c狀態(tài)的分類π(i)=π(0)

pi( )=c( )1?p

pi( )1?p( )( )注意到，當(dāng)p/(1?p)<1時(shí)，p<1/2，此時(shí)：( )∞∞=0∞∞

π(i)=c

=0

pi=1?p∑∞∑

c p1?1?p

=1?pc<∞1?2p∞對于平穩(wěn)分布而言，必須滿足 π(i)=1，因此：i=0c=1?2p應(yīng)用隨機(jī)過程第三章可數(shù)狀態(tài)馬氏鏈中國人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過程第三章可數(shù)狀態(tài)馬氏鏈中國人民大學(xué)出版社PAGE24/24帶反射壁的隨機(jī)游動(dòng)帶反射壁的隨機(jī)游動(dòng)(cont.)狀態(tài)的分類狀態(tài)的分類·因此：·

π(i)=

1?2p1?p

pi( )1?p( )E(τ)=1=1?p<∞00 π(0) 1?2p稱狀態(tài)0是正常返（positiverecurrent）的。因此p<1/2時(shí)，該馬氏鏈對正常返的馬氏鏈，一定可以找到其對應(yīng)的平穩(wěn)分布；若馬氏鏈不存在平穩(wěn)分布，則其可能是零常返（nullrecurrent）或非常返的。注意：是正常返的，且存在一個(gè)平穩(wěn)分布對正常返的馬氏鏈，一定可以找到其對應(yīng)的平穩(wěn)分布；若馬氏鏈不存在平穩(wěn)分布，則其可能是零常返（nullrecurrent）或非常返的。注意：帶反射壁的隨機(jī)游動(dòng)帶反射壁的隨機(jī)游動(dòng)(cont.)π(i)=c

pi狀態(tài)的分類( )1?狀態(tài)的分類( )

, c=

1?2p1?pp1/2時(shí)，p/(1p1c0{π(i)(即|π(i+1)|>|π(i)|)，因而不存在平穩(wěn)分布，此時(shí)馬氏鏈?zhǔn)欠浅７档?。?dāng)p=1/2時(shí)，p/(1?p)=1,c=0，此時(shí)π(i)=0,?i，相應(yīng)地：E xE xπ(x)∑∞∑而 π(i)=1,因而不存在平穩(wěn)分布，此時(shí)馬氏鏈的各狀態(tài)均是零i=0常返態(tài)。狀態(tài)的判定狀態(tài)的判定狀態(tài)的分類零常返態(tài)代表了常返態(tài)和非常返態(tài)的邊界情況。三者的聯(lián)系和區(qū)別狀態(tài)的分類正常返態(tài)：Px(τx∞1Ex(τx∞；零常返態(tài)：Px(τx∞1Ex(τx∞；非常返態(tài)：Px(τx∞1Ex(τx∞。分支過程分支過程分支過程在可數(shù)狀態(tài)馬氏鏈的相關(guān)研究中，有一類非常重要的隨機(jī)過程常常應(yīng)用于生物學(xué)領(lǐng)域，這就是分支過程(branchingprocess)。分支過程最早由弗朗西斯?高爾頓（FrancisGalton）和沃森（Watson）提出，用于對姓分支過程分支過程舉例分支過程舉例分支過程nY1Y2都相kpk=p(1k)分支過程nXn{012}，其轉(zhuǎn)移概率如下：p(i,j)=P(Y1+Y2+···+Yi=j), i>0,j≥0此處的“消亡”是指馬氏鏈吸收于狀態(tài)0。此處的“消亡”是指馬氏鏈吸收于狀態(tài)0。思路：分支過程舉例分支過程舉例(cont.)分支過程該家族的消亡發(fā)生與否，可通過一個(gè)個(gè)體的平均后代數(shù)量μ分支過程定：∞ ∞μ=∑k·p(1,k)=∑k·pkk=0 k=0由于Xn表示第n代的個(gè)體數(shù)，因此：E(Xn|Xn?1)=μXn?1 ? E(Xn)=μE(Xn?1)通過迭代可得：顯然，μ<1時(shí)，limn→∞

E(Xn)=μnE(X0)E(Xn)=0，該家族以概率1消亡。μμ≥1的情形分支過程引入消亡概率extinctionprobabilit，記作α，表示當(dāng)前時(shí)刻的某個(gè)個(gè)體在未來的消亡概率。1分支過程α=P(τ0<∞|X0=1)其中τ0表示個(gè)體全部消亡的時(shí)刻。如果當(dāng)前時(shí)刻有k個(gè)個(gè)體，則他們?nèi)肯龅母怕适铅羕，因此：∑∞∑α=P(τ0<∞|X0=1)= p(1,k)·P(τ0<∞|X1=k)k=0最終可得：

∑ k∑ kα= pk·αk=0μμ≥1的情形(cont.)分支過程∑ 分支過程∑ kα= pk·αk=0∑∞∑記G(α)= pkαk，則上式可表示為：G(α)=αk=0當(dāng)α=0和α=1時(shí)，等式左側(cè)分別為：∑∞∑G(0)=p0=p(1,0), G(1)= pk=1注意：α=注意：α=1是(α)=α的平凡解（trivialsolution。要求的消亡概率α應(yīng)當(dāng)G(αα所有根當(dāng)中的最小正根。μμ≥1的情形(cont.)分支過程∑ 分支過程∑ k對G(α)= pkα關(guān)于α求一階和二階導(dǎo)，可得：k=0∞ ∞k=0k=1G′(α)=∑k·pkαk?1≥0, G′′(α)=∑k(k?1)·pkαk?2≥k=0k=1∑由此可見，函數(shù)G(α)是凸向原點(diǎn)的單調(diào)遞增曲線。當(dāng)α=1時(shí)：∑∞G′(1)= k·pk=μ>0k=0兩種可能性兩種可能性分支過程G(分支過程G(α)αG(α)αp0p00 （a） 1 0 α（） 1G′(1)<1時(shí)，α=1；G′(1)>1時(shí)，α<1。分支過程的結(jié)論分支過程的結(jié)論分支過程G′(1)μ，因此進(jìn)一步可以得到如下結(jié)論：μ分支過程當(dāng)μ≤1時(shí)，消亡以概率1發(fā)生；當(dāng)μ>1時(shí)，存在一個(gè)正的概率避免消亡。分支過程舉例分支過程舉例1分支過程當(dāng)p0=1/4，p1=1/4，p2=1/2分支過程1 1μ=4×1+2×2=1.25>1因此：消亡概率不為1。根據(jù)G(α)=α，可得：012244G(α)=pα0+pα1+pα2=α ? 1α2+(1?)α+1=0012244α11α21/20.5。分支過程舉例分支過程舉例2：二分支過程分支過程當(dāng)p0=1?a，p2=a，pk=0,k?=0,2分支過程μ=0(1?a)+2a=2a因此，當(dāng)a≤1時(shí)，消亡以概率1發(fā)生；當(dāng)a>1時(shí)，根據(jù)G(α)=α，2 2可得：解得：

G(α)=p0α0+p2α2=α ? aα2?α+(1?a)=0α1=1 或 α2

=1?a<1a此時(shí)消亡概率α=1?a。a二分支過程二分支過程(cont.)分支過程分支過程當(dāng)a>1時(shí)，消亡以概率1發(fā)生；22a當(dāng)a≤1時(shí)，消亡概率α=1?a。2a分支過程舉例分支過程舉例3：姓氏的消亡分支過程高爾頓和沃森最初考慮的問題是人群中姓氏消亡的概率，而姓氏是由后代中的男性所繼承，因此他們所研究的問題便轉(zhuǎn)化為后代中男性消分支過程假設(shè)每個(gè)家庭都恰好有3個(gè)孩子，并且每個(gè)母親平均有1.5個(gè)女兒，計(jì)算一個(gè)婦女的后代當(dāng)中，男性消亡的概率。姓氏的消亡姓氏的消亡(cont.)分支過程男女的概率均為1/2；假設(shè)后代中有k分支過程022122P(k=0)==8, P(k=1)==8(3)(1)0(1)3 1 022122P(k=0)==8, P(k=1)==8222322222322P(k=2)==8, P(k=3)==8(3)(1)2(1)1 3 222322222322P(k=2)==8, P(k=3)==8由于平均男性后代數(shù)量為μ=1.5>1，因此需要計(jì)算消亡概率。姓氏的消亡姓氏的消亡(cont.)分支過程∑根據(jù)G(α)= αkpk=α分支過程∑kα