【馬爾科夫鏈基本概念和性質(zhì)5200字（論文）】

馬爾科夫鏈基本概念和性質(zhì)馬爾科夫性和強(qiáng)馬爾科夫性設(shè)X0,X1,?為Ω定義1.1.1設(shè)P為I×I上的函數(shù),若P滿(mǎn)足則稱(chēng)P是I上的一個(gè)隨機(jī)矩陣.若P滿(mǎn)足則稱(chēng)P是I上的一個(gè)次隨機(jī)矩陣.命題1.1.1若P,Q均為I上的隨機(jī)矩陣,則Pn、PQ均是I證明:因?yàn)閷?duì)于任意i,k∈I,PQi,k=k∈I由定義1.1.1知,PQ也是I上的隨機(jī)矩陣.令Q=P,則有P2是隨機(jī)矩陣,在令Q=P2,可得P3也是隨機(jī)矩陣,依次類(lèi)推可知對(duì)于?n由命題1.1.1可知,j∈IPni,j=1,若矩陣P為了更好的敘述本節(jié)的內(nèi)容,先給出以下幾個(gè)概念:定義I∞=ω|ω為從自然數(shù)集到狀態(tài)空間I的映射,對(duì)于任意ω∈I∞,稱(chēng)ω(0),ω(1),?為由ω生成的一個(gè)I-序列.令ξn:I∞→I,ω?ω(n),令σP若pi=PX0=i=1,則可將定義1.1.2設(shè)X0,XPX則稱(chēng)Xn為一馬爾科夫鏈,此時(shí)稱(chēng)隨機(jī)陣P為X在I上的轉(zhuǎn)移矩陣.特別的,ξ0,由定義1.1.2可知,在一個(gè)馬爾科夫鏈中,下一時(shí)刻的狀態(tài)僅與當(dāng)前狀態(tài)有關(guān),與X0例1.1.1設(shè)一個(gè)賭徒有初始資金2元,該賭徒每局賭注為1元,且每局贏的概率為0.6,輸?shù)母怕蕿?.4,設(shè)該賭徒最后資金為4元或全部輸光時(shí),離開(kāi)賭場(chǎng).設(shè)Xn為第n局結(jié)束時(shí),賭徒的資金.則Xn的狀態(tài)空間為I=0,1,2,3,4P存在隨機(jī)矩陣P=使得P所以根據(jù)定義1.1.2可知Xn例1.1.2假設(shè)有6個(gè)一模一樣的小球,平均放在甲乙兩個(gè)盒子中,每次隨機(jī)抽取一個(gè)盒子中的球放入到另一個(gè)盒子中,直到其中一個(gè)盒子空了.設(shè)Xn為操作n次后甲盒中小球的數(shù)量,則Xn的狀態(tài)空間為I=0,1,2,3,4,5,6.因此若Xn+1=i>0,則XP所以存在一個(gè)隨機(jī)矩陣P=使得PXn+1=j|例1.1.3設(shè)Xn是一列Bernoulli序列,Xn的狀態(tài)空間為0,1,且PXn=1=p,PXn=0=1?p.因?yàn)閄n例1.1.4設(shè)一個(gè)闖關(guān)游戲一共有6關(guān),全部通關(guān)才算挑戰(zhàn)成功.該游戲只有通過(guò)第一關(guān)方可進(jìn)入第二關(guān),否則重新回到第一關(guān),后面的關(guān)卡亦是如此,只有通過(guò)第n關(guān)才可以挑戰(zhàn)第n+1關(guān),直到挑戰(zhàn)成功.不妨設(shè)每一局游戲勝出的概率為p,失敗的概率為1?p,設(shè)Xn為第n局游戲所到的關(guān)卡數(shù).則Xn的狀態(tài)空間為P存在隨機(jī)矩陣P=使得PXn+1=j為了更好的敘述馬爾科夫性,先給出以下平移映射.令T為從I∞(Tω)(m)=ω(m+1)對(duì)于?m,n∈?,(顯然,T0是恒等映射,Tn是將ω生成的I-序列左移n個(gè)單位的映射.也就是說(shuō)Tn將ωξ對(duì)?B?IT在下文中,用記號(hào)Pξn表示P定理1.1.1（馬爾科夫性）若ξ0,ξ1,?是一列馬爾科夫鏈,則P證明:令Q為I∞×σIQ(ω,B)=取定ω∈I∞,設(shè)ωn=i,則有Qω,?=Pξn(ω)=Pi為一個(gè)概率.取定式（1）因?yàn)锳=j∈I式（2）若對(duì)于?j∈I,有式（3）成立,則式（2）必然成立.不妨將A∩ξ式（4）由于C?ξ因此式（4）變?yōu)槭剑?）下證式（5）成立:因?yàn)镃可以表示成類(lèi)似ξ0=i0,?,ξn=in這樣的集合的不交并（在不同的集合中in始終為j,其余im可以為I中的任意狀態(tài)）,B可以表示成類(lèi)似T且有PP因此,式（5）成立,定理得證.定義1.1.3若P(i,j)>0,則稱(chēng)狀態(tài)i可以躍遷到狀態(tài)j上;若對(duì)于?n∈?,恒有Pξn命題1.1.2令G=ω|ω上的所有躍遷都是可能的,則證明:令Gn=ω|Pξ因?yàn)镚nP所以由式（5）可知,對(duì)于?n∈?P所以Pp定理1.1.2（半群性質(zhì)）對(duì)于?i∈I,n∈?證明:該定理采用數(shù)學(xué)歸納法來(lái)證明.n=1時(shí),顯然成立.假設(shè)n=N時(shí),PiξNP====綜上所述,對(duì)于?i∈I,n∈?,有P定義1.1.4設(shè)τ為I∞,σ(I∞)上的一個(gè)取值為0,1,?,∞的隨機(jī)變量,若τ≤n∈?n,則稱(chēng)令G=A∈σI∞對(duì)于任意n,都有A∩τ≤n∈?ξ若τ不是馬爾科夫時(shí)間,則存在n,使得τ≤n??n,于是I∞∩為了更好的敘述以下定義,引入以下記號(hào):令?=τ<∞,顯然若τ是一個(gè)馬爾科夫時(shí)間,則?∈令ζ:?→I∞ω?Tτ(ω)(ω),稱(chēng)ζ為左平移τ個(gè)單位的映射.令ζn=ξn°ζ=ξn+τ定理1.1.2（強(qiáng)馬爾科夫性）令τ是一個(gè)馬爾科夫時(shí)間,ζ為左平移τ個(gè)單位的映射,則Pζ0是給定證明:由馬爾科夫性的證明可知,該證明可以簡(jiǎn)化成,證明對(duì)于任意A∈?∩ζ0Pp因?yàn)锳∩ζ∈B=n=0∞A∩P===式（6）成立,定理得證.對(duì)于?ω,記由ω生成的I-序列為ξω=ξ0(ω),ξ1定義1.1.5稱(chēng)樣本空間中的一個(gè)I-序列（可以是有限的,也可以是無(wú)限的）是一個(gè)i?block,當(dāng)且僅當(dāng)這個(gè)I-序列從狀態(tài)i出發(fā),且不回到狀態(tài)i.定義Bm是從樣本空間到樣本空間的映射,對(duì)于任意I?序列ξω=ξ0(ω),ξ1(ω),?∈τm<∞,有Bmξ(ω)=ξτm(ξ)(ω),?,ξτm+1?1定理1.1.3（區(qū)塊定理）PiB1?1是給定B1,B證明:因?yàn)锽n?1是有限的i?block,所以B1,B令ζ為τn<∞上的左移τnζ所以由B1B令C為i?block空間的一個(gè)可測(cè)子集,令A(yù)?τ