馬爾科夫鏈陳

第十一章

馬爾科夫鏈11.1馬爾科夫過程及其概率分布馬爾科夫過程若隨機(jī)過程{X(t)，t?T}對于任意的正整數(shù)n及t1<t2<…<tn?T,其條件分布滿足P{X(tn)xn|X(t1)=x1,…,X(tn-1)=xn-1}=P{X(tn)xn|X(tn-1)=xn-1}或?qū)懗神R爾科夫鏈時間和狀態(tài)都是離散的馬爾科夫過稱為馬爾科夫鏈，簡稱馬氏鏈。記為{X(t)=X(n)，n=0,1,2,…}.鏈的狀態(tài)空間：I={a1,a2,…},ai?R則稱隨機(jī)過程{X(t)，t?T}為馬爾科夫過程。條件轉(zhuǎn)移概率對任意的正整數(shù)n,m和0≤t1<t2<…<tn<m,ti,n+m?T1有P{(Xn+m=aj|Xt1=ai1,Xt2=ai2…,Xtr=air,Xm=ai}=P{(Xn+m=aj|Xm=ai},其中ai?I。則稱條件概率Pij(m,m+n)=p{Xm+n=aj|Xm=ai}為馬氏鏈在時刻m,處于狀態(tài)ai條件下，在時刻m+n轉(zhuǎn)移到狀態(tài)aj的轉(zhuǎn)移概率。轉(zhuǎn)移概率矩陣由轉(zhuǎn)移概率組成的矩陣稱為馬氏鏈的轉(zhuǎn)移概率矩陣。此矩陣的每一行元素之和等于1。當(dāng)轉(zhuǎn)移概率Pij(m,m+n)只與i,j及時間距n有關(guān)時，即當(dāng)

時，稱轉(zhuǎn)移概率具有平穩(wěn)性，同時也稱此鏈?zhǔn)驱R次的或時齊的。n步轉(zhuǎn)移概率和n步轉(zhuǎn)移概率矩陣在馬氏鏈為齊次的情形下，由上式定義的轉(zhuǎn)移概率 稱為馬氏鏈的n步轉(zhuǎn)移概率，則矩陣為n步轉(zhuǎn)移概率矩陣。一步轉(zhuǎn)移概率由它們組成的一步轉(zhuǎn)移概率矩陣

………………pij…pi2pi1………………p2j…p22p21…p1j…p12p11a1a2…aj…a1a2.ai.其中pij是從ai狀態(tài)轉(zhuǎn)移到aj狀態(tài)的概率的狀態(tài)1+mX態(tài)狀的mXPPD=)1(例1（0-1傳輸系統(tǒng)）在如下圖只傳輸數(shù)字0和1的串聯(lián)系統(tǒng)中，定義傳真率和誤碼率（輸出與輸入數(shù)字相同的概率稱為系統(tǒng)的傳真率，相反情形稱為誤碼率）為p，誤碼率為q=1-p；設(shè)一個單位時間傳輸一級，X0是第一級的輸入，Xn是第n級的輸出（n≥1），那么 是一隨機(jī)過程。狀態(tài)空間I={0,1}，而且當(dāng)Xn=i,i∈I為已知時，Xn+1所處的狀態(tài)的概率分布只與Xn=i有關(guān)，而與時刻n以前所處的狀態(tài)無關(guān)，所以它是一個馬氏鏈，而且還是齊次的它的一步轉(zhuǎn)移概率和一步轉(zhuǎn)移概率

12nX0X1XnX2Xn-1矩陣分別為和01例2一維隨機(jī)游動設(shè)一醉漢Q在如下圖點(diǎn)集I={1，2，3，4，5}上作隨機(jī)游動，并且僅僅在1秒、2秒…等時刻發(fā)生游動。規(guī)律是：(1)如果Q現(xiàn)在位于點(diǎn)I(1<I<5),則下一時刻各以1/3的概率向左或向右移動一格，或以1/3的概率留在原處；(2)如果Q現(xiàn)在位于1（或5）這點(diǎn)上，則下一時刻就以概率1移動2（或4）這一點(diǎn)上。1和5這兩點(diǎn)稱為放射壁。上面這種游動稱為帶有兩個放射壁的隨機(jī)游戲動12345若以Xn表示時刻n時Q的位置，不同的位置就是Xn的不同狀態(tài)，那么{Xn,n=0,1,2…}是一隨機(jī)過程，狀態(tài)空間就是I，而且Xn=i,i∈I為已知時，Xn+1所處的狀態(tài)的概率分布只與Xn=i有關(guān)，而與Q在時刻n以前如何達(dá)到是完全無關(guān)的，所以{Xn,n=0,1,2…}是一馬氏鏈，而且還是齊次的，它的一步轉(zhuǎn)移概率和一步轉(zhuǎn)移概率矩陣分別為如果把一這一點(diǎn)改為吸收壁，即是說Q一旦到達(dá)1這一點(diǎn)，則就永遠(yuǎn)留在點(diǎn)一上，相應(yīng)鏈的轉(zhuǎn)移概率矩陣只須把p中的第一橫行改為（1，0，0，0，0）。總之改變游動的概率規(guī)則，就可得到不同方式的隨機(jī)游動和相應(yīng)的馬式鏈。隨機(jī)游動的思想在數(shù)值計算方法方面有重要應(yīng)用。010001/31/31/30001/31/31/30001/31/31/3000101

234512345例3：排隊(duì)模型服務(wù)系統(tǒng)組成：服務(wù)員（1個）和等候室（2人）組成，服務(wù)規(guī)則：先到先服務(wù)。假定一顧客到達(dá)系統(tǒng)時發(fā)現(xiàn)系統(tǒng)內(nèi)已有3個顧客，則該顧客即離去，設(shè)時間間隔Δt內(nèi)，有一個顧客進(jìn)入系統(tǒng)的概率為q，有被服務(wù)的顧客離開系統(tǒng)的概率為p，設(shè)當(dāng)Δt充分小時，多于一個顧客進(jìn)入或離開系統(tǒng)實(shí)際上是不可能的，設(shè)有無顧客來到與服務(wù)是否完畢是相互獨(dú)立。等候室服務(wù)臺隨機(jī)到達(dá)者離去者系統(tǒng)設(shè)Xn=X（nΔt）表示時刻nΔt時系統(tǒng)內(nèi)的顧客數(shù)，即系統(tǒng)的狀態(tài)，是一隨機(jī)過程，狀態(tài)空間I={0,1,2,3}，可知它是一個齊次馬氏鏈。下面來計算此馬氏鏈的一步轉(zhuǎn)移概率。

P00表示在系統(tǒng)內(nèi)沒有顧客的條件下，經(jīng)Δt后仍沒有顧客的概率（此處是條件概率，以下同）P00=1-q.

P01---表示在系統(tǒng)內(nèi)沒有顧客的條件下，經(jīng)Δt后有一顧客進(jìn)入系統(tǒng)的概率，P01=q.P10---系統(tǒng)內(nèi)恰有一個顧客正在接受服務(wù)的條件下，經(jīng)Δt后系統(tǒng)內(nèi)無人的概率，它等于在Δt間隔內(nèi)顧客因服務(wù)完畢而離去，且無人進(jìn)入系統(tǒng)的概率，P10=p（1-q）P11—系統(tǒng)內(nèi)恰有1個顧客的條件下，在Δt間隔內(nèi)，他因服務(wù)完畢而離去，而另一顧客進(jìn)入系統(tǒng)，或者正在接受服務(wù)的顧客將繼續(xù)要求服務(wù)，且無人進(jìn)入系統(tǒng)的概率。P11=pq+(1-p)(1-q).P12---正在接受服務(wù)的顧客繼續(xù)要求服務(wù)，且另一個顧客進(jìn)入系統(tǒng)的概率P12=q(1-p).P13---正在接受服務(wù)的顧客繼續(xù)要求服務(wù)，且在Δt間隔內(nèi)有兩個顧客進(jìn)入系統(tǒng)的概率，由假設(shè)，后者實(shí)際上是不可能發(fā)生的，P13=0類似地，有P21=P32=p(1-q).P22=pq+(1-p)(1-q),P23=q(1-p),Pij=0(|i-j|≥2).P33:或者一人將離去且另一人將進(jìn)入系統(tǒng)，或者無人離開的概率，P33=pq+(1-p)于是該馬氏鏈的一步轉(zhuǎn)移概率矩陣為1-qq00P(1-q)Pq+(1-p)(1-q)q(1-p)00P(1-q)Pq+(1-p)(1-q)q(1-p)00P(1-q)Pq+(1-p)在實(shí)際問題中，一步轉(zhuǎn)移概率通?？赏ㄟ^統(tǒng)計實(shí)驗(yàn)確定。例4某計算機(jī)機(jī)房的一臺計算機(jī)經(jīng)常出故障，研究者每隔15分鐘觀察一次計算機(jī)的運(yùn)行狀態(tài)，收集了24小時的數(shù)據(jù)（共作97次觀察）。用1表示正常狀態(tài)，用0表示不正常狀態(tài)，所得的數(shù)據(jù)序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111設(shè)Xn為第n（n=1，2…,97）個時段的計算機(jī)狀態(tài)，可以認(rèn)為它是一個馬氏鏈，狀態(tài)空間I={0，1}.96次狀態(tài)轉(zhuǎn)移的情況是：0→0,8次；0→1,18次；1→0,18次;1→1,52次.因此，一步轉(zhuǎn)移概率可用頻率近似地表示為齊次驕馬氏企鏈的氣有限性維分握布1)先看撓馬氏協(xié)鏈在都任一噸時刻n∈T1的一維央分布：顯然賴，應(yīng)知有停由全蝦概率狐公式即一維夾分布垃也可稻用行崗向量絨表示棗成P(姑n)=(柄p1(n匙)眾,積p2(n塞),錦…pj(n),麻…)這樣押，利叮用矩征陣乘壇法（I是可估列無數(shù)限集請時，格仍用糾有限掃階）有矩陣物乘法估的規(guī)輔則確價定矩拔陣之河積的決元素渣，可冬寫成P(尖n)=P(0升)P(n濾)?——(矩陣)。結(jié)論墾：馬氏杰鏈在扎任一重時刻n∈T1時的灣一維韻分布汗由初提始分軟布P(0斷)和n步轉(zhuǎn)簡移概靈率矩咳陣所刻確定。對于讓任意n個時告刻t1<t2<箱t民…<tn,ti∈T以及醋狀態(tài)舌有齊次神馬氏平鏈的n維分和布：由乘衛(wèi)法公監(jiān)式結(jié)論逐：由此瓦可知粱，齊甩次馬皆氏鏈夸的有限劇維分話布同樣輸完全丘由初始廉分布和轉(zhuǎn)移問概率確定配?？傊?，轉(zhuǎn)糕移概除率決刮定了施馬氏蘋鏈的織統(tǒng)計眾規(guī)律喚。因鎖此，振確定孤馬氏若鏈的霧任意n步轉(zhuǎn)父移概割率就借成為跪馬氏擴(kuò)鏈理蜓論中王的重許要問嗓題之撿一。例5（續(xù)勺例4）若計賭算機(jī)快在前私一段接（15分鐘解）的滾狀態(tài)滅為0，問意從時焰段起走此計扛算機(jī)鴉能連客續(xù)正子常工庫作一勵小時墳（4個時濫段）慰的概脈率為狐多少錘？解由題膝意，賭前一恭時段噸的狀圖態(tài)為0就是您初始碗分布P0（0)=P{X0=既0}。計丘算機(jī)曬能連漫續(xù)正美常工到作4個時菊段的亞概率困為P{X1=1，X2=1，X3=杏1，X4=1銀|X0=0}=P{X0=0，X1=1，X2=1，X3=鎖1，X4=1科}/P{X0=傾0}=p0(0出)p01(1齡)p11(1均)p11(1私)p11(1據(jù))想/P{X0=粉0}=11瓜.2多步萄轉(zhuǎn)移什概率帶的確偷定為了拐確定齊次腿馬氏淘鏈的n步轉(zhuǎn)憑移概徒率謹(jǐn)，沫首先捐介紹濃所滿總足的飯基本傲方程乓。設(shè){X（n），n∈T1}是一齊次馬氏蹦鏈，膝則對斜任意跨的u,庭v∈T1，有這就駱是著匆名的物切普認(rèn)曼-柯莫甲哥洛苗夫（Ch逐ap察ma既n-Ko房誠lm醋o(hù)g套o(hù)r鏈ov）方程訊，簡爆稱C-向K方程誘。C-芒K方程周的實(shí)替際背相景C-來K方程血基于虛下述娘事實(shí)肥，即婚“從勵時刻s所處叫的狀們態(tài)ai，即X魯(s層)=批ai出發(fā)腔，經(jīng)軌時段u+敢v轉(zhuǎn)移苦到向狀態(tài)aj,即X(s+池u+森v）=aj”這一瞇事件醋可分府解成覺“從X（s）=ai”出發(fā)叛，先搬經(jīng)時遣段u轉(zhuǎn)移恰到中副間狀夫態(tài)ak(k,=宅1,抗2…歐)，再從ak經(jīng)時忍段v轉(zhuǎn)移鼠到辦狀態(tài)aj”這樣騾一些籠事件懶和事貪件。aiajOss+惜us+表u+塔v方程儀（2.歌1）的有證明邀如下晌：先噴固定婚和由條漂件概觀率定室義和型乘法指定理悼，由馬新氏鏈像的齊屋次性又由夏于事覺件組乓“X(s+禁u)=ak”,k=1巨,2意,…構(gòu)成哪一劃絲式分，陸故有Pij(u醬+v)=蕉P{X專(s丈+u灶+v情)=aj|X枝(s)=ai}=代入擋上式指，即末得所滾要證阻明的C-綁K方程除。C-抄K方程判的證倘明C-機(jī)K方程顏也可傳寫成廚矩陣療形式：P(u+奶v)=秧P(u)P禿(私v)利用C-踏K方程蹄我們可容易翼確定n步轉(zhuǎn)莖移概限率，違事實(shí)屆上，品在（2.之1）式卷中令u=1費(fèi),v拆=n-1，得遞暈推關(guān)梅系：P(n)=仆P(1)P(n-燭1)=P秤P(n-搞1),從而猾可得P(n)=Pn,就是干說，穿對齊伙次馬叼氏鏈據(jù)而言胃，n步轉(zhuǎn)移谷概率旋矩陣習(xí)是一步轉(zhuǎn)鐵移概戴率矩喬陣的n次方。滔進(jìn)而詞可知秤，鏈君的有叼限維氣分布衫可由仍初始驢與一步轉(zhuǎn)以移概堡率完間全確鳳定。例1設(shè){Xn,n≥0}是具夕有三驕個狀湊態(tài)0，1，2的齊歷次馬首氏鏈崗，一步轉(zhuǎn)踏移概氧率矩培陣為0123/41/401/41/21/403/41/4P=0支1旁2初始說分布Pi（0）=P{X0=i}=救1/倍3,i=0,碗1,爬2.試求:喪(i險)P{X0=0宜,課X2=1相};剪(霉ii載)濟(jì)P疏{X2=1只}解頂先急求出舞二步黑轉(zhuǎn)移報概率已矩陣于是(i絕)P{X0=塑0,X2=1辮}=P{X0=0賊}燙p{押X2=1套|易X0=0拾};=斑p0(0伍)麥p01(2易)骨=(i臨i)由(1尺.7強(qiáng))式，p1（2)涂=P淚{X2=1嫂}=帆p0(0揪)P01(2米)+P1(0里)P11(2嫁)+P2(0漏)P21(2肌)=0125/85/161/165/161/23/63/169/161/4P(六2)境=勻P2=0聲1漸23/41/401/41/21/403/41/43/41/401/41/21/403/41/4=例2在§1例2中,（i）設(shè)p=0賤.9池,求系統(tǒng)倚二級咽傳輸錢后的聾傳真械率與棕三級隨傳輸允后的專誤碼忽率；陰（i絨i）設(shè)初始把分布P1(0仆)=P{迫X0=1縫}=a,值P0(0集)=P伍{昌X0=光0}國=日1度-a，又已知叛系統(tǒng)森經(jīng)n級傳狂輸后板輸出慈為1，問貞原發(fā)笛字符井也是1的概霉率是靠多少喂？解陵先士求出n步轉(zhuǎn)移禿概率估矩陣P(n)=Pn。由于則令得λ1=1，λ2=p果-q則可將p表示罵成對款角矩姻陣的相象似矩嫁陣。01P=0辮11、求坊出λ1，λ2的特衫征向槍量是方法燥是令(λ1E-打P)傲X=局0及(λ2E-練P)作X=冠0,就可恨以求梢得e1,e2令H=懸[e1,e2]則有(i遍)由此徒可知扁，當(dāng)p=晚o.羊9時，警系統(tǒng)鏡經(jīng)二排級傳貿(mào)輸后困的傳聲真率罪與三包級傳欲輸?shù)膶懻`碼州率分泰別為p11(2臘)緞=p00(2圖)=p10(3插)窄=p01(3浴)=(i威i)根據(jù)稠貝葉增斯公陷式，鍋當(dāng)已紛知系崗統(tǒng)經(jīng)n級傳悲輸后裂輸出為1，原倆發(fā)字枯符也用是1的概鍵率為對于土只有泛兩個蛛狀態(tài)航的馬裙氏鏈禿，一騰步轉(zhuǎn)祖移概蟲率矩票陣一邪般可淡表示休為：,)(lim)(lim01000pD+==￥?￥?babnpnpnn.)(lim)(lim11101pD+==￥?￥?baanpnpnn利用火類似減于例2的方炮法，?？傻胣步轉(zhuǎn)恨移概自率矩頂陣為11劫.3遍歷架性對于吐一般晃的兩初個狀承態(tài)的責(zé)馬氏氧鏈，隸當(dāng)0<張a,進(jìn)b稅<1時，Pij(n)有極住限上述煙極限搜的意己義是婆：對固久定的展?fàn)顟B(tài)j，不管常鏈在室某一塵時刻姥從什蛛么狀嘩態(tài)（I=葬0或1)出發(fā)討，通梳過長碗時間刑的轉(zhuǎn)英移，修到達(dá)快狀態(tài)j的概法率都是趨近于,這就膜是所漆謂的遍歷取性。又由達(dá)于尺，所以雀構(gòu)雷成一返分布果律，虧稱它倍為鏈宣的極限阻分布析。另外琴，如奶若我駱們能樹用其綠他簡咐便的鵲方法拌直接腸由一聞步轉(zhuǎn)暑移概狐率求渣得極授限分榜布，則遠(yuǎn)反過鳳來，頑當(dāng)n>>延1時就科可得辰到n步轉(zhuǎn)貓移概設(shè)率的色近似撞值：遍歷費(fèi)性和綿極限悄分布龍的意李義：設(shè)齊潤次馬哨氏鏈?zhǔn)嫉臓顭拺B(tài)空危間為I，如臉果對敏于所報有aiaj藏∈I,轉(zhuǎn)移龜概率Pi絮j(n楚)存在膚極限(不依刑賴于i)則稱統(tǒng)此鏈球具有遍歷薦性，又福若皂，嚼則同衰時稱泡為熊鏈的極限組分布。問題糟：齊次宏馬氏近鏈在匙什么喝條件區(qū)下才服具有粘遍歷榮性？如何撇求出另它的改極限誼分布凱？這問迎題在鬼理論秤上已啦經(jīng)完搖滿解僵決，兔下面鍬僅就趁只有采有限山個狀貫態(tài)的葵鏈，拾即有貨限的臺遍歷阿性給挎出一棋個充松分條臉件。定理設(shè)齊苗次馬按氏鏈{Xn,n敗≥榴1}的狀慨態(tài)空售間為I={a1,a1,…胡,aN}，P是它棋的一推步轉(zhuǎn)挽移概澆率矩銜陣，矮如果聚存在總正整餡數(shù)m，使筐對任擦意的a1,aj∈I，都訊有Pij(m半)>克0,i,紫j=1勇,2肯,…伸,N疊,則此許鏈具鎮(zhèn)有遍摧歷性紫；且慘有極課限分曲布是方減程組π=πP或即的滿健足條漫件的唯小一解升。依照思定理冒：為證嗓明有鹽限狀擾態(tài)齊圓次馬汗氏鏈猛是遍年歷的專，只稅需要政找一疑正整柄數(shù)m，使m步轉(zhuǎn)哨移概肉率矩餓陣Pm無零建元。引而求扯極限山分布π的問走題，這化為繩求解類方程起組的夸問題綱。注意局，方程奮組中暮僅N-沾1個未肺知數(shù)晶，是由獨(dú)立陣的，予而唯宰一解閣可用半歸一機(jī)條件擇來確貌定。在定碼理的恩條件棟下，沒馬氏攻鏈的壁極限激分布竹又是平穩(wěn)沉分布。意款即，論若用π作為記鏈的于初始鞠分布諒，即p(憶0)靈=π,則鏈柏在任衡一時刻nT1的分布p(n)永遠(yuǎn)跟與π一致姓。事睡實(shí)上湊，有p(n)=駕p武(0)吐p(n)=πpn=πpn-1=膊…=πp旋=π∈例1試說甩明§1例2中，壘帶有揀兩個瓶放射畝壁的推隨機(jī)湯游動良是遍糧歷的評，并閘求其拳極限棚分布宮（平披穩(wěn)分租布）酒。解許為芽簡便賞計，吼以符搜號“×”代表此轉(zhuǎn)移翅概率膜矩陣音的疼正元夸素，榴于是喘，由§1例2中的良一步濟(jì)轉(zhuǎn)移猜概率喉矩陣p，得即p(4)無零侍元。媽由定集理，懲鏈?zhǔn)秋湵闅v面的。瘡寫出鋤極限尾分布π=娃(自π1，π2,…π5)滿足壯的方愉程組先由嶄前四積個方藥程，著解得查：求，付將它幣們代疫入歸拜一條別件，名得唯紐奉一解而：。所以伐極限撒分布鑒為π=（1/普11，3/楚11，3/愚11喜,3缸/1刑1，1/疊11）這個箏分布蚊表明能：經(jīng)視過長濟(jì)時間萄游動隸之后凝，醉進(jìn)漢Q位于i點(diǎn)(1瘡<i淡<5凍)的概聲率約菜為3/糠11，位價于點(diǎn)1（或5）的辱概率黎約為1/障11。例3：排軌隊(duì)模栽型服務(wù)那系統(tǒng)僵組成襖：服膽務(wù)員遮（1個）或和等話候室嘉（2人）容組成效，服務(wù)咱規(guī)則鳴：先壘到先刑服務(wù)電。假雖定一斯顧客鳳到達(dá)視系統(tǒng)周時發(fā)智現(xiàn)系瘡統(tǒng)內(nèi)垮已有3個顧牢客，兩則該申顧客黨即離拾去，設(shè)時會間間船隔Δt內(nèi)，焰有一暴個顧所客進(jìn)功入系柜統(tǒng)的欺概率為q，有被訂服務(wù)欠的顧覽客離肝開系攏統(tǒng)的拴概率息為p，設(shè)當(dāng)Δt充分尖小時暖，多憑于一枯個顧限客進(jìn)牲入或脂離開逼系統(tǒng)價實(shí)際叔上是脈不可怒能的英，設(shè)有漸無顧抽客來興到與俯服務(wù)爹是否而完畢兇是相返互獨(dú)嶄立。等候或室服務(wù)遣臺隨機(jī)費(fèi)到達(dá)腎者離去椒者系宿統(tǒng)設(shè)XnX（nΔt）表示尾時刻nΔt時系統(tǒng)喚內(nèi)的喇顧客東數(shù)，斃即系勞統(tǒng)的豆?fàn)顟B(tài)比，番是臣一隨碗機(jī)過釣程，暮狀態(tài)紙空間I=臂{0泛,1省,2菠,3花}，可知正它是縣一個省齊次默馬氏頑鏈。雁下面牢來計畝算此多馬氏鵲鏈的旺一步薄轉(zhuǎn)移翼概率伙。P00表示貿(mào)在系茄統(tǒng)內(nèi)苦沒有袍顧客明的條頭件下描，經(jīng)Δt后仍沒有刻顧客煎的概泡率（搞此處等是條灶件概羞率，達(dá)以下招同）P00=1連-q點(diǎn).P01--夠-表示胳在系捏統(tǒng)內(nèi)唐沒有請顧客蘋的條瓣件下紙，經(jīng)Δt后有嫩一顧客講進(jìn)入賓系統(tǒng)聯(lián)的概旨率，P01=q匙.P10--奪-系統(tǒng)線內(nèi)恰教有一久個顧輔客正員在接蓬受服龍務(wù)的孔條件慣下，化經(jīng)Δt后系統(tǒng)島內(nèi)無嫂人的距概率映，它真等于他在Δt間隔撒內(nèi)顧勒客因木服務(wù)邀完畢勁而離緊去積，且勇無人敗進(jìn)入乳系統(tǒng)唐的概夸率，P10=P（1景-q）P11—系統(tǒng)削內(nèi)恰陣有顧專客的羽條件聽下，臨在Δt間隔垮內(nèi)，訴他因鳳服務(wù)盯完畢顯而離療去，通而另皂一顧疤客進(jìn)漆入系師統(tǒng)，留或者只正在顏接受吊服務(wù)盤的顧睬客將勁繼續(xù)念要求臭服務(wù)桐，且藝無人組進(jìn)入零系統(tǒng)橫的概搏率。P11=p制q+熄(1熊-p裁)(含1-嚼q)桑.P12--筋-正在度接受每服務(wù)鍵的顧系客繼滅續(xù)要怨求服響務(wù)，迫且另艦一個慨顧客盈進(jìn)入抹系統(tǒng)滾的概揮率P12=q拿(1連-q表).P13--移-正在鐮接受野服務(wù)蠟的顧車客繼設(shè)續(xù)要碼求服尼務(wù)，盼且在Δt間隔窩內(nèi)有礦兩個隔顧客鐮進(jìn)入借系統(tǒng)織的概葵率桃，由哲假設(shè)筍，后辰者實(shí)習(xí)際上水是不交可能首發(fā)生云的，P13=0類似尾地，個有P21=P32=p寄(1站-q矮).P22=p醬q+(1偏-p陪)(簡1-紫q)昂,P23=q(1倍-p筋),Pij=0(|i輪-j眠|≥2).P33馳:或者滅一人勵將離初去且供另一合人將炎進(jìn)入貨系統(tǒng)療，或糠者無孤人離至開的愈概率將，P33=啦pq冒+(1撈-p枕)于是絲式該馬版氏鏈箱的一景步轉(zhuǎn)好移概氏率矩蘋陣為1-qq00P(1-q)Pq+(1-p)(1-q)q(1-p)00P(1-q)Pq+(1-p)(1-q)q(1-p)00P(1-q)Pq(1-p)例2試說案明§1例3中的蝴鏈?zhǔn)菧I遍歷蓬的，顧并求勁其極透限分凳布。解監(jiān)依照壤例1，由§1例3中的英一步訓(xùn)轉(zhuǎn)移絞概率晴矩陣p，可算兇得p(攻3)拿=敵p3無零元文。根妄據(jù)定行理，談鏈?zhǔn)前灞闅v濫的，而極皆限分罷布疑滿足洞下列穗方程攪組解之追，垃得唯爐一解CpqCpqpq/)1(,/)1)(1(23322-=--=pp其中假若劣在此純例中鋤，設(shè)p=q=工1/究2,則可匠算得π0=彈1/苗7≈潑0.寬14盤,π1=π2=π3=2爐/7≈歉0.事29庭,即此顧時極晌限分興布為π費(fèi)=（1/奔7，2/院7，2/湯7，2/閥7）。這就供是說摔，經(jīng)你過相罵當(dāng)長推的時猶間后逮，系鏡統(tǒng)中娛無人類的情賀形約盟占14搏%的時剛間，鴿而系睡統(tǒng)中剛有一稻人，碰二人掌，三躁人的拾情形娃各占29世%的時挽間。例3設(shè)一嘴馬氏訊鏈的莊一步避轉(zhuǎn)移界概率后矩陣得為試討不論它蹤蝶的遍封歷性解絲式先算哪得進(jìn)一瞎步可岡驗(yàn)證漸：當(dāng)n為奇皮數(shù)時饅，p(n)=秤p(蹤蝶1)庭=p；n為偶畢數(shù)時己，p(n)=滋p(小2)。這表狀明對顯任一蜜固定燙的j（=1，2，3，4），極限都不肥存在域，按汪定義府，此稠鏈不瘋具遍吐歷性筑。例4、設(shè)魯某地團(tuán)區(qū)16既00居民扁，只辰有甲悔、乙億、丙稻三廠耕的某筋產(chǎn)品敲在該籮地銷越售。趴據(jù)查8月份丟買甲因、乙脊、丙通三廠仔產(chǎn)品君的分林別為48叛0、32余0、80洪0，9月份亂調(diào)查詠發(fā)現(xiàn)列原買經(jīng)甲轉(zhuǎn)絮買乙猜的有48戶，浮轉(zhuǎn)買承丙的貓有96戶，捷原買某乙轉(zhuǎn)老買甲壩的有32戶，眼轉(zhuǎn)買圈丙的堂有64戶；捏原買漁丙轉(zhuǎn)飛買甲律的有64戶，腸轉(zhuǎn)買膛乙的邊有32戶，濃求轉(zhuǎn)招移概唱率矩宗陣，允并求10月、12月市刪場占懸有率徐及極怪限分借布。解：汽頻數(shù)窄轉(zhuǎn)移繁矩陣授為第n個月糠的市委場占陡有率榨為p(n)=腫p佛(0朽)pn9月10月12月一個里例子10、已真知六偉月份付甲，鞋乙，檔丙三獅種型梨號的稼某商濃品在忽某地此有相大同的柿銷售擁額?？菲咴绿璺菁兹璞３趾墼序_顧客遠(yuǎn)的60鋤%，分襖別獲序得乙寺，丙僻的顧鉗客的10饅%和30叨%；乙釘保持贈原有泊顧客當(dāng)?shù)?0選%，分蘆別獲姑得甲謎，丙遵的顧豬客的10裁%和20董%；丙戚保持