隨機(jī)過(guò)程與排隊(duì)論10

隨機(jī)過(guò)程與排隊(duì)論計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐Email：guxf@01二月20232023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－2上一講內(nèi)容回顧齊次馬氏鏈狀態(tài)的分類互通首達(dá)常返與非常返正常返與零常返狀態(tài)空間分解不可約馬氏鏈狀態(tài)的周期性2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－3本講主要內(nèi)容連續(xù)參數(shù)馬爾可夫鏈轉(zhuǎn)移概率函數(shù)、轉(zhuǎn)移矩陣連續(xù)參數(shù)齊次馬氏鏈初始分布、絕對(duì)分布、遍歷性、平穩(wěn)分布轉(zhuǎn)移概率函數(shù)的性質(zhì)狀態(tài)轉(zhuǎn)移速度矩陣生滅過(guò)程2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－4§3.4連續(xù)參數(shù)馬爾可夫鏈類似離散參數(shù)馬氏鏈，只是把離散的時(shí)間參數(shù)改為連續(xù)的時(shí)間參數(shù)，便可得到類似的結(jié)果。

設(shè)隨機(jī)過(guò)程{X(t),t0}，狀態(tài)空間E={0,1,2,…}。若對(duì)于0<t1<t2<…<tn<tn+1及非負(fù)整數(shù)i1,i2,…in,in+1，有P{X(tn+1)＝in+1|X(t1)=i1,X(t2)=i2,…,X(tn)=in}＝P{X(tn+1)＝in+1|X(tn)=in}即馬爾可夫性成立，則稱{X(t),t0}為連續(xù)參數(shù)馬爾可夫鏈。2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－5轉(zhuǎn)移概率函數(shù)

設(shè){X(t),t0}為連續(xù)參數(shù)馬氏鏈，對(duì)任意i,jE＝{0,1,2,…}，任意非負(fù)實(shí)數(shù)s,t，條件概率pij(s,t)＝P{X(t+s)=j|X(s)=i}稱為此馬氏鏈{X(t),t0}的轉(zhuǎn)移概率函數(shù)，顯然我們稱P(s,t)＝(pij(s,t))i,jE為此馬氏鏈的轉(zhuǎn)移矩陣。

這里，pij(s,t)的直觀意義是：系統(tǒng)(或質(zhì)點(diǎn))在時(shí)刻s時(shí)處于狀態(tài)i，再經(jīng)過(guò)t時(shí)間轉(zhuǎn)到狀態(tài)j的條件概率。2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－6連續(xù)參數(shù)齊次馬氏鏈若{X(t),t0}為連續(xù)參數(shù)馬氏鏈的轉(zhuǎn)移概率pij(s,t)與時(shí)間起點(diǎn)s無(wú)關(guān)，即

pij(s,t)＝P{X(s+t)=j|X(s)=i}＝pij(t)則稱{X(t),t0}為連續(xù)參數(shù)齊次馬氏鏈。

類似地，

一般地，我們要求齊次馬氏鏈的轉(zhuǎn)移概率函數(shù)滿足如下的連續(xù)性條件：P(t)＝(pij(t))i,jE稱為此齊次馬氏鏈的轉(zhuǎn)移矩陣。

0pij(t)1，2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－7絕對(duì)分布、遍歷性、平穩(wěn)分布設(shè){X(t),t0}為連續(xù)參數(shù)齊次馬氏鏈則稱{vj，jE}為齊次馬氏鏈{X(t),t0}的平穩(wěn)分布。pj＝P{X(0)=j}，jE，稱{pj,jE}為該馬氏鏈的初始分布；Pj(t)＝P{X(t)=j}，jE，稱{pj(t),jE}為該馬氏鏈的絕對(duì)分布；如果轉(zhuǎn)移概率極限存在，，且與i無(wú)關(guān)則稱此連續(xù)參數(shù)齊次馬氏鏈為遍歷的馬氏鏈，此時(shí)，我們說(shuō)該鏈具有遍歷性。若j>0，，則稱{j,jE}為齊次馬氏鏈{X(t),t0}的極限分布。如果{vj,jE}滿足2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－8轉(zhuǎn)移概率函數(shù)的性質(zhì)0pij(t)1，i,jE；連續(xù)性條件：pij(t)滿足C-K方程矩陣形式: P(t+s)＝P(t)P(s)絕對(duì)概率滿足如果齊次馬氏鏈{X(t),t0}是遍歷馬氏鏈，則2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－9轉(zhuǎn)移概率函數(shù)的性質(zhì)(續(xù)1)設(shè)齊次馬氏鏈{X(t),t0}的狀態(tài)有限，E={0,1,2,…,s}，如果存在t0>0，使得對(duì)任意i,jE，都有pij(t0)>0，則此齊次馬氏鏈{X(t),t0}為遍歷的齊次馬氏鏈。即存在且與i無(wú)關(guān)，并且極限分布{j,jE}是唯一的平穩(wěn)分布：對(duì)固定的i,j，函數(shù)pij(t)是t>0的一致連續(xù)函數(shù)。滿足連續(xù)性條件的連續(xù)參數(shù)齊次馬氏鏈{X(t),t0}存在下列極限其中qi表示在時(shí)刻t時(shí)通過(guò)狀態(tài)i的通過(guò)速度(或通過(guò)強(qiáng)度)；qij表示時(shí)刻t時(shí)從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的速度(或強(qiáng)度)，qij統(tǒng)稱轉(zhuǎn)移速度。2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－10狀態(tài)轉(zhuǎn)移速度矩陣

設(shè)連續(xù)參數(shù)齊次馬氏鏈{X(t),t0}，狀態(tài)空間E={0,1,2,…,s}，下面s+1階方陣：稱為齊次馬氏鏈{X(t),t0}的狀態(tài)轉(zhuǎn)移速度矩陣，簡(jiǎn)稱Q-矩陣。

由連續(xù)性條件和導(dǎo)數(shù)的定義，顯然有即 P’(+0)＝Q。2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－11轉(zhuǎn)移概率函數(shù)的性質(zhì)(續(xù)2)設(shè)齊次馬氏鏈{X(t),t0}，狀態(tài)空間E={0,1,2,…,s}，其轉(zhuǎn)移速度設(shè){X(t),t0}為連續(xù)參數(shù)齊次馬氏鏈，當(dāng)qi<+，＝qi時(shí)，滿足柯?tīng)柲缏宸蚝笸宋⒎址匠碳? P’(t)＝QP(t)設(shè){X(t),t0}為連續(xù)參數(shù)齊次馬氏鏈,當(dāng)qi<+,＝qri時(shí)，則有柯?tīng)柲缏宸蚯斑M(jìn)微分方程即 P’(t)＝P(t)Q2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－12轉(zhuǎn)移概率函數(shù)的性質(zhì)(續(xù)3)絕對(duì)概率滿足（?？?普朗克方程）齊次不可約連續(xù)參數(shù)馬氏鏈{X(t),t0}存在極限分布，即為平穩(wěn)分布{j,jE}即 Q＝0（零向量）2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－13§3.5生滅過(guò)程

設(shè){X(t),t0}是連續(xù)參數(shù)齊次馬氏鏈，狀態(tài)空間E＝{0,1,2,…,N}，如果它的狀態(tài)轉(zhuǎn)移速度矩陣為則稱{X(t),t0}為生滅過(guò)程。2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－14生滅過(guò)程的轉(zhuǎn)移概率

上述生滅過(guò)程{X(t),t0}的定義可等價(jià)地用轉(zhuǎn)移概率pij(t)表示為：

生滅過(guò)程的狀態(tài)空間可以推廣到可數(shù)無(wú)窮多個(gè)狀態(tài)的情形。2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－15生滅過(guò)程的概率意義

設(shè)X(t)表示時(shí)刻t時(shí)某生物群體的個(gè)數(shù)，{X(t),t0}為生滅過(guò)程，由上式可見(jiàn)，在長(zhǎng)度為t的一小段時(shí)間內(nèi)，如果忽略t的高階無(wú)窮小量o(t)后，生滅過(guò)程的狀態(tài)變化只有3種情況：i→i+1，狀態(tài)增加1，可理解為“生”了一個(gè)個(gè)體，其概率為it，其生長(zhǎng)率為i；i→i-1，狀態(tài)減少1，可理解為“死”了一個(gè)個(gè)體，其概率為it，其生長(zhǎng)率為i；i→i，狀態(tài)不增不減，群體個(gè)數(shù)不變，其概率為1-(i+i)t；狀態(tài)增加或減少2個(gè)或2個(gè)以上的概率為0。

生滅過(guò)程的所有狀態(tài)都是互通的，但在有限短時(shí)間內(nèi)，只能在相鄰兩個(gè)狀態(tài)內(nèi)變化，或者“生”一個(gè)，或者“死”一個(gè)，或者狀態(tài)無(wú)變化，故稱之為生滅過(guò)程。2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－16生滅過(guò)程的狀態(tài)轉(zhuǎn)移速度圖0123n-1n10……234n-1nn+11nn-2n-1232023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－17生滅過(guò)程滿足的柯?tīng)柲缏宸蚍匠炭聽(tīng)柲缏宸蚝笸朔匠蹋篜’(t)＝QP(t)，P(+0)＝I(單位陣)柯?tīng)柲缏宸蚯斑M(jìn)方程： P’(t)＝P(t)Q，P(+0)＝I2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－18?？耍绽士朔匠探^對(duì)概率滿足福克－普朗克方程：(1)推廣到無(wú)限狀態(tài)E{0,1,2,…,n,…}為：(2)2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－19?？耍绽士朔匠探獾拇嬖谛詫?duì)有限狀態(tài)E＝{0,1,2,…,N}的生滅過(guò)程，若滿足pj(t)0，，則對(duì)任給的初始條件，方程組(1)的解存在、唯一，而且對(duì)可列無(wú)限狀態(tài)E＝{0,1,2,…,n,…}的生滅過(guò)程，若而且滿足pj(t)0，，則對(duì)任給的初始條件，方程組(2)的解存在、唯一，且2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－20極限定理對(duì)有限狀態(tài)E＝{0,1,2,…,N}的生滅過(guò)程，{j，j=0,1,2,…,N}存在，與初始條件無(wú)關(guān)，且即{j，j=0,1,…,N}為平穩(wěn)分布。對(duì)可列無(wú)限狀態(tài)E＝{0,1,2,…,n,…}的生滅過(guò)程，若有條件成立，則{j，j=0,1,2,…}存在，與初始條件無(wú)關(guān)，且令j>0，及，即{j，j=0,1,…,n,…}為平穩(wěn)分布。j>0，2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－21有限狀態(tài)生滅過(guò)程的平穩(wěn)分布

有限狀態(tài)E={0,1,2,…,N}的生滅過(guò)程{X(t),t0}是遍歷的齊次連續(xù)參數(shù)馬氏鏈。生滅過(guò)程存在極限分布即為平穩(wěn)分布＝{j,jE}。 Q＝0

即2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－22有限狀態(tài)生滅過(guò)程的平穩(wěn)分布的解

解得生滅過(guò)程{X(t),t0}，E={0,1,2,…,N}的平穩(wěn)分布＝{j,jE}為：

當(dāng)0＝1＝…＝N-1＝，1＝2＝…＝N＝時(shí)，有2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－23無(wú)限狀態(tài)生滅過(guò)程的平穩(wěn)分布無(wú)限狀態(tài)E={0,1,2,…,}的生滅過(guò)程{X(t),t0}若滿足是遍歷的齊次連續(xù)參數(shù)馬氏鏈。生滅過(guò)程存在極限分布即為平穩(wěn)分布＝{j,jE}。Q＝0即及2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－24無(wú)限狀態(tài)生滅過(guò)程的平穩(wěn)分布的解

解得生滅過(guò)程{X(t),t0}，E={0,1,2,…,}的平穩(wěn)分布＝{j,jE}為：特別，當(dāng)0＝1=2＝…＝，1＝2＝3＝…＝時(shí)，只要/＜1，則{j,jE}存在，且有2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－25注由生滅過(guò)程{X(t),t0}的平穩(wěn)分布可得：jj＝j(luò)-1j-1

此式的概率解釋為：當(dāng)群體大小X(t)處于統(tǒng)計(jì)平衡時(shí)，在一個(gè)很小的時(shí)間區(qū)間t時(shí)，群體大小增加1的概率(j-1j-1)等于群體大小減少1的概率(jj)。當(dāng)j=0時(shí)，生滅過(guò)程{X(t),t0}為純生過(guò)程，即“滅”是不可能的；當(dāng)j=0時(shí)，生滅過(guò)程{X(t),t0}為純滅過(guò)程，即“生”是不可能的2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－26例1泊松過(guò)程{N(t),t0}是生率為的純生過(guò)程。狀態(tài)空間E＝{0,1,2,…}狀態(tài)轉(zhuǎn)移速度圖01230…n-1n…000000狀態(tài)轉(zhuǎn)移速度矩陣2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－27例1(續(xù))前進(jìn)方程： P’(t)＝P(t)Q， P(+0)=I即解得轉(zhuǎn)移概率也可直接按轉(zhuǎn)移概率的定義來(lái)求Pij(t)：(平穩(wěn)獨(dú)立增量過(guò)程)Pij(t)＝P{N(t+s)=j|N(s)=i}＝P{N(t+s)-N(s)=j-i|N(s)-N(0)=i-0}

＝P{N(t+s)-N(s)=j-i}＝P{N(t)=j-i} 獨(dú)立增量增量的平穩(wěn)性2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－28例2機(jī)器維修問(wèn)題一部機(jī)器正常工作時(shí)間服從參數(shù)為的負(fù)指數(shù)分布，若出故障，維修時(shí)間服從參數(shù)為的負(fù)指數(shù)分布，二者獨(dú)立。令X(t)表示時(shí)刻t出故障的機(jī)器數(shù)，則{X(t),t0}是一個(gè)狀態(tài)空間E＝{0,1}的生滅過(guò)程。狀態(tài)轉(zhuǎn)移速度圖01狀態(tài)轉(zhuǎn)移速度矩陣前進(jìn)方程： P’(t)＝P(t)Q， P(+0)=I即2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－29例2(續(xù)1)解得極限分布2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－30例2(續(xù)2)平穩(wěn)分布(等于極限分布)2023/2/1計(jì)算機(jī)科學(xué)與工程學(xué)院顧小豐37－31例3設(shè)有2個(gè)通信通道，每個(gè)通道正常工作時(shí)間服從參數(shù)為的負(fù)指數(shù)分布。2個(gè)通道出故障是統(tǒng)計(jì)獨(dú)立的，若通道出故障，由2個(gè)維修人員獨(dú)立維修。修理的時(shí)間服從參數(shù)為的負(fù)指數(shù)分布。假設(shè)2個(gè)通道在t=0時(shí)正常工作，設(shè)X(t)表示時(shí)刻t時(shí)出故障的通道數(shù)，則{X(t),t0}是狀態(tài)空間E＝{0,1,2}的生滅過(guò)程。狀態(tài)轉(zhuǎn)移速度圖狀態(tài)轉(zhuǎn)移速度矩陣012222023/2/1計(jì)