隨機(jī)過(guò)程知識(shí)點(diǎn)

第一章：預(yù)備知識(shí)§1.1概率空間§1.1概率空間隨機(jī)試驗(yàn)，樣本空間記為Q。定義1.1設(shè)Q是一個(gè)集合，F(xiàn)是。的某些子集組成的集合族。如果OuF；右Auf，則A—O\Aef；若Auf,n—1,2,…，則UAuF；nnn—1則稱F為b-代數(shù)(Borel域)。(O,F)稱為可測(cè)空間，F(xiàn)中的元素稱為事件。由定義易知：定義1?《設(shè)(O,F)是可測(cè)空間，P(?)是定義在F上的實(shí)值函數(shù)。如果則稱P是(O,F)上的概率，(O，F(xiàn)，P)稱為概率空間，P(A)為事件A的概率。定義1.3設(shè)(O,F，P)是概率空間，GuF，如果對(duì)任意A,A，…,AuG，n—1,2,…有:1 2npfHa]=Hp(a)ii'i—1丿i—1則稱G為獨(dú)立事件族?！?.2隨機(jī)變量及其分布隨機(jī)變量X，分布函數(shù)F(x)，n維隨機(jī)變量或n維隨機(jī)向量，聯(lián)合分布函數(shù)，&,tuT｝是獨(dú)立的?！?.3隨機(jī)變量的數(shù)字特征 t定義1?7設(shè)隨機(jī)變量X的分布函數(shù)為F(x)，若^丨xIdF(x)<g，則稱—gE(X)= xdF(x)—g為X的數(shù)學(xué)期望或均值。上式右邊的積分稱為L(zhǎng)ebesgue-Stieltjes積分。方差，Bxy—EIxX—EX)Y—EY)」為X、Y的協(xié)方差，而為X、Y的相關(guān)系數(shù)。若PXY—0,則稱X、Y不相關(guān)。(Schwarz不等式)若EX2<g,EY2<g,則§1.4特征函數(shù)、母函數(shù)和拉氏變換定義1.10設(shè)隨機(jī)變量的分布函數(shù)為F(x)，稱為X的特征函數(shù)隨機(jī)變量的特征函數(shù)具有下列性質(zhì)：⑴g(0)—1,|g(t)|<1,g(—t)—麗1(2)g(t)在(—g,g)上一致連續(xù)。(3)g(k)(0)—ikE(Xk)(4)若X,X, ,X是相互獨(dú)立的隨機(jī)變量，則X=X+X+ +X的特征函數(shù)TOC\o"1-5"\h\z1 2 n 1 2 ng(t)—g(t)g(t)g(t)，其中g(shù)(t)是隨機(jī)變量X的特征函數(shù)，i—1,2,,n.1 2 ?n i i .…定義1.11設(shè)X—(X,X,,X)是n維隨機(jī)變量，t=(t,t,,t)uR,則稱1 2 n 1 2 ng(t)?—g(t,t, ,t)—E(eitX')—E[exp(i工tX)],12n kkk—1為X的特征函數(shù)。 …定義1.12設(shè)X是非負(fù)整數(shù)值隨機(jī)變量，分布列則稱P(s)d=E(SX)=蘭Pskkk=0為X的母函數(shù)?！?.5n維正態(tài)分布定義1.13若n維隨機(jī)變量X=(X,X，…,X)的聯(lián)合概率密度為12n式中，a=(a,a，…,a)是常向量，B=(b)是正定矩陣，則稱X為n維正態(tài)隨機(jī)變量或服從n維正態(tài)分1 2 n jnxn布，記作X~N(a,B)。可以證明，若X?N(a,B)，則X的特征函數(shù)為為了應(yīng)用的方便，下面，我們不加證明地給出常用的幾個(gè)結(jié)論。性質(zhì)1若X?N(a,B)則E(X)=a,B=b,l=1,2，…,n。k kXX kl性質(zhì)2設(shè)X?N(a,B)，Y=XA，若ABA正定，則Y?N(aA,A'BA)。即正態(tài)隨機(jī)變量的線性變換仍為正態(tài)隨機(jī)變量。性質(zhì)3設(shè)X=(X,X,X,X)是四維正態(tài)隨機(jī)變量，E(X)=0,k=1,2,3,4，貝y1 2 3 4 k§1.6條件期望給定Y=y時(shí)，X的條件期望定義為由此可見(jiàn)除了概率是關(guān)于事件｛Y=y｝的條件概率以外，現(xiàn)在的定義與無(wú)條件的情況完全一樣。E(X|Y=y)是y的函數(shù)，y是Y的一個(gè)可能值。若在已知Y的條件下，全面地考慮X的均值，需要以Y代替y，E(X|Y)是隨機(jī)變量Y的函數(shù)，也是隨機(jī)變量，稱為X在Y下的條件期望。條件期望在概率論、數(shù)理統(tǒng)計(jì)和隨機(jī)過(guò)程中是一個(gè)十分重要的概念，下面我們介紹一個(gè)極其有用的性質(zhì)。性質(zhì) 若隨機(jī)變量X與Y的期望存在，則E(X)=E[E(XIY)]=JE(XIY=y)dF(y) (1)Y如果Y是離散型隨機(jī)變量，則上式為如果Y是連續(xù)型，具有概率密度f(wàn)(x),則(1)式為第二章隨機(jī)過(guò)程的概念與基本類型

§2.1隨機(jī)過(guò)程的基本概念定義2.1設(shè)(。，F(xiàn)P)是概率空間,T是給定的參數(shù)集，若對(duì)每個(gè)teT,有一個(gè)隨機(jī)變量X(t,e)與之對(duì)應(yīng)，則稱隨機(jī)變量族｛X(t,e),tgT｝是(0,F,P)的隨機(jī)過(guò)程，簡(jiǎn)記為隨機(jī)過(guò)程｛X(t),teT｝oT稱為參數(shù)集，通常表示時(shí)間。通常將隨機(jī)過(guò)程｛X(t,e),teT｝解釋為一個(gè)物理系統(tǒng)。X(t)表示在時(shí)刻t所處的狀態(tài)。X(t)的所有可能狀態(tài)所構(gòu)成的集合稱為狀態(tài)空間或相空間，記為Io從數(shù)學(xué)的觀點(diǎn)來(lái)說(shuō)，隨機(jī)過(guò)程｛X(t,e),teT｝是定義在TxQ上的二元函數(shù)。對(duì)固定的t,X(t,e)是定義在T上的普通函數(shù)，稱為隨機(jī)過(guò)程｛X(t,e),teT｝的一個(gè)樣本函數(shù)或軌道，樣本函數(shù)的全體稱為樣本函數(shù)的空間?！?.2隨機(jī)過(guò)程的函數(shù)特征X=｛X(t),teT｝的有限維分布函數(shù)族。有限維特征函數(shù)族：其中：定義2.3設(shè)X=｛X(t),teT｝的均值函數(shù)m(t)defE[X(t)],teT。二階矩過(guò)程，協(xié)方差函數(shù)：D(t)=B(t,t)defE[X(t)-m(t)]2,teTX X X相關(guān)函數(shù)：R(s,t)=E[X(s)X(t)]X定義2.4設(shè)｛X(t),teT｝,｛Y(t),teT｝是兩個(gè)二階矩過(guò)程，

互協(xié)方差函數(shù)，互相關(guān)函數(shù)?！?.3復(fù)隨機(jī)過(guò)程定義2.5 設(shè)｛X,tgT｝,｛Y,tgT｝是取實(shí)數(shù)值的兩個(gè)隨機(jī)過(guò)程，若對(duì)任意tGTttZ二X+iY, t t tt2.2復(fù)隨機(jī)過(guò)程｛X,tgT｝的協(xié)方差函數(shù)B(s,t)t2.2復(fù)隨機(jī)過(guò)程｛X,tgT｝的協(xié)方差函數(shù)B(s,t)具有性質(zhì)t 對(duì)稱性：B(s,t)二B(t,s)；非負(fù)定性1)2)§1)2)§2.4幾種重要的隨機(jī)過(guò)程一、 正交增量過(guò)程定義2.6設(shè)&CLgT｝是零均值的二階矩過(guò)程，若對(duì)任意的t<t<t<tgT,有公式34TOC\o"1-5"\h\zeIx(^2)—xi)Ix(tJ—)]=o， 1234則稱x(t)正交增量過(guò)程。二、 獨(dú)立增量過(guò)程和t<t<…<tGT,隨機(jī)變量又稱可加過(guò)和t<t<…<tGT,隨機(jī)變量又稱可加過(guò)x(t)—xC)xC)—x(t),…,xC)—xC)是互相獨(dú)立的，則稱&C)tgt｝是獨(dú)立增量過(guò)程2 1 3 2 n n—1程。定義2.8設(shè)&C)tgT｝是平穩(wěn)獨(dú)立增量過(guò)程，若對(duì)任意s<t,隨機(jī)變量xC)-x(s)的分布僅依賴于t—s，則稱&C)tgT｝是平穩(wěn)獨(dú)立增量過(guò)程。三、 馬爾可夫過(guò)程定義2.9設(shè)&QtgT｝為隨機(jī)過(guò)程，若對(duì)任意正整數(shù)n及t<t,…<t,P(X(t)=x,…,XC)=x)>0，且其條件分布1 P&(t )"= xIX(r )=：,???,X"(t )="； ｝=P&(t )二xIXC )=x ｝,(2.6)TOC\o"1-5"\h\znn1 1 n—1 n—1 nn n—1 n—1則稱儀(t》tgT｝為馬爾可夫過(guò)程。四、 正態(tài)過(guò)程和維納過(guò)程定義2.10設(shè)&QtgT｝是隨機(jī)過(guò)程，若對(duì)任意正整數(shù)n和t,t，…tgT,(X()X()???,XC))是1 2G 1 2 nn維正態(tài)隨機(jī)變量，則稱儀(t21gT｝是正態(tài)過(guò)程或高斯過(guò)程。定義2.11 設(shè)W(t),—g<t<g｝為隨機(jī)過(guò)程，如果(1)W(0)二0；(2)它是獨(dú)立、平穩(wěn)增量過(guò)程；( )(3)對(duì)Vs,t，增量W(t)一W(s)~N6,b211一sI?b2>0，則稱W(t),—g<t<g｝為維納過(guò)程，也稱設(shè)W(t設(shè)W(t),—s<t<g｝是參數(shù)為b2的維納過(guò)程，則任意tG(—g,g),W(t)~N6,b211J；對(duì)任意—g<a<s,t<g,El(W(s)—W(a))(W(t)—W(a))Lb2min(s—a,t—a),定理2.3(1)特別：Rw(s,t)=b2min(s,t)。五、平穩(wěn)過(guò)程定義2.12設(shè)&QteT｝是隨機(jī)過(guò)程，如果對(duì)任意常數(shù)t和正整數(shù)n,當(dāng)t，…,tgT,t+t，…,t+tgT時(shí)，仗《),xC),…x(t)) 1 "與(X(t+t),X(t+t),…,X(t+t))有相同的聯(lián)合分布，則稱(X()teT｝為嚴(yán)平穩(wěn)過(guò)程，也稱狹義平穩(wěn)過(guò)1 2 n程。定義2.13設(shè)&QteT｝是隨機(jī)過(guò)程，如果&QteT｝是二階矩過(guò)程；對(duì)于任意tgt,mcLeIxQL常數(shù)；對(duì)任意的S,tgT,RxC,t)=R(t-s)，則稱&QteT｝為廣義平穩(wěn)過(guò)程，簡(jiǎn)稱為平穩(wěn)過(guò)程。若T為離散集，則稱平穩(wěn)過(guò)程&(》teT｝為平穩(wěn)序列。第三章泊松過(guò)程§3.1 泊松過(guò)程的定義和例子定義3.1計(jì)數(shù)過(guò)程定義3.2稱計(jì)數(shù)過(guò)程｛X(t),t>0｝為具有參數(shù)九>0的泊松過(guò)程，若它滿足下列條件X(0)=0；X(t)是獨(dú)立增量過(guò)程；在任一長(zhǎng)度為t的區(qū)間中，事件A發(fā)生的次數(shù)服從參數(shù)九t>0的泊松分布，即對(duì)任意s,t>0,有注意，從條件(3)知泊松過(guò)程是平穩(wěn)增量過(guò)程且E[X(t)]=Xt。由于，九=E[%(t)]表示單位時(shí)間內(nèi)事件At發(fā)生的平均個(gè)數(shù)，故稱九為此過(guò)程的速率或強(qiáng)度。定義3.3 稱計(jì)數(shù)過(guò)程｛X(t),t>0｝為具有參數(shù)九>0的泊松過(guò)程，若它滿足下列條件X(0)=0；X(t)是獨(dú)立、平穩(wěn)增量過(guò)程；X(t)滿足下列兩式：P｛X(t+h)—X(t)=1｝=九h+o(h),(3.2)P｛X(t+h)—X(t)>2｝二o(h) '定理3.1定義3.2與定義3.3是等價(jià)的。3.2泊松過(guò)程的基本性質(zhì)一、數(shù)字特征設(shè)｛X(t),t>0｝是泊松過(guò)程，一般泊松過(guò)程的有B(s,t)=Xmin(s,t)。X有特征函數(shù)定義，可得泊松過(guò)程的特征函數(shù)為二、時(shí)間間隔與等待時(shí)間的分布W為第n次事件A出現(xiàn)的時(shí)刻或第n次事件A的等待時(shí)間，T是第n個(gè)時(shí)間間隔，它們都是隨機(jī)變量。nn定理3.2設(shè)｛X(t),t>0｝是具有參數(shù)九的泊松分布，T(n>1)是對(duì)應(yīng)的時(shí)間間隔序列，則隨機(jī)變量nT(n二1,2,…)是獨(dú)立同分布的均值為1/九的指數(shù)分布。n定理3.3 設(shè)｛W,n>1｝是與泊松過(guò)程｛X(t),t>0｝對(duì)應(yīng)的一個(gè)等待時(shí)間序列，則W服從參數(shù)為n與九的nnr分布，其概率密度為三、到達(dá)時(shí)間的條件分布定理3.4 設(shè)｛X(t),t>0｝是泊松過(guò)程，已知在[0,t]內(nèi)事件A發(fā)生n次，則這n次到達(dá)時(shí)間

W<W<???<W與相應(yīng)于n個(gè)[0,t]上均勻分布的獨(dú)立隨機(jī)變量的順序統(tǒng)計(jì)量有相同的分布。12n§3.3非齊次泊松過(guò)程定義3.4稱計(jì)數(shù)過(guò)程｛X(t),t>0｝為具有跳躍強(qiáng)度函數(shù)九(t)的非齊次泊松過(guò)程，若它滿足下列條件：⑴ X(0)=0；(2)X(t)是獨(dú)立增量過(guò)程；P｛X(t+h)—X(t)=1｝=九(t)h+o(h)(3)P｛X(t+h)—X(t)>2｝二o(h)非齊次泊松過(guò)程的均值函數(shù)為：定理3.5設(shè)｛X(t),t>0｝是具有均值函數(shù)m(t)=ft九(s)ds的非齊次泊松過(guò)程，則有X0或上式表明P｛X(t+s)-X(t)=n｝不僅是t的函數(shù)，也是s的函數(shù)。3.4復(fù)合泊松過(guò)程定義3.5設(shè)｛N(t),t>0｝是強(qiáng)度為九的泊松過(guò)程，｛Yk二1,2,...｝是一列獨(dú)立同分布隨機(jī)變量，且與k,｛N(t),t>0｝獨(dú)立，令則稱｛X(t),t>0｝為復(fù)合泊松過(guò)程。N(t)定理3.6設(shè)x(t)=EN(t)定理3.6設(shè)x(t)=EYkt>0,是復(fù)合泊松過(guò)程，則k=1(1)。｛x(t),t>0｝是獨(dú)立增量過(guò)程；(2)的到達(dá)率。(3)X⑴的特征函數(shù)gX(t)(u)二eXpMt[gY(U)-1]｝，其中g(shù)Y(U)是隨機(jī)變量Y1的特征函數(shù)；九是事件若E(Y2)<°則E[X(t)]二九tE[Y],D[X(t)]二九tE[Y2].1第4章馬爾可夫鏈馬爾可夫鏈的概念及轉(zhuǎn)移概率§4.1一、 馬爾可夫鍵的定義定義1設(shè)有隨機(jī)過(guò)程｛X,neT｝，n若對(duì)于任意的整數(shù)neT和任意的i,i，…,i eI,條件概率滿足01n+1則稱｛X,neT｝為馬爾可夫鏈，簡(jiǎn)稱馬氏鏈。n二、 轉(zhuǎn)移概率定義2稱條件概率為馬爾可夫鏈｛X,neT｝在時(shí)刻n的一步轉(zhuǎn)移概率，其中i,je/,簡(jiǎn)稱為轉(zhuǎn)移概率。n定義3若對(duì)任意的i,jeI,馬爾可夫鏈｛X,neT｝的轉(zhuǎn)移概率p..(n)與n無(wú)關(guān)，則稱馬爾可夫鏈?zhǔn)驱R次的,ij并記p(n)為

ij定義4定理1列性質(zhì)：定義5為｛X,nenp。ij稱條件概率為馬爾可夫鏈｛X,neT｝的n步轉(zhuǎn)移概率，n設(shè)｛X,neT｝為馬爾可夫鏈，則對(duì)任意整數(shù)n>0,0<l<n和i,jeI，n步轉(zhuǎn)移概率p(")具有下ij設(shè)｛X,neT｝為馬爾可夫鏈，稱nT｝的初始概率和絕對(duì)概率，并分別稱｛P,jeI｝和｛p(n),jeI｝為｛X,neT｝的初始分布和絕對(duì)分

jj布，簡(jiǎn)記為｛p｝和｛p(n)｝。定理2設(shè)｛X,neT｝為馬爾可夫鏈，則對(duì)任意jeI和n>1，絕對(duì)概率p(n)具有下列性質(zhì):nj定理3設(shè)｛X,neT｝為馬爾可夫鏈，則對(duì)任意i,i，…,ieI和n>1，有§4.2 馬爾可夫鏈的狀態(tài)分類

一、狀態(tài)分類假設(shè){X,n>0}是齊次馬爾可夫鏈，其狀態(tài)空間I—{0,1,2, }，轉(zhuǎn)移概率是p,i,jeI,TOC\o"1-5"\h\zn ij初始分布為{p,i,jeI}oj …定義4.6 如集合{n:n>1,p（n）>0}非空，則稱該集合的最大公約數(shù)d—d（i）—G.C.D{n:p（n）>0}為狀態(tài)i的ii ii周期。如d>1就稱i為周期的，如d—1就稱i為非周期的。（若對(duì)每一個(gè)不可被d整除的n，有p（n）=0，且d是ii具有此性質(zhì)的最大正整數(shù)，則稱d為狀態(tài)i的周期。）引理4.1如i的周期為d,則存在正整數(shù)M,對(duì)一切n>M，有p（nd）>0。ii定義對(duì)jES,記4.15）f（n）—P{X—j,X豐j,k—1,2, ,n-11X—i},n>24.15）TOC\o"1-5"\h\zij n k 0稱f（n）是系統(tǒng)在0時(shí)從i出發(fā)經(jīng)過(guò)n步轉(zhuǎn)移后首次到達(dá)狀態(tài)j的概率，而f（-）則是在0時(shí)從i出發(fā)，系統(tǒng)在有限ij ij步轉(zhuǎn)移內(nèi)不可能到達(dá)狀態(tài)j的概率。我們將f（n）和f..統(tǒng)稱為首達(dá)概率（又稱首中概率）。ij j引理（1）（2）0<f（n）<f Vi,j,n引理（1）（2）\o"CurrentDocument"ij ij定義4.7若f=1，則稱狀態(tài)i為常返的；定義4.7若f=1，則稱狀態(tài)i為常返的；若f<1，則稱狀態(tài)i為非常返的。ii ii定義4.8如卩<8，則稱常返態(tài)i為正常返的：如卩—8，則稱常返態(tài)i為零常返的，非周期的正常返態(tài)稱i i為遍歷狀態(tài)。從狀態(tài)是否常返，如常返的話是否正常返，如正常返的話是否非周期等三層次上將狀態(tài)區(qū)分為以下的類型f（n）與p（n）有如下關(guān)系：ij ij定理4.4對(duì)任意狀態(tài)i,j，及1<n<8，有p（n）—Xf（k）p（n-k）—Xf（n-k）p（k）.ij ijjj ij jjk—1 k—0引理4.2G.C.D{n:n>1,p（n）>0}—G.C.D{n:n>1,f（n）>0}.二、常返態(tài)的性質(zhì)及其性質(zhì)定理4.5 狀態(tài)i常返的充要條件為Xp—8iin—04.16）iiii（4.18）如i非常返，則定理4.7 設(shè)i常返且有周期d，則dlimp（nd）— .i—8時(shí),其中卩.為i的平均返回時(shí)間。當(dāng)卩ii推論 設(shè)i常返，則（4.26）i遍歷olimp（n）——>0。

njiii遍歷olimp（n）——>0。

njii 卩iins定理4.8可達(dá)關(guān)系與互通關(guān)系都具有傳遞性，即如果iTj,jTk，則iTk；如果i呂k,j鈴k，則i今ko定理4.9如ioj，則（1）i與j同為常返或非常返，若為常返，則它們同為正常返或零常返；（2）i與j有相同的周期。§4.3狀態(tài)空間的分解定義4.9狀態(tài)空間I的子集C稱為（隨機(jī)）閉集，如對(duì)任意ieC及k電C都有p=0。閉集ikC稱為不可約的，如C的狀態(tài)互通。馬氏鏈｛X｝稱為不可約的，如其狀態(tài)空間不可約。n引理4.4C是閉集的充要條件為對(duì)任意ieC及k電C都有p（n）=0，n$l。ik稱狀態(tài)i為吸收的，如p=1。顯然狀態(tài)i吸收等價(jià)于單點(diǎn)集｛i｝為閉集。ii定理4.10任一馬氏鏈的狀態(tài)空間I，可唯一地分解成有限個(gè)或可列個(gè)互不相交的子集D,C,C,之和，使得12每一C是常返態(tài)組成的不可約閉集。???nC中的狀態(tài)同類，或全是正常返，或全是零常返。它們有相同的周期且?guī)?1,i,keC。n jk nD由全體非常返狀態(tài)組成。自C中的狀態(tài)不能到達(dá)D中的狀態(tài)。定義4.10稱矩陣（a.）為隨機(jī)矩陣，如其元素非負(fù)且每i有工a=1Oij ij顯然k步轉(zhuǎn)移矩陣P（k）=（p（k））為隨機(jī)矩陣。ij引理4.5設(shè)C為閉集，又G=（p（k））,i,juC，是C上所得的（即與C相應(yīng)的）k步轉(zhuǎn)移子ij矩陣，則G仍是隨機(jī)矩陣。定理4.11周期為d的不可約馬氏鏈，其狀態(tài)空間C可唯一地分解為d個(gè)互不相交地子集之和，即C—\|G,Gp|G=0,r主s, （4.31）TOC\o"1-5"\h\zrr S且使得自G中任一狀態(tài)出發(fā),，經(jīng)一步轉(zhuǎn)移必進(jìn)入G中（其中G—Gr r+1 d 0定理4.12設(shè)｛X,n>0｝是周期為d的不可約馬氏鏈，則在定理4.11的結(jié)論下有n（1） 如只在時(shí)刻0,d,2d,上考慮｛X｝，即得一新馬氏鏈，其轉(zhuǎn)移陣P（d）—（p（d）），對(duì)此新鏈,n ij每一G是不可約閉集，且G中的狀態(tài)是非周期的。（2） 如原馬氏鏈｛X｝常返,｛X｝也常返。n nd§4.4 pj）的漸近性質(zhì)與平穩(wěn)分布ij一、p（n）的漸近性質(zhì)ij定理4.13如j非常返或零常返，則limp（n）=0，VieI （4.33）nT^ij推論1有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限馬氏鏈必為正常返的。推論2如馬氏鏈有一個(gè)零常返狀態(tài)，則必有無(wú)限多個(gè)零常返狀態(tài)。定理4.14如j正常返，周期為d，則對(duì)任意i及0<r<d-1有l(wèi)imp（nd+r）—f（r）— （4.37）ntij ij卩.推論設(shè)不可約、正常返、周期d的馬'氏鏈，其狀態(tài)空間為C，則對(duì)一切i,jeC，有

limp(nd)nx0ij—,如i與j同屬于子集Glimp(nd)nx0ij—,如i與j同屬于子集Gs,4.38)0,否則，其中C=G為定理4.11中所給出。s=0s特別，如d=1,則對(duì)一切i,j有l(wèi)imp(nTgnij(4.39)定理4.15 對(duì)任意狀態(tài)i,j,有推論如｛X｝不可約，nlim—￡nTgnk=1常返，則對(duì)任意i,j，有1卩=g時(shí)，理解1jp(k)=一 卩.=g時(shí)，理解——=0ij卩j卩.jj定義4.11稱概率分布｛兀，je/｝為馬爾可夫鏈的平穩(wěn)分布,腕工p,jiijieI若它滿足4.41)工兀=1,兀>0.ijjeI(4.42)值得注意的是，對(duì)平穩(wěn)分布｛兀，jeI｝，有j(4.42)兀=工兀p(n)j iij定理4.16不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布i定理4.16不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布｛丄,jeI｝。u推論1有限狀態(tài)的不可約非周期馬爾可夫鏈必存在平穩(wěn)分布。推論2若不可約馬爾可夫鏈的所有狀態(tài)是非常返或零常返的，則不存在平穩(wěn)分布.推論3若｛兀jeI｝是馬爾可夫鏈的平穩(wěn)分布，則j第五章連續(xù)時(shí)間的馬爾可夫鏈§5.1連續(xù)時(shí)間的馬爾可夫鏈定義5.1設(shè)隨機(jī)過(guò)程｛X(t),t$0｝,狀態(tài)空間I=｛i,n>0｝,若對(duì)于任意0<t<t< <t及TOC\o"1-5"\h\z,. n 1 2 n+1i,i,,ieI有12 n+1=P｛X(t)=i|X(t)=i｝ (5.1)n+1 n+1 n n則稱｛X(t),120｝為連續(xù)時(shí)間的馬爾可夫鏈。記(5.1)式條件概率的一般形式為p(s,t)=P｛X(s+t)=j|X(s)=i｝ (5.2)ij定義5.2若(5.2)式的轉(zhuǎn)移概率與s無(wú)關(guān)，則稱連續(xù)時(shí)間馬爾可夫鏈具有平穩(wěn)的或齊次的轉(zhuǎn)移概率，此時(shí)轉(zhuǎn)移概率簡(jiǎn)記為p(s,t)=p(t) (5.3)ij ij其轉(zhuǎn)移概率矩陣簡(jiǎn)記為P(t)=(p(t)),(i,jeI,t>0)。ij以下的討論均假定我們所考慮的連續(xù)時(shí)間馬爾柯夫鏈都具有齊次轉(zhuǎn)移概率。為方便起見(jiàn)，簡(jiǎn)稱為齊次馬爾可夫過(guò)程。定理5.1.1齊次馬爾可夫過(guò)程的轉(zhuǎn)移概率具有以下性質(zhì)：其中(3)式為馬爾可夫過(guò)程的Chapman-Kolmogorov(簡(jiǎn)稱C-K)方程。(1)，(2)由概率定義及p(t)ij的定義易知，下面只證明(3)。定義5.1.3對(duì)于任一t$0,記分別稱｛p(t),jeI｝和｛p,jeI｝為齊次馬爾可夫過(guò)程的絕對(duì)概率分布和初始概率分布。性質(zhì)5.1.1齊次馬爾可夫過(guò)程的絕對(duì)概率及有限維概率分布具有以下性質(zhì)：§5.2柯?tīng)柲缏宸蛭⒎址匠桃?.2.1設(shè)齊次馬爾可夫過(guò)程滿足正則性條件，則對(duì)于任意固定的i,jeI,p..(t)是t的一致連續(xù)ij函數(shù)。定理5.3設(shè)p(t)是齊次馬爾可夫過(guò)程的轉(zhuǎn)移概率，則下列極限存在ij我們稱q為齊次馬爾可夫過(guò)程從狀態(tài)i到狀態(tài)j的轉(zhuǎn)移速率或跳躍強(qiáng)度。ij推論對(duì)有限齊次馬爾可夫過(guò)程，有q=乙q<g (5.2.1)ii ijjHi 匸定理5?4(柯?tīng)柲缏宸蛳蚝蠓匠?假設(shè)乙q=q，則對(duì)一切i,j及t>0,有ikiiEk工i丄、/qp(t)一qp(t) (5.2.4)ij ikkj iiijk工i定理5.2.3(柯?tīng)柲缏宸蛳蚯胺匠?在適當(dāng)?shù)恼齽t條件下p‘(t)=工p(t)q-p(t)q (5.2.6)ij ikkjijjjk豐j定理5?2?4齊次馬爾可夫鏈過(guò)程在t時(shí)刻處于狀態(tài)jwi的絕對(duì)概率p(t)滿足如下方程：定理5.2.5設(shè)馬爾可夫過(guò)程是不可約的，則有下列性質(zhì)：(1)若它是正常返的，則極限limp(t)存在且等于兀>0,jeI，這里兀是方程組—ijjj的唯一非負(fù)解，此時(shí)稱｛兀jeI｝是該過(guò)程的平穩(wěn)分布，并且有(2)若它是零常返的或非常返的，則§5.3生滅過(guò)程定義設(shè)齊次馬爾可夫過(guò)程｛X(t),t>0｝的狀態(tài)空間為I二｛0,1,2, ｝，轉(zhuǎn)移概率為p(t)，如果ij則稱｛X(t),t>0｝為生滅過(guò)程。其中，九稱為出生率，卩.稱為死亡率。i i ?…(1)若九=汎,卩=i卩a,卩為正常數(shù))，則稱｛x(t),t>0｝為線性生滅過(guò)程；ii⑵若卩三0，則稱｛X(t),t>0｝為純生過(guò)程；i⑶若九三0，貝y稱｛x(t),t>0｝為純滅過(guò)程。i 第六章平穩(wěn)隨機(jī)過(guò)程§6.1平穩(wěn)過(guò)程的概念與例子一、平穩(wěn)過(guò)程的定義平穩(wěn)過(guò)程定義§6.2聯(lián)合平穩(wěn)過(guò)程及相關(guān)函數(shù)的性質(zhì)一、聯(lián)合平穩(wěn)過(guò)程定義設(shè)｛X(t),teT｝和｛Y(t),teT｝是兩個(gè)平穩(wěn)過(guò)程，若它們的互相關(guān)函數(shù)E[X(t)Y(t-T)]及E[Y(t)X(t-T)]僅與t有關(guān)，而與t無(wú)關(guān)，則稱X(t)和Y(t)是聯(lián)合平穩(wěn)隨機(jī)過(guò)程。定理6?1設(shè)｛X(t),teT｝為平穩(wěn)過(guò)程，則其相關(guān)函數(shù)具下列性質(zhì)：⑴R(0)>0； (2)R~=R(-t)； (3)R(t)|<R(0)；TOC\o"1-5"\h\zX X(T) X X XR(t)是非負(fù)定的，即對(duì)任意實(shí)數(shù)t,t, ,t及復(fù)數(shù)a,a, ,a，有X 12n 1 2n若X(t)是周期為T的周期函數(shù)，即X(t)=X(t+T)，則R(T)=R(T+1)；X X若X(t)是不含周期分量的非周期過(guò)程，當(dāng)T|t^時(shí)，X(t)與X(t+t)相互獨(dú)立，貝ij(1)|R(t)|2<R(0)R(0),|R(t)|2<R(0)R(0)；XY X Y XY X Y⑵R(-T)=R(T)XYYX §6.3隨機(jī)分析一、收斂性概念1、處處收斂對(duì)于概率空間(O,p,P)上的隨機(jī)序列｛X｝，每個(gè)試驗(yàn)結(jié)果e都對(duì)應(yīng)一序列。nX(e),X(e),,X(e), (6.2)12n故隨機(jī)序列｛X｝實(shí)際上代表一族(6.2)式的序列，故不能用普通極限形式來(lái)定義隨機(jī)序列的收斂性。若(6.2)式n ??? ???對(duì)每個(gè)e都收斂，則稱隨機(jī)序列｛X｝處處收斂，即滿足n其中X為隨機(jī)變量。2、以概率1收斂若使隨機(jī)序列｛X(e)｝滿足n的e的集合的概率為1即我們稱二階矩隨機(jī)序列｛X(e)｝以概率1收斂于二階矩隨機(jī)變量X(e)，或稱｛X(e)｝幾乎處處收斂于X(e)，記nn作X >X。3、依概率收斂若對(duì)于任給的8>0，若有l(wèi)imP｛lX(e)—X(e)l>e｝二0，nnT”則稱二階矩隨機(jī)序列｛X(e)｝依概率收斂于二階矩隨機(jī)變量X(e)，記作X—tX。nn4、均方收斂設(shè)有二階矩隨機(jī)序列｛X｝和二階矩隨機(jī)變量X，若有nlimE[lX-X|2]二0 (6.3)nnT”成立，則稱｛X｝均方收斂，記作X—msTX。nn注：(6.3)式一般記為l.i.mX=X或l.imX=X。nnxT”5、依分布收斂 xT”設(shè)有二階矩隨機(jī)序列｛X｝和二階矩隨機(jī)變量乂，若｛X｝相應(yīng)的分布函數(shù)列｛F(x)｝，在X的分布函數(shù)F(x)n n n的每一個(gè)連續(xù)點(diǎn)處，有則稱二階矩隨機(jī)序列｛X｝依分布收斂于二階矩隨機(jī)變量X，記作X—TXnn對(duì)于以上四種收斂定義進(jìn)行比較，有下列關(guān)系：

⑴若X—陽(yáng)~>X，貝yX—p~>Xnn⑵若X—a.e^X，則x——Xnn(3)若X——X，則X——Xnn定理2二階矩隨機(jī)序列｛X｝收斂于二階矩隨機(jī)變量X的充要條件為n定理3設(shè)｛x｝,｛Y｝,｛Z｝都是二階矩隨機(jī)序列，U為二階矩隨機(jī)變量，｛C｝為常數(shù)序列，a，b，c為常數(shù)。令nnnnl.i.mX=X，l.i.mY=Y，l.i.mZ=Z，l.i.mc-c。貝ynnnnl.i.mc=limc=c；nnnsl.i.mU=U；l.i.m(cU)=cU；nl.i.m(aX+bY)=aX+bY；nnlimE[X]=E[X]=E[l.i.mX]；nnnslimE[XY]=E[XY]=E[(l.i.mX)(l.i.mY)]；nm n mn,ms特別有l(wèi)imE[|X|2]=E[|X|2]=E[|l.i.mX|2]。nnnTg定理4設(shè)｛X｝為二階矩隨機(jī)序列，貝卅X｝均方收斂的充要條件為下列極限存在n nlimE[XX]。nmn,mT8二、均方連續(xù)定義 設(shè)有二階矩過(guò)程｛X(t),teT｝，若對(duì)teT，有0limE[lX(t+h)-X(t)b]=0，hTO 0 0連續(xù)。定理(均方連續(xù)準(zhǔn)則)二階矩過(guò)程｛X(t),teT｝在t點(diǎn)均方連續(xù)的充要條件為相關(guān)函數(shù)則稱X(t)在t點(diǎn)均方連續(xù)，記作limX(t+h)=X(t)。若對(duì)T連續(xù)。定理(均方連續(xù)準(zhǔn)則)二階矩過(guò)程｛X(t),teT｝在t點(diǎn)均方連續(xù)的充要條件為相關(guān)函數(shù)R(t,t)在點(diǎn)(t,t)處連續(xù)。X12推論若相關(guān)函數(shù)R(t,t)在｛(t，t),teT｝上連續(xù)，則它在TXT上連續(xù)X12三、均方導(dǎo)數(shù)定義7 設(shè)｛X(t),teT｝是二階矩過(guò)程，若存在一個(gè)隨機(jī)過(guò)程X'(t)，滿足d2XTOC\o"1-5"\h\z\o"CurrentDocument"類似的有X(t) 或dt2稱為R(t,t)在(t,t)的廣義二階導(dǎo)數(shù)，記為X1 2 1 2定理6均方可微準(zhǔn)則二階矩過(guò)程｛X(t),teT｝在t點(diǎn)均方可微的充要條件為相關(guān)函數(shù)R(t,t)在點(diǎn)(t,t)的廣X1 2義二階導(dǎo)數(shù)存在。推論1二階矩過(guò)程｛X(t),teT｝在T上均方可微的充要條件為相關(guān)函數(shù)R(t,t)在｛(t,t),teT｝上每一點(diǎn)X12廣義二階可微。dm(t)推論2若R(t,t)在｛(t,t),teT｝上每一點(diǎn)廣義二階可微，則 X在T上以及X1 2 dt

在TxT上存在，且有四、均方積分定義8并記為如果AT0時(shí)，S均方收斂于S，即limElS在TxT上存在，且有四、均方積分定義8并記為如果AT0時(shí)，S均方收斂于S，即limElS-SI2=0，貝y稱f(t)X(t)在［a,b］上均方可積,AnT0定理7(均方可積準(zhǔn)則)f(t)X(t)在區(qū)間［a,b］上均方可積的充要條件為存在。特別的，二階矩過(guò)程X(t)在［a,b］上均方可積的充要條件為R(t,t)在［a,b］x［a,b］上可積。X12定理8設(shè)f(t)X(t)在區(qū)間［a,b］上均方可積，則有(1) e［nf(t)x(t)dt］=nf(t)e［x(t)］dt特別有aaE[fbX(t)dt]=fbE[X(t)]dta特別的有1 1 1 2 2 2 1 2X1 2 1 2a aaElfbX(t)dtl2=fbfbR(t,t)dtdt。X1 2 1 2a aa(2)E[Jbf(t)X(t)dtfbf(t)X(t)dt]=JbJbf(t)7(73R(t,t)dtdt定理9設(shè)二階矩過(guò)程｛X(t),teT｝在［a,b］上均方連續(xù)，則在均方意義下存在，且隨機(jī)過(guò)程｛X(t),teT｝在［a,b］上均方可微，且有Y'(t)=X(t)。推論設(shè)X(t)均方可微，且X'(t)均方連續(xù)，則特別有§4平穩(wěn)過(guò)程的各態(tài)歷經(jīng)性定義9設(shè)｛X(t),-8<t<^｝為均方連續(xù)的平穩(wěn)過(guò)程，則分別稱為該過(guò)程的時(shí)間均值和時(shí)間相關(guān)函數(shù)。定義10設(shè)｛X(t),-8<t<8｝是均方連續(xù)的平穩(wěn)過(guò)程，若<X(t)>Pr.lE(X(t))，即以概率1成立，則稱該平穩(wěn)過(guò)程的均值具有各態(tài)歷經(jīng)性。若<X(t)X(t-t)>Pr.lE(X(t)X(t-t))，即以概率1成立，則稱該平穩(wěn)過(guò)程的相關(guān)函數(shù)具有各態(tài)歷經(jīng)性。定義11如果均方連續(xù)的平穩(wěn)過(guò)程｛X(t),teT｝的均值和相關(guān)函數(shù)都具有各態(tài)歷經(jīng)性，則稱該平穩(wěn)過(guò)程為具有各態(tài)歷經(jīng)性或遍歷性。定理10設(shè)｛X(t),-8<t<8｝是均方連續(xù)的平穩(wěn)過(guò)程，則它的均值具有各態(tài)歷經(jīng)性的充要條件為lim—f2TTT82T-2T[R(T)-m|2]dT=0 (6.9)X X1-——2T丿定理6.11設(shè)｛X(t),-8<t<8｝為均方連續(xù)的平穩(wěn)過(guò)程，則其相關(guān)函數(shù)具有各態(tài)歷經(jīng)性的充要條件為lim—f2TTT82T-2T(T)廠-11--B(T)-R(T)212T丿L 1X」dT=0l(6.15)其中B(t)=EX(t)X(t-T)X(t-T)X(t-T-T) (6.16)1L 1 1_定理6.12對(duì)于均方連續(xù)平穩(wěn)過(guò)程｛X(t),0<t<8｝，等式以概率1成立的充要條件為若X(t)為實(shí)平穩(wěn)過(guò)程，則上式變?yōu)槎ɡ?.13對(duì)于均方連續(xù)平穩(wěn)過(guò)程｛