第5講隨機(jī)過(guò)程的基本概念

1、1隨機(jī)數(shù)學(xué)隨機(jī)數(shù)學(xué)第第5講講 隨機(jī)過(guò)程的基本概念隨機(jī)過(guò)程的基本概念教師教師: 陳陳 萍萍2定義定義 1.5.10 設(shè)設(shè) ( ,F F, P)為概率空間，為概率空間， (E,E E )為可測(cè)空為可測(cè)空間，間，T R ，若，若 ，且，且 t給定時(shí)，給定時(shí)，Xt關(guān)于關(guān)于F F可測(cè)，則稱可測(cè)，則稱 為為 ( ,F F, P) 上取值于上取值于E 的隨機(jī)過(guò)的隨機(jī)過(guò)程程. tX，t T此時(shí)此時(shí), X t( )表示在時(shí)刻表示在時(shí)刻t t系統(tǒng)的狀態(tài)。系統(tǒng)的狀態(tài)。稱稱 (E,E E )為相空為相空間或狀態(tài)空間；稱間或狀態(tài)空間；稱 T為參數(shù)集或時(shí)間域；為參數(shù)集或時(shí)間域；通常取通常取或或1.5 隨機(jī)過(guò)程的基本概念隨

2、機(jī)過(guò)程的基本概念1.5.1 隨機(jī)過(guò)程的概念與舉例隨機(jī)過(guò)程的概念與舉例 3數(shù)學(xué)解釋：可認(rèn)為數(shù)學(xué)解釋：可認(rèn)為X ( ,t)， t T 是定義在是定義在T T上上的二元函數(shù)。當(dāng)?shù)亩瘮?shù)。當(dāng)t t固定時(shí)，固定時(shí)， X(X( ,t,t) )是是r.v.(statr.v.(stat) )，當(dāng)當(dāng) 固定時(shí)，固定時(shí)， X(X( ,t,t) )是定義在是定義在T T上的普通函數(shù)，上的普通函數(shù)，稱為稱為隨機(jī)過(guò)程的樣本函數(shù)或軌道隨機(jī)過(guò)程的樣本函數(shù)或軌道(path)(path)，樣本函數(shù)，樣本函數(shù)的的全體稱為全體稱為樣本函數(shù)樣本函數(shù)空間?？臻g。1.5.1(1)( )cos(2),(0,2 ),0,10X ttUt 例

3、4SuSdSSu2udSSd2Su3Sd3Sud2dSu2Su4Sd4dSu3Sdu22Sud3 101,1,2,.kkkuSHSS SkdST,0.5,0,1,.,hn hhnnnHHHHHHHTHHTHHTHHTHHHHTHTP Su dSChn (2)由拋硬幣決定的隨機(jī)由拋硬幣決定的隨機(jī)過(guò)程過(guò)程: (隨機(jī)游動(dòng)隨機(jī)游動(dòng))5隨機(jī)過(guò)程可按時(shí)間(參數(shù))是連續(xù)的或離散的分為兩類:(1)若T是有限集或可列集時(shí),則稱為離散參數(shù)隨機(jī)過(guò)程或隨機(jī)序列.(2)若T是有限或無(wú)限區(qū)間時(shí),則稱為連續(xù)參數(shù)隨機(jī)過(guò)程.隨機(jī)過(guò)程也可按任一時(shí)刻的狀態(tài)是連續(xù)型隨機(jī)變量或離散型隨機(jī)變量分為兩類:(1)若對(duì)于任意 都是離散型隨機(jī)變

4、量,稱 為離散型隨機(jī)過(guò)程；)(,jjtXTt TttX),(2)若對(duì)于任意 都是連續(xù)型隨機(jī)變量,稱 為連續(xù)型隨機(jī)過(guò)程.TttX),()(,jjtXTt 6定義定義 1.5.1 設(shè)設(shè)Xt，t T 為為( ,F F, P) (E,E E )隨機(jī)過(guò)程，隨機(jī)過(guò)程，令令11,121(),;nnttnttniFFFP XFXFtT其中其中F1 ., Fk E E. 稱稱 為隨為隨機(jī)過(guò)程機(jī)過(guò)程Xt，t T 的有限維分布族的有限維分布族.1:,1,1nttitTin n 1.5.2 隨機(jī)過(guò)程的數(shù)字特征及有限維分布族隨機(jī)過(guò)程的數(shù)字特征及有限維分布族特別特別, ,對(duì)于一維隨機(jī)過(guò)程對(duì)于一維隨機(jī)過(guò)程X (t), t

5、T 任意任意 n n Z Z+ + 和和 t1,t n T T，隨機(jī)向量，隨機(jī)向量（X t1 , X t n )的分布函數(shù)全體的分布函數(shù)全體1,11( ,.),nttnnFxxttT nZ稱為稱為XXt t，t t T T 的有窮維分布函數(shù)族。的有窮維分布函數(shù)族。7若對(duì)若對(duì),隨機(jī)向量隨機(jī)向量有密度函數(shù)有密度函數(shù), 則則這些密度函數(shù)的全體這些密度函數(shù)的全體ntt ,.,1nttXX ,.,11,11( ,.),nttnnfxxttT nZ稱為稱為XXt t，t t T T 的有窮維密度函數(shù)族。的有窮維密度函數(shù)族。若對(duì)若對(duì),隨機(jī)向量隨機(jī)向量是離散型的是離散型的, 則則這些分布律的全體這些分布律的全

6、體ntt ,.,1nttXX ,.,11,11( ,.) ,nttnnpxxttT nZ稱為稱為XXt t，t t T T 的有窮維概率分布族。的有窮維概率分布族。8設(shè)設(shè)X (t), t T 為隨機(jī)過(guò)程，稱為隨機(jī)過(guò)程，稱為為 X (t), t T 的的n n維特征函數(shù)；維特征函數(shù)；稱稱n1kkkn1tXin1ttEe)(,),(,),(,ZnTttn1n1ttn1為為 X (t), t T 的有窮維特征函數(shù)族的有窮維特征函數(shù)族。 由于由于r.v.r.v.的特征函數(shù)與分布函數(shù)有一一對(duì)應(yīng)關(guān)系，的特征函數(shù)與分布函數(shù)有一一對(duì)應(yīng)關(guān)系，所以，也可以通過(guò)所以，也可以通過(guò)隨機(jī)過(guò)程隨機(jī)過(guò)程的有的有窮維特征函數(shù)族

7、來(lái)描窮維特征函數(shù)族來(lái)描述它的概率特性述它的概率特性。9隨機(jī)過(guò)程的有限維分布滿足下面的兩個(gè)性質(zhì)：隨機(jī)過(guò)程的有限維分布滿足下面的兩個(gè)性質(zhì)： 1(1)( ),.1,(1)(.)()nnttnttFFFF（n）(1)對(duì)稱性：對(duì)稱性：對(duì)于對(duì)于1,2,n 的任意排列的任意排列 (1), (2), (n) 有有111,1,1()()kkkk mttkttttkFFFFEE(2)相容性：對(duì)于任意的自然數(shù)相容性：對(duì)于任意的自然數(shù) k ,m,反之，反之， (Kolmogorovs 擴(kuò)張定理擴(kuò)張定理).對(duì)一切對(duì)一切性質(zhì)性質(zhì)(1) (2)的概率測(cè)度，則存在概率空間的概率測(cè)度，則存在概率空間 ( ,F F, P) 及定

8、義在及定義在 上取值于上取值于E E的隨機(jī)過(guò)程的隨機(jī)過(guò)程XXt t ，使得，使得NkTttk ,1令令kttv,.,1為為Ek上滿足以上上滿足以上11,11(),kkttktktvFFP XFXF10例1.5.2. 求隨機(jī)過(guò)程的一維密度函數(shù)族.這里b 是常數(shù), X是標(biāo)準(zhǔn)正態(tài)隨機(jī)變量.,cos)(btXtX解:(1)當(dāng)cosbt0時(shí),由X(t)=Xcosbt,XN(0,1)知X(t)N(0,cos2bt),則X(t)的一維密度函數(shù)為(2)當(dāng)cosbt=0時(shí), X(t)不存在一維密度函數(shù).222cos1( ),2cosxbttf xexbt 故X(t)的一維密度函數(shù)族為222cos11( );,0

9、, 1, 2,.22 cosxbttf xetR tkkbbt 11定義定義1.5.21.5.2 給定隨機(jī)過(guò)程給定隨機(jī)過(guò)程 X Xt t,t ,t T T , , 給定給定t, t,（1 1）隨機(jī)變量）隨機(jī)變量X Xt t的均值或數(shù)學(xué)期望與的均值或數(shù)學(xué)期望與t t有關(guān)有關(guān), ,記為記為( )XttE X稱稱X X(t)(t)為隨機(jī)過(guò)程為隨機(jī)過(guò)程X Xt t的的均值函數(shù)均值函數(shù)(Mean)(Mean)稱為隨機(jī)過(guò)程稱為隨機(jī)過(guò)程 X Xt t,t ,t T T , ,的的均方值函數(shù)均方值函數(shù).（2 2） 隨機(jī)變量隨機(jī)變量X Xt t的二階原點(diǎn)矩的二階原點(diǎn)矩22( ),XttE X12（3 3） 隨機(jī)

10、變量隨機(jī)變量X Xt t的方差的方差22( )( ),XttXtVar XEXt稱為隨機(jī)過(guò)程稱為隨機(jī)過(guò)程 X Xt t,t ,t T T , ,的方差函數(shù)的方差函數(shù)(Varance(Varance) )(4) (4) 設(shè)設(shè)XtXt1 1和和XtXt2 2是隨機(jī)過(guò)程是隨機(jī)過(guò)程 X Xt t,t ,t T T 在任意二個(gè)時(shí)刻在任意二個(gè)時(shí)刻t t1 1和和t t2 2時(shí)的狀態(tài)時(shí)的狀態(tài). .稱稱X Xt1t1和和X Xt2t2的二階混合原點(diǎn)矩的二階混合原點(diǎn)矩為隨機(jī)過(guò)程為隨機(jī)過(guò)程 X Xt t,t ,t T T 的的自相關(guān)函數(shù)自相關(guān)函數(shù)(correlation)(correlation), ,簡(jiǎn)稱相簡(jiǎn)稱

11、相關(guān)函數(shù)關(guān)函數(shù). .1212( , )XttRt tE X X13（5 5）稱）稱XtXt1 1和和XtXt2 2的二階混合中心矩的二階混合中心矩121212( , )( )( )XtXtXCt tEXtXt為隨機(jī)過(guò)程為隨機(jī)過(guò)程 X Xt t,t ,t T T 的的自協(xié)方差函數(shù)自協(xié)方差函數(shù)covaricancecovaricance, ,簡(jiǎn)稱協(xié)方差函數(shù)簡(jiǎn)稱協(xié)方差函數(shù). .(6) (6) 對(duì)于兩個(gè)對(duì)于兩個(gè)隨機(jī)過(guò)程隨機(jī)過(guò)程 X Xt t,t ,t TT, , Y Yt t,t ,t T T ，若對(duì)任若對(duì)任意意t T，EX Xt t2 、 EYt2存在，則稱函數(shù)存在，則稱函數(shù)( , )( )( ),

12、XYsXtYCs tE XsYts tT為為隨機(jī)過(guò)程隨機(jī)過(guò)程 X Xt t,t ,t T T , ,與與 Y Yt t,t ,t T T , ,的互協(xié)方差函的互協(xié)方差函數(shù)。數(shù)。14( , ),;XYs tRs tE X Ys tT為為隨機(jī)過(guò)程隨機(jī)過(guò)程 X Xt t,t ,t T T 與與 Y Yt t,t ,t T T 的互相關(guān)函數(shù)的互相關(guān)函數(shù). .易知易知;,),()(),(),(TtststsRtsCYXXYXY(7) 稱稱定義定義1.5.3 若對(duì)任意的若對(duì)任意的s,t T，有有EXEXs sY Yt t=0, =0, 則稱則稱隨隨機(jī)過(guò)程機(jī)過(guò)程 X Xt t,t ,t T T 與與 Y Y

13、t t,t ,t T T 正交正交; ; 若若CXY(s, t)=0，則稱，則稱隨機(jī)過(guò)程隨機(jī)過(guò)程 X Xt t,t ,t T T 與與 Y Yt t,t ,t T T 互不相關(guān)互不相關(guān)； 若對(duì)任意的若對(duì)任意的n,mn,m Z Z+ +，隨機(jī)向量，隨機(jī)向量(X(Xt1t1, , , X Xtntn)與與(Y(Ys1s1, ,Y,Ysmsm) 相互獨(dú)立，相互獨(dú)立，則稱，則稱隨機(jī)過(guò)程隨機(jī)過(guò)程 X Xt t,t ,t T T 與與 Y Yt t,t ,t T T 相互獨(dú)立相互獨(dú)立。15例1.5.3 設(shè) ,其中X0和V是相互獨(dú)立的隨機(jī)變量.且btatVXtX,)(0求隨機(jī)過(guò)程X(t),-t的五種數(shù)字特征

14、.20(0,),( )XNVE解解:)()(0tVXEtXEtXt)(),(201021VtXVtXEttRX)(21221020t tVttVXXE22122t t),()(2ttRtXX2222t)()(),(),(212121ttttRttCXXXX2212t t2( )( , )XXtCt t222t16定義定義1.5.4若若 X Xt t,t ,t T T , Y Yt t,t ,t T T 是兩個(gè)實(shí)是兩個(gè)實(shí)隨機(jī)過(guò)程隨機(jī)過(guò)程，則，則稱稱Zt = X t+i Yt， t T 為復(fù)隨機(jī)過(guò)程為復(fù)隨機(jī)過(guò)程。 它的均值函數(shù)、協(xié)方差函數(shù)、相關(guān)函數(shù)和方差它的均值函數(shù)、協(xié)方差函數(shù)、相關(guān)函數(shù)和方差函數(shù)

15、分別定義如下：函數(shù)分別定義如下： Z (t)= EZt=EXt+i EYt ,t T( , )( )( ),ZsZtZC s tE Zm sZm ts tT( , ),ZstR s tE Z Zs tT22( )( )( )|( )| ,ZtZtZtZtE Zm tZm tE Zm ttT171.5.31.5.3 幾類典型的隨機(jī)過(guò)程(1) 獨(dú)立隨機(jī)序列獨(dú)立隨機(jī)序列 對(duì)于任意對(duì)于任意n個(gè)不同的參數(shù)個(gè)不同的參數(shù)t1,t n T ， r.v. X(t1), X(t n)相互獨(dú)立，這樣的相互獨(dú)立，這樣的隨機(jī)序列隨機(jī)序列稱為稱為獨(dú)立獨(dú)立隨機(jī)序列。隨機(jī)序列。 (2) 獨(dú)立增量過(guò)程獨(dú)立增量過(guò)程定義定義1.3

16、.1 若隨機(jī)過(guò)程若隨機(jī)過(guò)程 滿足滿足 增量增量 與與 獨(dú)立獨(dú)立,則稱為則稱為獨(dú)立增量過(guò)程獨(dú)立增量過(guò)程.st tsXX,0tX t ,suXusF或等價(jià)地寫作或等價(jià)地寫作18 過(guò)程過(guò)程 滿足滿足,對(duì)任意對(duì)任意 t1 t2 t n TT， Xt的增量的增量 相互獨(dú)立，相互獨(dú)立，這樣的這樣的隨機(jī)過(guò)程隨機(jī)過(guò)程稱為獨(dú)立稱為獨(dú)立增量過(guò)程。增量過(guò)程。,tX tT21321,nnttttttXXXXXX參數(shù)集參數(shù)集T19例 1.5.4 設(shè)設(shè)( )ti XtEe 12121212,12,( ,)ttiXXt tttE e 1221211()ttttiXXXXE e122121()()tttiXXXiE ee12

17、1122ttt2012121112)12.(nnnttntnnktkttnttkkXXXXXXXX11211,.,1)12( ,.,)exp.(nnnttnnnktkttnttkkEiXXXXX12.,nttt 121112()().() #nnnntkttkttnkk 21定義定義1.5.5 設(shè)隨機(jī)過(guò)程設(shè)隨機(jī)過(guò)程 , 若對(duì)若對(duì)|,tstsP XBP XB XF則稱該過(guò)程為馬爾可夫過(guò)程，簡(jiǎn)稱則稱該過(guò)程為馬爾可夫過(guò)程，簡(jiǎn)稱“馬氏過(guò)程馬氏過(guò)程”。 馬氏過(guò)程的特點(diǎn)：已知現(xiàn)在，將來(lái)與過(guò)去無(wú)關(guān)。馬氏過(guò)程的特點(diǎn)：已知現(xiàn)在，將來(lái)與過(guò)去無(wú)關(guān)。 tXt;st )(|(),;,(tsxXBXPBtxsPst(3)

18、 馬爾可夫過(guò)程（馬氏過(guò)程）馬爾可夫過(guò)程（馬氏過(guò)程）22Markov性的等價(jià)描述性的等價(jià)描述: 1212),1,2,|iutsustsvust BRiP XB XBXP XBXP XBX B):,|ttstsih RRE h Xst E h XE h XX 滿足FsXsXttzEzEtsRzX,F),XttiuXiuXssiiiuR stE eE e Fii)若Xt的母函數(shù)存在, ,|,.,|11nttntttxXBXPxXxXBXPnn 12).,1,., ,niivtttt x in BR B23Markov過(guò)程的判別過(guò)程的判別-獨(dú)立性定理獨(dú)立性定理:設(shè)設(shè)X,Y為概率為概率空間空間(,F F

19、,P)上的隨機(jī)變量上的隨機(jī)變量, G G為為F F 的子的子代數(shù)代數(shù), 且設(shè)且設(shè)X與與G G 獨(dú)立獨(dú)立, Y關(guān)于關(guān)于G G 可測(cè)可測(cè). 則對(duì)二元函數(shù)則對(duì)二元函數(shù) f(x,y),(, )|(, )|E f X YE f X YYG例例1.5.5 獨(dú)立增量過(guò)程獨(dú)立增量過(guò)程Xt是是MarkovMarkov過(guò)程過(guò)程. .證證:|tsstiu XXiuXiuXssst E eE e FF|#tsstiu XXiuXiuXssE eE eXF其中其中, Xt-Xs關(guān)于關(guān)于F Fs獨(dú)立獨(dú)立, Xs 關(guān)于關(guān)于F Fs 可測(cè)可測(cè), 根據(jù)獨(dú)立根據(jù)獨(dú)立性定理性定理,24根據(jù)參數(shù)集根據(jù)參數(shù)集T及狀態(tài)空間及狀態(tài)空間E的

20、取值離散與否，通常將的取值離散與否，通常將馬氏過(guò)程分成四類進(jìn)行研究：馬氏過(guò)程分成四類進(jìn)行研究：1 1、參數(shù)和狀態(tài)都離散的馬氏過(guò)程，簡(jiǎn)稱、參數(shù)和狀態(tài)都離散的馬氏過(guò)程，簡(jiǎn)稱馬氏鏈馬氏鏈；3 3、參數(shù)連續(xù)、狀態(tài)離散的馬氏過(guò)程，又稱、參數(shù)連續(xù)、狀態(tài)離散的馬氏過(guò)程，又稱連續(xù)馬氏連續(xù)馬氏鏈鏈或或純不連續(xù)馬氏過(guò)程純不連續(xù)馬氏過(guò)程；3 3、參數(shù)離散、狀態(tài)連續(xù)的馬氏過(guò)程，簡(jiǎn)稱、參數(shù)離散、狀態(tài)連續(xù)的馬氏過(guò)程，簡(jiǎn)稱馬氏序列馬氏序列; ;4 4、參數(shù)和狀態(tài)都連續(xù)的馬氏過(guò)程，又稱、參數(shù)和狀態(tài)都連續(xù)的馬氏過(guò)程，又稱連續(xù)馬氏過(guò)連續(xù)馬氏過(guò)程程。隨機(jī)游動(dòng)隨機(jī)游動(dòng), Poisson, Poisson過(guò)程過(guò)程, , 更新過(guò)程中的更

21、新時(shí)間更新過(guò)程中的更新時(shí)間序列序列, Brown, Brown運(yùn)動(dòng)運(yùn)動(dòng), , 分別是分別是1-41-4的例子的例子. .25設(shè)設(shè)Bt,t 0為一獨(dú)立增量過(guò)程，為一獨(dú)立增量過(guò)程， ，求證：求證：Xt,t 0為為Markov過(guò)程過(guò)程.tBtXe26(5) 平穩(wěn)隨機(jī)過(guò)程平穩(wěn)隨機(jī)過(guò)程在工程應(yīng)用和大量實(shí)際現(xiàn)象的理論分析研究中常在工程應(yīng)用和大量實(shí)際現(xiàn)象的理論分析研究中常會(huì)遇到一類過(guò)程。其統(tǒng)計(jì)特性隨著時(shí)間的推移不發(fā)生會(huì)遇到一類過(guò)程。其統(tǒng)計(jì)特性隨著時(shí)間的推移不發(fā)生任何變化。此類過(guò)程中，最重要的是任何變化。此類過(guò)程中，最重要的是“平穩(wěn)過(guò)程平穩(wěn)過(guò)程”。例如無(wú)線電設(shè)備中熱噪聲電壓例如無(wú)線電設(shè)備中熱噪聲電壓X(t)是

22、由于電路中電子是由于電路中電子的熱運(yùn)動(dòng)引起的，這種熱擾動(dòng)不隨時(shí)間而變；連續(xù)測(cè)的熱運(yùn)動(dòng)引起的，這種熱擾動(dòng)不隨時(shí)間而變；連續(xù)測(cè)量飛機(jī)飛行速度產(chǎn)生的測(cè)量誤差量飛機(jī)飛行速度產(chǎn)生的測(cè)量誤差X(t) ， 是由儀器震動(dòng)、是由儀器震動(dòng)、電磁波干擾、氣候變化等因素引起的電磁波干擾、氣候變化等因素引起的; 紡紗廠生產(chǎn)出紡紗廠生產(chǎn)出的棉紗各處直徑的棉紗各處直徑X(t)不同是由于紡紗機(jī)運(yùn)行，棉條不不同是由于紡紗機(jī)運(yùn)行，棉條不勻、溫濕度變化等因素引起的。勻、溫濕度變化等因素引起的。27嚴(yán)平穩(wěn)過(guò)程嚴(yán)平穩(wěn)過(guò)程定義定義1.5.7 設(shè)隨機(jī)過(guò)程設(shè)隨機(jī)過(guò)程 X (t) ,t T 的有窮維分布函的有窮維分布函數(shù)族為數(shù)族為Ft1,tn (x1,xn), t1,tn T, n 1 ，若對(duì)，若對(duì) n 和和t1,tn T, 及及ti+T的的 ，有，有Ft1,tn (x1,xn)= Ft1 + ,tn + (x1,xn) (1.3.1)則稱則稱 X (t)