第五章2-3(柯爾莫哥洛夫微分方程)-PPT課件

1、第五章第五章2-3(2-3(柯爾莫柯爾莫哥洛夫微分方程哥洛夫微分方程) )知識回憶設參數(shù)集設參數(shù)集 狀態(tài)集狀態(tài)集 定義定義5.1 稱隨機過程稱隨機過程 為連續(xù)時間為連續(xù)時間的馬爾可夫鏈，若對任意的馬爾可夫鏈，若對任意 及任意及任意 有有 ( ( ) ), ,0 0 X Xt tt t 1 12 21 10 0n nt tt tt t+ + L L1 12 21 1, , , , ,n ni ii ii iI I+ + L L 0 0, ,) ), ,T T= =+ + 0 0, ,1 1, ,2 2, , I I= =L L( () ) ( ( ) )( ( ) )( ( ) ) ( () )

2、 ( ( ) ) 1 11 11 11 12 22 21 11 1, , , , , , ( (5 5. . 1 1) )n nn nn nn nn nn nn nn nP PX X t ti iX X t ti i X X t ti iX X t ti iP PX X t ti iX X t ti i+ + + + += = = = = = = =L L馬氏性馬氏性連續(xù)時間離散化連續(xù)時間離散化2022-5-82信息工程學院四系三教知識回憶定義定義5.2 假設式的轉移概率與假設式的轉移概率與s無關，那無關，那么稱連續(xù)時間馬爾可夫鏈具有平穩(wěn)的或齊么稱連續(xù)時間馬爾可夫鏈具有平穩(wěn)的或齊次的轉移概率，

3、此時轉移概率簡記為次的轉移概率，此時轉移概率簡記為 齊次性齊次性 其轉移概率矩陣簡記為其轉移概率矩陣簡記為( ( ) )( () ),( )|(0),( )|(0),ijijijijps tP X tj Xiptps tP X tj Xipt=( () )( () )P P( ( ) )( ( ) ), , , ,0 0 . .i ij jt tp pt ti i j jI I t t= =緯緯2022-5-83信息工程學院四系三教轉移概率函數(shù)矩陣其中其中 為常數(shù)矩陣，且為常數(shù)矩陣，且 完全由矩陣完全由矩陣 唯唯一確定一確定2022-5-8信息工程學院四系三教60 00 0P P( () )P

4、 P( (0 0) )P P( () )P P ( (0 0) )l l i i m ml l i i m mt tt tt tt tI IQ Qt tt tD D D D D D- -D D- -= = = =D DD DQ Q1 1P P( ( ) )! !n nt tQ Qn nn nt tt te eI IQ Qn n = = = =+ + P( )P( )t tQ Q轉移概率函數(shù)的可微性v引理引理5.1 設齊次馬氏過程滿足正那么性條件設齊次馬氏過程滿足正那么性條件(3)，那么對任意固定的，那么對任意固定的 ， 是是t的一致連續(xù)函數(shù)。的一致連續(xù)函數(shù)。2022-5-8信息工程學院四系三教

5、7, ,i jIi jI ( )( )ijijptpt轉移概率的極限性質v定理定理5.3 設設 是齊次馬爾可夫過程的轉是齊次馬爾可夫過程的轉移概率，那么以下極限存在移概率，那么以下極限存在( ( ) )i ij jp pt t0 01()1()(1) l i m;(1) l i m;iiiiiiiiiit tptptvqvqt tDD-D-D=D D0 0( () )( (2 2) )l l i i m m, ,. .i ij ji ij jt tp pt tq qi ij jt tD D D D= = D D稱稱q qij ij為齊次馬爾可夫過程從狀態(tài)為齊次馬爾可夫過程從狀態(tài)i i 到狀態(tài)到

6、狀態(tài)j j 的的轉移速率轉移速率或或跳躍強度跳躍強度。2022-5-88信息工程學院四系三教轉移概率的極限性質v注注： (1) 等價于等價于(0).(0).iiiiiiiiiipvqpvq = -= -= -= - (2) 等價于等價于(0),.(0),.ijijijijpqijpqij =注：注：此定理的詳細證明要用到較深的此定理的詳細證明要用到較深的數(shù)學知識，在這里我們不給出詳細證數(shù)學知識，在這里我們不給出詳細證明，只是做一個簡單分析，但此明，只是做一個簡單分析，但此定理定理的結論很重要的結論很重要，希望大家掌握！，希望大家掌握！2022-5-89信息工程學院四系三教轉移概率的極限性質v

7、分析：第一節(jié)已定義分析：第一節(jié)已定義 為停留在狀態(tài)為停留在狀態(tài)i或離開狀態(tài)或離開狀態(tài)i 的時間，它服從參數(shù)為的時間，它服從參數(shù)為 的的指數(shù)分布。指數(shù)分布。i iT1 1( ( ) )1 1 ( ( ) )| |( (0 0) ) ( ( ) )| |( (0 0) ) i ii ip pt tP P X X t ti i X Xi iP P X X t ti i X Xi i= = = = = = = =P到時刻到時刻t至少有一次跳轉至少有一次跳轉|(0)|(0)XiXi= = ( ( ) )1 1( ( ) ), ,i iv v t ti iP P T Tt to o t te eo o t

8、 t- -= = + += =- -+ +00001( )1( )1 1l i ml i m.l i ml i m.i iv tv tiiiii ittttptpte ev vtttt- - -=2022-5-810信息工程學院四系三教 到時刻到時刻t至少有兩次跳轉至少有兩次跳轉轉移概率的極限性質( )( )( )|(0)( )|(0)ijijptptP X tj XiP X tj Xi= i ij ji ip p P P T Tt tP P= = + +=P 第一個到達的狀態(tài)是第一個到達的狀態(tài)是 j，+ P第一個到達的狀態(tài)不是第一個到達的狀態(tài)不是 j， | | ( (0 0) ) i iT

9、Tt t X Xi i = =( ( ) )| |( (0 0) ) X X t tj j X Xi i= = =|(0)|(0)XiXi= =2022-5-811信息工程學院四系三教轉移概率的極限性質 ( ( ) )( (1 1) )( ( ) ), ,i iv v t ti ij ji ii ij jp p P P T Tt to o t tp pe eo o t t- -= = + += =- -+ +其中其中 pij 表示從狀態(tài)表示從狀態(tài)i經一步轉移到狀態(tài)經一步轉移到狀態(tài)j的概的概率不考慮其間的停留時間，它和離散時率不考慮其間的停留時間，它和離散時間下的轉移概率類似。間下的轉移概率類似

10、。0 00 0( ( ) )1 1l l i i m ml l i i m m. . i iv v t ti ij ji ij ji ii ij ji ij jt tt tp pt te ep pv v p pq qt tt t- - - = = = =2022-5-812信息工程學院四系三教轉移概率的極限性質v推論推論: 對對有限有限齊次馬爾可夫過程，有齊次馬爾可夫過程，有證明：證明：由定理，有由定理，有由于求和是在有限集中進行，故有由于求和是在有限集中進行，故有. .( (5 5. .4 4) )i ii ii ij jj ji iq qq q = = ()1()1ijijj Ij Ipt

11、pt D=D= 1 1( () )( () )i ii ii ij jj j i ip pt tp pt t - -D D= =D D 0 00 0( () )1 1( () )l l i i m ml l i i m m, ,i ij ji ii ii ij jt tt tj j i ij j i ip pt tp pt tq qt tt tD D D D 構構D D- -D D= = =D DD D邋邋. .i ii ii ij jj j i iq qq q = = 2022-5-813信息工程學院四系三教轉移概率的極限性質v注：注：對于對于狀態(tài)空間無限狀態(tài)空間無限的齊次馬爾可夫過的齊次馬

12、爾可夫過程，一般只有程，一般只有. .iiijiiijj ij iqqqq 2022-5-814信息工程學院四系三教二、密度矩陣的定義v定義：定義：稱矩陣稱矩陣0 00 00 01 11 10 01 11 1( (5 5. . 5 5) )q qq qq qq qQ Q輊輊- -犏犏犏犏- -犏犏= =犏犏犏犏犏犏犏犏臌臌L LL LL LL LM MM MM MM ML LL LL LL L為轉移概率矩陣為轉移概率矩陣 的的密度矩陣密度矩陣。P P( ( ( ) ) )i ij jp pt t= =0 0P P( () )P P( (0 0) )P P ( (0 0) )l l i i m

13、mt tt tQ Qt tD D D D- -= = =D D2022-5-815信息工程學院四系三教二、密度矩陣的定義v假設假設 那么稱矩陣那么稱矩陣Q是保守的，是保守的，v 假設那么稱矩陣假設那么稱矩陣Q是穩(wěn)定是穩(wěn)定的，的，v 此時稱過程此時稱過程 為為Q過程過程 。, ,iiijiiijj ij iqqqq = = ,iiiiqiIqiI ( ( ) ), ,0 0 X X t t t t 2022-5-816信息工程學院四系三教二、密度矩陣的定義v注：注：v1對于有限狀態(tài)齊次馬氏鏈，其密對于有限狀態(tài)齊次馬氏鏈，其密度矩陣一定是保守的。度矩陣一定是保守的。0 0( () ). .i ij

14、 jq qi ij j徹徹（2）若若Q保守，則保守，則Q矩陣的每一行元素之矩陣的每一行元素之 和為零，對角線元素為負或為零，其余和為零，對角線元素為負或為零，其余2022-5-817信息工程學院四系三教三、柯爾莫哥洛夫向后、向前方程v定理定理5.4 柯爾莫哥洛夫向前方程柯爾莫哥洛夫向前方程v 假設假設 那么對一切那么對一切i, j 及及 , 有有v矩陣形式：矩陣形式： , ,ikiiikiikikiqqqq = = 0 0t t ( ( ) )( ( ) )( ( ) ). . ( (5 5. .7 7) )i ij ji ik kk kj ji ii ii ij jk ki ip pt tq

15、 qp pt tq q p pt t = =- - P P ( ( ) )P P( ( ) )P P ( (0 0) )P P( ( ) ), , ( (5 5. . 1 10 0) )t tQ Qt tt t= = =2022-5-818信息工程學院四系三教三、柯爾莫哥洛夫向后、向前方程v定理定理5.5 柯爾莫哥洛夫向前方程柯爾莫哥洛夫向前方程v 設對給定的設對給定的 ，有，有 且且v v 關于關于 一致成立，那么一致成立，那么v矩陣形式：矩陣形式：jIjI . .jjjjq q 0 0( ( ) )l li im m, ,. .k kj jk kj jh hp ph hq qk kj jh

16、 h + += = = =- - - - ( )( )ijijptpt2022-5-827信息工程學院四系三教應用例解：由題設條件知該馬氏鏈的密度矩陣為解：由題設條件知該馬氏鏈的密度矩陣為顯然此矩陣即使保守的行和為又是穩(wěn)顯然此矩陣即使保守的行和為又是穩(wěn)定的定的 故柯爾莫哥洛夫向前、故柯爾莫哥洛夫向前、向前方程都成立。向前方程都成立。0 00 01 11 12 20 00 0( (0 0) )0 00 0Q QP Pl ll ll ll ll l輊輊- -犏犏犏犏- -犏犏 = = =犏犏- -犏犏犏犏犏犏臌臌L LL LL LL LL LL LL L0 0ijijq q 2022-5-831信

17、息工程學院四系三教六、平穩(wěn)分布v定義定義 稱概率分布稱概率分布 v為連續(xù)時間馬氏鏈的平穩(wěn)分為連續(xù)時間馬氏鏈的平穩(wěn)分布布v假設假設 ,j jjIjIpppp=( ),0( ),0X ttX tt ( ( ) ), ,0 0. .P P t tt tp pp p= = 注意和離散時間馬氏鏈平穩(wěn)分布的比較2022-5-832信息工程學院四系三教六、平穩(wěn)分布v定理定理5.7 設連續(xù)時間的馬爾可夫鏈是不可設連續(xù)時間的馬爾可夫鏈是不可約的，那么有以下性質：約的，那么有以下性質：v 1假設它是正常返的，那么極限假設它是正常返的，那么極限 存在且等于存在且等于 。這里。這里 是方程是方程組組 v 的唯一非負解

18、。的唯一非負解。l l i i m m( ( ) )i ij jt tp pt t0 0, ,j jj jI Ip p j jp p, ,0 0(5. 13)(5. 13)1.1.1.1.jjjkkjjjjkkjkjkjj jj jj Ij Ij Ij IqqqqQ Qppppp pp p = = = = 镲镲 眄眄= = =镲镲镲镲 2022-5-833信息工程學院四系三教六、平穩(wěn)分布此時稱此時稱 是該過程的平穩(wěn)分布，是該過程的平穩(wěn)分布，并且有并且有 2 假設它是零常返的或非常返的，那么假設它是零常返的或非常返的，那么 , , j jj jI Ip p l l i i m m( ( ) ).

19、 .j jj jt tp pt tp p= =l l i i m m( ( ) )l l i i m m( ( ) )0 0, , , ,. .i ij jj jt tt tp pt tp p t ti i j jI I= = = 2022-5-834信息工程學院四系三教知識回憶v定理定理5.3 設設 是齊次馬爾可夫過程的轉是齊次馬爾可夫過程的轉移概率，那么以下極限存在移概率，那么以下極限存在( ( ) )i ij jp pt t0 01()1()(1) l i m;(1) l i m;iiiiiiiiiit tptptvqvqt tDD-D-D=D D0 0( () )( (2 2) )l

20、l i i m m, ,. .i ij ji ij jt tp pt tq qi ij jt tD D D D= = D D稱稱q qij ij為齊次馬爾可夫過程從狀態(tài)為齊次馬爾可夫過程從狀態(tài)i i 到狀態(tài)到狀態(tài)j j 的的轉移速率轉移速率或或跳躍強度跳躍強度。2022-5-835信息工程學院四系三教知識回憶v定義：定義：稱矩陣稱矩陣0 00 00 01 11 10 01 11 1( (5 5. . 5 5) )q qq qq qq qQ Q輊輊- -犏犏犏犏- -犏犏= =犏犏犏犏犏犏犏犏臌臌L LL LL LL LM MM MM MM ML LL LL LL L為轉移概率矩陣為轉移概率矩陣

21、 的的密度矩陣密度矩陣。P P( ( ( ) ) )i ij jp pt t= =0 0P P( () )P P( (0 0) )P P ( (0 0) )l l i i m mt tt tQ Qt tD D D D- -= = =D D2022-5-836信息工程學院四系三教知識回憶v定理定理5.4 柯爾莫哥洛夫向前方程柯爾莫哥洛夫向前方程v 假設假設 那么對一切那么對一切i, j 及及 , 有有v矩陣形式：矩陣形式： , ,ikiiikiikikiqqqq = = 0 0t t ( ( ) )( ( ) )( ( ) ). . ( (5 5. .7 7) )i ij ji ik kk kj

22、 ji ii ii ij jk ki ip pt tq qp pt tq q p pt t = =- - P P ( ( ) )P P( ( ) )P P ( (0 0) )P P( ( ) ), , ( (5 5. . 1 10 0) )t tQ Qt tt t= = =2022-5-837信息工程學院四系三教知識回憶v定理定理5.5 柯爾莫哥洛夫向前方程柯爾莫哥洛夫向前方程v 設對給定的設對給定的 ，有，有 且且v v 關于關于 一致成立，那么一致成立，那么v矩陣形式：矩陣形式：jIjI . .jjjjq q 0 0( ( ) )l li im m, ,. .k kj jk kj jh h

23、p ph hq qk kj jh h + += = = =+ + = = = =- -+ + + = =- - 則稱則稱 為為生滅過程生滅過程， 為為出生率出生率， 為為死亡率死亡率。 ( ( ) ), ,0 0X X t t t t i il li im m2022-5-850信息工程學院四系三教生滅過程的定義2022-5-8信息工程學院四系三教51生滅過程的定義 假設假設 ( 是正常數(shù)是正常數(shù))，那，那么稱生滅過程么稱生滅過程 為線性生滅過程為線性生滅過程。, , ,i ii ii ii il ll l m mm m= = =, ,l l m m ( ( ) ), ,0 0 X X t t

24、 t t 若若 ，則稱生滅過程，則稱生滅過程 為為純純生過程生過程；0 0i im m ( ( ) ), ,0 0 X X t t t t 若若 ，則稱生滅過程，則稱生滅過程 為為純滅過程純滅過程.0 0i il l ( ( ) ), ,0 0X X t t t t 2022-5-852信息工程學院四系三教二、生滅過程的密度矩陣v由定理得由定理得因此，生滅過程的密度矩陣因此，生滅過程的密度矩陣Q為為, ,0 0, ,1 1, ,0 0, ,( ( ) )| |1 1, ,1 1, ,0 0, ,| | |2 2i ii ij ji ij jh hi ii ij jj ji ii id dq q

25、p ph hj ji ii id dh hq qi ij jl lm m= = = =+ + = = = = =- - = =- - 0 0( ( ) )| |, ,( (0 0) )i ii ii ii ih hi ii id dq qp ph hi id dh hl lm m= = = - -= =+ + 2022-5-853信息工程學院四系三教二、生滅過程的密度矩陣0 00 01 11 11 11 12 22 22 22 20 00 0( () )0 00 0( () )0 00 0Q Ql ll lm ml lm ml lm ml lm ml l輊輊- -犏犏犏犏- -+ +犏犏犏犏-

26、 -+ += =犏犏犏犏犏犏犏犏犏犏臌臌L LL LL LL LL LL LL LL LL LM MM MM MM MM M O OM ML LL LL L2022-5-854信息工程學院四系三教三、生滅過程的柯爾莫哥洛夫微分方程v由由 (5.10)式式 可得生滅過程的可得生滅過程的柯爾莫哥洛夫向前方程為柯爾莫哥洛夫向前方程為v由由 (5.11)式式 可得生滅過程的柯可得生滅過程的柯爾莫哥洛夫向前方程為爾莫哥洛夫向前方程為1 1, ,1 11 1, ,1 1 ( () )( () ) ( () ) ( () )( () ), , ,i ij jj ji ij jj jj ji ij jj ji

27、 ij jp pt tp pt tp p t tp pt t i ij jI Il ll lm mm m- - -+ + += =- -+ + + 1 1, ,1 1, , ( () )( () ) ( () ) ( () )( () ), , ,i ij ji i i ij ji ii ii ij ji i i ij jp pt tp pt tp p t tp pt t i i j jI Im ml lm ml l- -+ += =- -+ + + P ( )P( )P ( )P( )ttQttQ = =P ( )P( )P ( )P( )tQttQt = =2022-5-855信息工程學院

28、四系三教四、生滅過程的平穩(wěn)分布因為上述方程組的求解較為困難，我們討論因為上述方程組的求解較為困難，我們討論其平穩(wěn)分布。由式其平穩(wěn)分布。由式 ，有，有逐步遞推得逐步遞推得( () )0 00 01 11 11 11 11 11 1, , ,1 1j jj jj jj jj jj jj jj jl l p pm m p pl lm mp pl lp pm mp p- - -+ + + = = + += =+ + 0 01 10 01 11 10 02 21 10 01 12 21 12 21 10 01 11 11 10 01 11 12 2, , ,. . . . . . . ., ,. . .

29、 . . . . .j jj jj jj jj jj jl ll ll l l lp pp pp pp pp pm mm mm m m ml ll l l ll lp pp pp pm mm m m mm m- - - - -= = = = = =0 0Q Qp p = =2022-5-856信息工程學院四系三教四、生滅過程的平穩(wěn)分布再利用再利用 ，得平穩(wěn)分布，得平穩(wěn)分布平穩(wěn)分布存在的充分必要條件是平穩(wěn)分布存在的充分必要條件是0 01 1j jj jp p = = = 1 10 01 11 10 01 11 12 21 10 01 11 10 01 11 11 11 12 21 12 2. .

30、 . . . .1 1, ,. . . . . . . . . . . . . . . .1 1, ,1 1. . ( (5 5. . 1 14 4) ). . . . . . . . . . .j jj jj jj jj jj jj jj jj jj jl l l ll lp pm m m mm ml l l ll ll l l ll lp pm m m mm mm m m mm m- - - -= =- - - - -= =驏驏琪琪琪琪= =+ +琪琪琪琪桫桫驏驏琪琪琪琪= =+ + 琪琪琪琪桫桫 0110111 11212. . . . . . . . .j jj jj jl lll l

31、lm mmm mm - -= = - 2022-5-858信息工程學院四系三教五、 泊松過程純生過程( ( ) ) ( () )| |( ( ) ) ( () )( ( ) )0 0 | |( ( ) )( (0 0) ) ( () )( ( ) )0 0 ( ( ) )0 0 1 1( ( ) ). .i ii ih hp ph hP P X X t th hi i X X t ti iP P X X t th hX X t tX X t tX Xi iP P X X t th hX X t tP P X X h he eh ho o h hl ll l- -= =+ += = = =+ +

32、- -= =- -= = =+ +- -= = = = = =- -+ +故故 ，因此泊松過程為純生過程。，因此泊松過程為純生過程。0 0i im m 2022-5-859信息工程學院四系三教小結v本章知識點：本章知識點：n連續(xù)時間齊次馬氏鏈連續(xù)時間齊次馬氏鏈n轉移概率的轉移概率的CK方程方程nQ矩陣的定義與物理意義矩陣的定義與物理意義n柯爾莫哥洛夫向后、向前方程柯爾莫哥洛夫向后、向前方程n平穩(wěn)分布平穩(wěn)分布n生滅過程生滅過程2022-5-8信息工程學院四系三教60小結v第一章知識點：第一章知識點：v隨機變量及其分布隨機變量及其分布v隨機變量的數(shù)字特征隨機變量的數(shù)字特征v條件數(shù)學期望條件數(shù)學期望

33、v第二章知識點：第二章知識點：v隨機過程的根本概念隨機過程的根本概念v隨機過程的分布律隨機過程的分布律v隨機過程的數(shù)字特征隨機過程的數(shù)字特征v幾種重要的隨機過程幾種重要的隨機過程2022-5-8信息工程學院四系三教61題題2.4 隨機過程隨機過程 的均值函數(shù)的均值函數(shù) 和協(xié)和協(xié)方差函數(shù)方差函數(shù) ，設，設 為普通函數(shù)為普通函數(shù), 令令 求隨機過程求隨機過程 的均值函數(shù)與協(xié)方差函數(shù)。的均值函數(shù)與協(xié)方差函數(shù)。解：解：2022-5-8信息工程學院四系三教62( )( )X tX t( )( )X Xmtmt1212( , )( , )X XBt tBt t( )( )t tj j( ( ) )( (

34、) )( ( ) ), ,Y Y t tX X t tt tj j= =+ +( )( )Y tY t( ) ( )( )( )( )( ) ( )( )( )( )YXYXmtE X ttmttmtE X ttmttjjjj=+=+=+=+1212121212121212121211221122112211221212( , )( , )( )( )( , )( , )( )( ) ( ) ( )( )( ) ( ) ( )( )( ) ( ( )( ) ( ( )( ) ( ( )( ) ( ( )( )( )( ) ( )( )( )( ) ( )( )( , )( , )YYYYYYY

35、YYYYYXXXXX XBt tRt tmt mtBt tRt tmt mtE Y t Y tmt mtE Y t Y tmt mtEX ttX ttEX ttX ttmttmttmttmttBt tBt tjjjjjjjj=-=-=-=-=+=+-+-+= =v第三章知識點：第三章知識點：n泊松過程的定義、等價定義泊松過程的定義、等價定義n時間間隔與到達時間的分布時間間隔與到達時間的分布n非齊次泊松過程非齊次泊松過程n復合泊松過程復合泊松過程2022-5-8信息工程學院四系三教63補補2設設 和和 是兩個是兩個相互獨立的泊松過程，其參數(shù)分別為相互獨立的泊松過程，其參數(shù)分別為 和和 記記 為過程為過程 的第