第14講-馬爾可夫過程課件

1、x1(t)x2(t)x3(t)x4(t)t1t2t3t4隨機過程平穩(wěn)隨機過程xtf(x,t)RX(t+,t)各態(tài)歷經(jīng)隨機過程x1(t)x2(t)x3(t)x4(t)t1t2t3t4隨機過程要點回顧隨機過程要點回顧從統(tǒng)計特性上分析隨機過程性質(zhì)從統(tǒng)計特性上分析隨機過程性質(zhì)q馬爾可夫鏈、馬爾可夫過程概念q齊次馬爾可夫鏈概念q轉(zhuǎn)移概率矩陣q切普曼柯爾莫哥洛夫方程 從信號前后取值狀態(tài)的聯(lián)系上分析隨機過程目的：內(nèi)容：重點第五章 馬爾可夫過程n馬爾可夫過程的特性：隨機過程在時刻ti所處的狀態(tài)已知時，過程在t(tti)所處的狀態(tài)僅與過程在ti時刻的狀態(tài)有關(guān)，而與過程在ti以前所處的狀態(tài)無關(guān)。x1(t)x2(t

2、)x3(t)x4(t)t1t2t3t4馬爾可夫過程分類（時間、狀態(tài)空間）根據(jù)取值的連續(xù)性馬爾可夫過程鏈、序列過程馬爾可夫鏈馬爾可夫序列可列馬爾可夫過程馬爾可夫過程根據(jù)時間上的連續(xù)性馬爾可夫序列馬爾可夫鏈x1(k)x2(k)x3(k)x1(k) 2 1 0-1-2可列馬爾可夫過程馬爾可夫過程x1(t)x2(t)x3(t)x4(t)t1t2t3t4x1(t)x2(t)x3(t)5.1馬爾可夫鏈n定義：對任意的整數(shù)s1s2slmm+k，離散隨機序列Xn，在m+k時刻的狀態(tài)Xm+k只與最近時刻m的狀態(tài)Xm有關(guān)，而與以前s1,s2,sl時刻的狀態(tài)無關(guān)，這樣的隨機序列稱為馬爾可夫鏈，簡稱馬氏鏈。 馬爾可夫

3、鏈含義Xs1Xs2Xs3XmXm+ka1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aN11|,|( ,)llm kjssssmim kjmiijP XaXaXaXaP XaXapm mk一、狀態(tài)概率、轉(zhuǎn)移概率及轉(zhuǎn)移矩陣思考：如何掌握馬爾可夫鏈性質(zhì)？狀態(tài)空間初始狀態(tài)轉(zhuǎn)移概率XmXna1a2aiaN-1aNa1a2aiaN-1aN轉(zhuǎn)移),(),(),(),(),(),(),(),(),(),(212222111211nmPnmpnmpnmPnmpnmpnmPnmpnmpnmNNNNNNP轉(zhuǎn)移矩陣性質(zhì)：XmXna1a2aiaN-1

4、aNa1a2aiaN-1aN轉(zhuǎn)移),(),(),(),(),(),(),(),(),(),(212222111211nmPnmpnmpnmPnmpnmpnmPnmpnmpnmNNNNNNP)(jnjaXPnp11( ),( , )( )NNjminjijiiip nP Xa Xap m n p m1)(1NjjnpNjimjnNjijaXaXPnmp111|),(Xn取值概率轉(zhuǎn)移后概率和所有轉(zhuǎn)移可能二、切普曼柯爾莫哥洛夫方程XmXra1a2aiaN-1aNa1a2akaN-1aN轉(zhuǎn)移Xna1a2ajaN-1aN轉(zhuǎn)移思考：初態(tài)、終態(tài)、中間態(tài)關(guān)系初態(tài)初態(tài)中間態(tài)中間態(tài)終態(tài)終態(tài)1( , )( , )(

5、 , ),Nijikkjkp m npm r pr n nrm切普曼柯爾莫哥洛夫方程： ,|),(imjnimimjnijaXPaXaXPaXaXPnmp1,NmirknjkmiP XaXaXaP Xa1,NmirknjmirkkmirkmiP Xa XaXaP Xa XaP Xa XaP Xa1|,|NnjmirkrkmikP XaXaXaP XaXaNkimkrkrjnaXaXPaXaXP1|1( , )( , ) ,Nikkjkpm rpr nnrm三、齊次馬爾可夫鏈三、齊次馬爾可夫鏈 定義：如果馬爾可夫鏈的轉(zhuǎn)移概率pij(m,n)只取決于n-m，而與m和n本身的值無關(guān)，則稱為齊次馬爾可

6、夫過程鏈，簡稱齊次鏈。XmXna1a2aiaN-1aNa1a2aiaN-1aN轉(zhuǎn)移)()()()()()()()()()(212222111211mnPmnpmnpmnPmnpmnpmnPmnpmnpmnNNNNNNP111212122212( , )( , )( , )( , )( , )( , )( , )( , )( , )( , )NNNNNNpm npm nPm npm npm nPm nm npm npm nPm nP齊次馬爾可夫鏈的切普曼柯爾莫哥洛夫方程為： Nkkjikijlmplpmp1)()()(NkkjikNkkjikijpmpmppmp11) 1 () 1() 1()

7、1 ()(mmmmPPPPPPP)2() 1()(轉(zhuǎn)移概率轉(zhuǎn)移矩陣大勢任意時刻聯(lián)合概率,2211kkssssssaXaXaXPNjssssssjkkaXaXaXaXP10,22111111221110|,kkkkkkNssssjjssssssP XaXaP XaXaXaXa,1122111011kkkkssssssjNjkkssaXaXaXaXPssP1211 2111221101() kkkkNsskksskks ssjjPssPssPss P s P Xan例1：設(shè)質(zhì)點M在直線段上作隨機游動。假設(shè)質(zhì)點M只能停留在1，2，N點上，且只在t1,t2,tn,時刻發(fā)生游動。游動的概率法則是：q若質(zhì)

8、點M原來處于2，N-1這些點上，則分別以p(0p1)的概率向右移動一步或以q(q=1-p)的概率向左移動一步q若質(zhì)點原來處于1點，則以概率1移動到2點q若質(zhì)點M原處于N點，則以概率1移動到N-1點上。123N-1Npq,1,1,12,1,21,210,1,11i ii ii jN NppiNpqiNpjiipp 01001000qpqPpqp 轉(zhuǎn)移矩陣轉(zhuǎn)移概率n例2：在某數(shù)字通信系統(tǒng)中傳遞0、1兩種信號，且傳遞要經(jīng)過若干級。因為系統(tǒng)中存在噪聲，各級將會造成錯誤。若某級輸入0、1數(shù)字信號后，其輸出不產(chǎn)生錯誤的概率為p(即各級正確傳遞信息的概率)，產(chǎn)生錯誤的概率q=1-p。 求其轉(zhuǎn)移概率：pqPq

9、p一步轉(zhuǎn)移概率二步轉(zhuǎn)移概率222222(2)2pqpqpqpqPPqpqppqpqn步轉(zhuǎn)移概率( )nnpqP nPqpn例3：天氣預(yù)報問題。若明天是否降雨只與今日的天氣（是否有雨）有關(guān)，而與以往的天氣無關(guān)。并設(shè)今日有雨而明日也有雨的概率為0.6，今日無雨而明日有雨的概率為0.3。另外，假定將“有雨”稱作“1”狀態(tài)天氣，而把“無雨”稱為“2”狀態(tài)天氣，則本例屬于一個兩狀態(tài)馬氏鏈。試求：q其一步至四步轉(zhuǎn)移概率矩陣q今日有雨而后日（第三日）仍有雨的概率為多少？q今日有雨而第四日無雨的概率為多少？q今日無雨而第五日有雨的概率為多少？111221220.60.40.30.7pqPqp一步一步二步二步21112221220.480.520.390.61pqPqp三步三步四步四步41112421220.43320.56680.42510.5749pqPqp3