隨機(jī)過(guò)程馬爾科夫過(guò)程

隨機(jī)過(guò)程馬爾科夫過(guò)程第一頁(yè)，共四十四頁(yè)，2022年，8月28日馬爾可夫(1856年6月14日——1922年7月20日）馬爾可夫?qū)?shù)學(xué)的最大貢獻(xiàn)是在概率論領(lǐng)域作出的．十九世紀(jì)后二十年，他主要是沿著切比雪夫開(kāi)創(chuàng)的方向，致力于獨(dú)立隨機(jī)變量和古典極值理論的研究，從而改進(jìn)和完善了大數(shù)定律和中心極限定理．二十世紀(jì)初，他的興趣轉(zhuǎn)移到相依隨機(jī)變量序列的研究上來(lái)，從而創(chuàng)立了以他命名的著名概率模型——馬爾可夫鏈．第二頁(yè)，共四十四頁(yè)，2022年，8月28日王梓坤院士(1929年—)江西吉安人,1952年大學(xué)畢業(yè)后，被分派到天津南開(kāi)大學(xué)數(shù)學(xué)系任教.是一位對(duì)我國(guó)科學(xué)和教育事業(yè)作出卓越貢獻(xiàn)的數(shù)學(xué)家和教育家，也是我國(guó)概率論研究的先驅(qū)和學(xué)術(shù)帶頭人之一。1954年，他又以?xún)?yōu)異的成績(jī)考取了赴蘇研究生。踏進(jìn)世界著名學(xué)府－莫斯科大學(xué)，在這個(gè)學(xué)府世界概率論的奠基人柯?tīng)柲缏宸蛟菏空I(lǐng)導(dǎo)看一個(gè)強(qiáng)有力的概率研究集團(tuán)。柯?tīng)柲呗宸蚧垩圩R(shí)英才，非常信賴(lài)這位由中國(guó)選派的年輕人的能力，把他選作自己的研究生，去攻概率論的中心問(wèn)題隨機(jī)過(guò)程理論。當(dāng)時(shí)中國(guó)近代數(shù)學(xué)才剛剛起步，大學(xué)也沒(méi)有概率課程。此時(shí)蘇聯(lián)的概率論水平已屆于世界最前列。王梓坤也根本不知道什么是概率，可他的研究方向又恰恰被定為概率論，著有《概率論基礎(chǔ)及其應(yīng)用》、《隨機(jī)過(guò)程論》、《生滅過(guò)程與馬爾科夫鏈》等9部數(shù)學(xué)著作．第三頁(yè)，共四十四頁(yè)，2022年，8月28日馬爾可夫過(guò)程的定義馬爾可夫鏈的轉(zhuǎn)移概率與概率分布齊次馬爾可夫鏈狀態(tài)的分類(lèi)轉(zhuǎn)移概率的穩(wěn)定性能本章主要內(nèi)容第四頁(yè)，共四十四頁(yè)，2022年，8月28日

引例(有限制隨機(jī)游動(dòng)問(wèn)題)

設(shè)質(zhì)點(diǎn)只能在{0，1，2，···，a}中的各點(diǎn)上作隨機(jī)游動(dòng)，移動(dòng)規(guī)則如下：ii+1i-101a-1a設(shè)Xn表示質(zhì)點(diǎn)在n時(shí)刻所處的位置第五頁(yè)，共四十四頁(yè)，2022年，8月28日§1馬爾可夫過(guò)程的定義基本概念1．馬爾可夫性通俗地說(shuō)，就是在知道過(guò)程現(xiàn)在的條件下，其將來(lái)的條件分布不依賴(lài)于過(guò)去，則稱(chēng)具有馬爾可夫（Markov)性。定義設(shè)是一個(gè)隨機(jī)過(guò)程，如果在t0時(shí)刻所處的狀態(tài)為已知，它在時(shí)刻

所處狀態(tài)的條件分布與其在t0之前

所處的狀態(tài)無(wú)關(guān)。第六頁(yè)，共四十四頁(yè)，2022年，8月28日2.馬爾可夫過(guò)程定義設(shè)的狀態(tài)空間為S,的條件分布函數(shù)恰好等于第七頁(yè)，共四十四頁(yè)，2022年，8月28日3.馬爾可夫鏈定義參數(shù)集和狀態(tài)空間都是離散的馬爾可夫過(guò)程稱(chēng)為馬爾可夫鏈。注只討論馬爾可夫鏈的狀態(tài)空間為有限或可列無(wú)限.則馬爾可夫性可表示為第八頁(yè)，共四十四頁(yè)，2022年，8月28日特別對(duì)取T={0,1,2,···}的馬爾可夫鏈，記為或此時(shí)的馬爾可夫性為或今后,記第九頁(yè)，共四十四頁(yè)，2022年，8月28日二馬爾可夫鏈的轉(zhuǎn)移概率1.轉(zhuǎn)移概率定義設(shè)是馬爾可夫鏈,稱(chēng)條件概率經(jīng)過(guò)k步轉(zhuǎn)移,于n+k時(shí)到達(dá)狀態(tài)j的條件概率).在n時(shí)的k步轉(zhuǎn)移概率.n時(shí)的k步轉(zhuǎn)移概率矩陣.第十頁(yè)，共四十四頁(yè)，2022年，8月28日特別

當(dāng)k=1時(shí)，第十一頁(yè)，共四十四頁(yè)，2022年，8月28日定義稱(chēng)可數(shù)維的矩陣為隨機(jī)矩陣，如果顯然，在n時(shí)的k步轉(zhuǎn)移概率矩陣是一隨機(jī)矩陣.特別k＝０時(shí)，約定第十二頁(yè)，共四十四頁(yè)，2022年，8月28日實(shí)際中常會(huì)碰到具有時(shí)齊性的馬氏鏈若對(duì)任意的狀態(tài)i,j和時(shí)刻n，均有則稱(chēng)馬氏鏈X具有時(shí)齊性，或稱(chēng)X為其次馬爾科夫鏈，簡(jiǎn)稱(chēng)齊次馬氏鏈.第十三頁(yè)，共四十四頁(yè)，2022年，8月28日

引理(有限制隨機(jī)游動(dòng)問(wèn)題)

設(shè)質(zhì)點(diǎn)只能在{0，1，2，···，a}中的各點(diǎn)上作隨機(jī)游動(dòng)，移動(dòng)規(guī)則如下：ii+1i-101a-1a第十四頁(yè)，共四十四頁(yè)，2022年，8月28日設(shè)Xn表示質(zhì)點(diǎn)在n時(shí)刻所處的位置，則其一步轉(zhuǎn)移概率矩陣為第十五頁(yè)，共四十四頁(yè)，2022年，8月28日例１(天氣預(yù)報(bào)問(wèn)題)如果明天是否有雨僅與今天的天氣(是否有雨)有關(guān)，而與過(guò)去的天氣無(wú)關(guān).并設(shè)今天下雨、明天有雨的概率為a，今天無(wú)雨而明天有雨的概率為b，又假設(shè)有雨稱(chēng)為0狀態(tài)天氣，無(wú)雨稱(chēng)為1狀態(tài)天氣.Xn表示時(shí)刻n時(shí)的天氣狀態(tài)，則是以為狀態(tài)空間的齊次馬爾可夫鏈.其一步轉(zhuǎn)移概率矩陣為第十六頁(yè)，共四十四頁(yè)，2022年，8月28日天氣的變化過(guò)程還可以用不同的馬爾科夫鏈來(lái)描述，假設(shè)任意一天的天氣與前一天的天氣有關(guān)，即如果昨天和今天都為晴天，明天為晴天的概率為α，昨天和今天分別為晴天和陰天，明天為晴天的概率為β，昨天和今天分別為陰天和晴天，明天為晴天的概率為γ，如果昨天和今天都為陰天，明天為晴天的概率為δ。如果將陰天和晴天分別記為0,1，則昨天和今天的所有天氣情況可以用數(shù)對(duì)表示為集合S={（1,1），（1,0），（0,1），（1,1）}，由此，將數(shù)對(duì)看做狀態(tài)，天氣的變化過(guò)程可用狀態(tài)空間為S上的其次馬爾科夫鏈描述，一步轉(zhuǎn)移概率矩陣為：第十七頁(yè)，共四十四頁(yè)，2022年，8月28日第十八頁(yè)，共四十四頁(yè)，2022年，8月28日練習(xí)天氣預(yù)報(bào)問(wèn)題，其模型是：今天是否下雨依賴(lài)于前三天是否有雨（即一連三天有雨；前面兩天有雨，第三天晴天…..),問(wèn)能否把這一問(wèn)題歸納為一馬爾科夫鏈，如果可以，問(wèn)該過(guò)程的狀態(tài)有幾個(gè)？如果過(guò)去一連三天有雨，今天有雨的概率為0.8；過(guò)去連續(xù)為晴天，而今天有雨的概率為0.2；在其他天氣情況，今天的天氣和昨天相同的概率為0.6，求這個(gè)馬兒科夫鏈的轉(zhuǎn)移概率.第十九頁(yè)，共四十四頁(yè)，2022年，8月28日例2

（埃倫菲斯特模型）設(shè)一個(gè)壇子中裝有m個(gè)球，它們或是紅色的，或是黑色的，從壇子中隨機(jī)的摸出一球，并換入一個(gè)相反顏色的球.其一步轉(zhuǎn)移概率矩陣為為狀態(tài)空間的齊次馬爾可夫鏈.設(shè)經(jīng)過(guò)n次摸換,壇中黑球數(shù)為Xn,則第二十頁(yè)，共四十四頁(yè)，2022年，8月28日例3（群體增長(zhǎng)）某種生物群體的每個(gè)個(gè)體在其生存期內(nèi)彼此獨(dú)立地產(chǎn)生后代，假設(shè)每個(gè)個(gè)體都以概率pk產(chǎn)生k個(gè)后代，且有用Xn表示第n代生物群體的總數(shù)，它是生物群體的第n-1代的每個(gè)個(gè)體的后代個(gè)數(shù)的總和，因此第n+1代的個(gè)體總數(shù)僅依賴(lài)于第n代的個(gè)體總數(shù)，所以X={Xn,n=0,1,2,···}是一個(gè)馬爾科夫鏈，狀態(tài)空間為S={0,1,2，···}第二十一頁(yè)，共四十四頁(yè)，2022年，8月28日則馬氏鏈的一步轉(zhuǎn)移概率為：如果記第n代的生物群體個(gè)數(shù)記i個(gè)個(gè)體各自產(chǎn)生的后代數(shù)分別記為隨機(jī)變量，且有概率分布故一步轉(zhuǎn)移概率為第二十二頁(yè)，共四十四頁(yè)，2022年，8月28日例4（卜里耶模型）設(shè)一個(gè)壇子里有b個(gè)黑球和r個(gè)紅球，每次隨機(jī)地從壇子中摸出一個(gè)球后再放回去，并加入c個(gè)與摸出球同顏色的球。重復(fù)以上步驟將摸球進(jìn)行下去，設(shè)Xn表示第n次摸球放回后壇子中的黑球數(shù)，試寫(xiě)出其一步轉(zhuǎn)移概率矩陣和狀態(tài)空間第二十三頁(yè)，共四十四頁(yè)，2022年，8月28日例5：設(shè)是相互獨(dú)立同分布的隨機(jī)變量序列，且令隨機(jī)序列：驗(yàn)證：隨機(jī)序列X={Xn:n≥0}是一個(gè)齊次馬氏鏈.第二十四頁(yè)，共四十四頁(yè)，2022年，8月28日例6（網(wǎng)頁(yè)瀏覽）用集合表示因特網(wǎng)中的所有網(wǎng)頁(yè)，假設(shè)網(wǎng)頁(yè)上的超級(jí)鏈接數(shù)為，對(duì)應(yīng)的網(wǎng)頁(yè)集合為，用戶(hù)進(jìn)入網(wǎng)頁(yè)后，按照以下規(guī)則進(jìn)入新的網(wǎng)頁(yè)；以概率p進(jìn)入網(wǎng)頁(yè)集合S中任何一個(gè)網(wǎng)頁(yè)或者以概率q進(jìn)入的任一個(gè)超級(jí)鏈接，令Xn表示用戶(hù)在n次選取后所在的網(wǎng)頁(yè)，問(wèn)Xn是非是一馬氏鏈，若是的話，寫(xiě)出其一步轉(zhuǎn)移概率.第二十五頁(yè)，共四十四頁(yè)，2022年，8月28日§２.馬爾科夫鏈的概率分布定理(C-K方程)或矩陣形式（解決了k步轉(zhuǎn)移概率與一步轉(zhuǎn)移概率間的關(guān)系）證明第二十六頁(yè)，共四十四頁(yè)，2022年，8月28日系統(tǒng)在n時(shí)從狀態(tài)i的出發(fā),經(jīng)過(guò)k+m步轉(zhuǎn)移,于n+k+m時(shí)到達(dá)狀態(tài)j,可以先在n時(shí)從狀態(tài)i出發(fā)，經(jīng)過(guò)k步轉(zhuǎn)移于n+k時(shí)到達(dá)某種中間狀態(tài)l,再在n+k時(shí)從中間狀態(tài)l出發(fā)經(jīng)過(guò)m步轉(zhuǎn)移于n+k+m時(shí)到達(dá)最終狀態(tài)j,而中間狀態(tài)l要取遍整個(gè)狀態(tài)空間S.C-K方程的直觀意義：第二十七頁(yè)，共四十四頁(yè)，2022年，8月28日定理

馬爾可夫鏈的k步轉(zhuǎn)移概率由 其一步轉(zhuǎn)移概率所完全確定.若取m=1,則由C-K方程的矩陣形式:得分量形式第二十八頁(yè)，共四十四頁(yè)，2022年，8月28日齊次馬爾可夫鏈為方便，一般假定時(shí)間起點(diǎn)為零．即對(duì)齊次馬爾可夫鏈，k步轉(zhuǎn)移概率也與起始時(shí)刻n無(wú)關(guān)．記為相應(yīng)的k步與一步轉(zhuǎn)移概率矩陣分別記為第二十九頁(yè)，共四十四頁(yè)，2022年，8月28日例：設(shè){Xn,n≥0}是描述天氣變化的齊次馬爾科夫鏈，狀態(tài)空間為S={0,1},其中0,1分別表示有雨和無(wú)雨，X的一步轉(zhuǎn)移概率矩陣為試對(duì)任意的i,j∈S,計(jì)算三步轉(zhuǎn)移概率第三十頁(yè)，共四十四頁(yè)，2022年，8月28日1）初始分布為馬爾可夫鏈的初始分布3.馬爾可夫鏈的分布稱(chēng)第i個(gè)分量為的(行)向量為馬爾可夫鏈的初始分布向量.即2）有限維分布定理馬爾可夫鏈的有限維分布由其初始分布和一步轉(zhuǎn)移概率所完全確定.證明第三十一頁(yè)，共四十四頁(yè)，2022年，8月28日第三十二頁(yè)，共四十四頁(yè)，2022年，8月28日又因?yàn)轳R爾可夫鏈的k步轉(zhuǎn)移概率由一步轉(zhuǎn)移概率所完全確定.所以馬爾可夫鏈的有限維分布由其初始分布和一步轉(zhuǎn)移概率所完全確定.第三十三頁(yè)，共四十四頁(yè)，2022年，8月28日3）絕對(duì)分布為馬爾可夫鏈的絕對(duì)分布稱(chēng)第j個(gè)分量為的(行)向量為馬爾可夫鏈的絕對(duì)分布向量.即絕對(duì)分布、初始分布和n步轉(zhuǎn)移概率有如下關(guān)系：或矩陣形式第三十四頁(yè)，共四十四頁(yè)，2022年，8月28日第三十五頁(yè)，共四十四頁(yè)，2022年，8月28日的有限維分布由其初始分布和一步轉(zhuǎn)移概率所完全確定齊次馬氏鏈有相應(yīng)的結(jié)果第三十六頁(yè)，共四十四頁(yè)，2022年，8月28日例設(shè)是具有三個(gè)狀態(tài)0，1，2的齊次馬爾可夫鏈，其一步轉(zhuǎn)移概率矩陣為初始分布試求：第三十七頁(yè)，共四十四頁(yè)，2022年，8月28日解第三十八頁(yè)，共四十四頁(yè)，2022年，8月28日第三十九頁(yè)，共四十四頁(yè)，2022年，8月28日例：如果將社會(huì)家庭中個(gè)體的收入分為低收入、中等收入和高收入三個(gè)等級(jí)，則早在20世紀(jì)50年代，社會(huì)學(xué)研究者發(fā)現(xiàn)個(gè)體收入的等級(jí)在很大程度上取決于其父代收入的等級(jí)。如果令Xn表示一個(gè)家庭第n代個(gè)體的收入等級(jí)，并用1,2,3分別表示低收入，中等收入和高收入，則一個(gè)家庭中相繼的后代收入等級(jí)的變化可以用其次馬爾科夫鏈來(lái)描述，狀態(tài)空間為S={1,2,3}，并且有以下的轉(zhuǎn)移的概率矩陣第四十頁(yè)，共四十四頁(yè)，2022年，8月28日如果當(dāng)前收入等級(jí)為3，試分析經(jīng)過(guò)三代后個(gè)體收入等級(jí)轉(zhuǎn)變?yōu)?的可能性，進(jìn)一步分析經(jīng)過(guò)n代后個(gè)體收入等級(jí)的概率分布，并具體計(jì)算n=10時(shí)個(gè)體收入等級(jí)的概率分布。第四十一頁(yè)，共四十四頁(yè)，2022年，8月28日例（市場(chǎng)預(yù)測(cè)）公司A,B,C是某地區(qū)三家主要滅蟲(chóng)劑廠商，根據(jù)歷史資料得知，公司A,B,C產(chǎn)品銷(xiāo)售額的市場(chǎng)占有率分別為50%,30%,20%.由于C公司實(shí)行了改善銷(xiāo)售與服務(wù)方針的經(jīng)營(yíng)管理策略，使其產(chǎn)品銷(xiāo)售額逐步穩(wěn)定上升，而A公司卻下降，通過(guò)市場(chǎng)調(diào)查發(fā)現(xiàn)三公司間的顧客流動(dòng)情況如下表：公司周期0的顧客數(shù)周期1的顧客數(shù)ABCA500035005001000B30003002400300C20001001003100