馬爾可夫鏈完整版本

馬爾可夫鏈基本概念應用舉例二一1/5/20251概率統(tǒng)計-馬爾可夫鏈一、基本概念1.隨機過程我們知道，描述隨機現(xiàn)象可用隨機變量。例：用r.vX表示下一秒末全世界人口的數(shù)量用r.vY表示附一院明天的門診人數(shù)若要描述醫(yī)院未來10天的門診人數(shù)，可用10維隨機向量（Y1，Y2，…Y10）。但要描述未來任意時刻的情況，得用一族（無限多個）隨機變量，稱為1/5/20252概率統(tǒng)計-馬爾可夫鏈1.隨機過程{Xt:t∈T}

T為參數(shù)集（任意）

——一族無窮多個隨機變量例下一秒末全世界人口的數(shù)量X（隨機變量）（隨機變量）（隨機過程）（隨機變量）（隨機過程）

Xt：t

（0，∞）

Yt：某醫(yī)院開業(yè)后第t天的就診人數(shù)

Yt：t1，2，

）Xt：t時刻全世界人口的數(shù)量

描述一個離散隨機變量用分布列

描述一系列離散隨機變量用聯(lián)合分布（復雜）1/5/20253概率統(tǒng)計-馬爾可夫鏈馬氏性(已知現(xiàn)在,將來與過去無關)P{Xn=jn|Xn-1=jn-1,…,X0=j0}=P{Xn=jn|Xn-1=jn-1}————————————————→2.馬爾可夫鏈(Markovchain)T={0,1,2,…}Xn離散(可假定Xn僅取整數(shù)){Xn:n∈T}隨機過程—————

離散參數(shù)(或離散時間)的隨機過程—————

離散參數(shù)離散狀態(tài)過程{Xn：n=0,1,2,…}為馬爾可夫鏈（簡稱馬氏鏈）例醉漢行走（自由隨機徘徊）1/5/20254概率統(tǒng)計-馬爾可夫鏈建立隨機過程模型，首先要確定狀態(tài)空間、參數(shù)集例：婦產(chǎn)科：婦科病房、產(chǎn)科病房、門診部醫(yī)生:每六個月重新分配一次(機會不一定均等)建立反映這一現(xiàn)象的的模型（隨機過程）記錄時間:分配的次數(shù)狀態(tài):1,2,3.(因為有三種可能情況)于是設Xn:醫(yī)生在第n個時期被指派到的工作部門

(n=0,1,2,……)

Xn=1,2,3分別表被指派到產(chǎn)科.婦科.門診部門狀態(tài)空間—r.v的一切可能取值.參數(shù)集—描述過程隨時間的變化.1/5/20255概率統(tǒng)計-馬爾可夫鏈關于這一過程，我們想知道：(1)如果某醫(yī)生進入了產(chǎn)科病房,經(jīng)過三次分配后又重新進入產(chǎn)科病房的概率是多少?(2)如果某醫(yī)生開始時是在產(chǎn)科病房,平均須經(jīng)過幾個月才能首次分配到門診部工作?(3)醫(yī)生目前在門診部,遙遠的將來在婦科的概率?(4)長遠來看,一個人分配到婦科病房的概率多少?為此,我們必須首先知道狀態(tài)的改變即轉移情況及可能性大小.1/5/20256概率統(tǒng)計-馬爾可夫鏈3.轉移圖(一步)4.轉移概率矩陣對一步轉移情況,我們可用轉移圖.123則

pij

i=1,2,3.j=1,2,3.描述了時刻0到1的所有可能性.可用一矩陣表示:設——一步轉移概率虛轉移真轉移1/5/20257概率統(tǒng)計-馬爾可夫鏈P稱為一步轉移矩陣特點：X1的狀態(tài)X0的狀態(tài)1—產(chǎn)科2—婦科3—門診（1）pij非負，每一行元素之和為1.(第一行:

X0=1的條件下,X1的概率分布)123p11p22p21p13p12p32p23p31p33（2）一步轉移矩陣與轉移圖相互唯一決定.1/5/20258概率統(tǒng)計-馬爾可夫鏈一般，若有N個狀態(tài)，則一步轉移矩陣為X1的狀態(tài)12…NX0的狀態(tài)

12…N其中：1/5/20259概率統(tǒng)計-馬爾可夫鏈而過程n時刻處于狀態(tài)i下一時刻轉移到狀態(tài)j的一步轉移概率通常與n有關。若假定上式與n無關，即平穩(wěn)過程任何時期的一步轉移我們只討論具有無后效性（馬氏性）、平穩(wěn)性的馬氏鏈則稱過程是平穩(wěn)的。概率矩陣都是：1/5/202510概率統(tǒng)計-馬爾可夫鏈例：院方規(guī)定：一個在產(chǎn)科病房(1)工作的醫(yī)生不能分配到門診部(3)工作，但有40%的機會仍可以分配到產(chǎn)科病房，60%的機會轉移到婦科病房(2)；在婦科病房工作的醫(yī)生，有40%的機會可以保留在婦科病房，60%的機會轉移到門診部，但不能轉到產(chǎn)科；在門診部的醫(yī)生卻必然要轉出去，分配到產(chǎn)科病房的機會是婦科病房機會的4倍。則1230.400.60.40.60.20.800虛線部分不畫矩陣中與虛線對應的0要寫1/5/202511概率統(tǒng)計-馬爾可夫鏈5.兩步轉移矩陣由平穩(wěn)性,設則稱為二步轉移矩陣.問題:已知P,如何求P(2)?1/5/202512概率統(tǒng)計-馬爾可夫鏈例：對三個狀態(tài)的馬氏鏈,已知P,求由全概率公式:X0X1X22133212=P的第2行元素與P的第3列元素對應相乘之和1/5/202513概率統(tǒng)計-馬爾可夫鏈一般=P的第i行元素與P的第j列元素對應相乘之和于是對1/5/202514概率統(tǒng)計-馬爾可夫鏈6.k步轉移矩陣其中滿足1/5/202515概率統(tǒng)計-馬爾可夫鏈讀懂k步轉移矩陣表示醫(yī)生現(xiàn)在在狀態(tài)2(婦科)三次轉移后(一年半后)在狀態(tài)3(門診)的概率為0.168.問:

一年半以后應在哪個科室去找他,碰面的機會大?到現(xiàn)在為止,已知轉移概率矩陣,我們可解決下面的問題(1)

知道初始時刻的狀態(tài),就能明確全體隨機變量例:已知X0=2,則P(n)中的第2行即為Xn的分布(條件分布).1/5/202516概率統(tǒng)計-馬爾可夫鏈(2)

未知X0的確切值,但知的X0分布(初始分布),則

可求:——狀態(tài)概率則記——狀態(tài)概率行向量例:由P(2)知,若醫(yī)生開始在產(chǎn)科病房,則經(jīng)兩步轉移后他在產(chǎn)科,婦科,門診的概率分別為:0.16,0.48,0.36.若醫(yī)生開始分配在三個部門的任一個的機會相等,即則1/5/202517概率統(tǒng)計-馬爾可夫鏈即:如醫(yī)生最初等可能地分配到三個部門的任一個,則經(jīng)兩次分配后,他在產(chǎn)科、婦科、門診的概率分別為0.32、0.44、0.24。1/5/202518概率統(tǒng)計-馬爾可夫鏈練一練某單位有甲、乙、丙三人輪班值夜,每晚兩人當班,一人休息.他們不采取規(guī)定值日次序的辦法,而是同意如下的方式:今晚休息的人,明天輪值,今晚值夜的兩人拋擲硬幣,決定明晚哪一個休息.假定今天是星期四,昨晚乙休息,試求他在星期六晚上休息的概率.建立馬氏鏈模型的關鍵:(1)恰當?shù)剡x取狀態(tài),狀態(tài)要能描述過程的發(fā)展狀況,

通常應該是可以觀測的,并且狀態(tài)的轉移要具有無后效性.(構造Xn)(2)正確地寫出轉移概率.(轉移矩陣P)1/5/202519概率統(tǒng)計-馬爾可夫鏈解：方法一某單位有甲、乙、丙三人輪班值夜,每晚兩人當班,一人休息.他們不采取規(guī)定值日次序的辦法,而是同意如下的方式:今晚休息的人,明天輪值,今晚值夜的兩人拋擲硬幣,決定明晚哪一個休息.假定今天是星期四,昨晚乙休息,試求他在星期六晚上休息的概率.狀態(tài)1,2,3.1表甲休息,2表乙休息,3表丙休息設Xn表第n天的值班情況,n=1,2,3,…,則所求1/5/202520概率統(tǒng)計-馬爾可夫鏈方法二某單位有甲、乙、丙三人輪班值夜,每晚兩人當班,一人休息.他們不采取規(guī)定值日次序的辦法,而是同意如下的方式:今晚休息的人,明天輪值,今晚值夜的兩人拋擲硬幣,決定明晚哪一個休息.假定今天是星期四,昨晚乙休息,試求他在星期六晚上休息的概率.設Xn表乙第n天的情況,狀態(tài)1,2Xn=2表乙第n天值班Xn=1表乙第n天休息,則所求1/5/202521概率統(tǒng)計-馬爾可夫鏈7.穩(wěn)態(tài)概率考察

P(n)當n趨于無窮大的情況.(漸近性質)例發(fā)現(xiàn)1/5/202522概率統(tǒng)計-馬爾可夫鏈一般,若轉移概率或其中則稱為馬氏鏈的穩(wěn)態(tài)分布(極限分布)注:并不是所有的馬氏鏈都具有穩(wěn)態(tài)分布1/5/202523概率統(tǒng)計-馬爾可夫鏈若某馬氏鏈具有穩(wěn)態(tài)分布,如何求?(1)

求(2)

設則由1/5/202524概率統(tǒng)計-馬爾可夫鏈這代表了同一方程的許多重復，取第一行此方程有無窮多解，加上正則方程∑πi=1,則得唯一解.∴穩(wěn)態(tài)概率由唯一給出.1/5/202525概率統(tǒng)計-馬爾可夫鏈例：求所給例的穩(wěn)態(tài)概率.設所求為則由即1/5/202526概率統(tǒng)計-馬爾可夫鏈(1)如果某醫(yī)生進入了產(chǎn)科病房,經(jīng)過三次分配后又重新進入產(chǎn)科病房的概率是多少?(2)如果某醫(yī)生開始時是在產(chǎn)科病房,平均須經(jīng)過幾個月才能首次分配到門診部工作?(3)醫(yī)生目前在門診部,遙遠的將來在婦科的概率?(4)長遠來看,一個人分配到婦科病房的概率多少?對于醫(yī)生例問題,看看能回答哪些?1/5/202527概率統(tǒng)計-馬爾可夫鏈例.人的健康狀況分為健康和疾病兩種狀態(tài)，設對特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8,而今年患病、明年轉為健康狀態(tài)的概率為0.7，若某人投保時健康,問10年后他仍處于健康狀態(tài)的概率120.80.20.30.7欲解決：給定a(0),預測a(n),n=1,2…1/5/202528概率統(tǒng)計-馬爾可夫鏈1/5/202529概率統(tǒng)計-馬爾可夫鏈n0a2(n)0a1(n)1設投保時健康給定a(0),預測a(n),n=1,2…設投保時疾病a2(n)1a1(n)0n

時狀態(tài)概率趨于穩(wěn)定值，穩(wěn)定值與初始狀態(tài)無關3…

0.778…

0.222…

∞

7/9

2/9

0.70.770.777…0.30.23

0.223

…

7/9

2/9

狀態(tài)與狀態(tài)轉移120.80.20.30.710.80.220.780.221/5/202530概率統(tǒng)計-馬爾可夫鏈1230.10.0210.80.250.180.65續(xù)例.

健康和疾病狀態(tài)同上，Xn=1~健康,Xn=2~疾病p11=0.8,p12=0.18,p13=0.02死亡為第3種狀態(tài)，記Xn=3p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=11/5/202531概率統(tǒng)計-馬爾可夫鏈1/5/202532概率統(tǒng)計-馬爾可夫鏈n0123

a2(n)00.180.1890.1835

a3(n)00.020.0540.0880

a1(n)10.80.7570.7285

設投保時處于健康狀態(tài)，預測a(n),n=1,2…不論初始狀態(tài)如何，最終都要轉到狀態(tài)3；一旦a1(k)=a2(k)=0,a3(k)=1,則對于n>k,a1(n)=0，a2(n)=0,a3(n)=1,即從狀態(tài)3不會轉移到其它狀態(tài)。狀態(tài)與狀態(tài)轉移001

50

0.1293

0.0326

0.8381

1/5/202533概率統(tǒng)計-馬爾可夫鏈二、應用舉例1.在流行病監(jiān)測中的應用

Markov模型是用于描述時間和狀態(tài)都是離散的隨機過程的數(shù)學模型．應用其理論和方法，可以對疾病發(fā)病情況隨時間序列的變化規(guī)律進行分析和研究，預測疾病的發(fā)展變化趨勢，為預防和控制疾病提供依據(jù)．

統(tǒng)計了某市1980年至1995年腎綜合征出血熱（HFRS）的發(fā)病率分別為(單位：1/10萬)：2.95、6.28、10.28、7.01、7.36、13.78、33.93、35.87、33.40、28.38、30.50、33.79、39.70、30.39、39.70、33.59（引自：李洪杰等.龍泉市腎綜合征出血熱發(fā)病趨勢的預測.浙江預防醫(yī)學,1997,02：44）．現(xiàn)在來建模預測．

1/5/202534概率統(tǒng)計-馬爾可夫鏈步長：一年統(tǒng)計各數(shù)據(jù)的狀態(tài)歸屬及各狀態(tài)出現(xiàn)的頻率（初始概率），得下面的表：狀態(tài)：根據(jù)資料將發(fā)病率劃分為四個狀態(tài)表2各狀態(tài)取值范圍及初始概率狀態(tài)發(fā)病率取值范圍初始概率1X≤104/16210＜X≤202/16320＜X≤301/164X＞30

9/161/5/202535概率統(tǒng)計-馬爾可夫鏈年份發(fā)病率(1/10萬)狀態(tài)年份發(fā)病率(1/10萬)狀態(tài)19802.951198833.40419816.281198928.383198210.282199030.50419837.011199133.79419847.361199239.704198513.782199330.394198633.934199439.704198735.874199533.594表1某市HFRS流行狀況1/5/202536概率統(tǒng)計-馬爾可夫鏈由表1可得各狀態(tài)的轉移頻率即狀態(tài)轉移概率的估計值，從而得模型的一步轉移概率矩陣：(轉移概率估算的方法通常有兩種：一是主觀概率法．二是統(tǒng)計估算法.)

可認為HFRS下一年的發(fā)病率只與當年發(fā)病率有關，而與過去的發(fā)病率無關，且任意時期的一步轉移概率矩陣不變，從而滿足無后效性和平穩(wěn)性的假設，因而可用初始分布為（4/16，2/16，1/16，9/16），轉移概率矩陣為P的馬氏鏈模型來預測HFRS發(fā)病率未來的情況．1/5/202537概率統(tǒng)計-馬爾可夫鏈計算多步轉移矩陣1/5/202538概率統(tǒng)計-馬爾可夫鏈計算極限或解方程

得模型的極限概率分布(穩(wěn)態(tài)分布)：(0，0，1/9，8/9)

分析預測：由于95年處于狀態(tài)4，比較P的第4行的四個數(shù)字知，p44=0.875最大，所以預測96年仍處于狀態(tài)4，即發(fā)病率大于30/10萬．同樣，從二、三、四步轉移矩陣知，依然是狀態(tài)4轉入狀態(tài)4的概率最大，所以預測1996年至1999年該市的HFRS發(fā)病率將持續(xù)在大于30/10萬（高發(fā)區(qū)）水平，這提醒我們應該對此高度重視，采取相應對策．1/5/202539概率統(tǒng)計-馬爾可夫鏈如果轉移概率矩陣始終不變，從極限分布看，最終HFRS發(fā)病率將保持在高發(fā)區(qū)水平，當然，這應該是不會符合實際情況的，因為隨著各方面因素的改變，轉移概率矩陣一般也會發(fā)生變化．所以Markov模型主要適用于短期預測．在用Markov模型進行預測的過程中，無后效性和平穩(wěn)性是最基本的要求，而模型是否合理有效，狀態(tài)的劃分和轉移概率矩陣的估算是關鍵，不同的狀態(tài)劃分可能會得到不同的結果，通常我們根據(jù)有關預測對象的專業(yè)知識和數(shù)據(jù)的多少及范圍來確定系統(tǒng)狀態(tài)．1/5/202540概率統(tǒng)計-馬爾可夫鏈2.市場占有率預測例如，預測A、B、C三個廠家生產(chǎn)的某種藥品在未來的市場占有情況，其具體步驟如下：利用馬爾可夫鏈，我們可以進行市場占有率的預測．（1）目前的市場占有情況．如在購買該藥的總共1000家對象（購買力相當?shù)尼t(yī)院、藥店等）中，買A、B