轉(zhuǎn)移概率的穩(wěn)定性

轉(zhuǎn)移概率的穩(wěn)定性第1頁，課件共34頁，創(chuàng)作于2023年2月1.轉(zhuǎn)移概率的極限由已有知識可知但!又由已有知識可知那么,如何討論???第2頁，課件共34頁，創(chuàng)作于2023年2月由周期鏈的性質(zhì)得到啟發(fā)我們討論第3頁，課件共34頁，創(chuàng)作于2023年2月定理1設(shè)j是正常返狀態(tài)，則其中是j的平均轉(zhuǎn)回時間.證明第4頁，課件共34頁，創(chuàng)作于2023年2月第5頁，課件共34頁，創(chuàng)作于2023年2月則推論設(shè)是齊次馬爾可夫鏈，它的每個狀態(tài)都是正常返的，而且都有周期d，狀態(tài)空間S已經(jīng)被唯一地分解成特別的，如果d=1,則第6頁，課件共34頁，創(chuàng)作于2023年2月證明在以上定理中取r=d,則有即得到結(jié)論.第7頁，課件共34頁，創(chuàng)作于2023年2月定理2設(shè)齊次馬爾可夫鏈的狀態(tài)空間為S,如果存在某正整數(shù)m,使的一步轉(zhuǎn)移概率矩陣P的m次冪中的每個元素都大于0，則是不可約的,而且必存在極限且此極限與初始狀態(tài)i無關(guān)，記為即有第8頁，課件共34頁，創(chuàng)作于2023年2月證明第9頁，課件共34頁，創(chuàng)作于2023年2月定理3設(shè)其中D為非常返狀態(tài)集，為零常返狀態(tài)集，為正常返狀態(tài)閉集，則第10頁，課件共34頁，創(chuàng)作于2023年2月且此極限值與初始狀態(tài)i無關(guān)，記作推論設(shè)是不可約的馬爾可夫鏈，其狀態(tài)空間S中的每個狀態(tài)都是正常返非周期狀態(tài),則即第11頁，課件共34頁，創(chuàng)作于2023年2月定理4設(shè)C為互通的遍歷狀態(tài)構(gòu)成的閉集，則證明第12頁，課件共34頁，創(chuàng)作于2023年2月第13頁，課件共34頁，創(chuàng)作于2023年2月定義設(shè)是一個馬爾可夫鏈，如果構(gòu)成一概率分布，稱為馬爾可夫鏈的極限分布.第14頁，課件共34頁，創(chuàng)作于2023年2月推論不可約馬爾可夫鏈?zhǔn)潜闅v鏈的充要條件是極限分布存在且唯一.第15頁，課件共34頁，創(chuàng)作于2023年2月2平穩(wěn)分布定義稱概率分布是轉(zhuǎn)移概率矩陣為的馬爾可夫鏈的一個平穩(wěn)分布.如果說明若齊次馬爾可夫鏈有一個平穩(wěn)分布:第16頁，課件共34頁，創(chuàng)作于2023年2月定理5設(shè)是齊次馬爾可夫鏈的一個平穩(wěn)分布，如果取為的初始分布，即(1)則對任意的正整數(shù)n，都有(2)并且對任意的正整數(shù)n，m,以及第17頁，課件共34頁，創(chuàng)作于2023年2月證明第18頁，課件共34頁，創(chuàng)作于2023年2月說明了若鏈有平穩(wěn)分布,且以它作為初始分布,則其絕對分布是確定的,保持不變.且該鏈?zhǔn)菄?yán)平穩(wěn)的序列.對一個齊次的馬爾可夫鏈?zhǔn)欠翊嬖谄椒€(wěn)分布???一個重要的問題:如果存在,是否唯一????如何計算?????在特殊情況下,回答上述問題,即定理(5.4.)6第19頁，課件共34頁，創(chuàng)作于2023年2月

引理1設(shè)則必存在極限推論4如果齊次馬爾可夫鏈?zhǔn)遣豢杉s的，它的所有狀態(tài)都是常返狀態(tài)，則有第20頁，課件共34頁，創(chuàng)作于2023年2月定理6設(shè)特別的，若S中的每個狀態(tài)都是遍歷狀態(tài)，則且此時的平穩(wěn)分布就是極限分布.平穩(wěn)分布通過求解右方程組第21頁，課件共34頁，創(chuàng)作于2023年2月其次對一般的馬爾可夫鏈,如果不是不可約,則極限分布一定不存在.平穩(wěn)分布可能存在,也可能不存在.若存在,可能不唯一(有無窮多個)有定理(5.4.)7第22頁，課件共34頁，創(chuàng)作于2023年2月引理2

設(shè)C是周期為d的正常返狀態(tài)的不可約閉集,則第23頁，課件共34頁，創(chuàng)作于2023年2月定理7設(shè)其中D是非常返狀態(tài)集，C0是零常返狀態(tài)集，是正常返狀態(tài)的不可約閉集，為齊次馬爾可夫鏈的平穩(wěn)分布的充要條件是存在非負(fù)數(shù)列第24頁，課件共34頁，創(chuàng)作于2023年2月推論5

對于齊次馬爾可夫鏈(1)

其平穩(wěn)分布存在的充要條件是存在正常返狀態(tài)的不可約閉集.等價地,不存在平穩(wěn)分布的充要條件是H=Φ

(2)存在唯一的平穩(wěn)分布的充要條件是恰有一個正常返狀態(tài)的不可約閉集.(3)存在無窮多個平穩(wěn)分布的充要條件是至少有兩個不同的正常返狀態(tài)的不可約閉集.(4)不可約鏈存在唯一的平穩(wěn)分布的充要條件是所有狀態(tài)都是正常返狀態(tài).第25頁，課件共34頁，創(chuàng)作于2023年2月定理8不可約齊次馬爾可夫鏈具有平穩(wěn)分布的充要條件是線性方程組有非零的絕對收斂解而且此時還有第26頁，課件共34頁，創(chuàng)作于2023年2月例1

設(shè)狀態(tài)空間為S={0,1,2,}的馬爾可夫鏈,其一步轉(zhuǎn)移概率矩陣為試求它的極限分布解易知此鏈為不可約遍歷鏈.故其平穩(wěn)分布就是極限分布第27頁，課件共34頁，創(chuàng)作于2023年2月例2設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={0,1,2,3,4},其一步轉(zhuǎn)移概率矩陣為求它的平穩(wěn)分布第28頁，課件共34頁，創(chuàng)作于2023年2月解易知是不可約鏈,且為遍歷鏈.故其平穩(wěn)分布存在且唯一.平穩(wěn)分布為第29頁，課件共34頁，創(chuàng)作于2023年2月例3設(shè)有狀態(tài)空間S={0,1,2,3,4,5,6}的齊次馬爾可夫鏈其一步轉(zhuǎn)移概率矩陣為(1)試對S進行分類，并說明各狀態(tài)類型(2)求平穩(wěn)分布，其平穩(wěn)分布是否唯一？為什么？(3)求第30頁，課件共34頁，創(chuàng)作于2023年2月2501634(1)(2)由(1)知,該鏈有三個不同的正常返不可約閉集第31頁，課件共34頁，創(chuàng)作于2023年2月所以平穩(wěn)分布不唯一三個閉集對應(yīng)的轉(zhuǎn)移概率矩陣分別為解方程組平穩(wěn)分布為第32頁，課件共34頁，創(chuàng)