第四章 馬爾可夫鏈

1、-作者xxxx-日期xxxx第四章 馬爾可夫鏈【精品文檔】第四章 馬爾可夫鏈隨機(jī)過(guò)程在不同時(shí)刻下的狀態(tài)之間一般具有某種關(guān)系，馬爾可夫（）過(guò)程就是描述一類狀態(tài)之間具有某種特殊統(tǒng)計(jì)聯(lián)系的隨機(jī)過(guò)程.過(guò)程在近代物理學(xué)、生物學(xué)、管理科學(xué)、信息處理與數(shù)字計(jì)算方法等領(lǐng)域都有重要的應(yīng)用.按其狀態(tài)和時(shí)間參數(shù)是連續(xù)的或離散的，它可分為三類：（1）時(shí)間、狀態(tài)都是離散的過(guò)程，稱為鏈；（2）時(shí)間連續(xù)、狀態(tài)離散的過(guò)程，稱為連續(xù)時(shí)間的鏈；（3）時(shí)間、狀態(tài)都連續(xù)的過(guò)程.本章主要討論鏈，有關(guān)連續(xù)時(shí)間的鏈的相關(guān)理論將在下章討論. 4.1 馬爾可夫鏈的概念和例子 獨(dú)立隨機(jī)試驗(yàn)?zāi)Ｐ妥钪苯拥耐茝V就是鏈模型，早在1906年俄國(guó)數(shù)學(xué)家對(duì)它

2、進(jìn)行研究而得名，以后、等數(shù)學(xué)家發(fā)展了這一理論. 4.1 .1 鏈的定義假設(shè)過(guò)程的參數(shù)集是離散時(shí)間集合，即，相應(yīng)可能取值的全體組成的狀態(tài)空間是離散狀態(tài)集.定義 4.1 設(shè)有一隨機(jī)過(guò)程，若對(duì)于任意整數(shù)和任意，條件概率滿足 則稱為離散時(shí)間的鏈，簡(jiǎn)稱鏈（ ）或馬氏鏈.從定義可以看出：鏈具有性（即無(wú)后效性），如果把時(shí)刻看作現(xiàn)在，那么，是將來(lái)的時(shí)刻，而是過(guò)去的時(shí)刻.性表示在確切知道系統(tǒng)現(xiàn)在狀態(tài)的條件下，系統(tǒng)將來(lái)的狀況與過(guò)去的狀況無(wú)關(guān)，而且鏈的統(tǒng)計(jì)特征完全由條件概率所決定. 因此，如何確定這個(gè)條件概率，是研究鏈理論和應(yīng)用中十分重要的問(wèn)題之一.4.1.2 轉(zhuǎn)移概率定義 4.2 稱條件概率 （4.1）為鏈在時(shí)刻

3、的一步轉(zhuǎn)移概率，其中，簡(jiǎn)稱轉(zhuǎn)移概率（ ）.一般地，轉(zhuǎn)移概率不僅僅與狀態(tài)有關(guān)，而且與時(shí)刻有關(guān)，如果不依賴時(shí)刻時(shí)，則稱鏈具有平穩(wěn)轉(zhuǎn)移概率. 若對(duì)任意，鏈的轉(zhuǎn)移概率與無(wú)關(guān)，則稱鏈?zhǔn)驱R次的（或稱時(shí)齊的）（），并記為.下面只討論齊次鏈，并且通常將“齊次”兩字省去.定義 4.4 設(shè)表示一步轉(zhuǎn)移概率所組成的矩陣，且狀態(tài)空間，則稱為系統(tǒng)狀態(tài)的一步轉(zhuǎn)移概率矩陣（ ），它具有性質(zhì)： （1）； （2）.（2）式說(shuō)明一步轉(zhuǎn)移概率矩陣中任一行元素之和為1，通常稱滿足性質(zhì)（1）（2）的矩陣為隨機(jī)矩陣.定義 4.5 稱條件概率 （4.2）為鏈的步轉(zhuǎn)移概率，并稱為鏈的步轉(zhuǎn)移矩陣.其中，即也是一個(gè)隨機(jī)矩陣.特別地，當(dāng)時(shí)，此時(shí)，

4、一步轉(zhuǎn)移矩陣.我們還規(guī)定鏈步轉(zhuǎn)移概率滿足重要的方程（簡(jiǎn)稱方程）。定理 4.1 設(shè)為鏈，則對(duì)于任意整數(shù)和 （4.3）證明 利用全概率公式和性 方程的直觀概率意義在于：要想由狀態(tài)經(jīng)過(guò)步到達(dá)狀態(tài),需先經(jīng)過(guò)步到達(dá)狀態(tài)，再經(jīng)過(guò)步由狀態(tài)轉(zhuǎn)移到狀態(tài)上去.方程可以用矩陣表示為由方程可以得到 由遞推法可以得到 4.1.3 初始分布和絕對(duì)分布定義 4.6 鏈初始時(shí)刻取各狀態(tài)的概率 （4.4）稱為的初始概率分布（ ），簡(jiǎn)稱初始分布.定義 4.7 鏈在時(shí)刻取各狀態(tài)的概率 （4.5）稱為在時(shí)刻的絕對(duì)概率分布（ ），簡(jiǎn)稱絕對(duì)分布. 顯然，當(dāng)時(shí)的絕對(duì)分布即為初始分布，這里絕對(duì)概率是與轉(zhuǎn)移概率相對(duì)而言的，轉(zhuǎn)移概率都是條件概率

5、，這里的概率沒(méi)有條件，故稱為絕對(duì)概率. 稱為時(shí)刻的絕對(duì)概率向量，稱為初始概率向量.定理4.2 設(shè)為鏈，則對(duì)于任意和，絕對(duì)概率具有下面的性質(zhì)：（1）； （4.6） （2） （4.7）證明 （1） （2）（）式表明時(shí)刻的絕對(duì)概率分布完全由初始分布和步轉(zhuǎn)移概率所確定，（）式表明時(shí)刻的絕對(duì)概率分布完全由時(shí)刻的絕對(duì)概率分布和一步轉(zhuǎn)移概率所確定.更一般地，鏈的有限維分布完全由初始分布和一步轉(zhuǎn)移概率所確定.定理4.3 設(shè)為鏈，則對(duì)于任意和，有 （4.8）證明 利用全概率公式和性（性）. 4.1.4 鏈的一些簡(jiǎn)單例子例4.1 直線上無(wú)限制的隨機(jī)游動(dòng)（ ）考慮在直線作隨機(jī)運(yùn)動(dòng)的質(zhì)點(diǎn)，每次移動(dòng)一格，向右移動(dòng)的概率

6、為，向左移動(dòng)的概率為，這種運(yùn)動(dòng)稱為無(wú)限制隨機(jī)游動(dòng)，以表示時(shí)刻質(zhì)點(diǎn)所處的位置，則是一個(gè)齊次鏈，寫出它的一步和步轉(zhuǎn)移概率. 解 的狀態(tài)空間，一步轉(zhuǎn)移概率矩陣為設(shè)在第步轉(zhuǎn)移中向右移動(dòng)了步，向左移動(dòng)了步，且經(jīng)過(guò)步轉(zhuǎn)移狀態(tài)從進(jìn)入,則 因此 由于都只能整數(shù)，所以必須是偶數(shù)，于是例4.2 帶有一個(gè)吸收壁（ ）的隨機(jī)游動(dòng)考慮隨機(jī)游動(dòng)，但狀態(tài)空間為，而且一旦當(dāng)后，就停留在0這個(gè)狀態(tài)上，這樣的狀態(tài)稱為吸收狀態(tài)，則也是一個(gè)齊次鏈，它的一步轉(zhuǎn)移概率為 0是狀態(tài)空間的端點(diǎn)（壁），因此，這一隨機(jī)游動(dòng)為帶有一個(gè)吸收壁的隨機(jī)游動(dòng)例4.3 帶有兩個(gè)吸收壁的隨機(jī)游動(dòng)賭徒輸光問(wèn)題若隨機(jī)游動(dòng)取狀態(tài)空間，且0和為它的吸收狀態(tài)，則它也是

7、一個(gè)齊次鏈，它的一步轉(zhuǎn)移概率為 例如：時(shí)，一步轉(zhuǎn)移概率矩陣為例4.4 帶有一個(gè)反射壁（ ）的隨機(jī)游動(dòng)考慮隨機(jī)游動(dòng)，其狀態(tài)空間為，且在某時(shí)刻質(zhì)點(diǎn)位于0，則下一步質(zhì)點(diǎn)以概率為向右移動(dòng)一格到1，以概率為停留在狀態(tài)0，則它也是一個(gè)齊次鏈，它的一步轉(zhuǎn)移概率為 例4.5 帶有兩個(gè)反射壁的隨機(jī)游動(dòng)若隨機(jī)游動(dòng)取狀態(tài)空間，且0和為它的反射狀態(tài)，則它也是一個(gè)齊次鏈，它的一步轉(zhuǎn)移概率為 例 （生滅鏈）（ ）觀察某種生物群體，以表示在時(shí)刻群體的數(shù)目，設(shè)為個(gè)數(shù)量單位，如在時(shí)刻增生到個(gè)數(shù)量單位的概率為，減滅到個(gè)數(shù)量單位的概率為，保持不變的概率為，則為齊次鏈，狀態(tài)空間，轉(zhuǎn)移概率，其中.稱這種鏈為生滅鏈例 設(shè)鏈的狀態(tài)空間，一

8、步轉(zhuǎn)移矩陣為，初始分布為，計(jì)算，并求出它的絕對(duì)分布.解 的絕對(duì)分布（絕對(duì)概率向量）為 =例4.8（應(yīng)用實(shí)例） 設(shè)有一只傳輸數(shù)字0和1的串聯(lián)系統(tǒng).設(shè)每一級(jí)的傳真率（輸出數(shù)字與輸入數(shù)字相同的概率）為，誤碼率為.假定每隔一個(gè)單位時(shí)間傳輸一級(jí)，是第一級(jí)的輸入，是第一級(jí)的輸出，是第級(jí)的輸出，是齊次鏈，狀態(tài)空間，一步轉(zhuǎn)移概率矩陣為（1） 系統(tǒng)經(jīng)六級(jí)傳輸后的誤碼率與.（2） 假定初始分布，求已知系統(tǒng)經(jīng)級(jí)傳輸后的輸出為1而原發(fā)出字符也是1的概率解 先求出步轉(zhuǎn)移概率矩陣為（1） 有六步轉(zhuǎn)移概率矩陣得到誤碼率容易看出，當(dāng)時(shí)，誤碼率.當(dāng)時(shí)，誤碼率高達(dá).這表明，即使傳輸數(shù)字0和1之間的簡(jiǎn)單信號(hào)，經(jīng)過(guò)級(jí)傳輸后效果與不考

9、慮輸入信號(hào)時(shí)相差無(wú)幾.（2） 由于事件構(gòu)成樣本空間的一個(gè)劃分，因此，由公式這表明，在串聯(lián)傳輸系統(tǒng)中，經(jīng)多級(jí)傳輸后得到的信號(hào)可信度很低.4.2 馬爾可夫鏈的狀態(tài)分類對(duì)齊次是討論在某一固定時(shí)刻時(shí)系統(tǒng)的概率特性，即求步轉(zhuǎn)移概率或絕對(duì)概率；穩(wěn)態(tài)分析是討論當(dāng)（或充分大）后系統(tǒng)的概率特性，即時(shí)，的極限是否存在，若存在又與狀態(tài)的關(guān)系如何，極限概率是否能構(gòu)成概率分布等. 要解決這些問(wèn)題，就需要對(duì)狀態(tài)進(jìn)行分類，本節(jié)將對(duì)齊次鏈進(jìn)行狀態(tài)分類，有關(guān)狀態(tài)空間的分解理論將在下節(jié)討論.4.2.1 常返態(tài)與非常返態(tài) 假設(shè)是齊次鏈，其狀態(tài)空間，轉(zhuǎn)移概率，初始分布.我們按其概率特性對(duì)狀態(tài)進(jìn)行分類.定義 4.8 是齊次鏈，如果存在

10、正整數(shù)，使，則稱狀態(tài)可到達(dá)狀態(tài)，記為.反之，對(duì)一切正整數(shù)，稱狀態(tài)不能到達(dá)狀態(tài) ，記. 如果，則稱狀態(tài)和是相通狀態(tài)（ ），記. 相通是一種等價(jià)關(guān)系，即（1）（自返性）；（2）（對(duì)稱性）若，則；（3）（傳遞性）若，且，則.定義 4.9 如集合非空，則稱該集合的最大公約數(shù)（ ）為狀態(tài)的周期，如就稱為周期的（），如果就稱為非周期的.定理4.4 如的周期為，則存在正整數(shù),對(duì)一切，有定義 4.10 設(shè)是齊次鏈，其狀態(tài)空間對(duì)，令 （4.9）稱為從狀態(tài)出發(fā)首次到達(dá)狀態(tài)的時(shí)刻，或稱自到首達(dá)時(shí)（）.顯然，是一個(gè)隨機(jī)變量，它的取值是系統(tǒng)從狀態(tài)出發(fā)，使的最小正整數(shù),如果這樣的不存在，就規(guī)定.定義 4.11 令 （4.

11、10）它表示系統(tǒng)自狀態(tài)出發(fā)，經(jīng)過(guò)步首次到達(dá)的（條件）概率. 顯然， 又令，則表示系統(tǒng)自狀態(tài)出發(fā)（在有限時(shí)間內(nèi)）遲早達(dá)到狀態(tài)的概率. 顯然，轉(zhuǎn)移概率與首達(dá)概率有下面的基本關(guān)系定理. 對(duì)于任何狀態(tài)，有 （4.11）證明 =（4.11）的直觀概率意義是：鏈從狀態(tài) 出發(fā)經(jīng)過(guò)步轉(zhuǎn)移到的概率，就是從出發(fā)經(jīng)過(guò)步轉(zhuǎn)移首次到達(dá),再?gòu)某霭l(fā)，經(jīng)過(guò)步轉(zhuǎn)移又回到（其中）這樣一些事件的和事件的概率. 定義 4.12 如果，則稱狀態(tài)是常返的（）；如果，則稱狀態(tài)是非常返的（）（或稱瞬時(shí)的）（）.定理4.6 如果狀態(tài)是常返的，即從狀態(tài)出發(fā)，鏈將以概率為1無(wú)窮次返回到狀態(tài)，如果狀態(tài)是非常返的，即從狀態(tài)出發(fā)，鏈無(wú)窮次返回到狀態(tài)的概

12、率為0，或者說(shuō)鏈只能有限次地返回狀態(tài).定理4 .7 狀態(tài)常返的充要條件為，狀態(tài)非常返，則證明 規(guī)定，由定理4.5知 兩邊乘以，并對(duì)求和，若記和的母函數(shù)分別為和，因此注意到當(dāng)時(shí)，因此 顯然，對(duì)任意的正整數(shù)都有 且當(dāng)時(shí)不減，在上式中先令，再令，得到同理可得 . 定理得證.4.2.2 正常返與零常返 常返態(tài)又可以進(jìn)一步分為正常返與零常返狀態(tài). 設(shè)是一個(gè)常返狀態(tài)，則從出發(fā)可以經(jīng)過(guò)步首次返回，在條件下的分布列為由數(shù)學(xué)期望的定義，稱為狀態(tài)的平均返回時(shí)間.定義 4.13 設(shè)是一個(gè)常返狀態(tài)，如果，則稱狀態(tài)是正常返態(tài)（ ）；如果，則稱狀態(tài)是零常返態(tài)（ ）.定義 4.14 如果狀態(tài)非周期且正常返，則稱是遍歷的()

13、.定理4 .8 設(shè)是一個(gè)常返狀態(tài)且有周期，則 （4.12）推論 設(shè)是一個(gè)常返狀態(tài)，則（1） 零常返； （4.13）（2）遍歷. （4.14）下面我們不加證明地總結(jié)出關(guān)于狀態(tài)分類的判別法：（1）非常返； （4.15）（2）零常返且； （4.16）（3）正常返且； （4.17）（4）遍歷. （4.18）定理4 .9 如果，則（1）或同為常返態(tài)，或同為非常返態(tài)；（2） 在常返的情形，或同為正常返態(tài)，或同為零常返態(tài)；（3）或同為非周期的，或同為周期的且有相同的周期.證明 （1）由，按照可達(dá)定義，必存在正整數(shù)和，使得由方程，總有將上式兩邊對(duì)從1到求和得到， 可見(jiàn)和相互控制，它們同為無(wú)窮或同為有限，因此，

14、與同為常返態(tài)或同為非常返態(tài). (2 ) 由(1)有，可見(jiàn)與同為0或同為正，因此，與在常返的情況下同為零常返態(tài)或同為正常返態(tài). （3）由于，因此，狀態(tài)的周期整除.再設(shè)是使得的任意正整數(shù)，由方程得所以，整除，從而整除s. 由于s是使得的任意正整數(shù)，因此，是正整數(shù)集的公約數(shù). 若記狀態(tài)的周期為，則有，同理，由對(duì)稱性，因此，.若，則與都是周期的，且有相同的周期；若，則與同為非周期的. 定理4.9表明：相通的狀態(tài)具有相同的狀態(tài).定理4 .10 如果是常返態(tài)，且，則必是常返態(tài)，且證明 如果，則自狀態(tài)出發(fā)經(jīng)過(guò)任意有限步都不能到達(dá)的概率為，又，因此，自狀態(tài)出發(fā)經(jīng)過(guò)有限步不能返回的概率是正的，即，與是常返態(tài)矛盾

15、，因此，. 又因?yàn)?，則至少有一個(gè)，使得，從而因此，故，且為常返態(tài). 表明：常返態(tài)能到達(dá)的狀態(tài)仍是常返態(tài).例 設(shè)鏈的狀態(tài)空間，轉(zhuǎn)移概率為考察狀態(tài)的遍歷性.解 先畫出狀態(tài)傳遞圖0231 圖4-1考察狀態(tài)0，有， 可見(jiàn)0為正常返態(tài)，又由于，它是非周期的，因此是遍歷的. 對(duì)于其它狀態(tài)，求比較麻煩，但是，因此，都是遍歷的.0 （續(xù)例4.6）設(shè)鏈為生滅鏈，其中 .證明：如果，則所有狀態(tài)是常返的.證明 顯然，所有狀態(tài)都是相通的，因此，只需驗(yàn)證狀態(tài)0是常返即可.定義 對(duì)固定的狀態(tài)，記 則由全概率公式 因?yàn)?，因此，由上式?令，則有兩邊求和（注意到），得到 因此 因?yàn)?，由題設(shè)及上式，得到注意到，因此由此知狀態(tài)1

16、是常返的. 由上可見(jiàn)，如生滅鏈的，則它是常返鏈.由于狀態(tài)的常返性與初始分布無(wú)關(guān)，因此，假設(shè)不影響結(jié)論的一般性. 例1 （續(xù)例4.1）直線上無(wú)限制隨機(jī)游動(dòng).考察狀態(tài)的常返性. 顯然所有狀態(tài)都是相通的，由例知，對(duì)于狀態(tài)0，有 由公式，可知 由，知，等號(hào)當(dāng)且僅當(dāng)時(shí)成立，所以當(dāng)，且. 由狀態(tài)分類判別法知，狀態(tài)0是零常返態(tài)，由于所有狀態(tài)都相通，此時(shí)所有狀態(tài)都是零常返的. 當(dāng)時(shí)，此時(shí)，所有狀態(tài)都是非常返的.顯然周期.4.3 狀態(tài)空間的分解 上節(jié)只對(duì)單個(gè)狀態(tài)的類型進(jìn)行討論，現(xiàn)在我們將從整體上來(lái)研究鏈的狀態(tài)空間.定義 4.15 設(shè)是狀態(tài)空間的一個(gè)子集，如果對(duì)任意，總有，則稱為一閉集（ ）；如果的狀態(tài)互通，則稱

17、為不可約；鏈的狀態(tài)空間不可約，則稱鏈不可約（）.由方程，當(dāng)時(shí)，由歸納法，可證 這說(shuō)明從閉集內(nèi)任一狀態(tài)，無(wú)論轉(zhuǎn)移多少步，都不能轉(zhuǎn)移到閉集之外的狀態(tài)上去，即隨著時(shí)間的推移，閉集內(nèi)任一狀態(tài)只能在閉集內(nèi)部的狀態(tài)之間轉(zhuǎn)移.顯然，一個(gè)鏈的整個(gè)狀態(tài)空間是一個(gè)閉集，且是最大的閉集；如果，則稱狀態(tài)是吸收態(tài)，吸收態(tài)構(gòu)成的單點(diǎn)集是最小的閉集.定理4 .11 鏈所有常返狀態(tài)構(gòu)成的集合是一閉集.證明 先證如果是常返的，且，則有.用反證法，如果，由于，于是到達(dá)后就不能返回，這與是常返態(tài)矛盾，從而.由定理4.9，當(dāng)是常返態(tài)，且，則是常返態(tài)，因此，自常返態(tài)出發(fā)所能到達(dá)的狀態(tài)必定是常返態(tài)，也就是說(shuō)，常返態(tài)不可能轉(zhuǎn)移到非常返態(tài)上

18、去，因此，常返態(tài)組成的集合是一閉集.定理4.12 （分解定理）任一鏈的狀態(tài)空間可唯一地分解為有限或可列個(gè)互不相交的子集的和，使得（1）每個(gè)是常返態(tài)組成的不可約閉集；（2）每個(gè)中的狀態(tài)同類，或全是正常返，或全是零常返，若是周期的，它們有相同的周期，且；（3） 是由全體非常返狀態(tài)組成，自中的狀態(tài)不能到達(dá)中的狀態(tài).證明 記為全體常返態(tài)所成的集合，為非常返狀態(tài)全體，將按互通關(guān)系進(jìn)行分解，則其中每個(gè)是由常返態(tài)組成的不可約中的狀態(tài)同類型，顯然，中的狀態(tài)不能到達(dá)中狀態(tài). 我們稱為基本常返閉集.分解定理中集不一定是閉集，但如果是有限集，則一定是非閉集. 因此，如果質(zhì)點(diǎn)最初自某一非常返狀態(tài)出發(fā)，則它可能就一直在

19、中運(yùn)動(dòng)，也有可能在某時(shí)刻離開(kāi)轉(zhuǎn)移到某個(gè)基本常返閉集中，一旦質(zhì)點(diǎn)進(jìn)入后，它將永遠(yuǎn)在此中運(yùn)動(dòng).顯然，不可約的鏈，或者沒(méi)有非常返狀態(tài)，或者沒(méi)有常返狀態(tài)，在只有常返狀態(tài)不可約的鏈中，所有狀態(tài)是相通的. 對(duì)于不可約鏈，若它的所有狀態(tài)是非常返的，則稱為不可約非常返鏈；若它的所有狀態(tài)是常返的，則稱為不可約常返鏈.下面我們不加證明地給出不可約常返鏈的一個(gè)判別法. 定理4.13 不可約鏈?zhǔn)浅７档某浞直匾獥l件是下列方程組沒(méi)有非零有界解： （4.19） 例2 設(shè)鏈的狀態(tài)空間，一步轉(zhuǎn)移概率矩陣，將狀態(tài)空間進(jìn)行分解.解 先畫出狀態(tài)傳遞圖14235圖4-2依題意知3是吸收態(tài)，因此，是閉集，都是閉集，其中和是不可約的，又含

20、有閉子集，因此，不是不可約鏈. 狀態(tài)5、2是非常返態(tài)，因此 3設(shè)，轉(zhuǎn)移矩陣為，試分解此鏈，并指出各狀態(tài)的常返性和周期性.解 先畫出狀態(tài)傳遞圖321546 圖4-3因?yàn)?，因此，可?jiàn)1是正常返態(tài)且周期為3，含1的基本常返閉集為，從而狀態(tài)3和5是正常返且周期為3.同理狀態(tài)6正常返，周期為1，即非周期，含6的基本常返閉集為，可見(jiàn)2和6是遍歷狀態(tài).由于，因此，故4非常返，非周期.綜上 例4 （續(xù)例4.2）帶有一個(gè)吸收壁的隨機(jī)游動(dòng). 狀態(tài)空間可分解為.狀態(tài)0是正常返，非周期的，C是閉集，中狀態(tài)不能到達(dá)，因此，不是不可約的，狀態(tài)1不是常返的.事實(shí)上，若1是常返的，由，就有，這是不可能的，于是為非常返集.于是

21、可分解為 例4.15 （續(xù)例4.4）帶有一個(gè)反射壁的隨機(jī)游動(dòng). 該鏈的狀態(tài)空間為，一步轉(zhuǎn)移概率為 由于每個(gè)狀態(tài)都可達(dá)，故此鏈不可約，為了決定該鏈?zhǔn)欠癯７担啥ɡ?.13，或 由此可得 各式相加得 若，則為非零有界解，此時(shí)鏈非常返.若，無(wú)界，沒(méi)有非零解，此時(shí)鏈常返的. 遍歷定理和平穩(wěn)分布 4. 實(shí)際應(yīng)用中常常要研究當(dāng)很大時(shí)的性質(zhì)，我們所關(guān)心的是兩個(gè)問(wèn)題.一是是否存在，二是其極限是否與起始狀態(tài)有關(guān)，在鏈的理論中，有關(guān)這一問(wèn)題的定理是遍歷定理. 設(shè)鏈的狀態(tài)空間為，若對(duì)一切，存在不依賴于的極限 ，則稱鏈具有遍歷性.上式的直觀概率意義是：具有遍歷性的鏈看做一個(gè)系統(tǒng)，系統(tǒng)不論從哪一個(gè)狀態(tài)出發(fā)，當(dāng)轉(zhuǎn)移步數(shù)充

22、分大后，轉(zhuǎn)移到狀態(tài)的概率都接近于，換句話說(shuō)，經(jīng)過(guò)足夠長(zhǎng)的時(shí)間后，系統(tǒng)達(dá)到平穩(wěn)狀態(tài). 如果狀態(tài)非常返或零常返，則對(duì)一切，有 （4.20）證明 若狀態(tài)非常返，則，因此，當(dāng)時(shí)，又由定理4.5 知 ，對(duì)，我們有令，上式右端第一項(xiàng)因而趨于0，再令，第二項(xiàng)因也趨于0，因此 若為零常返態(tài)，也有，同上所證可得命題的結(jié)論.推論1 如果鏈狀態(tài)個(gè)數(shù)有限，則不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限鏈必是正常返的.證明 設(shè)，如全是非常返態(tài)，則對(duì)任意，由定理4.14，. 因此，當(dāng)時(shí)，有，這就產(chǎn)生矛盾，因此，有限鏈的狀態(tài)不可能全是非常返的.其次，如果含有零常返態(tài)，則是不可約集，它是有限集，且所有狀態(tài)為

23、零常返態(tài)，于是，再由由定理4.14，當(dāng)時(shí)，有，這也導(dǎo)致矛盾，因此，中不可能含有零常返態(tài).因此，不可約有限鏈必是正常返的.推論2 如果鏈有一個(gè)零常返態(tài)，則必有無(wú)窮多個(gè)零常返態(tài).證明 設(shè)為零常返態(tài)，則是不可約集，其狀態(tài)全是零常返態(tài)，因此，C不可能是有限集，否則與推論1矛盾.定理4.15 如果為非周期的正常返態(tài)（即遍歷態(tài)），則有 (4.21)證明 因?yàn)闉榉侵芷诘恼７祽B(tài)，由狀態(tài)分類判別法又由定理4.5 知 取，則有 ，因此 .先令，得到 即 再令，得到 因此 推論 如果為非周期的正常返態(tài)，且，則 證明 因?yàn)槌７?，且，由定?.10，結(jié)論成立. 由定理4.14和4.15，若鏈不可約，非周期常返，則有

24、（4.22）我們稱為極限分布（ ）. 4.4.2 平穩(wěn)分布定義 4.17 設(shè)鏈的轉(zhuǎn)移概率矩陣為，如果非負(fù)數(shù)列滿足 )則稱為鏈的平穩(wěn)分布（ ）.對(duì)于平穩(wěn)分布,有一般地， 如果鏈的初始分布為，且恰好是平穩(wěn)分布，則對(duì)于任意非負(fù)整數(shù)，有 即的分布（鏈在時(shí)刻的絕對(duì)分布）也是平穩(wěn)分布，且正好是初始分布.這說(shuō)明絕對(duì)分布不隨時(shí)間而改變，這正是平穩(wěn)分布名稱中“平穩(wěn)”二字的由來(lái).定理4.16 非周期不可約常返鏈?zhǔn)钦７档某浞直匾獥l件是它存在平穩(wěn)分布，而且這個(gè)平穩(wěn)分布就是極限分布證明 充分性.若存在平穩(wěn)分布，即 由于，極限號(hào)與和號(hào)可以交換，兩邊令，得到因?yàn)?，于是至少存在一個(gè)，即，由狀態(tài)分類的定義知，為正常返，從而整

25、個(gè)鏈?zhǔn)钦７档?，而且所有?必要性.設(shè)鏈?zhǔn)钦７档模谑怯煞匠讨?令，得到 再令，得到 此式只能成為等式.事實(shí)上，若對(duì)某個(gè)成立嚴(yán)格不等式，對(duì)求和得這就導(dǎo)致矛盾.上式中第一個(gè)不等號(hào)是由于先令，得到，再令，得.因?yàn)閷?duì)一切都只能成立等式 令，得即. 因此，極限分布就是平穩(wěn)分布.推論1 有限狀態(tài)的不可約非周期鏈必存在平穩(wěn)分布.證明 由定理4.14的推論1，此.證畢推論2 若不可約鏈的所有狀態(tài)是非常返或零常返的，則不存在平穩(wěn)分布.證明 用反證法.假設(shè)是平穩(wěn)分布，則有.又由定理4.14，.顯然，與平穩(wěn)分布矛盾. 推論3 若是不可約非周期鏈的平穩(wěn)分布，則 （） 證明 由于及，得再由定理4.15，得到.證畢.

26、 例4.16 設(shè)鏈的轉(zhuǎn)移概率矩陣為求它的平穩(wěn)分布及各個(gè)狀態(tài)的平均返回時(shí)間. 解 因?yàn)榇随準(zhǔn)遣豢杉s的非周期有限狀態(tài)，因此平穩(wěn)分布存在，由定義得方程組解上述方程組得到平穩(wěn)分布為因此，各狀態(tài)平均返回時(shí)間分別為例4.17 設(shè)鏈的轉(zhuǎn)移概率矩陣為求每個(gè)不可約閉集的平穩(wěn)分布. 解 先畫出狀態(tài)傳遞圖1234567 圖4-4狀態(tài)空間可分解為兩個(gè)不可約常返閉集，一個(gè)非常返集上，對(duì)應(yīng)的轉(zhuǎn)移概率矩陣為由此可以得到平穩(wěn)分布滿足解得平穩(wěn)分布為； 類似地，在上可得到平穩(wěn)分布為.例4.18 (續(xù)例4.15) 帶有一個(gè)反射壁的隨機(jī)游動(dòng).在例中，我們已經(jīng)得到，當(dāng)時(shí)，該鏈?zhǔn)浅７档?進(jìn)一步判斷在常返時(shí)是正常返還是零常返，根據(jù)定理4.

27、16,考察何時(shí)具有平穩(wěn)分布.由，即為 由此解得 只要，就有，再由，則有如果，上式括號(hào)中級(jí)數(shù)發(fā)散，于是不存在平穩(wěn)分布，此時(shí)，鏈?zhǔn)橇愠７档?如果，則有 此時(shí)，存在平穩(wěn)分布，于是時(shí)鏈?zhǔn)钦７档?，又因?yàn)殒準(zhǔn)欠侵芷诘?，故此時(shí)鏈?zhǔn)潜闅v的.綜上所述，對(duì)于帶有一個(gè)反射壁的隨機(jī)游動(dòng)，有：鏈?zhǔn)欠浅７档?；鏈?zhǔn)橇愠７档?；鏈?zhǔn)钦７档?例 （生滅鏈）（續(xù)）例4.6討論的生滅鏈中，因?yàn)槊總€(gè)狀態(tài)都可到達(dá)，故它是不可約鏈，若記：.證明：此鏈存在平穩(wěn)分布的充分必要條件是 證明 因?yàn)?其中，于是有遞推關(guān)系解得因此 對(duì)j求和得 于是平穩(wěn)分布存在的充分必要條件是，此時(shí) 4.4.3 幾個(gè)鏈的應(yīng)用實(shí)例0 （商品銷售情況預(yù)測(cè)）我國(guó)某種商品

28、在國(guó)外銷售情況共有連續(xù)24個(gè)季度的數(shù)據(jù)（1表示暢銷，2表示滯銷）： 如該商品銷售狀態(tài)滿足性和齊次性.（1） 確定銷售狀態(tài)的轉(zhuǎn)移概率矩陣；（2） 如果現(xiàn)在是暢銷，預(yù)測(cè)這以后第四個(gè)季度的銷售情況；（3） 如果影響銷售所有因素不變，預(yù)測(cè)長(zhǎng)期的銷售情況.解 （1）因1（暢銷）有15次，2（滯銷）有9次，而且：7次；：7次，又最后季節(jié)的狀態(tài)是1，所以 又7次；：2次，所以 于是得到轉(zhuǎn)移矩陣為 （2）因?yàn)橐虼?，即如果現(xiàn)在是暢銷，這以后第四個(gè)季度（以概率）暢銷.（3）由平穩(wěn)方程與正規(guī)方程，得到，由知鏈?zhǔn)钦７捣侵芷诓豢杉s，所以，該鏈平穩(wěn)分布就是最終分布，且，因此，長(zhǎng)此下去，該商品將在國(guó)外（以概率0.609）

29、暢銷.例1 （市場(chǎng)占有率預(yù)測(cè)）已知某商品在某地區(qū)銷售市場(chǎng)被、共3個(gè)品牌占有，占有率分別為.根據(jù)調(diào)查，上個(gè)月買牌商品的顧客這個(gè)月買、牌的分別為，上個(gè)月買牌商品的顧客這個(gè)月買、牌的分別為，上個(gè)月買牌商品的顧客這個(gè)月買、牌的分別為.設(shè)該商品銷售狀態(tài)滿足齊次性.（1）求3個(gè)月后、3個(gè)品牌的商品在該地的市場(chǎng)占有率；（2）如果顧客流動(dòng)傾向長(zhǎng)期如上述不變則各品牌最終市場(chǎng)占有率怎樣？解 用1、2、3分別表示、3個(gè)品牌，用表示第個(gè)月該地區(qū)的顧客購(gòu)買商品的品牌選擇. 由題意，為狀態(tài)空間是的齊次鏈，且 轉(zhuǎn)移概率矩陣為因此，為不可約遍歷鏈，平穩(wěn)分布存在，且平穩(wěn)分布就是極限分布.（1）因?yàn)橐虼思慈齻€(gè)月后、3個(gè)品牌市場(chǎng)占

30、有率分別為.（2）平穩(wěn)方程與方程得到，即如果顧客流動(dòng)情況長(zhǎng)此下去，最終、3個(gè)品牌市場(chǎng)占有率將分別為. 例2 （教學(xué)質(zhì)量評(píng)估）設(shè)、兩個(gè)教師教甲、乙兩個(gè)班的高等數(shù)學(xué)，上學(xué)期和本學(xué)期都教甲班高等數(shù)學(xué)，而本學(xué)期才接替另一班高等數(shù)學(xué)，兩班兩學(xué)期的成績(jī)?nèi)缦卤恚?甲班成績(jī)轉(zhuǎn)移情況表成績(jī)一 98 95 94 83 94 95 68 92 86 85 77 90 88 92 95 87 90 80成績(jī)二 81 89 82 93 80 75 76 80 85 80 65 74 91 81 86 92 78 78 12 12 12 21 12 13 43 12 22 22 34 13 21 12 12 21 13

31、23 成績(jī)一 57 87 73 88 86 84 93 87 93 85 成績(jī)二 64 87 72 89 86 87 95 84 93 81 54 22 33 22 22 22 11 22 11 22 乙班成績(jī)轉(zhuǎn)移情況表成績(jī)一 76 82 91 95 74 85 98 66 82 90 55 78 88 78 80 77 91 83成績(jī)二 84 85 80 83 84 82 87 89 88 85 61 69 82 71 80 76 84 70 32 22 12 12 32 22 12 42 22 12 54 34 22 33 22 33 12 23成績(jī)一 94 66 70 72 89 88

32、75 85 72 成績(jī)二 88 70 81 86 83 86 80 80 75 12 43 32 32 22 22 32 22 33 將成績(jī)按89以上、60以下分為1、2、3、4、5五個(gè)等級(jí)，以表示第一學(xué)期等級(jí)的學(xué)生數(shù)，以表示由等級(jí)轉(zhuǎn)到等級(jí)的人數(shù)，.由以上數(shù)據(jù)知，甲班第二學(xué)期平均成績(jī)?yōu)?2.29，乙班第二學(xué)期平均成績(jī)?yōu)?0.33，似乎教師的教學(xué)效果好，但是由于兩班的基礎(chǔ)不一樣，因此，不能這樣簡(jiǎn)單下結(jié)論.正確地評(píng)價(jià)兩教師的教學(xué)效果應(yīng)排除基礎(chǔ)不同這個(gè)因素.由以上數(shù)據(jù)得到轉(zhuǎn)移概率矩陣為，由知：是非常返非周期互通狀態(tài)集，為非常返狀態(tài)集，是閉的非周期正常返狀態(tài)集.由平穩(wěn)方程及解得，因此最終分布分別為 ，即有最終分布為 由知，是非常返狀態(tài)集，也是非常返