應用隨機過程課件.ppt

1、應用隨機過程,Application of Stochastic Processes,范愛華,數(shù)理科學與工程學院 應用數(shù)學系,成功的道路并不擁擠，,的人并不是很多。,因為堅持到最后,教材 應用隨機過程,主要教學參考書,張波 張景肖 編 中國人民大學 出版社,參考書,第1章 預備知識,1.1 概率空間,在自然界和人類的活動中經(jīng)常遇到各種各樣的現(xiàn)象，大體上分為兩類：必然現(xiàn)象和隨機現(xiàn)象 。,具有隨機性的現(xiàn)象隨機現(xiàn)象,對隨機現(xiàn)象的觀察或為觀察而進行的實驗,隨機試驗,隨機試驗的結果,基本事件或樣本點。,所有可能的結果稱為樣本空間。,A稱為事件。,（有3個特征）,事件的性質(zhì) 假設A,B,C是任意事件，則他

2、們滿足：,(1)交換律,(2)結合律,(3)分配律,(4)對偶原則 (De Morgan律),定義1.1,性質(zhì) 假,例1.1,例1.2,例1.3,隨機試驗: 擲一枚骰子，觀察出現(xiàn)的點數(shù)，,思考題：,定義1.2,結論：,定義1.3,定義1.4,例1.1：,概率的基本性質(zhì),單調(diào)性,次可列可加性,事件列極限1：,結論：,定理：,具體情況：,事件列極限2：,定義1.5, 的下極限, 的上極限,例1.2：,關系：,含義：,例1.3：,1.2 隨機變量和分布函數(shù),隨機變量：,用實數(shù)來表示隨機實驗的各種結果.,定義1.6,關于隨機變量的幾點說明：,定理1.1：,定義1.7,分布函數(shù)的含義：,分布函數(shù) 的性質(zhì)

3、：,隨機變量的類型：,離散型：,連續(xù)型：,多維隨機變量：, d維隨機向量,多維隨機變量聯(lián)合分布函數(shù)：,性質(zhì)：,一些常見的分布：,1.離散均勻分布：,分布列：,2.二項分布：,分布列：,3.幾何分布：,分布列：,4.Poisson分布：,分布列：,_參數(shù)為 的 Poisson分布,5.均勻分布：,6.正態(tài)分布：,7. 分布：,函數(shù)的性質(zhì)：,8.指數(shù)分布：,9. 分布：,10.d維正態(tài)分布：（略）,1.3 數(shù)字特征、矩母函數(shù)與特征函數(shù),一、數(shù)字特征,定義1.8：, X的一階矩,二、Rieman-Stieltjes 積分,Rieman-Stieltjes 積分：,注：,R-S 積分性質(zhì)：, 可加性,

4、注：,四、矩母函數(shù)與特征函數(shù),1. 矩母函數(shù)（moment generating function ),定義1.9：,矩母函數(shù)的性質(zhì)：,2. 特征函數(shù)（characteristic function ),復隨機變量,定義1.10：,復隨機變量的數(shù)學期望,特征函數(shù)的性質(zhì)：,有界性,共軛對稱性,例3.1：,例3.2：,例3.3：,例3.4：,例3.5：,作業(yè)題：,1.4 條件概率 條件期望 獨立性,一、條件概率,1. 定義：,1. 基本公式,定理1:(乘法公式),定理2: (全概率公式),定理3: (Bayes公式),二、獨立性,1. 定義：,注1：兩兩獨立并不包含獨立性。,例：,注2,我們有,2

5、. 獨立性的性質(zhì)：,定理4：,推論1：,推論2：,定理5：,定理6：,四、條件期望,1. 邊緣分布,稱X,Y獨立.,2. 條件分布函數(shù),3. 條件數(shù)學期望,異同：,定義：,定理：,例2：,五、獨立隨機變量和的分布卷積公式, 稱為 的卷積,注：,結合律,分配律,第2章 隨機過程的基本 概念和基本類型,2.1 基本概念,在概率論中，我們研究了隨機變量，,維隨機向量。,在極限定理中，我們研究了無窮多個隨機變量，,但局限,在它們相互獨立的情形。,將上述情形加以推廣，,即研究,一族無窮多個、相互有關的隨機變量，,這就是隨機過程。,定義2.1：,設,是一概率空間，,對每一個參數(shù),，,是一定義在概率空間,上

6、的隨機,變量，,則稱隨機變量族,為該概率,空間上的一隨機過程。,稱為參數(shù)集。,隨機過程的兩種描述方法：,用映射表示,即,是一定義在,上的二元單值函數(shù)，,固定,是一定義在樣本空間,上的函數(shù)，,即為一隨機變量；,對于固定的,是一個,關于參數(shù),的函數(shù)，,或稱隨機,過程的一次實現(xiàn)。,記號,通常稱為樣本函數(shù)，,有時記為,或簡記為,參數(shù),一般表示時間或空間。,參數(shù)常用的一般有：,(1),(2),(3),當參數(shù)取可列集時，,一般稱隨機過程為隨機序列。,隨機過程,可能取值的全體所構成的集合,稱為此隨機過程的狀態(tài)空間，記作S.,S中的元素,稱為狀態(tài)。狀態(tài)空間可以由復數(shù)、實數(shù)或更一般的,抽象空間構成。,隨機過程分

7、為以下四類：,(1)離散參數(shù)離散型隨機過程；,(2)連續(xù)參數(shù)離散型隨機過程；,(3)連續(xù)參數(shù)連續(xù)型隨機過程；,(4)離散參數(shù)連續(xù)型隨機過程。,以隨機過程的統(tǒng)計特征或概率特征的分類，一般有：,獨立增量過程；,Markov過程；,二階矩過程；,平穩(wěn)過程；,更新過程；,Poission過程；,維納過程。,鞅；,隨機過程舉例,例2.1,例2.2,拋擲一枚硬幣，樣本空間為,定義：,隨機過程。,例2.3,2.2 有限維分布與Kolmogvrov定理,一、隨機過程的分布函數(shù),1. 一維分布函數(shù),2. 二維分布函數(shù),3. n維分布函數(shù),4. 有限維分布族,稱為有限維分布族,5. 有限維分布族的性質(zhì),(1) 對

8、稱性,(2) 相容性,注1：隨機過程的統(tǒng)計特性完全由它的有限維分 布族決定。,注2：有限維分布族與有限維特征函數(shù)族相互唯 一確定。,問題：,一個隨機過程,是否描述了該過程的全部概率特性？,的有限維分布族，,定理：（Kolmogorov存在性定理）,設分布函數(shù)族,滿足以上提到的對稱性和相容性，,則必有一隨機過程,恰好是,的有限維分布族，即：,定理說明：,的有限維分布族包含了,的所有概率信息。,例2.4,例2.5,二、隨機過程的數(shù)字特征,1. 均值函數(shù),隨機過程,（假設是存在的）,的均值函數(shù)定義為：,2. 方差函數(shù),隨機過程,的方差函數(shù)定義為：,3. (自)協(xié)方差函數(shù),4. (自)相關函數(shù),5.

9、(互)協(xié)方差函數(shù),6. 互相關函數(shù),7. 互不相關,8. 特征函數(shù),為隨機過程,的有限維特征函數(shù)族。,記：,例2.6,例2.7,作業(yè)1,2.3 隨機過程的基本類型,一、嚴平穩(wěn)過程,定義1：,二、嚴平穩(wěn)過程的特點,則,三、寬平穩(wěn)過程,(簡稱平穩(wěn)過程),定義2：,注1：,注2：,例2.8,例2.9,四、平穩(wěn)過程相關函數(shù)的性質(zhì),性質(zhì)1：,性質(zhì)2：,結論：,性質(zhì)3：,性質(zhì)4：,注：,定義：,注：,性質(zhì)5：,性質(zhì)6：,性質(zhì)7：,性質(zhì)8：,性質(zhì)9：,例2.10：,五、獨立增量過程,定義1,例2.11：,定義2,六、遍歷性定理,定義1:,定義2:,例2.12:,例2.13:,定理2.2: (均值遍歷性定理)

10、,推論2.1:,推論2.2:,定理2.2: (協(xié)方差函數(shù)遍歷性定理),作業(yè)1:,作業(yè)2: 書第二章 習題2.6.,作業(yè)3:,第3章 Poisson過程,3.1 Poisson過程,定義3.1：,Poission過程是計數(shù)過程，而且是一類最重要、應用廣泛的計數(shù)過程，它最早于1837年由法國數(shù)學家Poission引入。,定義3.2：,例3.1：,解：見板書。,定義3.2:,一計數(shù)過程,是獨立增量及平穩(wěn)增量過程，即任取,相互獨立；,定義3.2的解釋:,定理3.1:,由增量平穩(wěn)性，記：,（I）,情形：因為,我們有：,另一方面,代入上式，我們有：,令,我們有：,（II）,情形：因為：,故有：,化簡并令,

11、得：,兩邊同乘以,，移項后有：,當,時，有：,由歸納法可得：,注意：,因此,代表單位時間內(nèi)事件,出現(xiàn)的平均次數(shù)。,由歸納法可得：,注意：,因此,代表單位時間內(nèi)事件,出現(xiàn)的平均次數(shù)。,例3.2：,例3.3：,例3.4：,作業(yè)1：,作業(yè)2：書第三章習題3.5,3.6,3.10,3.2 Poisson過程相聯(lián)系的若干分布,復習：1.指數(shù)分布,2.無記憶性,定理3.2：,結論：,定義3.3：,注：,例3.5: (見書例3.4),例3.6:,定理3.3：,證明：見板書。,引理：,原因：,注：,定理3.4：,例3.7: (見書例3.5),例3.8: (見書例3.6),3.3 Poisson過程的推廣,一、

12、非齊次Poisson過程,定義3.4:,過程有獨立增量；,定義3.5：,注2:定義3.4與定義3.5是等價的。,注1:我們稱m(t)為非齊次poisson過程的均值或強度。,定理3.5：,注3:用此定理可以簡化非齊次Poisson過程的問題 到齊次Poisson過程中進行討論。另一方面也可以 進行反方向的操作，即從一個參數(shù)為 的Poisson 構造一個強度函數(shù)為 的非齊次Poisson過程。,定理3.5：,（一般了解）,例3.9: (見書例3.7),二、復合Poisson過程,定義3.6:,物理意義:,如,表示粒子流，,例3.10: (見書例3.8),例3.11: (見書例3.9 顧客成批到達

13、的排隊系統(tǒng)),定理3.6：,例3.12:（見書例3.10）,作業(yè)1:,作業(yè)2:,參考 例3.12:（見書例3.10）,作業(yè)3: 見書習題3.12,第5章 Markov過程,5.1 基本概念,直觀意義：,1 . Markov鏈的定義,定義5.1：,定義5.2：,定義5.3：,2 . 轉移概率,注：有定義5.1知,轉移矩陣的性質(zhì)：,定義5.4：,2 . Markov鏈的例子,帶有一個吸收壁的隨機游動：,特點：,當,就停留在零狀態(tài)。,此時,是一齊次馬氏鏈，其狀態(tài)空間為,，一步轉移概率為：,注意；,狀態(tài)為馬氏鏈的吸收狀態(tài)的充要條件是：,例5.1：,帶有兩個吸收壁的隨機游動：,此時,是一齊次馬氏鏈,狀態(tài)

14、空間為,為兩個吸收狀態(tài),它的一步轉移,概率為：,例5.2：,它的一步轉移概率矩陣為：,特點：,概率為：,例5.3：,帶有一個反射壁的隨機游動：,一旦質(zhì)點進入零狀態(tài)，下一步它以概率,向右移動一格，,以概率,停留在零狀態(tài)。,此時的狀態(tài)空間為,它的一步轉移,例5.4：,例5.5：,4. n步轉移概率 C-K方程,定義5.5（n步轉移概率）,定理5.1: (Chapman-Kolmogorov方程，簡稱C-K方程),例5.6：,例5.7: (隱Markov模型）,或者為正面或者為反面.在任何給定時刻只有一枚硬,呈現(xiàn)，但是有時硬幣可能被替換而不改變其正反面.,硬幣M和W分別具有轉移概率,在任何給定時刻硬

15、幣被替換的概率為30%,替換完成時，,硬幣的狀態(tài)不變. 這一Markov鏈有4個狀態(tài)，分別 記為1:UM; 2:DM; 3:UW; 4:DW.狀態(tài)1、3表示正面 U,狀態(tài)2、4表示反面D轉移矩陣為4X4的矩陣.我們,可以計算轉移概率,比如,首先,(無轉移),而后,(無轉移).因此轉移概率為,其他轉移概率類似可得，轉移方式為,轉移概率矩陣為,例5.8:,例5.9:,帶有兩個反射壁的隨機游動：,此時,是一齊次馬氏鏈,狀態(tài)空間為,為兩個反射狀態(tài),求它的一步轉,移概率。,作業(yè)1：,作業(yè)2:,5.3 狀態(tài)的分類及性質(zhì),引入：,定義5.7,注：,定理5.3：,注：,定義5.8:,例1：,定義5.9 (周期

16、性),規(guī)定：,例2 (書5.14),注1：,注2：,定理5.4：,證明：板書。,注: 當兩個狀態(tài)的周期相同時，有時其狀態(tài)之間 有顯著差異。,如：,定義5.10: (常返性),注2：,注3：,注1：,例3,定義5.11,例4,引理5.1 （ ）,定理5.5,引理5.2,定理5.6,作業(yè)1：,思考題：,定理5.5,引理5.2,定理5.6,閉集及狀態(tài)空間的分解定理,閉集：,相關性質(zhì)：,任何兩個狀態(tài)均互通,所有常返態(tài)構成一個閉集,在不可約馬氏鏈中,所有狀態(tài)具有相同的狀態(tài) 類型.,狀態(tài)空間分解定理：,定理5.7：,例5,例6：,作業(yè)1：,周期鏈分解定理：,定理5.8：,例7:,5.4 極限理論與不變分布

17、,5.4.1 極限理論,例8（書例5.17）(0-1傳輸系統(tǒng)）,211,212,對d的非整數(shù)倍數(shù)的n，,i是零常返的,213,(2), i是遍歷的，d=1，i ，,子序列,所以d=1，從而i為非周期的，i是遍歷的,定理5.10,結論：,(a)所有非常返狀態(tài)組成的集合不可能是閉集;,(b)沒有零常返狀態(tài);,(c)必有正常返狀態(tài);,(d)不可約有限馬氏鏈只有正常返態(tài);,(e)狀態(tài)空間可以分解為:,其中：每個,均是由正常返狀態(tài),組成的有限不可約閉集，,是非常返態(tài)集。,217,注1： 有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)， 也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài) 的馬氏鏈必為正常返的。,證 設

18、S=0,1,N，如S全是非常返狀態(tài)，則對任意 i, jI，知,故,矛盾。,如S含有零常返狀態(tài) i，則C=j:ij是有限不可約閉集,，由定理知，C中均為零常返狀態(tài)，知,218,由引理知,所以,219,注2: 如馬氏鏈有一個零常返狀態(tài)，則必有無限多個,證 設i為零常返狀態(tài)，則C=j:ij是不可約閉集，C,中均為零常返狀態(tài)，故C不能是有限集。否則,零常返狀態(tài)。,220,稱概率分布j , jI為馬爾可夫鏈,的平穩(wěn)分布（不變分布），若,5.4.2 平穩(wěn)分布 (不變分布)與極限分布,定義5.12,一、平穩(wěn)分布 (不變分布),221,注：,(1) 若初始概率分布 pj , jI 是平穩(wěn)分布，則,(2) 對平

19、穩(wěn)分布j , jI，有,矩陣形式 = 其中 =(j)， ( ),pj = pj(1)= pj(2) = = pj(n),222,二、遍歷性的概念與極限分布,對于一般的兩個狀態(tài)的馬氏鏈, 由上節(jié)內(nèi)容可知,意義,對固定的狀態(tài)j,不管鏈在某一時刻的什么狀,態(tài) i出發(fā), 通過長時間的轉移到達狀態(tài) j 的概率都趨,定義5.13,224,或定義,則稱此鏈具有遍歷性.,定理5.13,226,定理 不可約非周期馬爾可夫鏈是正常返的充要條件 是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布,227,推論3 若j , jI是馬爾可夫鏈的平穩(wěn)分布，則,所取的值與初始狀態(tài)的分布無關。,證：由于：,故,228,即，經(jīng)過無窮次轉

20、移后處于,狀態(tài)的概率與初始,狀態(tài)無關，與初始狀態(tài)的分布也無關。,229,解 因為馬爾可夫鏈是不可約非周期有限,狀態(tài)的，所以平穩(wěn)分布存在，設,則 = P，1+2+3=1. 即,各狀態(tài)的平均返回時間為, =(1, 2, 3 ),230,例2 設馬爾可夫鏈轉移概率矩陣為,求每一個不可約閉集的平穩(wěn)分布。,231,解 從狀態(tài)轉移圖看出，狀態(tài)空間可分解為,兩個不可約常返閉集 C1=2,3,4 和 C2=5,6,7，,一個非常返集 N=1。,在常返集上求平穩(wěn)分布：,232,在C1上，對應的轉移概率矩陣為,C1上的平穩(wěn)分布為：0, 0.4, 0.2, 0.4, 0, 0, 0,同理可求得 C2 上的平穩(wěn)分布為

21、,0, 0, 0, 0, 1/3, 1/3, 1/3,233,三、(有限鏈)遍歷性的充分條件,234,說明,2. 極限分布轉化為了求解方程組.,3. 在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.,235,試說明帶有兩個反射壁的隨機游動是遍歷的, 并求其極限分布(平穩(wěn)分布).,解,例3,四、應用舉例,236,無零元,鏈是遍歷的,237,代入最后一個方程 (歸一條件), 得唯一解,238,所以極限分布為,這個分布表明,經(jīng)過長時間游動之后, 醉漢 Q 位于點 2 (或 3 或 4 ) 的概率約為 3/11, 位于點 1 (或 5) 的概率約為 1/11.,239,設一馬氏鏈的一步轉移概率陣為,試討論它

22、的遍歷性.,解,例4,240,表明,此鏈不具遍歷性.,241,五、小結,遍歷性的概念,則稱此鏈具有遍歷性.,242,(有限鏈) 遍歷性的充分條件,作業(yè)1：,作業(yè)2：書習題5.7,244,第七節(jié) 連續(xù)時間馬爾可夫鏈,定義7.1 設隨機過程X(t)，t 0 ，狀態(tài)空間,及非負整數(shù) i1,i2, ,in+1 ，有,PX(tn+1)=in+1|X(t1)=i1, X(t2)=i2, X(tn)=in,則稱X(t)，t 0 為連續(xù)時間馬爾可夫鏈。,I=0,1,2,，若對任意,0t1 t2tn+1,=PX(tn+1)=in+1|X(tn)=in，,245,轉移概率：在s時刻處于狀態(tài)i，經(jīng)過時間t后,轉移到

23、狀態(tài)j的概率,pij(s,t)= PX(s+t)=j|X(s)=i,定義7.2 齊次轉移概率(與起始時刻 s 無關，只,與時間間隔 t 有關),pij(s,t)=pij(t),此時有轉移概率矩陣P(t)=(pij(t) ，i, jI，t 0.,246,記 i 為過程在狀態(tài)轉移之前停留在狀態(tài)i的時間，,則對s, t 0 有,(1),(2) i 服從指數(shù)分布,證：(1) 事實上,247,248,(2) 設i的分布函數(shù)為F(x), (x0),則生存函數(shù),由此可推出G(x)為指數(shù)函數(shù)，G(x)=e-x,則F(x)=1-G(x)=1- e-x為指數(shù)分布函數(shù)。,G(x)=1-F(x),249,過程在狀態(tài)轉

24、移之前處于狀態(tài)i的時間i服從指數(shù)分布 (1)當i=時， 狀態(tài)i的停留時間i 超過x的概率為0，則稱狀態(tài)i為瞬時狀態(tài)； (2)當i=0時， 狀態(tài)i的停留時間i 超過x的概率為1，則稱狀態(tài)i為吸收狀態(tài)。,250,定理7.1 齊次馬爾可夫過程的轉移概率具有下列性質(zhì)： (1) pij(t)0; (2) (3) 證 由概率的定義，(1)(2)顯然成立，下證(3),251,252,注： 此為轉移概率的正則性條件。,253,例1 證明泊松過程X(t),t0為連續(xù)時間齊次馬爾可夫鏈。 證 先證泊松過程的馬爾可夫性。 泊松過程是獨立增量過程，且X(0)=0，對任意0t1 t2 tn tn+1有,254,另一方面

25、,即泊松過程是一個連續(xù)時間馬爾可夫鏈,255,再證齊次性。當ji時， 當ji時,因增量只取非負整數(shù)值,故 pij(s,t)=0， 所以 轉移概率與s無關，泊松過程具有齊次性。,第六節(jié) 馬氏鏈模型,6.1 基本應用實例 6.2 健康與疾病 6.3 鋼琴銷售的存儲策略,馬氏鏈模型,系統(tǒng)在每個時期所處的狀態(tài)是隨機的,從一時期到下時期的狀態(tài)按一定概率轉移,下時期狀態(tài)只取決于本時期狀態(tài)和轉移概率 已知現(xiàn)在，將來與過去無關（無后效性）,描述一類重要的隨機動態(tài)系統(tǒng)（過程）的模型,馬氏鏈 (Markov Chain) 時間、狀態(tài)均為離散的隨機轉移過程,258,某計算機房的一臺計算機經(jīng)常出故障,研究者 每隔15

26、分鐘觀察一次計算機運行狀態(tài),收集了24小 時的數(shù)據(jù) (共作97次觀察) . 用1表示正常狀態(tài), 用0 表示不正常狀態(tài), 所得的數(shù)據(jù)序列如下:試求一步轉移概率矩陣。,1110010011111110011110111111001111111110001101101,分析,狀態(tài)空間: I=0, 1.,例1,111011011010111101110111101111110011011111100111,6.1 基本應用實例,259,96 次狀態(tài)轉移的情況:,因此, 一步轉移概率可用頻率近似地表示為:,260,特點:,用行向量表示為,一維分布由初始分布和 轉移概率矩陣決定,261,由以上討論知,轉移

27、概率決定了馬氏鏈的運動的統(tǒng)計規(guī)律. 因此, 確定馬氏鏈的任意n步轉移概率成為馬氏鏈理論中的重要問題之一.,262,設每一級的傳真率為 p, 誤碼率為 q=1-p.,設一個單位時間傳輸一級,只傳輸數(shù)字0和1的串聯(lián)系統(tǒng) ( 傳輸系統(tǒng)),如圖:,分析:,例2,263,而與時刻 n 以前所處的狀態(tài)無關.,所以它是一個馬氏鏈, 且是齊次的.,一步轉移概率,一步轉移概率矩陣,264,在 傳輸系統(tǒng)中,傳輸后的誤碼率;,系統(tǒng)經(jīng) n 級傳輸后輸出為 1, 問原發(fā)字符也是 1 的 概率是多少?,265,解,先求出 n 步轉移概率矩陣.,有相異的特征值,所以可將 P 表示成對角陣,266,傳輸后的誤碼率分別為:,2

28、67,(2) 根據(jù)貝葉斯公式, 當系統(tǒng)經(jīng) n 級傳輸后輸出為 1, 原發(fā)字符也是 1 的概率為:,268,說明,n步轉移概率矩陣為,矩陣一般可表示為:,對于只有兩個狀態(tài)的馬氏鏈, 一步轉移概率,通過有實際背景的例子介紹馬氏鏈的基本概念和性質(zhì),例1. 人的健康狀況分為健康和疾病兩種狀態(tài)，設對特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8, 而今年患病、明年轉為健康狀態(tài)的概率為0.7，,6.2 健康與疾病,人的健康狀態(tài)隨著時間的推移會隨機地發(fā)生轉變,保險公司要對投保人未來的健康狀態(tài)作出估計, 以制訂保險金和理賠金的數(shù)額,若某人投保時健康, 問10年后他仍處于健康狀態(tài)的概率,Xn+1只取決

29、于Xn和pij, 與Xn-1, 無關,狀態(tài)與狀態(tài)轉移,狀態(tài)轉移具有無后效性,設投保時健康,給定a(0), 預測 a(n), n=1,2,設投保時疾病,n時狀態(tài)概率趨于穩(wěn)定值，穩(wěn)定值與初始狀態(tài)無關,狀態(tài)與狀態(tài)轉移,例2. 健康和疾病狀態(tài)同上，Xn=1 健康, Xn=2 疾病,p11=0.8, p12=0.18, p13=0.02,死亡為第3種狀態(tài)，記Xn=3,健康與疾病,p21=0.65, p22=0.25, p23=0.1,p31=0, p32=0, p33=1,設投保時處于健康狀態(tài)，預測 a(n), n=1,2,不論初始狀態(tài)如何，最終都要轉到狀態(tài)3 ； 一旦a1(k)= a2(k)=0, a

30、3(k)=1, 則對于nk, a1(n)=0， a2(n)=0, a3(n)=1, 即從狀態(tài)3不會轉移到其它狀態(tài)。,狀態(tài)與狀態(tài)轉移,馬氏鏈的基本方程,基本方程,馬氏鏈的兩個重要類型,1. 正則鏈 從任一狀態(tài)出發(fā)經(jīng)有限次轉移能以正概率到達另外任一狀態(tài)（如例1）。,w 穩(wěn)態(tài)概率,馬氏鏈的兩個重要類型,2. 吸收鏈 存在吸收狀態(tài)（一旦到達就不會離開的狀態(tài)i, pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉移能以正概率到達吸收狀態(tài)（如例2）。,6.3 鋼琴銷售的存貯策略,鋼琴銷售量很小，商店的庫存量不大以免積壓資金,一家商店根據(jù)經(jīng)驗估計，平均每周的鋼琴需求為1架,存貯策略：每周末檢查庫存量，僅當庫存量

31、為零時，才訂購3架供下周銷售；否則，不訂購。,估計在這種策略下失去銷售機會的可能性有多大，以及每周的平均銷售量是多少。,背景與問題,問題分析,顧客的到來相互獨立，需求量近似服從波松分布，其參數(shù)由需求均值為每周1架確定，由此計算需求概率,存貯策略是周末庫存量為零時訂購3架 周末的庫存量可能是0, 1, 2, 3，周初的庫存量可能是1, 2, 3。,用馬氏鏈描述不同需求導致的周初庫存狀態(tài)的變化。,動態(tài)過程中每周銷售量不同，失去銷售機會（需求超過庫存）的概率不同。,可按穩(wěn)態(tài)情況（時間充分長以后）計算失去銷售機會的概率和每周的平均銷售量。,模型假設,鋼琴每周需求量服從波松分布，均值為每周1架,存貯策略：當周末庫存量為零時，訂購3架，周初到貨；否則，不訂購。,以每周初的庫存量作為狀態(tài)變量，狀態(tài)轉移具有無后效性。,在穩(wěn)態(tài)情況下計算該存貯策略