隨機過程入門.ppt

1、1,隨機信號分析,2,課程內容及安排,課程地位： 學習通信原理、移動通信等專業(yè)課的先修課程. 主要內容 隨機過程(1011次課) 平穩(wěn)隨機過程譜分析(34次課) 隨機過程通過線性系統(tǒng)(34次課) 隨機過程通過非線性系統(tǒng)(23次課) 學習方法：信號與系統(tǒng)+隨機過程 考核形式 作業(yè) 20% 考試 80%,3,預備知識,概 率 論,4,經典概率問題,一維隨機變量,二維隨機變量,隨機變量數(shù)字特征,概率分布函數(shù)、概率密度函數(shù)和一維隨機變量函數(shù)分布,概率分布函數(shù)、概率密度函數(shù)和二維隨機變量函數(shù)分布,概率空間、全概率公式和貝葉斯公式,數(shù)學期望、方差和各階矩,極限定理,切比雪夫不等式、弱大數(shù)定律、中心極限定理

2、等,特征函數(shù),隨機過程,主 要 內 容,5,主要內容：,隨機變量的數(shù)字特征,隨機變量函數(shù)的分布,隨機變量的特征函數(shù),6,第一節(jié),隨機變量數(shù)字特征,7,數(shù) 學 期 望,離散隨機變量,連續(xù)隨機變量,隨機變量Y=g(X),8,數(shù) 學 期 望(續(xù)1),注：,Y=aX1+bX2,Y=X1X2,X1和X2相互獨立時,9,數(shù) 學 期 望(續(xù)2),例1,隨機變量X服從下表分布，求EX和EX2,Y=X2的概率分布為,EX=0.8,EY=7.2,10,各階矩(中心矩、原點矩),原點矩,中心矩,方差,11,第二節(jié),隨機變量函數(shù)分布,12,一維隨機變量函數(shù)分布,隨機變量Y是隨機變量X的單調函數(shù)，并存在反函數(shù)X=h(Y

3、)，則,情況1：,情況2：,隨機變量Y是隨機變量X的多值函數(shù)，假設一個Y值對應兩個X值， 且X1=h1(Y)和X2=h2(Y)，則,13,一維隨機變量函數(shù)分布(例),例2 設隨機變量X服從正態(tài)分布N(0,1)，求隨機變量 Y=X2的概率密度。,解：,Y=X2,=,14,一維隨機變量函數(shù)分布(例續(xù)),分布,15,二維隨機變量函數(shù)分布,已知二維隨機變量( X1 ,X2 )的概率分布, g(x1,x2) 為已知的二元函數(shù)，Z = g(X1 ,X2 ),求：Z 的概率分布？,當( X1 ,X2 )為連續(xù)型隨機變量時，,其中,16,二維隨機變量函數(shù)分布(續(xù)),新問題：,已知隨機變量X1和X2的聯(lián)合概率密

4、度為,求隨機變量Y1=g1(X1,X2)和Y2=g2(X1,X2)的聯(lián)合概率密度?,單值變換函數(shù),X1=h1(Y1,Y2)和X2=h2(Y1,Y2),17,例3 已知 ( X1 ,X2 )的聯(lián)合密度函數(shù)為,Y = X1 + X2 ,求 f Y (y),令,二維隨機變量函數(shù)分布(例),解：,18,2,1,1,19,20,二維隨機變量函數(shù)分布(例),例4 已知 X1 和X2是兩個獨立的正態(tài)分布隨機變量,求隨機變量Z和的聯(lián)合概率密度。,其中,解：,21,二維隨機變量函數(shù)分布(例),平面直角坐標上的兩個彼此獨立分布的正態(tài)隨機變量，,經極坐標變換后，其模服從瑞利分布，相位服從均勻分布,且模和相位兩個隨機

5、變量是相互獨立的,瑞利分布,均勻分布,22,二維隨機變量函數(shù)分布(例),例5 已知 X1 和X2是兩個獨立的正態(tài)分布隨機變量,求隨機變量Y1和Y2的聯(lián)合概率密度。,其中,23,二維隨機變量函數(shù)分布(例續(xù)),24,二維隨機變量函數(shù)分布(例續(xù)),25,二維隨機變量函數(shù)分布(例續(xù)),推廣至n維高斯隨機向量,26,第三節(jié),隨機變量特征函數(shù),27,特征函數(shù)的定義,定義：,ejuX的數(shù)學期望定義為隨機變量X的特征函數(shù)CX(u),X為離散隨機變量時，其特征函數(shù)為,X為連續(xù)隨機變量時，其特征函數(shù)為,28,特征函數(shù)的定義(例),例6 設隨機變量 X服從正態(tài)分布N(0,1)，求它的特征函數(shù)。,29,特征函數(shù)性質,

6、(1) 隨機變量X的特征函數(shù)CX(u)滿足,(2) 隨機變量X的特征函數(shù)為CX(u)，,則 Y=aX+b的特征函數(shù)為,(3) 獨立隨機變量X1和X2的特征函數(shù)分別為CX1(u),和CX2(u)，,則 Z=X1+X2的特征函數(shù)為,給出一種求獨立隨機變量和的分布新方法。,30,特征函數(shù)與概率密度之間的關系,一維隨機變量X的函數(shù)Y=g(X)的概率密度,31,特征函數(shù)與概率密度之間的關系(例),例7 設隨機變量 X在,之間均勻分布,求Y=sin X的概率密度函數(shù),32,特征函數(shù)與概率密度之間的關系(例),33,特征函數(shù)與各階矩之間的關系,34,特征函數(shù)與各階矩之間的關系(續(xù)),35,特征函數(shù)作用,可以

7、簡化各階矩的運算,可以簡化一維隨機變量函數(shù)的運算,可以簡化獨立隨機變量和的分布的計算,單 值 函 數(shù),36,第 1 章,隨機過程,37,本章主要內容：,隨機過程的基本概念,隨機過程的數(shù)字特征,隨機過程的微分和積分計算,隨機過程的平穩(wěn)性和遍歷性,隨機過程的相關函數(shù)及其性質,復隨機過程,正態(tài)過程,馬爾可夫鏈,泊松過程,38,1.1 隨機過程的基本概念及統(tǒng)計特性,基本要求：,深入理解隨機過程的定義,了解隨機過程的幾種分類,理解隨機過程的概率分布,掌握隨機過程的數(shù)字特征計算方法,了解隨機過程的特征函數(shù),39,一、 定義,對接收機的噪聲電壓作觀察,40,1 樣本函數(shù)： ， ， ， ，都是時間的函數(shù)，稱為

8、樣本函數(shù)。,2 隨機性：一次試驗，隨機過程必取一個樣本函數(shù)，但所取的樣本函數(shù)帶有隨機性。因此，隨機過程不僅是時間t 的函數(shù)，還是可能結果的函數(shù)，記為 ，簡寫成 。,41,定義2：若對于每個特定的時間 ， 都是隨機變量，則稱 為隨機過程， 稱為隨機過程 在 時刻的狀態(tài)。,3. 隨機過程的定義：,42,4.定義的理解 ：,上面兩種隨機過程的定義，從兩個角度描述了隨機過程。 作觀測時，常用定義1，通過觀測的試驗樣本可得到隨機過程的統(tǒng)計特性； 理論分析時，常用定義2，可把隨機過程看成為n 維隨機變量，n越大，采樣時間越小，所得到的統(tǒng)計特性越準確。,43,理解：,一個時間函數(shù)族,一個確知的時間函數(shù),一個

9、隨機變量,一個確定值,1 和 都是變量,2 是變量而 固定,3 固定而 是變量,4 和 都固定,44,隨機變量,與時間無關,隨機過程,與時間相關的一族隨機變量,45,解：,(1) 固定時間t，X(t)是隨機變量，,是一族隨機變量,(2) 對隨機變量做一次試驗得到一個結果，,是隨時間變化的函數(shù)，即樣本函數(shù)。,X(t)是一隨機過程。,46,二、 隨機過程分類,1. 按隨機過程的時間和狀態(tài)來分類,(1) 連續(xù)型隨機過程：時間t取值連續(xù)，且對隨機過程任一時刻 的取值 都是連續(xù)型隨機變量。,(2) 離散型隨機過程：時間t取值連續(xù)，且對隨機過程任一時刻 的取值 都是離散型隨機變量。,47,(4) 離散隨機

10、序列：隨機過程的時間t只能取某些時刻，如 ， 2 ，.，n ，且這時得到的隨機變量 是離散型隨機變量，即時間和狀態(tài)是離散的。相當于采樣后再量化 。,(3) 連續(xù)隨機序列：隨機過程的時間t只能取某些時刻，如 ， 2 ，.，n ，且這時得到的隨機變量 是連續(xù)型隨機變量，即時間是離散的。相當于對連續(xù)型隨機過程的采樣。,48,2. 按樣本函數(shù)的形式來分類,不確定的隨機過程：隨機過程的任意樣本函數(shù)的值不能被預測。例如接收機噪聲電壓波形。,確定的隨機過程：隨機過程的任意樣本函數(shù)的值能被預測。例如，樣本函數(shù)為正弦信號。,49,離散型隨機過程,不是確定性隨機過程,50,例3 離散型隨機過程的樣本函數(shù)皆為常數(shù)，

11、 即X(t)=C=可變常數(shù)，其中C為隨機變量，其可能值 為C1=1，C2=2和C3=3，它們分別已概率0.6、0.3及0.1 出現(xiàn)。X(t)是確定性過程嗎？,X(t)是確定性隨機過程,51,3. 按概率結構和特性分類,按分布函數(shù)或概率密度函數(shù)：正態(tài)隨機過程、泊松隨機過程等,按平穩(wěn)性：平穩(wěn)隨機過程、非平穩(wěn)隨機過程,按遍歷性：遍歷隨機過程、非遍歷隨機過程,按功率譜密度特性：寬帶隨機過程、窄帶隨機過程等,52,三、 隨機過程的概率分布,1. 一維概率分布,隨機過程X(t)在任意ti T的取值X(ti)是一維隨機變量。記為Fx(xi；ti)=PX(ti)xi為隨機過程 X(t)的一維分布函數(shù)。,若 的

12、偏導數(shù)存在，則有,53,2. 二維概率分布,若FX(x1,x2;t1,t2)對x1，x2的二階混合偏導存在，則,為隨機過程X(t)的二維概率密度,54,3. n維概率分布,55,四、隨機過程的數(shù)字特征,隨機變量的數(shù)字特征通常是確定值；隨機過程的數(shù)字特征通常是確定性函數(shù)。,對隨機過程的數(shù)字特征的計算方法，是先把時間t固定，然后用隨機變量的分析方法來計算。,56,1. 數(shù)學期望,顯然， 是某一個平均函數(shù)，隨機過程的諸樣本在它的附近起伏變化，如圖所示：,物理意義：如果隨機過程表示接收機的輸出電壓，那么它的數(shù)學期望就是輸出電壓的瞬時統(tǒng)計平均值。,57,2. 均方值和方差,隨機過程 在任一時刻t的取值是

13、一個隨機變量 。我們把 二階原點矩稱為隨機過程的均方值，把二階中心矩記作隨機過程的方差。即：,且,58,物理意義：如果 表示噪聲電壓，則均方值 和方差 分別表示消耗在單位電阻上的瞬時功率統(tǒng)計平均值和瞬時交流功率統(tǒng)計平均值。,標準差或均方差：,59,3. 自相關函數(shù),先比較具有相同數(shù)學期望和方差的兩個隨機過程。,60,自相關函數(shù)用來描述隨機過程任意兩個時刻的狀態(tài)之間的內在聯(lián)系，通常用 描述。,61,4. 自協(xié)方差函數(shù),若用隨機過程的兩個不同時刻之間的二階混合中心矩來定義相關函數(shù)，我們稱之為自協(xié)方差。用 表示，它反映了任意兩個時刻的起伏值之間相關程度。,62,比較自協(xié)方差和自相關函數(shù)的關系,比較自

14、協(xié)方差和方差的關系,63,例4：求隨機相位正弦波 的數(shù)學期望，方差，自相關函數(shù)及一維概率密度。式中， 為常數(shù)，是區(qū)間0， 上均勻分布的隨機變量。,64,65,（3）自相關函數(shù),66,67,例5：設隨機過程X(t)=A+Bt，其中A和B是相互獨立的正態(tài)分布N(0,1)隨機變量，求X(t)的數(shù)學期望、方差、自相關函數(shù)、協(xié)方差函數(shù)、一維和二維概率密度函數(shù)。,（1）數(shù)學期望,（2）方差,68,（3）自相關函數(shù),（4）自協(xié)方差函數(shù),69,（5）一維概率密度函數(shù),因A和B都是正態(tài)分布隨機變量，,所以，給定時間t，X(t)也是正態(tài)分布隨機變量，且,70,（6）二維概率密度函數(shù),給定時間t1和t2，,X(t1

15、) 和X(t2)是兩個正態(tài)分布隨機變量，且,71,例6(課堂練習)：設隨機過程X(t)=Acos0t，其中 0為常數(shù)，A為在(0,1)之間均勻分布的隨機變量， (1) 畫出過程X(t)的幾個樣本函數(shù)圖形； (2) 試求t=0、/(4 0)和3/(4 0)時， X(t)的一維概率密度函數(shù)。 (3)求X(t)的均值、相關函數(shù)、協(xié)方差函數(shù)和方差函數(shù),72,例6(課堂練習)：設隨機過程X(t)=Acosw0t，其中w0為常數(shù)，A為在(0,1)之間均勻分布的隨機變量， (1) 畫出過程X(t)的幾個樣本函數(shù)圖形； (2) 試求t=0、/(4w0)和3/(4w0)時， X(t)的一維概率密度函數(shù)。 (3)

16、求X(t)的均值、相關函數(shù)、協(xié)方差函數(shù)和方差函數(shù),解：,t=0,X1=X(t=0)=A,t=/(4w0),X2=X(t= /(4w0)=Acos(/4),t=3/(4w0),X3=X(t= 3/(4w0)=Acos(3/4),73,74,五、 隨機過程的特征函數(shù),1. 一維特征函數(shù),隨機過程 在任一特定時刻t的取值是一維隨機變量，其特征函數(shù)為:,其反變換為：,n階矩,75,2. 二維特征函數(shù),其反變換為：,76,3. n維特征函數(shù),77,1.1 小結,隨機過程X(t,)：隨時間變化的一族隨機變量 隨機過程分類 隨機過程統(tǒng)計特性描述 本章的重點內容之一 一維、二維聯(lián)合概率密度 數(shù)學期望,均方值,

17、方差,自相關函數(shù),自協(xié)方差函數(shù),78,1.2 連續(xù)時間隨機過程的微分和積分,基本要求： 理解隨機過程連續(xù)的概念 理解隨機過程微分的概念，掌握隨機過程導數(shù)的數(shù)字特征求解 理解隨機過程積分的概念，掌握隨機過程三種積分方式及對應數(shù)字特征求解,79,1.2 連續(xù)時間隨機過程的微分和積分,一、 隨機過程的連續(xù)性,1. 預備知識：,對于確定性函數(shù) ， 若,則 在 處連續(xù)。,80,2. 隨機過程 連續(xù)性定義,81,3. 隨機過程 的相關函數(shù)連續(xù)，則 連續(xù),因此，如果對 時刻，函數(shù) 在 點上連續(xù)，則隨機過程 必在點t 上連續(xù)。,證：,82,4. 隨機過程 均方連續(xù)，則其數(shù)學期望連續(xù),證：,由均方連續(xù)的定義，

18、，則不等式左端趨于0，那么不等式的右端也必趨于0（均值的平方不可能小于0）,設,83,即：,注意 為確定性函數(shù)，由預備知識，可知連續(xù)。,可將此結果寫成,求極限和求數(shù)學期望的次序可以交換,84,二、 隨機過程的導數(shù),預備知識： 對于一般確定性函數(shù)，高等數(shù)學給出的可導定義如下：,一階可導：,如果 存在，則 在t處可導，記為 。,85,二階可導：,存在，則 二階可導，記為,若,86,1. 隨機過程可導的定義, 通常意義下的導數(shù),隨機過程X(t)的導數(shù)可定義為極限,如果極限在均方意義下存在，則X(t)具有均方意義下的導數(shù)。,87,如果隨機過程 滿足,則稱 在t時刻具有均方導數(shù) ，表示為, 均方意義下的

19、導數(shù),88,2. 判別方法,判斷一個隨機過程是否均方可微的方法是采用柯西準則,即,而,89,若存在混合偏導,，則t1=t2時有,=,可見，隨機過程X(t)在t處均方可微的充分條件為：相關函數(shù)在它的自變量相等時，存在二階混合偏導數(shù)且連續(xù)，即存在,90,3. 數(shù)字特征,（1）隨機過程導數(shù)的數(shù)學期望等于其數(shù)學期望的導數(shù),證明：,91,（2）隨機過程導數(shù)的相關函數(shù)等于可微隨機過程的相關函數(shù)的混合偏導數(shù),證明：,92,93,94,例2. 隨機過程X(t)的數(shù)學期望為,求隨機過程,的均值。,95,的均值、相關函數(shù)、,，其中V是均值為4，方差為1,96,隨機過程連續(xù)與可導小結,確定函數(shù)的連續(xù)性,隨機過程的連

20、續(xù)性,則稱該隨機過程在通常意義下連續(xù)。,t0,若,則稱隨機過程X(t)在t點均方連續(xù)，記為：,的均方值趨于零，即,時,97,如果對 時刻，函數(shù) 在 點上連續(xù)，則隨機過程 必在點t上連續(xù)。,隨機過程均方連續(xù)的判定：,98,確定函數(shù)的微分,隨機過程的微分,則稱該隨機過程在通常意義下導數(shù)。,t0,若,的均方值趨于零，即,則稱隨機過程X(t)在t0點均方可導，記為：,99,隨機過程均方可導的判定：,隨機過程X(t)在t處均方可微的充分條件為：相關函數(shù)在它的自變量相等時，存在二階混合偏導數(shù)且連續(xù)，即存在,100,101,三、 隨機過程的積分,1. 預備知識,對于確定性函數(shù) ，,其中 ，,102,2. 隨

21、機過程的三種積分,定區(qū)間積分： 隨機過程 在確定區(qū)間 上的積分Y是一個隨機變量，即,即,則稱 為隨機過程 在 上的均方積分。,a,的均方值趨于零，,103,加權隨機過程積分：,變上限隨機過程積分：,a,a,104,3.定區(qū)間隨機過程積分的數(shù)字特征,（1）定區(qū)間隨機過程積分的數(shù)學期望等于隨機過程數(shù)學期望的積分。,證明：,求積分和求期望可以互換順序。,105,(2) 定區(qū)間隨機過程積分的均方值等于隨機過程自相關函數(shù)的二重積分；其方差為隨機過程協(xié)方差的二重積分。,106,107,4.加權隨機過程積分的數(shù)字特征,(1)數(shù)學期望,108,(2)相關函數(shù),109,(3)協(xié)方差函數(shù),110,(1) 數(shù)學期望

22、,5. 變上限隨機過程積分的數(shù)字特征,111,(2) 相關函數(shù)：等于對隨機過程的相關函數(shù)作兩次變上限積分（先對t1,后對t2積分）,112,(3) 協(xié)方差函數(shù)：等于對隨機過程的協(xié)方差函數(shù)作兩次變上限積分（先對t1,后對t2積分）,113,例4. 隨機過程X(t)=,的隨機變量，求隨機過程,的均值、相關,，其中V是均值為5，方差為1,函數(shù)、協(xié)方差函數(shù)和方差。,解：,(1)求X(t)的均值和相關函數(shù),114,(2)求Y(t)的均值、相關函數(shù)和協(xié)方差函數(shù),115,116,例5. 隨機過程X(t)=,的隨機變量，求隨機過程,的均值、,，其中V是均值為1，方差為1,相關函數(shù)、協(xié)方差函數(shù)和方差。,解：,(

23、1)求X(t)的均值和相關函數(shù),117,(2)求Y(t)的均值、相關函數(shù)和協(xié)方差函數(shù),118,119,1.3 平穩(wěn)隨機過程及其遍歷性,基本要求：, 理解隨機過程嚴平穩(wěn)性的概念，會判斷, 掌握嚴平穩(wěn)隨機過程一維、二維概率密度的特性。, 理解隨機過程寬平穩(wěn)性的概念，會判斷，掌握寬平穩(wěn)隨機過程相關函數(shù)的性質。, 理解隨機過程遍歷性的概念，會判斷。, 了解隨機過程相關函數(shù)的測量方法。,120,1.3 平穩(wěn)隨機過程及其遍歷性,一、 平穩(wěn)隨機過程,1. 嚴平穩(wěn)隨機過程,(1) 定義,如果對于任意的n和 ，隨機過程 X(t)的 n 維概率密度滿足：,則稱X(t) 為嚴平穩(wěn)（或狹義）隨機過程 。,嚴平穩(wěn)隨機過

24、程的統(tǒng)計特性與時間起點無關 。,121,(2) 一、二維概率密度及數(shù)學特征,嚴平穩(wěn)隨機過程的一維概率密度與時間無關,122,嚴平穩(wěn)隨機過程的二維概率密度只與 t1, t2的時間間隔有關，而與時間起點無關,123,(3)嚴平穩(wěn)的判斷,按照嚴平穩(wěn)的定義，判斷一個隨機過程是否為嚴平穩(wěn)，需要知道其n維概率密度，可是求n維概率密度是比較困難的。不過，如果有一個反例，就可以判斷某隨機過程不是嚴平穩(wěn)的，具體方法有兩個：,(1) 若X(t)為嚴平穩(wěn)，k為任意正整數(shù)，則 與時間t無關。,(2) 若X(t)為嚴平穩(wěn)，則對于任一時刻t0， X(t0)具有相同的統(tǒng)計特性。,124,二、 寬平穩(wěn)隨機過程,若隨機過程 X

25、(t)滿足,則稱X(t)為寬平穩(wěn)或廣義平穩(wěn)隨機過程。,嚴平穩(wěn)與寬平穩(wěn)的關系：嚴平穩(wěn)過程的均方值有界，則此過程為寬平穩(wěn)的，反之不成立。對于正態(tài)過程，嚴平穩(wěn)與寬平穩(wěn)等價。,125,例1. 設隨機過程Z(t)=Xsint+Ycost，其中X和Y是相互獨立的 二元隨機變量，它們都分別以2/3和1/3的概率取-1和2，試求： Z(t)的均值和自相關函數(shù)； 證明Z(t)是寬平穩(wěn)的，但不是嚴平穩(wěn)的。,解：,因此，Z(t)是寬平穩(wěn)的。,126,因此，Z(t)不是嚴平穩(wěn)的。,127,例2. 設隨機過程X(t)=t2+Asint+Bcost，其中A和B都是一元隨機變 量，且EA=EB=0，DA=DB=10，EAB

26、=0，試分別討論 X(t)和Y(t)=X(t)-mX(t)的平穩(wěn)性。,解：,X(t)不是平穩(wěn)過程。,Y(t)是平穩(wěn)過程。,128,三、平穩(wěn)隨機過程相關函數(shù)的性質,性質1,平均功率,性質2,偶對稱性,性質3,極值性,證：,129,則 。,若X(t)是非周期的，,由協(xié)方差函數(shù)的定義，可得,由此,若X(t)是非周期，則有,證：,且在t=0時,可得,130,平穩(wěn)隨機過程必須滿足對所有 均成立。,性質5,相關函數(shù)（協(xié)方差）的典型曲線,131,例3：已知平穩(wěn)隨機過程 X(t)的自相關函數(shù)為 RX()=100e-10| |+100cos10 +100 求X(t)的均值、均方值和方差。,RX()=（100co

27、s10 ）+（100e-10| |+100） = RX1()+ RX2(),所以有,解：,132,嚴平穩(wěn)隨機過程,寬平穩(wěn)隨機過程,嚴平穩(wěn)隨機過程的統(tǒng)計特性與時間起點無關 。,一維概率密度 與時間無關,均值、均方值、 方差及 與時間無關,二維概率密度僅 與時間間隔有關,相關函數(shù)僅與時間間隔有關,均值與時間無關，相關函數(shù)僅與時間間隔有關,133,四、平穩(wěn)過程的相關系數(shù)和相關時間,此值在1，1之間。,相關系數(shù),表示不相關,表示完全相關,表示正相關，即兩個不同時刻起伏值符號相同可能性大。,134,相關時間,當相關系數(shù)中的時間間隔大于某個值，可以認為兩個不同時刻起伏值不相關了，這個時間就稱為相關時間。,

28、(1) 相關系數(shù)從最大值1下降至0.05時所經歷的時間間隔 ，記做相關時間, 即:,(2)用鉅形（高為 ,底為 的矩形）面積等于陰影面積( 積分的一半）來定義相關時間，即,物理意義,相關時間 越小，就意味著相關系數(shù) 隨 增加而降落的越快，這表明隨機過程隨時間變化越劇烈。反之， 越大，則表時隨機過程隨時間變化越慢。,135,解：,136,五、 遍歷性或各態(tài)歷經性,1 遍歷性過程的定義,如果一個隨機過程 X(t),它的各種時間平均（時間足夠長）依概率1收斂于相應的集合平均,則稱X(t)具有嚴格遍歷性,并稱它為嚴遍歷過程。,嚴遍歷性的定義,137,寬遍歷性的定義,設X(t)是一個平穩(wěn)隨機過程，且滿足

29、：,則稱X(t)為寬(或廣義)遍歷過程。,時間均值,均值遍歷,時間相關函數(shù),相關函數(shù) 遍歷,依概率1成立,138,均方值和方差的遍歷性,均方值遍歷,方差遍歷,139,2 遍歷過程的實際應用,一般隨機過程的時間平均是隨機變量，但遍歷過程的時間平均為確定量，因此可用任一樣本函數(shù)的時間平均代替整個過程的統(tǒng)計平均，在實際工作中，時間T不可能無限長，只要足夠長即可。,3 遍歷過程和平穩(wěn)過程的關系,遍歷過程必須是平穩(wěn)的，而平穩(wěn)過程不一定是遍歷的。（遍歷必定平穩(wěn)由遍歷定義即可知）,140,解：,X(t)是平穩(wěn)隨機過程。,(1),141,(2),X(t)是寬遍歷隨機過程。,142,解：,X(t)不是遍歷性過程

30、。,143,4 遍歷過程的兩個判別定理,均值遍歷判別定理,平穩(wěn)過程X(t)的均值具有遍歷性的充要條件,平穩(wěn)過程X(t)的自相關函數(shù)具有遍歷性充要條件,自相關函數(shù)遍歷判別定理,式中：,144,對于正態(tài)平穩(wěn)隨機過程，若均值為零，自相關函數(shù) 連續(xù)，則此過程具有遍歷性的一個充分條件為,注意：判斷一個平穩(wěn)過程是否遍歷的，我們總是先假設其是遍歷的，然后看是否滿足定義要求（即時間平均以概率1等于統(tǒng)計平均），一般不用兩個判別定理。,5.,145,六、相關函數(shù)的測量,對于遍歷性過程，可用樣本函數(shù)的時間相關函數(shù) 來代替隨機過程的相關函數(shù)。,146,方法1：按照實驗數(shù)據(jù)確定,147,方法2：利用積分器，即連續(xù)型相關

31、函數(shù)測量儀,利用電路實現(xiàn)下式,148,1.4 聯(lián)合平穩(wěn)隨機過程,基本要求：, 兩個隨機過程的互相關函數(shù)和互協(xié)方差函數(shù) 的定義。, 兩個隨機過程聯(lián)合平穩(wěn)的定義及判斷。, 兩個隨機過程聯(lián)合遍歷的定義及判斷。, 復隨機過程的定義及數(shù)字特征的計算。,149,1.4 聯(lián)合平穩(wěn)隨機過程,一 兩個隨機過程的聯(lián)合概率分布,設有兩個隨機過程 和 ,它們的概率密度,分別為,定義這兩個過程的(n+m)維聯(lián)合分布函數(shù)為：,150,定義這兩個過程的(n+m)維聯(lián)合概率密度為：,注,151,3）可以由高維聯(lián)合分布求出它們的低維聯(lián)合概率分布。,4）若兩個隨機過程的聯(lián)合概率分布不隨時間平移而變化，即與時間的起點無關，則稱此二

32、過程為聯(lián)合嚴平穩(wěn)或嚴平穩(wěn)相依。,2）若兩個過程的n+m維聯(lián)合概率分布給定，則它們的全部統(tǒng)計特性也確定了。,152,設兩個隨機過程 和 ，它們在任意兩個時刻t1，t2的取值為隨機變量 、 ,則定義它們的互相關函數(shù)為：,二 兩個隨機過程的數(shù)字特征,式中，,是隨機過程 和,的二維聯(lián)合概率密度。,1. 互相關函數(shù),153,隨機過程 和 的互協(xié)方差函數(shù)定義為：,式中， 和 分別是隨機變量 和,的數(shù)學期望。,此式也可以寫成,2. 互協(xié)方差函數(shù),154,3 統(tǒng)計獨立、不相關、正交的概念,1）統(tǒng)計獨立,則稱隨機過程 和 相互獨立。,若,155,2) 不相關,若兩個隨機過程 和 對任意兩個時刻,t1, t2都具

33、有 或 ，,3）正交,則稱 和 不相關。,若兩個隨機過程 和 對任意兩個時刻,t1, t2都具有 或 ，,則稱 和 互為正交過程。,156,(1) 如果兩個隨機過程相互獨立，且他們的二階 矩都存在，則必互不相關。 (2) 正態(tài)過程的不相關與相互獨立等價。,注：,157,三、 聯(lián)合寬平穩(wěn),1. 定義,158,2. 互協(xié)方差與互相關系數(shù),當兩個隨機過程聯(lián)合平穩(wěn)時，它們的互協(xié)方差,互相關系數(shù),又稱作歸一化互樣關函數(shù)或標準互協(xié)方差函數(shù)。,注： 。當 時，隨機變量 和 互不相關。,159,3. 聯(lián)合寬平穩(wěn)隨機過程互相關函數(shù)的性質,(1),證明：按定義即可證明，說明互相關函數(shù)既不是偶函數(shù)， 也不是奇函數(shù)。

34、,互相關函數(shù)的影像關系,160,(2),證明：,展開得：,所以，,同理，,161,(3),證明：,由性質(2)，得,注意到,162,四、 聯(lián)合寬遍歷,163,平穩(wěn)隨機過程 X(t)和Y(t)的互相關函數(shù)為：,故這兩個隨機過程是平穩(wěn)相依的。,故KXY()僅在 時等于零，所以X(t1)和Y(t2)是相關的，因而它們不是統(tǒng)計獨立的。,解：,164,必須首先判斷隨機過程 X(t)和Y(t)的平穩(wěn)性以及它們的聯(lián)合平穩(wěn)性。,解：,因此X(t)是平穩(wěn)的。,因此Y(t)是平穩(wěn)的。,因此X(t)和Y(t)是聯(lián)合平穩(wěn)的。,165,因此X(t)和Y(t)是聯(lián)合遍歷的。,166,四、復隨機過程,1.復隨機變量,(1)

35、 定義,(2) 分布函數(shù),即由X,Y的聯(lián)合概率分布描述。,167,(3) 數(shù)字特征, 數(shù)學期望,方差,注：)復隨機過程的方差等于它的實部與虛部的方差之和 )復隨機過程的方差為非負的實數(shù)。,168,相關矩,設Z1、Z2為兩個復隨機變量，則,互協(xié)方差,169,(4) 兩個復隨機變量的獨立、不相關、正交,1）統(tǒng)計獨立,2）不相關,3）正交,170,2.復隨機過程,(1) 定義,設 ， 為實隨機過程，則定義,Z(t)=X(t)+jY(t),為復隨機過程。,(2) 概率密度函數(shù),Z(t)的統(tǒng)計特性可由X(t)和Y(t)的2n維聯(lián)合概率分布完整地描述，其概率密度為：,171,(3) 數(shù)字特征,數(shù)學期望,

36、方差, 自相關函數(shù),172,自協(xié)方差函數(shù),(4) 平穩(wěn)性,若復隨機過程Z(t)滿足：,則復隨機過程為寬平穩(wěn)過程。,173,互相關函數(shù),互協(xié)方差函數(shù),(5) 兩個復隨機過程的聯(lián)合平穩(wěn)性,174,175,例3. 設U和V是不相關的隨機變量，并且均值都為0， 方差都為1，問復隨機過程Z(t)=Ucost+jVsint的平穩(wěn)性。,解：,Z(t)是寬平穩(wěn)的,176,解：,Z(t)是寬平穩(wěn)的,177,1.5 正態(tài)隨機過程,一、 正態(tài)隨機過程的一般概念,如果隨機過程X(t)的任意n維概率分布都是正態(tài)分布，則稱它為正態(tài)隨機過程或高斯隨機過程，簡稱正態(tài)過程或高斯過程。,178,概率密度函數(shù),式中,mX是n維向量

37、，K是n維陣：,179,正態(tài)隨機過程的概率密度函數(shù)由它的一、二階矩（均值、方差和相關系數(shù)完全決定）。,推論:,若復正態(tài)隨機過程Z(t)的n個采樣時刻得到n個復隨機變量，即,其中, Xi、Yi皆為實隨機變量。此n個復隨機變量的聯(lián)合概率密度應是2n維隨機變量的聯(lián)合概率密度。,180,二 、平穩(wěn)正態(tài)隨機過程,1. 平穩(wěn)正態(tài)隨機過程的定義,若正態(tài)隨機過程滿足下列條件，則它是寬平穩(wěn)（平穩(wěn)）正態(tài)隨機過程。,181,2. 平穩(wěn)正態(tài)過程的n維概率密度,平穩(wěn)正態(tài)過程一、二維概率密度表達式,182,三、 正態(tài)隨機過程的性質,正態(tài)隨機過程的n維概率密度完全由它的均值集合，協(xié)方差函數(shù)集合所確定。,性質1：,性質2：,

38、正態(tài)過程的嚴平穩(wěn)與寬平穩(wěn)等價。,證明：,由于正態(tài)過程的均方值總是有界的， 因此嚴平穩(wěn)正態(tài)過程一定是寬平穩(wěn)的。,183,證明嚴平穩(wěn)，即證明,由于正態(tài)隨機過程的概率密度函數(shù)完全由均值和協(xié)方差函數(shù)決定。,設,因此只要證明,184,由于X(t)是寬平穩(wěn)，因此它的數(shù)學期望為一常數(shù)，即有,對任意的i和k,由寬平穩(wěn)性,由寬平穩(wěn)性,因此是嚴平穩(wěn)的隨機過程。,185,正態(tài)過程的不相關與相互獨立等價。,性質3：,若X(t)在n個不同時刻采樣得到一組隨機變量X1, X2,Xn,證明：,（1）如果Xn（n1,2,）兩兩之間相互獨立，則,（2）如果Xn（n1,2,）兩兩之間互不相關，則,當 時。所以，兩兩互不相關。,1

39、86,即兩兩相互獨立。,因此,所以,則,187,性質4：平穩(wěn)正態(tài)過程與確定信號之和仍為正態(tài)分布。,若正態(tài)過程X(t) 在T上均方可微，則其導數(shù)X(t)也是正態(tài)過程。,性質5：,若正態(tài)過程 X(t) 在T上均方可積，則積分過程,性質6：,也是正態(tài)過程。,188,正態(tài)隨機過程通過線性系統(tǒng)后的輸出仍為正態(tài)過程。,性質7：,推論： 正態(tài)過程的線性變換仍為正態(tài)過程。,189,190,解：,由題知Y是服從正態(tài)分布的隨機變量。,191,192,時,193,時,194,1.6 馬爾可夫鏈,基本要求：, 理解馬爾可夫鏈的定義,掌握馬爾可夫鏈轉移概率的定義，會求一步轉移概率及任意 n步轉移概率。,掌握馬爾可夫鏈初

40、始分布和絕對分布的概念，會求絕對分布。 會判斷馬爾可夫鏈的遍歷性，會求極限分布。,能由轉移概率矩陣畫出狀態(tài)轉移圖，對狀態(tài)進行分類。,195,回 顧,1. 隨機過程分類,按照時間和狀態(tài)空間的連續(xù)性，隨機過程分成以下四類：, 連續(xù)型隨機過程, 離散型隨機過程, 離散型隨機序列, 連續(xù)型隨機序列,時間連續(xù)、隨機變量連續(xù),時間連續(xù)、隨機變量離散,時間離散、隨機變量連續(xù),時間離散、隨機變量離散,馬爾可夫鏈屬于離散型隨機序列。,問題：時間離散型隨機過程的聯(lián)合概率和數(shù)字特征如何描述？,時間離散型 隨機過程,196,2. 全概率公式,197,一、馬爾可夫過程,當隨機過程在時刻 ti 所處的狀態(tài)已知的條件下，過

41、程在時刻 所處的狀態(tài)與過程在時刻 以前的狀態(tài)無關，而僅與過程在 所處的狀態(tài)有關。這種特性稱為隨機過程的“無后效性”或馬爾可夫性。,1.馬爾可夫性或無后效性,2.定義,已經知道隨機過程現(xiàn)在的條件下，其將來的條件分布與過去無關,198,3. 分類 T和E都取連續(xù)集時，稱為馬爾可夫過程。 若T取連續(xù)集而E取離散集時，稱為可列馬爾可夫過程。 若T取離散集而E取連續(xù)集時，稱為馬爾可夫序列。 若T和E都取離散集時，稱為馬爾可夫鏈。,199,二、馬爾可夫鏈定義,200,三、馬爾可夫鏈的轉移概率及性質,主要內容：, 轉移概率,一步轉移概率矩陣和n步轉移概率矩陣及兩者之 間的關系,初始分布和絕對分布，絕對分布與

42、轉移概率之間 的關系,由轉移概率矩陣畫狀態(tài)轉移圖,201,1. 轉移概率,注：若 的取值與m無關， 則稱該馬氏鏈為齊次馬氏鏈。,202,一步轉移概率 在齊次條件下，令式（1.6.9）中,稱為一步轉移概率矩陣。,（1）,（2）,2.一步轉移概率,Xm 的 狀 態(tài),Xm+1的狀態(tài),注：,在時刻m，馬氏鏈從任何一個狀態(tài)出發(fā)，到 m+1時刻，必然轉移到E中的狀態(tài)之一。,203,例1. 在某數(shù)字通信系統(tǒng)中多級傳輸0、1兩種數(shù)字信號。由于系統(tǒng)中存在干擾，在任一級輸入0、1數(shù)字信號后，其輸出不產生錯誤的概率為p，產生錯誤的概率為q=1-p ，求一級傳輸時的概率轉移矩陣。,解：系統(tǒng)每一級的輸入狀態(tài)和輸出狀態(tài)構

43、成一個兩狀態(tài)的馬氏鏈，其一步轉移概率矩陣為,典型的二進制對稱信道(BSC),204,例2. 已知明日是否降雨只與今日的天氣有關，與以往的天氣無關，并且今日有雨而明日有雨的概率為0.6，今日無雨而明日有雨的概率為0.3，試寫出其一步轉移概率矩陣。,解：令有雨為狀態(tài) “1”，無雨為狀態(tài) “0，由題得,205,例3. 設一隨機游動的質點Q在圖示的直線點集E=1，2，3，4，5上做隨機游動，且僅在1秒、2秒等時刻游動，游動規(guī)則是： 若Q出現(xiàn)在i點(1i5)，則在下一時刻各以1/3的概率向左或向右移動，以1/3的概率留在原處， 若Q出現(xiàn)在1(或5)處，則下一時刻以概率1移動到2(或5)上。 試寫出其一步

44、轉移概率矩陣。,解：,206,3. n步轉移概率,時，可得到,可構成,n步轉移概率矩陣,由所有n步轉移概率,（1）,（2）,為了數(shù)學處理便利，通常規(guī)定,步轉移概率,207,4切普曼-柯爾莫哥洛夫方程（C-K方程）,對于 步轉移概率，有如下的切普曼-柯爾莫哥洛夫方程的離散形式,含義：馬氏鏈在m時刻處于i狀態(tài)下，經k+l步轉移至m+k+l 時到達狀態(tài)j，可以先在m時刻從狀態(tài)i出發(fā)，經l步到達某個 中間狀態(tài)r，再在m+l時刻從狀態(tài)r出發(fā)，經k步到達狀態(tài)j。 中間狀態(tài)要取遍整個狀態(tài)空間E,208,證明：,由全概率公式,由無后效性,209,若用概率矩陣表示，有,當,時，有,同理可推出，當,時，有,即任意

45、k步轉移概率矩陣可由一步轉移概率矩陣自乘k次來得到。,210,例4(例2續(xù)). 已知明日是否降雨只與今日的天氣有關，與以往的天氣無關，并且今日有雨而明日有雨的概率為0.6，今日無雨而明日有雨的概率為0.3，試 寫出其一步轉移概率矩陣。 求二至四步轉移概率矩陣。 求今日有雨而后日(第二日)仍有雨的概率。 求今日無雨而第四日有雨的概率。,解: (1) 令有雨為狀態(tài) “1”，無雨為狀態(tài) “0，由題得,211,(2),(3),有二步轉移概率矩陣P(2)得今日有雨而后日(第二日)仍有雨的 概率為0.48,(4),有四步轉移概率矩陣P(4)得今日無雨而第四日有雨的 概率為0.4251,212,5初始分布與

46、絕對分布,(1) 初始分布定義,則稱 為該馬氏鏈的初始分布，也稱初始概率。,213,(2) 絕對分布定義,則稱 為該馬氏鏈的絕對分布，也稱絕對概率。,214,(3) 絕對分布計算,定理1.馬氏鏈的絕對概率由初始分布和相應的轉移概率唯一確定。,證：設,為一馬氏鏈，,為狀態(tài)集，則對任意,時馬氏鏈處于狀態(tài)j,的概率為,215,時，絕對概率由下式確定：,即:絕對概率 由初始概率 及n步轉移概率 唯一確定。,利用C-K方程，則n步轉移矩陣可由一步轉移矩陣唯一確定。,當,推論：馬氏鏈的絕對概率由初始分布及一步轉移概率唯一確定。,216,由馬氏鏈的轉移概率和初始分布，不僅可以完全確定其絕對分布，也可以完全確

47、定其有限維分布。即,5馬氏鏈有限維分布的計算,217,218,解：,219,220,221,例6(例1續(xù)). 在某數(shù)字通信系統(tǒng)中多級傳輸0、1兩種數(shù)字信號。由于系統(tǒng)中存在干擾，在任一級輸入0、1數(shù)字信號后，其輸出不產生錯誤的概率為p=0.9，產生錯誤的概率為q=1-p=0.1 ，求 一級傳輸時的概率轉移矩陣。 求二級傳輸后的傳真率和三級傳輸后的誤碼率。 設初始分布p(x0=0)=a,p(x0=1)=1-a，且二級傳輸后的輸出為1，求原發(fā)數(shù)字也為1的概率,解：(1)系統(tǒng)每一級的輸入狀態(tài)和輸出狀態(tài)構成一個兩狀態(tài)的馬氏鏈，其一步轉移概率矩陣為,222,二級傳輸后的傳真率為0.82,三級傳輸后的誤碼率

48、為0.244,223,7. 轉移圖（狀態(tài)轉移圖與概率轉移圖）,步驟：,(1) 確定馬氏鏈的狀態(tài)數(shù)。,(2) 根據(jù)概率轉移矩陣，確定狀態(tài)之間的連接關系。,224,馬 爾 可 夫 鏈 回 顧,馬爾可夫鏈定義,轉移概率、一步轉移概率和n步轉移概率,初始分布和絕對分布,有限維分布,狀態(tài)轉移圖,225,馬爾可夫鏈定義,226,轉移概率,227,一步轉移概率 在齊次條件下，令式（1.6.9）中,一步轉移概率,228,229,n步轉移概率矩陣與一步轉移概率矩陣之間的關系,即任意k步轉移概率矩陣可由一步轉移概率矩陣自乘k次來得到。,含義：馬氏鏈在m時刻處于i狀態(tài)下，經k+l步轉移至m+k+l 時到達狀態(tài)j，可

49、以先在m時刻從狀態(tài)i出發(fā)，經l步到達某個 中間狀態(tài)r，再在m+l時刻從狀態(tài)r出發(fā)，經k步到達狀態(tài)j。 中間狀態(tài)要取遍整個狀態(tài)空間E。,230,初始分布與絕對分布,初始分布定義,231,絕對分布定義,232,絕對分布計算,定理1.馬氏鏈的絕對概率由初始分布和相應的轉移概率唯一確定。,233,234,由馬氏鏈的轉移概率和初始分布，不僅可以完全確定其絕對分布，也可以完全確定其有限維分布。即,馬氏鏈有限維分布的計算,235,轉移圖（狀態(tài)轉移圖與概率轉移圖）,步驟：,(1) 確定馬氏鏈的狀態(tài)數(shù)。,(2) 根據(jù)概率轉移矩陣，確定狀態(tài)之間的連接關系。,236,四、遍歷性與平穩(wěn)分布,設齊次馬氏鏈 的狀態(tài)空間為

50、E，若對一切 ，存在不依賴于i的極限,則稱馬爾可夫鏈具有遍歷性。并稱 為狀態(tài)j的穩(wěn)態(tài)概率。,1. 定義,注：具有遍歷性的馬氏鏈，無論從哪個狀態(tài)出發(fā)，當轉移 步數(shù)n充分大后，轉移到狀態(tài)j的概率接近pj，即當n足 夠大時，pj可作為pij(n)的近似值。,237,2. 遍歷性的判斷及極限分布的計算,238, 遍歷的馬氏鏈一定具有平穩(wěn)性，但平穩(wěn)的馬氏鏈不一定具有遍歷性（不遍歷的馬氏鏈也可具有平穩(wěn)性）。, 平穩(wěn)性的物理意義：對任意時刻，系統(tǒng)處于同一狀態(tài)的概率相同。,注：,239,例7設齊次馬氏鏈的狀態(tài)空間E=0,1,2，其一步轉移概率矩陣為,問：此鏈是否具有遍歷性，并求其穩(wěn)態(tài)分布,解：,240,由上式

51、，對任意的i,j，有,所以此馬氏鏈具有遍歷性。,由于,解得,241,例8. 設齊次馬氏鏈的狀態(tài)空間E=1,2，其一步轉移概率矩陣為,問：此鏈是否具有遍歷性，并求其穩(wěn)態(tài)分布,解：,由于,所以,由遍歷性定義知此馬氏鏈不具有遍歷性。,由轉移概率矩陣知，該馬氏鏈的初始分布一旦確定，其任意 時刻的概率分布也隨之確定，與初始分布相同，因而是平穩(wěn)的。 所有滿足p1+p2的分布都可以作為該馬鏈的平穩(wěn)分布。,242,例9設齊次馬氏鏈的狀態(tài)空間E=0,1,2，其一步轉移概率矩陣為,問：此鏈是否具有遍歷性，并求其穩(wěn)態(tài)分布,由題，對任意的i,j，有,所以此馬氏鏈具有遍歷性。,解：,243,由于,解得,244,例10.

52、 設齊次馬氏鏈的狀態(tài)空間E=0,1,2，其一步轉移概率矩陣為,解：,問：此鏈是否具有遍歷性，并求其穩(wěn)態(tài)分布,245,由上式，對任意的i,j，有,所以此馬氏鏈具有遍歷性。,由于,解得,246,五、馬氏鏈中的狀態(tài)分類,1. 到達與相通 到達： 如果對于狀態(tài) 與 （可簡寫為i和 j)總存在某個 使得 ，則稱自i狀態(tài)經過n步可以到達j狀態(tài)，并記為,反之，若對所有的 有 ，則自i狀態(tài)不可以到達j狀態(tài)，并記為,247,例11. 設一兩狀態(tài) 馬氏鏈具有以下轉移概率矩陣,解：要討論這一馬氏鏈兩個狀態(tài)的到達性，可先求出它的n步轉移概率矩陣。由于,對于所有的n, ，故狀態(tài)“1”不能到達狀態(tài)“0”； 存在n使得,故

53、狀態(tài)“0”可以到達狀態(tài)“1”。,討論其狀態(tài)的到達特性。,248,相通 若自狀態(tài)i可達狀態(tài)j，同時自狀態(tài)j也可達狀態(tài)i，則稱狀態(tài)和狀態(tài)相通，記為,249,例12無限制的隨機游走問題?？紤]一個質點在直線上作隨機游走如果在某一時刻質點位于i,則下一步質點將以概率 向前游走一步到達i+1處，或以概率 向后游走一步到達i-1處?，F(xiàn)規(guī)定，這一質點只能“向前”或“向后”游走一步，并且經過一個單位時間它必須“向前”或“向后”游走。討論其狀態(tài)的相通性。,解：如果以 表示n時刻質點的位置，則 是一個隨機過程。而且，當 時， 等在時刻n后質點所處的狀態(tài)僅與 有關，而與質點在時刻n以前是如何到達i的無關故它是一個齊次

54、馬爾可夫鏈。狀態(tài)空間 ，一步轉移概率為,250,一步轉移概率矩陣為,下面求n步轉移概率,如在n次轉移的結果是從i到j，n次轉移中恰好向前游走m次，向后游走k次，則有,251,聯(lián)立上兩式求解可得,求得n步轉移概率為,其中 時， 反映了在n，i，j之間存在的一種約束關系。由于對于滿足要求的n，i，j， ，所以無限制的隨機游走中的各個狀態(tài)是相通的。,252,2狀態(tài)的分類, 首達時,設 為一馬氏鏈，對任一狀態(tài)i與j，稱,為 自狀態(tài)i出發(fā)首次進入狀態(tài)j的時刻，或稱為自i到j的首達時。,253,設 為一馬氏鏈，對任一狀態(tài)i與j，稱,為 自狀態(tài)i出發(fā)經過n步首次進入狀態(tài)j的概率。,顯然有,從而,自狀態(tài)i出發(fā)

55、經過n步首次進入狀態(tài)j的概率,254,解：,255,256,解：,257,定理3. 對任何狀態(tài),，有,證明：因為,馬氏鏈從狀態(tài)i出發(fā)經過n步轉移到狀態(tài)j的概率，就是從i出發(fā)經過l步首次達到 狀態(tài)j，再從狀態(tài)j經過n-l步轉移到狀態(tài)j的概率。,258,設 為一馬氏鏈，對任一狀態(tài)i與j，稱,為 自狀態(tài)i出發(fā)遲早要到達狀態(tài)j的概率。,顯然有,自狀態(tài)i出發(fā)遲早到達狀態(tài)j的概率,表示自狀態(tài)i出發(fā)，在有限步內遲早要返回狀態(tài)i的概率， 是在0與1之間的一個數(shù)。,259,所以,這樣 ，至少有一個為正（不為0），所以,必要性,，則由,至少有一個,使,，故,充分性,總存在某個 ，使,若 ，則根據(jù)到達的定義，,若,

56、260,例15. 設齊次馬氏鏈 的狀態(tài)空間 ，其一步轉移概率矩陣為,試求f11, f44和 f66。,261,解：根據(jù)一步轉移概率矩陣，可畫出如圖所示的狀態(tài)轉移圖。,由圖可知， ，而當 時， ，所以，,同理，因為 ， ，在 時， ，所以,由于 ，在 時， ，所以,262,常返態(tài)和非常返態(tài),如果 ，則稱狀態(tài)j是常返的。 如果 ，則稱狀態(tài)j是非常返的（或稱為瞬時的）。 如果馬爾可夫鏈的任一狀態(tài)都是常返的，則稱此鏈為常返馬爾可夫鏈。,注： 如果狀態(tài)j是常返的，則從狀態(tài)j出發(fā)，馬氏鏈將以概率1無窮多次返回狀態(tài)j； 如果狀態(tài)j是非常返的，則從狀態(tài)j出發(fā)，馬氏鏈只能有限次返回狀態(tài)j。,263,定理5. 狀態(tài)j是常返（ ）的充要條件為,系：如果狀態(tài)j是非常返的，則必有,注：在有限狀態(tài)的馬氏鏈中，至少有一個狀態(tài)是常返的。,264,設i是一常返態(tài)，則從i出發(fā)可經過n 步首次返回i， 在 的條件下的分布列為,由數(shù)學期望的定義，可得,稱 為狀態(tài)i的平均返回時間。,平均返回時間,265,正常返和零常返,設i是常返態(tài)，如果 ，則稱狀態(tài)i是正常返態(tài)；如果 ,則稱狀態(tài)i是零常返態(tài)。,對于狀態(tài)i，若正整數(shù)集合 非空，則稱該集合的最大公約數(shù)L為狀態(tài)i的周期。 若 ，則稱狀態(tài)i是周期的。 若 ，則稱狀態(tài)i是非周期的。 如果狀態(tài)i是非周期且正常返的，則稱狀態(tài)i是遍歷的。,周期、非周期、遍歷,266,例16. 設齊