隨機過程-習題-第2章

./2.1設是一馬爾可夫過程,又設。試證明：即一個馬爾可夫過程的反向也具有馬爾可夫性。證明：首先,由條件概率的定義式得根據(jù)馬爾可夫性將上式中的分子和分母展開,并化簡得于是,2.2試證明對于任何一個馬爾可夫過程,如"現(xiàn)在"的值為已知,則該過程的"過去"和"將來"是相互統(tǒng)計獨立的,即如果有,其中代表"現(xiàn)在",代表"過去",代表"將來",若為已知值。試證明：證明：首先,由條件概率的定義式得然后,根據(jù)馬爾可夫性將上式中的分子展開,并化簡得2.3若是一馬爾可夫過程,。試證明：證明：首先,利用性質：得于是,由馬爾可夫性得再利用性質得=2.4若有隨機變量序列,且之間相互統(tǒng)計獨立,的概率密度函數(shù)為,。定義另一隨機變量序列如下：試證明：〔1序列具有馬爾可夫性；〔2<1>證明：由于相互統(tǒng)計獨立,其n維聯(lián)合概率密度函數(shù)為由隨機變量序列與的關系可得如下的雅可比行列式所以,的n維聯(lián)合概率密度函數(shù)為于是,由于且所以,因此所以,序列具有馬爾可夫性。<2>證明：根據(jù)條件均值的定義得于是,由給定的關系和2.5設有隨機過程<n><n=1,2,3,…>,它的狀態(tài)空間I：{x：0<x<1}是連續(xù)的,它的參數(shù)T為離散的,T=n<n=1,2,3,…>。設<1>為〔0,1間均勻分布的隨機變量,即<1>的概率密度為<1>,<2>,…,<m>的聯(lián)合概率密度為<1>求<2>的邊際概率密度f2<x2>；<2>試問該過程是否為馬爾可夫過程；<3>求轉移概率密度f2|1<x2|x1>,……,fm|m1<xm|xm1>。<4>求。<1>解：由給出的<1>,<2>,…,<m>的聯(lián)合概率密度函數(shù)可知其分布區(qū)域如右圖加黑部分所示。因此,的邊際概率密度函數(shù)為11<2>證明：因為<0<xm<xm1<…<x1<1>顯然,只與xm1有關,所以該過程是馬爾可夫過程。<3>解：由<2>得其中,0<xm<xm1<1<m=1,2,3,…>。<4>解：由給出的<1>,<2>,…,<m>的聯(lián)合概率密度函數(shù)可知于是,所以,2.6設有一參數(shù)離散、狀態(tài)連續(xù)的隨機過程,它的狀態(tài)空間為,又的概率密度函數(shù)為的m維聯(lián)合概率密度為求邊際概率密度求的概率密度；說明該過程是馬爾可夫過程,并求其轉移概率密度<1>解：由m維聯(lián)合概率密度可得m-1維聯(lián)合概率密度<2>解：同<1>理可求得：所以,<3>解：由條件概率的定義可得由此可見,當m-1時刻的狀態(tài)確定時,m時刻的狀態(tài)與以前時刻的狀態(tài)無關。所以,該過程為馬爾可夫過程。其轉移概率密度為2.7有三個黑球和三個白球。把六個球任意等分給甲乙兩個袋中,并把甲袋中的白球數(shù)定義為該過程的狀態(tài),則有四種狀態(tài)：0,1,2,3。現(xiàn)每次從甲、乙兩袋中各取一球,然后互相交換,即把從甲袋取出的球放入乙袋,把從乙袋取出的球放入甲袋,經(jīng)過n次交換,過程的狀態(tài)為<n=1,2,3,4,…>。<1>試問此過程是否為馬爾可夫鏈；<2>計算它的一步轉移概率矩陣。<1>證明：顯然,該過程由當前狀態(tài)轉移到另一個狀態(tài)的轉移概率只與當前狀態(tài)和轉移到的狀態(tài)有關,與其它時刻的狀態(tài)無關。因此,該過程是為馬爾可夫鏈。<2>解：以甲袋中的白球數(shù)i作為該過程的狀態(tài)。當和3時,過程狀態(tài)由i轉移到j概率為當i=0時,,；當i=3時,,。于是,一步轉移概率矩陣為：2.8設是一馬爾可夫鏈,它的狀態(tài)轉移空間為I：{0,1,2},它的初始狀態(tài)的概率分布為,,；它的一步轉移概率矩陣為計算概率；計算。<1>解：由馬爾可夫性可得其中,于是<2>解：二步轉移概率矩陣為所以,另一種解法是根據(jù)切普曼-柯爾莫哥洛夫方程得2.9設有馬爾可夫鏈,它的狀態(tài)轉移空間為I：{0,1,2},它的一步轉移概率矩陣為試求,并證明；求。<1>證明：和分別為所以,<2>解：實際上,一步轉移概率矩陣可以經(jīng)過行列變換為由此可見,這是一個周期為2的馬爾可夫鏈。所以,當n為奇數(shù)時n為偶數(shù)時2.10設有馬爾可夫鏈,它的狀態(tài)轉移空間為I：{0,1},它的一步轉移概率矩陣為試用數(shù)學歸納法證明證明：當n=1時,顯然是成立的。假設成立,即則當時所以結論成立。2.11設有馬爾可夫鏈,它的狀態(tài)空間為,它的一步轉移概率矩陣為試求〔利用矩陣的特征值、特征矢量方法計算解：解算此題有以下三種方法：[方法一]：利用矩陣的相似變換：首先,容易解得矩陣的兩個特征值和對應的特征向量分別為由這些特征向量做為列向量構成的矩陣Q和其逆陣Q-1為與矩陣存在如下關系并且于是得[方法二]：利用矩陣的特征值、特征矢量：首先,由下面的等價關系可知是的特征值,的特征向量是的特征向量。因此,可由的所有特征值和特征向量,利用這個等式解。設對于本題,可得方程組如下解得的值與方法一的結果相同。[方法三]：利用母函數(shù)：首先,轉移概率矩陣對應的母函數(shù)為將矩陣的第一行第一列元素展開成s的級數(shù)為其中,sn項的系數(shù)就是的第一行第一列元素,即同理可得。2.12天氣預報問題。其模型是：今日是否下雨依賴于前三天是否有雨<即一連三天有雨；前面兩天有雨,第三天是晴天；…>,問能否把這個問題歸結為馬爾可夫鏈。如果可以,問該過程的狀態(tài)有幾個？如果過去一連三天有雨,今天有雨的概率為0.8；過去三天連續(xù)為晴天,而今天有雨的概率為0.2；在其它天氣情況時,今日的天氣與昨日相同的概率為0.6。求這個馬爾可夫鏈的轉移矩陣。解：此問題本來不是馬爾可夫鏈,但是通過將連續(xù)三天的天氣情況定義為一個狀態(tài),則可以認為是一個馬爾可夫鏈。每天的天氣狀況分為有雨〔用"1"表示和無雨〔用"0"表示兩種情況,所以該馬爾可夫鏈有23=8中狀態(tài)。將連續(xù)四天的天氣情況用Y和N表示。例如,前三天有雨,第四天無雨,則表示為YYYN。根據(jù)題意可知,如果過去一連三天有雨,今天有雨的概率為0.8；過去三天連續(xù)為晴天,而今天有雨的概率為0.2；即P{1111}=0.8,P{0001}=0.2,在其它天氣情況時,今日的天氣與昨日相同的概率為0.6,即P{0011}=P{0111}=P{1011}=0.6P{1100}=P{0000}=P{0100}=P{1000}=0.6于是可得其它的概率值為P{0000}=1-P{0001}=0.8,P{0010}=1-P{0000}=0.2,P{0101}=1-P{0100}=0.4P{0110}=1-P{0111}=0.4,P{1001}=1-P{1000}=0.4,P{1010}=1-P{1011}=0.4因此,概率轉移矩陣為2.13設有馬爾可夫鏈,它的狀態(tài)空間為I：{0,1},它的一步轉移概率矩陣為試求,,,,,。解：,另一種方法是利用母函數(shù)由下面