對馬爾可夫鏈的探究學習

1、對馬爾可夫鏈的探究學習摘要：通過本學期概率課的學習，對泊松過程，馬爾可夫鏈，平穩(wěn)隨機過程等有了一定的了解，我對馬爾可夫鏈很感興趣，進行了較深入的了解和學習，本文主要講解了馬爾可夫鏈的 概念，發(fā)展及應用。關鍵詞：馬爾可夫鏈；概念；發(fā)展；應用一、馬爾科夫鏈的概念馬爾科夫過程按其狀態(tài)和時間參數(shù)是連續(xù)的或離散的，可分為三類：1時間、狀態(tài)都是離散的馬爾科夫過程，成為馬爾可夫鏈。2時間連續(xù)、狀態(tài)離散的馬爾科夫過程，成為連續(xù)時間的馬爾可夫鏈。3時間、狀態(tài)都連續(xù)的馬爾科夫過程。馬爾可夫鏈(Markov Chain)，描述了一種狀態(tài)序列，其每個狀態(tài)值取決于前面有限個狀態(tài)。馬爾可夫鏈是具有馬爾可夫性質(zhì)的隨機變量X

2、_1,X_2,X_3的一個數(shù)列。這些變量的范圍，即它們所有可能取值的集合，被稱為狀態(tài)空間”，而X_n的值則是在時間n的狀態(tài)。如果X_n+1對于過去狀態(tài)的條件概率分布僅是X_n的一個函數(shù)，則P(X_n+1=x|X_仁x_1,X_2=x_2,X_n=x_n)= P(X_n+1=x|X_n=x_n)。這里 x 為過程中的某個狀態(tài)。上面這個恒等式可以被看作是馬爾可夫性質(zhì)。二、馬爾可夫鏈的理論發(fā)展馬爾可夫鏈，因安德烈馬爾可夫(A.A.Markov , 1856 1922)得名，是數(shù)學中具有馬爾可夫性質(zhì)的離散時間隨機過程。該過程中，在給定當前知識或信息的情況下，過去(即當期以前的歷史狀態(tài))對于預測將來(即

3、當期以后的未來狀態(tài))是無關的。馬爾可夫在1906年首先做出了這類過程。而將此一般化到可數(shù)無限狀態(tài)空間是由柯爾莫果洛夫在1936年給出的。馬爾可夫鏈與布朗運動以及遍歷假說這兩個二十世紀初期物理學重要課題是相聯(lián)系的，但馬爾可夫?qū)で蟮乃坪醪粌H于數(shù)學動機，名義上是對于縱屬事件大數(shù)法則的擴張。物理馬爾可夫鏈通常用來建模排隊理論和統(tǒng)計學中的建模，還可作為信號模型用于熵編碼技術，如算術編碼(著名的 LZMA數(shù)據(jù)壓縮算法就使用了馬爾可夫鏈與類似于算術編 碼的區(qū)間編碼)。馬爾可夫鏈也有眾多的生物學應用，特別是人口過程，可以幫助模擬生物人口過程的建模。隱蔽馬爾可夫模型還被用于生物信息學，用以編碼區(qū)域或基因預測。馬

4、爾可夫鏈最近的應用是在地理統(tǒng)計學(geostatistics )中。其中，馬爾可夫鏈用在基于觀察數(shù)據(jù)的二到三維離散變量的隨機模擬。這一應用類似于克里金”地理統(tǒng)計學(Kriginggeostatistics),被稱為是 馬爾可夫鏈地理統(tǒng)計學”。這一馬爾可夫鏈地理統(tǒng)計學方法仍在發(fā)展過程中。三、馬爾可夫鏈的基本性質(zhì)馬爾可夫鏈模型的性質(zhì)：馬爾可夫鏈是由一個條件分布來表示的P(Xn + 1 | Xn)這被稱為是隨機過程中的轉(zhuǎn)移概率”。這有時也被稱作是一步轉(zhuǎn)移概率”。二、三，以及更多步的轉(zhuǎn)移概率可以導自一步轉(zhuǎn)移概率和馬爾可夫性質(zhì)，同樣，這些式子可以通過乘以轉(zhuǎn)移概率并求k-1次積分來一般化到任意的將來時間n

5、+k。邊際分布P(Xn)是在時間為n時的狀態(tài)的分布。初始分布為P(X0)。該過程的變化可以用以下的一個時間步幅來描述：這是 Frobenius-Perron equation的一個版本。這時可能存在一個或多個狀態(tài)分布n滿足：其中 Y只是為了便于對變量積分的一個名義。這樣的分布n被稱作是平穩(wěn)分布”(StationaryDistribution)或者 穩(wěn)態(tài)分布”(Steadstate Distribution)。一個平穩(wěn)分布是一個對應于特征根為1的條件分布函數(shù)的特征方程。平穩(wěn)分布是否存在，以及如果存在是否唯一，這是由過程的 特定性質(zhì)決定的。不可約”是指每一個狀態(tài)都可來自任意的其它狀態(tài)。當存在至少一

6、個狀態(tài)經(jīng)過一個固定的時間段后連續(xù)返回，則這個過程被稱為是周期的”。四、馬爾可夫鏈的應用1馬爾可夫鏈可以用于飛機剎車片檢查時間的確定飛機剎車片的磨損過程受速度、重量、剎車時間、載荷等運行工況的影響，是一個擴展性的非穩(wěn)態(tài)的隨機過程。同樣的飛機，在相同的工作時間內(nèi)，運行工況不同，剎車片的磨損過程也不同。因此，可以說飛機剎車片的磨損過程與運行工況息息相關。飛機制造商提供的維護資料中對剎車片的檢查時間要求并未充分考慮飛機的實際運行工況，針對某一運行工況下的機群該項檢查時間間隔可能會過長或過短。飛機剎車片檢查時間間隔過長，可能導致在檢查間隔期內(nèi)剎車片磨損超標而未及時更換新件，不僅影響剎車性能危及飛行安全，

7、而且引起剎車盤非正常磨損而報廢；檢查時間間隔過短將增加維護工作量和飛機停場時間，影響飛 機運營經(jīng)濟性。某型飛機用于學生飛行訓練，起降頻繁，維護人員長期按維護資料中要求的 每100h對剎車片進行檢查，結(jié)果在該型飛機運行期間，在檢查間隔期內(nèi)多次發(fā)生剎車片厚 度超標，甚至將鉚接剎車片的鉚釘磨出，嚴重影響剎車性能并導致剎車盤非正常磨損而報廢。如何依據(jù)飛機實際運行工況，科學合理地制定剎車片厚度檢查時間，對保證飛機剎車性能和提高維護效率具有十分重要的意義。為此，筆者擬以飛機剎車片磨損的歷史數(shù)據(jù)為基礎，運用馬爾可夫鏈理論建立剎車片磨損預測模型，揭示其磨損過程變化規(guī)律，從而科學合理地制定剎車片檢查時間。預測模

8、型：令 Xn , n = 1 , 2, 3,為一離散的隨機變量序列，n表示每一變量值Xn所對應的時間點，所有Xn能取到狀態(tài)的全體稱為狀態(tài)空間，記為Q。對于任意的正整數(shù)n及任意的狀態(tài)i1 , i2，in , in + 1 Q ,如果 Xn具有以下性質(zhì)：P( Xn + 1 = in + 1| Xn = in ，X2 =i2 , X1 = i1) = P( Xn + 1 = in + 1 | Xn = in)，則由 X1 , X2,，Xn構(gòu)成隨機過程稱為馬爾可夫鏈，式中P( Xn + 1 =in + 1 | Xn = in)稱為轉(zhuǎn)移概率。馬爾可夫鏈應用于飛機剎車片磨損狀況預測模型中，認為剎車片將來的

9、磨損狀態(tài)只取決于當前磨損狀態(tài)，而與過去磨損狀態(tài)無關。為描述飛機剎車片磨損狀況隨時間變化過程，需要建立狀態(tài)轉(zhuǎn)移概率矩陣。假設飛機剎車片磨損狀態(tài)的轉(zhuǎn)移概率P( Xn + 1 =in + 1 | Xn = in)不隨n的變化而變化，即轉(zhuǎn)移概率不隨時間變化，一步轉(zhuǎn)移概率是不變化的，飛機剎車片磨 損狀態(tài)的變化過程是一個齊次馬爾可夫鏈過程。一步轉(zhuǎn)移概率矩陣通常由mX m方陣P來表示，m為被劃分的狀態(tài)數(shù)，即：Ip P .轉(zhuǎn)移概率矩陣P有下列性質(zhì)：m2 “I 二 1F 1 二i :1,2,加J1o w / rt 0 , d ijt R,卩it為第i個風險資產(chǎn)在時間t的預期收益率，d ijt為第i個風險資產(chǎn)預期

10、收益率在時間t受第j個風險因素Wjt （ j = 1,2,，m）影響的方差，Wjt表示互相獨立的維納過程。假設投資者在時刻t可供投資的資金總量為Zt，可供選擇的投資品種為 m種風險資產(chǎn)，并且用于風險資產(chǎn)的投資比例分別為uit 0, 1, i = 1 , 2,，m 且滿足 u1t+ + umt= 1，稱 Ut = ( u1t，umt）為t時刻的投資組合方案。同時定義投資組合方案集ftli4 =(以 m：) | 川 e 0h：=1 心o(2)(3)令樹和/A/二頭亍魚分別表示投資組合和險資產(chǎn)在f + 1時刻的收益率側(cè)m即t時刻投資組合的收益率等于 t - 1時刻決定的投資方案與t時刻相對應的股票收

11、益率乘積的和。馬爾可夫鏈模型的建立式(4)描述的是一個隨時間而演變的隨機動態(tài)系統(tǒng)，在離散時 間模型中，時間取離散值，記為t = 0，1，2，為研究系統(tǒng)的行為，假設投資組合的收益率MZt落在區(qū)間(a , b內(nèi)，即MZt ( a , b, t = 1, 2，將此區(qū)間n等分，且記每個子區(qū)間對應于一個狀態(tài)i S, S = 1 , 2，n,則t時刻MZt所處的狀態(tài)定義為Xt = i , i S, MZt ( a + b an ( i 1) , a + b ani 。這樣，在任一時刻 t = 0 , 1, 2,的收益率MZt都可以用對應的t時刻的狀態(tài)Xt來表示，狀態(tài)空間(即所有狀態(tài)的集合) 記為S。實際操

12、作中，投資者會根據(jù)t時刻投資組合的狀態(tài) Xt，決定下一時刻的投資方案 Ut + 1,而投資方案Ut + 1與時間無關，只與t時刻的狀態(tài)Xt有關，所以可以用U( Xt )來代替 Ut + 1，進而任一時刻的投資方案 U( Xt ) 只與t時刻的狀態(tài)Xt有關，而與時間無關。優(yōu) 化問題轉(zhuǎn)化為尋找不同狀態(tài)所對應的投資方案，稱這樣的集合為一個投資策略，定義為d= U( Xt ) = ( u1 ( Xt )，um ( Xt ) ) U( Xt ) A, Xt S，使得投資組合收益最大化。通過以上時間和狀態(tài)的離散化，投資組合收益率的變化過程可看作是一個時齊馬爾可夫鏈，下面具體介紹如何計算馬爾可夫鏈模型中的t

13、時刻的狀態(tài)Xt，以及如何確定狀態(tài)轉(zhuǎn)移矩陣P。對于狀態(tài)轉(zhuǎn)移矩陣P,考慮到歷史數(shù)據(jù)比較真實的反映了股票在受到外部干擾時 的變化，本文采用歷史數(shù)據(jù)來計算狀態(tài)轉(zhuǎn)移概率。根據(jù)歷史數(shù)據(jù)Sit和MSit的定義式可以得到在過去T個有限時刻各種風險資產(chǎn)投資的收益率MSit。然后，在事先給定的投資組合策略d下，可計算各時刻的投資組合收益率MZt，并得到相應的狀態(tài) Xt，這些狀態(tài)刻畫了系統(tǒng)的樣本路徑，記為 Path( T) = X0 , X1, X2,，XT 。系統(tǒng)經(jīng)過k個時間單位從Xt到 Xt + k的過程，稱之為系統(tǒng)發(fā)生了一次k步狀態(tài)轉(zhuǎn)移，若k = 1，則稱之為一步狀態(tài)轉(zhuǎn)移(本文主要討論的是一步狀態(tài)轉(zhuǎn)移)。對于

14、有限時長為T的樣本路徑，系統(tǒng)總共發(fā)生了 T 1次一步狀態(tài)轉(zhuǎn)移。對這些一步狀態(tài)轉(zhuǎn)移進行統(tǒng)計，可得到一步狀態(tài)轉(zhuǎn)移次數(shù)矩陣c( cij表示由狀態(tài)i轉(zhuǎn)移到狀態(tài)j的次數(shù)，i , j S)。然后，可計算得到一步狀態(tài)轉(zhuǎn)移概率矩陣P(其元素pij表示由狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率，i , j S)。在建立投資組合優(yōu)化問題馬爾可夫鏈模型后，需要了解一些有關馬爾可夫鏈的性質(zhì)。 對于有n種狀態(tài)的不可約有限馬爾可夫鏈，令 n = ( n 1 , n 2，n n )為轉(zhuǎn)移概率矩陣為P的馬爾可夫鏈的平穩(wěn)概率(行)向量，則n滿足下面的概率平衡方程：n P = n,且n e = 1，其中e =(1,1，1) T穩(wěn)態(tài)平穩(wěn)(行)向量

15、對于投資組合問題而言，即不論投資組合初始時刻處于何種狀態(tài)，只要經(jīng)過足夠長的時間，投資組合處于各個狀態(tài)的概率分布是個定值。在將原問題轉(zhuǎn)化為馬爾可夫鏈模型后，在有限時長T，對于不同的投資策略d，會有不同的樣本路徑，而對路徑上每一時刻 t的狀態(tài)Xt，存在一個報酬函數(shù)，記為 f ( Xt ，U( Xt ) )，Xt S, U( Xt ) A,定義A H：)= Z( P“ X a+ X ( A； - -y-)】i -1n即在當前時刻狀態(tài)為Xt的情況下，下一時刻投資組合收益率的期望值。1 Z則系統(tǒng)的長期平均報酬可定義為.一對于長度無限的樣本路徑問題，系統(tǒng)的長期平均報酬可定義為I T1工 77(= 7Tfi

16、 eS(9)若樣佈)=恕即3()其中,/( 1, U( I) U( 2),J( K M)本容SJ丄夠大F二刃同樣適用G假設投資者期望投資組合的長期平均收益率最大化,則優(yōu)化問題可定義為尋找一個最優(yōu)的投d arg max n)資策略d(即在不同狀態(tài)下應采用何種投資方案)，使得：3馬爾科夫鏈用于交通狀態(tài)的預測交通擁擠表現(xiàn)為車輛行駛不順暢，行駛速度下降和行程時間增加，交通運行效率低下等特征。擁擠的最嚴重狀態(tài)是車輛處于堵塞狀態(tài)，車速幾乎為零。以擁擠發(fā)生的根源為標準， 可將交通擁擠分為常發(fā)性交通擁擠和偶發(fā)性交通擁擠。常發(fā)性交通擁擠是由于交通需求超過道路通行能力而產(chǎn)生的擁擠，擁擠是一個逐漸變化的過程，交通參

17、數(shù)的變化也是連續(xù)的。偶發(fā)性交通擁擠主要是由于特殊事件引起的道路通行能力急劇減少而導致的擁擠，因而交通擁擠發(fā)生前后交通流參數(shù)的變化是突變的。本文以常發(fā)性交通擁擠的預測為例，建立了一個基 于馬爾科夫鏈的預測模型，為交通管理者做出相應的交通決策提供依據(jù)。與過去馬爾可夫鏈過程的特點是每次狀態(tài)的轉(zhuǎn)移都只與互相連接的前一個狀態(tài)有關, 的狀態(tài)無關。由于道路交通擁擠狀態(tài)是由諸多因素影響所決定，其中主要包括人、車、路、環(huán)境等因素。這些因素往往具有許多不確定性、隨機性和時變性，所以導致道路所處的交通狀態(tài)也呈現(xiàn)出一種很強的不確定、隨機和時變特性，并且變化態(tài)勢只與現(xiàn)在某一狀態(tài)有關， 而與過去道路所處的交通狀態(tài)無關。因

18、此可以利用馬爾可夫鏈理論來研究交通擁擠狀態(tài)的變化趨勢。在馬爾可夫鏈中，狀態(tài)概率僅與轉(zhuǎn)移出發(fā)狀態(tài)、轉(zhuǎn)移參數(shù)和轉(zhuǎn)移狀態(tài)有關，而與轉(zhuǎn)移的初始時刻無關。對于有限狀態(tài)空間E=1 , 2,，N,有以下一列一步狀態(tài)轉(zhuǎn)移概率矩陣：其中，Pij=nij/ni , nij是指時刻n到n+1時刻,狀態(tài)i轉(zhuǎn)移狀態(tài)j的樣本數(shù)， 其中統(tǒng)計數(shù)列如下，ni是指狀態(tài)i總樣本數(shù),假設t=0時處于狀態(tài)i的概率Pi (0),從狀態(tài)i轉(zhuǎn)移j的概率為Pij ,在t=1時處于狀態(tài)j的概率 Pi (1),貝U： Pi (1)=Pi (0) Pij。同理，Pi (n+1)=Pi (n) Pij。根據(jù)以上公式ll + 1v：可得N個方程，用矩陣表示為:又根據(jù)n步轉(zhuǎn)移概率公式有P (n)=P (0 ) (P ) n此式即稱為馬爾可夫鏈交通擁擠狀態(tài)預測模型，根據(jù)該模型，可以由初始時刻的交通狀態(tài)預測以后任何時刻的交通狀態(tài)變化的態(tài)勢。由P (n)可以得出各個狀態(tài)出現(xiàn)的概率，若在狀態(tài)概率中出現(xiàn)某一個的概率值明顯高于若在狀態(tài)概率中各有最大的兩其他，則該概率對應的交通擁擠狀態(tài)就為這一時刻的狀態(tài);且偏向于概率值較大的那個概率值相近， 這判定為該時刻交通狀態(tài)介于這兩種狀態(tài)之間，個狀態(tài)。按照我國城市交通管理評價指標體系將路段的交通狀態(tài)劃分為暢通、輕度擁擠、擁擠、嚴重擁擠4種狀態(tài)6（如表1所示）。表1交通狀態(tài)劃分車速3