馬爾科夫鏈的發(fā)展與應(yīng)用

1、馬爾可夫鏈的發(fā)展與應(yīng)用摘 要在自然界中，常常用一個(gè)或幾個(gè)隨機(jī)變量來描述某些隨機(jī)現(xiàn)象，從而研究它們的概率規(guī)律。從幾何上看，就是把某些隨機(jī)現(xiàn)象作為直線上的隨機(jī)點(diǎn)或者有限維空間上的隨機(jī)點(diǎn)來研究。對(duì)于實(shí)際問題中的更復(fù)雜的隨機(jī)現(xiàn)象，對(duì)于一個(gè)不斷隨機(jī)變化的過程，用這樣的研究方法顯得不夠了，往往需要用一族（無窮多個(gè)）隨機(jī)變量來刻畫這樣一些隨機(jī)現(xiàn)象，或者把它們作為無窮維空間上的隨機(jī)點(diǎn)（隨機(jī)函數(shù)）來研究。某些現(xiàn)象，在發(fā)生之前只能知道該現(xiàn)象的各種可能性的發(fā)生結(jié)果，但是卻無法確認(rèn)具體將發(fā)生哪一個(gè)結(jié)果，這就是隨機(jī)現(xiàn)象。馬爾可夫過程(MarKov Process)是一個(gè)典型的隨機(jī)過程。設(shè)X(t)是一隨機(jī)過程，當(dāng)過程在時(shí)

2、刻t0所處的狀態(tài)為已知時(shí)，時(shí)刻t(tt0)所處的狀態(tài)與過程在t0時(shí)刻之前的狀態(tài)無關(guān)，這個(gè)特性成為無后效性。無后效的隨機(jī)過程稱為馬爾可夫過程。馬爾可夫過程中的時(shí)同和狀態(tài)既可以是連續(xù)的，又可以是離散的。我們稱時(shí)間離散、狀態(tài)離散的馬爾可夫過程為馬爾可夫鏈。馬爾可夫鏈中，各個(gè)時(shí)刻的狀態(tài)的轉(zhuǎn)變由一個(gè)狀態(tài)轉(zhuǎn)移的概率矩陣控制。關(guān)鍵詞 概率論 隨機(jī)過程 馬爾可夫鏈 一、 馬爾可夫過程簡(jiǎn)介馬爾可夫過程(MarKov Process)是一個(gè)典型的隨機(jī)過程。設(shè)X(t)是一隨機(jī)過程，當(dāng)過程在時(shí)刻t0所處的狀態(tài)為已知時(shí)，時(shí)刻t(tt0)所處的狀態(tài)與過程在t0時(shí)刻之前的狀態(tài)無關(guān)，這個(gè)特性成為無后效性。無后效的隨機(jī)過程稱為

3、馬爾可夫過程。馬爾可夫過程中的時(shí)同和狀態(tài)既可以是連續(xù)的，又可以是離散的。我們稱時(shí)間離散、狀態(tài)離散的馬爾可夫過程為馬爾可夫鏈。馬爾可夫鏈中，各個(gè)時(shí)刻的狀態(tài)的轉(zhuǎn)變由一個(gè)狀態(tài)轉(zhuǎn)移的概率矩陣控制。二、 馬爾可夫過程的發(fā)展1936年前后就開始探討馬爾可夫過程的軌道性質(zhì)，直到把微分方程和半群理論的分析方法同研究軌道性質(zhì)的概率方法結(jié)合運(yùn)用，才使這方面的研究工作進(jìn)一步深化，并形成了對(duì)軌道分析必不可少的強(qiáng)馬爾可夫性概念。1942年，伊藤清用他創(chuàng)立的隨機(jī)積分和隨機(jī)微分方程理論來研究一類特殊而重要的馬爾可夫過程擴(kuò)散過程，開辟了研究馬爾可夫過程的又一重要途徑。1951年前后，伊藤清建立的隨機(jī)微分方程的理論，為馬爾可夫

4、過程的研究開辟了新的道路。1954年前后，W.費(fèi)勒將半群方法引入馬爾可夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場(chǎng)等都是正待深入研究的領(lǐng)域。類重要的隨機(jī)過程，它的原始模型馬爾可夫鏈，由俄國(guó)數(shù)學(xué)家.馬爾可夫于1907年提出。出于擴(kuò)大極限定理應(yīng)用范圍的目的，馬爾可夫在20世紀(jì)初開始考慮相依隨機(jī)變量序列的規(guī)律，并從中選出了最重要的一類加以研究。1906年他在大數(shù)定律關(guān)于相依變量的擴(kuò)展一文中，第一次提到這種如同鎖鏈般環(huán)環(huán)相扣的隨機(jī)變量序列，其中某個(gè)變量各以多大的概率取什么值，完全由它前面的一個(gè)變量來決定，而與它更前面的那些變量無關(guān)。這就是被后人稱作馬爾可夫鏈的著名概率模型。也是在這篇論文里，馬爾

5、可夫建立了這種鏈的大數(shù)定律。人們?cè)趯?shí)際中常遇到具有下述特性的隨機(jī)過程：在已知它所處的狀態(tài)的條件下，它未來的演變不依賴于它以往的演變。這種已知“現(xiàn)在”的條件下，“將來”與“過去”獨(dú)立的特性稱為馬爾可夫性，具有這種性質(zhì)的隨機(jī)過程叫做馬爾可夫過程。荷花池中一只青蛙的跳躍是馬爾可夫過程的一個(gè)形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上，因?yàn)榍嗤苁菦]有記憶的，當(dāng)所處的位置已知時(shí)，它下一步跳往何處和它以往走過的路徑無關(guān)。如果將荷葉編號(hào)并用X1，X2，X3分別表示青蛙最初處的荷葉號(hào)碼及第一次、第二次、跳躍后所處的荷葉號(hào)碼，那么Xn，n0 就是馬爾可夫過程。液體中微粒所作的布朗運(yùn)動(dòng)，傳染

6、病受感染的人數(shù)，原子核中一自由電子在電子層中的跳躍，人口增長(zhǎng)過程等等都可視為馬爾可夫過程。還有些過程（例如某些遺傳過程）在一定條件下可以用馬爾可夫過程來近似。關(guān)于馬爾可夫過程的理論研究，1931年.柯爾莫哥洛夫發(fā)表了概率論的解析方法，首先將微分方程等分析方法用于這類過程，奠定了它的理論基礎(chǔ)。1951年前后，伊藤清在P.萊維和C.H.伯恩斯坦等人工作的基礎(chǔ)上，建立了隨機(jī)微分方程的理論，為研究馬爾可夫過程開辟了新的道路。1954年前后，W.弗勒將泛函分析中的半群方法引入馬爾可夫過程的研究中，.登金（又譯鄧肯）等并賦予它概率意義（如特征算子等）。50年代初，角谷靜夫和J.L.杜布等發(fā)現(xiàn)了布朗運(yùn)動(dòng)與偏

7、微分方程論中狄利克雷問題的關(guān)系，后來G.A.亨特研究了相當(dāng)一般的馬爾可夫過程（亨特過程）與位勢(shì)的關(guān)系。流形上的馬爾可夫過程、馬爾可夫場(chǎng)等都是正待深入研究的領(lǐng)域。馬爾可夫所建立的概率模型不但具有深刻的哲學(xué)意義，而且具有真實(shí)的物質(zhì)背景，在他的工作之前或同時(shí)，一些馬爾可夫鏈或更復(fù)雜的隨機(jī)過程的例子已出現(xiàn)在某些人的研究中，只不過這些人沒有自覺地認(rèn)識(shí)到這類模型的普遍意義或用精確的數(shù)學(xué)語言表述出來罷了。例如蘇格蘭植物學(xué)家布朗 ( R. Brown, 17731858) 于1827年發(fā)現(xiàn)的懸浮微粒的無規(guī)則運(yùn)動(dòng)、英格蘭遺傳學(xué)家高爾頓（F.Galton, 18221911) 于1889年提出的家族遺傳規(guī)律、荷蘭

8、物理學(xué)家埃倫費(fèi)斯特 ( P. Ehrenfest, 18801933) 于1907年關(guān)于容器中分子擴(kuò)散的實(shí)驗(yàn)，以及傳染病感染的人數(shù)，謠言的傳播，原子核中自由電子的躍遷，人口增長(zhǎng)的過程等等，都可用馬爾可夫鏈或過程來描述。也正是在統(tǒng)計(jì)物理、量子力學(xué)、遺傳學(xué)以及社會(huì)科學(xué)的若干新課題、新事實(shí)面前，決定論的方法顯得百孔千瘡、踵決肘見。有趣的是，馬爾可夫本人沒有提到他的概率模型在物理世界的應(yīng)用，但是他利用了語言文學(xué)方面的材料來說明鏈的性質(zhì)。在概率演算第四版中，他統(tǒng)計(jì)了長(zhǎng)詩葉甫蓋尼奧涅金中元音字母和輔音字母交替變化的規(guī)律：這是長(zhǎng)詩開頭的兩句，意為：“我不想取悅驕狂的人生，只希望博得朋友的欣賞。”詩人那火一般

9、的詩篇在數(shù)學(xué)家那里變成了一條冷冰冰的鎖鏈：在這條鎖鏈上只有兩種鏈環(huán)，C代表輔音、 代表元音（為了使問題簡(jiǎn)化起見，不仿把兩個(gè)無音字母算作輔音）。馬爾可夫分別統(tǒng)計(jì)了在C后面出現(xiàn)C和 的概率p和1p，以及在 后出現(xiàn)C和 的概率q和1q，把結(jié)果與按照俄語拼音規(guī)則計(jì)算出的結(jié)果進(jìn)行比較，證實(shí)了語言文字中隨機(jī)的（從概率的意義上講）字母序列符合他所建立的概率模型。完成了關(guān)于鏈的大數(shù)定律的證明之后，馬爾可夫又開始在一系列論文中研究鏈的中心極限定理。1907年他在一種不平常的相依試驗(yàn)中證明了齊次馬爾可夫鏈的漸近正態(tài)性；1908年在一個(gè)鏈中變量和的概率計(jì)算的極限定理推廣中作了進(jìn)一步的推廣；1910年他發(fā)表了重要的論

10、文成連鎖的試驗(yàn)，在其中證明了兩種情況的非齊次馬爾可夫鏈的中心極限定理。與此同時(shí)他在一些假定的前提下證明了模型的各態(tài)歷經(jīng)性，成為在統(tǒng)計(jì)物理中具有重要作用的遍歷理論中第一個(gè)被嚴(yán)格證明的結(jié)果。遍歷理論亦稱ergodic理論, 是奧地利物理學(xué)家玻耳茲曼（L. Boltzmann, 18441906) 于1781年提出來的，其大意是：一個(gè)系統(tǒng)必將經(jīng)過或已經(jīng)經(jīng)過其總能量與當(dāng)時(shí)狀態(tài)相同的另外的任何狀態(tài)。馬爾可夫鏈的引入，在物理、化學(xué)、天文、生物、經(jīng)濟(jì)、軍事等科學(xué)領(lǐng)域都產(chǎn)生了連鎖性的反應(yīng)，很快地涌現(xiàn)出一系列新的課題、新的理論和新的學(xué)科，并揭開了概率論中一個(gè)重要分支隨機(jī)過程理論蓬勃發(fā)展的序幕。三、 馬爾可夫鏈的

11、定義馬爾可夫性(無后效性)：過程或（系統(tǒng)）在時(shí)刻t0所處的狀態(tài)為已知的條件下，過程在時(shí)刻tt0所處的狀態(tài)的條件分布，與過程在時(shí)刻t0之前處的狀態(tài)無關(guān)的特性稱為馬爾可夫性或無后效性。具有馬爾可夫性的隨機(jī)過程稱為馬爾可夫過程。馬爾可夫鏈?zhǔn)请S機(jī)變量X1，X2，X3的一個(gè)數(shù)列。這些變量的范圍，就是它們所有可能取值的集合，被稱為“狀態(tài)空間”，而Xn的值則是在時(shí)間n的狀態(tài)。如果Xn+1對(duì)于過去狀態(tài)的田間概率分布僅是Xn的一個(gè)函數(shù)，則PXn+1=xX0,X1,X2,Xn=PXn+1=xXn. 這里X為過程中的某個(gè)狀態(tài)。上面這個(gè)恒等式可以被看作是馬爾可夫性質(zhì)。四、 馬爾可夫鏈的性質(zhì)1、還原性馬爾可夫鏈?zhǔn)怯梢粋€(gè)

12、條件分布來表示的P(Xn+1|Xn)，這被稱為是隨機(jī)過程中的“轉(zhuǎn)移概率”。這有時(shí)也被稱作是“一步轉(zhuǎn)移概率”。二、三，以及更多步的轉(zhuǎn)移概率可以導(dǎo)自一步轉(zhuǎn)移概率和馬爾可夫性質(zhì)：PXn+2Xn=PXn+2,Xn+1XndXn+1= P(Xn+2|Xn+1)P(Xn+1|Xn)dXn+1同樣，PXn+3Xn= P(Xn+3|Xn+2)P(Xn+2|Xn+1)P(Xn+1|Xn)dXn+2這些式子可以通過乘以轉(zhuǎn)移概率并求k-1次積分來一般化到任意的將來時(shí)間n+k。2、周期性邊際分布P(Xn)是在時(shí)間為n時(shí)的狀態(tài)的分布。初始分布為P(X0)。該過程的變化可以用以下的一個(gè)時(shí)間步幅來描述：P(Xn+1)=PX

13、n+1XnP(Xn)dXn這是Frobenius-Perron equation的一個(gè)版本。這時(shí)可能存在一個(gè)或多個(gè)狀態(tài)分布滿足X=P(X|Y)(Y)dY其中Y只是為了便于對(duì)變量積分的一個(gè)名義。這樣的分布被稱作是“平穩(wěn)分布”（Stationary Distribution）或者“穩(wěn)態(tài)分布”（Steady-state Distribution）。一個(gè)平穩(wěn)分布是一個(gè)對(duì)應(yīng)于特征值為1的條件分布函數(shù)的特征方程。平穩(wěn)分布是否存在，以及如果存在是否唯一，這是由過程的特定性質(zhì)決定的。“不可約”是指每一個(gè)狀態(tài)都可來自任意的其它狀態(tài)。當(dāng)存在至少一個(gè)狀態(tài)經(jīng)過一個(gè)固定的時(shí)間段后連續(xù)返回，則這個(gè)過程被稱為是“周期的”。

14、五、 馬爾可夫鏈的典型應(yīng)用1. 馬爾可夫鏈在股指期貨投資中的應(yīng)用馬爾可夫鏈轉(zhuǎn)移矩陣的有效狀態(tài)以近時(shí)點(diǎn)動(dòng)量策略原時(shí)點(diǎn)反轉(zhuǎn)策略為主,有效抓住了上漲和下跌的中期和初期.從而準(zhǔn)確的抓住了日內(nèi)股指波動(dòng).2. 馬爾可夫鏈在天氣預(yù)報(bào)中的應(yīng)用通過對(duì)馬爾可夫鏈理論和切普曼-柯爾莫哥洛夫方程(方程)的探討,結(jié)合天氣情況不確定等諸多特點(diǎn),構(gòu)想了天氣情況預(yù)報(bào)的馬爾可夫鏈預(yù)測(cè)模型,給出了馬爾可夫鏈的初始概率和多重轉(zhuǎn)移概率的計(jì)算方法,根據(jù)此算法可以預(yù)報(bào)短期天氣情況,同時(shí)擴(kuò)展到對(duì)未來天氣情況趨勢(shì)的預(yù)測(cè)。3. 馬爾可夫鏈在環(huán)境預(yù)測(cè)中的應(yīng)用鑒于目前環(huán)境質(zhì)量預(yù)測(cè)在理論方法和實(shí)踐上的缺乏，把馬爾可夫鏈引入環(huán)境質(zhì)量的預(yù)測(cè)中，將各種污

15、染物的濃度變化過程視作馬爾可夫過程，通過預(yù)測(cè)各種污染物的污染負(fù)荷系數(shù)來推知其濃度值/4. 馬爾可夫鏈在橋梁狀態(tài)預(yù)測(cè)中的研究與應(yīng)用 馬爾可夫鏈以矩陣的形式來表達(dá)橋梁狀況,通過求解狀態(tài)轉(zhuǎn)移矩陣,進(jìn)一步預(yù)測(cè)橋梁未來數(shù)年內(nèi)的基本狀況。 綜合考慮了橋梁檢修的影響,給出了橋梁檢修后不同狀態(tài)的狀態(tài)轉(zhuǎn)移矩陣,為進(jìn)一步引入實(shí)際數(shù)據(jù)做了充分的準(zhǔn)備。下面介紹下馬爾可夫鏈在天氣預(yù)報(bào)中的應(yīng)用。假設(shè)明天是否有雨僅與今天的天氣（是否有雨）有關(guān)，而與過去的天氣無關(guān)，并設(shè)今天下雨的情況下，明天有雨的概率為；今天無雨的情況下，而明天有雨的概率為；又假定把有雨成為0狀態(tài)天氣，把無雨成為1狀態(tài)天氣，則本例是一個(gè)兩狀態(tài)的馬爾可夫鏈，其

16、一步轉(zhuǎn)移概率矩陣為：P=P00P01P10P11=1-1-設(shè)=0.7，=0.4，則一步轉(zhuǎn)移概率矩陣為P=0.70.30.40.6則可以推出兩步轉(zhuǎn)移概率矩陣P2=P2=PP=0.70.30.40.60.70.30.40.6=0.610.390.520.48因此可以看出，若今天有雨，后天有雨的概率為0.61，無雨的概率為0.39；若今天無雨，后天有雨的概率為0.52，無雨的概率為0.48。同理可得四步轉(zhuǎn)移概率矩陣為P4=(p(2)2=0.57490.42510.56680.4332由此可得，今日有雨，第五日有雨的概率為0.5749，今日無雨，第五日有雨的概率為0.5668。馬爾可夫鏈?zhǔn)且环N很重要的離散隨機(jī)過程，簡(jiǎn)單來說就是用來求出一個(gè)事件的后續(xù)發(fā)展可能，當(dāng)已知“