MCMC及其應(yīng)用

1、MCMC及其應(yīng)用隨機(jī)模擬方法是試驗(yàn)數(shù)學(xué)的一個(gè)分支.隨機(jī)模擬的由來已久，但是因?yàn)楂@得隨機(jī)數(shù)比較困難，隨機(jī)模擬這種方法發(fā)展緩慢，現(xiàn)代計(jì)算機(jī)技術(shù)的發(fā)展使蒙特卡洛方法得以快速發(fā)展，它是一種另辟蹊徑的計(jì)算方法，此方法以概率統(tǒng)計(jì)知識(shí)作為基礎(chǔ)依據(jù)，利用隨機(jī)抽樣作為主要方法的計(jì)算方法.即利用隨機(jī)數(shù)進(jìn)行統(tǒng)計(jì)試驗(yàn)，從而得到統(tǒng)計(jì)數(shù)值，作為所求問題的解.蒙特卡洛方法是18世紀(jì)70年代法國數(shù)學(xué)家蒲豐在計(jì)算圓周率兀時(shí)率先提出，從理論上說，蒙特卡洛方法的核心是重復(fù)做大量的隨機(jī)實(shí)驗(yàn)，試驗(yàn)次數(shù)越多，所得到的結(jié)果越準(zhǔn)確，直到20世紀(jì)前，盡管數(shù)學(xué)家們想盡各種各樣的方法，利用蒙特卡洛方法計(jì)算兀的精確值，還是達(dá)不到所期望的精度，因此，

2、蒙特卡洛方法發(fā)展十分緩慢.計(jì)算機(jī)的誕生和發(fā)展，使蒙特卡洛方法發(fā)展迅速，現(xiàn)在的蒙特卡洛方法，只需借助計(jì)算機(jī)的高速運(yùn)轉(zhuǎn)能力，就可以很快得到想要的結(jié)果.蒙特卡洛方法的基本思路是：（ 1）針對(duì)具體問題建立統(tǒng)計(jì)概率模型，將問題所求的解轉(zhuǎn)化為該統(tǒng)計(jì)概率模型的概率分布或數(shù)字特征.（ 2）對(duì)模型中的隨機(jī)變量建立抽樣方法，在Matlab中進(jìn)行模擬實(shí)驗(yàn)，得到數(shù)量足夠多的樣本，并對(duì)該事件進(jìn)行統(tǒng)計(jì).3）針對(duì)實(shí)驗(yàn)的所得數(shù)據(jù)進(jìn)行分析，求出想要解及其精度的偏差.針對(duì)十分麻煩的分布，利用MCMC方法生成隨機(jī)樣本是相對(duì)困難的，所以需要一些更復(fù)雜的隨機(jī)模擬技術(shù)，馬爾科夫鏈（Markovchain）蒙特卡洛方法（即MCMC方法）就

3、是在這種的情況下誕生的，在蒙特卡洛模擬中，我們?cè)诤篁?yàn)分布中抽取樣本，只有樣本之間相互獨(dú)立，才能依據(jù)大數(shù)定律得到樣本的均值會(huì)收斂到所想要的均值.假設(shè)得到的樣本之間不是相互獨(dú)立的，這時(shí)就需要利用馬爾科夫鏈進(jìn)行抽樣.一、MCMC方法（一）馬爾科夫鏈在許多學(xué)科上，有很多確定性現(xiàn)象遵守以下演變規(guī)則：從時(shí)刻t0系統(tǒng)所處的狀態(tài)，可以決定系統(tǒng)在時(shí)刻tt0所處的狀態(tài)，而不需要借助t0以前系統(tǒng)所處狀態(tài)的狀況.把上述規(guī)則應(yīng)用到隨機(jī)現(xiàn)象中，也就是當(dāng)一隨機(jī)系統(tǒng)遵守的是某種統(tǒng)計(jì)規(guī)律時(shí)，可仿照以上的規(guī)則，引入以下的無后效性或馬爾科夫性：系統(tǒng)在時(shí)刻t0所處的狀態(tài)為確定的情況下，系統(tǒng)在tt0所處狀態(tài)的條件分布與系統(tǒng)在時(shí)刻t0之

4、前所處的狀態(tài)沒有關(guān)系.通俗地講，就是在已經(jīng)知道“現(xiàn)在”的情形下，其“將來”不依賴于“過去”.由以上知識(shí)可得出馬爾科夫鏈的定義.在MCMC中，我們?cè)诤篁?yàn)分布中抽取隨機(jī)樣本，當(dāng)這些隨機(jī)樣本之間互相獨(dú)立時(shí)，利用大數(shù)定律樣本的均值會(huì)收斂到所期望的均值.假設(shè)得到的樣本之間不是相互獨(dú)立的，這時(shí)就需要利用馬爾科夫鏈進(jìn)行抽樣.MCMC方法就是為了這個(gè)目的而誕生的.馬爾科夫鏈?zhǔn)且环N離散的隨機(jī)過程，隨機(jī)過程可以看作是一個(gè)隨時(shí)間變化的隨機(jī)變量的序列，馬爾科夫鏈的定義已經(jīng)在前面陳述過，下面介紹馬爾科夫鏈的一些重要性質(zhì)；馬爾科夫鏈的遍歷性表示一個(gè)系統(tǒng)經(jīng)長時(shí)間轉(zhuǎn)移后可以達(dá)到穩(wěn)定狀態(tài)，即當(dāng)n1時(shí)，可以認(rèn)為Pij(n)勺兀與

5、起始狀態(tài)ai沒有關(guān)系.利用馬爾科夫鏈進(jìn)行模擬實(shí)驗(yàn)時(shí)，在收斂前的很長一段時(shí)間內(nèi)，比如，上面的前n-1次迭代中，各個(gè)狀態(tài)的邊際分布并不能被認(rèn)為是穩(wěn)定分布，所以在進(jìn)行計(jì)算的時(shí)候，應(yīng)該把這n-1個(gè)值舍去.這個(gè)過程稱為“burn-in”.MCMC方法就是構(gòu)造適當(dāng)?shù)鸟R爾科夫鏈進(jìn)行抽樣，然后利用蒙特卡洛方法進(jìn)行計(jì)算.既然馬爾科夫鏈可以收斂到平穩(wěn)分布.我們可以建立一個(gè)以兀為平穩(wěn)分布的馬爾科夫鏈，在Matlab軟件中使這個(gè)鏈運(yùn)行足夠長時(shí)間之后，可以達(dá)到穩(wěn)定狀態(tài).這時(shí)，馬爾科夫鏈的值就相當(dāng)于在分布兀(x)中抽取樣本.利用馬爾科夫鏈進(jìn)行隨機(jī)模擬的方法稱作馬爾科夫鏈蒙特卡洛方法.通過Gibbs抽樣得到三個(gè)二維隨機(jī)數(shù)組

6、14，6，（04543，3） ，（0.5881，9）.依照這種迭代方法我們可以得到一條足夠長的鏈，在一開始迭代時(shí)得到的二維隨機(jī)數(shù)組可能會(huì)依賴x1的選擇，但隨著鏈的增長，這種依賴型會(huì)漸漸地消失，當(dāng)n足夠大時(shí)，即可以認(rèn)為前面n-1個(gè)數(shù)組還沒有擺脫這種依賴型，到第n個(gè)數(shù)組時(shí)，這種依賴性可以認(rèn)為消失了，所以在第n個(gè)數(shù)組以后我們就可以得到符合f（x,y）分布的隨機(jī)數(shù)組了.這個(gè)過程在Matlab中可以得到大量的隨機(jī)樣本，我們可以作出它的散點(diǎn)圖和自相關(guān)圖，程序如下：自相關(guān)圖（Autocorrelationplot）：若自相關(guān)隨迭代步長的增加而減小，則說明該鏈?zhǔn)諗?，反之，則不收斂.在這里我們用的是自相關(guān)圖檢驗(yàn)是否收斂，由自相關(guān)圖的走向可知這個(gè)過程是收斂的.三、結(jié)束語在本篇設(shè)計(jì)中，我主要介紹了馬爾科夫鏈（MC），馬爾科夫鏈蒙特卡洛方法（MCMC），以及MCMC的應(yīng)用等，1 .在介紹馬爾科夫鏈時(shí)，馬爾科夫鏈的特性是無后效性，通俗地講就是我們知道“現(xiàn)在”的情況下，其“將來”不依賴于“過去”，這是馬爾科夫鏈的特性.2 .MCMC的應(yīng)用主要舉了一個(gè)例子，是Gibbs抽樣，該抽樣主要是把二維及二維以上的分布轉(zhuǎn)化為一維的條件分布，從而利用一維的條件分布