貝葉斯統(tǒng)計(jì)簡介

PAGEPAGE7拋出一枚硬幣，硬幣落地，現(xiàn)在我不知道結(jié)果如何，問是正面朝上還是反面朝上？答案有三個(gè)：A正面朝上、B反面朝上、C正面朝上反面朝上的概率各占1/2哪個(gè)正確？經(jīng)典統(tǒng)計(jì)學(xué)里面正確答案能是A或者B，只有在貝葉斯統(tǒng)計(jì)學(xué)里面答案C是才是被允許的一次實(shí)驗(yàn)的結(jié)果在經(jīng)典統(tǒng)計(jì)學(xué)里面被叫做樣本點(diǎn)，是確定的。那么為什么在貝葉斯統(tǒng)計(jì)學(xué)里面第三個(gè)的答案的說法是正確的呢？關(guān)鍵在于貝葉斯學(xué)派關(guān)于隨機(jī)變量的定義：任何一個(gè)未知量*都可以看做一個(gè)隨機(jī)變量。這也是貝葉斯學(xué)派最基本的觀點(diǎn)，只要是未知的量都可以看做隨機(jī)變量。僅僅從這一個(gè)簡單的例子就已經(jīng)可以看到經(jīng)典統(tǒng)計(jì)學(xué)派與貝葉斯統(tǒng)計(jì)學(xué)派的爭議來了，其實(shí)兩個(gè)學(xué)派在一些問題上的爭論是相當(dāng)深刻而激烈的，當(dāng)然也有相同相通之處，在這里就不便展開詳細(xì)的討論了。就我本人還是比較傾向于貝葉斯學(xué)派的。我們在回到上面的問題，看答案C正面朝上反面朝上的概率各占1/2，仔細(xì)想想這句話，實(shí)際上我們已經(jīng)給出了未知量（本次實(shí)驗(yàn)結(jié)果）一個(gè)概率分布的描述。要么正面朝上要么反面朝上，概率各占1/2，這個(gè)概率分布被叫做先驗(yàn)分布。先驗(yàn)分布是指根據(jù)先驗(yàn)信息所給出的隨機(jī)變量的分布，這里的先驗(yàn)信息是指在抽樣之前有關(guān)統(tǒng)計(jì)問題的一些信息。那么先驗(yàn)分布與經(jīng)典統(tǒng)計(jì)學(xué)里面的概率分布有什么區(qū)別呢？在所要滿足的條件上，如……是一致的，主要區(qū)別在與概率分布得到的途徑上。經(jīng)典統(tǒng)計(jì)學(xué)里概率及其分布的確定來自大量重復(fù)實(shí)驗(yàn)，與頻率密切相關(guān)，由大數(shù)定律、中心極限定理這些基本定理做為理論基石而得來。特別強(qiáng)調(diào)的是經(jīng)典統(tǒng)計(jì)學(xué)的概率分布包含了所有樣本點(diǎn)，即所有可能的實(shí)驗(yàn)結(jié)果都要被包含進(jìn)去。這是與貝葉斯統(tǒng)計(jì)學(xué)里的先驗(yàn)分布不同的地方，貝葉斯統(tǒng)計(jì)學(xué)的先驗(yàn)概率分布來自于過去的經(jīng)驗(yàn),這里之所以加上”過去的“三個(gè)字并且對其強(qiáng)調(diào)，是想告訴大家先驗(yàn)分布只考慮已出現(xiàn)的樣本點(diǎn)，不是所有的樣本點(diǎn)。并且可以由經(jīng)驗(yàn)而來不必做大量的重復(fù)實(shí)驗(yàn)。在這一點(diǎn)上克服了經(jīng)典統(tǒng)計(jì)學(xué)的一些局限性，使得我們的研究深入到那些不適宜或不能大量重復(fù)的隨機(jī)現(xiàn)象中來。當(dāng)然這也使先驗(yàn)分布帶有的主觀性色彩。關(guān)于這一點(diǎn)也是一個(gè)經(jīng)典統(tǒng)計(jì)學(xué)與貝葉斯統(tǒng)計(jì)學(xué)的一個(gè)爭議點(diǎn)，有很多深入的問題正在探討中。在這里我們就不討論了。若僅僅研究先驗(yàn)分布貝葉斯估計(jì)也就沒大意思了，與先驗(yàn)分布對應(yīng)的還有后驗(yàn)分布。我們先來看一下后驗(yàn)分布的定義，在樣本給定下的條件分布被稱為的后驗(yàn)分布。我們分析一下這句話，首先可以明白后驗(yàn)分布是一個(gè)條件分布，怎樣的條件分布呢，在樣本給定的條件下的條件分布，看來仍然是需要樣本，在貝葉斯統(tǒng)計(jì)中的樣本又是什么樣子的呢？從貝葉斯觀點(diǎn)看，樣本的產(chǎn)生主要分兩步。首先設(shè)想從先驗(yàn)分布產(chǎn)生一個(gè)樣本，這一步是“老天爺”做的，人們是看不見得，故用“設(shè)想”二字。第二步是從總體分布產(chǎn)生一個(gè)樣本，這個(gè)樣本是具體的，人們能看的到的，此時(shí)樣本發(fā)生的概率與如下聯(lián)合密度函數(shù)成正比這個(gè)聯(lián)合密度函數(shù)綜合了總體信息與樣本信息，常被稱為似然函數(shù)，及為.由于是設(shè)想出來的，他仍然是未知的，它是按先驗(yàn)分布而產(chǎn)生的，要把先驗(yàn)分布進(jìn)行綜合，不能只考慮，而應(yīng)對的所有可能加以考慮。這樣一來就有了樣本與參數(shù)的聯(lián)合分布把先驗(yàn)信息，總體信息，樣本信息都綜合進(jìn)去了。我們在是件形式初等概率中已經(jīng)學(xué)過貝葉斯公式的事件形式根據(jù)貝葉斯公式我們也可把做如下分解這里是的邊緣分布函數(shù)，與無關(guān)，不含有的任何信息。在是離散型隨機(jī)變量時(shí)，；在是連續(xù)型隨機(jī)變量時(shí)，；這樣我們就可以得到條件分布就是給定樣本下，的條件分布了，也即的后驗(yàn)分布?？梢哉f后驗(yàn)分布是對先驗(yàn)分布的調(diào)整，它是集中了總體，樣本和先驗(yàn)等三種信息中有關(guān)的一切信息后的結(jié)果。為了更好的理解后驗(yàn)分布我們來看一個(gè)例子例1：為提高某產(chǎn)品的質(zhì)量，公司經(jīng)理考慮增加投資來改進(jìn)生產(chǎn)設(shè)備，預(yù)計(jì)需投資90萬元，但從投資效果上看下屬兩個(gè)部門有兩種意見：：改進(jìn)生產(chǎn)設(shè)備后，高質(zhì)量產(chǎn)品可占90%：改進(jìn)生產(chǎn)設(shè)備后，高質(zhì)量產(chǎn)品可占70%經(jīng)理當(dāng)然希望發(fā)生，但根據(jù)兩部門過去意見被采納的情況，經(jīng)理認(rèn)為40%第一個(gè)部門是可信度的，60%第二個(gè)部門是可信度，即隨機(jī)變量投資結(jié)果過的先驗(yàn)分布列為：；這是經(jīng)理的主管意見，經(jīng)理不想僅用過去的經(jīng)驗(yàn)來決策此事，想慎重一些，通過小規(guī)模實(shí)驗(yàn)，觀察其結(jié)果后再定。為此做了一項(xiàng)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果（記為A）如下：A：試制五個(gè)產(chǎn)品，全是高質(zhì)量產(chǎn)品。經(jīng)理很高興，希望通過這次結(jié)果來修正他原來對和的看法。下面我們分別來求一下和的后驗(yàn)概率。如今已有了和.還需要條件概率和,這可根據(jù)二項(xiàng)分布算的，；由全概率公式可算的最后由后驗(yàn)分布公式可求得：這表明，紀(jì)理根據(jù)實(shí)驗(yàn)A的信息調(diào)整了自己對投資結(jié)果的看法，把對和的信任度由0.4,和0.6分別調(diào)整到了0.7和0.3。后者綜合了經(jīng)理的主觀概率和實(shí)驗(yàn)結(jié)果而獲得，要比主觀概率更具有吸引力，更貼近當(dāng)前實(shí)際。當(dāng)然經(jīng)過實(shí)驗(yàn)A后經(jīng)理對投資改進(jìn)質(zhì)量的興趣更大了，但如果為了進(jìn)一步保險(xiǎn)起見可以把這次得到的后驗(yàn)分布列再一次作為先驗(yàn)分布在做實(shí)驗(yàn)驗(yàn)證，結(jié)果將更貼近實(shí)際。從上面這個(gè)例子中我們初步體驗(yàn)到了后驗(yàn)的求法，同時(shí)也能夠看到貝葉斯統(tǒng)計(jì)的實(shí)用性。貝葉斯統(tǒng)計(jì)應(yīng)用最做的是在決策方面，決策就是對一件事做出決定，它與統(tǒng)計(jì)推斷的區(qū)別在于是否涉及到后果。統(tǒng)計(jì)推斷依統(tǒng)計(jì)理論而進(jìn)行，很少考慮到推斷結(jié)果被使用時(shí)所帶來的利潤或造成的損失，這在決策中恰恰是不能忽略的。度量利損得失的尺度就是收益函數(shù)與損失函數(shù)，把收益函數(shù)和損失函數(shù)加入到貝葉斯推斷就形成了貝葉斯決策論。在這里首先明確幾個(gè)概念狀態(tài)集，其中表示自然界（或社會）可能出現(xiàn)的一種狀態(tài)，所有可能的狀態(tài)的集合組成狀態(tài)集。行動集，其中每一個(gè)元素表示人對自然界可能采取的一個(gè)行動。損失函數(shù)，在一個(gè)決策問題中假設(shè)狀態(tài)集為，行動集為，定義在上的二元函數(shù)稱為損失函數(shù)，假如它能表示在自然界（或社會）處于狀態(tài)，而人們采取行動對人們引起的（經(jīng)濟(jì)的）損失。決策函數(shù)：在給定的貝葉斯決策問題中，從樣本空間到行動集上的一個(gè)映射稱為該決策問題的一個(gè)決策函數(shù)。狀態(tài)集，行動集，損失函數(shù)是構(gòu)成一個(gè)決策問題必不可少的三個(gè)要素。風(fēng)險(xiǎn)函數(shù)：評價(jià)T的優(yōu)劣標(biāo)準(zhǔn)用平均損失,即稱為T在處的風(fēng)險(xiǎn)函數(shù)后驗(yàn)風(fēng)險(xiǎn)：損失函數(shù)對后驗(yàn)分布的期望稱為后驗(yàn)風(fēng)險(xiǎn)決策空間：設(shè)隨機(jī)變量X的概率函數(shù)或概率密度函數(shù)為，其中未知。對參數(shù)采取的所有“行動”（估計(jì)）組成的集合稱為決策空間，記為A，在一般問題中，A是實(shí)數(shù)集且可測。有了上面的基礎(chǔ)，我們就可以討論貝葉斯估計(jì)量了，為了簡便起見，在這里假設(shè)X的分布和的分布均為連續(xù)型。貝葉斯估計(jì)的基本思想就是選擇一個(gè)估計(jì)值，使得平均損失最小，即使最小。我們知道，后驗(yàn)分布是對先驗(yàn)分布的調(diào)整，在獲得了一組樣本的觀測值之后，我們用的后驗(yàn)概