應(yīng)用數(shù)理統(tǒng)計-貝葉斯估計

貝葉斯（Bayes）估計

統(tǒng)計學(xué)中有兩大學(xué)派頻率學(xué)派（又稱經(jīng)典學(xué)派）和貝葉斯學(xué)派，它們的理論與方法都建立在概率論基礎(chǔ)上，應(yīng)用都相當(dāng)廣泛。前幾講主要介紹經(jīng)典統(tǒng)計學(xué)的基本內(nèi)容，這一講以貝葉斯估計為題對貝葉斯統(tǒng)計作一些介紹。

1.統(tǒng)計推斷中的三種信息

我們在前面的統(tǒng)計推斷（點估計、區(qū)間估計等）中用到了兩種信息:

(1)總體信息，即總體分布給我們的信息。譬如，“總體是正態(tài)分布”這一句話就給我們帶來很多信息：它的密度函數(shù)是一條鐘形曲線；它的一切矩存在；有許多成熟的統(tǒng)計推斷方法可供我們選用等?？傮w信息是很重要的信息，為了獲取此種信息往往耗資巨大。我國為確認(rèn)國產(chǎn)軸承壽命分布為威布爾分布前后花了五年時間，處理了幾千個數(shù)據(jù)后才定下的。這是最“新鮮”的信息，并且越多越好，希望通過樣本對總體或總體的某些特征作出較精確的統(tǒng)計推斷．沒有樣本就沒有統(tǒng)計學(xué)可言．

(2)樣本信息，即樣本提供給我們的信息，

基于以上兩種信息進(jìn)行統(tǒng)計推斷的統(tǒng)計學(xué)就稱為經(jīng)典統(tǒng)計學(xué)．然而在我們周圍還存在著第三種信息―先驗信息，它也可用于統(tǒng)計推斷．

(3)先驗信息，即在抽樣之前有關(guān)統(tǒng)計問題的一些信息。一般說來，先驗信息來源于經(jīng)驗和歷史資料。先驗信息在日常生活和工作中是很重要的。

例1.英國統(tǒng)計學(xué)家Savage,L.J曾考察了如下兩個統(tǒng)計試驗:(l)一位常飲牛奶加茶的婦女聲稱，她能辨別先倒進(jìn)杯子里的是茶還是牛奶．對此做了十次試驗，她都正確地說出了答案(2)一位音樂家聲稱，他能從一頁樂譜辨別出是海頓（Haydn）還是莫扎特（Mozart）的作品，在十次這樣的試驗中．他都辨別正確。

在這兩個統(tǒng)計試驗中，假如認(rèn)為被試驗者是在猜測，每次成功概率為0.5，那么十次都猜中的概率為210=0.0009766。這是很小的概率，是幾乎不可能發(fā)生的。所以認(rèn)為“每次成功概率為0.5”應(yīng)被拒絕，認(rèn)為試驗者每次成功概率要比0.5大得多，這就不是猜測，而是他們的經(jīng)驗幫了他們的忙。可見經(jīng)驗（先驗信息的一種）在推斷中不可忽視．

例2.“免檢產(chǎn)品”是怎樣決定的？某工廠的產(chǎn)品每天要抽檢n件，獲得不合格品率的估計．經(jīng)過一段時間后，就可根據(jù)歷史資料（先驗信息的一種）對過去產(chǎn)品的不合格品率構(gòu)造一個分布

這種對先驗信息進(jìn)行加工獲得的分布稱為先驗分布。有了先驗分布，就得到對該廠過去產(chǎn)品的不合格品率的一個全面看法。如果的取值以大概率集中在=0附近，那么認(rèn)為該產(chǎn)品是“信得過產(chǎn)品”。

假如以后的多次抽檢結(jié)果與歷史資料提供的先驗分布是一致的，那就可以對它出“免檢產(chǎn)品”的決定，或者每月抽檢一次就足夠了，這就省去了大量的人與物力．可見，歷史資料在統(tǒng)計推斷中應(yīng)該加以應(yīng)用。

基于上述三種信息進(jìn)行統(tǒng)計推斷的統(tǒng)計學(xué)稱為貝葉斯統(tǒng)計學(xué)。它與經(jīng)典統(tǒng)計學(xué)的差別就在于是否利用先驗信息。貝葉斯統(tǒng)計在重視使用總體信息和樣本信息的同時，還注意先驗信息的收集、挖掘和加工，使它數(shù)量化，形成先驗分布，參加到統(tǒng)計推斷中來，以提高統(tǒng)計推斷的質(zhì)量。忽視先驗信息的利用，有時是一種浪費，有時還會導(dǎo)出不合理的結(jié)論。

貝葉斯統(tǒng)計起源于英國學(xué)者貝葉斯（Bayes.T.R,1702(?）一1761）死后發(fā)表的一篇論文“論有關(guān)機遇問題的求解”，在此文中提出了著名的貝葉斯公式和一種歸納推理的方法。之后，一些統(tǒng)計學(xué)家將其發(fā)展成一種系統(tǒng)的統(tǒng)計推斷方法。到上世紀(jì)30年代已形成貝葉斯學(xué)派，到50~60年代已發(fā)展成一個有影響的統(tǒng)計學(xué)派，其影響還在日益擴大。

貝葉斯學(xué)派的最基本的觀點是：參數(shù)

可看作隨機變量，可用一個概率分布去描述，這個分布稱為先驗分布。因為，參數(shù)

具有不確定性，而在表述不確定性的程度時，概率與概率分布是最好的語言。例2中產(chǎn)品的不合格品率

是未知的，但每天都在變化，把它看成隨機變量是合理的，用一個概率分布去描述它是恰當(dāng)?shù)摹?/p>

例3.

某地區(qū)煤的儲存量

在幾百年內(nèi)不會有多大變化，可看作是一個常量，但對人們來說，它是未知的、不確定的量。有位專家研究了有關(guān)資料、結(jié)合他的經(jīng)驗認(rèn)為：該地區(qū)煤的儲存量

“大概有5億噸左右”。若把“左右”理解為4到6億噸之內(nèi)，把“大概”理解為80％的把握，還有20％的可能性在此區(qū)間之外。這無形中就是用一個概率分布去描述未知量

，而具有概率分布的量當(dāng)然是隨機變量。

14610

關(guān)于參數(shù)是否可看作隨機變量在經(jīng)典學(xué)派與貝葉斯學(xué)派間爭論了很長時間。如今經(jīng)典學(xué)派已不反對這一觀點。著名的美國經(jīng)典統(tǒng)計學(xué)家Lehmann,E.J．在他的《點估計理論》一書中寫道：“把統(tǒng)計問題中的參數(shù)看作隨機變量的實現(xiàn)要比看作未知參數(shù)更合理一些”。如今兩派的爭論焦點是：如何利用各種先驗信息合理地確定先驗分布。這在有些場合是容易解決的，但在很多場合是相當(dāng)困難的。這時應(yīng)加強研究，發(fā)展貝葉斯統(tǒng)計，而不宜簡單處置，引起非難。

2.貝葉斯公式的密度函數(shù)形式若B1,…Bn是一完備事件組，則對任意的事件A(P(A)>0)，均有

（1）貝葉斯公式的事件形式：（2）貝葉斯公式的密度函數(shù)形式（介紹貝葉斯學(xué)派的一些具體想法）

(a)X的密度函數(shù)(依賴于參數(shù)

)在經(jīng)典統(tǒng)計中記為f(x;)，它表示參數(shù)空間中不同的

對應(yīng)不同的分布。在貝葉斯統(tǒng)計中應(yīng)將其記為f(x|),它表示在隨機變量給定某個值時，X的條件密度函數(shù)。

(b)根據(jù)參數(shù)的先驗信息確定先驗分布(

)。

(c)從貝葉斯觀點看，樣本X1,X2，…Xn

的產(chǎn)生要分兩步進(jìn)行:這個聯(lián)合分布綜合了總體信息和樣本信息，又稱為似然函數(shù)。

首先設(shè)想從先驗分布(

)中產(chǎn)生一個樣本*。這一步是“老天爺”做的，人們是看不到的，故用“設(shè)想”二字．第二步從f(x|*)

中產(chǎn)生樣本X1,X2，…Xn

。這時樣本的聯(lián)合條件密度函數(shù)為(d)由于*是設(shè)想出來的，仍然是未知的，它是按先驗分布(

)產(chǎn)生的．為把先驗信息綜合進(jìn)去，不能只考慮*，也要考慮的其它值發(fā)生的可能性，故要用(

)進(jìn)行綜合。這個聯(lián)合分布把三種可用信息都綜合進(jìn)去了。這樣一來，樣本和參數(shù)的聯(lián)合分布為

(e)我們的任務(wù)是要對未知參數(shù)

作統(tǒng)計推斷。在沒有樣本信息時，我們只能依據(jù)先驗分布(

)對作出推斷．在有了樣本觀察值x1,…,xn

之后，我們應(yīng)依據(jù)h(x1,…,xn,)

對作出推斷。若把h作如下分解其中m(x1,…,xn)

為樣本X1,…,Xn

的邊緣密度函數(shù)它與無關(guān)，或者說m(x1,…,xn)

中不含的任何信息。因此能用來對作出推斷的僅是條件分布(|x1,…,xn

)

條件分布(|x1,…,xn

)

的計算公式為

這就是貝葉斯公式的密度函數(shù)形式。這個條件分布稱為的后驗分布，它集中了總體、樣本和先驗中有關(guān)的一切信息．后驗分布也是用總體和樣本對先驗分布(

)作調(diào)整的結(jié)果，它要比(

)

更接近的實際情況，從而使基于(|x1,…,xn

)

對的推斷可以得到改進(jìn)。

(1)式是在X

和都是連續(xù)隨機變量場合下的貝葉斯公式。其它場合下的貝葉斯公式容易寫出。譬如在X

是離散型隨機變量、是連續(xù)隨機變量時，只要把(1)中的密度函數(shù)f(x|)改為條件概率P(X=x|)

即可；而當(dāng)為離散隨機變量時，只要把(1)中先驗密度函數(shù)(

)改為先驗分布列(i

),i=1,2，…，把積分改為求和即可．

例4.設(shè)事件A

發(fā)生的概率為

，即P(A)=。為了估計，進(jìn)行了n次獨立觀察，其中事件A

出現(xiàn)次數(shù)為X。顯然X~B(n,

)，即

這就是似然函數(shù)．取(0,1)區(qū)間上的均勻分布U(0,l)作為的先驗分布.此時，的先驗分布為此時，的先驗分布為為了綜合試驗信息和先驗信息，可利用貝葉斯公式。為此先計算樣本X與參數(shù)

的聯(lián)合分布

：

的先驗分布為U(0,l)從形式上看，此聯(lián)合分布與X

的條件分布沒有差別，可在定義域上有差別。再計算

X

的邊緣分布二者相除，即得的后驗分布為這就是參數(shù)為x+1與n-x+1的貝塔分布Be(x+1,n-x+1).

拉普拉斯在1786年研究了巴黎男嬰誕生的比率是否大于0.5。為此他收集了1745年到1770年在巴黎誕生的嬰兒數(shù)據(jù)，其中男嬰為251527個，女嬰為241945個。他選用U(0,l)作為的先驗分布，于是得的后驗分布為Be(x+1,n-x+1)，其中n=251527+241945=493472,x=251527。利用這一后驗分布，拉普拉斯計算了“0.5”的后驗概率由于這一概率很小，故他以很大的把握斷言男嬰誕生的概率大于0.5。這一結(jié)果在當(dāng)時是很有影響的。

3.先驗分布----

（1）共軛先驗分布從例4看到一個有趣的現(xiàn)象：二項分布B(n,)中的成功概率

的先驗分布若取U(0,1),即為貝塔分布Be(1,1),則其后驗分布也是貝塔分布Be(x+1,n-x+1)。先驗分布與后驗分布同屬一個貝塔分布族，只不過參數(shù)不同。這一現(xiàn)象不是偶然的，如把

的先驗分布換成一般的貝塔分布Be(a,b)

，其中a>0,b>0,則經(jīng)過類似的計算可以看出

的后驗分布仍是貝塔分布Be(a+x,b+n-x).此種先驗分布稱為

的共扼先驗分布．

定義設(shè)

是某分布中的一個參數(shù)，(

)是其先驗分布。假如由抽樣信息算得的后驗分布(

|

x)與(

)同屬于一個分布族，則稱(

)是

的共軛先驗分布。

從這個定義可以看出，共扼先驗分布是對某一分布中的參數(shù)而言的，離開指定參數(shù)及其所在的分布，談?wù)摴捕笙闰灧植际菦]有意義。常用的共軛先驗分布總體分布參數(shù)

共軛先驗分布二項分布成功概率

貝塔分布泊松分布

均值

伽瑪分布指數(shù)分布

均值倒數(shù)

伽瑪分布正態(tài)分布(方差已知)均值

正態(tài)分布正態(tài)分布(均值已知)方差

正態(tài)分布注：若則1/X的分布稱為倒伽瑪分布

從Bayes分析誕生之日起，就伴隨一個問題：沒有先驗信息場合如何確定先驗信息，此時的先驗分布稱為無信息先驗分布。（2）使用貝葉斯假設(shè)確定先驗分布

貝葉斯假設(shè)表述為：參數(shù)

的先驗分布()應(yīng)在

的取值范圍“均勻”分布。用數(shù)學(xué)公式表示為:

()=c，其中c是常數(shù)。

沒有的任何信息可理解為：對任何可能值既無偏愛，又同等無知，因此很自然的把的取值范圍內(nèi)的均勻分布取作的先的驗分布。即為貝葉斯假設(shè)。若僅在有限區(qū)間[a,b]上取值，=[a,b]，則使用貝葉斯假設(shè)是合理的。即選用U(a,b)作為先驗分布。若為無限區(qū)間時，(

)=c,并不是正常的密度函數(shù)，但如果由此確定的后驗密度(|x1,…,xn

)仍然是正常的密度函數(shù)，則稱(

)為的廣義先驗密度。例5.設(shè)X1,X2,…,Xn

是來自N(,

2)的樣本，

2已知.假如的先驗分布為()=c,R，求

的后驗密度。解：X1,X2,…,Xn

的聯(lián)合密度為又的先驗分布為于是的后驗密度為即的后驗密度為（3）使用杰弗萊(Jeffreys)原則確定先驗分布

貝葉斯假設(shè)中的一個矛盾是：如果對參數(shù)

選用先驗分布，那么當(dāng)

的函數(shù)g()作為參數(shù)時，也應(yīng)該選用均勻分布作為先驗分布。然而由

遵從均勻分布這一前提，往往導(dǎo)出g()的分布不是均勻分布，反之也一樣。杰弗萊為了克服這一矛盾，提出選取先驗的不變原理，稱為杰弗萊原則或杰弗萊準(zhǔn)則

杰弗萊原則有兩個部分：10對無信息先驗分布有一合理的要求；20給出一個具體的方法去求得符合要求的先驗分布?，F(xiàn)設(shè)按照同一準(zhǔn)則決定的

的先驗分布為(

)，=g()的先驗分布為g()，則應(yīng)有關(guān)系

杰弗萊巧妙應(yīng)用Fisher信息陣的一個不變性質(zhì)，找到滿足上述要求的先驗分布(

)：的無信息先驗分布應(yīng)滿足其中可以是向量，此時定理：設(shè)g()是的函數(shù)，

=g()與具有相同的維數(shù)，則有例6：設(shè)總體X~N(,

2),X1,…,Xn為獨立同分布樣本，則X1,…,Xn的聯(lián)合密度函數(shù)為可以求得Fisher信息陣為于是(,)的先驗分布為例7：設(shè)n次獨立試驗中事件A發(fā)生的次數(shù)X服從二項分布

因此于是

所以的先驗分布為

即為Be(1/2,1/2)。一般說來，無信息先驗不是唯一的，但是它們對Bayes統(tǒng)計推斷的結(jié)果的影響都是很小的，很少對結(jié)果產(chǎn)生重大影響，所以任何無信息先驗分布都可以采用。4.貝葉斯點估計

后驗分布(

|

x)

綜合了總體f(x|)

，樣本x1,…,xn和先驗分布()中的有關(guān)

的信息，如今要尋找參數(shù)的估計，當(dāng)然要從后驗分布(

|

x)

中提取信息.從(

|

x)

中提取關(guān)于的信息有三種常用的方法：(a)使后驗密度達(dá)到最大的；(b)后驗分布的中位數(shù)；(c)后驗分布的均值．用得最多的是后驗分布的均值．定義.

的后驗分布的期望值稱為的后驗期望估計．也簡稱貝葉斯估計，常記為定理.設(shè)的后驗密度為(

|

x)

，則后驗期望估計使均方誤差達(dá)到最小證明：的均方誤差為下面在(

|

x)

下進(jìn)行計算：這是的二次三項式，其二次項系數(shù)為正，必有最小值，其最小值點為例8.設(shè)X1,X2,…,Xn

是來自N(,

2)的一個樣本，其中

2已知,為未知參數(shù).假如的先驗分布為N(,

2),其中和

2

已知。試求的貝葉斯估計。

解：X1,X2,…,Xn

的聯(lián)合密度為又的先驗分布為于是樣本X1,X2,…,Xn

與的聯(lián)合密度為其中合并項，有令由此，配方得，由此容易算得樣本的邊緣分布為將上述兩式相除，得到的后驗分布這是一個正態(tài)分布，均值為B/A，方差為1/A。于是的后驗分布的期望，即的貝葉斯估計為若令02=2/n,則貝葉斯估計可表達(dá)為其中是樣本均值，是的先驗均值，權(quán)rn由樣本均值得方差02和先驗方差2

算得。當(dāng)02>2

時，rn<1/2,1-rn>1/2,此時在貝葉斯估計中先驗均值占得比重大一些。這從直觀上也容易理解，因為在02>2

時，樣本量不夠大，樣本均值的方差較大，更應(yīng)重視先驗方差。

反之，當(dāng)02<2

時，rn>1/2,1-rn<1/2,于是在貝葉斯估計中樣本均值占得比重大一些。也就是說，當(dāng)樣本量樣本量足夠大時，更應(yīng)受到重視的信息。符合人們的直觀認(rèn)識:方差小的信息更應(yīng)受到重視.特別地，rn=0時，這時02=，表示沒有樣本信息，故而貝葉斯估計只能用先驗均值了。而當(dāng)rn=1時，這時2

=，這表示沒有任何先驗信息，此時貝葉斯估計就取經(jīng)典估計的貝葉斯估計是十分合理的。

從上述特性，我們看出，形如

作為一個數(shù)值例子，我們考慮對一個兒童做智力測驗。設(shè)測驗結(jié)果X~N(,100)，其中為這個兒童的智商的真值．若又設(shè)～N(100,225）應(yīng)用上述方法，在n=l時，可得在給定X=x條件下，該兒童智商的后驗分布是正態(tài)分布N(1,1)，其中假如這個兒童測驗得分為115分，則他的智商的貝葉斯估計為

例9.

為估計不合格率，今從一批產(chǎn)品中隨機抽取n件，其中不合格品數(shù)為x，又設(shè)

的先驗分布為貝塔分布Be(a,b)。求的貝葉斯估計。這一估計也可改寫為解：由共軛先驗分布可知，此時

的后驗分布(

|

x)

為Be(a+x,b+n-x)。此后驗分布的均值即為的貝葉斯估計，故其中為先驗分布Be(a,b)的均值，它可看作僅用先驗分布對所作的估計。是僅用抽樣信息對所作的極大似然估計。是權(quán)，它的大小取決于樣本量n的大小。當(dāng)n很大時，rn接近于1，貝葉斯估計接近極大似然估計，即抽樣信息在估計中占主要成分；當(dāng)n較小時，rn接近于0，貝葉斯估計接近先驗均值，即先驗信息在估計中占主要成分。

上述現(xiàn)象表明，各種信息在貝葉斯估計中所占的地位是很恰當(dāng)?shù)摹?/p>

作為一個數(shù)值例子，我們選用貝葉斯假設(shè)，即

的先驗分布選為均勻分布U(0,1)，它就是a=b=1的貝塔分布。假如其它條件不變，那么的貝葉斯估計為

它與極大似然估計略有不同，它相當(dāng)于在n次檢查中再追加二次檢查，并且不合格品也增加一個這里2與1正是均勻先驗分布能提供的信息．

下表列出兩個試驗結(jié)果。在試驗l與試驗2中，“抽檢3個產(chǎn)品全合格”與“抽檢10個產(chǎn)品全合格”在人們心目中留下的印象是不同的，后批的質(zhì)量要比前批的質(zhì)量更信得過，這一點用反映不出來，而用貝葉斯估計會有所反映。

試驗號nx13000.2210000.083類似地，在下述試驗3和試驗4中，“抽檢3個產(chǎn)品全不合格”與“抽檢10個產(chǎn)品也全不合格”在人們心目中也是有差別的二個事件，可用極大似然估計看不出此種差別，而貝葉斯估計能反映一些．在這些極端場合，貝葉斯估計更具有吸引力。

試驗號nx33310.84101010.9175.貝葉斯區(qū)間估計

對于區(qū)間估計問題，貝葉斯方法比經(jīng)典方法更容易處理。因為在貝葉斯估計中參數(shù)

是一個隨機變量，且有后驗分布(

|x1,x2,...,xn)，因此

落在某一區(qū)間的概率是容易計算的，譬如給定區(qū)間[a,b]，用后驗分布(

|x1,x2,...,xn)可算得其概率，譬如為1，即P(a

b|x1,x2,...,xn)=1

反之，若給定概率1，要求一個區(qū)間[a,b]，使上式成立，這樣求得的區(qū)間[a,b]就是

的貝葉斯區(qū)間估計。這是在

為連續(xù)隨機變量場合。P(a

b|x1,x2,...,xn)=1(3.8)

假如

是離散型隨機變量，對給定的概率1，滿足等式(3.8)的a與b不一定存在，這時只有略微放大(3.8)左端的概率，才能找到a與b，這樣的區(qū)間也是

的貝葉斯區(qū)間估計。它的一般定義如下:

定義.設(shè)參數(shù)

的后驗分布為(

|x1,x2,...,xn),對給定的概率1，若存在這樣的兩個統(tǒng)計量L=L(x1,x