第一章先驗(yàn)分布與后驗(yàn)分布

第一章先驗(yàn)分布與后驗(yàn)分布第一節(jié)三種信息第二節(jié)貝葉斯公式第三節(jié)共軛先驗(yàn)分布第四節(jié)超參數(shù)模型第五節(jié)多參數(shù)模型第六節(jié)充分統(tǒng)計(jì)量第一章先驗(yàn)分布與后驗(yàn)分布統(tǒng)計(jì)學(xué)中有二個(gè)主要學(xué)派：頻率學(xué)派與貝葉斯學(xué)派，他們之間有共同點(diǎn)，又有不同點(diǎn)，為了說(shuō)清楚他們之間的異同點(diǎn)，我們從統(tǒng)計(jì)推斷所使用的三種信息說(shuō)起。第一節(jié)三種信息總體信息即總體分布或總體所屬分布族給我們的信息，譬如，“總體是正態(tài)分布”這一句話就給我們帶來(lái)很多信息：它的密度函數(shù)是一條鐘形曲線；它的一切階矩都存在；有關(guān)正態(tài)變量（服從正態(tài)分布的隨機(jī)變量）的一些事件的概率可以計(jì)算；還有許多成熟的點(diǎn)估計(jì)、區(qū)間估計(jì)和假設(shè)檢驗(yàn)方法可供我們選用?？傮w信息是很重要的信息，為了獲取此種信息往往耗資巨大。第一節(jié)三種信息樣本信息即從總體抽取的樣本給我們提供的信息。這是最“新鮮”的信息，并且愈多愈好。人們希望通過(guò)對(duì)樣本的加工和處理對(duì)總體的某些特征作出較為精確的統(tǒng)計(jì)推斷。沒(méi)有樣本就沒(méi)有統(tǒng)計(jì)學(xué)可言。這是大家都理解的事實(shí)?；谏鲜鰞煞N信息進(jìn)行的統(tǒng)計(jì)推斷被稱為經(jīng)典統(tǒng)計(jì)學(xué)，它的基本觀點(diǎn)是把數(shù)據(jù)（樣本）看成是來(lái)自具有一定概率分布的總體，所研究的對(duì)象是這個(gè)總體而不局限于數(shù)據(jù)本身。第一節(jié)三種信息先驗(yàn)信息即在抽樣之前有關(guān)統(tǒng)計(jì)問(wèn)題的一些信息，一般說(shuō)來(lái)，先驗(yàn)信息主要來(lái)源于經(jīng)驗(yàn)和歷史資料。先驗(yàn)信息在日常生活和工作中也經(jīng)常可見(jiàn)，不少人在自覺(jué)地或不自覺(jué)地使用它。對(duì)先驗(yàn)信息進(jìn)行加工獲得的分布今后稱為先驗(yàn)分布。這個(gè)先驗(yàn)分布是綜合了該廠過(guò)去產(chǎn)品的質(zhì)量情況。如果這個(gè)分布的概率絕大部分集中在θ=0附近，那該產(chǎn)品可認(rèn)為是“信得過(guò)產(chǎn)品”。假如以后的多次抽檢結(jié)果與歷史資料提供的先驗(yàn)分布是一致的。使用單位就可以對(duì)它作出“免檢產(chǎn)品”的決定，或者每月抽檢一、二次就足夠了，這就省去了大量的人力與物力?？梢?jiàn)歷史資料在統(tǒng)計(jì)推斷中應(yīng)加以利用。第一節(jié)三種信息基于上述三種信息（總體信息、樣本信息和先驗(yàn)信息）進(jìn)行的統(tǒng)計(jì)推斷被稱為貝葉斯統(tǒng)計(jì)學(xué)。它與經(jīng)典統(tǒng)計(jì)學(xué)的主要差別在于是否利用先驗(yàn)信息。在使用樣本信息上也是有差異的。貝葉斯學(xué)派重視已出現(xiàn)的樣本觀察值，而對(duì)尚未發(fā)生的樣本觀察值不予考慮，貝葉斯學(xué)派很重視先驗(yàn)信息的收集、挖掘和加工，使它數(shù)量化，形成先驗(yàn)分布，參加到統(tǒng)計(jì)推斷中來(lái)，以提高統(tǒng)計(jì)推斷的質(zhì)量。忽視先驗(yàn)信息的利用，有時(shí)是一種浪費(fèi)，有時(shí)還會(huì)導(dǎo)致不合理的結(jié)論。第一節(jié)三種信息貝葉斯學(xué)派的最基本的觀點(diǎn)是：任一個(gè)未知量θ都可看作一個(gè)隨機(jī)變量，應(yīng)該用一個(gè)概率分布去描述對(duì)θ的未知狀況。這個(gè)概率分布是在抽樣前就有的關(guān)于θ的先驗(yàn)信息的概率陳述。這個(gè)概率分布被稱為先驗(yàn)分布。有時(shí)還簡(jiǎn)稱為先驗(yàn)（Prior）。因?yàn)槿我晃粗慷加胁淮_定性，而在表述不確定性程度時(shí)，概率與概率分布是最好的語(yǔ)言。第一節(jié)三種信息貝葉斯公式的密度函數(shù)形式1.設(shè)總體指標(biāo)X有依賴于參數(shù)“的密度函數(shù)”在經(jīng)典統(tǒng)計(jì)中常記為p(x;θ)，它表示在參數(shù)空間中不同的θ對(duì)應(yīng)不同的分布?？稍谪惾~斯統(tǒng)計(jì)中記為p(x|θ)，它表示在隨機(jī)變量θ給定某個(gè)值時(shí)，總體指標(biāo)X的條件分布。第二節(jié)貝葉斯公式2.根據(jù)參數(shù)θ的先驗(yàn)信息確定先驗(yàn)分布π(θ)。這是貝葉斯學(xué)派在最近幾十年里重點(diǎn)研究的問(wèn)題。已獲得一大批富有成效的方法。在以后章節(jié)將介紹其中一些主要方法，本書(shū)第三章和第七章將系統(tǒng)地介紹。第二節(jié)貝葉斯公式第二節(jié)貝葉斯公式3.從貝葉斯觀點(diǎn)看，樣本的產(chǎn)生要分二步進(jìn)行。這個(gè)聯(lián)合密度函數(shù)是綜合了總體信息和樣本信息，常稱為似然函數(shù)。4.樣本x和參數(shù)θ的聯(lián)合分布把三種可用的信息都綜合進(jìn)去了。5.我們的任務(wù)是要對(duì)未知數(shù)θ作出統(tǒng)計(jì)推斷。在沒(méi)有樣本信息時(shí)，人們只能據(jù)先驗(yàn)分布對(duì)θ作出推斷。在有樣本觀察值x之后，我們應(yīng)該依據(jù)h(x,θ)對(duì)θ作出推斷。第二節(jié)貝葉斯公式6.在θ是離散隨機(jī)變量時(shí),先驗(yàn)分布可用先驗(yàn)分布列

表示。這時(shí)后驗(yàn)分布也是離散形式。第二節(jié)貝葉斯公式后驗(yàn)分布是三種信息的綜合一般說(shuō)來(lái),先驗(yàn)分布π(θ)是反映人們?cè)诔闃忧皩?duì)θ的認(rèn)識(shí),后驗(yàn)分布π(θ|x)是反映人們?cè)诔闃雍髮?duì)θ的認(rèn)識(shí)。之間的差異是由于樣本x出現(xiàn)后人們對(duì)θ認(rèn)識(shí)的一種調(diào)整。所以后驗(yàn)分布π(θ|x)可以看作是人們用總體信息和樣本信息（綜合稱為抽樣信息）對(duì)先驗(yàn)分布作π(θ)調(diào)整的結(jié)果。第二節(jié)貝葉斯公式1.3.1共軛先驗(yàn)分布大家知道，在區(qū)間(0,1)上的均勻分布是貝塔分布Be(1,1)。這時(shí)從例1.2.1中可以看到一個(gè)有趣的現(xiàn)象。二項(xiàng)分布b(n,θ)中的成功概率θ的先驗(yàn)分布若取Be(1,1),則其后驗(yàn)分布也是貝塔分布Be(x+1,n-x+1)。其中,x為n次獨(dú)立試驗(yàn)中成功出現(xiàn)次數(shù)#先驗(yàn)分布與后驗(yàn)分布同屬于一個(gè)貝塔分布族,只是其參數(shù)不同而已。這一現(xiàn)象不是偶然的，假如把θ的先驗(yàn)分布換成一般的貝塔分布Be(α+β),其中α>0,β>0。經(jīng)過(guò)類似計(jì)算可以看出，θ的后驗(yàn)分布仍是貝塔分布Be(α+x,β+n-x)，此種先驗(yàn)分布被稱為θ的共軛先驗(yàn)分布。第三節(jié)共軛先驗(yàn)分布定義1.3.1設(shè)θ是總體分布中的參數(shù)（或參數(shù)向量），π(θ)是θ的先驗(yàn)密度函數(shù)，假如由抽樣信息算得的后驗(yàn)密度函數(shù)與π(θ)有相同的函數(shù)形式，則稱π(θ)是θ的（自然）共軛先驗(yàn)分布。第三節(jié)共軛先驗(yàn)分布1.3.2后驗(yàn)分布的計(jì)算在給定樣本分布p(x|θ)和先驗(yàn)分布π(θ)后可用貝葉斯公式計(jì)算θ的后驗(yàn)分布由于m(x)不依賴于θ,在計(jì)算θ的后驗(yàn)分布中僅起到一個(gè)正則化因子的作用。假如把m(x)省略，把貝葉斯公式改寫(xiě)為如下等價(jià)形式第三節(jié)共軛先驗(yàn)分布其中符號(hào)“”表示兩邊僅差一個(gè)常數(shù)因子，一個(gè)不依賴于θ的常數(shù)因子。（1.3.5）式右端雖不是正常的密度函數(shù)，但它是后驗(yàn)分布π(θ|x)的核，在需要時(shí)可以利用適當(dāng)方式計(jì)算出后驗(yàn)密度，特別當(dāng)看出π(θ|x)π(θ)的核就是某常用分布的核時(shí)，不用計(jì)算m(x)就可很快恢復(fù)所缺常數(shù)因子。這樣一來(lái)就可簡(jiǎn)化后驗(yàn)分布的計(jì)算，這在共軛先驗(yàn)分布與非共軛先驗(yàn)分布場(chǎng)合都可使用。第三節(jié)共軛先驗(yàn)分布1.3.3共軛先驗(yàn)分布的優(yōu)缺點(diǎn)共軛先驗(yàn)分布在很多場(chǎng)合被采用，因?yàn)樗卸€(gè)優(yōu)點(diǎn)：1.計(jì)算方便，這可從上面二個(gè)例子和習(xí)題中體會(huì)。2.后驗(yàn)分布的一些參數(shù)可得到很好的解釋。第三節(jié)共軛先驗(yàn)分布在貝葉斯統(tǒng)計(jì)中先驗(yàn)分布的選取應(yīng)以合理性作為首要原則，計(jì)算上的方便與先驗(yàn)的合理性相比那還是第二位的。當(dāng)樣本均值x與先驗(yàn)均值相距較遠(yuǎn)時(shí)，看來(lái)后驗(yàn)分布應(yīng)有二個(gè)峰才更為合理，可使用共軛先驗(yàn)分布（如在正態(tài)均值場(chǎng)合）逼使后驗(yàn)分布只有一個(gè)峰，從而會(huì)掩蓋實(shí)際情況，引起誤用。在考慮到先驗(yàn)的合理性之后，充分發(fā)揮共軛先驗(yàn)分布吸引人們的性質(zhì)是我們采取的策略。因?yàn)?，以正態(tài)分布為例，先驗(yàn)分布類

還是足夠大的，使正態(tài)分布在不少場(chǎng)合用來(lái)概括先驗(yàn)信息是合理的。第三節(jié)共軛先驗(yàn)分布1.3.4常用的共軛先驗(yàn)分布共軛先驗(yàn)分布的選取是由似然函數(shù)L(θ)=p(x|θ)中所含θ的因式所決定的，即選與似然函數(shù)（θ的函數(shù))具有相同核的分布作為先驗(yàn)分布。若此想法得以實(shí)現(xiàn)，那共軛先驗(yàn)分布就產(chǎn)生了。倒伽馬分布第三節(jié)共軛先驗(yàn)分布第三節(jié)共軛先驗(yàn)分布先驗(yàn)分布中所含的未知參數(shù)稱為超參數(shù)。譬如，成功概率的共軛先驗(yàn)分布是貝塔分布Be(α,β)，它含有二個(gè)超參數(shù)，正態(tài)均值的共軛先驗(yàn)分布是正態(tài)分布，它也含有二個(gè)超參數(shù)。一般說(shuō)來(lái)，共軛先驗(yàn)分布常含有超參數(shù)，而無(wú)信息先驗(yàn)分布（如均勻分布U(0,1))一般不含有超參數(shù)。共軛先驗(yàn)分布是一種有信息的先驗(yàn)分布，故其中所含的超參數(shù)應(yīng)充分利用各種先驗(yàn)信息來(lái)確定它。第四節(jié)超參數(shù)模型1.4.1利用先驗(yàn)矩假如根據(jù)先驗(yàn)信息能獲得成功概率θ的若干個(gè)估計(jì)值，記為，一般它們是從歷史數(shù)據(jù)整理加工獲得的，由此可算得先驗(yàn)均值和先驗(yàn)方差，其中然后令其分別等于貝塔分布Be(α,β)的期望與方差，即第四節(jié)超參數(shù)模型解之“可得超參數(shù)α與β的估計(jì)值第四節(jié)超參數(shù)模型1.4.2利用先驗(yàn)分位數(shù)假如根據(jù)先驗(yàn)信息可以確定貝塔分布的二個(gè)分位數(shù)，則可用這二個(gè)分位數(shù)來(lái)確定α與β，譬如用二個(gè)上、下四分位數(shù)與（見(jiàn)圖1.4.1來(lái)確定α與β，

與分別滿足如下二個(gè)方程第四節(jié)超參數(shù)模型1.4.3利用先驗(yàn)矩和先驗(yàn)分位數(shù)假如根據(jù)先驗(yàn)信息可獲得先驗(yàn)均值和p分位數(shù),則可列出下列方程解之，可得超參數(shù)α與β的估計(jì)值。第四節(jié)超參數(shù)模型1.4.4其他方法假如根據(jù)先驗(yàn)信息只能獲得先驗(yàn)均值，這時(shí)可令一個(gè)方程不能唯一確定二個(gè)參數(shù)，這時(shí)還要利用其它先驗(yàn)信息才能把α與β確定下來(lái)。第四節(jié)超參數(shù)模型統(tǒng)計(jì)中很多實(shí)際問(wèn)題含有多個(gè)未知參數(shù)，譬如正態(tài)總體

常含有二個(gè)未知參數(shù)μ與，又如多項(xiàng)分布

常含有k-1個(gè)未知參數(shù),至于多元正態(tài)分布

則含有更多個(gè)未知參數(shù)。在貝葉斯方法的框架中處理多參數(shù)的方法與處理單參數(shù)方法相似，先根據(jù)先驗(yàn)信息給出參數(shù)的先驗(yàn)分布，然后按貝葉斯公式算得后驗(yàn)分布，為確定起見(jiàn)，設(shè)總體只含二個(gè)參數(shù)，總體的密度函數(shù)為，若從該總體抽取一個(gè)樣本,并給出先驗(yàn)密度,則的后驗(yàn)密度為第五節(jié)多參數(shù)模型在多參數(shù)問(wèn)題中,人們關(guān)心的常常是其中一個(gè)或少數(shù)幾個(gè)參數(shù),這時(shí)其余參數(shù)常被稱為討厭參數(shù)或多余參數(shù),譬如在二個(gè)參數(shù)與場(chǎng)合,人們感興趣的是,那么就是討厭參數(shù),為了獲得的邊緣后驗(yàn)密度,只要對(duì)討厭參數(shù)積分即可。上述積分對(duì)

的參數(shù)空間進(jìn)行，在處理討厭參數(shù)上，貝葉斯方法要比經(jīng)典方法方便得多。第五節(jié)多參數(shù)模型正態(tài)—倒伽瑪分布，記為后驗(yàn)密度在形式上完全與先驗(yàn)密度同，只是用，與分別代替，與正態(tài)—倒伽瑪分布是正態(tài)均值與正態(tài)方差的（聯(lián)合）共軛先驗(yàn)分布。第五節(jié)多參數(shù)模型經(jīng)典統(tǒng)計(jì)中充分統(tǒng)計(jì)量是這樣定義的：設(shè)

是來(lái)自分布函數(shù)的一個(gè)樣本,T=T(x)是統(tǒng)計(jì)量,假如在給定T(x)=t的條件下,x的條件分布與θ無(wú)關(guān)的話,則稱該統(tǒng)計(jì)量為θ的充分統(tǒng)計(jì)量。在一般情況下，用上述定義直接驗(yàn)證一個(gè)統(tǒng)計(jì)量的充分性是困難的，因?yàn)樾枰?jì)算條件分布，幸好有一個(gè)判別充分統(tǒng)計(jì)量的充要條件，它就是著名的因子分解定理，該定理說(shuō)，一個(gè)統(tǒng)計(jì)量T(x)對(duì)參數(shù)θ是充分的充要條件是存在一個(gè)t與θ的函數(shù)g(t,θ)和一個(gè)樣本x的函數(shù)h(x),使得對(duì)任一樣本x和任意θ樣本的密度p(x|θ)可表示為它們的乘積,即p(x|θ)=g(T(x),θ)在貝葉斯統(tǒng)計(jì)中,充分統(tǒng)計(jì)量也有一個(gè)充要條件。第六節(jié)充分統(tǒng)計(jì)量定理1.6.1設(shè)是來(lái)自密度函數(shù)p(x|θ)的一個(gè)樣本,T=T(x)是統(tǒng)計(jì)量,它的密度函數(shù)為p(t|θ),又設(shè)是θ的某個(gè)先驗(yàn)分布族,則T(x)為θ的充分統(tǒng)計(jì)量的充要條件是對(duì)任一先驗(yàn)分布,有即用樣本分布p(x|θ)算得的后驗(yàn)分布與統(tǒng)計(jì)量T(x)算得的后驗(yàn)分布是相同的。第六節(jié)充分統(tǒng)計(jì)量關(guān)于定理1.