第1章貝葉斯統(tǒng)計原理及方法

1、貝葉斯統(tǒng)計貝葉斯統(tǒng)計 第1章貝葉斯統(tǒng)計原理及方法 預修要求：已修過概率論與數(shù)理統(tǒng)計預修要求：已修過概率論與數(shù)理統(tǒng)計 基本教材：基本教材： 茆詩松編，貝葉斯統(tǒng)計茆詩松編，貝葉斯統(tǒng)計 中國統(tǒng)計出版社，中國統(tǒng)計出版社，2005年年. 第1章貝葉斯統(tǒng)計原理及方法 1貝葉斯統(tǒng)計與決策貝葉斯統(tǒng)計與決策BergerJO中國統(tǒng)計出版中國統(tǒng)計出版 社社1998 2現(xiàn)代貝葉斯統(tǒng)計現(xiàn)代貝葉斯統(tǒng)計KotzS,吳喜之中國統(tǒng)計出版吳喜之中國統(tǒng)計出版 社社1999 3貝葉斯統(tǒng)計推斷張堯庭、陳漢峰科學出版貝葉斯統(tǒng)計推斷張堯庭、陳漢峰科學出版 社社1991 第1章貝葉斯統(tǒng)計原理及方法 課程考核：閉卷考試 成績評定 平時(20分

2、) =作業(yè)+考勤+課堂表現(xiàn) 期末(80分) =卷面(100分) 80% 總評(100分) =平時+期末 比例20%80%100% 學分數(shù)2 課堂上講過的習題、練習題和作業(yè)的題目要會課堂上講過的習題、練習題和作業(yè)的題目要會. 第1章貝葉斯統(tǒng)計原理及方法 伽瑪函數(shù)伽瑪函數(shù) 函數(shù)函數(shù) dxex x 1 0 )( 伽瑪函數(shù)的性質(zhì)伽瑪函數(shù)的性質(zhì): ) 2 1 (; 1) 1 () 1 ( )() 1()2( 1()( )!nnnnn 當當 為為自自然然數(shù)數(shù) 時時，有有 第1章貝葉斯統(tǒng)計原理及方法 伽瑪分布伽瑪分布 0, 0 0, )()( 1 x xex xp x 第1章貝葉斯統(tǒng)計原理及方法 00 11

3、 ()()() ( )( ) xx E Xx edxxedx 1 )( ) 1( 2 ()E X 2 (1) 22 2 ()() ()Var XE XE X 第1章貝葉斯統(tǒng)計原理及方法 5.4.4伽瑪分布的兩個特例伽瑪分布的兩個特例 1.當當=1時時,伽瑪分布就是指數(shù)分布伽瑪分布就是指數(shù)分布: )(), 1 (ExpGa )() 2 1 , 2 ( 2 n n Ga 0, 0 0, )()( 1 x xex xp x 0 ( ) 00 x ex p x x ( , )Ga 第1章貝葉斯統(tǒng)計原理及方法 1 22 2 1 ,0 ( ) 2( ) 2 0,0 xn n exx n p x x ),(

4、 2 nX若則則X的密度函數(shù)為的密度函數(shù)為 (),()2E XnVar Xn 1 0 00 , ( )( ) , x xex p x x 2 ( ), ( )E XVar X ( , )XGa )() 2 1 , 2 ( 2 n n Ga 第1章貝葉斯統(tǒng)計原理及方法 貝塔函數(shù)貝塔函數(shù) 函數(shù)函數(shù) dxxxbaB ba11 1 0 )1 (),( 貝塔函數(shù)的性質(zhì)貝塔函數(shù)的性質(zhì):),(),() 1 (abBbaB )( )()( ),()2( ba ba baB 第1章貝葉斯統(tǒng)計原理及方法 ),(),() 1 (abBbaB dxxxbaB ba11 1 0 )1 (),( )()1 (1 11 0

5、 1 ydyyxy ba dyyy ba11 1 0 )1 ( ),(abB 證明 第1章貝葉斯統(tǒng)計原理及方法 )( )()( ),()2( ba ba baB 證明 dxdyeyxba yxba)(11 00 )()( ududvevuuvvuyuvx uba 11 1 00 )1 ()()1 (, dvvvdueu bauba11 1 0 1 0 )1 ( ),()(baBba 第1章貝葉斯統(tǒng)計原理及方法 11 () (1), 01 ( ) ( )( ) 0, ab ab xxx abp x 其它 貝塔分布貝塔分布 第1章貝葉斯統(tǒng)計原理及方法 貝塔分布的數(shù)學期望和方差貝塔分布的數(shù)學期望和方

6、差 1 1 0 1 () ()() ( ) ( ) ab ab E Xxxdx ab 1 1 ()() ( ) ( ) ( )() abab abab a ab ( , )XBe a b若若 2 ()E X 1 1 () ()() a a ab ab 2 () () (1) ab Var X abab 第1章貝葉斯統(tǒng)計原理及方法 （Bayes，Thomas）(17021761) 貝葉斯是英國數(shù)學家貝葉斯是英國數(shù)學家.1702年生于倫敦；年生于倫敦；1761年年4月月17日日 卒于坦布里奇韋爾斯卒于坦布里奇韋爾斯. 貝葉斯是一位自學成才的數(shù)學家貝葉斯是一位自學成才的數(shù)學家.曾助理宗教事務，后來曾

7、助理宗教事務，后來 長期擔任坦布里奇韋爾斯地方教堂的牧師長期擔任坦布里奇韋爾斯地方教堂的牧師.1742年，貝葉斯被年，貝葉斯被 選為英國皇家學會會員選為英國皇家學會會員. 如今在概率、數(shù)理統(tǒng)計學中以貝葉斯姓氏命名的有貝葉斯如今在概率、數(shù)理統(tǒng)計學中以貝葉斯姓氏命名的有貝葉斯 公式、貝葉斯風險、貝葉斯決策函數(shù)、貝葉斯決策規(guī)則、貝葉公式、貝葉斯風險、貝葉斯決策函數(shù)、貝葉斯決策規(guī)則、貝葉 斯估計量、貝葉斯方法、貝葉斯統(tǒng)計等等斯估計量、貝葉斯方法、貝葉斯統(tǒng)計等等. 第1章貝葉斯統(tǒng)計原理及方法 貝葉斯方法是基于貝葉斯定理而發(fā)展起來用于系 統(tǒng)地闡述和解決統(tǒng)計問題的方法(Samuel Kotz和吳 喜之,20

8、00)。 貝葉斯推斷的基本方法是將關(guān)于未知參數(shù)的先 驗信息與樣本信息綜合，再根據(jù)貝葉斯定理，得 出后驗信息，然后根據(jù)后驗信息去推斷未知參數(shù) (茆詩松和王靜龍等,1998年)。 “貝葉斯提出了一種歸納推理的理論(貝葉斯定 理)，以后被一些統(tǒng)計學者發(fā)展為一種系統(tǒng)的統(tǒng)計 推斷方法，稱為貝葉斯方法.”摘自中國大百 科全書（數(shù)學卷） 第1章貝葉斯統(tǒng)計原理及方法 英國學者英國學者T.貝葉斯貝葉斯1763年在年在論有關(guān)機遇問論有關(guān)機遇問 題的求解題的求解中提出一種歸納推理的理論，后被一中提出一種歸納推理的理論，后被一 些統(tǒng)計學者發(fā)展為一種系統(tǒng)的統(tǒng)計推斷方法，稱些統(tǒng)計學者發(fā)展為一種系統(tǒng)的統(tǒng)計推斷方法，稱 為貝

9、葉斯方法。采用這種方法作統(tǒng)計推斷所得的為貝葉斯方法。采用這種方法作統(tǒng)計推斷所得的 全部結(jié)果，構(gòu)成貝葉斯統(tǒng)計的內(nèi)容。認為貝葉斯全部結(jié)果，構(gòu)成貝葉斯統(tǒng)計的內(nèi)容。認為貝葉斯 方法是唯一合理的統(tǒng)計推斷方法的統(tǒng)計學者，組方法是唯一合理的統(tǒng)計推斷方法的統(tǒng)計學者，組 成成數(shù)理統(tǒng)計學數(shù)理統(tǒng)計學中的貝葉斯學派，其形成可追溯到中的貝葉斯學派，其形成可追溯到 20世紀世紀30年代。到年代。到5060年代，已發(fā)展為一個年代，已發(fā)展為一個 有影響的學派。時至今日，其影響日益擴大。有影響的學派。時至今日，其影響日益擴大。 第1章貝葉斯統(tǒng)計原理及方法 本書共六章，可分二部分。前三章圍繞先驗分本書共六章，可分二部分。前三章圍

10、繞先驗分 布介紹貝葉斯推斷方法。后三章圍繞損失函數(shù)介紹布介紹貝葉斯推斷方法。后三章圍繞損失函數(shù)介紹 貝葉斯決策方法。閱讀這些內(nèi)容僅需要概率統(tǒng)計基貝葉斯決策方法。閱讀這些內(nèi)容僅需要概率統(tǒng)計基 本知識就夠了。本知識就夠了。 Byaes統(tǒng)計學派與經(jīng)典統(tǒng)計學派雖然有很大區(qū)別，統(tǒng)計學派與經(jīng)典統(tǒng)計學派雖然有很大區(qū)別， 但是它們各有優(yōu)缺點，各有其適用的范圍，作為研但是它們各有優(yōu)缺點，各有其適用的范圍，作為研 究者一定要博采眾長，以獲得一種更適合解決實際究者一定要博采眾長，以獲得一種更適合解決實際 問題的方法。而且，在不少情況下，二者得出的結(jié)問題的方法。而且，在不少情況下，二者得出的結(jié) 論在形式上是相同的。論

11、在形式上是相同的。 第1章貝葉斯統(tǒng)計原理及方法 一一 第1章貝葉斯統(tǒng)計原理及方法 統(tǒng)計學中有兩個主要學派：頻率學派與貝葉斯統(tǒng)計學中有兩個主要學派：頻率學派與貝葉斯 學派。下面從統(tǒng)計推斷的三種信息來說明他們之學派。下面從統(tǒng)計推斷的三種信息來說明他們之 間的區(qū)別與聯(lián)系。間的區(qū)別與聯(lián)系。 第1章貝葉斯統(tǒng)計原理及方法 經(jīng)典學派的觀點：經(jīng)典學派的觀點：統(tǒng)計推斷是根據(jù)樣本信息統(tǒng)計推斷是根據(jù)樣本信息 對總體分布或總體的特征數(shù)進行推斷，這里對總體分布或總體的特征數(shù)進行推斷，這里 用到兩種信息：用到兩種信息：總體信息總體信息和和樣本信息樣本信息； 貝葉斯學派的觀點：除了上述兩種信息以外，貝葉斯學派的觀點：除了上

12、述兩種信息以外， 統(tǒng)計推斷還應該使用第三種信息：先驗信息。統(tǒng)計推斷還應該使用第三種信息：先驗信息。 第1章貝葉斯統(tǒng)計原理及方法 一、總體信息，即總體分布或總體所屬分布給我們一、總體信息，即總體分布或總體所屬分布給我們 的信息。的信息。 例如：例如：”總體是正態(tài)分布總體是正態(tài)分布“ 說明：總體信息是很重要的信息，為了獲取此種信說明：總體信息是很重要的信息，為了獲取此種信 息往往耗資巨大。息往往耗資巨大。 二、樣本信息，即從總體抽取的樣本給我們的信息。二、樣本信息，即從總體抽取的樣本給我們的信息。 （愈多愈好）（愈多愈好） 人們希望通過對樣本的加工和處理對總體的某些特人們希望通過對樣本的加工和處理

13、對總體的某些特 征做出較為精確的統(tǒng)計推斷。征做出較為精確的統(tǒng)計推斷。 例：有了樣本觀察值，我們可根據(jù)它大概知道總體例：有了樣本觀察值，我們可根據(jù)它大概知道總體 的一些特征數(shù)（均值、方差等）在一個什么范圍內(nèi)。的一些特征數(shù)（均值、方差等）在一個什么范圍內(nèi)。 第1章貝葉斯統(tǒng)計原理及方法 經(jīng)典統(tǒng)計學：基于以上兩種信息進行的統(tǒng)計推斷被稱經(jīng)典統(tǒng)計學：基于以上兩種信息進行的統(tǒng)計推斷被稱 為經(jīng)典統(tǒng)計學。為經(jīng)典統(tǒng)計學。 說明：它的基本觀點是把數(shù)據(jù)（樣本）看成是來自具說明：它的基本觀點是把數(shù)據(jù)（樣本）看成是來自具 有一定概率分布的總體，所研究對象是這個總體而不有一定概率分布的總體，所研究對象是這個總體而不 局限于

14、數(shù)據(jù)本身。局限于數(shù)據(jù)本身。 據(jù)現(xiàn)有資料看，這方面最早的工作是高斯和勒讓德德?lián)F(xiàn)有資料看，這方面最早的工作是高斯和勒讓德德 誤差分析、正態(tài)分布和最小二乘法。從十九世紀末期誤差分析、正態(tài)分布和最小二乘法。從十九世紀末期 到二十世紀中葉，經(jīng)皮爾遜、費歇和奈曼等人杰出的到二十世紀中葉，經(jīng)皮爾遜、費歇和奈曼等人杰出的 工作創(chuàng)立了經(jīng)典統(tǒng)計學。工作創(chuàng)立了經(jīng)典統(tǒng)計學。 隨著經(jīng)典統(tǒng)計學的持續(xù)發(fā)展與廣泛應用，它本身的缺隨著經(jīng)典統(tǒng)計學的持續(xù)發(fā)展與廣泛應用，它本身的缺 陷也逐漸暴露出來了。陷也逐漸暴露出來了。 第1章貝葉斯統(tǒng)計原理及方法 （1）總體信息:總體分布提供的信息。 （2）樣本信息:抽取樣本所得觀測值提供的信

15、息。 （3）先驗信息:人們在試驗之前對要做的問題在經(jīng) 驗上和資料上總是有所了解的，這些信息對 統(tǒng)計推斷是有益的。先驗信息即是抽樣（試 驗）之前有關(guān)統(tǒng)計問題的一些信息。一般說 來，先驗信息來源于經(jīng)驗和歷史資料。先驗 信息在日常生活和工作中是很重要的。 第1章貝葉斯統(tǒng)計原理及方法 貝葉斯學派的觀點：除了上述兩種信息以外，統(tǒng)貝葉斯學派的觀點：除了上述兩種信息以外，統(tǒng) 計推斷還應該使用第三種信息：先驗信息。計推斷還應該使用第三種信息：先驗信息。 三、先驗信息，即是抽樣（試驗）之前有關(guān)統(tǒng)計三、先驗信息，即是抽樣（試驗）之前有關(guān)統(tǒng)計 問題的一些信息。問題的一些信息。 一般說來，先驗信息來源于經(jīng)驗和歷史資料

16、。先一般說來，先驗信息來源于經(jīng)驗和歷史資料。先 驗驗信息在日常生活和工作中是很重要的。信息在日常生活和工作中是很重要的。 人們在試驗之前對要做的問題在經(jīng)人們在試驗之前對要做的問題在經(jīng)驗上和資料上驗上和資料上 總是有所了解的，這些信息對總是有所了解的，這些信息對統(tǒng)計推斷是有益的。統(tǒng)計推斷是有益的。 第1章貝葉斯統(tǒng)計原理及方法 例例1.1 1.1 英國統(tǒng)計學家英國統(tǒng)計學家SavageSavage曾考察如下曾考察如下2 2個統(tǒng)計實驗：個統(tǒng)計實驗： A A。一位常飲牛奶加茶的婦女聲稱，她能辨別先倒進。一位常飲牛奶加茶的婦女聲稱，她能辨別先倒進 杯子里的是茶還是牛奶。對此做了杯子里的是茶還是牛奶。對此做

17、了1010次試驗，她都正次試驗，她都正 確地說出了。確地說出了。 B B。一位音樂家聲稱，他能從一頁樂譜辨別出是海頓。一位音樂家聲稱，他能從一頁樂譜辨別出是海頓 還是莫扎特的作品。在還是莫扎特的作品。在1010次這樣的試驗中，他都能正次這樣的試驗中，他都能正 確辨別。確辨別。 在這兩個統(tǒng)計試驗中，假如認為被試驗者是在猜在這兩個統(tǒng)計試驗中，假如認為被試驗者是在猜 測，每次成功的概率為測，每次成功的概率為0.50.5，那么，那么1010次都猜中的概率次都猜中的概率 為為2 2-10 -10=0.0009766 =0.0009766，這是一個很小的概率，是幾乎不，這是一個很小的概率，是幾乎不 可能發(fā)

18、生的，所以可能發(fā)生的，所以 “每次成功概率為每次成功概率為0.50.5”的假設(shè)應的假設(shè)應 該被拒絕。該被拒絕。 被試驗者每次成功的概率要比被試驗者每次成功的概率要比0.50.5大得多。這不是猜大得多。這不是猜 測，而是他們的經(jīng)驗在幫了他們的忙。測，而是他們的經(jīng)驗在幫了他們的忙。 第1章貝葉斯統(tǒng)計原理及方法 例例1.21.2“免檢產(chǎn)品免檢產(chǎn)品”是怎樣決定的？某廠的產(chǎn)品每天都有是怎樣決定的？某廠的產(chǎn)品每天都有 抽驗幾件，獲得不合格品率抽驗幾件，獲得不合格品率的估計。在經(jīng)過一段時間的估計。在經(jīng)過一段時間 后就積累大量的資料，根據(jù)這些歷史資料（先驗信息的后就積累大量的資料，根據(jù)這些歷史資料（先驗信息的

19、 一種）對過去產(chǎn)品的不合格品率可構(gòu)造一個分布：一種）對過去產(chǎn)品的不合格品率可構(gòu)造一個分布： ni n i P i ,.,1 , 0,)( 這個對先驗信息進行加工獲得的分布今后稱為先驗分布。這個對先驗信息進行加工獲得的分布今后稱為先驗分布。 這個先驗分布是綜合了該廠過去產(chǎn)品的質(zhì)量情況。如果這個先驗分布是綜合了該廠過去產(chǎn)品的質(zhì)量情況。如果 這個分布的概率大部分集中在這個分布的概率大部分集中在=0附近，那么該產(chǎn)品可附近，那么該產(chǎn)品可 認為是認為是“信得過產(chǎn)品信得過產(chǎn)品”。假如以后的多次抽檢結(jié)果與歷。假如以后的多次抽檢結(jié)果與歷 史資料提供的先驗分布是一致的。使用單位就可以對它史資料提供的先驗分布是一致

20、的。使用單位就可以對它 做出做出“免檢產(chǎn)品免檢產(chǎn)品”的決定，或者每月抽檢一、二次就足的決定，或者每月抽檢一、二次就足 夠了，這就省去了大量的人力和物力。夠了，這就省去了大量的人力和物力。 可見歷史資料在統(tǒng)計推斷中應加以利用可見歷史資料在統(tǒng)計推斷中應加以利用 第1章貝葉斯統(tǒng)計原理及方法 基于上述三種信息進行統(tǒng)計推斷的統(tǒng)計學稱為貝葉斯統(tǒng)基于上述三種信息進行統(tǒng)計推斷的統(tǒng)計學稱為貝葉斯統(tǒng) 計學。計學。 它與經(jīng)典統(tǒng)計學的差別就在于是否利用先驗信息。它與經(jīng)典統(tǒng)計學的差別就在于是否利用先驗信息。 貝葉斯統(tǒng)計在重視使用總體信息和樣本信息的同時，貝葉斯統(tǒng)計在重視使用總體信息和樣本信息的同時， 還注意先驗信息的收

21、集、挖掘和加工，使它數(shù)量化，形還注意先驗信息的收集、挖掘和加工，使它數(shù)量化，形 成先驗分布，參加到統(tǒng)計推斷中來，以提高統(tǒng)計推斷的成先驗分布，參加到統(tǒng)計推斷中來，以提高統(tǒng)計推斷的 質(zhì)量。質(zhì)量。 忽視先驗信息的利用，有時是一種浪費，有時還會忽視先驗信息的利用，有時是一種浪費，有時還會 導出不合理的結(jié)論。導出不合理的結(jié)論。 在使用樣本信息上也是有差異的在使用樣本信息上也是有差異的. .貝葉斯學派重視已貝葉斯學派重視已 出現(xiàn)的樣本觀察值出現(xiàn)的樣本觀察值, ,而對尚未發(fā)生的樣本觀察值不予考而對尚未發(fā)生的樣本觀察值不予考 慮慮. . 第1章貝葉斯統(tǒng)計原理及方法 貝葉斯學派的基本觀點：任一未知量貝葉斯學派的

22、基本觀點：任一未知量都可看作隨機變都可看作隨機變 量，可用一個概率分布去描述，這個分布稱為先驗分布；量，可用一個概率分布去描述，這個分布稱為先驗分布； 在獲得樣本之后，總體分布、樣本與先驗分布通過貝葉在獲得樣本之后，總體分布、樣本與先驗分布通過貝葉 斯公式結(jié)合起來得到一個關(guān)于未知量斯公式結(jié)合起來得到一個關(guān)于未知量新的分布新的分布后驗后驗 分布分布；任何關(guān)于；任何關(guān)于的統(tǒng)計推斷都應該基于的統(tǒng)計推斷都應該基于的后驗分布的后驗分布 進行。進行。 因為任一未知量都有不確定性，而在表述不確因為任一未知量都有不確定性，而在表述不確 定性程度時，概率與概率分布是最好的語言。定性程度時，概率與概率分布是最好的

23、語言。 例例1.21.2中產(chǎn)品的不合格品率中產(chǎn)品的不合格品率是未知量，但每天都是未知量，但每天都 有一些變化，把它看做一個隨機變量是合適的，有一些變化，把它看做一個隨機變量是合適的， 用一個概率分布去描述它也是很恰當?shù)?。用一個概率分布去描述它也是很恰當?shù)摹?第1章貝葉斯統(tǒng)計原理及方法 例例1.3 1.3 學生估計一新教師的年齡。學生估計一新教師的年齡。 依據(jù)學生們的生活經(jīng)歷，在看了新教師的照片后會立依據(jù)學生們的生活經(jīng)歷，在看了新教師的照片后會立 即有反應：即有反應：“新教師的年齡在新教師的年齡在3030歲到歲到5050歲之間，極有歲之間，極有 可能在可能在4040歲左右。歲左右。”一位統(tǒng)計學家

24、與學生們交談，明一位統(tǒng)計學家與學生們交談，明 確這句話中確這句話中“左右左右”為為3 3歲，歲，“極有可能極有可能”可理解為可理解為 9090的把握。于是學生們對新教師的年齡（未知量）的把握。于是學生們對新教師的年齡（未知量） 的認識（先驗信息）可綜合為圖的認識（先驗信息）可綜合為圖1.11.1所示的概率分布，所示的概率分布， 這也是學生們對未知量（新教師的年齡）的概率表述。這也是學生們對未知量（新教師的年齡）的概率表述。 這里有兩個問題需要進一步討論。這里有兩個問題需要進一步討論。 第一，按圖第一，按圖1.11.1所示的概率分布我們可談論未知量所示的概率分布我們可談論未知量位于位于 某個區(qū)間

25、的概率。某個區(qū)間的概率。 例例位于位于3737到到4343歲間的概率為歲間的概率為0.90.9。 可這個陳述在經(jīng)典統(tǒng)計中是不允許的。可這個陳述在經(jīng)典統(tǒng)計中是不允許的。 在實際中類似的說法經(jīng)常聽到。在實際中類似的說法經(jīng)常聽到。 第1章貝葉斯統(tǒng)計原理及方法 第二，按圖第二，按圖1.11.1中的概率不是在大量重復試驗中獲得的，中的概率不是在大量重復試驗中獲得的， 而是學生們根據(jù)自己的生活經(jīng)歷的積累對該事件發(fā)生可而是學生們根據(jù)自己的生活經(jīng)歷的積累對該事件發(fā)生可 能性所給出的信念，這樣給出的概率在貝葉斯統(tǒng)計中是能性所給出的信念，這樣給出的概率在貝葉斯統(tǒng)計中是 允許的，并稱為主觀概率。（它也符合概率的三條

26、公允許的，并稱為主觀概率。（它也符合概率的三條公 理）。這一點頻率學派是頻率學派難以接受的，他們認理）。這一點頻率學派是頻率學派難以接受的，他們認 為經(jīng)典統(tǒng)計學使用大量重復試驗的頻率來確定概率，是為經(jīng)典統(tǒng)計學使用大量重復試驗的頻率來確定概率，是 “客觀的客觀的”，因此符合科學的要求，而認為貝葉斯統(tǒng)計，因此符合科學的要求，而認為貝葉斯統(tǒng)計 是是“主觀的主觀的”，因而（至多）只對個人決策有用。這是，因而（至多）只對個人決策有用。這是 當前對貝葉斯統(tǒng)計的主要批評。當前對貝葉斯統(tǒng)計的主要批評。 兩學派在一些問題上的爭論將在后面逐步介紹。兩學派在一些問題上的爭論將在后面逐步介紹。 第1章貝葉斯統(tǒng)計原理及

27、方法 Byaes Byaes統(tǒng)計學派與經(jīng)典統(tǒng)計學派在很多問題上都有統(tǒng)計學派與經(jīng)典統(tǒng)計學派在很多問題上都有 分歧但是它們最根本的分歧是分歧但是它們最根本的分歧是: : 第一，是否利用先驗信息。由于產(chǎn)品的設(shè)計、生產(chǎn)都有第一，是否利用先驗信息。由于產(chǎn)品的設(shè)計、生產(chǎn)都有 一定的繼承性，這樣就存在許多相關(guān)產(chǎn)品的信息以及先一定的繼承性，這樣就存在許多相關(guān)產(chǎn)品的信息以及先 驗信息可以利用，驗信息可以利用，ByaesByaes統(tǒng)計學派認為利用這些先驗信統(tǒng)計學派認為利用這些先驗信 息不僅可以減少樣本容量，而且在很多情況還可以提高息不僅可以減少樣本容量，而且在很多情況還可以提高 統(tǒng)計精度；而經(jīng)典統(tǒng)計學派忽略了這些

28、信息。統(tǒng)計精度；而經(jīng)典統(tǒng)計學派忽略了這些信息。 第二，是否將參數(shù)第二，是否將參數(shù) 看成隨機變量?？闯呻S機變量。ByaesByaes統(tǒng)計學派的最統(tǒng)計學派的最 基本的觀點是基本的觀點是: :任一未知量任一未知量 都可以看成隨機變量，可以都可以看成隨機變量，可以 用一個概率分布去描述，這個分布就是先驗分布。因為用一個概率分布去描述，這個分布就是先驗分布。因為 任一未知量都具有不確定性，而在表述不確定性時，概任一未知量都具有不確定性，而在表述不確定性時，概 率與概率分布是最好的語言；相反，經(jīng)典統(tǒng)計學派卻把率與概率分布是最好的語言；相反，經(jīng)典統(tǒng)計學派卻把 未知量未知量 就簡單看成一個未知參數(shù)，來對它進行

29、統(tǒng)計推就簡單看成一個未知參數(shù)，來對它進行統(tǒng)計推 斷。斷。 第1章貝葉斯統(tǒng)計原理及方法 理解貝葉斯統(tǒng)計學與經(jīng)典統(tǒng)計學的主要差理解貝葉斯統(tǒng)計學與經(jīng)典統(tǒng)計學的主要差 別。別。 貝葉斯統(tǒng)計學派的最基本的觀點貝葉斯統(tǒng)計學派的最基本的觀點。 第1章貝葉斯統(tǒng)計原理及方法 1.2貝葉斯公式貝葉斯公式 一、貝葉斯一、貝葉斯 公式的密度函數(shù)形式公式的密度函數(shù)形式 1.1.總體依賴于參數(shù)總體依賴于參數(shù)的概率函數(shù)在貝葉斯統(tǒng)計中記的概率函數(shù)在貝葉斯統(tǒng)計中記 為為P (x | )，它表示在隨機變量，它表示在隨機變量取某個給定值取某個給定值 時總體的條件概率函數(shù)；時總體的條件概率函數(shù)； 2.2.根據(jù)參數(shù)根據(jù)參數(shù)的先驗信息可

30、確定的先驗信息可確定先驗分布先驗分布 ()； 3.3.從貝葉斯觀點看，樣本從貝葉斯觀點看，樣本 x=（x1, x2 , , xn ）的產(chǎn)的產(chǎn) 生分兩步進行生分兩步進行: :首先從先驗分布首先從先驗分布 ()產(chǎn)生一個樣產(chǎn)生一個樣 本本 0，然后從 ，然后從P (x | 0)中中產(chǎn)生一組樣本。這時樣產(chǎn)生一組樣本。這時樣 本的聯(lián)合條件概率函數(shù)為本的聯(lián)合條件概率函數(shù)為 0 (|) 0 1 (|) n i i p xp x 這個分布綜合了總體信息和樣本信息，常稱為似然函數(shù)。這個分布綜合了總體信息和樣本信息，常稱為似然函數(shù)。 第1章貝葉斯統(tǒng)計原理及方法 0 是未知的，它是按先驗分布 是未知的，它是按先驗分

31、布 ( )產(chǎn)生的。為把先產(chǎn)生的。為把先 驗信息綜合進去，不能只考慮驗信息綜合進去，不能只考慮 0，對 ，對 的其它值發(fā)生的其它值發(fā)生 的可能性也要加以考慮，故要用的可能性也要加以考慮，故要用 ( )進行綜合。這進行綜合。這 樣一來，樣本樣一來，樣本x=（x1 , , xn）和參數(shù)和參數(shù)的聯(lián)合分布為的聯(lián)合分布為: : h(x, ) = p(x ) ( )， 這個聯(lián)合分布把總體信息、樣本信息和先驗信息三這個聯(lián)合分布把總體信息、樣本信息和先驗信息三 種可用信息都綜合進去了。種可用信息都綜合進去了。 第1章貝葉斯統(tǒng)計原理及方法 5.5.我們的任務是對未知數(shù)我們的任務是對未知數(shù) 作出推斷。在沒有樣本信作

32、出推斷。在沒有樣本信 息時，人們只能依據(jù)先驗分布對息時，人們只能依據(jù)先驗分布對 作出推斷。在有作出推斷。在有 了樣本觀察值了樣本觀察值x=( x1, x2 , , xn )之后，則應依據(jù)之后，則應依據(jù) h(x , )對對 作出推斷。由于作出推斷。由于 h(x , ) = ( x )m(x)， 其中其中 是是x= =(x1, x2 , , xn )的邊際概率函數(shù)，它與的邊際概率函數(shù)，它與 無關(guān)，無關(guān)， 不含不含 的任何信息。因此能用來對的任何信息。因此能用來對 作出推斷的僅作出推斷的僅 是條件分布是條件分布 ( x)，它的計算公式是，它的計算公式是 111 (,)(, )(,| ) ( ) nn

33、n m xxh xxdp xxd ( , )(|) ( ) ( |)(1.1) ( )(|) ( ) h xp x x m xp xd 這就是貝葉斯公式的密度函數(shù)形式。這就是貝葉斯公式的密度函數(shù)形式。 第1章貝葉斯統(tǒng)計原理及方法 這個條件分布稱為這個條件分布稱為 的后驗分布的后驗分布, ,它集中了總體、它集中了總體、 樣本和先驗中有關(guān)樣本和先驗中有關(guān) 的一切信息的一切信息, ,而又是排除一而又是排除一 切與切與 無關(guān)的信息之后得到的結(jié)果。無關(guān)的信息之后得到的結(jié)果。 后驗分布后驗分布 ( x )的計算公式就是用密度函數(shù)表的計算公式就是用密度函數(shù)表 示的貝葉斯公式。它是用總體和樣本對先驗分示的貝葉

34、斯公式。它是用總體和樣本對先驗分 布布 ( )作調(diào)整的結(jié)果，貝葉斯統(tǒng)計的一切推斷作調(diào)整的結(jié)果，貝葉斯統(tǒng)計的一切推斷 都基于后驗分布進行。都基于后驗分布進行。 第1章貝葉斯統(tǒng)計原理及方法 6.6.在在 是離散型隨機變量時，先驗分布可用先驗分布是離散型隨機變量時，先驗分布可用先驗分布 列列 ( i)，i=1,2,，表示。這時后驗分布也是離散形表示。這時后驗分布也是離散形 式式 (|) () (|)1,2,.(1.2) (|) () ii i jj j p x xi p x 假如總體假如總體X X也是離散的，只要把（也是離散的，只要把（1.11.1）或（）或（1.21.2） 中的密度函數(shù)中的密度函數(shù)

35、p(p(x) )作為概率函數(shù)作為概率函數(shù)p p( (X=x ) )即可。即可。 第1章貝葉斯統(tǒng)計原理及方法 二、后驗分布式三種信息的綜合二、后驗分布式三種信息的綜合 一般說來，先驗分布一般說來，先驗分布 ( ( ) )是反映人們抽樣前對的是反映人們抽樣前對的 認識，后驗分布認識，后驗分布 ( x )是反映人們在抽樣后對是反映人們在抽樣后對 的認的認 識。它們之間的差異是由于樣本識。它們之間的差異是由于樣本x出現(xiàn)后人們對出現(xiàn)后人們對 認識認識 的一種調(diào)整。所以后驗分布的一種調(diào)整。所以后驗分布 ( x )可以看做是人們用可以看做是人們用 總體信息和樣本信息（綜合稱為抽樣信息）對總體信息和樣本信息（

36、綜合稱為抽樣信息）對 ( )作作 調(diào)整的結(jié)果。調(diào)整的結(jié)果。 第1章貝葉斯統(tǒng)計原理及方法 例例1.4. 設(shè)某事件設(shè)某事件A A在一次試驗中發(fā)生的概率為在一次試驗中發(fā)生的概率為 ，為估，為估 計計 ，對試驗進行了，對試驗進行了n次獨立觀測，其中事件次獨立觀測，其中事件A發(fā)生了發(fā)生了 X次，顯然次，顯然 X b(n, )，即，即 這是似然函數(shù)。這是似然函數(shù)。 假若我們在試驗前對事件假若我們在試驗前對事件A沒有什么了解，從而對其發(fā)沒有什么了解，從而對其發(fā) 生的概率生的概率 也沒有任何信息。在這種場合，貝葉斯本也沒有任何信息。在這種場合，貝葉斯本 人建議采用人建議采用“同等無知同等無知”的原則使用區(qū)間的

37、原則使用區(qū)間（0,1）上上 的均勻分布的均勻分布U(0,1)作為作為 的先驗分布，因為它取的先驗分布，因為它?。?,1） 上的每一點的機會均等。貝葉斯的這個建議被后人稱上的每一點的機會均等。貝葉斯的這個建議被后人稱 為貝葉斯假設(shè)。為貝葉斯假設(shè)。 (| )(1),0,1, xn x n P Xxxn x 的先驗分布為的先驗分布為 其其它它, 0 10 , 1 )( 第1章貝葉斯統(tǒng)計原理及方法 由此即可利用貝葉斯公式求出由此即可利用貝葉斯公式求出 的后驗分布。具的后驗分布。具 體如下：先寫出體如下：先寫出X和和 的聯(lián)合分布的聯(lián)合分布 然后求然后求X的邊際分布的邊際分布 最后求出最后求出 的后驗分布

38、的后驗分布 最后的結(jié)果說明最后的結(jié)果說明 的后驗分布為的后驗分布為Be(x+1,n-x+1)， ( , )(1),0,1, ,01 xn x n h xxn x 1 0 (1) (1) ( )(1) (2) xn x nxnx m xd xn (1) 1(1) 1 ( , )(2) ( | )(1),01 ( )(1) (1) xn x h xn x m xxnx 第1章貝葉斯統(tǒng)計原理及方法 例例1.5. 1.5. 為了提高某產(chǎn)品的質(zhì)量，公司經(jīng)理考慮增加投為了提高某產(chǎn)品的質(zhì)量，公司經(jīng)理考慮增加投 資來改進生產(chǎn)設(shè)備，預計需投資資來改進生產(chǎn)設(shè)備，預計需投資9090萬元，但從投資效果萬元，但從投資效

39、果 看，下屬部門有看，下屬部門有2 2種意見：種意見： 1 1：改進設(shè)備后，高質(zhì)量產(chǎn)品可占改進設(shè)備后，高質(zhì)量產(chǎn)品可占9090 2 2：改進設(shè)備后，高質(zhì)量產(chǎn)品可占改進設(shè)備后，高質(zhì)量產(chǎn)品可占7070 經(jīng)理當然希望經(jīng)理當然希望 1 1發(fā)生，公司效益可得很大提高，投資改發(fā)生，公司效益可得很大提高，投資改 進設(shè)備是合算的。但根據(jù)下屬兩個部門過去建議被采納進設(shè)備是合算的。但根據(jù)下屬兩個部門過去建議被采納 的情況，經(jīng)理認為，的情況，經(jīng)理認為， 1 1的可信程度只有的可信程度只有4040， 2 2的可信的可信 程度是程度是6060。即。即 6 . 0)(, 4 . 0)( 21 這個都是經(jīng)理的主觀概率。經(jīng)理不

40、想僅用過去的經(jīng)驗來這個都是經(jīng)理的主觀概率。經(jīng)理不想僅用過去的經(jīng)驗來 決策，想慎重一些，通過小規(guī)模試驗后觀其結(jié)果再定。決策，想慎重一些，通過小規(guī)模試驗后觀其結(jié)果再定。 為此做了一項試驗，實驗結(jié)果（記為為此做了一項試驗，實驗結(jié)果（記為A A）如下：）如下： A A：試制：試制5 5個產(chǎn)品，全是高質(zhì)量產(chǎn)品個產(chǎn)品，全是高質(zhì)量產(chǎn)品 第1章貝葉斯統(tǒng)計原理及方法 經(jīng)理對此試驗結(jié)果很高興，希望用此試驗結(jié)果來修改他原經(jīng)理對此試驗結(jié)果很高興，希望用此試驗結(jié)果來修改他原 來對來對 1 1和和 2 2的看法，即要求后驗概率的看法，即要求后驗概率 ( 1x ) 和和 ( 2 x ) 。 ,590.09 .0)( 5 1

41、 AP 5 2 ()0.70.168,P A 1122 ( )() ( )() ( )0.337P AP AP A 111 ()() ( )( )0.700AP AP A 222 ()() ( )( )0.3AP AP A 所以所以 21 () 1()AA 或或 經(jīng)理根據(jù)試驗經(jīng)理根據(jù)試驗A A的信息調(diào)整自己的看法，把對的信息調(diào)整自己的看法，把對 1 1和和 2 2的的 可信程度由可信程度由0.40.4和和0.60.6調(diào)整到調(diào)整到0.70.7和和0.3.0.3.后者是綜合了經(jīng)后者是綜合了經(jīng) 理的主觀概率和試驗結(jié)果而獲得的，要比主觀概率更貼理的主觀概率和試驗結(jié)果而獲得的，要比主觀概率更貼 近當今的

42、實際，這就是貝葉斯公式的應用近當今的實際，這就是貝葉斯公式的應用 經(jīng)過試驗經(jīng)過試驗A A后，經(jīng)理對增加投資改進質(zhì)量的興趣增大。但后，經(jīng)理對增加投資改進質(zhì)量的興趣增大。但 因投資額大，還想再做一次小規(guī)模試驗，觀此結(jié)果在最決因投資額大，還想再做一次小規(guī)模試驗，觀此結(jié)果在最決 策。為此又做了一批試驗，試驗結(jié)果（記為策。為此又做了一批試驗，試驗結(jié)果（記為B B）如下：）如下： 第1章貝葉斯統(tǒng)計原理及方法 9 1 ()100.90.10.387,P B 9 2 () 10 0.70.30.121,P B 1122 ( )() ( )() ( )0.307P BP BP B 111 ()() ( )( )

43、0.883BP bP B 2 () 0.117B 所以所以 經(jīng)理看到經(jīng)過兩次試驗，經(jīng)理看到經(jīng)過兩次試驗， 1 1（高質(zhì)量產(chǎn)品可占高質(zhì)量產(chǎn)品可占9090 ） 的可信程度由的可信程度由0.40.4調(diào)整到調(diào)整到0.8830.883，他能以，他能以88.388.3的把握保的把握保 證此項投資能取得較大經(jīng)濟效益。證此項投資能取得較大經(jīng)濟效益。 B B：試制：試制1010個產(chǎn)品，有個產(chǎn)品，有9 9個是高質(zhì)量產(chǎn)品個是高質(zhì)量產(chǎn)品 12 ()0.7, ()0.3 第1章貝葉斯統(tǒng)計原理及方法 利用貝葉斯公式會由先驗分布求后驗分布。利用貝葉斯公式會由先驗分布求后驗分布。 練習練習1.21.2 作業(yè)：作業(yè)：1.11.

44、1，1.7(1.7(概率統(tǒng)計中的概率統(tǒng)計中的6.46.4的課后題的課后題) ) 第1章貝葉斯統(tǒng)計原理及方法 1.3共軛先驗分布共軛先驗分布 一、共軛先驗分布一、共軛先驗分布 例例1.41.4中中X X b b( (n n, , ) ) ，先驗分布為，先驗分布為U(0,1),U(0,1),即即Be(1,1)Be(1,1) 后驗分布后驗分布Be(Be(x+1,+1,n- -x+1) ,+1) ,其中其中x為為n次獨立試驗中成功出次獨立試驗中成功出 現(xiàn)的次數(shù)現(xiàn)的次數(shù). . Be(Be(, ,) ) Be(Be(+ +x, ,+ +n- - x) ) 定義定義1.1 1.1 設(shè)設(shè) 是總體分布中的參數(shù)（

45、或參數(shù)向量），是總體分布中的參數(shù)（或參數(shù)向量）， ( ( ) )是是 的先驗密度函數(shù)，假如由抽樣信息算得的后驗的先驗密度函數(shù)，假如由抽樣信息算得的后驗 密度函數(shù)與密度函數(shù)與 ( ( ) )有相同的函數(shù)形式，則稱有相同的函數(shù)形式，則稱 ( ( ) )是是 的共的共 軛先驗分布。軛先驗分布。 注意：共軛先驗分布是對某一分布中的參數(shù)而言的。注意：共軛先驗分布是對某一分布中的參數(shù)而言的。 離開指定參數(shù)及其所在的分布去談論共軛先驗分布是離開指定參數(shù)及其所在的分布去談論共軛先驗分布是 沒有意義的沒有意義的. . 第1章貝葉斯統(tǒng)計原理及方法 例例1.6 1.6 正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布正

46、態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布. . 設(shè)設(shè)x1 1, , x2 2, , ,xn是來自正態(tài)分布是來自正態(tài)分布N( ,2)的一個樣本觀的一個樣本觀 察值。其中察值。其中2已知。已知。 樣本的似然函數(shù)為：樣本的似然函數(shù)為： 2 2 1 11 ( | )exp() 22 n n i i p xx 取另一正態(tài)分布取另一正態(tài)分布N(N(, ,2 2) )作為正態(tài)均值作為正態(tài)均值 的先驗分布，即的先驗分布，即 2 2 1() ( )exp, 22 其中其中, ,2 2為已知。為已知。 第1章貝葉斯統(tǒng)計原理及方法 設(shè)設(shè)x= =（x1 1, , x2 2, , ,xn）與參數(shù)）與參數(shù) 的聯(lián)合密度函

47、數(shù)為的聯(lián)合密度函數(shù)為 1 2 2 22 1 111() ( , )exp() 222 n n in i h xx 樣本樣本x的邊際密度函數(shù)為的邊際密度函數(shù)為 2 2 (/) exp 2/ B A k A 1 2 2 2 ( )( , )m xh xdxk A 參數(shù)參數(shù) 的后驗分布為的后驗分布為 1/2 2 2(/) ()exp, 2/ B A x AA 其中其中 222 20 1022222 010 111 , xB An 這是參數(shù)為這是參數(shù)為1, 和和12 2的正態(tài)分布的正態(tài)分布 第1章貝葉斯統(tǒng)計原理及方法 222 20 1022222 010 111 , xB An 第1章貝葉斯統(tǒng)計原理及

48、方法 二、后驗分布的計算二、后驗分布的計算 (|)(|) ( )/( )xp xm x 參數(shù)參數(shù) 的后驗分布為的后驗分布為 由于由于m( (x) )不依賴于不依賴于 ，在計算的，在計算的 后驗分布中僅起到后驗分布中僅起到 一個正則化因子的作用。假如把一個正則化因子的作用。假如把m( (x) )省略，把貝葉斯省略，把貝葉斯 公式改寫為如下等價形式公式改寫為如下等價形式 ( |)(| ) ( )(1.9)xp x 其中其中“”表示兩邊僅差一個常數(shù)因子，一個不依賴于表示兩邊僅差一個常數(shù)因子，一個不依賴于 的常數(shù)因子。（的常數(shù)因子。（1.91.9）式右端雖不是正常的密度函數(shù)，但）式右端雖不是正常的密度

49、函數(shù)，但 他是后驗分布他是后驗分布 ( ( x）的核，在需要時可以利用適當?shù)姆降暮耍谛枰獣r可以利用適當?shù)姆?式計算出后驗密度，特別當看出式計算出后驗密度，特別當看出 ( ( x)x)的核就是某常用的核就是某常用 分布的核時，不用計算分布的核時，不用計算m( (x) )就可很快恢復所缺常數(shù)因子。就可很快恢復所缺常數(shù)因子。 注意：這在共軛先驗分布和非共軛先驗分布場合都可使用。注意：這在共軛先驗分布和非共軛先驗分布場合都可使用。 第1章貝葉斯統(tǒng)計原理及方法 例例1.6 1.6 正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布. . (|)(|) ( )/(

50、)xp xm x 2 (/) exp 2/ B A A 其中其中 222 20 1022222 010 111 , xB An 這是參數(shù)為這是參數(shù)為1, 和和2 2的正態(tài)分布的核的正態(tài)分布的核 (|) ( )p x 2 2 (/) exp 2/ B A k A 第1章貝葉斯統(tǒng)計原理及方法 例例1.7 1.7 二項分布中的成功概率二項分布中的成功概率 的共軛先驗分布是貝的共軛先驗分布是貝 塔分布。塔分布。 設(shè)總體中設(shè)總體中X b b( (n, , ) )，先驗分布先驗分布Be(Be(, ,) )， 的的后驗分布后驗分布(|)(|) ( )xp x 11 (1)(1) xn x 11 (1),01

51、 xn x 這是貝塔分布這是貝塔分布Be(Be(+ +x, ,+ +n- -x) ) 的核的核. . 的的后驗分布后驗分布 11 () ( | )(1),01 () () xn x n x xnx 第1章貝葉斯統(tǒng)計原理及方法 常用分布的核常用分布的核 （1 1）二項分布）二項分布b b( (n n, , ）的核）的核 (2)(2)泊松分布泊松分布P P（）的核）的核 （3 3）貝塔分布）貝塔分布Be(Be(, ,) )的核的核 （4 4）伽瑪分布）伽瑪分布Ga(Ga(, , ) )的核的核 （5 5）倒伽瑪分布）倒伽瑪分布I IGa(Ga(, , ) )的核的核 （6 6）正態(tài)分布正態(tài)分布N(

52、N( , , 2 2) )的核的核 (1) xn x xe 11 (1)xx 1x xe 1 1 x e x 2 2 () exp 2 x 熟悉后驗分布的核可以簡化后驗分布的計算。熟悉后驗分布的核可以簡化后驗分布的計算。 第1章貝葉斯統(tǒng)計原理及方法 三、共軛先驗分布的優(yōu)缺點三、共軛先驗分布的優(yōu)缺點 共軛先驗分布的有兩個優(yōu)點共軛先驗分布的有兩個優(yōu)點 1.1.計算方便。計算方便。 2.2.共軛先驗分布的一些參數(shù)可以得到很好的解釋。共軛先驗分布的一些參數(shù)可以得到很好的解釋。 例例1.8 1.8 “正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分 布布”的例子中，其

53、后驗均值為的例子中，其后驗均值為 222 20 102222 00 (1) ,xx n 后驗均值是樣本均值和先驗均值的加權(quán)平均。后驗均值是樣本均值和先驗均值的加權(quán)平均。 在處理正態(tài)分布是，方差的倒數(shù)發(fā)揮著重要的作用，并在處理正態(tài)分布是，方差的倒數(shù)發(fā)揮著重要的作用，并 稱其為精度。稱其為精度。 22222 10 1111 , n 這表明后驗均值是在先驗均值與樣本均值間采取折衷方案。這表明后驗均值是在先驗均值與樣本均值間采取折衷方案。 第1章貝葉斯統(tǒng)計原理及方法 例例1.91.9在在“ 二項分布中的成功概率二項分布中的成功概率 的共軛先驗分布的共軛先驗分布 是貝塔分布是貝塔分布”的例的例1.71.

54、7中，后驗分布中，后驗分布Be(Be(+ +x x, ,+ +n n- -x x) ) 的均值與方差為的均值與方差為 ( | ) (1) x Ex n nxx nnnn 2 ( | ) 1( | ) ()() ( | ) () (1)1 ExEx xnx Varx nnn 當當n與與x都較大，且都較大，且x/ /n接近某個常數(shù)時，有接近某個常數(shù)時，有 ( | ) x Ex n 1 ( | )1 xx Varx n nn 第1章貝葉斯統(tǒng)計原理及方法 注意：注意：1.1.在貝葉斯統(tǒng)計中，先驗分布的選擇應以合在貝葉斯統(tǒng)計中，先驗分布的選擇應以合 理性作為首要原則，計算上的方便與先驗的合理性理性作為首

55、要原則，計算上的方便與先驗的合理性 相比還是第二位的。相比還是第二位的。 2.2.在考慮到先驗的合理性之后，充分發(fā)揮共軛先驗在考慮到先驗的合理性之后，充分發(fā)揮共軛先驗 分布是常采用的策略。分布是常采用的策略。 第1章貝葉斯統(tǒng)計原理及方法 四、常用的共軛先驗分布四、常用的共軛先驗分布 共軛先驗分布的選取是由似然函數(shù)共軛先驗分布的選取是由似然函數(shù)L(L( ) )= =p( (x| | ) )中中 所含的所含的 因式所決定的，即選與似然函數(shù)（因式所決定的，即選與似然函數(shù)（ 的函數(shù)的函數(shù)) ) 具有相同的核的分布作為先驗分布。具有相同的核的分布作為先驗分布。 例例1.10 1.10 設(shè)設(shè)x1 1, ,

56、 x2 2, , ,xn是來自正態(tài)分布是來自正態(tài)分布N( ,2)的一個的一個 樣本觀察值。其中樣本觀察值。其中 已知已知,求方差求方差2的共軛先驗分布的共軛先驗分布 。 樣本的似然函數(shù)為：樣本的似然函數(shù)為： 2 2 1 11 ( | )exp() 22 n n i i p xx /2 2 22 1 11 exp() 2 n n i i x 第1章貝葉斯統(tǒng)計原理及方法 1 (, ),0 ( ) x p xxex 設(shè)設(shè)X服從伽瑪分布服從伽瑪分布GaGa( ( , , ) )，其中，其中 00為形狀參數(shù)為形狀參數(shù), , 0 0為尺度參數(shù)，其密度函數(shù)為為尺度參數(shù)，其密度函數(shù)為 Y=1/XY=1/X的密

57、度函數(shù)為的密度函數(shù)為 1 1 (, ),0 ( ) y p yey y 這個分布稱為倒伽瑪分布，記為這個分布稱為倒伽瑪分布，記為IGaIGa( ( , , ) )。 假如取倒伽瑪分布為假如取倒伽瑪分布為2的先驗分布，其中參數(shù)的先驗分布，其中參數(shù) , , 為已知，則其密度函數(shù)為為已知，則其密度函數(shù)為 2 1 2 2 1 (), ( ) e 第1章貝葉斯統(tǒng)計原理及方法 /2 2 22 1 11 ()exp() 2 n n i i p xx 2 1 2 2 1 (), ( ) e 2的后驗分布的后驗分布 為為 2 /21 22 222 1 111 ()exp(), 2 n n i i xxe 1/2

58、 2 22 1 111 exp() 2 n n i i x 這個分布為倒伽瑪分布這個分布為倒伽瑪分布 2 1 1 (,() ) 22 n i i n IGax 第1章貝葉斯統(tǒng)計原理及方法 若后驗分布若后驗分布 ( x)與與 ( )屬于同一個分布族，屬于同一個分布族， 則稱該分布族是則稱該分布族是 的共軛先驗分布的共軛先驗分布( (族族) )。 二項分布二項分布b(n, )中的成功概率中的成功概率 的共軛先驗分布的共軛先驗分布 是貝塔分布是貝塔分布Be(a,b)； 泊松分布泊松分布P( )中的均值中的均值 的共軛先驗分布是伽瑪?shù)墓曹椣闰灧植际琴が?分布分布Ga( , )； 指數(shù)分布中均值的倒數(shù)指

59、數(shù)分布中均值的倒數(shù) 的共軛先驗分布是伽瑪?shù)墓曹椣闰灧植际琴が?分布分布Ga( , )； 在方差已知時，正態(tài)均值在方差已知時，正態(tài)均值 的共軛先驗分布是正的共軛先驗分布是正 態(tài)分布態(tài)分布N( , 2); ; 在均值已知時，正態(tài)方差在均值已知時，正態(tài)方差 2的共軛先驗分布是的共軛先驗分布是 倒伽瑪分布倒伽瑪分布IGa( , )。 第1章貝葉斯統(tǒng)計原理及方法 第1章貝葉斯統(tǒng)計原理及方法 1.利用貝葉斯公式會由先驗分布求后驗分布利用貝葉斯公式會由先驗分布求后驗分布 2.記住常見的共軛先驗分布記住常見的共軛先驗分布 練習練習1.81.8，1.101.10 作業(yè)：作業(yè)：1.91.9，1.121.12 第1

60、章貝葉斯統(tǒng)計原理及方法 1.4 1.4 超參數(shù)及其確定超參數(shù)及其確定 定義：先驗分布中所含的未知參數(shù)稱為超參數(shù)。定義：先驗分布中所含的未知參數(shù)稱為超參數(shù)。 例例 成功概率的共軛先驗分布為成功概率的共軛先驗分布為Be(Be(, ,) )，它含有兩個超，它含有兩個超 參數(shù)參數(shù). . 注意：一般來說，共軛先驗分布含有超參數(shù)，而無信息先注意：一般來說，共軛先驗分布含有超參數(shù)，而無信息先 驗分布一般不含超參數(shù)。驗分布一般不含超參數(shù)。 共軛先驗分布是一種有信息的先驗分布，故其中所共軛先驗分布是一種有信息的先驗分布，故其中所 含的超參數(shù)應充分利用各種先驗信息來確定，下面結(jié)合含的超參數(shù)應充分利用各種先驗信息來