貝葉斯可靠性評(píng)估

1、貝葉斯可靠性評(píng)估貝葉斯可靠性評(píng)估第一節(jié)第一節(jié) 貝葉斯統(tǒng)計(jì)簡(jiǎn)介貝葉斯統(tǒng)計(jì)簡(jiǎn)介 1. 貝葉斯的基本出發(fā)點(diǎn)貝葉斯的基本出發(fā)點(diǎn) 2. 先驗(yàn)分布和后驗(yàn)分布先驗(yàn)分布和后驗(yàn)分布 3. 貝葉斯推斷貝葉斯推斷 4. 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法第二節(jié)第二節(jié) 常見故障分布下的貝葉斯推斷常見故障分布下的貝葉斯推斷 1. 二項(xiàng)分布的貝葉斯估計(jì)二項(xiàng)分布的貝葉斯估計(jì) 2. 指數(shù)分布的貝葉斯估計(jì)指數(shù)分布的貝葉斯估計(jì) Thomas Bayes (1702 1761) 第一節(jié)第一節(jié) 貝葉斯統(tǒng)計(jì)簡(jiǎn)介貝葉斯統(tǒng)計(jì)簡(jiǎn)介1.1 1.1 貝葉斯的基本出發(fā)點(diǎn)貝葉斯的基本出發(fā)點(diǎn)貝葉斯學(xué)派的最基本的觀點(diǎn)是：任一未知量都可看作一個(gè)貝葉斯學(xué)派的最基

2、本的觀點(diǎn)是：任一未知量都可看作一個(gè)隨機(jī)變量，應(yīng)該用一個(gè)概率分布去描述其未知狀況。在抽隨機(jī)變量，應(yīng)該用一個(gè)概率分布去描述其未知狀況。在抽樣前就有關(guān)于目標(biāo)變量的先驗(yàn)信息的概率陳述。這個(gè)概率樣前就有關(guān)于目標(biāo)變量的先驗(yàn)信息的概率陳述。這個(gè)概率分布被稱為先驗(yàn)分布，簡(jiǎn)稱先驗(yàn)分布被稱為先驗(yàn)分布，簡(jiǎn)稱先驗(yàn)( Prior )( Prior )。 總體信息總體信息 樣本信息樣本信息 經(jīng)典統(tǒng)計(jì)學(xué)經(jīng)典統(tǒng)計(jì)學(xué)總體信息總體信息 樣本信息樣本信息 先驗(yàn)信息先驗(yàn)信息 貝葉斯統(tǒng)計(jì)學(xué)貝葉斯統(tǒng)計(jì)學(xué)總體分布和總總體分布和總體所屬分布簇體所屬分布簇給出的信息給出的信息 從總體中抽從總體中抽取的樣本給取的樣本給出的信息出的信息 把數(shù)據(jù)把

3、數(shù)據(jù)(樣本樣本)看成是來看成是來自具有一定概率分布的自具有一定概率分布的總體，所研究的對(duì)象是總體，所研究的對(duì)象是這個(gè)總體而不局限于數(shù)這個(gè)總體而不局限于數(shù)據(jù)本身。據(jù)本身。 根據(jù)樣本的信根據(jù)樣本的信息來推斷總體的特征息來推斷總體的特征在抽樣之前有關(guān)統(tǒng)在抽樣之前有關(guān)統(tǒng)計(jì)問題的一些信息，計(jì)問題的一些信息，一般說來，先驗(yàn)信一般說來，先驗(yàn)信息主要來源于經(jīng)驗(yàn)息主要來源于經(jīng)驗(yàn)和歷史資料和歷史資料 重視先驗(yàn)信息的收重視先驗(yàn)信息的收集、挖掘和加工，集、挖掘和加工，并使之?dāng)?shù)量化，形并使之?dāng)?shù)量化，形成先驗(yàn)分布，然后成先驗(yàn)分布，然后結(jié)合樣本數(shù)據(jù)，得結(jié)合樣本數(shù)據(jù)，得到分布后驗(yàn)。到分布后驗(yàn)。貝葉斯可靠性評(píng)估貝葉斯可靠性評(píng)估

4、第一節(jié)第一節(jié) 貝葉斯統(tǒng)計(jì)簡(jiǎn)介貝葉斯統(tǒng)計(jì)簡(jiǎn)介 1. 貝葉斯的基本出發(fā)點(diǎn)貝葉斯的基本出發(fā)點(diǎn) 2. 先驗(yàn)分布和后驗(yàn)分布先驗(yàn)分布和后驗(yàn)分布 3. 貝葉斯推斷貝葉斯推斷 4. 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法第二節(jié)第二節(jié) 常見故障分布下的貝葉斯推斷常見故障分布下的貝葉斯推斷 1. 二項(xiàng)分布的貝葉斯估計(jì)二項(xiàng)分布的貝葉斯估計(jì) 2. 指數(shù)分布的貝葉斯估計(jì)指數(shù)分布的貝葉斯估計(jì)1.2 1.2 先驗(yàn)分布與后驗(yàn)分布先驗(yàn)分布與后驗(yàn)分布 貝葉斯公式貝葉斯公式 貝葉斯公式的事件形式貝葉斯公式的事件形式：設(shè)事件：設(shè)事件 互不相容，互不相容，并且并且 (必然事件必然事件)，則對(duì)于任一事件，則對(duì)于任一事件 ，有，有下面通過貝葉斯公式

5、密度形式，介紹貝葉斯方法的一般步下面通過貝葉斯公式密度形式，介紹貝葉斯方法的一般步驟：驟：1. 密度函數(shù)記為密度函數(shù)記為 ，它表示在隨機(jī)變量，它表示在隨機(jī)變量 給定某個(gè)給定某個(gè)值時(shí)，總體指標(biāo)值時(shí)，總體指標(biāo) 的條件分布。的條件分布。12,nA AA1niiA B1() (|)(|),(1,2, ).(1)() (|)iiinjjjP A P B AP A BinP A P B A( | )p xX2. 2. 根據(jù)根據(jù) 的先驗(yàn)信息確定的先驗(yàn)信息確定 的先驗(yàn)分布的先驗(yàn)分布 。3.3.從貝葉斯觀點(diǎn)來看，樣本從貝葉斯觀點(diǎn)來看，樣本 的產(chǎn)生要分兩步的產(chǎn)生要分兩步: :首先設(shè)想從先驗(yàn)分布首先設(shè)想從先驗(yàn)分布

6、中產(chǎn)生一個(gè)參數(shù)中產(chǎn)生一個(gè)參數(shù) ；第二步在；第二步在給定給定 下，從總體分布下，從總體分布 中產(chǎn)生一個(gè)樣本中產(chǎn)生一個(gè)樣本 該樣本發(fā)生的概率與如下聯(lián)合概率函數(shù)成正比，該樣本發(fā)生的概率與如下聯(lián)合概率函數(shù)成正比， 這個(gè)函數(shù)常稱為似然函數(shù)，記為這個(gè)函數(shù)常稱為似然函數(shù)，記為 。 4. 樣本和參數(shù)的聯(lián)合分布為樣本和參數(shù)的聯(lián)合分布為1.2 1.2 先驗(yàn)分布與后驗(yàn)分布先驗(yàn)分布與后驗(yàn)分布 1( ,)nxxx( ) ( | )p x1( ,)nxxx1( | )(| )niip xp x( )L( ) 5. 現(xiàn)在的任務(wù)是要對(duì)未知參數(shù)現(xiàn)在的任務(wù)是要對(duì)未知參數(shù) 作出統(tǒng)計(jì)推斷作出統(tǒng)計(jì)推斷: 在有樣本觀測(cè)值后，應(yīng)根據(jù)聯(lián)合分

7、布在有樣本觀測(cè)值后，應(yīng)根據(jù)聯(lián)合分布 對(duì)對(duì) 作出作出推斷，為此需要把推斷，為此需要把 作如下分解：作如下分解： 中不含中不含 的任何信息。因此能用來對(duì)的任何信息。因此能用來對(duì) 作出推斷的作出推斷的僅僅是條件分布僅僅是條件分布 ，其計(jì)算公式為，其計(jì)算公式為1.2 1.2 先先驗(yàn)分布與后驗(yàn)分布驗(yàn)分布與后驗(yàn)分布 ( , )( | ) ( )h xp x ( , )h x( , )h x( , )( | ) ( )h xhx m x( )m x( | )hx( , )( | ) ( )( | ).(2)( )( | ) ( )h xp xhxm xp xd 1.2 1.2 先先驗(yàn)分布與后驗(yàn)分布驗(yàn)分布與后

8、驗(yàn)分布這就是貝葉斯公式的密度函數(shù)形式。在樣本這就是貝葉斯公式的密度函數(shù)形式。在樣本 給定下，給定下，的條件分布被稱為的條件分布被稱為 的后驗(yàn)分布。的后驗(yàn)分布。 6. 當(dāng)當(dāng) 是離散隨機(jī)變量時(shí)，先驗(yàn)分布可用先驗(yàn)分布列是離散隨機(jī)變量時(shí)，先驗(yàn)分布可用先驗(yàn)分布列 表示。這時(shí)后驗(yàn)分布也是離散的，表示。這時(shí)后驗(yàn)分布也是離散的，例例 14.1 設(shè)事件設(shè)事件 的概率為的概率為 ，即，即 。為了估計(jì)。為了估計(jì)而作而作 次獨(dú)立觀測(cè)，其中事件次獨(dú)立觀測(cè)，其中事件 出現(xiàn)次數(shù)為出現(xiàn)次數(shù)為 ，顯，顯然，然， 服從二項(xiàng)分布服從二項(xiàng)分布 ，即，即 x( ),1,2,ii ( |) ( )(| ),1,2,(3)( |) ()i

9、iijjjp xhxip x A( )AnAXX( , )B n 的先驗(yàn)分布取的先驗(yàn)分布取 于是樣本于是樣本 與參數(shù)與參數(shù) 的聯(lián)合分布為的聯(lián)合分布為再計(jì)算再計(jì)算 的邊際分布的邊際分布 1.2 先驗(yàn)分布與后驗(yàn)分布先驗(yàn)分布與后驗(yàn)分布(| )(1),0,1, .xn xnP Xxxnx 1,01( )0, 其他場(chǎng)合。，X( , )(1),0,1, ,01.xn xnh xxnx X最后得到最后得到 的后驗(yàn)分布的后驗(yàn)分布該分布恰好是參數(shù)為該分布恰好是參數(shù)為 和和 的貝塔分布，記的貝塔分布，記為為 。1.2 先驗(yàn)分布與后驗(yàn)分布先驗(yàn)分布與后驗(yàn)分布1100( )( , )(1)(1) (1)1,0,1, .

10、(2)1xn xnm xh xddxnxnxxnxnn (1) 1(1) 1( , )(2)( | )(1),01.( )(1) (1)xn xh xnhxmxxn x 1x1nx(1,1)xnx共軛先驗(yàn)分布共軛先驗(yàn)分布 設(shè)設(shè) 是總體分布中的參數(shù)是總體分布中的參數(shù)( (或參數(shù)向量或參數(shù)向量) )， 是是 的先驗(yàn)的先驗(yàn)密度函數(shù)，假如由抽樣信息算得的后驗(yàn)密度函數(shù)與密度函數(shù)，假如由抽樣信息算得的后驗(yàn)密度函數(shù)與 有相同的函數(shù)形式，則稱有相同的函數(shù)形式，則稱 是是 的共軛先驗(yàn)分布。應(yīng)該的共軛先驗(yàn)分布。應(yīng)該指出，共軛先驗(yàn)分布是對(duì)某一分布中的參數(shù)而言的。指出，共軛先驗(yàn)分布是對(duì)某一分布中的參數(shù)而言的。 1.2

11、 先驗(yàn)分布與后驗(yàn)分布先驗(yàn)分布與后驗(yàn)分布( ) ( ) ( ) 共軛先驗(yàn)分布的優(yōu)點(diǎn)是計(jì)算方便，后驗(yàn)分布的一些參數(shù)，共軛先驗(yàn)分布的優(yōu)點(diǎn)是計(jì)算方便，后驗(yàn)分布的一些參數(shù)，特別是后驗(yàn)均值可得到很好的解釋；缺點(diǎn)是有時(shí)會(huì)出現(xiàn)誤特別是后驗(yàn)均值可得到很好的解釋；缺點(diǎn)是有時(shí)會(huì)出現(xiàn)誤用用 。 超參數(shù)的確定超參數(shù)的確定 先驗(yàn)分布中所含的未知參數(shù)稱為超參數(shù)。下面結(jié)合貝先驗(yàn)分布中所含的未知參數(shù)稱為超參數(shù)。下面結(jié)合貝塔分布來介紹幾種超參數(shù)的確定方法。塔分布來介紹幾種超參數(shù)的確定方法。1.2 先驗(yàn)分布與后驗(yàn)分布先驗(yàn)分布與后驗(yàn)分布例例 14.2 14.2 二項(xiàng)分布中成功概率二項(xiàng)分布中成功概率 的共軛先驗(yàn)分布是貝塔的共軛先驗(yàn)分布

12、是貝塔分布分布 ，其中，其中 是兩個(gè)超參數(shù)。下面介紹確定是兩個(gè)超參數(shù)。下面介紹確定 的幾種常用方法：的幾種常用方法： 1 1、先驗(yàn)矩方法、先驗(yàn)矩方法 若用先驗(yàn)信息能獲得成功概率若用先驗(yàn)信息能獲得成功概率 的若干估計(jì)值，記為的若干估計(jì)值，記為 ，一般它們可從歷史數(shù)據(jù)整理加工中獲得，由此，一般它們可從歷史數(shù)據(jù)整理加工中獲得，由此可計(jì)算前兩階先驗(yàn)矩可計(jì)算前兩階先驗(yàn)矩 ：然后令其分別等于貝塔分布的前兩階矩，解之，可得然后令其分別等于貝塔分布的前兩階矩，解之，可得1.2 先驗(yàn)分布與后驗(yàn)分布先驗(yàn)分布與后驗(yàn)分布( ,) , , 1,k12和2121111,.kkiiiikk 2 2、先驗(yàn)分位數(shù)方法、先驗(yàn)分位

13、數(shù)方法假如根據(jù)先驗(yàn)信息可以確定貝塔分布的兩個(gè)分位數(shù)，則可假如根據(jù)先驗(yàn)信息可以確定貝塔分布的兩個(gè)分位數(shù)，則可利用這兩個(gè)分位數(shù)來確定利用這兩個(gè)分位數(shù)來確定 。譬如用上、下四分位數(shù)。譬如用上、下四分位數(shù) 來確定來確定 ， 分別滿足如下兩個(gè)方程分別滿足如下兩個(gè)方程1.2 先驗(yàn)分布與后驗(yàn)分布先驗(yàn)分布與后驗(yàn)分布2121121222121,(1). , UL與, UL與110111()(1)0.25,( ) ( )()(1)0.25.( ) ( )LUdd從這兩個(gè)方程解出從這兩個(gè)方程解出 ，即可確定超參數(shù)。，即可確定超參數(shù)。3 3、先驗(yàn)均值和先驗(yàn)分位數(shù)方法、先驗(yàn)均值和先驗(yàn)分位數(shù)方法若能得到先驗(yàn)均值若能得到先

14、驗(yàn)均值 和先驗(yàn)分布的和先驗(yàn)分布的 分位數(shù)分位數(shù) ，則可列，則可列出下列方程出下列方程用數(shù)值方法求解上述方程組，即可得到超參數(shù)用數(shù)值方法求解上述方程組，即可得到超參數(shù) 的的數(shù)值解。數(shù)值解。1.2 先驗(yàn)分布與后驗(yàn)分布先驗(yàn)分布與后驗(yàn)分布, pp110,()(1).( ) ( )pdp, 后驗(yàn)的核后驗(yàn)的核 在給定樣本分布在給定樣本分布 和先驗(yàn)分布和先驗(yàn)分布 后，可用貝葉斯后，可用貝葉斯公式計(jì)算公式計(jì)算 的后驗(yàn)分布的后驗(yàn)分布由于由于 不依賴于不依賴于 ，在計(jì)算，在計(jì)算 的后驗(yàn)分布中僅起到一的后驗(yàn)分布中僅起到一個(gè)正則化因子的作用。假如把個(gè)正則化因子的作用。假如把 省略，把貝葉斯公式省略，把貝葉斯公式改寫為

15、如下等價(jià)形式改寫為如下等價(jià)形式(4)(4)右端稱為后驗(yàn)分布的核，一旦核知道了右端稱為后驗(yàn)分布的核，一旦核知道了, ,后驗(yàn)便知道了后驗(yàn)便知道了, ,因此經(jīng)常通過后驗(yàn)核的計(jì)算來簡(jiǎn)化后驗(yàn)分布的計(jì)算。因此經(jīng)常通過后驗(yàn)核的計(jì)算來簡(jiǎn)化后驗(yàn)分布的計(jì)算。1.2 先驗(yàn)分布與后驗(yàn)分布先驗(yàn)分布與后驗(yàn)分布( | )p x( ) ( | )( | ) ( )/( )hxp xm x 。 ( )m x( )m x( | )( | ) ( )(4)hxp x 。這部分講一個(gè)這部分講一個(gè)例子來說明。例子來說明。貝葉斯可靠性評(píng)估貝葉斯可靠性評(píng)估第一節(jié)第一節(jié) 貝葉斯統(tǒng)計(jì)簡(jiǎn)介貝葉斯統(tǒng)計(jì)簡(jiǎn)介 1. 貝葉斯的基本出發(fā)點(diǎn)貝葉斯的基本出發(fā)

16、點(diǎn) 2. 先驗(yàn)分布和后驗(yàn)分布先驗(yàn)分布和后驗(yàn)分布 3. 貝葉斯推斷貝葉斯推斷 4. 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法 第二節(jié)第二節(jié) 常見故障分布下的貝葉斯推斷常見故障分布下的貝葉斯推斷 1. 二項(xiàng)分布的貝葉斯估計(jì)二項(xiàng)分布的貝葉斯估計(jì) 2. 指數(shù)分布的貝葉斯估計(jì)指數(shù)分布的貝葉斯估計(jì) 從貝葉斯觀點(diǎn)看，后驗(yàn)分布從貝葉斯觀點(diǎn)看，后驗(yàn)分布 集總體信息、樣本集總體信息、樣本信息和先驗(yàn)信息于一體，全面描述了參數(shù)信息和先驗(yàn)信息于一體，全面描述了參數(shù) 的概率分布。的概率分布。因此有關(guān)參數(shù)因此有關(guān)參數(shù) 的點(diǎn)估計(jì)、區(qū)間估計(jì)、假設(shè)檢驗(yàn)等統(tǒng)計(jì)的點(diǎn)估計(jì)、區(qū)間估計(jì)、假設(shè)檢驗(yàn)等統(tǒng)計(jì)推斷應(yīng)該從后驗(yàn)分布推斷應(yīng)該從后驗(yàn)分布 按需要提取有

17、關(guān)信息。下面按需要提取有關(guān)信息。下面分別介紹貝葉斯點(diǎn)估計(jì)和區(qū)間估計(jì)。分別介紹貝葉斯點(diǎn)估計(jì)和區(qū)間估計(jì)。貝葉斯點(diǎn)估計(jì)貝葉斯點(diǎn)估計(jì) 參數(shù)參數(shù) 的點(diǎn)估計(jì)可選用后驗(yàn)分布的點(diǎn)估計(jì)可選用后驗(yàn)分布 的某個(gè)位置特的某個(gè)位置特征數(shù)。常用的有如下三種形式：征數(shù)。常用的有如下三種形式：1.1.后驗(yàn)期望后驗(yàn)期望 2. 后驗(yàn)中位數(shù)后驗(yàn)中位數(shù)3. 后驗(yàn)眾數(shù)后驗(yàn)眾數(shù)1.3 貝葉斯推斷貝葉斯推斷( | )hx( | )hx( | )hx一般場(chǎng)合下，這三種貝一般場(chǎng)合下，這三種貝葉斯估計(jì)是不同的。當(dāng)葉斯估計(jì)是不同的。當(dāng)后驗(yàn)密度函數(shù)對(duì)稱時(shí)，后驗(yàn)密度函數(shù)對(duì)稱時(shí)，這三種貝葉斯估計(jì)重合，這三種貝葉斯估計(jì)重合，譬如后驗(yàn)分布為正態(tài)分譬如后驗(yàn)分

18、布為正態(tài)分布。布。例例 14.5 為估計(jì)不合格品率為估計(jì)不合格品率 ，今從一批產(chǎn)品中隨機(jī)抽取，今從一批產(chǎn)品中隨機(jī)抽取 件，其中件，其中 不合格品數(shù)服從二項(xiàng)分布不合格品數(shù)服從二項(xiàng)分布 。若取貝。若取貝塔分布塔分布 作為的先驗(yàn)分布，且超參數(shù)作為的先驗(yàn)分布，且超參數(shù) 已知，則已知，則后驗(yàn)分布仍為貝塔分布后驗(yàn)分布仍為貝塔分布 。這時(shí)不合格品。這時(shí)不合格品率率 的后驗(yàn)眾數(shù)估計(jì)的后驗(yàn)眾數(shù)估計(jì) 和后驗(yàn)期望估計(jì)和后驗(yàn)期望估計(jì) 分別為分別為這兩個(gè)貝葉斯估計(jì)是不同的。這兩個(gè)貝葉斯估計(jì)是不同的。估計(jì)量的評(píng)價(jià)估計(jì)量的評(píng)價(jià) 1.3 貝葉斯推斷貝葉斯推斷nX( , )B n( ,) , (,)xnx maxEmax1,.

19、2Exxnn評(píng)價(jià)一個(gè)貝葉斯估計(jì)評(píng)價(jià)一個(gè)貝葉斯估計(jì) 的好壞，最好的方法是考察的好壞，最好的方法是考察均方差。具體定義如下：均方差。具體定義如下：設(shè)參數(shù)設(shè)參數(shù) 的后驗(yàn)分布為的后驗(yàn)分布為 ， 的貝葉斯估計(jì)為的貝葉斯估計(jì)為 ，則則 的后驗(yàn)期望的后驗(yàn)期望稱為稱為 的后驗(yàn)均方差。當(dāng)?shù)暮篁?yàn)均方差。當(dāng) 為后驗(yàn)期望估計(jì)為后驗(yàn)期望估計(jì) 時(shí)，后驗(yàn)均方差即為后驗(yàn)方差，即時(shí)，后驗(yàn)均方差即為后驗(yàn)方差，即其平方根其平方根 稱為后驗(yàn)標(biāo)準(zhǔn)差。稱為后驗(yàn)標(biāo)準(zhǔn)差。1.3 貝葉斯推斷貝葉斯推斷對(duì)( | )hx2()2|( | )() ,xMSExE( | )EEx( | )( | )MSExVarx1/2( | )Varx 的后驗(yàn)均方

20、差有如下分解的后驗(yàn)均方差有如下分解可見，可見， 的后驗(yàn)均值估計(jì)的后驗(yàn)均值估計(jì) 是使后驗(yàn)均方差達(dá)是使后驗(yàn)均方差達(dá)到最小的估計(jì)，所以實(shí)際中常取后驗(yàn)均值作為到最小的估計(jì)，所以實(shí)際中常取后驗(yàn)均值作為 的貝葉的貝葉斯估計(jì)。斯估計(jì)。注意注意: :評(píng)價(jià)貝葉斯估計(jì)的時(shí)候不用評(píng)價(jià)貝葉斯估計(jì)的時(shí)候不用“無偏性無偏性”? 因?yàn)樨惾~斯推斷是基于后驗(yàn)分布的統(tǒng)計(jì)推斷，這意味因?yàn)樨惾~斯推斷是基于后驗(yàn)分布的統(tǒng)計(jì)推斷，這意味著只考慮已出現(xiàn)的數(shù)據(jù)著只考慮已出現(xiàn)的數(shù)據(jù)( (樣本觀測(cè)值樣本觀測(cè)值) )，而推斷與未出現(xiàn)，而推斷與未出現(xiàn)的數(shù)據(jù)無關(guān)的數(shù)據(jù)無關(guān) 。1.3 貝葉斯推斷貝葉斯推斷2( | )( | )() .EMSExVarx(

21、 | )EEx貝葉斯區(qū)間估計(jì)貝葉斯區(qū)間估計(jì) 設(shè)參數(shù)設(shè)參數(shù) 的后驗(yàn)分布為的后驗(yàn)分布為 ，對(duì)給定樣本，對(duì)給定樣本 和概和概率率 ，若存在這樣的，若存在這樣的兩個(gè)統(tǒng)計(jì)量?jī)蓚€(gè)統(tǒng)計(jì)量 與與 ，使得，使得 則稱區(qū)間則稱區(qū)間 為參數(shù)為參數(shù) 的可信水平為的可信水平為 的貝葉斯可的貝葉斯可信區(qū)間，或簡(jiǎn)稱為信區(qū)間，或簡(jiǎn)稱為 的的 可信區(qū)間。可信區(qū)間。1.3 貝葉斯推斷貝葉斯推斷( | )hxx1(01)( )LLx( )UUx(| )1LUPx ,LU 11如滿足如滿足則則 稱為稱為 的的 ( (單側(cè)單側(cè)) )可信下限；相應(yīng)的滿足可信下限；相應(yīng)的滿足則則 稱為稱為 的的 ( (單側(cè)單側(cè)) )可信上限?？尚派舷蕖?

22、可信區(qū)間和可信水平與經(jīng)典統(tǒng)計(jì)的置信區(qū)間和置可信區(qū)間和可信水平與經(jīng)典統(tǒng)計(jì)的置信區(qū)間和置 信水平的區(qū)別與聯(lián)系？信水平的區(qū)別與聯(lián)系？ 可信區(qū)間不止一個(gè)，常用的有最大后驗(yàn)密度可信區(qū)間與可信區(qū)間不止一個(gè)，常用的有最大后驗(yàn)密度可信區(qū)間與等尾可信區(qū)間等等。等尾可信區(qū)間等等。1.3 貝葉斯推斷貝葉斯推斷(| )1LPx L1(| )1UPx U1最大后驗(yàn)密度可信區(qū)間最大后驗(yàn)密度可信區(qū)間 設(shè)參數(shù)設(shè)參數(shù) 的后驗(yàn)分布為的后驗(yàn)分布為 ，對(duì)于給定可信水，對(duì)于給定可信水平平 ，如果存在區(qū)域，如果存在區(qū)域 滿足下面兩個(gè)條件滿足下面兩個(gè)條件 1 1 2 2 任給任給 ，總有不等式，總有不等式 則稱則稱 是是 的最大后驗(yàn)密度區(qū)

23、域估計(jì)。如果的最大后驗(yàn)密度區(qū)域估計(jì)。如果 又是一個(gè)區(qū)又是一個(gè)區(qū)間，則稱為最大后驗(yàn)密度間，則稱為最大后驗(yàn)密度(HPD)(HPD)可信區(qū)間。可信區(qū)間。 1.3 貝葉斯推斷貝葉斯推斷( | )hx1(01)D(| )( | )1DPD xhx d 12,DD12(| )(| )hxhxDD示例：示例： 設(shè)設(shè) 是來自是來自 的一個(gè)樣本，未知參數(shù)的一個(gè)樣本，未知參數(shù)是是 ，求，求 的區(qū)間估計(jì)。的區(qū)間估計(jì)。 采用貝葉斯假設(shè)，這時(shí)采用貝葉斯假設(shè)，這時(shí)于是于是 的后驗(yàn)分布是逆伽瑪分布。將密度寫為如下形式的后驗(yàn)分布是逆伽瑪分布。將密度寫為如下形式1.3 貝葉斯推斷貝葉斯推斷1,nxx2( ,)N 222221(

24、| )exp() / (2) /nniihxx22221(| , )exp(/)( )()aaba bba 其中其中 注意到注意到 的密度是非對(duì)稱的，因此對(duì)稱地截的密度是非對(duì)稱的，因此對(duì)稱地截取分位點(diǎn)并不能得到最大后驗(yàn)密度區(qū)域。對(duì)于可信水平取分位點(diǎn)并不能得到最大后驗(yàn)密度區(qū)域。對(duì)于可信水平 ,該區(qū)域?yàn)橛蓾M足下列等式的該區(qū)域?yàn)橛蓾M足下列等式的 和和 構(gòu)成的區(qū)間構(gòu)成的區(qū)間(1) (1) (2)(2) 這一結(jié)果與經(jīng)典方法常見的置信區(qū)間不同。這一結(jié)果與經(jīng)典方法常見的置信區(qū)間不同。1.3 貝葉斯推斷貝葉斯推斷211,() / 22niinabx2(| , )a b 11c2c12 ,c c2122212(

25、)(| , )1ccP cca b d 12(| , )(| , )ca bca b假設(shè)檢驗(yàn)假設(shè)檢驗(yàn) 假設(shè)檢驗(yàn)是統(tǒng)計(jì)推斷中的一類重要問題。貝葉斯學(xué)派假設(shè)檢驗(yàn)是統(tǒng)計(jì)推斷中的一類重要問題。貝葉斯學(xué)派在處理這類問題上直截了當(dāng)。假設(shè)檢驗(yàn)問題如下在處理這類問題上直截了當(dāng)。假設(shè)檢驗(yàn)問題如下 這里這里 是參數(shù)空間是參數(shù)空間 中不相交的兩個(gè)非空子集。在獲中不相交的兩個(gè)非空子集。在獲得后驗(yàn)分布得后驗(yàn)分布 后，對(duì)原假設(shè)后，對(duì)原假設(shè) 和備擇假設(shè)和備擇假設(shè) ，分，分別計(jì)算后驗(yàn)概率別計(jì)算后驗(yàn)概率然后比較然后比較 與與 的大小，當(dāng)后驗(yàn)概率比的大小，當(dāng)后驗(yàn)概率比(或稱后驗(yàn)機(jī)會(huì)比或稱后驗(yàn)機(jī)會(huì)比)1.3 貝葉斯推斷貝葉斯推斷0

26、011:,:HH01與( | )hx0H1H(| ),0,1iiPxi01 時(shí)接受原假設(shè)時(shí)接受原假設(shè) ；當(dāng)；當(dāng) 時(shí)接受時(shí)接受備擇假設(shè)備擇假設(shè) ；當(dāng)；當(dāng) 時(shí)，不宜作出判斷，時(shí)，不宜作出判斷，尚需進(jìn)一步抽樣或進(jìn)一步搜集先驗(yàn)信息。尚需進(jìn)一步抽樣或進(jìn)一步搜集先驗(yàn)信息。例子：例子：1.3 貝葉斯推斷貝葉斯推斷01/10H01/11H01/1貝葉斯可靠性評(píng)估貝葉斯可靠性評(píng)估第一節(jié)第一節(jié) 貝葉斯統(tǒng)計(jì)簡(jiǎn)介貝葉斯統(tǒng)計(jì)簡(jiǎn)介 1. 貝葉斯的基本出發(fā)點(diǎn)貝葉斯的基本出發(fā)點(diǎn) 2. 先驗(yàn)分布和后驗(yàn)分布先驗(yàn)分布和后驗(yàn)分布 3. 貝葉斯推斷貝葉斯推斷 4. 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法第二節(jié)第二節(jié) 常見故障分布下的貝葉斯推斷常

27、見故障分布下的貝葉斯推斷 1. 二項(xiàng)分布的貝葉斯估計(jì)二項(xiàng)分布的貝葉斯估計(jì) 2. 指數(shù)分布的貝葉斯估計(jì)指數(shù)分布的貝葉斯估計(jì)經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法( (簡(jiǎn)稱簡(jiǎn)稱EBEB方法方法) )是是Robbins(1955)Robbins(1955)提出的，提出的，原意是折衷經(jīng)典學(xué)派和貝葉斯學(xué)派，原意是折衷經(jīng)典學(xué)派和貝葉斯學(xué)派，Neyman(1962)Neyman(1962)曾稱之曾稱之為統(tǒng)計(jì)判決的一大突破。為統(tǒng)計(jì)判決的一大突破。EB方法的基本思想方法的基本思想 用歷史樣本估計(jì)先驗(yàn)分布，以代替真正的先驗(yàn)分布，用歷史樣本估計(jì)先驗(yàn)分布，以代替真正的先驗(yàn)分布，進(jìn)行進(jìn)行BayesB

28、ayes分析。具體說來，分析。具體說來，EBEB方法即承認(rèn)參數(shù)是隨機(jī)變量，方法即承認(rèn)參數(shù)是隨機(jī)變量，但但又以經(jīng)典觀點(diǎn)利用歷史數(shù)據(jù)及當(dāng)前數(shù)據(jù)來得到參數(shù)的又以經(jīng)典觀點(diǎn)利用歷史數(shù)據(jù)及當(dāng)前數(shù)據(jù)來得到參數(shù)的BayesBayes解。解。 1.4 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法 表示歷史數(shù)據(jù)表示歷史數(shù)據(jù) 與參數(shù)與參數(shù) ，而，而 表示當(dāng)前數(shù)據(jù)表示當(dāng)前數(shù)據(jù) 與相應(yīng)的未知參數(shù)與相應(yīng)的未知參數(shù) 。這里。這里 的母體分布類型一樣，但因的母體分布類型一樣，但因 不一樣，而不是同不一樣，而不是同一母體，而一母體，而 服從同一未知的先驗(yàn)分布服從同一未知的先驗(yàn)分布 ，問題是建立一個(gè)依賴于問題是建立一個(gè)依賴于 的統(tǒng)計(jì)量來估計(jì)的統(tǒng)

29、計(jì)量來估計(jì) 記其估計(jì)為記其估計(jì)為 ，當(dāng)然希望，當(dāng)然希望 盡可能接近已盡可能接近已知知 時(shí)時(shí) 的的Bayes解。解。 1.4 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法( ;)iix12,nx xx1,n( ; )xx12,nx xxx1,n 1,n ( )G12,nx xxx1( , )nnxx xn( )G具體步驟具體步驟 記樣本為記樣本為 ，其母體的密度為，其母體的密度為 ，未知的先驗(yàn)，未知的先驗(yàn)分布函數(shù)記為分布函數(shù)記為 ，其密度為，其密度為 ，則，則 的邊的邊緣密度緣密度 為為 EB方法認(rèn)為樣本是從方法認(rèn)為樣本是從 抽取的，故可由抽取的，故可由 估計(jì)估計(jì) 或其特征，由于假設(shè)已知或其特征，由于假設(shè)已知

30、，則可由上式，則可由上式估計(jì)估計(jì) 或其特征，再由現(xiàn)在樣本去獲得或其特征，再由現(xiàn)在樣本去獲得 的的Bayes解。解。 1.4 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法X( | )p x( )G( )( )G X( )m x( )( | )( )m xp xdG( )m x1,nxx( )m x( | )p x( )G線性線性EB方法方法 令令 的的EB估計(jì)估計(jì) 是樣本是樣本 的線性函數(shù)的線性函數(shù) 若研究的概率分布滿足假定若研究的概率分布滿足假定 ?？梢宰C明可以證明 這樣，用過去樣本這樣，用過去樣本 的均值的均值 及樣本方差及樣本方差 估計(jì)估計(jì)1.4 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法xaxb2( | )Var x

31、abc2()() ()()1()(1)()c Var XabE Xc E XE XxE XcVar X1,nxxx2s 及及 ，得到，得到 的的EB估計(jì)估計(jì)顯然，泊松分布，二項(xiàng)分布，指數(shù)分布滿足前述假定。顯然，泊松分布，二項(xiàng)分布，指數(shù)分布滿足前述假定。對(duì)二項(xiàng)分布對(duì)二項(xiàng)分布 為成功數(shù)，為成功數(shù)， 為可靠性，則令為可靠性，則令 ，有，有1.4 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法()E X()Var X2221()(1)csabxcxxxxcs( |)(1)xn xnP x RRRx xRxtn(1)( |),( |)RRE t RR Var t Rn故故 ，因此，因此例例 進(jìn)行五組成敗型試驗(yàn)，每組試驗(yàn)進(jìn)

32、行五組成敗型試驗(yàn)，每組試驗(yàn) 次，試驗(yàn)成次，試驗(yàn)成功次數(shù)依次為功次數(shù)依次為18,20,17,18,1618,20,17,18,16，現(xiàn)試驗(yàn)，現(xiàn)試驗(yàn) 次，成功次，成功 次數(shù)次數(shù) ，求，求 的的LEBLEB估計(jì)估計(jì) 。解解：每組試驗(yàn)的成功概率：每組試驗(yàn)的成功概率1.4 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法10,abcn 2()(1)1(1)n ttttRtnns20n 20n 17x RR0.9,1.0,0.85,0.9,0.8iixtn因此因此 1.4 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法122110.89,1()0.0055,10.8550.89 0.110.891(0.85 0.89)45 0.00550.8

33、854niiniittnsttnxtnR貝葉斯可靠性評(píng)估貝葉斯可靠性評(píng)估第一節(jié)第一節(jié) 貝葉斯統(tǒng)計(jì)簡(jiǎn)介貝葉斯統(tǒng)計(jì)簡(jiǎn)介 1. 貝葉斯的基本出發(fā)點(diǎn)貝葉斯的基本出發(fā)點(diǎn) 2. 先驗(yàn)分布和后驗(yàn)分布先驗(yàn)分布和后驗(yàn)分布 3. 貝葉斯推斷貝葉斯推斷 4. 經(jīng)驗(yàn)貝葉斯方法經(jīng)驗(yàn)貝葉斯方法第二節(jié)第二節(jié) 常見故障分布下的貝葉斯推斷常見故障分布下的貝葉斯推斷 1. 二項(xiàng)分布的貝葉斯估計(jì)二項(xiàng)分布的貝葉斯估計(jì) 2. 指數(shù)分布的貝葉斯估計(jì)指數(shù)分布的貝葉斯估計(jì) 如果成敗型試驗(yàn)結(jié)果為如果成敗型試驗(yàn)結(jié)果為( (n,rn,r) )，成功概率，成功概率 的先驗(yàn)分的先驗(yàn)分布取為布取為 ，則則 的后驗(yàn)分布是的后驗(yàn)分布是 定理定理 設(shè)設(shè) 是自然數(shù)，則是自然數(shù)，則假定先驗(yàn)分布的超參數(shù)假定先驗(yàn)分布的超參數(shù) 已知，且已知，且 ，則，則 的的可信可信水平為水平為 的等尾可信區(qū)間為的等尾可信區(qū)間為 2.1 二項(xiàng)分布的二項(xiàng)分布的Bayes估計(jì)估計(jì)( , )a b(,)ar bnr( , ),2 ,2a bab(2 ,2 )1bFaba, a bxr1相應(yīng)的相應(yīng)的 (單側(cè)單側(cè))可信下限與可信下限與(單側(cè)單側(cè))可信上限分別為可信上限分別為2.1 二項(xiàng)分布的二項(xiàng)分布的Bayes估計(jì)估計(jì)/2/21/21/2(