一非參數(shù)經(jīng)驗(yàn)貝葉斯估計(jì)ppt課件

1、一、非參數(shù)閱歷貝葉斯估計(jì)一、非參數(shù)閱歷貝葉斯估計(jì)二、參數(shù)閱歷貝葉斯估計(jì)二、參數(shù)閱歷貝葉斯估計(jì)第第3.4節(jié)閱歷貝葉斯估計(jì)節(jié)閱歷貝葉斯估計(jì)0、背景與意義、背景與意義 貝葉斯估計(jì)存在的問(wèn)題：先驗(yàn)分布確實(shí)定貝葉斯估計(jì)存在的問(wèn)題：先驗(yàn)分布確實(shí)定如何客觀地確定先驗(yàn)分布？如何客觀地確定先驗(yàn)分布？ 根據(jù)歷史資料數(shù)據(jù)即閱歷確定該問(wèn)題的先根據(jù)歷史資料數(shù)據(jù)即閱歷確定該問(wèn)題的先驗(yàn)分布，其對(duì)應(yīng)的貝葉斯估計(jì)稱為閱歷貝葉斯估計(jì)驗(yàn)分布，其對(duì)應(yīng)的貝葉斯估計(jì)稱為閱歷貝葉斯估計(jì).該方法是由該方法是由Robbins在在1955年提出的年提出的.閱歷貝葉斯估計(jì)分類共兩類閱歷貝葉斯估計(jì)分類共兩類 非參數(shù)閱歷貝葉斯估計(jì)非參數(shù)閱歷貝葉斯估計(jì)

2、 參數(shù)閱歷貝葉斯估計(jì)參數(shù)閱歷貝葉斯估計(jì)一、非參數(shù)閱歷貝葉斯估計(jì)一、非參數(shù)閱歷貝葉斯估計(jì)X 設(shè)設(shè)隨隨機(jī)機(jī)變變量量服服從從泊泊松松分分布布，e 0 1 20(| ),(, , ,;!xxp xxx ）例例1p109例例3.20)1 1、問(wèn)題引入、問(wèn)題引入( ),GX設(shè)設(shè)參參數(shù)數(shù) 的的先先驗(yàn)驗(yàn)分分布布為為則則 的的邊邊緣緣分分布布為為0e 0 1 2( )( ),(, , ,!）xxGmxdGxx ( ),G對(duì)對(duì)于于先先驗(yàn)驗(yàn)分分布布在在平平方方損損失失下下，可可求求得得 的的貝貝葉葉斯斯估估計(jì)計(jì)為為00 ( )( |)d ( )( |)( |)d ( )G xpxG xdExpxG x10011 e

3、 d ( )!e d ( )!xxG xxG xx11 ()()( )GGxmxmx假設(shè)先驗(yàn)分布假設(shè)先驗(yàn)分布G(x)未知，該未知，該如何計(jì)算？如何計(jì)算？2 2、閱歷貝葉斯決策函數(shù)、閱歷貝葉斯決策函數(shù)領(lǐng)先驗(yàn)分布未知時(shí)，如何利用歷史資料閱歷資領(lǐng)先驗(yàn)分布未知時(shí)，如何利用歷史資料閱歷資料料定義定義3.113.1112(,)TnXXX任任何何同同時(shí)時(shí)依依賴賴于于歷歷史史樣樣本本1(|,)nnnXddXXX 和和當(dāng)當(dāng)前前樣樣本本 的的決決策策函函數(shù)數(shù)稱稱為為12(,)TnXXX的信息得到最優(yōu)貝葉斯估計(jì)？的信息得到最優(yōu)貝葉斯估計(jì)？經(jīng)經(jīng)驗(yàn)驗(yàn)貝貝葉葉斯斯決決策策函函數(shù)數(shù)1(|,)nnnddX XX 如如何何計(jì)計(jì)

4、算算經(jīng)經(jīng)驗(yàn)驗(yàn)貝貝葉葉斯斯估估計(jì)計(jì)11(|, ,)nnnddXXX （）根根據(jù)據(jù)貝貝葉葉斯斯估估計(jì)計(jì)風(fēng)風(fēng)險(xiǎn)險(xiǎn)函函數(shù)數(shù)的的定定義義可可知知的的風(fēng)風(fēng)險(xiǎn)險(xiǎn)為為dd112(|,)( ,(|,) (| )( )GnnnnRdXXLdx xxxp xxG 1(|,)nnnddX XX 經(jīng)經(jīng)驗(yàn)驗(yàn)貝貝葉葉斯斯估估計(jì)計(jì)的的計(jì)計(jì)算算方方法法：11,nnXXXX注注：此此結(jié)結(jié)果果包包含含了了而而為為隨隨機(jī)機(jī)變變量量，因因而而，該該風(fēng)風(fēng)險(xiǎn)險(xiǎn)仍仍包包含含有有隨隨機(jī)機(jī)性性，需需要要對(duì)對(duì)此此風(fēng)風(fēng)險(xiǎn)險(xiǎn)再再求求一一次次期期望望，即即2( )計(jì)計(jì)算算期期望望，可可得得d dd*111212()(|,)(|,)(,)GnGnnGnn

5、GnnRdE RdXXRdXXmxxxx xx使得上式到達(dá)最小的決策函數(shù)為閱歷貝葉斯決策函數(shù)使得上式到達(dá)最小的決策函數(shù)為閱歷貝葉斯決策函數(shù)*( ),FG 設(shè)設(shè)為為先先驗(yàn)驗(yàn)分分布布族族，參參數(shù)數(shù) 的的先先驗(yàn)驗(yàn)分分布布為為若若*( ),GF 對(duì)對(duì)于于任任何何有有定義定義漸近最優(yōu)貝葉斯決策函數(shù)漸近最優(yōu)貝葉斯決策函數(shù)*lim()()GnGGnRdRd nnnddd則則稱稱為為漸漸近近最最優(yōu)優(yōu)經(jīng)經(jīng)驗(yàn)驗(yàn)貝貝葉葉斯斯決決策策函函數(shù)數(shù)，若若為為 的的估估計(jì)計(jì)，則則為為漸漸近近最最優(yōu)優(yōu)經(jīng)經(jīng)驗(yàn)驗(yàn)貝貝葉葉斯斯估估計(jì)計(jì). .例例2(2(續(xù)例續(xù)例p109p109例例3.20)3.20)( )G在在先先驗(yàn)驗(yàn)分分布布未未知

6、知時(shí)時(shí)，如如何何計(jì)計(jì)算算11()()( )( )GGGxmxdxmx 12,( )nGXXXmx由由于于歷歷史史樣樣本本均均是是從從分分布布中中抽抽取取的的獨(dú)獨(dú)立立( )Gmx樣樣本本，故故由由這這些些樣樣本本可可以以對(duì)對(duì)估估計(jì)計(jì)，根根據(jù)據(jù)泊泊松松分分布布特特( )Gmx性性可可以以得得到到的的估估計(jì)計(jì)為為1212111 (, )(,Gnnmx xxxx xxxn 中中等等于于 的的個(gè)個(gè)數(shù)數(shù)）12 (, )( ),GnGmxxxxmx用用代代替替可可得得其其經(jīng)經(jīng)驗(yàn)驗(yàn)貝貝葉葉斯斯估估計(jì)計(jì)量量為為1211()()(|,) ()GnnGXmXdX XXXmX 例例3(p1103(p110例例3.21

7、)3.21)X設(shè)設(shè)隨隨機(jī)機(jī)變變量量 的的分分布布密密度度為為2212()(| )xp xe ( ),( , )(,).Ga b 的的先先驗(yàn)驗(yàn)分分布布為為在在平平方方損損失失下下，的的貝貝葉葉斯斯估估計(jì)計(jì)為為( )( )( )GGGmxdxxmx 由由于于密密度度函函數(shù)數(shù)比比較較難難估估計(jì)計(jì)，我我們們可可以以選選用用非非參參數(shù)數(shù)密密度度 ( )Gmx估估計(jì)計(jì)法法（如如核核估估計(jì)計(jì)，最最近近鄰鄰密密度度估估計(jì)計(jì)），得得到到于于是是可可以以得得到到 的的經(jīng)經(jīng)驗(yàn)驗(yàn)貝貝葉葉斯斯估估計(jì)計(jì)為為12 ()(|,) ()GnnGmXdX XXXXmX由這兩個(gè)例子可以看到，閱歷貝葉斯估計(jì)一方面依賴由這兩個(gè)例子可以

8、看到，閱歷貝葉斯估計(jì)一方面依賴貝葉斯估計(jì)實(shí)際，同時(shí)也依賴于非參數(shù)估計(jì)方法。貝葉斯估計(jì)實(shí)際，同時(shí)也依賴于非參數(shù)估計(jì)方法。定理定理4.1( )f設(shè)設(shè)為為任任一一固固定定的的函函數(shù)數(shù)，滿滿足足條條件件10( )( ),f 20( )( | ) ( )dngtf 那么那么1 2( | ) ( ): , ,( | ) ( )dnfngtfDngtf 是共軛先驗(yàn)分布族，其中是共軛先驗(yàn)分布族，其中121(| )(| )( | ) (,)ninniq xp xgth x xx 二、參數(shù)閱歷貝葉斯估計(jì)二、參數(shù)閱歷貝葉斯估計(jì)例例4(p1264(p126例例4.10)4.10)12(,)TnXXX設(shè)設(shè)是是來(lái)來(lái)自自總

9、總體體1 ( , )B的的一一個(gè)個(gè)樣樣本本，試試尋尋求求 的的共共軛軛先先驗(yàn)驗(yàn)分分布布？解解其似然函數(shù)為其似然函數(shù)為111111(| )()()nniiiiiiixnnxxxiq x 11 ()( | ) , nxn nxngt 11( | ) ()( )tn tngtf 其其中中, ,選選取取，則則1011 20 1 21 (): , , , , ()dtn tftn tDnt 顯然此共軛分布族為顯然此共軛分布族為分布的子族，因此，兩點(diǎn)分布的子族，因此，兩點(diǎn)分布的共軛先驗(yàn)分布族為分布的共軛先驗(yàn)分布族為分布分布.常見(jiàn)共軛先驗(yàn)分布常見(jiàn)共軛先驗(yàn)分布倒倒分布分布方差方差 正態(tài)分布均正態(tài)分布均值知值知

10、正態(tài)分布正態(tài)分布N(, )均值均值正態(tài)分布正態(tài)分布方差知方差知 分布分布 ()均值的倒數(shù)均值的倒數(shù)指數(shù)分布指數(shù)分布 分布分布 ()均值均值泊松分布泊松分布 分布分布 ( , )勝利概率勝利概率p二項(xiàng)分布二項(xiàng)分布共軛先驗(yàn)分布共軛先驗(yàn)分布參數(shù)參數(shù)總體分布總體分布二、參數(shù)閱歷貝葉斯估計(jì)二、參數(shù)閱歷貝葉斯估計(jì)( , )( ( , ()( , ( ) (| )dRdELd XLd x q xx 由第一小節(jié)內(nèi)容可知，給定損失函數(shù)以后，風(fēng)由第一小節(jié)內(nèi)容可知，給定損失函數(shù)以后，風(fēng)險(xiǎn)函數(shù)定義為險(xiǎn)函數(shù)定義為此積分仍為此積分仍為的函數(shù)，在給定的函數(shù)，在給定的先驗(yàn)分布的先驗(yàn)分布()時(shí)，定時(shí)，定義義( )( ( , )

11、( , )( )dR dERdRd 為決策函數(shù)為決策函數(shù)d在給定先驗(yàn)分布在給定先驗(yàn)分布()下的貝葉斯風(fēng)險(xiǎn)，簡(jiǎn)下的貝葉斯風(fēng)險(xiǎn)，簡(jiǎn)稱為稱為d的貝葉斯風(fēng)險(xiǎn)的貝葉斯風(fēng)險(xiǎn).1 1、貝葉斯風(fēng)險(xiǎn)的定義、貝葉斯風(fēng)險(xiǎn)的定義2 2、貝葉斯風(fēng)險(xiǎn)的計(jì)算、貝葉斯風(fēng)險(xiǎn)的計(jì)算當(dāng)當(dāng)X與與都是延續(xù)性隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為都是延續(xù)性隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為( )( ( , )( , )( )dR dE RdRd ( , ( ) (| )( )d dLd x q xx ( , ( ) ( |)g( )d dLd x hxxx g( )( , ( ) ( |)d dxLd x hxx 當(dāng)當(dāng)X與與都是離散型隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為都

12、是離散型隨機(jī)變量時(shí)，貝葉斯風(fēng)險(xiǎn)為( )( ( , )R dE Rd g( )( , ( ) ( |)xxLd x hx 注注由上述計(jì)算可以看出，貝葉斯風(fēng)險(xiǎn)為計(jì)算兩次由上述計(jì)算可以看出，貝葉斯風(fēng)險(xiǎn)為計(jì)算兩次期望值得到期望值得到,即即( )( ( , ()R dE ELd X 此風(fēng)險(xiǎn)大小只與決策函數(shù)此風(fēng)險(xiǎn)大小只與決策函數(shù)d有關(guān)，而不再依賴有關(guān)，而不再依賴參數(shù)參數(shù). 因此以此來(lái)衡量決策函數(shù)優(yōu)良性更合理因此以此來(lái)衡量決策函數(shù)優(yōu)良性更合理*()dX則則稱稱為為參參數(shù)數(shù) 的的貝貝葉葉斯斯估估計(jì)計(jì)量量1 1、貝葉斯點(diǎn)估計(jì)、貝葉斯點(diǎn)估計(jì)定義定義4.6假設(shè)總體假設(shè)總體X的分布函數(shù)的分布函數(shù)F(x,)中參數(shù)中參數(shù)

13、為為隨機(jī)隨機(jī)變量，變量，()為為的先驗(yàn)分布，假設(shè)決策函數(shù)類的先驗(yàn)分布，假設(shè)決策函數(shù)類D中存在中存在一個(gè)決策函數(shù)使得對(duì)決策函數(shù)類中的任一決策函數(shù)一個(gè)決策函數(shù)使得對(duì)決策函數(shù)類中的任一決策函數(shù)均有均有*()inf( ), d DR dR ddD 注注1、貝葉斯估計(jì)是使貝葉斯風(fēng)險(xiǎn)到達(dá)最小的決策、貝葉斯估計(jì)是使貝葉斯風(fēng)險(xiǎn)到達(dá)最小的決策 函數(shù)函數(shù).2、不同的先驗(yàn)分布，對(duì)應(yīng)不同的貝葉斯估計(jì)、不同的先驗(yàn)分布，對(duì)應(yīng)不同的貝葉斯估計(jì)2 2、貝葉斯點(diǎn)估計(jì)的計(jì)算、貝葉斯點(diǎn)估計(jì)的計(jì)算平方損失下的貝葉斯估計(jì)平方損失下的貝葉斯估計(jì)定理定理4.2設(shè)設(shè)的先驗(yàn)分布為的先驗(yàn)分布為()和損失函數(shù)為和損失函數(shù)為2( , )()Ldd那

14、么那么的貝葉斯估計(jì)的貝葉斯估計(jì)為為*( )( |)( |)ddxEXxhx ( |).hx其其中中為為參參數(shù)數(shù) 的的后后驗(yàn)驗(yàn)分分布布證證首先對(duì)貝葉斯風(fēng)險(xiǎn)做變換首先對(duì)貝葉斯風(fēng)險(xiǎn)做變換2min( )min( )( )( |)d dR dm xd xhxx 2max .( )( |)da sd xhx 又由于又由于22( )( |)d( |)( |)( )( |)dd xhxExExd xhx 222( |)( |)d ( |)( )( |)d( |) ( |)( ) ( |)dExhxExd xhxExExd x hx 又由于又由于( |)( |)( ) ( |)dExExd x hx ( |)(

15、 )( |) ( |)dExd xEx hx ( |)( |)dExhx 那么那么0( |)( )( |)( |)Exd xExEx 因此因此222( )( |)d( |)( |)d( |)( )( |)dd xhxExhxExd xhx *( )( |) .( ).dxExa sR d 顯顯然然，當(dāng)當(dāng)時(shí)時(shí)，達(dá)達(dá)到到最最小小定理定理4.3 設(shè)設(shè)的先驗(yàn)分布為的先驗(yàn)分布為()和損失函數(shù)為和損失函數(shù)為加權(quán)平方損失加權(quán)平方損失2( , )( )()Ldd 那么那么的貝葉斯估計(jì)的貝葉斯估計(jì)為為*( ( )|)( )( ( )|)ExdxEx 證明略，此證明定理證明略，此證明定理4.2的證明類似的證明類似

16、.定理定理4.4 設(shè)參數(shù)設(shè)參數(shù)為隨機(jī)向量，先驗(yàn)分布為為隨機(jī)向量，先驗(yàn)分布為()和損失函數(shù)為二次損失函數(shù)和損失函數(shù)為二次損失函數(shù)( , )()()TLddQ d 1*(|)( )( |) (|)pExdxExEx注注其中其中Q為正定矩陣，那么為正定矩陣，那么的貝葉斯估計(jì)為后驗(yàn)分的貝葉斯估計(jì)為后驗(yàn)分布布h(|x)的均值向量，即的均值向量，即12(,).p 其其中中參參數(shù)數(shù)向向量量為為 定理闡明，正定二次損失下，定理闡明，正定二次損失下，的貝葉斯估計(jì)的貝葉斯估計(jì)不受正定矩陣不受正定矩陣Q的選取干擾，表現(xiàn)出其穩(wěn)健性的選取干擾，表現(xiàn)出其穩(wěn)健性.證證在二次損失下，任一個(gè)決策函數(shù)向量在二次損失下，任一個(gè)決策

17、函數(shù)向量d(x)=12( ),( ),( )Tnd x dxdx的的后后驗(yàn)驗(yàn)風(fēng)風(fēng)險(xiǎn)險(xiǎn)為為()()|TE dQ dx*()()()()|TEdddQ dddx *()()()()|TTddQ ddE dQ dx 0*(|),E dx又又由由于于因因而而()()|TE dQ dx其中第二項(xiàng)為常數(shù)，而第一項(xiàng)非負(fù)，因此只需當(dāng)其中第二項(xiàng)為常數(shù)，而第一項(xiàng)非負(fù)，因此只需當(dāng)*( )ddx 時(shí)時(shí)，風(fēng)風(fēng)險(xiǎn)險(xiǎn)達(dá)達(dá)到到最最小小. .定義定義4.7 設(shè)設(shè)d=d(x)為決策函數(shù)類為決策函數(shù)類D中任一決策函數(shù)，中任一決策函數(shù)，( |) ( , ( )R d xE Ld x 損失函數(shù)為損失函數(shù)為L(zhǎng)(,d(x),那么那么L(,

18、d(x),對(duì)后驗(yàn)分布對(duì)后驗(yàn)分布h(|x)的的數(shù)學(xué)期望稱為后驗(yàn)風(fēng)險(xiǎn)，記為數(shù)學(xué)期望稱為后驗(yàn)風(fēng)險(xiǎn)，記為( , ( ) ( |)d , (, ( ) (|) iiiLd x hxxLd x hx 為為連連續(xù)續(xù)型型隨隨機(jī)機(jī)變變量量，為為離離散散型型隨隨機(jī)機(jī)變變量量. .注注 假設(shè)存在一個(gè)決策函數(shù)，使得假設(shè)存在一個(gè)決策函數(shù)，使得*(|)inf( |), dR dxR d xdD 那么稱此決策為后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)那么下的最優(yōu)決策函數(shù)，或稱那么稱此決策為后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)那么下的最優(yōu)決策函數(shù)，或稱為貝葉斯后驗(yàn)型決策函數(shù)。為貝葉斯后驗(yàn)型決策函數(shù)。定理定理4.5 對(duì)給定的統(tǒng)計(jì)決策問(wèn)題對(duì)給定的統(tǒng)計(jì)決策問(wèn)題(包含先驗(yàn)分布給包含先驗(yàn)分

19、布給定的情形和決策函數(shù)類定的情形和決策函數(shù)類D,當(dāng)貝葉斯風(fēng)險(xiǎn)滿足如下條當(dāng)貝葉斯風(fēng)險(xiǎn)滿足如下條件：件：inf( ), dR ddD *( )( )dxdx則則貝貝葉葉斯斯決決策策函函數(shù)數(shù)與與貝貝葉葉斯斯后后驗(yàn)驗(yàn)型型決決策策函函數(shù)數(shù)是是等等價(jià)價(jià)的的. . 定理闡明：假設(shè)斷策函數(shù)使得貝葉斯風(fēng)險(xiǎn)最小，定理闡明：假設(shè)斷策函數(shù)使得貝葉斯風(fēng)險(xiǎn)最小，此決策函數(shù)也使得后驗(yàn)風(fēng)險(xiǎn)最小，反之，也成立此決策函數(shù)也使得后驗(yàn)風(fēng)險(xiǎn)最小，反之，也成立.證明從略證明從略定理定理4.6設(shè)設(shè)的先驗(yàn)分布為的先驗(yàn)分布為()和損失函數(shù)為和損失函數(shù)為( , ) |,Ldd*( )( |)dxhx 后后驗(yàn)驗(yàn)分分布布的的中中位位數(shù)數(shù)證證那么那么

20、的貝葉斯估計(jì)的貝葉斯估計(jì)為為設(shè)設(shè)m為為h(|x)的中位數(shù)，又設(shè)的中位數(shù)，又設(shè)d=d(x)為為的另一的另一估計(jì)，為確定期間，先設(shè)估計(jì)，為確定期間，先設(shè)dm,由絕對(duì)損失函數(shù)的定由絕對(duì)損失函數(shù)的定義可得義可得2, ,( ,)( , )(), , ,mdmLmLdmdmddmd 又由于又由于22()()mdmddmddm 當(dāng)當(dāng)時(shí)時(shí)，那么那么, ,( ,)( , ), ,mdmLmLddmm 由于由于m是中位數(shù)，因此是中位數(shù)，因此1122|, |,Pm xPm x 那么有那么有(|)( |)( ( ,)( , )|)R m xR d xE LmLdx () | () | md Pm xdm Pm x 1

21、1022()()mddm 于是，當(dāng)于是，當(dāng)dm時(shí)時(shí)(|)( |)R m xR d x 同理可證，當(dāng)同理可證，當(dāng)dm時(shí)時(shí)(|)( |)R m xR d x 因此因此*( )( |)dxmhx 后后驗(yàn)驗(yàn)分分布布的的中中位位數(shù)數(shù)定理定理4.7設(shè)設(shè)的先驗(yàn)分布為的先驗(yàn)分布為()和損失函數(shù)為和損失函數(shù)為01() ,( , )(), ,kddLdk dd ，0*( )( |)dxhxk 1 11 1k k后后驗(yàn)驗(yàn)分分布布的的上上側(cè)側(cè)分分位位數(shù)數(shù)k k那么那么的貝葉斯估計(jì)的貝葉斯估計(jì)為為證證首先計(jì)算任一決策函數(shù)首先計(jì)算任一決策函數(shù)d(x)的后驗(yàn)風(fēng)險(xiǎn)的后驗(yàn)風(fēng)險(xiǎn)( |) ( , ( )( , ( ) ( |)dR

22、 d xE Ld xLd x hxx 10() ( |)d() ( |)dddk dhxxkd hxx 100()() ( |)d( |)dkkdhxxkExd 為了得到為了得到R(d|x)的極小值，關(guān)于等式兩邊求導(dǎo)：的極小值，關(guān)于等式兩邊求導(dǎo)：1000( |)()( |)d( )dR d xkkhxxkd d 即即011010( |)d( |)dddkkhxxhxxkkkk 0*( )( |)dxhxk 1 11 1k k后后驗(yàn)驗(yàn)分分布布的的上上側(cè)側(cè)分分位位數(shù)數(shù)k k那么那么例例5(p131 例例4.11) 設(shè)總體設(shè)總體X服從兩點(diǎn)分布服從兩點(diǎn)分布B(1,p),其中參數(shù)其中參數(shù)p未知，而未知，

23、而p在在0,1上服從均勻分布，樣本上服從均勻分布，樣本12(,)nXXXX來(lái)來(lái)自自總總體體 ，損損失失函函數(shù)數(shù)為為平平方方損損失失，試求參數(shù)試求參數(shù)p的貝葉斯估計(jì)與貝葉斯風(fēng)險(xiǎn)的貝葉斯估計(jì)與貝葉斯風(fēng)險(xiǎn)?解解平方損失下的貝葉斯估計(jì)為：平方損失下的貝葉斯估計(jì)為：*( )(|)(|)ddxE p Xxph p xp 而而10(|)( )(|)( )(|)( )(|)( )dq x ppq x pph p xm xq x ppp 11111111101111111()()(,)()dnnnniiiiiiiinniiiixnxxnxnnxnxiiiippppxnxppp 11101( ) ( ), )()

24、d,()ababa bxxxab 其其中中（則則11111211()()(|)() ()nniiiixnxnniiiippnh p xxnx 111111()()!()!()!nniiiixnxnniiiippnxnx *( )(|)ddxph p xp 111101111()!()d()!()!nniiiixnxnniiiinpppxnx 1111112()!()!()!()!()!()!nniiiinniiiixnxnnxnx 112niixn 其貝葉斯風(fēng)險(xiǎn)為其貝葉斯風(fēng)險(xiǎn)為( )( ( , ) ( , )|( )dR pERdE L p dppp 112210012() d() dniix

25、E pppEppn 122011122() ) d()niiExnppn 2112() )niiExnp 22112 1212()() ) ()() )nniiiiExnp Exnp 又由于又由于1()( , )niixB n p 那么那么22111, ()()()nniiiiExnpExnppnp22112112() )()()niiExnpnppp 所以所以122011122( )()() d()R pnppppn 21441232()()nnn 162()n 11662,pXnn 而而 的的最最大大似似然然估估計(jì)計(jì)為為其其貝貝葉葉斯斯風(fēng)風(fēng)險(xiǎn)險(xiǎn)為為例例6(p133 例例4.12)設(shè)總體設(shè)總

26、體X服從正態(tài)分布服從正態(tài)分布N(,1),其中參數(shù)其中參數(shù)未知，而未知，而服從規(guī)范正態(tài)布在服從規(guī)范正態(tài)布在N(0,1)，樣本，樣本12(,)nXXXX來(lái)來(lái)自自總總體體 ，損損失失函函數(shù)數(shù)為為平平方方損損失失，試求參數(shù)試求參數(shù)的貝葉斯估計(jì)的貝葉斯估計(jì)?解解平方損失下的貝葉斯估計(jì)為：平方損失下的貝葉斯估計(jì)為：*( )(|)(|)ddxEXxhx 而而(|)( )(|)( )(|)( )(|)( )dq xq xhxm xq x 2212211111222211112222exp() exp()exp() expd()ninininixx 2211221111122211112222exp()()ex

27、pexp()d()ninininixnnxxnnx 22112222111122211122112exp()()expexp( ) ()()()ninininixnnxnxxnn 12211221(|)() exp() nnnxhxn 化簡(jiǎn)化簡(jiǎn)得得*( )(|)ddxhx 12211221()exp() dnnnxn 1111niinxxxnn 111()( )D XR xnnn 其其貝貝葉葉斯斯風(fēng)風(fēng)險(xiǎn)險(xiǎn)為為例例7(p134 例例4.13)設(shè)總體設(shè)總體X服從均勻分布服從均勻分布U(0,),其中參數(shù)其中參數(shù)未知，而未知，而服從服從pareto分布，其分布函數(shù)與分布，其分布函數(shù)與密度函數(shù)分別為密度

28、函數(shù)分別為X總總體體 ，損損失失函函數(shù)數(shù)為為絕絕對(duì)對(duì)值值損損失失和和平平方方損損失失時(shí)時(shí)， 試求參數(shù)試求參數(shù)的貝葉斯估計(jì)的貝葉斯估計(jì)?000011( )() , ( ),F 00010,( ,),Pa 其其中中和和為為已已知知，該該分分布布記記為為0121( ),(,)nEXXX 的的數(shù)數(shù)學(xué)學(xué)期期望望為為來(lái)來(lái)自自解解(| )( )(| )( )( |)( )(| )( )dq xq xhxm xq x 1100111110001111() (max,)1()ddnninnnixx 0111101(), ()()nnnnnn 1( |)(,).hxparetoPan 顯顯然然仍仍為為分分布布 根

29、據(jù)定理根據(jù)定理4.6可知，絕對(duì)值損失對(duì)應(yīng)的貝葉斯估計(jì)為可知，絕對(duì)值損失對(duì)應(yīng)的貝葉斯估計(jì)為后驗(yàn)分布的中位數(shù)后驗(yàn)分布的中位數(shù),即即1112()()nBBF 那么那么112*( )Bndx 根據(jù)定理根據(jù)定理4.4可知，平方損失對(duì)應(yīng)的貝葉斯估計(jì)為可知，平方損失對(duì)應(yīng)的貝葉斯估計(jì)為后驗(yàn)分布的均值后驗(yàn)分布的均值,即即11011*( )max,nnndxxxnn例例8(p 例例4.14)設(shè)總體設(shè)總體X服從伽瑪分布服從伽瑪分布 (r,),)nXX來(lái)來(lái)自自總總體體 ，損損失失函函數(shù)數(shù)取取平平方方損損失失和和損損失失函函數(shù)數(shù) 試求參數(shù)試求參數(shù)的貝葉斯估計(jì)的貝葉斯估計(jì)?12,( ,),(,rXX 其其中中參參數(shù)數(shù) 已

30、已知知 的的先先驗(yàn)驗(yàn)分分布布為為221( , )()Ldd解解1(),rE X 由由于于因因此此，人人們們更更感感興興趣趣估估計(jì)計(jì)，的的后后驗(yàn)驗(yàn)分分布布為為0(| )( )(| )( )( |)( )(| )( )dq xq xhxm xq x 1111101ee( )( )eed( )( )iirnxriirnxriixrxr 11110()()eedniiniixnrxnr 111()()e()niinnrixnrixnr 1則則在在平平方方損損失失下下的的貝貝葉葉斯斯估估計(jì)計(jì)為為11*( )(|)dxEx 11101()()ed()niinnrixnrixnr 111111()()()(

31、)nnnriiiinnriixxnrnrnrx 1221( , )()Ldd由由定定理理4.34.3可可知知，在在下下的的貝貝葉葉斯斯估估計(jì)計(jì)為為212*(|)( )(|)ExdxEx -1-1111102110()()()ed()()ed()niiniinnrixnrinnrixnrixnrxnr 11010()()ededniiniixnrxnr 21111121()()()()nnnriiiinnriixxnrnrnrx 11111.()niinrxnrnr 3 3、貝葉斯估計(jì)的誤差、貝葉斯估計(jì)的誤差 在計(jì)算在計(jì)算的估計(jì)時(shí)，用到了的估計(jì)時(shí)，用到了的后驗(yàn)分布，因此的后驗(yàn)分布，因此考考察估計(jì)

32、值與真實(shí)值之間的誤差時(shí)，也應(yīng)思索察估計(jì)值與真實(shí)值之間的誤差時(shí)，也應(yīng)思索的后驗(yàn)的后驗(yàn)分布，誤差定義如下：分布，誤差定義如下：定義定義4.8 參數(shù)參數(shù)的后驗(yàn)分布為的后驗(yàn)分布為h(|x),其貝葉斯估其貝葉斯估計(jì)計(jì)2() 為為 ，則則的的后后驗(yàn)驗(yàn)期期望望為為22|( - )( - )xMSEE 12( |)MSEx稱稱其其為為 的的后后驗(yàn)驗(yàn)均均方方差差，而而其其平平方方根根|( |)xEhx稱稱為為后后驗(yàn)驗(yàn)標(biāo)標(biāo)準(zhǔn)準(zhǔn)誤誤差差，其其中中符符號(hào)號(hào)表表示示對(duì)對(duì)條條件件分分布布求求期期望望。( |)Ex 1 1、當(dāng)當(dāng)時(shí)時(shí)，則則均均方方誤誤差差為為2|( |)( |)- )var( |)xMSExEExx 后驗(yàn)均

33、方差與后驗(yàn)方差的關(guān)系后驗(yàn)均方差與后驗(yàn)方差的關(guān)系( |)( |).ExEx 2 2、當(dāng)當(dāng)時(shí)時(shí)，則則均均方方誤誤差差達(dá)達(dá)到到最最小小，因因而而后后驗(yàn)驗(yàn)均均值值是是較較好好的的貝貝葉葉斯斯估估計(jì)計(jì) 這這是是因因?yàn)闉?|(|)( |)-( |)xMSExEExEx 2|( |)var( |)xEExx 2( |)var( |)var( |)Exxx 后驗(yàn)均方差與后驗(yàn)方差的優(yōu)點(diǎn)后驗(yàn)均方差與后驗(yàn)方差的優(yōu)點(diǎn)1、二者只依賴與樣本，不依賴參數(shù)、二者只依賴與樣本，不依賴參數(shù). 2、二者的計(jì)算不依賴與統(tǒng)計(jì)量的分布，即抽、二者的計(jì)算不依賴與統(tǒng)計(jì)量的分布，即抽樣分布樣分布 3、貝葉斯估計(jì)不思索無(wú)偏性，由于貝葉斯估計(jì)、貝葉斯估計(jì)不思索無(wú)偏性，由于貝葉斯估計(jì)只思索出現(xiàn)的樣本，不思索沒(méi)出現(xiàn)的樣本只思索出現(xiàn)的樣本，不思索沒(méi)出現(xiàn)的樣本. 4 4、貝葉斯區(qū)間估計(jì)、貝葉斯區(qū)間估計(jì)定義定義當(dāng)當(dāng) 為為連連續(xù)續(xù)型型隨隨機(jī)機(jī)變變量量時(shí)時(shí)，給給定定1 1- - , ,當(dāng)當(dāng)|P ab x 1 1- - , , , .a b則則稱稱區(qū)區(qū)間間為為參參數(shù)數(shù) 的的貝貝葉葉斯斯區(qū)區(qū)間間估估計(jì)計(jì)定義定義當(dāng)當(dāng) 為為離離散散型型隨隨機(jī)機(jī)變變量量時(shí)時(shí)，給給定定1 1- - , ,當(dāng)當(dāng)|P ab x 1 1- - , , , .a b則則稱稱區(qū)區(qū)間間為為參參數(shù)數(shù) 的的貝貝葉葉斯斯區(qū)區(qū)間間估估計(jì)計(jì)定義定義4.9設(shè)參數(shù)設(shè)參數(shù)的后驗(yàn)分布為的后驗(yàn)分布為h(|