第34節(jié)經(jīng)驗貝葉斯估計

1、一、非參數(shù)經(jīng)驗貝葉斯估計一、非參數(shù)經(jīng)驗貝葉斯估計二、參數(shù)經(jīng)驗貝葉斯估計二、參數(shù)經(jīng)驗貝葉斯估計第第3.4節(jié)經(jīng)驗貝葉斯估計節(jié)經(jīng)驗貝葉斯估計0、背景與意義、背景與意義 貝葉斯估計存在的問題：貝葉斯估計存在的問題：先驗分布的確定先驗分布的確定如何客觀地確定先驗分布？如何客觀地確定先驗分布？ 根據(jù)歷史資料數(shù)據(jù)（即經(jīng)驗）確定該問題的先根據(jù)歷史資料數(shù)據(jù)（即經(jīng)驗）確定該問題的先驗分布，其對應(yīng)的貝葉斯估計稱為驗分布，其對應(yīng)的貝葉斯估計稱為經(jīng)驗貝葉斯估計經(jīng)驗貝葉斯估計.該方法是由該方法是由Robbins在在1955年提出的年提出的.經(jīng)驗貝葉斯估計分類（共兩類）經(jīng)驗貝葉斯估計分類（共兩類） 非參數(shù)經(jīng)驗貝葉斯估計非參

2、數(shù)經(jīng)驗貝葉斯估計 參數(shù)經(jīng)驗貝葉斯估計參數(shù)經(jīng)驗貝葉斯估計一、非參數(shù)經(jīng)驗貝葉斯估計一、非參數(shù)經(jīng)驗貝葉斯估計X 設(shè)設(shè)隨隨機機變變量量 服服從從泊泊松松分分布布，e 0 1 20(| ),(, , ,;!xxp xxx ）例例1（p109例例3.20)1 1、問題引入、問題引入( ),GX設(shè)設(shè)參參數(shù)數(shù) 的的先先驗驗分分布布為為則則 的的邊邊緣緣分分布布為為0e 0 1 2( )( ),(, , ,!）xxGmxdGxx ( ),G對對于于先先驗驗分分布布在在平平方方損損失失下下，可可求求得得 的的貝貝葉葉斯斯估估計計為為00 ( )( |)d ( )( |)( |)d ( )G xpxG xdExpx

3、G x10011 e d ( )!e d ( )!xxG xxG xx11 ()()( )GGxmxmx如果先驗分布如果先驗分布G(x)未知，該未知，該如何計算？如何計算？2 2、經(jīng)驗貝葉斯決策函數(shù)、經(jīng)驗貝葉斯決策函數(shù)當先驗分布未知時，如何利用歷史資料（經(jīng)驗資當先驗分布未知時，如何利用歷史資料（經(jīng)驗資料）料）定義定義3.113.1112(,)TnXXX任任何何同同時時依依賴賴于于歷歷史史樣樣本本1(|,)nnnXddX XX 和和當當前前樣樣本本 的的決決策策函函數(shù)數(shù)稱稱為為12(,)TnXXX的信息得到最優(yōu)貝葉斯估計？的信息得到最優(yōu)貝葉斯估計？經(jīng)經(jīng)驗驗貝貝葉葉斯斯決決策策函函數(shù)數(shù)1(|,)n

4、nnddXXX 如如何何計計算算經(jīng)經(jīng)驗驗貝貝葉葉斯斯估估計計11(|, ,)nnnddX XX （）根根據(jù)據(jù)貝貝葉葉斯斯估估計計風風險險函函數(shù)數(shù)的的定定義義可可知知的的風風險險為為dd112(|,)( ,(|,) (| )( )GnnnnRdXXLdx xxxp xxG 1(|,)nnnddXXX 經(jīng)經(jīng)驗驗貝貝葉葉斯斯估估計計的的計計算算方方法法：11,nnXXXX注注：此此結(jié)結(jié)果果包包含含了了而而為為隨隨機機變變量量，因因而而，該該風風險險仍仍包包含含有有隨隨機機性性，需需要要對對此此風風險險再再求求一一次次期期望望，即即2( )計計算算期期望望，可可得得e 21221()0,()( )0,

5、0,yy ， d dd*111212()(|,)(|,)(,)GnGnnGnnGnnRdE RdXXRdXXmxxxx xx定義定義12(,)TnXXX任任何何同同時時依依賴賴于于歷歷史史樣樣本本1(|,)nnnXddX XX 和和當當前前樣樣本本 的的決決策策函函數(shù)數(shù)稱稱為為經(jīng)經(jīng)驗驗貝貝葉葉斯斯決決策策函函數(shù)數(shù)則則 的后驗分布為的后驗分布為222(|)(|)()hxq x 2211112221() ()eniinx 顯然此分布仍為倒顯然此分布仍為倒 分布，即先驗分布與后驗分分布，即先驗分布與后驗分布都為倒布都為倒 分布，因而分布，因而倒倒 分布是分布是 的共軛先驗分布的共軛先驗分布族族.例例

6、3(p1253(p125例例4.9)4.9)12(,)TnXXX設(shè)設(shè)是是來來自自總總體體(, )B N的的一一個個樣樣本本，現(xiàn)現(xiàn)尋尋求求 的的共共軛軛先先驗驗分分布布，由由于于該該樣樣本本的的似似然然函函數(shù)數(shù)為為11(| )()iiinxxNxNiq xC 1110 1 (), , ,nniiiixnNxixN 哪一個分布具有上述核？結(jié)論是哪一個分布具有上述核？結(jié)論是 分布，這是因為分布，這是因為 分布的密度函數(shù)為分布的密度函數(shù)為111010()(), ,( ) ( )( ; ,), xxxf x 其其他他 設(shè)設(shè) 的先驗分布為的先驗分布為 分布，即分布，即 11()(1),01,( ) ( )

7、( )0, 其其他他 則則 的后驗分布為的后驗分布為( |)(| )( )hxq x 1111101 (), nniiiixnNx 顯然此分布是顯然此分布是 分布的核，因而分布的核，因而 分布是分布是 的共軛的共軛先驗分布族先驗分布族. 經(jīng)計算可知經(jīng)計算可知11( |)(,)nniiiihxxnNx 第二種方法第二種方法設(shè)總體設(shè)總體X的分布密度為的分布密度為p(x| ),統(tǒng)計量統(tǒng)計量12()(,)nT XT X XX 是是參參數(shù)數(shù) 的的充充分分統(tǒng)統(tǒng)計計量量，則則有有定理定理4.1( )f設(shè)設(shè)為為任任一一固固定定的的函函數(shù)數(shù)，滿滿足足條條件件10( )( ),f 20( )( | ) ( )dn

8、gtf 則則1 2( | ) ( ): , ,( | ) ( )dnfngtfDngtf 是共軛先驗分布族，其中是共軛先驗分布族，其中121(| )(| )( | ) (,)ninniq xp xgth x xx 例例4(p1264(p126例例4.10)4.10)12(,)TnXXX設(shè)設(shè)是是來來自自總總體體1 ( , )B的的一一個個樣樣本本，試試尋尋求求 的的共共軛軛先先驗驗分分布布？解解其似然函數(shù)為其似然函數(shù)為111111(| )()()nniiiiiiixnnxxxiq x 11 ()( | ) , nxn nxngt 11( | ) ()( )tn tngtf 其其中中, ,選選取取

9、，則則1011 20 1 21 (): , , , , ()dtn tftn tDnt 顯然此共軛分布族為顯然此共軛分布族為 分布的子族，因而，兩點分布的子族，因而，兩點分布的共軛先驗分布族為分布的共軛先驗分布族為 分布分布.常見共軛先驗分布常見共軛先驗分布倒倒 分布分布方差方差 正態(tài)分布（均正態(tài)分布（均值已知）值已知）正態(tài)分布正態(tài)分布N( , )均值均值 正態(tài)分布正態(tài)分布（方差已知）（方差已知） 分布分布 ()均值的倒數(shù)均值的倒數(shù) 指數(shù)分布指數(shù)分布 分布分布 ()均值均值 泊松分布泊松分布 分布分布 ( , )成功概率成功概率p二項分布二項分布共軛先驗分布共軛先驗分布參數(shù)參數(shù)總體分布總體分布

10、二、參數(shù)經(jīng)驗貝葉斯估計二、參數(shù)經(jīng)驗貝葉斯估計( , )( ( , ()( , ( ) (| )dRdELd XLd x q xx 由第一小節(jié)內(nèi)容可知，給定損失函數(shù)以后，風由第一小節(jié)內(nèi)容可知，給定損失函數(shù)以后，風險函數(shù)定義為險函數(shù)定義為此積分仍為此積分仍為 的函數(shù)，在給定的函數(shù)，在給定 的先驗分布的先驗分布 ( )時，定義時，定義( )( ( , )( , )( )dR dERdRd 為決策函數(shù)為決策函數(shù)d在給定先驗分布在給定先驗分布 ( )下的貝葉斯風險，簡下的貝葉斯風險，簡稱為稱為d的貝葉斯風險的貝葉斯風險.1 1、貝葉斯風險的定義、貝葉斯風險的定義2 2、貝葉斯風險的計算、貝葉斯風險的計算

11、當當X與與 都是連續(xù)性隨機變量時，貝葉斯風險為都是連續(xù)性隨機變量時，貝葉斯風險為( )( ( , )( , )( )dR dE RdRd ( , ( ) (| )( )d dLd x q xx ( , ( ) ( |)g( )d dLd x hxxx g( )( , ( ) ( |)d dxLd x hxx 當當X與與 都是離散型隨機變量時，貝葉斯風險為都是離散型隨機變量時，貝葉斯風險為( )( ( , )R dE Rd g( )( , ( ) ( |)xxLd x hx 注注由上述計算可以看出，貝葉斯風險為計算兩次由上述計算可以看出，貝葉斯風險為計算兩次期望值得到期望值得到,即即( )( (

12、 , ()R dE ELd X 此風險大小只與決策函數(shù)此風險大小只與決策函數(shù)d有關(guān)，而不再依賴有關(guān)，而不再依賴參數(shù)參數(shù) . 因此以此來衡量決策函數(shù)優(yōu)良性更合理因此以此來衡量決策函數(shù)優(yōu)良性更合理*()dX則則稱稱為為參參數(shù)數(shù) 的的貝貝葉葉斯斯估估計計量量1 1、貝葉斯點估計、貝葉斯點估計定義定義4.6若總體若總體X的分布函數(shù)的分布函數(shù)F(x, )中參數(shù)中參數(shù) 為隨機為隨機變量，變量， ( )為為 的先驗分布，若決策函數(shù)類的先驗分布，若決策函數(shù)類D中存在中存在一個決策函數(shù)使得對決策函數(shù)類中的任一決策函數(shù)一個決策函數(shù)使得對決策函數(shù)類中的任一決策函數(shù)均有均有*()inf( ), d DR dR ddD

13、 注注1、貝葉斯估計是使貝葉斯風險達到最小的決策、貝葉斯估計是使貝葉斯風險達到最小的決策 函數(shù)函數(shù).2、不同的先驗分布，對應(yīng)不同的貝葉斯估計、不同的先驗分布，對應(yīng)不同的貝葉斯估計2 2、貝葉斯點估計的計算、貝葉斯點估計的計算平方損失下的貝葉斯估計平方損失下的貝葉斯估計定理定理4.2設(shè)設(shè) 的先驗分布為的先驗分布為 ( )和損失函數(shù)為和損失函數(shù)為2( , )()Ldd 則則 的貝葉斯估計為的貝葉斯估計為*( )( |)( |)ddxEXxhx ( |).hx其其中中為為參參數(shù)數(shù) 的的后后驗驗分分布布證證首先對貝葉斯風險做變換首先對貝葉斯風險做變換2min( )min( )( )( |)d dR d

14、m xd xhxx 2max .( )( |)da sd xhx 又因為又因為22( )( |)d( |)( |)( )( |)dd xhxExExd xhx 222( |)( |)d ( |)( )( |)d( |) ( |)( ) ( |)dExhxExd xhxExExd x hx 又因為又因為( |) ( |)( ) ( |)dExExd x hx ( |)( )( |) ( |)dExd xEx hx ( |)( |)dExhx 則則0 ( |)( ) ( |)( |)Exd xExEx 因而因而222( )( |)d( |)( |)d( |)( )( |)dd xhxExhxExd

15、 xhx *( )( |) .( ).dxExa sR d 顯顯然然，當當時時，達達到到最最小小定理定理4.3 設(shè)設(shè) 的先驗分布為的先驗分布為 ( )和損失函數(shù)為加和損失函數(shù)為加權(quán)平方損失權(quán)平方損失2( , )( )()Ldd 則則 的貝葉斯估計為的貝葉斯估計為*( ( )|)( )( ( )|)ExdxEx 證明略，此證明定理證明略，此證明定理4.2的證明類似的證明類似.定理定理4.4 設(shè)參數(shù)設(shè)參數(shù) 為隨機向量，先驗分布為為隨機向量，先驗分布為 ( )和損失函數(shù)為二次損失函數(shù)和損失函數(shù)為二次損失函數(shù)( , )()()TLddQ d 1*(|)( )( |) (|)pExdxExEx 注注其中

16、其中Q為正定矩陣，則為正定矩陣，則 的貝葉斯估計為后驗分布的貝葉斯估計為后驗分布h( |x)的均值向量，即的均值向量，即12( ,).p 其其中中參參數(shù)數(shù)向向量量為為 定理表明，正定二次損失下，定理表明，正定二次損失下， 的貝葉斯估計的貝葉斯估計不受正定矩陣不受正定矩陣Q的選取干擾，表現(xiàn)出其穩(wěn)健性的選取干擾，表現(xiàn)出其穩(wěn)健性.證證在二次損失下，任一個決策函數(shù)向量在二次損失下，任一個決策函數(shù)向量d(x)=12( ),( ),( )Tnd x dxdx的的后后驗驗風風險險為為()()|TE dQ dx *()()()()|TEdddQ dddx *()()()()|TTddQ ddE dQ dx 0

17、*(|),E dx又又由由于于因因而而()()|TE dQ dx 其中第二項為常數(shù)，而第一項非負，因而只需當其中第二項為常數(shù)，而第一項非負，因而只需當*( )ddx 時時，風風險險達達到到最最小小. .定義定義4.7 設(shè)設(shè)d=d(x)為為決策函數(shù)類決策函數(shù)類D中任一決策函數(shù)，中任一決策函數(shù)，( |) ( , ( )R d xE Ld x 損失函數(shù)為損失函數(shù)為L( ,d(x),則則L( ,d(x),對后驗分布對后驗分布h( |x)的的數(shù)學期望稱為后驗風險數(shù)學期望稱為后驗風險，記為，記為( , ( ) ( |)d , (, ( ) (|) iiiLd x hxxLd x hx 為為連連續(xù)續(xù)型型隨隨

18、機機變變量量，為為離離散散型型隨隨機機變變量量. .注注 如果存在一個決策函數(shù)，使得如果存在一個決策函數(shù)，使得*(|)inf( |), dR dxR d xdD 則稱此決策為后驗風險準則下的最優(yōu)決策函數(shù)，或稱則稱此決策為后驗風險準則下的最優(yōu)決策函數(shù)，或稱為貝葉斯（后驗型）決策函數(shù)。為貝葉斯（后驗型）決策函數(shù)。定理定理4.5 對給定的統(tǒng)計決策問題對給定的統(tǒng)計決策問題(包含先驗分布給包含先驗分布給定的情形）和決策函數(shù)類定的情形）和決策函數(shù)類D,當貝葉斯風險滿足如下條當貝葉斯風險滿足如下條件：件：inf( ), dR ddD *( )( )dxdx則則貝貝葉葉斯斯決決策策函函數(shù)數(shù)與與貝貝葉葉斯斯后后

19、驗驗型型決決策策函函數(shù)數(shù)是是等等價價的的. . 定理表明：如果決策函數(shù)使得貝葉斯風險最小，定理表明：如果決策函數(shù)使得貝葉斯風險最小，此決策函數(shù)也使得后驗風險最小，反之，也成立此決策函數(shù)也使得后驗風險最小，反之，也成立.證明從略證明從略定理定理4.6設(shè)設(shè) 的先驗分布為的先驗分布為 ( )和損失函數(shù)為和損失函數(shù)為( , ) |,Ldd*( )( |)dxhx 后后驗驗分分布布的的中中位位數(shù)數(shù)證證則則 的貝葉斯估計為的貝葉斯估計為設(shè)設(shè)m為為h( |x)的中位數(shù)，又設(shè)的中位數(shù)，又設(shè)d=d(x)為為 的另一的另一估計，為確定期間，先設(shè)估計，為確定期間，先設(shè)dm,由絕對損失函數(shù)的定由絕對損失函數(shù)的定義可得

20、義可得2, ,( ,)( , )(), , ,mdmLmLdmdmddmd 又由于又由于22()()mdmddmddm當當時時，則則, ,( ,)( , ), ,mdmLmLddmm 由于由于m是中位數(shù)，因而是中位數(shù)，因而1122|, |,Pm xPm x則有則有(|)( |)( ( ,)( , )|)R m xR d xE LmLdx() |() |md Pm xdm Pm x 11022()()mddm 于是，當于是，當dm時時(|)( |)R m xR d x 同理可證，當同理可證，當dm時時(|)( |)R m xR d x 因而因而*( )( |)dxmhx 后后驗驗分分布布的的中中

21、位位數(shù)數(shù)定理定理4.7設(shè)設(shè) 的先驗分布為的先驗分布為 ( )和損失函數(shù)為和損失函數(shù)為01() ,( , )(), ,kddLdk dd ，0*( )( |)dxhxk 1 11 1k k后后驗驗分分布布的的上上側(cè)側(cè)分分位位數(shù)數(shù)k k則則 的貝葉斯估計為的貝葉斯估計為證證首先計算任一決策函數(shù)首先計算任一決策函數(shù)d(x)的后驗風險的后驗風險( |) ( , ( )( , ( ) ( |)dR d xE Ld xLd x hxx 10() ( |)d() ( |)dddk dhxxkd hxx 100()() ( |)d( |)dkkdhxxkExd 為了得到為了得到R(d|x)的極小值，關(guān)于等式兩

22、邊求導(dǎo)：的極小值，關(guān)于等式兩邊求導(dǎo)：1000( |)()( |)d( )dR d xkkhxxkd d 即即011010( |)d( |)dddkkhxxhxxkkkk 0*( )( |)dxhxk 1 11 1k k后后驗驗分分布布的的上上側(cè)側(cè)分分位位數(shù)數(shù)k k則則例例5(p131 例例4.11) 設(shè)總體設(shè)總體X服從兩點分布服從兩點分布B(1,p),其中參數(shù)其中參數(shù)p未知，而未知，而p在在0,1上服從均勻分布，樣本上服從均勻分布，樣本12(,)nXXXX來來自自總總體體 ，損損失失函函數(shù)數(shù)為為平平方方損損失失，試求參數(shù)試求參數(shù)p的貝葉斯估計與貝葉斯風險的貝葉斯估計與貝葉斯風險?解解平方損失下

23、的貝葉斯估計為：平方損失下的貝葉斯估計為：*( )(|)(|)ddxE p Xxph p xp 而而10(|)( )(|)( )(|)( )(|)( )dq x ppq x pph p xm xq x ppp 11111111101111111()()(,)()dnnnniiiiiiiinniiiixnxxnxnnxnxiiiippppxnxppp 11101( ) ( ), )()d,()ababa bxxxab 其其中中（則則11111211()()(|)() ()nniiiixnxnniiiippnh p xxnx 111111()()!()!()!nniiiixnxnniiiippnx

24、nx *( )(|)ddxph p xp 111101111()!()d()!()!nniiiixnxnniiiinpppxnx 1111112()!()!()!()!()!()!nniiiinniiiixnxnnxnx 112niixn 其貝葉斯風險為其貝葉斯風險為( )( ( , ) ( , )|( )dR pERdE L p dppp 112210012() d() dniixE pppEppn 122011122() ) d()niiExnppn 2112() )niiExnp 22112 1212()() ) ()() )nniiiiExnp Exnp 又因為又因為1()( , )n

25、iixB n p 則則22111, ()()()nniiiiExnpExnppnp22112112() )()()niiExnpnppp 所以所以122011122( )()() d()R pnppppn 21441232()()nnn 162()n 11662,pXnn 而而 的的最最大大似似然然估估計計為為其其貝貝葉葉斯斯風風險險為為例例6(p133 例例4.12)設(shè)總體設(shè)總體X服從正態(tài)分布服從正態(tài)分布N( ,1),其中參數(shù)其中參數(shù) 未知，而未知，而 服從標準正態(tài)布在服從標準正態(tài)布在N(0,1)，樣本，樣本12(,)nXXXX來來自自總總體體 ，損損失失函函數(shù)數(shù)為為平平方方損損失失，試求參

26、數(shù)試求參數(shù) 的貝葉斯估計的貝葉斯估計?解解平方損失下的貝葉斯估計為：平方損失下的貝葉斯估計為：*( )(|)(|)ddxEXxhx 而而(|)( )(|)( )(|)( )(|)( )dq xq xhxm xq x 2212211111222211112222exp() exp()exp() expd()ninininixx 2211221111122211112222exp()()expexp()d()ninininixnnxxnnx 22112222111122211122112exp()()expexp( ) ()()()ninininixnnxnxxnn 12211221(|)() e

27、xp() nnnxhxn 化簡化簡得得*( )(|)ddxhx 12211221()exp() dnnnxn 1111niinxxxnn 111()( )D XR xnnn 其其貝貝葉葉斯斯風風險險為為例例7(p134 例例4.13)設(shè)總體設(shè)總體X服從均勻分布服從均勻分布U(0, ),其中參數(shù)其中參數(shù) 未知，而未知，而 服從服從pareto分布，其分布函數(shù)與分布，其分布函數(shù)與密度函數(shù)分別為密度函數(shù)分別為X總總體體 ，損損失失函函數(shù)數(shù)為為絕絕對對值值損損失失和和平平方方損損失失時時， 試求參數(shù)試求參數(shù) 的貝葉斯估計的貝葉斯估計?000011( )() , ( ),F 00010,( ,),Pa

28、其其中中和和為為已已知知，該該分分布布記記為為0121( ),(,)nEXXX 的的數(shù)數(shù)學學期期望望為為來來自自解解(| )( )(| )( )( |)( )(| )( )dq xq xhxm xq x 1100111110001111() (max,)1()ddnninnnixx 0111101(), ()()nnnnnn 1( |)(,).hxparetoPan 顯顯然然仍仍為為分分布布 根據(jù)定理根據(jù)定理4.6可知，絕對值損失對應(yīng)的貝葉斯估計為可知，絕對值損失對應(yīng)的貝葉斯估計為后驗分布的中位數(shù)后驗分布的中位數(shù),即即1112()()nBBF 則則112*( )Bndx 根據(jù)定理根據(jù)定理4.4

29、可知，平方損失對應(yīng)的貝葉斯估計為可知，平方損失對應(yīng)的貝葉斯估計為后驗分布的均值后驗分布的均值,即即11011*( )max,nnndxxxnn例例8(p135 例例4.14)設(shè)總體設(shè)總體X服從伽瑪分布服從伽瑪分布 (r, ),)nXX來來自自總總體體 ，損損失失函函數(shù)數(shù)取取平平方方損損失失和和損損失失函函數(shù)數(shù) 試求參數(shù)試求參數(shù) 的貝葉斯估計的貝葉斯估計?12,( ,),(,rXX 其其中中參參數(shù)數(shù) 已已知知 的的先先驗驗分分布布為為221( , )()Ldd 解解1(),rE X 由由于于因因此此，人人們們更更感感興興趣趣估估計計，的的后后驗驗分分布布為為0(| )( )(| )( )( |)

30、( )(| )( )dq xq xhxm xq x 1111101ee( )( )eed( )( )iirnxriirnxriixrxr 11110()()eedniiniixnrxnr 111()()e()niinnrixnrixnr 1則則在在平平方方損損失失下下的的貝貝葉葉斯斯估估計計為為11*( )(|)dxEx 11101()()ed()niinnrixnrixnr 111111()()()()nnnriiiinnriixxnrnrnrx 1221( , )()Ldd 由由定定理理4 4. .3 3可可知知，在在下下的的貝貝葉葉斯斯估估計計為為212*(|)( )(|)ExdxEx

31、- -1 1111102110()()()ed()()ed()niiniinnrixnrinnrixnrixnrxnr 11010()()ededniiniixnrxnr 21111121()()()()nnnriiiinnriixxnrnrnrx 11111.()niinrxnrnr 3 3、貝葉斯估計的誤差、貝葉斯估計的誤差 在計算在計算 的估計時，用到了的估計時，用到了 的后驗分布，因此考的后驗分布，因此考察估計值與真實值之間的誤差時，也應(yīng)考慮察估計值與真實值之間的誤差時，也應(yīng)考慮 的后驗分的后驗分布，誤差定義如下：布，誤差定義如下：定義定義4.8參數(shù)參數(shù) 的后驗分布為的后驗分布為h(

32、|x),其貝葉斯估計其貝葉斯估計2() 為為 ，則則的的后后驗驗期期望望為為22|( - )( - )xMSEE 12( |)MSEx稱稱其其為為 的的后后驗驗均均方方差差，而而其其平平方方根根|( |)xEhx稱稱為為后后驗驗標標準準誤誤差差，其其中中符符號號表表示示對對條條件件分分布布求求期期望望。( |)Ex 1 1、當當時時，則則均均方方誤誤差差為為2|(|)( |)- )var( |)xMSExEExx 后驗均方差與后驗方差的關(guān)系后驗均方差與后驗方差的關(guān)系( |)( |).ExEx 2 2、當當時時，則則均均方方誤誤差差達達到到最最小小，因因而而后后驗驗均均值值是是較較好好的的貝貝葉

33、葉斯斯估估計計 這這是是因因為為2|(|)( |)-( |)xMSExEExEx 2|( |)var( |)xEExx2( |)var( |)var( |)Exxx后驗均方差與后驗方差的優(yōu)點后驗均方差與后驗方差的優(yōu)點1、二者只依賴與樣本，不依賴參數(shù)、二者只依賴與樣本，不依賴參數(shù) . 2、二者的計算不依賴與統(tǒng)計量的分布，即抽、二者的計算不依賴與統(tǒng)計量的分布，即抽樣分布樣分布 3、貝葉斯估計不考慮無偏性，因為貝葉斯估計、貝葉斯估計不考慮無偏性，因為貝葉斯估計只考慮出現(xiàn)的樣本，不考慮沒出現(xiàn)的樣本只考慮出現(xiàn)的樣本，不考慮沒出現(xiàn)的樣本. 4 4、貝葉斯區(qū)間估計、貝葉斯區(qū)間估計定義定義當當 為為連連續(xù)續(xù)型型隨隨機機變變量量時時，給給定定1- ,1- ,當當|P ab x 1 1- - , , , .a b則則稱稱區(qū)區(qū)間間為為參參數(shù)數(shù) 的的貝貝葉葉斯斯區(qū)區(qū)間間估估計計定義定義當當 為為離離散散型型隨隨機機變變量量時時，給給定定1- ,1- ,當當|P ab x 1 1- - , , , .a b則則稱稱區(qū)區(qū)間間為為參參數(shù)數(shù) 的的貝貝葉葉斯斯區(qū)區(qū)間間估估計計定義定義4.9設(shè)參數(shù)設(shè)參數(shù) 的后驗分布為的后驗分布為h( |x)，對給定的，對給定的1201(,)(),TnXXXX