多維隨機變量及其分布

1、第六章參數(shù)估計§ 6.1點估計的幾種方法替換原理和矩法估計、矩法估計替換原理：（1）用樣本矩去替換總體矩，這里的矩可以是原點矩也可以是中 心矩；（2）用樣本矩的函數(shù)去替換相應的總體矩的函數(shù)。舉例二、概率函數(shù) p（X；R已知時未知參數(shù)的矩法估計設總體具有已知的概率函數(shù)p（ X；耳,，v k）， （3,，v k） 是未知參數(shù)或參數(shù)向量，X-X2，Xn是樣本，假定總體的k階原點矩 存在，則對所有j， 0 ： j :：: k, 都存在，若假設 九，耳能夠表示成 亠,，U的函數(shù) 片 7j（1,7），則可給出諸 可的矩法估計：出=巧佝,，ak）, j =1,k1 n其中a，ak是前k個樣本原點矩

2、：ajx/，進一步，如果要估計n yy,門k的函數(shù) 二gG,入），則可直接得到 的矩法估計 ? = g&, *）。例i設總體為指數(shù)分布，其密度函數(shù)為p（x;入）=， x >0X1,X2 ,Xn是樣本，此處k = 1，由于EX = 1/ '，亦即=1 / EX，故的 矩法估計為?=1/x另外，由于Var（X） =1/-2，其反函數(shù)為 =1/、., Var（X），因此，從替換原理 來看，-的矩法估計也可取為? -1/ s，s樣本標準差。這說明矩估計可能是不唯一的，這是矩法估計的一個缺點, 此時通常應該盡量采用低階矩給出未知參數(shù)的估計。例2設xx2，xn是來自（a,b）上的均勻

3、分布的樣本， a與b均是未知參 數(shù)，這里k = 2其密度函數(shù)為p(x;a,b)=怙1,a - x - ba，0求a， b的矩估計解由 E(X) =a b,D(X)丄® -a)22 12得方程組：a +b X,1 2 1 n 2(b-a)2 =Va (X)=遲(XX)2.J2n y解此方程組，得到矩估計量： = X -，3Var(X) = 乂 .3Var(X).最大似然估計定義設總體的概率函數(shù)為 p(x;R，二 o，其中二是一個未知參數(shù) 或幾個未知參數(shù)組成的參數(shù)向量，心是參數(shù)v可能取值的參數(shù)空間， x1,x ,xn是來自該總體的樣本，將樣本的聯(lián)合概率函數(shù)看成二的函數(shù)，用L(v； xx2

4、，Xn)表示，簡記為L(V)，L(巧=L(d；Xi,X2 ,Xn) = P(XiL)P(X2門)P(XnL)L(R稱為樣本的似然函數(shù)。如果某統(tǒng)計量?(Xi,X2，Xn)滿足L(多=m ax.QL(R則稱是二的最大似然估計，簡記為 MLE。注意：(1)常常使用對數(shù)似然函數(shù)，因為其與似然函數(shù)具有相同的最值。(2)求導是最常用的求最值的方法。例3設一個試驗的三種可能結果，其發(fā)生概率分別為P1 - V2， P2 =2二(1 - V)， P3 =(1 -巧2現(xiàn)做了 n次試驗，觀測到三種結果發(fā)生的次數(shù)分別為n, n,門3(山+壓+壓二n)°則似然函數(shù)為Lp) =(J)n12d(1 -巧門(1-巧

5、丁32門3 -門2其對數(shù)似然函數(shù)為In L(R =(2n吐)1" (2壓 匕)1 n(1 -巧 壓泉將之關于二求導并令其為0得到似然方程2小2g 匕=01 - v解之，得2二2厲2nn22(mn2 m)2n由于2j In L（R2ni n2 2n3 n22r : 062 （1-日）2所以T?為極大值點。例4設樣本Xi, X2,，Xn來自正態(tài)總體X、N ，匚2)，二-(.I，二2)是二 維參數(shù)，未知，求其的極大似然估計。解似然函數(shù)為n 1、2 二;n=（2二；2） 2e1 n 存（X2 J i亠于是對數(shù)似然函數(shù)為2 nn 2ln L（,；） In 21 n 二2 2CnL1 n刖疋以一

6、吩0, 型供 F（X）2&T2b 2b yn21 n2解之得？ = 1 V Xi =X ,；：?2 = 1、(xi -X)2n 7n i 二易驗證，V,；?2為l(,72)得最大值點。因此，？，；？2的極大似然估計值為1 n1 n?= - 二 Xi 廠?2 = _ 二(Xj _ X)2n i 生n i 4求導無法解決的問題，如下例。例5設X1,X2 , Xn是來自均勻分布U(0,旳的樣本，試求 二的最大似然估 計。解似然函數(shù)為1 .n=1I0 :Xi1,其次是1n盡可能大。要使L( = )達到最大，首先一點是示性函數(shù)取值應該為由于1 /二n是二的單調(diào)減函數(shù)，所以 二的取值就盡可能小，但

7、示性函數(shù)為 1決定 了二不能小于X(n)，由此給出了二的最大似然估計：役=X(n)。最大似然估計的不變性：如果壬是二的最大似然估計，則對任一函數(shù)g(v), 其最大似然估計為g(馬。例6設/公2,Xn是來自正態(tài)總體 N (=二的樣本，在前例中已經(jīng)求得 了參數(shù)的最大似然估計為區(qū)X)2 =s*2n i 4于是由最大似然估計的不變性可得如下參數(shù)的最大似然估計，它們是*；? = s概率 P（X ：3）=心（）的 MLE 為:（二 ）as總體0.90分位數(shù)Xo.90 =卩+CTU0.90的MLE是X + S*u0.90，其中山是標準正態(tài)分布的0.90分位數(shù)。§ 6.2點估計的評價標準相合性定義設

8、00為未知參數(shù)，況=纟（為，,xn）是日的一個估計量，n 是樣本容量，若對任何一個；0，有l(wèi)im P（瓦-日 町=0n_jpc則稱玄為參數(shù)日的相合估計。注意：相合性一般可以應用大數(shù)定律或直接由定義、依概率收斂的性質(zhì)來 證。例1設Xi，X2,是來自正態(tài)總體 N（d；2）的樣本，則由辛欽大數(shù)定律及 依概率收斂的性質(zhì)知：（1）X是的相合估計；*2 2（2）S是二 的相合估計2 2S也是二的相合估計由此可見，參數(shù)的相合估計不止一個。定理設?n =£（Xi,Xn）是二的一個估計量，若駐&）"。堅申&）=0則2為二的相合估計。例2設Xi,X2/ ,Xn是來自均勻總體U（

9、0j）的樣本，證明二的最大似然估 計是相合估計。證明由上一節(jié)知，二的最大似然估計是X（n）。由次序統(tǒng)計量的分布，我們 知道2二X（n）的分布密度函數(shù)為p（y） =nyn'/rn,y ："故有E -? nyndy/ v n = ） vL0n +1E? nyn 1dy/ J 二一-20n +2n 2 n 2n2Var（另二 -（-）2r 0 二n +2 n +1 （n +1） （n +2）由定理知，X（n）是的相合估計。定理若，免,，1分別是日1月2,月k的相合估計， n =g（日1,日2,，）是日1月2,，6的連續(xù)函數(shù)，則叫二g（氏1點2,，視k）是 的相合估計。注意：（1）樣

10、本均值是總體均值的相合估計；（2）樣本標準差是總體標準差的相合估計；樣本變異系數(shù)s/x是總體變異系數(shù)的相合估計。例3設一個試驗有三種可結果，其發(fā)生概率分別為P1 72， P2=2r（1"）， P3=（1-R2現(xiàn)做了 n次試驗，觀測到三種結果發(fā)生的次數(shù)分別為n1, n2, n3，可以采用頻率替換方法估計 二。由于可以有三個不同的 ，的表達式：V - . P1，-1 - P3，- P1P2/2由大數(shù)定律，q / n ,門2 / n ,門3 /n分別是 山，p?，P3的相合估計，由上面 定理知，上述三個估計都是V的相合估計。無偏性定義設？ = ?（%，Xn）是二的一個估計，二的參數(shù)空間為。

11、，若對 任意的廠心，有E（勺二二則稱是二的無偏估計，否則稱為有偏估計。注意：無偏性可以改寫為 E（刃-二）=0，表示沒有系統(tǒng)偏差。例4設總體的k階矩存在，則樣本的 k階矩是總體k階矩的無偏估計。證因為1 n1 n1 nE（ak）二 E（v x）=a E（x：）= v E（xk）二 E（xk）八n i #n i #n i#所以比是-k的無偏估計。*1 n _A *另外，s2二二（Xi -X）2.，檢驗二2 = S2是否為二2的無偏估計。n i彳嗎A2(n -1)，故 E (- n -1，即卩 E(二 2) = n 1.因為乓cA所以匚2不是匚2的無偏估計，但n -21cr =n -1 n -1

12、i4n_(Xi -x)2 二 s2為;2的無偏估計量1 nn i 4由此可知(Xi - X)2不是二2的無偏估計量，而樣本方差丄Jn -1 i 42(Xi -X)：二2的無偏估計。s*2是二2的漸不過，當n：時，有E(二2) = 二2 2。稱二2二n近無偏估計。注意：無偏性不具有不變性。 即:?是二的無偏估計時，g(坷不一定是g(r) 的無偏估計，除非g(v)是二的線性函數(shù)。如s2是匚2的無偏估計，但S不是匚的 無偏估計。例5設總體為N(,；2)，X1,X2/ ,Xn是樣本，我們已經(jīng)證明1 n -S2' (托 _x)2n -1 i 1是匚2的無偏估計。由定理531, y = (n 一嚴

13、.2 (n -1)，其密度函數(shù)為1p(y)二 f y 丁廠 n 122 -(丁)ny42 e 2,y 0從而E(Y1/2) =。： y1/2P(y)dy1P 0 y2 e2dy = 2廠(n")2n22】n21)由此，我們有(n/2)CTOnEs： E(Y1/2)=.In1n1 r( n1)/2)這說明s不是匚的無偏估計，利用修正技術可得cns是二的無偏估計，其中1/2Cn 二血 一1)/2)】(n /2)是修偏系數(shù)?？梢宰C明當n :時，有On r 1，這說明s是二的漸近無偏估計，從而在樣本容量較大時，不經(jīng)修正的s也是二的一個很好的估計。623有效性定義設岡，兔均為未知參數(shù)日的無偏估

14、計量，若Var&) _Var(鄉(xiāng))，-才 心且至少存在一個 二00,使上述不等號嚴格成立，則稱聽比劣 有效。例6設X1,X2,Xn是取自某總體的樣本，記總體均值為J，總體方差為二2，則?1 X1 , ?2 X都是J的無偏估計，但Var(%) - ；2,Var(?2) - 廠2/n顯然，只要n >1，%比氣有效。例7在例2中，均勻總體u (0,二)中二的極大似然估計是 x(n)，由于Ex(n)二 ，所以X(n)不是二的無偏估計，但是 二的漸近無偏估計。n +1經(jīng)過修偏后可以得到二的一個無偏估計：呀=X(n)。且nVar(?) =(口n2)Var(x(n)n(n 1)2( n 2)-

15、2丁2n(n 2)4蘭n 12£3n另一方面，由矩法，我們可得到 V的另外一個無偏估計Var(£) =4Var(X) = 4Var(X)二n由此，當n >1時，會比t?有效。624均方誤差均方誤差定義式為：MSE(多=E(? R2由于MSE(國二E(?-巧2 二E&-E訶 (E?-，)2= E(?_E訶2 (e?_R2 .2E(?_Em(E?_“二Var(馬(E-R2因此均方誤差由兩部分組成，點估計的方差與偏差的平方。如果點估計是無偏的，則均方誤差等于其方差。例8在前例中，2二X(n)的均方誤差n. 2MSE()二 Var(勻二n(n +2)現(xiàn)在考慮二的形如？

16、 = :- x(n)的估計，其均方誤差為MSE(?.)二Var(：心)( Ex(n)-旳22Var(x(n)(七 )2 n十12 n v2nr 22“2 ( 1)(n 1)2(n 2)n 1用求導的方法不難求出當=(n 2)/(n - 1)時上述均方誤差達到最小，且J 、一 ?2，這表示 -o =n +2MSE(荷 G(n 1)2n-1 X(n)雖然是'的有偏估計，但其均方誤差e2-22 <(n 1)2 n(n 2)所以在均方誤差的標準下，有偏估計色優(yōu)于無偏估計2例5設總體為N(,；) , X1,X2, ,Xn是樣本,21 J - 2s(Xi -X)n -1 i 1MSE&

17、;) =二 MSEC?)T?o我們已經(jīng)證明2 （n -1），其密度函數(shù)為是匚2的無偏估計。由定理 ，Y二5 _ ?S.1嚶二丄P(y)二 F y 2 e 2,y 0 2(口)2從而E(Y1/2) =。： y1/2P(y)dy12亍# 1)2(n21):-n “ y-1e 2dyn2廠(n)2n .1門一(由此，我們有,1丨(n/2)_(n -1)/2)'CTCn1/2Es = E（Y ）= Jn -1這說明s不是二的無偏估計，利用修正技術可得cns是二的無偏估計，其中】（n -1）/2）】（n /2）是修偏系數(shù)?？梢宰C明當n； ":時，有q ； 1，這說明s是二的漸近無偏估計

18、，從而在樣本容量較大時，不經(jīng)修正的s也是二的一個很好的估計。623有效性定義設岡，均為未知參數(shù)日的無偏估計量，若Var&） War（馬），-）心且至少存在一個使上述不等號嚴格成立，則稱邂匕器 有效。例6設X1,X2,Xn是取自某總體的樣本，記總體均值為j，總體方差為二2，則?2二X都是J的無偏估計，但Var（巴）=；2,Var（?2）=二2/ n顯然，只要n >1,%比嗚有效。例7在例2中，均勻總體U （0,二）中二的極大似然估計是 X（n），由于Ex（n）二，所以X（n）不是二的無偏估計，但是 二的漸近無偏估計。n +1經(jīng)過修偏后可以得到 71的一個無偏估計：WF%)。且nVa

19、r(?)=(n 1)2Var(x(n)nn(n 2)=(n 1)2 n jn (n 1)2( n 2)另一方面，由矩法，我們可得到v的另外一個無偏估計 g = 2X，且o-44日262Var(£) =4Var(x) Var(X):nn 12 3n由此，當n .1時，彳比劣 有效。624均方誤差均方誤差定義式為：MSE® = E&-巧2由于MSE& =E(?打2 =E(?_E珀 (E役_R2= E(?E2 (E?R2 2E(彳 _E 馬(E?_R=Var(馬(E J)2因此均方誤差由兩部分組成，點估計的方差與偏差的平方。如果點估計是無 偏的，則均方誤差等于其方

20、差。n i例8在前例中，2X(n)的均方誤差nMSE(=Var(訶=n(n +2)現(xiàn)在考慮二的形如？. -X(n)的估計，其均方誤差為MSE(?.) =Var(：心)( Ex(n)-対22n22(n 1) (n 2)-1門用求導的方法不難求出當o=(n 2)/(n - 1)時上述均方誤差達到最小，且2MSE(- X(n)2，這表示 = n 2 X(n)雖然是71的有偏估n 1(n 1)n 1計，但其均方誤差MSE偲)=J(n 1)2Jn(n 2)二 MSEC?)所以在均方誤差的標準下，有偏估計6?優(yōu)于無偏估計 *。§ 6.3最小方差無偏估計6.3.1 Rao-Blackwell 定理

21、定理6.3.1(Rao-Blackwell定理)設X和Y是兩個隨機變量，EX = 1，Var(X) 0 ,用條件期望構造一個新的隨機變量 - (Y)，其定義為“y)二 E(X/Y 二 y)則有E(Y)二-Var(Y)乞 Var(X) 其中等號成立的充分必要條件是X和:(Y)幾乎處處相等。定理設總體概率密度函數(shù)是P(XR)， x1,x2/ ,xn是其樣本，T=T( Xi , X2, Xn )是二的充分統(tǒng)計量，則對二的任一無偏估計夕二？(Xi,X2,Xn)，令孑二E(f T)，則也是的無偏估計，且Var()乞Var(?證明由于T=T(Xi , X2 / ,Xn)是充分統(tǒng)計量，故而-=E(? T)與

22、二無關， 因此它也是一個估計(統(tǒng)計量)，只要在定理中取X = £丫二T即可完成本 定理的證明。注意，充分性原則：如果無偏估計不是充分統(tǒng)計量的函數(shù)，則將之對充分統(tǒng)計量求條件期望可以得到一個新的無偏估計，該估計的方差比原來的估計的 方差要小，從而降低了無偏估計的方差。即考慮二的估計問題只需要在基于充分統(tǒng)計量的函數(shù)中進行即可。則X (或T =nX)是p的充分統(tǒng)例1設Xi,X2, ,Xn是來自b(1, P)的樣本, 計量。為估計V - p2，可令1, X1 1,X 10, 其他由于E&)= P(X1 =1,X2 =1)= p p，所以呀是二的無偏估計。這個估計并不好，它只使用了兩個觀

23、測值，下面用nRao-Blackwell定理對之加以改進：求硏關于充分統(tǒng)計量T =2 Xi的條件期望, 過程如下。池 E(彳 T =t) = P(彳=1 T =t) _ P(X, =1,X2 =1,T 二t)=P(T =t)nPg =1,X2 十 Xj =t _2)_i蘭_p仃=t)nP(X! =1,X2 =1,v' Xi =t -2)p仃=t)t -2 t _2 、n _t，八P pCn/P (1-P)Ct/Ctt(t-1)t tn _L_Cn_2/Cn_CnP (1 - p)n(n-1)n其中送Xi =t?？梢则炞C，$是日的無偏估計，且 VarG)>Var(昭i =3最小方差

24、無偏估計定義對參數(shù)估計問題，設的一個無偏估計，如果對另外任意一 個二的一個無偏估計 扌，在參數(shù)空間上有都有Vaq _VarJ)則稱？是二一致是最小方差無偏估計，簡記為UMVUE 。注意：定理632表明，如果UMVUE存在，則它一定是充分統(tǒng)計量的函數(shù)。 一般而言，如果依賴充分統(tǒng)計量的無偏估計只有一個，則它就是UMVUE。定理設X=(花必,Xn)是來自某總體的一個樣本， =( X)是二的 一個無偏估計，Var(£n：-。如果對任意一個滿足 E( :(X)0的(X)， 都有Cov日&申)=0,曲 e °則彳是二的UMVUE。例2設X1,X2 / ,Xn是來自指數(shù)分布 Ex

25、p(1/R的樣本，則根據(jù)因子分解定理可知，T =x1 x2 -xn是二的充分統(tǒng)計量，由于ET = n，所以X二T/n是二的無偏估計。設'二(x1,x2/ ,xn)是二的任一無偏估計，則-be -ben 1/AE (T) = 0.0 (X1,X2, ,Xn) I 丨 .dx1 dXn =0i =1廿7nXdxdx兩端對d求導。得/：nX gX2，Xn) e'iSdXidXn =0這說明E(X )=0，從而Co vx, J =E(X )E(X) E( ) =0由定理633, X是v的UMVUE。6.3.3 Cramer-Rao 不等式定義設總體的概率函數(shù) p(x；r)，廠 滿足下列

26、條件：(1) 參數(shù)空間。是直線上的一個開區(qū)間；支撐S =x: p(X)0與二無關；導數(shù)P(x;R對一切廠 都存在；(4)對P(XR)，積分與微分運算可交換次序，即_：P(x；Rdx 二 _ ：壬 p(x;旳dxd2期望E p(x;R2存在，則稱d2I=E p(xR)2ctl為總體分布的費希爾(Fisher)信息量。注意：1("越大可被解釋為總體分布中包含未知參數(shù)v的信息越多。例3設總體為泊松分布 P(')，其分布列為Xp(x; ) e'，x =0,1,x!可以看出定義的條件滿足，且In p(x; ') = xln ' - ' - In(x!)

27、In p(x; ) = x/ -1于是X 幾 21I (HE(-)2 二一。扎扎例4設總體為指數(shù)分布，密度函數(shù)為p(x；d)可以驗證定義632的條件滿足，且1P(x；R =-o于是l(R =E(V a i(x)-41-2定理6.3.4(Cramer-Rao不等式)設定義的條件滿足，x,x2 , xn是 來自該總體的樣本，T=T( xX2, X )是g(r)的任一個無偏估計， g(V)二g()存在，且對。中一切r，對-be -ben,Xn)丨丨 P(Xj；旳dXdXni J的微分可在積分號下進行，即g(R-be -be_T(X1,X2, ,Xn) -T P- nP(XiC)dX1dXn._0.：

28、T(X1,X2, ,Xn) = lP(Xi；"dX1 dXn對離散總體，則將上述積分改為求和符號后，等式仍然成立，則有Var(T) - g )2/(“)上式稱為C-R不等式。g (v)2/(nl (巧)稱為g()的無偏估計的方差的 C-R下 界，簡稱g(“的C-R下界。特別地，對的無偏估計 ？有Var(網(wǎng)一 1/(nI (旳) 注意：如果C-R不等式中的等號成立，則稱T=T(x1,x2/ ,Xn)是gp)的任有效估計，有效估計一定是UMVUE。例5設總體分布列為p(x；R - vx(1-RiX = 0,1它滿足定義的所 1有條件，可以算得該分布的費希爾信息量為1(日)=，若XX2，X

29、n是日(1 -日)該總體的樣本，則二的C-R下界為1/( nl (旳)-訊1 ，)/n。由于樣本均值x是 二的無偏估計，且其方差等于 現(xiàn)1-耳/n，達到了 C-R下界，所以x是二的有 效估計，它也是二的UMVUE。例6設總體為指數(shù)分布 Exp(1/巧，它滿足定義的所有條件，例6.3.4 中已經(jīng)算出該分布的費希爾信息量為 1(巧一 v °，若X1,X2 / ,Xn是樣本，則二 的C-R下界為1/(nI(R)-v2/n，而X是二的無偏估計，且其方差等于 宀n , 達到了 C-R下界，所以X是二的有效估計，它也是 二的UMVUE。C-R下界。注意：大多無偏估計都達不到其oN（0,二），它滿

30、足定義632的所有條件，下面計 x2/二22（1），故2二 2）2 =E丄2a例7設總體為正態(tài)分布算它的費希爾信息量。由于2 :C ) =E 2 p(x；&3141 2 2 4Var(x / -) 4令二二 g（二2）=g（；2）2nlL)2，則二的C-R下界為1/（）24n /（2二）c22n匚的無偏估計為n、2 - (n 1)/2),(n/2)1 n x2 n y可以證明，這是 c的UMVUE。其方差大于 計的方差都大于其 C-R下界。C-R下界。表明所有的:二的無偏估定理設總體X有密度函數(shù)（1）對任意的x，偏導數(shù)ln PP（X；r） ,4,0為非退化區(qū)間,假定In p和ln p對

31、所有心都存在；：T2F3（2） 一 -心，有：ln p:FMx),:F2(x),r3 I ln p亦3:F3(x)其中函數(shù)h（x） , F2（x） , F3 （x）滿足=F1（x）dx ： J =F2（x）dx ： I"bosup*：,F3（x）dx :二（3） 一 J - O, 0 ： 1（可三.（-rpdDdx ：:。若X1,X2,，Xn是來自該總體的樣本，則存在未知參數(shù)二的最大似然估計，纟=（X1,，Xn）,且玄具有相合性和漸近正態(tài)性，玄N©鼻）。nl （巧如上定理表明最大似然估計通常是漸近正態(tài)的，且其漸近方差有一個統(tǒng)一 的形式，主要依賴于費希爾信息量。例8設XX2,

32、，Xn是來自N（»；2）的樣本，可以驗證該總體分布在二2已知或已知時均定理 的三個條件。2(1)在二 已知時，的MLE為-?=X，由定理635知，?服從漸近正態(tài) 分布。1 2 (X)2In p(x) = In .21 n ；一 22 2/：ln p xor e(二)2.CTCT從而有？N(；2/n)，該近似分布與 ?的精確分布相同。A n2在已知時，二2的MLE為二2 =、化-)， yfln p匯2112 (X -)2 -；2-打 l(X)2 JX )4 2二 2 2二 4 2二 4iL)E(X -)2 -匚22 Var(X -)2) 4存從而有；一-2N &2 2-4 /

33、n)§ 6.4貝葉斯估計統(tǒng)計推斷的基礎總體信息樣本信息先驗信息：如果我們把抽取樣本看作一次試驗，則樣本信息就是試驗中得 到的信息。貝葉斯學派的基本觀點是：任一未知量 二都可以看作是隨機變量，可用一個概率分布去描述，這個分布稱為先驗分布；貝葉斯公式的密度函數(shù)形式(1) 總體依賴于參數(shù) 二的概率函數(shù)在貝葉斯統(tǒng)計中記為p(X d)，它表示在隨機變量二取某個給定值時總體的條件概率函數(shù)。(2) 根據(jù)參數(shù)二的先驗信息確定 先驗分布二(二)。(3) 從貝葉斯觀點看，樣本X =(X1,X2,Xn)的產(chǎn)生要分兩步進行。首先設想從先驗分布 二(力產(chǎn)生一個樣本玉，這一步是人們無法看到的。第二步從p (X

34、6)中產(chǎn)生一組樣本，這時樣本X=(%,X2,xn)的聯(lián)合條件概率函數(shù)為np( X 二0)= P(X1,X2 ,Xn 補)：丨丨 p(Xi 如i =1這個分布綜合了總體信息和樣本信息。(4) 由于 厲是設想出來的，仍然是未知的，它是按先驗分布二(二)產(chǎn)生的。為把先驗信息綜合進去，不能只考慮 ,對二的其他值發(fā)生的可能性也要加以考慮，故要用 二(v)進行綜合。這樣一來，樣本X和參數(shù)v的聯(lián)合分布為h (X, "= p (X V)二(v)這個聯(lián)合分布把總體信息、樣本信息和先驗信息三種可用信息都綜合進去了。(5) 目的是要對未知參數(shù) 二作統(tǒng)計推斷。在沒有樣本信息時，只能依據(jù)先驗分布對二作出推斷。

35、在有了樣本觀察值 X=( x1, x2, xn)之后，應該依據(jù)h (X, 丁)對二作出推斷。若把h(X，二)作如下分解：h(X) - " X)m(X)其中m(X)是X的邊際概率函數(shù)：m(X)= h(X c)d v - p( X 旳二0 0它與二無關，或者說 m(X)中不含二含的任何信息。因此能用來對二作出推斷的僅是條件分布 二(二X)，它的計算公式是二 9 X )=h(X R)/m(x )= p( X "二(旳/ p( X 二)二G這個條件分布稱為 v后驗分布，它集中了總體、樣本和先驗中有關 J的一切信 息。上式就是用密度函數(shù)表示的貝葉斯公式。它要比二(旳更接近二的實際情況

36、。貝葉斯估計由后驗分布-： X)估計二有三種常用的方法：(1)使用后驗分布的密度函數(shù)最大值點作為二的點估計的最大后驗估計；使用后驗分布的中位數(shù)作為二的點估計的后驗中位數(shù)估計；(3) 使用后驗分布的均值作為二的點估計的 后驗期望估計。這是用得最多的一種方法，一般也簡稱為貝葉斯估計，記為兔例1設某事件A在一次試驗中發(fā)生的概率為二，為估計-，對試驗進行了n次獨立觀測，其中事件A發(fā)生了 X次，顯然X二b(n J)。假若在試驗前對事件A沒有什么了解，從而對其發(fā)生的概率二也沒有任何信息。在這種情況下，貝葉斯建議采用“同等無知”的原則使用區(qū)間(0,1)上的均勻分布作為的先驗分布，因為它取(0,1)上的每一點

37、的機會均等。這一假設后被稱為貝葉斯假 設。由此即可利用貝葉斯公式求出二的后驗分布。具體如下：先寫出 X和二的聯(lián)合分布h(X)二 CQx(1 -=0,1, ,n,0 ：1然后求X的邊際分布m(x)i0 x(1 一 旳2此-C：:(x (n X 1)(n+2)最后求出v的后驗分布壬 x)=4m(x)=(n*2)0(xJL(i_0)(n0<0 <1：(x 1) ： (n - x 1)'最后的結果說明二xBe(x 1, n - x 1)，其后驗期望估計為A發(fā)生的概率的如果不用先驗信息，只用總體信息與樣本信息，那么事件 最大似然估計為乙=x/n 是與貝葉斯估計不同兩個估計。例2設X1

38、,X2，Xn是來自正態(tài)分布 “(亠壬；)的一個樣本，其中二；已知, J未知，假設J的先驗分布亦為正態(tài)分布 N( 2)，其中先驗均值二和先驗方 差2均已知，試求的貝葉斯估計。解 樣本X的分布和的先驗分布分別為1 nP(X J=(2=；)"2exp 2、(Xi)22 0 i #1 : (22) 1/2exp2( -巧2由此可以寫出X與"的聯(lián)合分布1=匕 exp卍2 -2n£' x2J2 2“ JXi，k1 =(2二1)/2 。若記2XiA=» 二，B = 二 0則有h (X)2（J-B/A）212=k1 exp A 2B）C = k1 exp（C 一

39、 B /A）/A注意到A，B，C均與無關，由此容易計算樣本的邊際密度函數(shù)1m（X）= h（ X ,i）d二匕 exp （C - B 2 / A）（ 2二 / A）1 /2 歸2應用貝葉斯公式可得到后驗分布二（X）= h （X）/m（X） =（2二 / A）1/2 exp - B/ A）22/A這說明在樣本給定后，的后驗分布為N（B/A,1/A），即nXcrj +6t 丄J XN（ 廿 -n ；0 - x后驗均值即為其貝葉斯估計:n/二；-1/2少=:xn/；01/ 2 'n/；01/ 22它是樣本均值X與先驗均值二的加權平均。當總體方差-0較小或樣本量較大 時，樣本均值的權重較大；當先

40、驗方差 ,2較小時，先驗均值 二的權重較大，這 一綜合符合人們的經(jīng)驗，也是可以接受的。共軛先驗分布定義設二是總體參數(shù)，二（旳是其先驗分布，若對任意的樣本觀測值 得到的后驗分布 二（二X）與二（旳屬于同一個分布族，則稱該分布族是 二的共軛 先驗分布（族）。例3在例1中，知道（0, 1）上的均勻分布就是貝塔分布的一個特例Be（1,1）,其對應的后驗分布則是貝塔分布Be（x 1, n - x 1）。更一般地，設二的先驗分布是Be（a,b）,a 0,b0,a,b均已知，則由貝葉斯公式可以求出后驗分布為Be（x a, n - x b），這說明貝塔分布是伯努得試驗中成功概率的共軛先驗分 布。例2中，在方差

41、已知時正態(tài)總體均值的共軛先驗分布是正態(tài)分布。§ 6.5區(qū)間估計區(qū)間估計的概念定義設二是總體的一個參數(shù)，其參數(shù)空間為 4 , X-X2,xn是來自 該總體的樣本，對給定的一個：（ 0 ： 1 ）,若有兩個統(tǒng)計量 豈=%（X1,X2，Xn）和也=色（X1,X2，Xn），若對任意的日，有AAP無宀吭 -1 -:則稱隨機區(qū)間 彳，紜 為參數(shù)二的置信度為1-的置信區(qū)間，T?.和?U分別稱 為置信下限和上限。置信度1<也稱置信水平。定義式的意義：由定義可知，置信區(qū)間是以統(tǒng)計量為端點的隨機區(qū)間，對 于給定的樣本觀察值XX2，Xn,由統(tǒng)計量2（Xi ,X2，,Xn ）,I?U（Xi ,X2，,

42、Xn）構成的置信區(qū)間 彳,£ 可能包含真值二， 也可能不包含真值-，但在多次觀察或?qū)嶒炛?，每一個樣本皆得到一個置信區(qū) 間£,£ ， 在這些區(qū)間中包含真值 6的區(qū)間占100（ 1-a）%，不包含日的僅占 100.例如?。?0.05，在100次區(qū)間估計中，大約有95個區(qū)間包含真值v，而不包含將約占5個。定義沿用定義的記號，如對給定的:-（0 ： : ：1）,對任意的v 3，有AAP=L _ " - ：則稱$ ,兔為曲勺1-0同等置信區(qū)間。定義設稅=.（X1，X2，Xn）是統(tǒng)計量，對給定的 a（o<a<1）, 對任意的v 心，有AP入 -1 -：則

43、稱玄為日的置信水平為1-0的（單側(cè)）置信下限。假如等號對一切成立， 則稱g為B的1-ot同等置信下限。定義設免二£（X1,X2，Xn）是統(tǒng)計量，對給定的（0：1）, 對任意的v 4，有AP - U -1 -：則稱孟為二的置信水平為1=的伸側(cè)）置信上限。假如等號對一切v 4成立， 則稱£為二的1 =同等置信上限。樞軸量法樞軸量法的步驟：（1）設法構造一個樣本和：的函數(shù)G =G（XX2，XnJ）使得G的分布不依賴于未知參數(shù)。一般稱具有這種性質(zhì)的G為樞軸量。（2）適當?shù)剡x擇兩個常數(shù) c,d，使對給定的-（0 ：1）,有Pc EG d =1 - :AA（3）假如能將c遼G乞d進行不

44、等式等式等價變形化為，則有AAP_ * _ 乞二乞九 _ 1 一 -：這表明況，況是日的IP同等置信區(qū)間。說明：構造置信區(qū)間的關鍵在于構造樞軸量，名字由此得來。樞軸量的尋找一般從二的點估計入手。其中C,d的選擇有多種，目的是使得到的E,（?J -經(jīng)）盡可能短。但實際上經(jīng)常采用對稱的原則，即c,d的選擇使PG :：c二 PG d = . /2這樣得到的置信區(qū)間稱為等尾置信區(qū)間。實用的置信區(qū)間大都是等尾置信區(qū)間。例1設Xi,X2,Xn是來自均勻總體U （0門）的一個樣本，試對給定的:（0 ：1）給出二的1-: 同等置信上限。解采用樞軸量法分三步進行（1）我們已知二的最大似然估計為樣本的最大次序統(tǒng)計

45、量x（n），而X（n）/二的密度函數(shù)為p（y;R 二nyn,0 ： y 1它與參數(shù)二無關，故可取X（n）/V作為樞軸量G。（2）由 于x（n）/二的分布 函數(shù)為F （y）二yn,0 ： y ： 1 ，故P（c x（n）/r d）二dn-cn，因此我們可以適當?shù)倪x擇c,d滿足n nd -c 1 -:（3）利用不等式變形可容易地給出二的1 -:-同等置信區(qū)間為1 1X（n）/d,X（n）/C該區(qū)間的平均長度為（）Ex（n）。則在0乞C ： d乞1及c ddncn=1a的條件下，當d =1，c = Wg時，一一一取得最小值，這說明c dX（n）,X（n）/ -是的置信水平為1 =最短置信區(qū)間。單個正

46、態(tài)總體參數(shù)的置信區(qū)間、二已知時的置信區(qū)間這時的點估計為 x，其分布為N（r；2/n），因此樞軸量可選擇為X ' N (0,1)，c和d應滿足P(cG d) =(d)=1 -:-經(jīng)過不等式變形得到P.i（x d二 /、n J _x c二 /, n） =1 ：該區(qū)間的長度為（d -c）/i n，由于標準正態(tài)分布為單峰對稱的，由圖中可見，在沖（d）沖（c） =1-二的條件下，當d -。=比_一./2時，d -c達到最小，由此給出了的置信水平為1的同等置信區(qū)間為r aax - U-./2,XU-./2 o , n 一 . n 一這是一個以x主中心，半徑為一一u .,/2的對稱區(qū)間，常將之表示為

47、Jn圖7-1標準正態(tài)分布的雙側(cè)冋分位點例2已知某種燈泡的壽命 X （單位：小時）服從正態(tài)分布N （，8）?，F(xiàn)從 這批燈泡中抽取10個，側(cè)得其壽命分別為10501100108011201200125010401130 13001200.若=0.05,試求期望的置信度為0.95的置信區(qū)間。解 由樣本算得 X =1147 , n = 10,= 0.05 ,查表得U =U0.025 =1.96 ;由于2=8已知，故卩的置信度為0.95的置信區(qū)間為2X±-U G =1147±-1.96 = 1147±1.75,.n 二、10，即1145.25 , 1148.75為所求得置信

48、區(qū)間。例3設總體為正態(tài)分布 N （,1）,為得到的置信度為0.95的置信區(qū)間 長度不超過1.2,樣本容量應為多少？解 由于）的置信度為0.95的置信區(qū)間為- aX U1 -?/2 * n其區(qū)間長度為2u _./2 /, n ,它僅依賴于樣本容量 n而與樣本具體取值無關。 現(xiàn) 要求 2u./2 / . n 乞 1.2，則有 n _ (2/1.2)2u；_：./2?，F(xiàn)在 1 -=0-95，從而2 25_：./2 =1.96，則 n _ (2/1.2) U1./2 =10.67 ： 11，即樣本容量至少為 11 時 才能使得的置信水平為0.95的置信區(qū)間長度不超過1.2。二、二未知時.二的置信區(qū)間X

49、 卩這時可用t統(tǒng)計量，因為tt(n-1)，因此可用其作為樞軸量,s'Jn關系式”X-卩1P一t(n 1)蘭一 <t (n_ 1)卜=1-a 1ps'Jn1p進行恒等變形，即可得到置信水平為1-的置信區(qū)間為:sx 11 (n -1), X一 n 1 _2s卡邙“.此處s21 n送(XjX2是2的無偏估計。n -1 i例4為確定某種溶液中的甲醛濃度，取得 4個獨立測量值的樣本，并算的 樣本均值為X =8.34%，樣本標準差為s =0.03%。設被測總體近似的服從正態(tài) 分布，:=0.05，試求出啲置信水平為0.95的置信區(qū)間。解因為匚2未知，所以丄的置信區(qū)間為ssx'j

50、x ,2(1) 這里 x = 8.34%, n=4,： = 0.05,將匚Jn 1) =t0.975(3) =3.1824代入即得4的置信區(qū)間為 一28.292%,8.388%三、二2的置信區(qū)間實際上，當二2未知時，均值J已知的情形極為少見，因此只就'未知的情況n瓦(Xi -X)2_2進行討論。這時可取 G =匕 2山則相應的樞軸量為CT2G 22(n -1)S25-1)其中s21n -1n_、'(Xj -X2為樣本方差。i =1類似地可得二2的置信度為1-二的置信區(qū)間為- 2 21(n 1)s(n 1)s2 , 2 &n-1)鼻訓-1)- 2 2 _將之開方就得油勺置

51、信區(qū)間。例5求上例中二2的置信水平為0.95的置信區(qū)間。解 對于；2,由于未知，其置信區(qū)間為- 2 21(n -1)s2(n -1)s27-2a(1)，7-a(n-1)- 2 2 一又 S2 =(0.03%)2，2 一(n-1)=爲5 (3) =9.348 和12( n-1)=爲5 =0.2162代入即得0.00029 10 七0.0125 10打。大樣本置信區(qū)間在樣本容量充分大時，可以用漸近分布來構造近似的置信區(qū)間。設花，Xn是來自二點分布b(1,p)的樣本，現(xiàn)要求 P的1-的置信區(qū)間, 由中心極限定理知，樣本均值X的漸近分布為N(p, p(1 一 p)，因此有nX - P.P(1 - p)/nN(0,1)這個u可以作為樞軸量，對給定的：，利用標準正態(tài)分布的1 - : /2分位數(shù)U1 _：./2 可得P(X - P.p(1 - p)/n-U /2)1括號里的事件等價于(x-p)2 蘭 U12gjp(1 p)/n記=5.；/2，上述不等式可化為(1)p -(2x-)p x < 0nn左側(cè)的二次多項式的判別式224x(1 1 X) / ' 2(2x -) -4(1 -)x()0nnnn故此二次多項式的開口向上并與x軸有兩個交點的曲線，記此兩個交點即二次多項式的二根為P