多維隨機(jī)變量及其分布

1、1第六章參數(shù)估計(jì) 6.1 點(diǎn)估計(jì)的幾種方法6.1.16.1.1 替換原理和矩法估計(jì)、矩法估計(jì)替換原理：（1 1）用樣本矩去替換總體矩，這里的矩可以是原點(diǎn)矩也可以是中 心矩；（2 2）用樣本矩的函數(shù)去替換相應(yīng)的總體矩的函數(shù)。舉例二、概率函數(shù)p（X；R已知時(shí)未知參數(shù)的矩法估計(jì)設(shè)總體具有已知的概率函數(shù)p（ X；耳,，vk），（3,，vk） 是未知參數(shù)或參數(shù)向量，X-X2，Xn是樣本，假定總體的k階原點(diǎn)矩 存在，則對(duì)所有j，0： ：j :：: k,都存在，若假設(shè) 九，耳能夠表示成 亠,，U U 的函數(shù) 片7j（1,7），則可給出諸 可的矩法估計(jì)：出=巧佝,，ak）, j =1,k1n其中a，ak是前k

2、個(gè)樣本原點(diǎn)矩：ajX/，進(jìn)一步，如果要估計(jì)n yy,門(mén)k的函數(shù) 二gG,入），則可直接得到 的矩法估計(jì)? = g&, *）。例 i i 設(shè)總體為指數(shù)分布，其密度函數(shù)為p（x;入）=，x 0X1,X2,Xn是樣本，此處k = 1，由于EX = 1/ ，亦即=1 / EX，故的 矩法估計(jì)為?=1/x另外，由于Var（X）=1/-2，其反函數(shù)為=1/、.,Var（X），因此，從替換原理 來(lái)看，-的矩法估計(jì)也可取為? -1/ s，s樣本標(biāo)準(zhǔn)差。這說(shuō)明矩估計(jì)可能是不唯一的，這是矩法估計(jì)的一個(gè)缺點(diǎn), 此時(shí)通常應(yīng)該盡量采用低階矩給出未知參數(shù)的估計(jì)。例 2 2 設(shè)xx2，xn是來(lái)自（a,b）上的均勻分

3、布的樣本，a與b均是未知參 數(shù)，這里k = 2其密度函數(shù)為求a，b的矩估計(jì)p(x;a,b)=怙1,a - x - ba，2解由E(X)=a b,D(X)丄-a)22 12得方程組：a +b X,121n2(b-a)2=Va (X)=遲(XX)2.J2n y解此方程組，得到矩估計(jì)量： = X -，3Var(X)= 乂.3Var(X).6.1.26.1.2 最大似然估計(jì)定義 6.1.16.1.1 設(shè)總體的概率函數(shù)為p(x;R，二o o，其中二是一個(gè)未知參數(shù) 或幾個(gè)未知參數(shù)組成的參數(shù)向量，心是參數(shù) v 可能取值的參數(shù)空間，x1,x ,xn是來(lái)自該總體的樣本，將樣本的聯(lián)合概率函數(shù)看成二的函數(shù)，用L(v

4、；xx2，Xn)表示，簡(jiǎn)記為L(zhǎng)(V)，L(巧=L(d；Xi,X2,Xn) =P(XIL)P(X2門(mén))P(XnL)L(R稱(chēng)為樣本的似然函數(shù)。如果某統(tǒng)計(jì)量?(Xi,X2，Xn)滿(mǎn)足L(多=max.QL(R則稱(chēng)是二的最大似然估計(jì)，簡(jiǎn)記為 MLEMLE。注意：(1)(1)常常使用對(duì)數(shù)似然函數(shù)，因?yàn)槠渑c似然函數(shù)具有相同的最值。(2)(2)求導(dǎo)是最常用的求最值的方法。例 3 3 設(shè)一個(gè)試驗(yàn)的三種可能結(jié)果，其發(fā)生概率分別為P1 - V2， P2=2二(1 - V)， P3=(1 -巧2則似然函數(shù)為L(zhǎng)p) =(J)n12d(1-巧門(mén)(1-巧丁32門(mén)3-門(mén)2其對(duì)數(shù)似然函數(shù)為In L(R =(2n吐)1 (2壓

5、匕)1 n(1-巧 壓泉將之關(guān)于二求導(dǎo)并令其為0 0 得到似然方程2小2g匕=01 - v解之，得2二2厲2nn2現(xiàn)做了 n n 次試驗(yàn)，觀測(cè)到三種結(jié)果發(fā)生的次數(shù)分別為n n, , n n, ,門(mén)3(山+壓+壓二 n)n)32(mn2m)2n42j In L（R2ni n22n3n22r:062（1-日）2所以T?為極大值點(diǎn)。例 4 4 設(shè)樣本 X Xi, X X2,，X Xn來(lái)自正態(tài)總體 X X、N N ，匚2) )，二-(.I-(.I，二2) )是二 維參數(shù)，未知，求其的極大似然估計(jì)。解似然函數(shù)為2nn2ln L（,；） In 21 n二2 21n刖疋以一吩0,型供F（X）2&T2

6、b 2b yn21n2解之得？=1VXi=X,；：?2=1、(xi-X)2n 7ni二易驗(yàn)證，V,；?2為L(zhǎng)(,72)得最大值點(diǎn)。因此，？，；？2的極大似然估計(jì)值為1n1n?=-二Xi廠?2=_二(Xj_ X)2ni生ni 4求導(dǎo)無(wú)法解決的問(wèn)題，如下例。例 5 5 設(shè)X1,X2, Xn是來(lái)自均勻分布U(0,旳的樣本，試求 二的最大似然估 計(jì)。解似然函數(shù)為要使L( = )達(dá)到最大，首先一點(diǎn)是示性函數(shù)取值應(yīng)該為由于1 /二n是二的單調(diào)減函數(shù)，所以 二的取值就盡可能小，但示性函數(shù)為 1 1 決定 了二不能小于X(n)，由此給出了二的最大似然估計(jì)：役=X(n)。最大似然估計(jì)的不變性：如果壬是二的最大似

7、然估計(jì)，則對(duì)任一函數(shù)g(v), 其最大似然估計(jì)為g(馬。例 6 6 設(shè)/公2,Xn是來(lái)自正態(tài)總體N(=二的樣本，在前例中已經(jīng)求得 了參數(shù)的由于n1、2二;1n存（X2J i亠于是對(duì)CnL1 .n=1I0 :Xi1 1,其次是 11n盡可能大。n=（2二；2）2e5最大似然估計(jì)為6于是由最大似然估計(jì)的不變性可得如下參數(shù)的最大似然估計(jì)，它們是*；? =s概率P（X：3）=心（）的 MLEMLE 為:（二）as總體 0.900.90 分位數(shù)Xo.90=卩+CTU0.90的 MLEMLE 是X + S*u0.90，其中山是標(biāo)準(zhǔn)正態(tài)分布的 0.900.90 分位數(shù)。 6.2 點(diǎn)估計(jì)的評(píng)價(jià)標(biāo)準(zhǔn)6.2.16

8、.2.1 相合性定義 6.2.16.2.1 設(shè)00為未知參數(shù)，況=纟（為，,xn）是日的一個(gè)估計(jì)量，n是樣本容量，若對(duì)任何一個(gè)；0，有l(wèi)im P（瓦-日 町=0n_jpc則稱(chēng)玄為參數(shù)日的相合估計(jì)。注意：相合性一般可以應(yīng)用大數(shù)定律或直接由定義、依概率收斂的性質(zhì)來(lái) 證。例 1 1 設(shè)Xi，X2,是來(lái)自正態(tài)總體N（d；2）的樣本，則由辛欽大數(shù)定律及 依概率收斂的性質(zhì)知：（1 1）X是的相合估計(jì)；*2 2（2 2）S是二 的相合估計(jì)2 2S也是二的相合估計(jì)由此可見(jiàn)，參數(shù)的相合估計(jì)不止一個(gè)。定理 6.2.16.2.1 設(shè)?n=（Xi,Xn）是二的一個(gè)估計(jì)量，若駐&）。堅(jiān)申&）=0則 2

9、2 為二的相合估計(jì)。例 2 2 設(shè)Xi,X2/,Xn是來(lái)自均勻總體U（0j）的樣本，證明二的最大似然估 計(jì)是相合估計(jì)。證明由上一節(jié)知，二的最大似然估計(jì)是X（n）。由次序統(tǒng)計(jì)量的分布，我們 知道2二X（n）的分布密度函數(shù)為p（y） =nyn/rn,y：區(qū)X)2=s*2ni 47故有E -? nyndy/ vn= ）vL0n +1E? nyn 1dy/ J二一-20n +2n2n2n2Var（另二 -（-）2r 0二n +2 n +1 （n +1） （n +2）由定理知，X（n）是的相合估計(jì)。定理 6.2.6.2.2 2 若， 免,，1分別是日1月2,月k的相合估計(jì)，n=g（日1,日2,， ）是日

10、1月2, ,，6 6 的連續(xù)函數(shù)，則叫二g（氏1點(diǎn)2, ,，視k）是 的相合估計(jì)。注意：（1 1）樣本均值是總體均值的相合估計(jì)；（2 2）樣本標(biāo)準(zhǔn)差是總體標(biāo)準(zhǔn)差的相合估計(jì)；樣本變異系數(shù)s/x是總體變異系數(shù)的相合估計(jì)。例 3 3 設(shè)一個(gè)試驗(yàn)有三種可結(jié)果，其發(fā)生概率分別為P1 72，P2=2r（1），P3=（1-R2現(xiàn)做了 n n 次試驗(yàn)，觀測(cè)到三種結(jié)果發(fā)生的次數(shù)分別為n1, n2, n3，可以采用頻率替換方法估計(jì) 二。由于可以有三個(gè)不同的 ，的表達(dá)式：V - . P1，-1 - P3，- P1P2/2由大數(shù)定律，q / n,門(mén)2/ n,門(mén)3/n分別是 山，p?，P3的相合估計(jì)，由上面 定理知，上

11、述三個(gè)估計(jì)都是V 的相合估計(jì)。6.2.26.2.2 無(wú)偏性定義 6.2.26.2.2 設(shè)？= ?（%，Xn）是二的一個(gè)估計(jì)，二的參數(shù)空間為。，若對(duì) 任意的廠心，有E（勺二二則稱(chēng)是二的無(wú)偏估計(jì)，否則稱(chēng)為有偏估計(jì)。注意：無(wú)偏性可以改寫(xiě)為E（刃-二）=0，表示沒(méi)有系統(tǒng)偏差。例 4 4 設(shè)總體的 k k 階矩存在，則樣本的 k k 階矩是總體 k k 階矩的無(wú)偏估計(jì)。證因?yàn)?n1n1nE（ak）二E（vx）=aE（x：）=vE（xk）二E（xk）八ni #ni #ni#所以比是-k的無(wú)偏估計(jì)。*1n _A *8另外，s2二二（Xi-X）2.，檢驗(yàn)二2= S2是否為二2的無(wú)偏估計(jì)。ni彳9：二2的無(wú)偏估

12、計(jì)。不過(guò)，當(dāng)n：時(shí)，有E(二2)= 二22。稱(chēng)二2二n近無(wú)偏估計(jì)。注意：無(wú)偏性不具有不變性。 即:?是二的無(wú)偏估計(jì)時(shí)，g(坷不一定是g(r)的無(wú)偏估計(jì)，除非g(v)是二的線性函數(shù)。如s2是匚2的無(wú)偏估計(jì)，但S不是匚的 無(wú)偏估計(jì)。例 5 5 設(shè)總體為N(,；2)，X1,X2/,Xn是樣本，我們已經(jīng)證明1n-S2 (托_x)2n -1i 1嗎A2(n -1)，故E (- n -1，即卩E(二2) =n 1因?yàn)榕襝A所以匚2不是匚2的無(wú)偏估計(jì)，但n-21crcr = =n -1 n -1i4n_(Xi-x)2二s2為;2的無(wú)偏估計(jì)量1nni 4由此可知(Xi- X)2不是二2的無(wú)偏估計(jì)量，而樣本方差

13、丄Jn -1 i 42(Xi-X)s*2是二2的漸是匚2的無(wú)偏估計(jì)。由定理531531,Y=(n一嚴(yán).2(n -1)，其密度函數(shù)為1p(y)二 fy丁廠n 122-(丁)ny42e2,y 0從而10血 一1)/2)】(n /2)是修偏系數(shù)?？梢宰C明當(dāng)n:時(shí)，有Onr 1，這說(shuō)明s是二的漸近無(wú)偏估計(jì)，從而在樣本容量較大時(shí)，不經(jīng)修正的s也是二的一個(gè)很好的估計(jì)。623623 有效性定義 6.2.36.2.3 設(shè)岡，兔均為未知參數(shù)日的無(wú)偏估計(jì)量，若Var&) _Var(鄉(xiāng))，-才 心且至少存在一個(gè) 二00,使上述不等號(hào)嚴(yán)格成立，則稱(chēng)聽(tīng)比劣 有效。例 6 6 設(shè)X1,X2,Xn是取自某總體的樣本

14、，記總體均值為J，總體方差為二2，則?1X1, ?2X都是J的無(wú)偏估計(jì)，但Var(%) -；2,Var(?2) -廠2/n顯然，只要n 1，%比氣有效。例 7 7 在例 2 2 中，均勻總體u (0,二)中二的極大似然估計(jì)是x(n)，由于Ex(n)二 ，所以X(n)不是二的無(wú)偏估計(jì)，但是 二的漸近無(wú)偏估計(jì)。n +1經(jīng)過(guò)修偏后可以得到二的一個(gè)無(wú)偏估計(jì)：呀=X(n)。且nE(Y1/2)=。：1P 0y2e2dy = 2廠(n)2n22】n21)由此，我們有(n/2)CTOnEs：-E(Y1/2)=.In1n1 r( n1)/2)這說(shuō)明s不是匚的無(wú)偏估計(jì)，利用修正技術(shù)可得cns是二的無(wú)偏估計(jì)，其中1

15、/2Cn二Var(?) =(口n2)Var(x(n)n(n 1)2( n 2)-2丁2n(n 2)11另一方面，由矩法，我們可得到 V 的另外一個(gè)無(wú)偏估計(jì)Var() =4Var(X) =4Var(X)二n由此，當(dāng)n 1時(shí)，會(huì)比t?有效。624624 均方誤差均方誤差定義式為：MSE(多=E(? R2由于MSE(國(guó)二E(?-巧2二E&-E訶(E?-，)2= E(?_E訶2(E?_R2.2E(?_Em(E?_“二Var(馬(E-R2因此均方誤差由兩部分組成，點(diǎn)估計(jì)的方差與偏差的平方。如果點(diǎn)估計(jì)是無(wú)偏的，則均方誤差等于其方差。例8在前例中，2二- X(n)的均方誤差n.2MSE()二Var(

16、勻二n(n +2)現(xiàn)在考慮二的形如？= :- x(n)的估計(jì)，其均方誤差為4蘭n 123n12MSE(?.)二Var(：心)(Ex(n)-旳22Var(x(n)(七)2n十12n v2nr22“2( 1)(n 1)2(n 2)n 1用求導(dǎo)的方法不難求出當(dāng)=(n 2)/(n - 1)時(shí)上述均方誤差達(dá)到最小，且J、一?2，這表示-o =n +2MSE(荷 G(n 1)2n-1X(n)雖然是的有偏估計(jì)，但其均方誤差e2-221,%比嗚有效。例 7 7 在例 2 2 中，均勻總體U （0,二）中二的極大似然估計(jì)是X（n），由于Ex（n）二，所以X（n）不是二的無(wú)偏估計(jì)，但是 二的漸近無(wú)偏估計(jì)。n +1

17、2（n -1），其密度函數(shù)為12亍#1)2(n21):-n “ y-1e2dyn2廠(n)2n .1門(mén)一(,1丨(n/2)_(n -1)/2)CTCn1/2Es = E（Y ）= Jn -1這說(shuō)明s不是二的無(wú)偏估計(jì)，利用修正技術(shù)可得cns是二的無(wú)偏估計(jì)，其中14經(jīng)過(guò)修偏后可以得到71的一個(gè)無(wú)偏估計(jì)：WF%)。且nVar(?)=(n 1)2Var(x(n)n=(n 1)2nJn (n 1)2( n 2)另一方面，由矩法，我們可得到v 的另外一個(gè)無(wú)偏估計(jì)g = 2X，且o-44日262Var() =4Var(x) Var(X):nn 12 3n由此，當(dāng)n .1時(shí)，彳比劣 有效。624624 均方誤

18、差均方誤差定義式為：MSE = E&-巧2由于MSE& =E(?打2=E(?_E珀(E役_R2= E(?E2(E?R22E(彳_E馬(E?_R=Var(馬(E J)2因此均方誤差由兩部分組成，點(diǎn)估計(jì)的方差與偏差的平方。如果點(diǎn)估計(jì)是無(wú) 偏的，則均方誤差等于其方差。n i例 8 8 在前例中，2X(n)的均方誤差nMSE(=Var(訶=n(n +2)現(xiàn)在考慮二的形如？. -X(n)的估計(jì)，其均方誤差為MSE(?.) =Var(：心)(Ex(n)-対22n2用求導(dǎo)的方法不難求出當(dāng)o=(n 2)/(n - 1)時(shí)上述均方誤差達(dá)到最小，且2MSE(- X(n)2，這表示=n2X(n)雖然

19、是71的有偏估n 1(n 1)n 1n(n 2)2(n 1) (n 2)-1門(mén)15計(jì)，但其均方誤差16所以在均方誤差的標(biāo)準(zhǔn)下，有偏估計(jì)6?6?優(yōu)于無(wú)偏估計(jì) *。 6.3 最小方差無(wú)偏估計(jì)6.3.16.3.1 Rao-BlackwellRao-Blackwell 定理定理 6.3.1(Rao-Blackwell6.3.1(Rao-Blackwell 定理) )設(shè) X X 和 Y Y 是兩個(gè)隨機(jī)變量，EXEX = =1 1，Var(X) 0 0 ,用條件期望構(gòu)造一個(gè)新的隨機(jī)變量- (Y)，其定義為“y)二E(X/Y二y)則有E(Y)二-Var(Y)乞Var(X)其中等號(hào)成立的充分必要條件是X X

20、和:(Y)幾乎處處相等。定理 6.3.26.3.2 設(shè)總體概率密度函數(shù)是P(XR)，x1,x2/,xn是其樣本，T=T(T=T(Xi, X2, Xn) )是二的充分統(tǒng)計(jì)量，則對(duì)二的任一無(wú)偏估計(jì)夕二？(Xi,X2,Xn)，令孑二E(f T)，則也是的無(wú)偏估計(jì)，且Var()乞Var(?證明由于T T= =T(T(Xi, X2 /,Xn) )是充分統(tǒng)計(jì)量，故而-=E(? T)與二無(wú)關(guān)， 因此它也是一個(gè)估計(jì)( (統(tǒng)計(jì)量) )，只要在定理 6.3.16.3.1 中取X=丫二T即可完成本 定理的證明。注意，充分性原則：如果無(wú)偏估計(jì)不是充分統(tǒng)計(jì)量的函數(shù)，則將之對(duì)充分統(tǒng)計(jì)量求條件期望可以得到一個(gè)新的無(wú)偏估計(jì)，

21、該估計(jì)的方差比原來(lái)的估計(jì)的 方差要小，從而降低了無(wú)偏估計(jì)的方差。即考慮二的估計(jì)問(wèn)題只需要在基于充分統(tǒng)計(jì)量的函數(shù)中進(jìn)行即可。例 1 1 設(shè)Xi,X2, ,Xn是來(lái)自b(1, P)的樣本, 計(jì)量。為估計(jì)V - p2，可令1, X11,X 10, 其他由于E&)= P(X1=1,X2=1)= p p，所以呀是二的無(wú)偏估計(jì)。這個(gè)估計(jì)并不好，它只使用了兩個(gè)觀測(cè)值，下面用nRao-BlackwellRao-Blackwell 定理對(duì)之加以改進(jìn)：求硏關(guān)于充分統(tǒng)計(jì)量T =2Xi的條件期望, 過(guò)程如下。MSE偲)=J(n 1)2Jn(n 2)二MSEC?)則X( (或T =nX) )是p的充分統(tǒng)17池E

22、(彳T =t) = P(彳=1 T =t) _ P(X,=1,X2=1,T二t)=P(T =t)nPg =1,X2十Xj =t_2)_i蘭_p仃=t)nP(X!=1,X2=1,v Xi=t -2)_p仃=t)t -2 t _2 、n _t，八P pCn/P (1-P)Ct/Ctt(t-1)t tn _L_Cn_2/Cn_CnP (1 - p)n(n-1)n其中送Xi =t。可以驗(yàn)證，$是日的無(wú)偏估計(jì)，且VarG)Var(昭i =36.3.26.3.2 最小方差無(wú)偏估計(jì)定義 6.3.16.3.1 對(duì)參數(shù)估計(jì)問(wèn)題，設(shè)的一個(gè)無(wú)偏估計(jì)，如果對(duì)另外任意一 個(gè)二的一個(gè)無(wú)偏估計(jì) 扌，在參數(shù)空間上有都有Vaq

23、_VarJ)則稱(chēng)？是二一致是最小方差無(wú)偏估計(jì)，簡(jiǎn)記為 UMVUEUMVUE。注意：定理 632632 表明，如果 UMVUEUMVUE 存在，則它一定是充分統(tǒng)計(jì)量的函數(shù)。一般而言，如果依賴(lài)充分統(tǒng)計(jì)量的無(wú)偏估計(jì)只有一個(gè)，則它就是UMVUEUMVUE。定理 6.3.36.3.3 設(shè) X X=(花必,Xn)是來(lái)自某總體的一個(gè)樣本， =( X X)是二的 一個(gè)無(wú)偏估計(jì)，Var(n：-。如果對(duì)任意一個(gè)滿(mǎn)足E(:(X)0的(X)， 都有Cov日&申)=0,曲E則彳是二的 UMVUEUMVUE。例 2 2 設(shè)X1,X2 /,Xn是來(lái)自指數(shù)分布Exp(1/R的樣本，則根據(jù)因子分解定理可知，T=x1x2

24、-xn是二的充分統(tǒng)計(jì)量，由于ET = n，所以X二T/n是二的無(wú)偏估計(jì)。設(shè)二(x1,x2/,xn)是二的任一無(wú)偏估計(jì)，則-be -ben1/AE (T) =0.0(X1,X2, ,Xn) I丨 .dx1dXn =0i =1廿7nd18兩端對(duì) d d 求導(dǎo)。得/：nXgX2，Xn) eiSdXidXn=0這說(shuō)明E(X)=0，從而Co vx, J =E(X)E(X) E( ) =0由定理 633633,X是 v 的 UMVUEUMVUE。6.3.36.3.3 Cramer-RaoCramer-Rao 不等式定義 6.3.26.3.2 設(shè)總體的概率函數(shù)p(x；r)，廠滿(mǎn)足下列條件：(1)(1)參數(shù)空

25、間。是直線上的一個(gè)開(kāi)區(qū)間；支撐S =x: p(X)0與二無(wú)關(guān)；導(dǎo)數(shù)P(x;R對(duì)一切廠 都存在；(4)(4)對(duì)P(XR)，積分與微分運(yùn)算可交換次序，即_：P(x；Rdx二 _ ：壬p(x;旳dxd2期望E p(x;R2存在，則稱(chēng)d2I=E p(xR)2ctlctl為總體分布的費(fèi)希爾(Fisher)(Fisher)信息量。注意：1(越大可被解釋為總體分布中包含未知參數(shù)v 的信息越多。例 3 3 設(shè)總體為泊松分布P()，其分布列為Xp(x; ) e，x =0,1,x!可以看出定義 6.3.26.3.2 的條件滿(mǎn)足，且In p(x; ) = xln - - In(x!) In p(x; ) = x/

26、-1于是X幾21I (HE(-)2二一。扎扎例 4 4 設(shè)總體為指數(shù)分布，密度函數(shù)為19p(x；d)可以驗(yàn)證定義 632632 的條件滿(mǎn)足，且1P(x；R =-o于是定理 6.3.4(Cramer-Rao6.3.4(Cramer-Rao 不等式) )設(shè)定義 6.3.26.3.2 的條件滿(mǎn)足，x,x2, xn是 來(lái)自該總體的樣本，T=T(T=T(xX2, X ) )是g(r)的任一個(gè)無(wú)偏估計(jì)，g(V)二g()存在，且對(duì)。中一切 r r，對(duì)n,Xn)丨丨P(Xj；旳dXdXni J的微分可在積分號(hào)下進(jìn)行，即對(duì)離散總體，則將上述積分改為求和符號(hào)后，等式仍然成立，則有Var(T) - g )2/(“)

27、上式稱(chēng)為 C-RC-R 不等式。g (v)2/(nl(巧)稱(chēng)為g()的無(wú)偏估計(jì)的方差的 C-RC-R 下 界，簡(jiǎn)稱(chēng)g(“的 C-RC-R 下界。特別地，對(duì)的無(wú)偏估計(jì)？有Var(網(wǎng)一1/(nI(旳) 注意：如果 C-RC-R 不等式中的等號(hào)成立，則稱(chēng)T=T(T=T(x1,x2/,Xn) )是gp)的任有效估計(jì)，有效估計(jì)一定是UMVUEUMVUE。例 5 5 設(shè)總體分布列為p(x；R - vx(1-RiX = 0,1它滿(mǎn)足定義 6.3.26.3.2 的所1有條件，可以算得該分布的費(fèi)希爾信息量為1(日)=-，若XX2，Xn是日(1-日)該總體的樣本，則二的 C-RC-R 下界為1/( nl(旳)-訊

28、1 ，)/n。由于樣本均值x是 二的無(wú)偏估計(jì)，且其方差等于 現(xiàn)1-耳/n，達(dá)到了 C-RC-R 下界，所以x是二的有 效估計(jì)，它也是二的 UMVUEUMVUE。例 6 6 設(shè)總體為指數(shù)分布Exp(1/巧，它滿(mǎn)足定義 6.3.26.3.2 的所有條件，例 6.3.46.3.4 中已l(R =E(V a i(x)-41-2-be -beg(R-be -be_T(X1,X2, ,Xn) -T PP(XiC)dX1dXn._0.：T(X1,X2, ,Xn) = lP(Xi；dX1dXn-n20經(jīng)算出該分布的費(fèi)希爾信息量為1(巧一 v ，若X1,X2/,Xn是樣本，則二 的 C-RC-R 下界為1/(n

29、I(R)-v2/n，而X是二的無(wú)偏估計(jì)，且其方差等于宀n, 達(dá)到了 C-RC-R 下界，所以X是二的有效估計(jì)，它也是二的 UMVUEUMVUE。21匚的無(wú)偏估計(jì)為（2 2） 一-心，有其中函數(shù)h（x）,F2（X）,F3（x）滿(mǎn)足=F1（x）dx：J =F2（x）dx：Ibosup*：,F3（x）dx:二（3）一J - O, 0：1（可三.（-rpdDdx：:。若X1,X2,，Xn是來(lái)自該總體的樣本，則存在未知參數(shù)二的最大似然估計(jì)，纟=（X1,，Xn）,且玄具有相合性和漸近正態(tài)性，玄N鼻）。nl（巧如上定理表明最大似然估計(jì)通常是漸近正態(tài)的，且其漸近方差有一個(gè)統(tǒng)一 的形式，主要依賴(lài)于費(fèi)希爾信息量。

30、例 8 8 設(shè)XX2,，Xn是來(lái)自N（；2）的樣本，可以驗(yàn)證該總體分布在C-RC-R 下界。注意：大多無(wú)偏估計(jì)都達(dá)不到其oN（0,二），它滿(mǎn)足定義 632632 的所有條件，下面計(jì)x2/二22（1），故2二2）2=E丄2a例 7 7 設(shè)算它的費(fèi)希爾信息量。由于2:C ) =E2p(x；&31412 24Var(x/ -)4令二二g（二2）=g（；2）2nlL)2，則二的C-RC-R 下界為c22nn、2 - (n 1)/2),(n/2)1nx2ny可以證明，這是c的 UMVUEUMVUE。其方差大于 計(jì)的方差都大于其 C-RC-R 下界。C-RC-R 下界。表明所有的:二的無(wú)偏估定理

31、6.3.56.3.5 設(shè)總體 X X 有密度函數(shù)（1 1）對(duì)任意的P（X；r）,4,0為非退化區(qū)間,假定In p和ln p對(duì)所有心都存在；：T2F3：:FMx),:F2(X),r3 Iln p亦3:F3(X)22二2已知或已知時(shí)均定理 6.3.56.3.5 的三個(gè)條件。232(1)(1)在二 已知時(shí)，的 MLEMLE 為-?=X，由定理 635635 知，?服從漸近正態(tài) 分布。12(X)2In p(x) = In .21 n；一222/：ln p xorE(二)2.CTCT從而有？N(；2/n)，該近似分布與?的精確分布相同。An2在已知時(shí)，二2 2的 MLEMLE 為二2=、化-)， y y

32、112(X -)2-；2-打l(X)2JX)42二22二42二4E(X-)2-匚22Var(X-)2) 4存6.4.16.4.1 統(tǒng)計(jì)推斷的基礎(chǔ)總體信息樣本信息先驗(yàn)信息：如果我們把抽取樣本看作一次試驗(yàn)，則樣本信息就是試驗(yàn)中得 到的信息。貝葉斯學(xué)派的基本觀點(diǎn)是：任一未知量 二都可以看作是隨機(jī)變量，可用一個(gè)概率分布去描述，這個(gè)分布稱(chēng)為先驗(yàn)分布；6.4.26.4.2 貝葉斯公式的密度函數(shù)形式(1)(1) 總體依賴(lài)于參數(shù) 二的概率函數(shù)在貝葉斯統(tǒng)計(jì)中記為p(X d)，它表示在隨機(jī)變量二取某個(gè)給定值時(shí)總體的條件概率函數(shù)。(2)(2) 根據(jù)參數(shù)二的先驗(yàn)信息確定 先驗(yàn)分布二(二)。(3)(3) 從貝葉斯觀點(diǎn)看

33、，樣本 X X =(=(X1,X2,Xn) )的產(chǎn)生要分兩步進(jìn)行。首先設(shè)想從先驗(yàn)分布 二(力產(chǎn)生一個(gè)樣本玉，這一步是人們無(wú)法看到的。第二步從p(X(X 6)6)中產(chǎn)生一組樣本，這時(shí)樣本X X=(%=(%,X2,xn) )的聯(lián)合條件概率函數(shù)為np( X X 二0)= P(X1,X2 ,Xn補(bǔ))：丨丨p(Xi如i =1這個(gè)分布綜合了總體信息和樣本信息。fln p匯2iL)從而有；一-2N &22-4/ n) 6.4 貝葉斯估計(jì)24(4)(4) 由于 厲是設(shè)想出來(lái)的，仍然是未知的，它是按先驗(yàn)分布二(二)產(chǎn)生的。為把先驗(yàn)信息綜合進(jìn)去，不能只考慮 ,對(duì)二的其他值發(fā)生的可能性也要加以考慮，故要用

34、二(v)進(jìn)行綜合。這樣一來(lái)，樣本X X 和參數(shù) v 的聯(lián)合分布為h(X(X,=p(XV)V)二(v)這個(gè)聯(lián)合分布把總體信息、樣本信息和先驗(yàn)信息三種可用信息都綜合進(jìn)去了。(5)(5) 目的是要對(duì)未知參數(shù) 二作統(tǒng)計(jì)推斷。在沒(méi)有樣本信息時(shí)，只能依據(jù)先驗(yàn)分布對(duì)二作出推斷。在有了樣本觀察值 X=(X=(x1, x2, xn) )之后，應(yīng)該依據(jù)h(X(X, 丁)對(duì)二作出推斷。若把h(X(X，二) )作如下分解：h( (X X) - X) )m( (X)X)其中m( (X)X)是 X X 的邊際概率函數(shù)：m( (X)=X)=h(X X c)dc)d v v - -p(X X 旳二0 0 0 0它與二無(wú)關(guān)，或

35、者說(shuō)m( (X)X)中不含二含的任何信息。因此能用來(lái)對(duì)二作出推斷的僅是條件分布 二(二 X X)，它的計(jì)算公式是二 9 X X )=)=h(X(X R)/R)/m(x(x )=)=p( ( X X 二(旳/ /p(X X 二)二G G這個(gè)條件分布稱(chēng)為 v 后驗(yàn)分布，它集中了總體、樣本和先驗(yàn)中有關(guān) J J 的一切信 息。上式就是用密度函數(shù)表示的貝葉斯公式。它要比二(旳更接近二的實(shí)際情況。6.4.36.4.3 貝葉斯估計(jì)由后驗(yàn)分布-： X)X)估計(jì)二有三種常用的方法：(1)(1)使用后驗(yàn)分布的密度函數(shù)最大值點(diǎn)作為二的點(diǎn)估計(jì)的最大后驗(yàn)估計(jì)；使用后驗(yàn)分布的中位數(shù)作為二的點(diǎn)估計(jì)的后驗(yàn)中位數(shù)估計(jì)；(3)(

36、3)使用后驗(yàn)分布的均值作為二的點(diǎn)估計(jì)的 后驗(yàn)期望估計(jì)。這是用得最多的一種方法，一般也簡(jiǎn)稱(chēng)為貝葉斯估計(jì)，記為兔例 1 1 設(shè)某事件 A A 在一次試驗(yàn)中發(fā)生的概率為二，為估計(jì)-，對(duì)試驗(yàn)進(jìn)行了n n 次獨(dú)立觀測(cè)，其中事件A A 發(fā)生了 X X 次，顯然X二b(n J)。假若在試驗(yàn)前對(duì)事件 A A 沒(méi)有什么了解，從而對(duì)其發(fā)生的概率二也沒(méi)有任何信息。在這種情況下，貝葉斯建議采用“同等無(wú)知”的原則使用區(qū)間(0,1)(0,1)上的均勻分布作為的先驗(yàn)分布，因?yàn)樗?0,1)(0,1)上的每一點(diǎn)的機(jī)會(huì)均等。這一假設(shè)后被稱(chēng)為貝葉斯假 設(shè)。由此即可利用貝葉斯公式求出二的后驗(yàn)分布。具體如下：先寫(xiě)出X和二的聯(lián)合分布h

37、(X)二CQx(1 -=0,1, ,n,0：1然后求 X X 的邊際分布25最后求出 v 的后驗(yàn)分布壬x)=4m(x)=_ (n*2)_0(xJL(i_0)(n00 1：(x 1)：(n - x 1)最后的結(jié)果說(shuō)明二xBe(x 1, n - x 1)，其后驗(yàn)期望估計(jì)為如果不用先驗(yàn)信息，只用總體信息與樣本信息，那么事件 最大似然估計(jì)為乙=x/n是與貝葉斯估計(jì)不同兩個(gè)估計(jì)。例 2 2 設(shè)X1,X2，Xn是來(lái)自正態(tài)分布 “(亠壬；)的一個(gè)樣本，其中二；已知,J未知，假設(shè)J的先驗(yàn)分布亦為正態(tài)分布N( 2)，其中先驗(yàn)均值二和先驗(yàn)方 差2均已知，試求的貝葉斯估計(jì)。解 樣本 X X 的分布和的先驗(yàn)分布分別為

38、1nP(X XJ=(2=；)2exp2、(Xi)220 i #1: (22) 1/2exp2(-巧2A=A=二，B =二0則有h(X X)m(x)i0 x(1一 旳2此-C：:(x (n X 1)(n+2)A A 發(fā)生由此可以寫(xiě)X X 與的聯(lián)合分布1=匕exp卍2-2n x2J22“ JXi，k1=(2二1)/2。若記2Xi262（J-B/A）212=k1exp A2B）C = k1exp（C一B /A）/A注意到 A A，B B，C C 均與無(wú)關(guān)，由此容易計(jì)算樣本的邊際密度函數(shù)1m（X X）=h（X X,i）d二匕exp （C - B2/ A）（ 2二/ A）1 /2歸2應(yīng)用貝葉斯公式可得到

39、后驗(yàn)分布二（X X）=h（X X）/m（X X）=（2二/ A）1/2exp - B/ A）22/A這說(shuō)明在樣本給定后，的后驗(yàn)分布為N（B/A,1/A），即nXcrj+6T丄JXN（廿 -n；0- x2-0-0 較小或樣本量較大 時(shí)，樣本均值的權(quán)重較大；當(dāng)先驗(yàn)方差 , ,2 2較小時(shí)，先驗(yàn)均值 二的權(quán)重較大，這 一綜合符合人們的經(jīng)驗(yàn)，也是可以接受的。6.4.46.4.4 共軛先驗(yàn)分布定義 6.4.16.4.1 設(shè)二是總體參數(shù)，二（旳是其先驗(yàn)分布，若對(duì)任意的樣本觀測(cè)值 得到的后驗(yàn)分布 二 （二 X X） 與二 （旳屬于同一個(gè)分布族， 則稱(chēng)該分布族是 二的共軛 先驗(yàn)分布 （族） 。例 3 3 在例

40、 1 1 中，知道（0 0, 1 1）上的均勻分布就是貝塔分布的一個(gè)特例Be （1,1）,其對(duì)應(yīng)的后驗(yàn)分布則是貝塔分布Be（x 1, n - x 1）。更一般地，設(shè)二的先驗(yàn)分布是Be（a,b）,a 0,b0,a,b均已知，則由貝葉斯公式可以求出后驗(yàn)分布為Be（x a, n - x b），這說(shuō)明貝塔分布是伯努得試驗(yàn)中成功概率的共軛先驗(yàn)分 布。例 2 2 中，在方差已知時(shí)正態(tài)總體均值的共軛先驗(yàn)分布是正態(tài)分布。 6.5 區(qū)間估計(jì)6.4.16.4.1 區(qū)間估計(jì)的概念定義 6.5.16.5.1 設(shè)二是總體的一個(gè)參數(shù)，其參數(shù)空間為 4 ,X-X2,xn是來(lái)自 該總體的樣本，對(duì)給定的一個(gè)：（0：1）,若有兩

41、個(gè)統(tǒng)計(jì)量 豈=%（X1,X2，Xn）和也=色（X1,X2，Xn），若對(duì)任意的日，有AA后驗(yàn)均值即為其貝葉斯估計(jì):n/二；-1/2少=-:-x-n/；01/2n/；01/2它是樣本均值X與先驗(yàn)均值二的加權(quán)平均。當(dāng)總體方差27P無(wú)宀吭-1 -:則稱(chēng)隨機(jī)區(qū)間 彳，紜 為參數(shù)二的置信度為 1-1-的置信區(qū)間，T?T?.和?U分別稱(chēng) 為置信下限和上限。置信度 11也稱(chēng)置信水平。定義式的意義：由定義可知，置信區(qū)間是以統(tǒng)計(jì)量為端點(diǎn)的隨機(jī)區(qū)間，對(duì) 于給定的樣本觀察值XX2，Xn, ,由統(tǒng)計(jì)量2（Xi,X2，,Xn）,I?U（Xi,X2，,Xn）構(gòu)成的置信區(qū)間 彳,可能包含真值二，也可能不包含真值-，但在多次觀

42、察或?qū)嶒?yàn)中，每一個(gè)樣本皆得到一個(gè)置信區(qū) 間,，在這些區(qū)間中包含真值 6 6 的區(qū)間占 100100 （ 1-1-a a） % %， 不包含日的僅占 100100 .例如?。?=0.05=0.05，在 100100 次區(qū)間估計(jì)中，大約有9595 個(gè)區(qū)間包含真值 v，而不包含將約占 5 5 個(gè)。定義 6.5.26.5.2 沿用定義 6.5.16.5.1 的記號(hào)，如對(duì)給定的:-（0 0 ： : :：1 1）,對(duì)任意的v 3，有AAP=LP=L _ _ _ - - ：則稱(chēng)$ ,兔為曲勺 1-01-0 同等置信區(qū)間。定義 6.5.36.5.3 設(shè)稅=.（X1，X2，Xn）是統(tǒng)計(jì)量，對(duì)給定的a（oa1）,

43、 對(duì)任意的 v心，有APP入 -1-1 - -：則稱(chēng)玄為日的置信水平為 1-1-0 0 的（單側(cè)）置信下限。假如等號(hào)對(duì)一切成立， 則稱(chēng) g g 為 B B的 1-1-otot 同等置信下限。定義 6.5.46.5.4 設(shè)免二（X1,X2，Xn）是統(tǒng)計(jì)量，對(duì)給定的（0 0：1 1）,對(duì)任意的 v4，有APP - -U -1-1 - -：則稱(chēng)孟為二的置信水平為 1=1=的伸側(cè)）置信上限。假如等號(hào)對(duì)一切 v4 成立， 則稱(chēng)為二的 1 1 = =同等置信上限。6.5.26.5.2 樞軸量法樞軸量法的步驟：（1 1）設(shè)法構(gòu)造一個(gè)樣本和：的函數(shù)G =G（XX2，XnJ）使得 G G 的分布不依賴(lài)于未知參數(shù)

44、。一般稱(chēng)具有這種性質(zhì)的G G 為樞軸量。（2 2）適當(dāng)?shù)剡x擇兩個(gè)常數(shù) c,dc,d，使對(duì)給定的-（0 0 ：1 1）,有28PcPc EGEG dd = =1 1 - - : :AA（3 3）假如能將c c 遼 G G 乞 d d 進(jìn)行不等式等式等價(jià)變形化為，則有29AAP_ *_ 乞二乞九 _ 1一 -：這表明況，況是日的 IPIP 同等置信區(qū)間。說(shuō)明：構(gòu)造置信區(qū)間的關(guān)鍵在于構(gòu)造樞軸量，名字由此得來(lái)。樞軸量的尋找一般從二的點(diǎn)估計(jì)入手。其中 C,dC,d 的選擇有多種，目的是使得到的E,（?J-經(jīng)）盡可能短。但實(shí)際上經(jīng)常采用對(duì)稱(chēng)的原則，即c,dc,d 的選擇使PG :：c二PG d = . /

45、2這樣得到的置信區(qū)間稱(chēng)為等尾置信區(qū)間。實(shí)用的置信區(qū)間大都是等尾置信區(qū)間。例 1 1 設(shè)Xi,X2,Xn是來(lái)自均勻總體U （0門(mén)）的一個(gè)樣本，試對(duì)給定的: :（0 0 ：1 1）給出二的 1-1-: :同等置信上限。解采用樞軸量法分三步進(jìn)行（1 1）我們已知二的最大似然估計(jì)為樣本的最大次序統(tǒng)計(jì)量x（n），而X（n）/二的密度函數(shù)為p（y;R二nyn,0：y 1它與參數(shù)二無(wú)關(guān)，故可取X（n）/V作為樞軸量 G G。（2 2）由 于x（n）/二的分布 函數(shù)為F （y）二yn,0：y：1，故P（cx（n）/rd）二dn-cn，因此我們可以適當(dāng)?shù)倪x擇c,d滿(mǎn)足n nd -c 1 -:（3 3）利用不等式

46、變形可容易地給出二的 1 1 - -:-:-同等置信區(qū)間為1 1X（n）/d,X（n）/C該區(qū)間的平均長(zhǎng)度為（）Ex（n）。則在0乞C：d乞1及c ddncn=1a的條件下，當(dāng)d =1，C= WG時(shí)，一一一取得最小值，這說(shuō)明c dX（n）,X（n）/ / - -是的置信水平為 1 1 = =最短置信區(qū)間。6.5.36.5.3 單個(gè)正態(tài)總體參數(shù)的置信區(qū)間、二已知時(shí)的置信區(qū)間這時(shí)的點(diǎn)估計(jì)為x，其分布為N（r；2/n），因此樞軸量可選擇為30P(cG d)=(d)=1 -:-經(jīng)過(guò)不等式變形得到P.i（x d二/、n J _x c二/, n） =1 ：該區(qū)間的長(zhǎng)度為（d -c）/i n，由于標(biāo)準(zhǔn)正態(tài)分

47、布為單峰對(duì)稱(chēng)的，由圖中可見(jiàn)，X N (0,1)，c和d應(yīng)滿(mǎn)足31在沖（d）沖（c） =1-二的條件下，當(dāng)d -。=比_一./2時(shí)，d -c達(dá)到最小，由r ra aa ax - U-./2,XU-./2o, n一. n一這是一個(gè)以x主中心，半徑為一一u .,/2的對(duì)稱(chēng)區(qū)間，常將之表示為Jn例 2 2 已知某種燈泡的壽命 X X （單位：小時(shí)）服從正態(tài)分布 N N （，8 8）?，F(xiàn)從 這批燈泡中抽取 1010 個(gè)，側(cè)得其壽命分別為1050105011001100108010801120112012001200125012501040104011301130 130013001200.1200.若=

48、0.05=0.05,試求期望的置信度為 0.950.95 的置信區(qū)間。解 由樣本算得X =1147 , n = 10,= 0.05, ,查表得U=U=U0.025=1.96;由于2 2=8=8 已知，故卩的置信度為 0.950.95 的置信區(qū)間為2X-U G =1147-1.96 = 11471.75,.n二、10，即1145.251145.25 , 1148.751148.75為所求得置信區(qū)間。例 3 3 設(shè)總體為正態(tài)分布 N N （,1 1）,為得到的置信度為 0.950.95 的置信區(qū)間 長(zhǎng)度不超過(guò) 1.21.2,樣本容量應(yīng)為多少？解 由于）的置信度為 0.950.95 的置信區(qū)間為-

49、- a aXU1 -?/2* n此給出了的置信水平為1 1的同等置信區(qū)間為圖 7-17-1 標(biāo)準(zhǔn)正態(tài)分布的雙側(cè)冋分位點(diǎn)32其區(qū)間長(zhǎng)度為2u _./2/, , n n ,它僅依賴(lài)于樣本容量 n n 而與樣本具體取值無(wú)關(guān)?，F(xiàn) 要求2u./2/ . n乞1.2，則有n _ (2/1.2)2u；_：./2。現(xiàn)在1 -=0-95，從而2 25_：./2 =1.96，則n _ (2/1.2) U1./2 =10.67：11，即樣本容量至少為 1111 時(shí) 才能使得的置信水平為 0.950.95 的置信區(qū)間長(zhǎng)度不超過(guò)1.21.2。二、二未知時(shí).二的置信區(qū)間X 卩這時(shí)可用t統(tǒng)計(jì)量，因?yàn)閠t(n-1)，因此可用其作為樞軸量,sJn關(guān)系式”X-卩1P一t(n 1)蘭一t