第8講 第七章 參數(shù)估計

第七章參數(shù)估計第一節(jié) 參數(shù)的點估計第二節(jié) 估計量的評選標(biāo)準(zhǔn)第三節(jié) 區(qū)間估計第四節(jié) 正態(tài)總體均值與方差的區(qū)間估計第一節(jié)參數(shù)的點估計點估計概念求估計量的方法課堂練習(xí)小結(jié)

引言上一章，我們介紹了總體、樣本、簡單隨機(jī)樣本、統(tǒng)計量和抽樣分布的概念，介紹了統(tǒng)計中常用的三大分布，給出了幾個重要的抽樣分布定理.它們是進(jìn)一步學(xué)習(xí)統(tǒng)計推斷的基礎(chǔ).

總體樣本統(tǒng)計量描述作出推斷研究統(tǒng)計量的性質(zhì)和評價一個統(tǒng)計推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).隨機(jī)抽樣

現(xiàn)在我們來介紹一類重要的統(tǒng)計推斷問題參數(shù)估計問題是利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù).參數(shù)估計估計廢品率估計新生兒的體重估計湖中魚數(shù)……估計降雨量在參數(shù)估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數(shù).這類問題稱為參數(shù)估計.參數(shù)估計問題的一般提法X1,X2,…,Xn要依據(jù)該樣本對參數(shù)作出估計,或估計的某個已知函數(shù).現(xiàn)從該總體抽樣，得樣本設(shè)有一個統(tǒng)計總體,總體的分布函數(shù)為F(x,)，其中為未知參數(shù)(可以是向量).

參數(shù)估計點估計區(qū)間估計（假定身高服從正態(tài)分布）設(shè)這5個數(shù)是:1.651.671.681.781.69估計為1.68，這是點估計.這是區(qū)間估計.估計在區(qū)間[1.57,1.84]內(nèi)，例如我們要估計某隊男生的平均身高.現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個數(shù)）求出總體均值的估計.而全部信息就由這5個數(shù)組成.一、點估計概念隨機(jī)抽查100個嬰兒,…得100個體重數(shù)據(jù)10,7,6,6.5,5,5.2,

…呢?據(jù)此,我們應(yīng)如何估計和而全部信息就由這100個數(shù)組成.例1

已知某地區(qū)新生嬰兒的體重,未知

為估計:我們需要構(gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù)T(X1,X2,…Xn)

，每當(dāng)有了樣本，就代入該函數(shù)中算出一個值，用來作為的估計值.把樣本值代入T(X1,X2,…Xn)

中，估計值

.T(X1,X2,…Xn)

稱為參數(shù)的點估計量，得到

的一個點我們知道,若,由大數(shù)定律,自然想到把樣本體重的平均值作為總體平均體重的一個估計.樣本體重的平均值則.用樣本體重的均值估計.類似地，用樣本體重的方差估計.使用什么樣的統(tǒng)計量去估計？可以用樣本均值;也可以用樣本中位數(shù);還可以用別的統(tǒng)計量.問題是:二、尋求估計量的方法1.矩估計法2.極大似然法3.最小二乘法4.貝葉斯方法……這里我們主要介紹前面兩種方法.1.矩估計法矩估計法是英國統(tǒng)計學(xué)家K.皮爾遜最早提出來的.由辛欽定理,若總體的數(shù)學(xué)期望有限,則有其中為連續(xù)函數(shù).

這表明

,當(dāng)樣本容量很大時

,在統(tǒng)計上,可以用用樣本矩去估計總體矩.這一事實導(dǎo)出矩估計法.定義用樣本原點矩估計相應(yīng)的總體原點矩,又用樣本原點矩的連續(xù)函數(shù)估計相應(yīng)的總體原點矩的連續(xù)函數(shù),這種參數(shù)點估計法稱為矩估計法

.理論依據(jù):大數(shù)定律矩估計法的具體做法如下設(shè)總體的分布函數(shù)中含有k個未知參數(shù),那么它的前k階矩,一般都是這k個參數(shù)的函數(shù),記為：i=1,2,…,k從這k個方程中解出j=1,2,…,kj=1,2,…,k那么用諸的估計量Ai分別代替上式中的諸,即可得諸的矩估計量：矩估計量的觀察值稱為矩估計值

.例2

設(shè)總體X在[a,b]上服從均勻分布,a,b未知.是來自X

的樣本,試求a,b

的矩估計量.解

即

解得于是a,b的矩估計量為樣本矩總體矩解

例3

設(shè)總體X的均值和方差都存在,未知.是來自X

的樣本,試求的矩估計量.解得于是的矩估計量為樣本矩總體矩

矩法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布.缺點是，當(dāng)總體類型已知時，沒有充分利用分布提供的信息.一般場合下,矩估計量不具有唯一性.其主要原因在于建立矩法方程時，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.

2.最大似然法它是在總體類型已知條件下使用的一種參數(shù)估計方法.它首先是由德國數(shù)學(xué)家高斯在1821年提出的.GaussFisher然而,這個方法通常歸功于英國統(tǒng)計學(xué)家費歇爾.費歇爾在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).最大似然法的基本思想先看一個簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測，你會如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下.你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來這一槍是獵人射中的.這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.

最大似然估計原理：當(dāng)給定樣本X1,X2,…Xn時，定義似然函數(shù)為：設(shè)X1,X2,…Xn是取自總體X的一個樣本，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合分布律(離散型)為f(x1,x2,…,xn

;).f(x1,x2,…,xn;

)這里x1,x2,…,xn

是樣本的觀察值.似然函數(shù)：

最大似然估計法就是用使達(dá)到最大值的去估計.稱為的最大似然估計值.看作參數(shù)的函數(shù)，它可作為將以多大可能產(chǎn)生樣本值x1,x2,…,xn

的一種度量.

f(x1,x2,…,xn;)而相應(yīng)的統(tǒng)計量稱為的最大似然估計量.兩點說明：

1、求似然函數(shù)L(

)

的最大值點，可以應(yīng)用微積分中的技巧。由于ln(x)是

x的增函數(shù),lnL()與L()在

的同一值處達(dá)到它的最大值，假定是一實數(shù)，且lnL()是的一個可微函數(shù)。通過求解方程：可以得到的MLE.若是向量，上述方程必須用方程組代替.

2、用上述求導(dǎo)方法求參數(shù)的MLE有時行不通，這時要用最大似然原則來求.L(p)=f(x1,x2,…,xn;p)下面舉例說明如何求最大似然估計

例5

設(shè)X1,X2,…Xn是取自總體X~B(1,p)的一個樣本，求參數(shù)p的最大似然估計量.解：似然函數(shù)為:對數(shù)似然函數(shù)為：即為p

的最大似然估計值

.對p求導(dǎo)并令其為0，=0得從而

p

的最大似然估計量為

(4)在最大值點的表達(dá)式中,用樣本值代入就得參數(shù)的最大似然估計值

.求最大似然估計(MLE)的一般步驟是：

(1)由總體分布導(dǎo)出樣本的聯(lián)合分布率(或聯(lián)合密度);

(3)求似然函數(shù)L()的最大值點(常常轉(zhuǎn)化為求ln

L()的最大值點)，即

的MLE;

(2)把樣本聯(lián)合分布率(或聯(lián)合密度)中自變量看成已知常數(shù),而把參數(shù)看作自變量,得到似然

函數(shù)L();

例6

設(shè)總體X~N(),未知.是來自X

的樣本值,試求的最大似然估計量.似然函數(shù)為解X的概率密度為于是令解得的最大似然估計量為解：似然函數(shù)為例7

設(shè)X1,X2,…Xn是取自總體X的一個樣本其中>0,求的最大似然估計.i=1,2,…,n對數(shù)似然函數(shù)為解：似然函數(shù)為i=1,2,…,n對分別求偏導(dǎo)并令其為0,=0(2)由(1)得=0

(1)對數(shù)似然函數(shù)為用求導(dǎo)方法無法最終確定用最大似然原則來求.對是故使達(dá)到最大的即的MLE于是

取其它值時，即為的MLE.且是的增函數(shù)第二次捕出的有記號的魚數(shù)X是r.v,X具有超幾何分布：為了估計湖中的魚數(shù)N，第一次捕上r條魚，做上記號后放回.隔一段時間后,再捕出S

條魚

,結(jié)果發(fā)現(xiàn)這S條魚中有k條標(biāo)有記號.根據(jù)這個信息，如何估計湖中的魚數(shù)呢？最后，我們用最大似然法估計湖中的魚數(shù)應(yīng)取使L(N;k)達(dá)到最大的N，作為N的極大似然估計.但用對N求導(dǎo)的方法相當(dāng)困難,我們考慮比值：把上式右端看作N的函數(shù)，記作L(N;k).經(jīng)過簡單的計算知，這個比值大于或小于1，或而定.由經(jīng)過簡單的計算知，這個比值大于或小于1，或而定.由這就是說，當(dāng)N增大時，序列P(X=k;N)先是上升而后下降;當(dāng)N為小于的最大整數(shù)時,達(dá)到最大值.故N的極大似然估計為

例1

設(shè)總體X的概率密度為其中是未知參數(shù),X1,X2,…,Xn

是取自X的樣本,求參數(shù)

的矩估計.三、課堂練習(xí)

例1

設(shè)總體X的概率密度為其中是未知參數(shù),X1,X2,…,Xn

是取自X的樣本,求參數(shù)的矩估計.解

樣本矩總體矩解得的矩估計量為故解由密度函數(shù)知例

2

設(shè)X1,X2,…Xn是取自總體X的一個樣本其中>0,求的矩估計.具有均值為的指數(shù)分布即E(X-)=

D(X-)=

E(X)=

D(X)=故解得也就是

E(X)=

D(X)=的矩估計量為于是解似然函數(shù)為對數(shù)似然函數(shù)為例3設(shè)X1,X2,…Xn是取自總體X的一個樣本求的最大似然估計值.其中

>0,求導(dǎo)并令其為0=0從中解得即為的最大似然估計值

.對數(shù)似然函數(shù)為這一節(jié)，我們介紹了參數(shù)點估計,給出了尋求估計量最常用的矩法和極大似然法.參數(shù)點估計是用一個確定的值去估計未知的參數(shù).看來似乎精確，實際上把握不大.四、小結(jié)第二節(jié)估計量的評選標(biāo)準(zhǔn)無偏性有效性相合性小結(jié)樣本均值是否是的一個好的估計量？(2)怎樣決定一個估計量是否比另一個估計量“好”？樣本方差是否是的一個好的估計量？這就需要討論以下幾個問題:(1)我們希望一個“好的”估計量具有什么特性？(3)如何求得合理的估計量？X~N()估計量的評選標(biāo)準(zhǔn)在介紹估計量的評選標(biāo)準(zhǔn)之前，我們必須強(qiáng)調(diào)指出：評價一個估計量的好壞，不能僅僅依據(jù)一次試驗的結(jié)果，而必須由多次試驗結(jié)果來衡量.這是因為估計量是樣本的函數(shù),是隨機(jī)變量.因此，由不同的觀測結(jié)果，就會求得不同的參數(shù)估計值.因此一個好的估計，應(yīng)在多次試驗中體現(xiàn)出優(yōu)良性.

常用的幾條標(biāo)準(zhǔn)是：1．無偏性2．有效性3．相合性這里我們重點介紹前面兩個標(biāo)準(zhǔn).估計量是隨機(jī)變量，對于不同的樣本值會得到不同的估計值.我們希望估計值在未知參數(shù)真值附近擺動，而它的期望值等于未知參數(shù)的真值.這就導(dǎo)致無偏性這個標(biāo)準(zhǔn).一、無偏性則稱為的無偏估計

.設(shè)是未知參數(shù)的估計量，若例如，用樣本均值作為總體均值的估計時，雖無法說明一次估計所產(chǎn)生的偏差，但這種偏差隨機(jī)地在0的周圍波動，對同一統(tǒng)計問題大量重復(fù)使用不會產(chǎn)生系統(tǒng)偏差.無偏性是對估計量的一個常見而重要的要求.無偏性的實際意義是指沒有系統(tǒng)性的偏差.例1

設(shè)總體X服從參數(shù)為的指數(shù)分布

,

其概率密度為為未知,X1,X2,…Xn是取自總體的一個樣本,試證

和都是參數(shù)的無偏估計量

.證所以是參數(shù)的無偏估計量

.而具有概率密度故知即也是參數(shù)的無偏估計量

.所以無偏估計以方差小者為好,這就引進(jìn)了有效性這一概念.的大小來決定二者誰更優(yōu).和一個參數(shù)往往有不止一個無偏估計,若和都是參數(shù)

的無偏估計量，我們可以比較由于二、有效性D()≤D()則稱較有效.都是參數(shù)

的無偏估計量，若對任意，設(shè)和且至少對于某個上式中的不等號成立，故較有效.例2(續(xù)例1)

試證

當(dāng)n>1時的無偏估計量較有效.證故有而故有當(dāng)n>1時,三、相合性任意，當(dāng)時依概率收斂于,則稱為的相合估計量.設(shè)是參數(shù)

的估計量，若對于為的相合估計量對于任意,有由辛欽定理若總體的數(shù)學(xué)期望有限,則有其中為連續(xù)函數(shù).故為的相合估計量.

若為連續(xù)函數(shù),為的相合估計量.則有四、小結(jié)對于一個未知參數(shù)可以提出不同的估計量,因此自然提出比較估計量的好壞的問題，這就需要給出評定估計量好壞的標(biāo)準(zhǔn).在本節(jié)中,介紹了評定估計量好壞的三個標(biāo)準(zhǔn):無偏性、有效性、和相合性.第三節(jié)區(qū)間估計置信區(qū)間定義置信區(qū)間的求法單側(cè)置信區(qū)間課堂練習(xí)小結(jié)

引言前面，我們討論了參數(shù)點估計.它是用樣本算得的一個值去估計未知參數(shù).但是，點估計值僅僅是未知參數(shù)的一個近似值，它沒有反映出這個近似值的誤差范圍，使用起來把握不大.區(qū)間估計正好彌補(bǔ)了點估計的這個缺陷.

譬如，在估計湖中魚數(shù)的問題中，若我們根據(jù)一個實際樣本，得到魚數(shù)N的極大似然估計為1000條.若我們能給出一個區(qū)間，在此區(qū)間內(nèi)我們合理地相信N的真值位于其中.這樣對魚數(shù)的估計就有把握多了.實際上，N的真值可能大于1000條，也可能小于1000條.也就是說，我們希望確定一個區(qū)間，使我們能以比較高的可靠程度相信它包含真參數(shù)值.湖中魚數(shù)的真值[]這里所說的“可靠程度”是用概率來度量的，稱為置信度或置信水平.習(xí)慣上把置信水平記作，這里是一個很小的正數(shù).例如，通?？扇≈眯潘?0.95或0.9等.根據(jù)一個實際樣本，由給定的置信水平，我小的區(qū)間，使們求出一個盡可能置信水平的大小是根據(jù)實際需要選定的.置信區(qū)間.稱區(qū)間為

的置信水平為的一、置信區(qū)間定義滿足設(shè)是一個待估參數(shù)，給定X1,X2,…Xn確定的兩個統(tǒng)計量則稱區(qū)間是的置信水平（置信度)為的置信區(qū)間.和分別稱為置信下限和置信上限.若由樣本這里有兩個要求:可見，對參數(shù)作區(qū)間估計，就是要設(shè)法找出兩個只依賴于樣本的界限(構(gòu)造統(tǒng)計量).一但有了樣本，就把估計在區(qū)間內(nèi).可靠度與精度是一對矛盾，一般是在保證可靠度的條件下盡可能提高精度.1.要求以很大的可能被包含在區(qū)間內(nèi)，就是說，概率要盡可能大.即要求估計盡量可靠.

2.估計的精度要盡可能的高.如要求區(qū)間長度盡可能短，或能體現(xiàn)該要求的其它準(zhǔn)則.在求置信區(qū)間時，要查表求分位點.二、置信區(qū)間的求法設(shè),對隨機(jī)變量X，稱滿足的點為X的概率分布的上分位點.定義若X為連續(xù)型隨機(jī)變量,則有所求置信區(qū)間為所求置信區(qū)間為標(biāo)準(zhǔn)正態(tài)分布的上分位點分布的上分位數(shù)自由度為n的F分布的上分位數(shù)自由度為n1,n2的~N(0,1)選

的點估計為,求參數(shù)的置信度為的置信區(qū)間.

例1

設(shè)X1,…Xn是取自

的樣本，明確問題,是求什么參數(shù)的置信區(qū)間?置信水平是多少？尋找未知參數(shù)的一個良好估計.解

尋找一個待估參數(shù)和統(tǒng)計量的函數(shù)，要求其分布為已知.有了分布，就可以求出U取值于任意區(qū)間的概率.對給定的置信水平查正態(tài)分布表得對于給定的置信水平,根據(jù)U的分布，確定一個區(qū)間,使得U取值于該區(qū)間的概率為置信水平.使為什么這樣??？從中解得對給定的置信水平查正態(tài)分布表得使也可簡記為于是所求的置信區(qū)間為從例1解題的過程，我們歸納出求置信區(qū)間的一般步驟如下:1.明確問題,是求什么參數(shù)的置信區(qū)間?置信水平

是多少?2.尋找參數(shù)的一個良好的點估計T(X1,X2,…Xn)

3.尋找一個待估參數(shù)和估計量T

的函數(shù)U(T,),且其分布為已知.

5.對“a<S(T,)<b”作等價變形,得到如下形式:即于是就是的100(

)％的置信區(qū)間.

4.對于給定的置信水平

，根據(jù)U(T,)的分布，確定常數(shù)a,b，使得P(a<U(T,)<b)=可見，確定區(qū)間估計很關(guān)鍵的是要尋找一個待估參數(shù)和估計量T的函數(shù)U(T,),且U(T,)的分布為已知,不依賴于任何未知參數(shù).而這與總體分布有關(guān)，所以，總體分布的形式是否已知，是怎樣的類型，至關(guān)重要.

需要指出的是，給定樣本，給定置信水平，置信區(qū)間也不是唯一的.對同一個參數(shù)，我們可以構(gòu)造許多置信區(qū)間.例如，設(shè)X1,…,Xn

是取自

的樣本，求參數(shù)的置信水平為的置

~N(0,1)信區(qū)間.由標(biāo)準(zhǔn)正態(tài)分布表，對任意a、b，我們可以求得P(a<U<b).~N(0,1)例如，由P(-1.96≤U≤1.96)=0.95我們得到均值的置信水平為的置信區(qū)間為由P(-1.75≤U≤2.33)=0.95這個區(qū)間比前面一個要長一些.置信區(qū)間為我們得到均值的置信水平為的我們總是希望置信區(qū)間盡可能短.類似地，我們可得到若干個不同的置信區(qū)間.任意兩個數(shù)a和b，只要它們的縱標(biāo)包含f(u)下95%的面積，就確定一個95%的置信區(qū)間.在概率密度為單峰且對稱的情形，當(dāng)a=-b時求得的置信區(qū)間的長度為最短.a=-b即使在概率密度不對稱的情形，如分布，F(xiàn)分布，習(xí)慣上仍取對稱的分位點來計算未知參數(shù)的置信區(qū)間.我們可以得到未知參數(shù)的的任何置信水平小于1的置信區(qū)間，并且置信水平越高，相應(yīng)的置信區(qū)間平均長度越長.也就是說，要想得到的區(qū)間估計可靠度高，區(qū)間長度就長，估計的精度就差.這是一對矛盾.實用中應(yīng)在保證足夠可靠的前提下，盡量使得區(qū)間的長度短一些.三、單側(cè)置信區(qū)間上述置信區(qū)間中置信限都是雙側(cè)的，但對于有些實際問題，人們關(guān)心的只是參數(shù)在一個方向的界限.

例如對于設(shè)備、元件的使用壽命來說，平均壽命過長沒什么問題，過短就有問題了.這時,可將置信上限取為+∞，而只著眼于置信下限，這樣求得的置信區(qū)間叫單側(cè)置信區(qū)間.于是引入單側(cè)置信區(qū)間和置信限的定義：滿足設(shè)是一個待估參數(shù)，給定若由樣本X1,X2,…Xn確定的統(tǒng)計量則稱區(qū)間是的置信水平為的單側(cè)置信區(qū)間.定義稱為的置信水平為的單側(cè)置信下限.對于任意,滿足若由樣本X1,X2,…Xn確定的統(tǒng)計量則稱區(qū)間是的置信水平為的單側(cè)置信區(qū)間.稱為的置信水平為的單側(cè)置信上限.對于任意,設(shè)燈泡壽命服從正態(tài)分布.求燈泡壽命均值的置信水平為0.95的單側(cè)置信下限.

例2

從一批燈泡中隨機(jī)抽取5只作壽命試驗，測得壽命X（單位：小時）如下：1050，1100，1120，1250，1280方差未知解的點估計取為樣本均值,對給定的置信水平

，確定分位點使即于是得到的置信水平為的單側(cè)置信區(qū)間為

將樣本值代入得的置信水平為0.95的單側(cè)置信下限是1065小時的置信水平為的單側(cè)置信下限為即請自己畫一張表，將各種情況下的區(qū)間估計加以總結(jié).四、課堂練習(xí)隨機(jī)地取炮彈10發(fā)做試驗，得炮口速度的標(biāo)準(zhǔn)差,炮口速度服從正態(tài)分布.求這種炮彈的炮口速度的標(biāo)準(zhǔn)差的置信水平為0.95的置信區(qū)間.由解隨機(jī)地取炮彈10發(fā)做試驗，得炮口速度的標(biāo)準(zhǔn)差,炮口速度服從正態(tài)分布.求這種炮彈的炮口速度的標(biāo)準(zhǔn)差的置信水平為0.95的置信區(qū)間.于是得到的置信水平為的置信區(qū)間為這里可得到的置信水平為的置信區(qū)間為同學(xué)們可通過練習(xí)，掌握各種求未知參數(shù)的

置信區(qū)間的具體方法.這一節(jié)，我們介紹了區(qū)間估計.五、小結(jié)

第四節(jié)正態(tài)總體均值與方差的區(qū)間估計單個總體的情況兩個總體的情況課堂練習(xí)小結(jié)一、單個總體的情況并設(shè)為來自總體的樣本,分別為樣本均值和樣本方差.均值的置信區(qū)間為已知可得到的置信水平為的置信區(qū)間為或為未知可得到的置信水平為的置信區(qū)間為此分布不依賴于任何未知參數(shù)由或

例1

有一大批糖果.現(xiàn)從中隨機(jī)地取16袋,稱得重量(以克計)如下:506508499503504510497512514505493496506502509496設(shè)袋裝糖果的重量近似地服從正態(tài)分布,試求總體均值的置信水平0.95為的置信區(qū)間.解這里于是得到的置信水平為的置信區(qū)間為即方差的置信區(qū)間由可得到的置信水平為的置信區(qū)間為由可得到標(biāo)準(zhǔn)差的置信水平為的置信區(qū)間為

例2

有一大批糖果.現(xiàn)從中隨機(jī)地取16袋,稱得重量(以克計)如下:506508499503504510497512514505493496506502509496設(shè)袋裝糖果的重量近似地服從正態(tài)分布,試求總體標(biāo)準(zhǔn)差的置信水平0.95為的置信區(qū)間.解這里于是得到的置信水平為的置信區(qū)間為即二、兩個總體的情況設(shè)已給定置信水平為,并設(shè)是來自第一個總體的樣本,是來自第二個總體的樣本,這兩個樣本相互獨立.且設(shè)分別為第一、二個總體的樣本均值,為第一、二個總體的樣本方差

.兩個總體均值差的置信區(qū)間為已知因為相互獨立,所以相互獨立.故或于是得到

的置信水平為的置信區(qū)間為為已知其中于是得到

的置信水平為的置信區(qū)間為其中例3