概率統(tǒng)計學-參數(shù)估計

第八章參數(shù)估計1參數(shù)估計問題假設(shè)檢驗問題點估計區(qū)間估計統(tǒng)計推斷的基本問題2什么是參數(shù)估計？參數(shù)是刻畫總體某方面的概率特性的數(shù)量.當這個數(shù)量是未知的時候，從總體抽出一個樣本，用某種方法對這個未知參數(shù)進行估計就是參數(shù)估計.例如，X~N(,2),

點估計區(qū)間估計若,2未知，通過構(gòu)造樣本的函數(shù),給出它們的估計值或取值范圍就是參數(shù)估計的內(nèi)容.3參數(shù)估計的類型點估計

——估計未知參數(shù)的值區(qū)間估計——估計未知參數(shù)的取值范圍，使得這個范圍包含未知參數(shù)真值的概率為給定的值.4一、點估計的思想方法設(shè)總體X的分布函數(shù)的形式已知，但它含有一個或多個未知參數(shù)：1,2,,k設(shè)

X1,X2,…,Xn為總體的一個樣本構(gòu)造k個統(tǒng)計量：隨機變量第一節(jié)參數(shù)的點估計5當測得一組樣本值(x1,x2,…,xn)時，代入上述統(tǒng)計量，即可得到k個數(shù)：數(shù)值稱數(shù)為未知參數(shù)的估計值問題如何構(gòu)造統(tǒng)計量？對應的統(tǒng)計量為未知參數(shù)的估計量61、矩方法；（矩估計）2、極大似然函數(shù)法（極大似然估計）.二.點估計的方法1.矩方法方法用樣本的

k

階矩作為總體的

k

階矩的估計量,建立含待估計參數(shù)的方程，從而可解出待估計參數(shù)7一般地，不論總體服從什么分布，總體期望

與方差2

存在，則根據(jù)矩估計法它們的矩估計量分別為注:矩估計不唯一8事實上，按矩法原理，令9設(shè)待估計的參數(shù)為設(shè)總體的

r

階矩存在，記為設(shè)X1,X2,…,Xn為一樣本，樣本的r階矩為令——含未知參數(shù)1,2,,k的方程組10解方程組，得k

個統(tǒng)計量：——未知參數(shù)1,2,,k

的矩估計量——未知參數(shù)1,2,,k

的矩估計值代入一組樣本值得k個數(shù):11例1有一批零件，其長度X~N(,2)，現(xiàn)從中任取4件，測的長度(單位：mm)為12.6,13.4,12.8,13.2。試估計和2的值。解：由

得和2的估計值分別為13(mm)和0.133(mm)212例2

設(shè)總體X的概率密度為

X1,X2,,Xn為來自于總體X的樣本,x1,x2,,xn為樣本值,求參數(shù)的矩估計。解：先求總體矩

13為的矩估計量,

為的矩估計值.令

14例3

設(shè)總體X的概率密度為求的矩估計量

解法一雖然中僅含有一個參數(shù)，但因

不含,不能由此解出,需繼續(xù)求總體的二階原點矩15

解法二

即

用替換即得的另一矩估計量為得的矩估計量為用替換即16你就會想,只發(fā)一槍便打中,獵人命中的概率一般大于這位同學命中的概率.看來這一槍是獵人射中的.先看一個簡單的例子:

某位同學與一位獵人一起外出打獵,一只野兔從前方竄過.只聽到一聲槍響,野兔應聲倒下.如果要你推測,是誰打中的呢？你會如何想呢？

這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.2、極大似然函數(shù)法17例:

設(shè)袋中裝有許多白球和黑球。只知兩種球的數(shù)目之比為3:1，試判斷是白球多還是黑球多。

分析:

從袋中有放回的任取3只球.設(shè)每次取到黑球的概率為p(p=1/4或3/4)設(shè)取到黑球的數(shù)目為X,則X服從B(3,p)分別計算p=1/4,p=3/4時，P{X=x}的值，列于表結(jié)論:X0123p=1/4時27/6427/649/641/64p=3/4時1/649/6427/6427/64

定義1:(1)設(shè)隨機變量X的概率密度函數(shù)為f(x,),其中為未知參數(shù)(f為已知函數(shù)).

（2）若X是離散型隨機變量，似然函數(shù)定義為稱為X關(guān)于樣本觀察值的似然函數(shù)。20的樣本觀察值,為樣本

定義2

如果似然函數(shù)在時達到最大值,則稱是參數(shù)的極大似然估計。

例1

設(shè)總體X服從參數(shù)為的指數(shù)分布，即有概率密度

又x1,x2,,xn為來自于總體的樣本值，試求的極大似然估計.21解：第一步似然函數(shù)為于是

第二步第三步經(jīng)驗證，在處達到最大，所以是的極大似然估計。令22例2：設(shè)X服從(0－1)分布，P{X=1}=p,其中p未知，x1,x2,,xn為來自于總體的樣本值求p的極大似然估計。解:X01P1-pp得(0－1)分布之分布律的另一種表達形式23令例3：設(shè)總體X服從參數(shù)為的泊松分布，即X有分布列(分布律)

是未知參數(shù)，(0,+)，試求的極大似然估計。解：樣本的似然函數(shù)為

25

從可以解出

是的極大似然估計。因此26

第二節(jié)點估計量的優(yōu)良性

271、矩方法；（矩估計）2、極大似然函數(shù)法（極大似然估計）.復習點估計的方法1.矩方法方法用樣本的

k

階矩作為總體的

k

階矩的估計量,建立含有待估計參數(shù)的方程，從而可解出待估計參數(shù)28設(shè)待估計的參數(shù)為設(shè)總體的

r

階矩存在，記為設(shè)X1,X2,…,Xn為一樣本，樣本的r階矩為令——含未知參數(shù)1,2,,k的方程組29解方程組，得k

個統(tǒng)計量：——未知參數(shù)1,2,,k

的矩估計量——未知參數(shù)1,2,,k

的矩估計值代入一組樣本值得k個數(shù):30

定義1:(1)設(shè)r.v.X的概率密度函數(shù)為f(x,),其中為未知參數(shù)(f為已知函數(shù)).x1,x2,,xn為樣本X1,X2,,Xn的樣本觀察值,稱為變量X關(guān)于樣本觀察值x1,x2,,xn的似然函數(shù)。若X是離散型隨機變量，似然函數(shù)定義為2.極大似然估計31

定義2

如果似然函數(shù)在時達到最大值,則稱是參數(shù)的極大似然估計。

通常步驟

：

第一步似然函數(shù)為注:求導不是求極大似然估計唯一方法第二步令解出32其中為未知參數(shù)，若總體X的概率密度為：即可得到極大似然估計多參數(shù)情形的極大似然估計33為樣本觀察值,此時似然函數(shù)為：

求解方程組

數(shù)學上可以嚴格證明，在一定條件下，只要樣本容量n足夠大，極大似然估計和未知參數(shù)的真值可相差任意小。34例4：設(shè)為正態(tài)總體的一個樣本值，求:和的極大似然估計.解：似然函數(shù)為35

解方程組得

這就是和的極大似然估計,即

36例5

設(shè)X為離散型隨機變量,其分布律如下(0<<1/2)X0123P22(-2)21-2

隨機抽樣得3，1，3，0，3，1，2，3，分別用矩方法和極大似然法估計參數(shù)。解：例6

設(shè)總體X的概率密度為又為來自于總體X的樣本值,求參數(shù)的極大似然估計。解：令

似然函數(shù)為:38

當時,L()是的單調(diào)增函數(shù),處達到最大值，所以的極大似然估計:L()在39

對于同一個未知參數(shù),不同的方法得到的估計量可能不同,于是提出問題應該選用哪一種估計量?用什么標準來評價一個估計量的好壞?常用標準(1)無偏性(3)一致性(2)最小方差無偏估計（有效性）第二節(jié)點估計量的優(yōu)良性

40一、無偏估計

則稱為的無偏估計。定義1

設(shè)(簡記為)為未知參數(shù)的估計量，若(真值)41例1：樣本均值和樣本方差分別是總體均值和總體方差的無偏估計量.計算

是總體X的樣本,

一般的

設(shè)總體X的

k

階矩存在容易知道:不論

X服從什么分布,是的無偏估計量.43例2

設(shè)總體X的概率密度為

(4)求的方差X1,X2,,Xn為來自總體X的樣本.(1)求總體均值EX,總體方差DX；(2)求的矩估計量;

(3)是否為的無偏估計；44解

(1)總體均值

總體方差

45(3)所以是的無偏估計;

(4)的方差(2)令

得的矩估計量為46

二、最小方差無偏估計則稱是的最小方差無偏估計。

定義2設(shè)是的一個無偏估計，若對于的任一無偏估計，成立

定義設(shè)有效性都是總體參數(shù)的無偏估計量,且則稱比更有效.47例3

設(shè)X1,X2,,Xn為來自于總體X的樣本,總體均值EX=,總體方差DX=2,求的最小方差線性無偏估計。解已知X1,X2,,Xn獨立且與X同分布,的線性估計是將X1,X2,,Xn的線性函數(shù)

問題是如何選取的值，使得無偏性和最小方差這兩個要求都能得到滿足。

作為的估計量。48無偏性要求最小方差要求

這是一個求條件極值問題，用拉格朗日乘數(shù)法，令達到最小，

易知由條件

得到于是

是的最小方差無偏估計。

得

若和都是的無偏估計量，且成立，則通常稱估計量較有效,或較佳,或較優(yōu).例

設(shè)X1,X2,X3為總體的一個樣本,試證下列估計量都是總體均值的無偏估計量,且問哪一個最佳？51三、一致估計

設(shè)為總體參數(shù)的估計量，顯然與樣本X1,X2,,Xn有關(guān)，我們希望會隨著樣本容量n的增大而越接近于，這一要求便是衡量估計量好壞的另一標準。則稱為的一致性估計。

定義3

設(shè)為未知參數(shù)的估計量，若依概率收斂于，即對任意的>0,成立

53例4

試證樣本均值為總體均值的一致性估計。證因為

所以，對于相互獨立且服從同一分布的隨機變量X1,X2,,Xn，由大數(shù)定理，即得此外,還可證明樣本方差S2是總體方差2的一致性估計.54例5

證明正態(tài)總體N(,2)的樣本方差S2是總體方差2的一致性估計量。證由切比雪夫不等式有

而

55例6

X~N(0,2),其中0為已知,X1,X2,,Xn為樣本,記證明為2的無偏估計,一致估計.注意:

不是樣本的二階中心矩.本題即要證56例7

總體X的概率密度X1,X2,X3為樣本證明為的無偏估計量,并比較它們的有效性.解:

記Y=max(X1,X2,X3),Z=min(X1,X2,X3)57為的無偏估計量同樣的方法可得:因此比更為有效59設(shè)總體分布含有一未知參數(shù)，又x1,x2,,xn為來自于總體的樣本，若對于給定(0<<1)，統(tǒng)計量1(x1,x2,,xn)和2(x1,x2,,xn)滿足

則稱區(qū)間[1,2]為相應于置信度是1-的置信區(qū)間，簡稱置信區(qū)間。

一、置信區(qū)間

第三節(jié)置信區(qū)間

1,2分別稱為置信下限和置信上限.(1-)稱為置信度。注意：區(qū)間[1,2]是隨機區(qū)間。二、單側(cè)置信限

若對于給定的(0<<1),統(tǒng)計量

1(x1,x2,,xn)滿足

61則稱區(qū)間[1,+)為相應于置信度是1-的單側(cè)置信區(qū)間，1稱為置信度是1-的單側(cè)置信下限。類似，滿足下式問題:

如何確定總體參數(shù)的區(qū)間估計[1,2]呢？對于一般總體是難于確定的.現(xiàn)僅能確定正態(tài)總體N(,2)中參數(shù),2的區(qū)間估計這對許多實際應用已經(jīng)夠了.的2為單側(cè)置信上限。

我們知道，正態(tài)隨機變量是最為常見的，特別是很多產(chǎn)品的指標服從或近似服從正態(tài)分布。因此,我們主要研究正態(tài)總體參數(shù)的區(qū)間估計。先研究均值的區(qū)間估計，然后再研究方差的區(qū)間估計。這些在實際應用中是很重要的.

第四節(jié)正態(tài)分布均值和方差的區(qū)間估計63

設(shè)總體X~N(,2)，其中2已知，又X1,X2,,Xn為來自于總體的樣本。一.均值EX的區(qū)間估計下面分兩種情況進行討論。1.方差DX已知，對EX進行區(qū)間估計由第七章第三節(jié)中的結(jié)論可知于是

64即

由標準正態(tài)分布可知，對于給定的，可以找到一個數(shù)z1-/2

，使65

當＝0.05時,查標準正態(tài)分布表得臨界值此時的置信區(qū)間是

即為的置信區(qū)間。稱z1-/2為在置信度1-下的臨界值，或稱為標準正態(tài)分布的雙側(cè)分位點。區(qū)間

當＝0.01時,查標準正態(tài)分布表得臨界值此時的置信區(qū)間是67例1.已知某種滾珠的直徑服從正態(tài)分布，且方差為0.06，現(xiàn)從某日生產(chǎn)的一批滾珠中隨機地抽取6只，測得直徑的數(shù)據(jù)（單位mm）為14.615.114.914.815.215.1

試求該批滾珠平均直徑的95％置信區(qū)間。解當＝0.05時，1-=0.95,查表得

于是故所求置信區(qū)間為實際應用中往往是D(X)未知的情況。

設(shè)x1,x2,,xn為正態(tài)總體N(,2)的一個樣本，由于2未知，我們用樣本方差S2來代替總體方差2，

2.方差D(X)未知，對EX進行區(qū)間估計70U與V獨立根據(jù)第七章定理四，統(tǒng)計量請比較U與T

對給定的，查t分布表可得臨界值使得72即故得均值的置信區(qū)間為當=0.05，n=9時，查t分布表得臨界值

因此，在方差2未知的情況下，的置信區(qū)間是73例2:設(shè)有某種產(chǎn)品,其長度服從正態(tài)分布，現(xiàn)從該種產(chǎn)品中隨機抽取9件,得樣本均值＝9.28(cm),樣本標準差

s＝0.36(cm),試求該產(chǎn)品平均長度的90％置信區(qū)間.解：當=0.1,n=9時,查t分布表得于是故所求置信區(qū)間為〔9.06，9.50〕。74

設(shè)總體是來自于總體的樣本?，F(xiàn)利用樣本給出2的置信區(qū)間?？紤]統(tǒng)計量二.方差DX的區(qū)間估計由第七章定理三可知，統(tǒng)計量

75

于是，對給定的(0<<1)，查2分布表，可得臨界值使得76

因此，當總體N(,2)中的參數(shù)為未知的情況下，方差2的置信區(qū)間為77注意這里選取的臨界值不是唯一的。例如可以選取順便指出，的置信區(qū)間是

等等。78例3.某自動車床生產(chǎn)的零件,其長度X服從正態(tài)分布,現(xiàn)抽取16個零件，測得長度(單位：mm)如下：

12.15,12.12,12.01,12.08,12.09,12.16,12.03,12.01,12.06,12.13,12.07,12.11,12.08,12.01,12.03,12.06試求DX的置信度為95%的置信區(qū)間。解：經(jīng)計算查分布表得79故DX的置信區(qū)間為

80參數(shù)估計問題假設(shè)檢驗問題點估計區(qū)間估計統(tǒng)計推斷的基本問題81設(shè)總體分布含有一未知參數(shù)，又x1,x2,,xn為來自于總體的樣本，若對于給定(0<<1)，統(tǒng)計量1(x1,x2,,xn)和2(x1,x2,,xn)滿足

則稱區(qū)間[1,2]為相應于置信度是1-的置信區(qū)間，簡稱置信區(qū)間。一、置信區(qū)間

第三節(jié)置信區(qū)間

1,2分別稱為置信下限和置信上限.(1-)稱為置信度。注意：區(qū)間[1,2]是隨機區(qū)間。二、單側(cè)置信限

若對于給定的(0<<1),統(tǒng)計量1(x1,x2,,xn)滿足

83則稱區(qū)間[1,+)為相應于置信度是1-的單側(cè)置信區(qū)間，1稱為置信度是1-的單側(cè)置信下限。類似，滿足下式問題:

如何確定總體參數(shù)的區(qū)間估計[1,2]呢？對于一般總體是難于確定的.現(xiàn)僅能確定正態(tài)總體N(,2)中參數(shù),2的區(qū)間估計這對許多實際應用已經(jīng)夠了.的2為單側(cè)置信上限。

第四節(jié)正態(tài)分布均值和方差的區(qū)間估計85

設(shè)總體X~N(,2)，其中2已知，又X1,X2,,Xn為來自于總體的樣本。一.均值EX的區(qū)間估計下面分兩種情況進行討論。1.方差DX已知，對EX進行區(qū)間估計由第七章第三節(jié)中的結(jié)論可知于是

86即

由標準正態(tài)分布可知，對于給定的，可以找到一個數(shù)z1-/2

，使87

當＝0.05時,查標準正態(tài)分布表得臨界值此時的置信區(qū)間是

即為的置信區(qū)間。稱z1-/2為在置信度1-下的臨界值，或稱為標準正態(tài)分布的雙側(cè)分位點。區(qū)間

當＝0.01時,查標準正態(tài)分布表得臨界值此時的置信區(qū)間是89例1.已知某種滾珠的直徑服從正態(tài)分布，且方差為0.06，現(xiàn)從某日生產(chǎn)的一批滾珠中隨機地抽取6只，測得直徑的數(shù)據(jù)（單位mm）為14.615.114.914.8