第6章 參數(shù)估計(jì)(ok)

第六章參數(shù)估計(jì)

§6.1點(diǎn)估計(jì)的幾種方法§6.2點(diǎn)估計(jì)的評(píng)價(jià)標(biāo)準(zhǔn)§6.3最小方差無偏估計(jì)§6.4貝葉斯估計(jì)§6.5區(qū)間估計(jì)

參數(shù)

所有可能取值組成的集合稱為參數(shù)空間

參數(shù)估計(jì)有兩種：點(diǎn)估計(jì)、區(qū)間估計(jì)參數(shù)的種類：（1）分布中所含的未知參數(shù)

（2）分布中所含的未知參數(shù)

的函數(shù)（3）分布的各種數(shù)字特征第六章參數(shù)估計(jì)

設(shè)x1,x2,…,xn

是來自總體X的一個(gè)樣本，用統(tǒng)計(jì)量稱為

的點(diǎn)估計(jì)（量），1.如何給出估計(jì)?2.如何對(duì)不同的估計(jì)進(jìn)行評(píng)價(jià)?§6.1點(diǎn)估計(jì)的幾種方法

定義（點(diǎn)估計(jì)）簡(jiǎn)稱估計(jì)。估計(jì)方法的問題估計(jì)好壞的判斷標(biāo)準(zhǔn)兩個(gè)問題：的值作為

的估計(jì)值，§6.1

點(diǎn)估計(jì)的幾種方法

常用的點(diǎn)估計(jì)方法：1.矩估計(jì)法2.極大似然法3.

貝葉斯方法一、矩法估計(jì)

用樣本矩替換總體矩英國統(tǒng)計(jì)學(xué)家K.皮爾遜§6.1

點(diǎn)估計(jì)的幾種方法

用樣本矩的函數(shù)替換相應(yīng)的總體矩的函數(shù)1.

基本思想:替換原理用樣本均值估計(jì)總體均值E(X)，用樣本方差估計(jì)總體方差Var(X)，用樣本的p分位數(shù)估計(jì)總體的p分位數(shù)，用樣本中位數(shù)估計(jì)總體中位數(shù)…思考：原理？用樣本矩及其函數(shù)去替換相應(yīng)的總體矩及其函數(shù)1.

基本思想:一、矩法估計(jì)

§6.1

點(diǎn)估計(jì)的幾種方法

替換原理例1

對(duì)某型號(hào)的20輛汽車記錄其每加侖汽油的行駛里程(km)，觀測(cè)數(shù)據(jù)如下：

29.827.628.327.930.128.729.9

28.027.928.728.427.229.528.5

28.030.029.129.829.626.9

計(jì)算

總體均值、方差和中位數(shù)的估計(jì)分別為:2.總體分布已知時(shí)，未知參數(shù)的矩法估計(jì)

設(shè)總體的概率函數(shù)P(x；

1,

…,

k)

，

x1,x2

,

…,xn

是樣本,

一、矩法估計(jì)

總體的k階原點(diǎn)矩

k

存在，樣本的j階原點(diǎn)矩：(分布類型已知)若

1,

…,

k

能夠表示成

1,

…,

k的函數(shù)

j=

j(

1,

…,

k)則

j的矩法估計(jì)：解:

令例2

x1,x2,

…,xn是來自均勻分布U(a,b)

的樣本，

a與b均是未知參數(shù)，求a與b的矩估計(jì).a,b的矩估計(jì)：解：例3總體X的概率密度：x1,x2,

…,xn是總體的樣本，是未知參數(shù)，求的矩估計(jì).例4

設(shè)總體X～E(

)，x1,x2,

…,xn是總體的一個(gè)樣本,

求參數(shù)

的矩估計(jì).解：

令

的矩法估計(jì)：

另外，

令

的矩法估計(jì)：EX

=1/

=1/

Var(X)=1/

2=1/

2總體的分布類型已知德國數(shù)學(xué)家高斯(Gauss)1821年提出。英國統(tǒng)計(jì)學(xué)家費(fèi)希爾(Fisher)

1922年再次提出該方法，并證明了方法的一些性質(zhì)，給出了參數(shù)極大似然估計(jì)一般方法——極大似然估計(jì)原理。二、極（最）大似然估計(jì)§6.1

點(diǎn)估計(jì)的幾種方法

二、極（最）大似然估計(jì)1.

定義（似然函數(shù)）

設(shè)總體X的概率函數(shù)為P(x;

)，

x1,x2

,…,xn

是來自總體的一個(gè)樣本，樣本的聯(lián)合概率函數(shù)：

是參數(shù)空間關(guān)于

的函數(shù)L(

)稱為樣本的似然函數(shù)

如果統(tǒng)計(jì)量似然函數(shù)：二、極（最）大似然估計(jì)滿足則稱簡(jiǎn)記為MLE是

的極(最)大似然估計(jì)，（MaximumLikelihoodEstimate）2.求極大似然估計(jì)(MLE)的一般步驟（1）求樣本的似然函數(shù)L(

)

連續(xù)型：聯(lián)合概率密度

離散型：聯(lián)合概率分布（2）求

L(

)的最大值點(diǎn)

求ln

L(

)的最大值點(diǎn)二、極（最）大似然估計(jì)例5

設(shè)總體X~B(1,p)

，X1,

X2

,…,Xn

是來自總體的一個(gè)樣本，試求參數(shù)p的極大似然估計(jì)。解：

似然函數(shù)：對(duì)數(shù)似然函數(shù):令p

的極大似然估計(jì)：例5

設(shè)總體X~B(1,p)

，X1,

X2

,…,Xn

是來自總體的一個(gè)樣本，試求參數(shù)p的極大似然估計(jì)。解：

對(duì)數(shù)似然函數(shù):例6

x1,x2

,

…,xn是正態(tài)總體N(,2)的一個(gè)樣本，試求

,2的極大似然估計(jì)。解：似然函數(shù)：對(duì)數(shù)似然函數(shù)：似然方程組：例6

x1,x2

,

…,xn是正態(tài)總體N(,2)的一個(gè)樣本，試求

,2的極大似然估計(jì)。解：對(duì)數(shù)似然函數(shù)：

,2的極大似然估計(jì):例6

x1,x2

,

…,xn是正態(tài)總體N(,2)的一個(gè)樣本，試求

,2的極大似然估計(jì)。解：

似然方程組例7

設(shè)x1,x2

,

…,xn

是來自均勻總體U(0,

)的樣本，試求

的極大似然估計(jì)。解：似然函數(shù)要使L(

)達(dá)到最大，

1）1/

n盡可能大

2）示性函數(shù)值為1

的極大似然估計(jì)：

盡可能小

3.

極大似然估計(jì)的不變性如果是

的極大似然估計(jì)，則對(duì)

的任一函數(shù)g(

)，其極大似然估計(jì)為

.二、極（最）大似然估計(jì)例8

設(shè)x1,x2,

…,xn是來自正態(tài)總體N(

,

2)的樣本，則

和

2的極大似然估計(jì)：1）標(biāo)準(zhǔn)差

的MLE：2）概率的MLE：3）總體0.90分位數(shù)的MLE：x0.90=

+

u0.90u0.90為N(0,1)的0.90分位數(shù)§6.2

點(diǎn)估計(jì)的評(píng)價(jià)標(biāo)準(zhǔn)

一、相合性二、無偏性三、有效性四、均方誤差

定義

設(shè)

∈Θ為某總體分布中的未知參數(shù)，

是

的一個(gè)估計(jì)量，

若對(duì)任何一個(gè)ε>0，有

則稱一、相合性（一致性）n

是樣本容量，為

參數(shù)的相合估計(jì)。把估計(jì)量看作一個(gè)隨機(jī)變量序列,相合性就是依概率收斂于

,證明估計(jì)的相合性可應(yīng)用依概率收斂的性質(zhì)及各種大數(shù)定律。注意:一、相合性（一致性）例1

x1,x2

,

…,xn是正態(tài)總體N(,2)的一個(gè)樣本，則

(1)是

的相合估計(jì)；

(2)s*2是

2的相合估計(jì)；

(3)s2是

2的相合估計(jì)；解：

Exi=

,i=1,2,…,且x1,x2

,

…,xn相互獨(dú)立辛欽大數(shù)定律一、相合性（一致性）設(shè)若

則是

的相合估計(jì)。一、相合性（一致性）是

的一個(gè)估計(jì)量，定理1例2

設(shè)x1,x2

,

…,xn

是來自均勻總體U(0,

)的樣本，證明：

的極大似然估計(jì)x(n)是

的相合估計(jì)。第k個(gè)次序統(tǒng)計(jì)量x(k)的密度函數(shù)為證明:分析:均勻分布：x(n)的密度函數(shù)：p(y)=nyn-1/

n,

0<y<

0<y<

例2

設(shè)x1,x2

,

…,xn

是來自均勻總體U(0,

)的樣本，證明：

的極大似然估計(jì)x(n)是

的相合估計(jì)。證明：x(n)的密度函數(shù)為

p(y)=nyn-1/

n,0<y<

定理2

若分別是

1,

…,

k的相合估計(jì)，

=g(

1

,

…,

k)是

1,

…,

k的連續(xù)函數(shù)，則是

的相合估計(jì)。一、相合性（一致性）二、無偏性

設(shè)

的參數(shù)空間為Θ，若對(duì)任意的

∈Θ，有定義則稱是

的無偏估計(jì)，否則稱為有偏估計(jì)。是

的一個(gè)估計(jì)，定理

設(shè)總體X具有二階矩，即E(X)=

,Var(X)=

2

,

x1,x2,…,xn

為從總體的一個(gè)樣本，則和s2

分別是樣本均值和樣本方差，3)E(s2)=

2復(fù)習(xí)結(jié)論說明：樣本均值是總體均值

的無偏估計(jì)樣本方差

s

2

是總體方差

2的無偏估計(jì)例3

樣本方差s*2

不是總體方差

2的無偏估計(jì).當(dāng)樣本量n

，

E(s*2)

稱s*2為

2的漸近無偏估計(jì)。

2例4

證明：樣本標(biāo)準(zhǔn)差s不是總體標(biāo)準(zhǔn)差

的無偏估計(jì).E(s2

)=

2證明：

=Var(s)+(Es)2Var(s)＞0

(Es)2

=

2-Var(s)

E(s)＜

故s

不是

的無偏估計(jì)＜

2

三、有效性

設(shè)是

的兩個(gè)無偏估計(jì)，如果對(duì)任意的

∈Θ,

有且至少有一個(gè)

∈Θ使得上述不等號(hào)嚴(yán)格成立，則稱比有效。定義例5

設(shè)x1,x2

,

…,xn

是取自某總體的樣本，總體均值為

，總體方差為

2，都是

的無偏估計(jì)，當(dāng)n>1，比有效。說明：用全部數(shù)據(jù)的平均估計(jì)總體均值比只使用部分?jǐn)?shù)據(jù)更有效。例6

均勻總體U(0,

)中

的極大似然估計(jì)是x(n)，x(n)

是

的漸近無偏估計(jì)

修正：無偏估計(jì)

的矩估計(jì)：例6

均勻總體U(0,

)中

的極大似然估計(jì)是x(n)

當(dāng)n>1

時(shí)，比有效。無偏估計(jì)無偏估計(jì)：哪個(gè)有效？四、均方誤差

設(shè)是

的一個(gè)點(diǎn)估計(jì),

該點(diǎn)估計(jì)與參數(shù)真值

的

稱為該點(diǎn)估計(jì)的均方誤差，

簡(jiǎn)記為MSE

定義距離平方的期望（MeanSquaredError)，證明:四、均方誤差

(1)若是

的無偏估計(jì)，

說明：用方差考察無偏估計(jì)有效性是合理的。

(2)當(dāng)不是

的無偏估計(jì)時(shí)，考察均方誤差四、均方誤差注意：在均方誤差的含義下，有些有偏估計(jì)優(yōu)于無偏估計(jì)。例7

均勻總體U(0,

)，由

的極大似然估計(jì)x(n)得到1)無偏估計(jì)：2)考慮有偏估計(jì)：均方誤差的標(biāo)準(zhǔn)下，有偏估計(jì)優(yōu)于無偏估計(jì)作業(yè)：

P312—2，4(1)P322—1，9§6.5區(qū)間估計(jì)

一、區(qū)間估計(jì)的概念二、樞軸量法三、單個(gè)正態(tài)總體下參數(shù)的置信區(qū)間四、兩個(gè)正態(tài)總體下參數(shù)的置信區(qū)間五、比例p

的置信區(qū)間一、區(qū)間估計(jì)的概念

設(shè)

是總體的一個(gè)參數(shù)，參數(shù)空間為Θ，

x1,x2

,

…,xn是來自該總體的樣本，對(duì)給定的

(0<

<1)，若統(tǒng)計(jì)量對(duì)任意的

∈Θ，則稱隨機(jī)區(qū)間

的置信區(qū)間，定義1為

的置信水平為1-

簡(jiǎn)稱

的1-

置信區(qū)間.一、區(qū)間估計(jì)的概念

稱為

的置信水平為1-

的置信區(qū)間，簡(jiǎn)稱

的1-

置信區(qū)間.—稱為

的（雙側(cè)）置信下限—稱為

的（雙側(cè)）置信上限置信水平1-

：在大量使用該置信區(qū)間時(shí)，至少有100(1-

)%的區(qū)間含有

。例1

設(shè)x1,x2

,

…,x10是來自N(,

2)的樣本，則

的置信水平為1-

的置信區(qū)間為

,

s分別為樣本均值和樣本標(biāo)準(zhǔn)差取

=0.1

，查表t0.95(9)=

1.8331

假設(shè)總體N(15,22)，容量為10樣本：14.8513.0113.5014.9316.97

13.8017.9513.3716.2912.38由樣本算得

的區(qū)間估計(jì)：該區(qū)間包含

的真值15?，F(xiàn)重復(fù)抽樣100次，可以得到100個(gè)樣本，就得到100個(gè)區(qū)間，將這100個(gè)區(qū)間畫在圖上。例1

=0.10

，

的置信水平為0.90的置信區(qū)間100個(gè)區(qū)間中有91個(gè)包含參數(shù)真值15可以得到100個(gè)置信區(qū)間。例1取

=0.50，

的置信水平為1-=

0.50的置信區(qū)間為：=

t0.75(9)=0.7027100個(gè)區(qū)間中有50個(gè)包含參數(shù)真值15

的置信水平為0.50的置信區(qū)間對(duì)給定的

(0<

<1)，對(duì)任意的

∈Θ，稱為

的1-

同等置信區(qū)間

定義2定義1

—的置信水平為1-

的置信區(qū)間簡(jiǎn)稱

的1-

置信區(qū)間若對(duì)給定的

(0<

<1)和任意的

∈Θ，定義3則稱置信下限。若等號(hào)對(duì)一切

∈Θ成立，則稱為

的置信水平為1-

的（單側(cè)）為

的1-

同等置信下限。置信上限同等置信上限二、樞軸量法

1.

構(gòu)造樣本和

的函數(shù)

使得G的分布已知，

具有這種性質(zhì)的G稱為樞軸量2.選擇兩個(gè)常數(shù)c、d，使對(duì)給定的

(0<

<1)，

3.將c≤G

≤d

等價(jià)變形，

則是

的1-

同等置信區(qū)間構(gòu)造未知參數(shù)

的置信區(qū)間

G=G(x1,…,xn;

)

且不依賴于未知參數(shù)P(

c≤

G≤d

)=1-

二、樞軸量法

1.構(gòu)造一個(gè)樣本和

的函數(shù)

2.選擇兩個(gè)常數(shù)c、d，3.等價(jià)變形：

則是

的1-

同等置信區(qū)間構(gòu)造未知參數(shù)

的置信區(qū)間G=G(x1,…,xn;

)P(

c≤

G≤d

)=1-

注意：

2）實(shí)際中常選擇c與d，使得兩個(gè)尾部概率各為

/2

P(G

<c

)

=P(G

>

d

)

=

/2等尾置信區(qū)間1）c

與d不唯一，選平均長(zhǎng)度最短的c與d三、單個(gè)正態(tài)總體下參數(shù)的置信區(qū)間

1.

的置信區(qū)間（

已知）樞軸量

選擇c

、d，滿足P(c

≤G≤d

)=

1-

總體:N(,

2)；樣本:x1,x2

,

…,xn1.

的置信區(qū)間（

已知）樞軸量:

的1-

同等置信區(qū)間:三、單個(gè)正態(tài)總體下參數(shù)的置信區(qū)間

對(duì)稱區(qū)間：中心：，半徑：例3已知天平秤量結(jié)果為正態(tài)分布,其標(biāo)準(zhǔn)差為0.1克。用天平秤某物體的重量9次，得平均值為（克），試求該物體重量的置信水平1-=0.95置信區(qū)間。u0.975=1.96

1-

=0.95，=[15.3347，15.4653]該物體重量

的0.95置信區(qū)間：

=0.05，解：

=0.1樞軸量：解：

=1已知，例4

設(shè)總體為正態(tài)分布N(

,1)，為得到

的置信水平為0.95的置信區(qū)間長(zhǎng)度不超過1.2，樣本容量應(yīng)為多大？區(qū)間長(zhǎng)度：n

1-

=0.95，u1-

/2=

u0.975=1.96

n

(1/0.6)2

1.962(2u1-

/2

/1.2)2=

10.67n11

的置信區(qū)間：2.

的置信區(qū)間（

2未知）三、單個(gè)正態(tài)總體下參數(shù)的置信區(qū)間

樞軸量:

的1-

同等置信區(qū)間:例5

假設(shè)輪胎的壽命服從正態(tài)分布N(

,

2)。為估計(jì)某種輪胎的平均壽命，現(xiàn)隨機(jī)地抽12只輪胎試用，測(cè)得它們的壽命（單位：萬公里）如下：4.684.854.324.854.615.025.204.604.584.724.384.70

求平均壽命的置信水平1-=0.95置信區(qū)間。解：

未知，=4.7092，s2

=0.0615，

=0.05，平均壽命的0.95置信區(qū)間：t0.975(11)=2.201

樞軸量:在實(shí)際問題中，由于輪胎的壽命越長(zhǎng)越好，可以只求平均壽命的置信下限，構(gòu)造單邊的置信下限。n=12，=4.7092，s2

=0.0615，

=0.05，t0.95(11)=

1.7959

的0.95置信下限：=4.5806（萬公里）

由于

的1-

置信下限為：3.

2的置信區(qū)間（

未知）

2的1-

同等置信區(qū)間:三、單個(gè)正態(tài)總體下參數(shù)的置信區(qū)間

樞軸量:例6

某廠生產(chǎn)的零件重量服從正態(tài)分布N(,

2),

現(xiàn)從生產(chǎn)的零件中抽取9個(gè),測(cè)得重量為(單位:克)

45.345.445.145.345.545.745.445.345.6

試求總體標(biāo)準(zhǔn)差

的0.95置信區(qū)間。解：

未知，

2的1-

置信區(qū)間：

s2

=0.0325

20.025(8)

=2.1797

20.975(8)=17.5345

的0.95置信區(qū)間:

[0.1218，0.3454]樞軸量:被估參數(shù)條件樞軸量及其分布置信區(qū)間

2已知

2未知

2

未知單個(gè)正態(tài)總體均值和方差的置信區(qū)間四、兩個(gè)正態(tài)總體下參數(shù)的置信區(qū)間

x1

,…,xm

是來自N(

1,12)的樣本，y1

,…,yn

是來自N(

2,22)的樣本，兩個(gè)樣本相互獨(dú)立樣本均值：樣本方差：?jiǎn)栴}：討論均值差和方差比的置信區(qū)間1）

1-

2的置信區(qū)間2）

12/

22的置信區(qū)間1.

1-

2的置信區(qū)間1）

12與

22

已知x1

,…,xm

來自N(

1,12)y1

,…,yn

來自N(

2,22)樞軸量：

1-

2

的1-

置信區(qū)間：1.

1-

2的置信區(qū)間2）

12

與

22

未知，但

12=

22=

2x1

,…,xm

來自N(

1,

2)y1

,…,yn

來自N(

2,

2)獨(dú)立1.

1-

2的置信區(qū)間2）

12

與

22未知，

12=

22=

2獨(dú)立1.

1-

2的置信區(qū)間2）

12

與

22未知，

12=

22=

2樞軸量：1.

1-

2的置信區(qū)間2）

12

與

22未知，

12=

22=

2樞軸量：

1-

2

的1-

置信區(qū)間：3）

12,

22未知，但

22/

12=

已知1.

1-

2的置信區(qū)間3）

12,

22未知，但

22/

12=

已知獨(dú)立1.

1-

2的置信區(qū)間3）

12,

22未知，但

22/

12=

已知1.

1-

2的置信區(qū)間樞軸量：

1-

2的1-

置信區(qū)間3）

12,

22未知，但

22/

12=

已知1.

1-

2的置信區(qū)間4）當(dāng)m和n都很大，近似置信區(qū)間

樞軸量：

1.

1-

2的置信區(qū)間4）當(dāng)m和n都很大，近似置信區(qū)間

樞軸量：

1-

2的1-

置信區(qū)間：1.

1-

2的置信區(qū)間5）一般情況下，近似置信區(qū)間樞軸量：

其中：

1.

1-

2的置信區(qū)間（m

、n

不很大）

1-

2的1-

置信區(qū)間：例9

為比較兩個(gè)小麥品種的產(chǎn)量，選擇18塊條件相似的試驗(yàn)田，采用相同的耕作方法作試驗(yàn)，播種甲品種的8塊試驗(yàn)田的畝產(chǎn)量和播種乙品種的10塊試驗(yàn)田的畝產(chǎn)量（單位：千克/畝）分別為:

甲品種

628583510554612523530615

乙品種

535433398470567480498560

503426

假定畝產(chǎn)量均服從正態(tài)分布，

問題：求這兩個(gè)品種平均畝產(chǎn)量差的置信區(qū)間。（

=0.05）解：用x1

,…,x8表示甲品種的畝產(chǎn)量，

y1

,…,y10表示乙品種的畝產(chǎn)量，由樣本數(shù)據(jù)，n=10=487.0000

sy2=3256.2222

m=8=569.3750

sx2

=2140.5536下面分兩種情況討論：

例9

為比較兩個(gè)小麥品種的產(chǎn)量，選擇18塊條件相似的試驗(yàn)田，采用相同的耕作方法作試驗(yàn)，播種甲品種的8塊試驗(yàn)田的畝產(chǎn)量和播種乙品種的10塊試驗(yàn)田的畝產(chǎn)量（單位：千克/畝）分別為:

甲品種

628583510554612523530615

乙品種