數(shù)理統(tǒng)計(jì)課件：點(diǎn)估計(jì)

點(diǎn)估計(jì)3.1點(diǎn)估計(jì)問題3.2矩估計(jì)3.3極大似然估計(jì)

點(diǎn)估計(jì)3.4估計(jì)量的評(píng)選標(biāo)準(zhǔn)3.5一致最小方差無偏估計(jì)3.6C-R不等式3.1參數(shù)的

點(diǎn)估計(jì)問題

參數(shù)估計(jì)問題的一般提法設(shè)有一個(gè)總體X，以表示其密度函數(shù)(若總體為連續(xù)型)，或其分布列(若總體為離散型)，其中為未知參數(shù).例3.1.1對(duì)于正態(tài)總體N(μ，σ2)的樣本，它包含兩個(gè)未知參數(shù)

1=μ，

2=σ2

，其密度函數(shù)為例3.1.2對(duì)于泊松分布總體P(

)的樣本，它包含一個(gè)未知參數(shù)

1=

，其分布列為參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)參數(shù)估計(jì)問題是利用從總體抽樣得到的樣本來估計(jì)總體的某些參數(shù)或者參數(shù)的函數(shù).點(diǎn)估計(jì)是用樣本的一個(gè)函數(shù)的具體數(shù)值去估計(jì)一個(gè)未知參數(shù).區(qū)間估計(jì)是用樣本的兩個(gè)函數(shù)的兩個(gè)值構(gòu)成的區(qū)間去估計(jì)未知參數(shù)的取值范圍.在某城市居民人均收入的調(diào)查中，估計(jì)該市居民的年均收入為18250元，這是一個(gè)點(diǎn)估計(jì).若估計(jì)年人均收入在16350元到19850元之間，這就是一個(gè)區(qū)間估計(jì).已知某地區(qū)新生嬰兒的體重未知，…隨機(jī)抽查100個(gè)嬰兒得100個(gè)體重?cái)?shù)據(jù)10,7,6,6.5,5,5.2,…據(jù)此，我們應(yīng)如何估計(jì)μ

和σ

呢？引例而全部信息就由這100個(gè)數(shù)組成為估計(jì)參數(shù)

,需要構(gòu)造一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量每當(dāng)有了樣本觀察值x1,x2,…,xn

，代入該統(tǒng)計(jì)量中算出一個(gè)值：作為未知參數(shù)

的近似值.稱為參數(shù)

的估計(jì)量

稱為參數(shù)

的一個(gè)估計(jì)值定義3.1.1設(shè)是一個(gè)參數(shù)分布族,其中Θ為參數(shù)空間.X1，X2，…，Xn是從該分布族中的某總體抽取的樣本.在不引起混淆的情況下，統(tǒng)稱為θ

的點(diǎn)估計(jì)，這種估計(jì)法稱為參數(shù)的點(diǎn)估計(jì).對(duì)于樣本觀察值x1,x2,…,xn

，代入該統(tǒng)計(jì)量中算出一個(gè)值：作為未知參數(shù)

的近似值.

稱為參數(shù)

的點(diǎn)估計(jì)值.

稱為參數(shù)

的點(diǎn)估計(jì)量.θ

是總體分布中的未知參數(shù)，構(gòu)造統(tǒng)計(jì)量請(qǐng)注意，被估計(jì)的參數(shù)θ

是一個(gè)未知常數(shù)，而估計(jì)量是一個(gè)隨機(jī)變量，是樣本的函數(shù),當(dāng)樣本值取定后，估計(jì)值是個(gè)已知的數(shù)值.

對(duì)于不同的樣本值，θ的估計(jì)值一般不同.若總體分布中含有m個(gè)未知參數(shù)θ1，θ2，…，θm，則要由樣本構(gòu)造m

個(gè)不帶任何未知參數(shù)的統(tǒng)計(jì)量將它們分別作為m

個(gè)未知參數(shù)θ1，θ2，…，θm的估計(jì)量.估計(jì)量：用于估計(jì)參數(shù)的統(tǒng)計(jì)量點(diǎn)估計(jì)包括樣本：X1，X2，…，Xn

點(diǎn)估計(jì)量：點(diǎn)估計(jì)值：1.用某種想法(統(tǒng)計(jì)思想)給出估計(jì)量：矩估計(jì)，極大似然估計(jì)；2.評(píng)價(jià)估計(jì)量?jī)?yōu)良性的種種合理準(zhǔn)則：無偏性，有效性，相合性；3.在某種特定標(biāo)準(zhǔn)下求最優(yōu)的估計(jì)量：

一致最小方差無偏估計(jì)，有效估計(jì).3.2矩估計(jì)3.2.1矩估計(jì)的基本思想設(shè)總體X的分布為若總體X為連續(xù)型，

表示密度函數(shù).若總體X為離散型，

表示分布列.則總體X的k階原點(diǎn)矩為它們一般均為參數(shù)

的函數(shù).樣本的k階原點(diǎn)矩為根據(jù)大數(shù)定律自然想到用樣本k階原點(diǎn)矩估計(jì)相應(yīng)的總體k階原點(diǎn)矩，即用我們可以用上述想法來估計(jì)總體中的未知參數(shù)，這就是矩估計(jì)法的基本思想.矩估計(jì)法是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的.其基本思想是用樣本矩估計(jì)總體矩.定義3.2.1設(shè)為一參數(shù)分布族，其中Θ為參數(shù)空間.3.2.2矩估計(jì)的定義和例子X1,X2,…,Xn是從該分布族中的某總體抽取的樣本，假設(shè)總體的k階矩αk存在有限，令取k=1,2,…,m，并讓上面的近似式改寫成等式，得到如下方程組一矩估計(jì)的定義解此方程組，其解記為分別稱為的矩估計(jì)量，矩估計(jì)量的觀察值

分別稱為的矩估計(jì)值.在不引起混淆的情況下，統(tǒng)稱為矩估計(jì).我們也可以用樣本k階中心矩估計(jì)相應(yīng)的總體k階中心矩，即用進(jìn)一步估計(jì)未知參數(shù)，由此得到的參數(shù)估計(jì)也稱為矩估計(jì).這兩種方法得到的矩估計(jì)可能不同.若要估計(jì)的是參數(shù)的某個(gè)函數(shù)，則用去估計(jì)，由此定出的估計(jì)量稱為的矩估計(jì).矩估計(jì)的具體做法如下.矩估計(jì)方法的基本思想是利用樣本矩代替總體矩.矩估計(jì)的具體做法(1)根據(jù)未知參數(shù)的個(gè)數(shù)，求出總體的各階矩.設(shè)總體X~f(x,θ1,θ2

,…,θk

),X1,

X2,…,Xn為樣本.X

為連續(xù)型X

為離散型總體X的密度函數(shù)總體X的分布列(3)用樣本矩估計(jì)相應(yīng)的總體矩，得到

l的矩估計(jì)量(2)解方程(組)，得(4)g(

1,

,

m)的矩估計(jì)量為例3.2.1

設(shè)總體X的均值μ和方差σ2都存在，且σ2>0，但μ和σ2均未知，設(shè)X1,

X2,…,Xn是來自總體X的樣本，求總體均值μ

和總體方差

σ2的矩估計(jì)量.解：第一步：求總體的一階矩和二階矩第二步：解方程組二矩估計(jì)的例子第三步：分別以A1,A2代替α1,α2得到μ,σ2的矩估計(jì)量分別為說明：總體均值的矩估計(jì)是樣本均值，總體方差的矩估計(jì)不是樣本方差而是樣本二階中心矩.設(shè)X1,X2,…,Xn是來自總體X的一個(gè)樣本，由例3.2.1可以推出如下幾個(gè)結(jié)論：(1)設(shè)總體X~B(1,p)，其中

0<p<1，為未知參數(shù)，因此p的矩估計(jì)為(2)設(shè)總體X~B(N,p)，其中N，p(0<p<1)

為未知參數(shù)，因?yàn)榱蟹匠探M解得N，p

的矩估計(jì)為(3)設(shè)總體X~P(

)，其中

>0為未知參數(shù)，因?yàn)橐虼?/p>

的矩估計(jì)為或者說明：一個(gè)參數(shù)

有兩個(gè)不同的矩估計(jì)，實(shí)際中，在用矩估計(jì)法求參數(shù)估計(jì)時(shí)一般選用低階矩.本例中，選用作為參數(shù)

的矩估計(jì).(4)設(shè)總體X~U[

1,

2

],其中

1<

2

均為未知參數(shù)，因?yàn)榱蟹匠探M得到

1,

2

的矩估計(jì)為(5)設(shè)總體X~N(μ,

σ2)，其中-∞<μ<∞,σ2>0均為未知參數(shù)，因?yàn)榈玫?/p>

μ,

σ2的矩估計(jì)為解：

(1)第一步：求總體的一階矩例3.2.2設(shè)X1,X2,…,Xn是來自總體X的一個(gè)樣本，且總體X的密度函數(shù)為其中

>?1是未知參數(shù)，求(1)參數(shù)

的矩估計(jì)；(2)g(

)=(

+1)/

的矩估計(jì).第二步：解方程第三步：用

代替μ1，得

的矩估計(jì)為(2)用

代替

，得g(

)=(

+1)/

的矩估計(jì)為解：

(1)第一步：求總體均值和總體方差分別為例3.2.3設(shè)X1,X2,…,Xn是來自伽瑪分布的一個(gè)樣本，且密度函數(shù)為其中α>0,

>0是未知參數(shù)，求參數(shù)α

和

的矩估計(jì).第二步：令第三步：

解得

α

和

的矩估計(jì)分別為解：記例3.2.4設(shè)(X1,Y1),(X2,Y2),…,(Xn,Yn)

是來自二維總體(X,Y)的樣本，

求X與Y的相關(guān)系數(shù)

XY的矩估計(jì).且當(dāng)n充分大時(shí)，有因此相關(guān)系數(shù)

XY的矩估計(jì)為因?yàn)槔?.2.5甲乙兩個(gè)校對(duì)員彼此獨(dú)立對(duì)同一本書的樣稿進(jìn)行校對(duì)，校完后，甲發(fā)現(xiàn)a個(gè)錯(cuò)字，乙發(fā)現(xiàn)b個(gè)錯(cuò)字，其中共同發(fā)現(xiàn)的錯(cuò)字有c個(gè)，試用矩估計(jì)法對(duì)如下兩個(gè)未知參數(shù)進(jìn)行估計(jì)(1)該書樣稿的總錯(cuò)字個(gè)數(shù)；(2)未被發(fā)現(xiàn)的錯(cuò)字?jǐn)?shù).解:(1)設(shè)該書樣稿中總錯(cuò)字個(gè)數(shù)為

甲校對(duì)員識(shí)別出錯(cuò)字的概率為p1乙校對(duì)員識(shí)別出錯(cuò)字的概率為p2由于甲乙是彼此獨(dú)立的進(jìn)行校對(duì)，則同一錯(cuò)字能被甲乙同時(shí)識(shí)別的概率為p1p2解得由頻率替換思想，得到由獨(dú)立性，得矩估計(jì)方程(2)未被發(fā)現(xiàn)的錯(cuò)字?jǐn)?shù)的估計(jì)等于總錯(cuò)字?jǐn)?shù)的估計(jì)減去甲乙發(fā)現(xiàn)的錯(cuò)字?jǐn)?shù)，即若設(shè)a=120,b=124,c=80,則該書樣稿中錯(cuò)字總數(shù)的矩估計(jì)為未被發(fā)現(xiàn)的錯(cuò)字個(gè)數(shù)的矩估為例如：186－120－124＋80=22個(gè)例3.2.6設(shè)X1,X2,…,Xn是來自總體X的樣本，且X的密度函數(shù)為求

1,

2的矩估計(jì).其中

1,

2為未知參數(shù)，且-1<

1<∞,

2>0.解:由于分別以A1,A2代替α1，α2，本例說明不是所有的矩估計(jì)都有解析表達(dá)式.在實(shí)際問題中，給不出矩估計(jì)量的解析表達(dá)式是常見的情形.其解就是

1,

2的矩估計(jì)，但是此處得不出矩估計(jì)的簡(jiǎn)單解析表達(dá)式，而只能用數(shù)值方法.注1：矩估計(jì)對(duì)總體分布的假定少，只需要總體相應(yīng)的各階矩存在，故可視其為非參數(shù)方法.注2：不適用情況:矩估計(jì)方法要求總體的原點(diǎn)矩存在，而有些隨機(jī)變量(如柯西分布)的原點(diǎn)矩不存在，因此就不能用矩估計(jì)方法求點(diǎn)估計(jì).優(yōu)點(diǎn)：簡(jiǎn)單、直觀、適用范圍廣；缺點(diǎn)：若已知總體X的服從正態(tài)分布，但該分布形式已知的信息沒有用到，從而造成信息的損失.注3：矩估計(jì)不唯一.作業(yè)：習(xí)題3.2：3，5，73.3

極大似然估計(jì)3.3.1

極大似然估計(jì)的基本思想3.3.2極大似然估計(jì)的定義和若干例子極大似然估計(jì)方法首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的.GaussFisher然而，這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇(Fisher).Fisher在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).3.3.1極大似然估計(jì)的基本思想引例3.3.1某位同學(xué)與一位獵人一起外出打獵.一只野兔從前方竄過.如果要你推測(cè)，只聽一聲槍響，野兔應(yīng)聲倒下.是誰打中的呢？你會(huì)如何想呢?分析：因?yàn)橹话l(fā)一槍便打中，獵人命中的概率一般大于這位同學(xué)命中的概率.令X為打一槍的中彈數(shù)，則X~B(1,p),p未知.設(shè)想我們事先知道p只有兩種可能:p=0.9或p=0.1兩人中有一人打搶，估計(jì)這一槍是誰打的，即估計(jì)總體參數(shù)

p的值.其數(shù)學(xué)模型為當(dāng)兔子中彈，即{X=1}發(fā)生了若p=0.9，則P{X=1}=0.9若p=0.1，則P{X=1}=0.1當(dāng)兔子不中彈，即{X=0}發(fā)生了若p=0.9，則P{X=0}=0.1

若p=0.1，則P{X=0}=0.9現(xiàn)有樣本觀察值x=1,什么樣的參數(shù)使該樣本觀察值出現(xiàn)的可能性最大呢？根據(jù)樣本觀察值，選擇參數(shù)p的估計(jì)，使得樣本在該樣本觀察值附近出現(xiàn)的可能性最大.極大似然估計(jì)法的基本思想：獵人同學(xué)一槍打中哪個(gè)概率大？獵人命中的概率一般大于這位同學(xué)命中的概率,看來這一槍是獵人射中的.這個(gè)例子確定的基本想法是:當(dāng)試驗(yàn)中得到一個(gè)結(jié)果(上例中指兔子被一槍打中)時(shí),哪個(gè)p值使這個(gè)結(jié)果的出現(xiàn)具有最大概率就應(yīng)該取哪個(gè)值作為p的估計(jì)值.它用到“概率最大的事件最可能出現(xiàn)”的直觀想法.說明：雖然參數(shù)p可取參數(shù)空間

中的所有值，但在給定樣本觀察值x1,x2,…,xn后，不同的p值對(duì)應(yīng)樣本X1,X2,…,Xn取x1,x2,…,xn的鄰域的概率大小也不同，既然在一次試驗(yàn)中觀察到X1,X2,…,Xn取值x1,x2,…,xn，因此有理由認(rèn)為X1,X2,…,Xn落入x1,x2,…,xn的鄰域中的概率較其它地方大.哪一個(gè)參數(shù)使得X1,X2,…,Xn落入x1,x2,…,xn的鄰域中的概率最大，這個(gè)參數(shù)就是最可能的參數(shù)，我們用它作為參數(shù)的估計(jì)值，這就是極大似然原理.設(shè)總體X為離散型，其分布列為一極大似然估計(jì)的定義3.3.2極大似然估計(jì)的定義和例子其中

為待估參數(shù)，Θ為參數(shù)空間.設(shè)X1,X2,…,Xn

是來自總體X

的樣本，則樣本X1,X2,…,Xn的聯(lián)合分布列為設(shè)x1,x2,…,xn是樣本X1,X2,…,Xn

的一個(gè)觀察值，則樣本X1,X2,…,Xn

取x1,x2,…,xn的概率為這一概率隨θ的取值而變化，它是θ

的函數(shù)，稱為樣本的似然函數(shù).

似然的字面含義是看起來像，下面利用樣本觀察值確定參數(shù)看起來最像的值，這就是統(tǒng)計(jì)上的似然原理.已經(jīng)得到了觀察值x1,x2,…,xn，它是哪一個(gè)θ

所確定的總體(或分布)產(chǎn)生的?尋找最可能的！也就是產(chǎn)生這個(gè)樣本的概率最大的，即求使得稱為θ

的極大似然估計(jì)量.稱為θ

的極大似然估計(jì)值.設(shè)總體X為連續(xù)型，其密度函數(shù)為f(x,

),其中

為待估參數(shù)，Θ為參數(shù)空間.設(shè)X1,X2,…,Xn

是來自總體X

的樣本，則樣本X1,X2,…,Xn的聯(lián)合密度函數(shù)為設(shè)x1,x2,…,xn是樣本X1,X2,…,Xn

的一個(gè)觀察值，則樣本X1,X2,…,Xn

落在x1,x2,…,xn的鄰域內(nèi)的概率為這一概率隨θ的取值而變化，它是θ

的函數(shù)，取θ的估計(jì)值使得上式達(dá)到最大，但是不隨θ取值的變化而改變，故只需考慮的極大值，L(θ)稱為樣本的似然函數(shù).

若稱為θ

的極大似然估計(jì)量.稱為θ

的極大似然估計(jì)值.定義3.3.1(似然函數(shù))設(shè)總體X的密度函數(shù)(或分布列)為f(x,

),其中未知參數(shù)=(

1,2,…,k)ΘRk

,X1,X2,…,Xn

是來自總體X的樣本，則樣本X1,X2,…,Xn

的聯(lián)合密度函數(shù)(或聯(lián)合分布列)為若已知樣本觀察值，稱為樣本的似然函數(shù).

稱為樣本的對(duì)數(shù)似然函數(shù).

注：似然函數(shù)和聯(lián)合密度函數(shù)(或聯(lián)合分布列)是同一表達(dá)式，但是表示兩種不同含義.當(dāng)

固定時(shí)，將其看成定義在樣本空間χ

上的函數(shù)，稱為聯(lián)合密度函數(shù)(或聯(lián)合分布列).當(dāng)x固定時(shí)，將其看成定義在參數(shù)空間Θ

上的函數(shù)，稱為似然函數(shù).這是兩個(gè)不同的概念.似然函數(shù)意味著：給定數(shù)據(jù)x，L(

)是以參數(shù)

標(biāo)記的總體分布產(chǎn)生這個(gè)數(shù)據(jù)的可能性度量.例3.3.1設(shè)罐子里有許多黑球和紅球.假定已知它們的比例是1:3，但不知道是黑球多還是紅球多.也就是抽出一個(gè)黑球的概率或者是1/4或者是3/4.如果有放回的從罐子中抽n個(gè)球，要根據(jù)抽樣數(shù)據(jù)，估計(jì)抽到黑球的概率是多少.解:將此問題建立統(tǒng)計(jì)模型令Xi表示第i次抽球的結(jié)果，即記每次抽樣中抽到黑球的概率為p，此處，p只取可能的兩個(gè)值p1=1/4和p2=3/4之一.

因此分布族為要根據(jù)抽樣結(jié)果對(duì)p

做出估計(jì)，即

p取值為1/4還是3/4?

或說樣本來自總體B(n,

p1)

還是B(n,

p2)

?注：因?yàn)槭浅浞纸y(tǒng)計(jì)量，我們用替代了樣本.當(dāng)

X=(X1,X2,…,Xn)給定時(shí)，似然函數(shù)為為簡(jiǎn)單計(jì)，取n=3當(dāng)x=0，1，2，3時(shí)似然函數(shù)取值如下表所示由上表可見當(dāng)x=0，1時(shí)，L(1/4,x)

>

L(3/4,x)

當(dāng)x=2，3時(shí)，L(3/4,x)

>

L(1/4,x)

因此得出結(jié)論：當(dāng)x=0，1時(shí)，L(1/4,x)

>

L(3/4,x)

當(dāng)x=2，3時(shí)，L(3/4,x)

>

L(1/4,x)

估計(jì)抽到的黑球概率為

估計(jì)抽到的黑球概率為

則

p的取值應(yīng)使這個(gè)事件發(fā)生的概率最大.對(duì)于不同的p,L(p)不同，見下圖發(fā)生了，現(xiàn)經(jīng)過一次試驗(yàn)，事件定義3.3.2(極大似然估計(jì))如果似然函數(shù)L(θ,x1,x2,…,xn

)在處達(dá)到極大值，即在不引起混淆的情況下，統(tǒng)稱為極大似然估計(jì)(MaximumLikelihoodEstimator簡(jiǎn)記為MLE).稱為θ

的極大似然估計(jì)值.與x1,x2,…,xn

有關(guān)，記為稱為θ

的極大似然估計(jì)量.1.用微積分中求極值的方法若似然函數(shù)L(θ,x1,x2,xn)關(guān)于

θ=

(θ1,

θ2,θk)各分量的偏導(dǎo)數(shù)都存在，則

=(

1,

2,

,

k)的極大似然估計(jì)可由下述方程組求得二極大似然估計(jì)的求法該方程組稱為似然方程組.又因?yàn)長(zhǎng)(

)與lnL(

)在同一

處取得極值，因此

=(

1,

2,

,

k)的極大似然估計(jì)也可由下述方程組解得該方程組稱為對(duì)數(shù)似然方程組,利用對(duì)數(shù)似然方程組求解更方便.求極大似然估計(jì)(MLE)的一般步驟是：(1)由總體分布導(dǎo)出樣本的聯(lián)合密度函數(shù)(或聯(lián)合分布列)；(2)把樣本的聯(lián)合密度函數(shù)(或聯(lián)合分布列)中自變量看作已知常數(shù)，

而把參數(shù)

看作自變量，得到似然函數(shù)L(

)；(3)求似然函數(shù)L(

)的極大值點(diǎn)(常常轉(zhuǎn)化為求對(duì)數(shù)似然函數(shù)的極大

值點(diǎn))，得θ的極大似然估計(jì).因此，求極大似然估計(jì)首先求似然方程的解但是，此解是否一定是

的極大似然估計(jì)？滿足似然方程，只是極大似然估計(jì)的必要條件，而非充分條件.一般只有滿足下列條件：(1)似然方程的極大值在參數(shù)空間Θ

內(nèi)部達(dá)到.(2)似然方程只有唯一解，則似然方程的解必為極大似然估計(jì).因此求出似然方程的解后，要驗(yàn)證它為

的極大似然估計(jì)，有時(shí)并非易事.但是，對(duì)樣本分布族是指數(shù)族的場(chǎng)合，有非常滿意的結(jié)果.設(shè)X1,X2,…,Xn

是從指數(shù)族中抽取的樣本，其中指數(shù)族的自然形式為其中Θ為自然參數(shù)空間，Θ0為Θ的內(nèi)點(diǎn)集.似然函數(shù)為對(duì)數(shù)似然函數(shù)為因此，若樣本分布族為指數(shù)族，只要似然方程的解屬于自然參數(shù)空間的內(nèi)點(diǎn)集，則解必為??的極大似然估計(jì).定理3.3.1若對(duì)任何樣本X1,X2,…,Xn，方程組在Θ0內(nèi)有解，則解必唯一且為

的極大似然估計(jì).如二項(xiàng)分布族，Poisson分布族，幾何分布族，正態(tài)分布族，Gamma分布族等都是指數(shù)族，定理的條件都成立.因此似然方程的解就是有關(guān)參數(shù)的極大似然估計(jì).常見的分布族2從定義出發(fā)求當(dāng)似然函數(shù)L(

,x)對(duì)參數(shù)

不可微時(shí)，甚至不連續(xù)時(shí)，似然方程一般沒有意義，不能采用微積分極值方法，此時(shí)，需要從定義出發(fā)，直接求似然函數(shù)的極值點(diǎn)進(jìn)一步得到參數(shù)

的極大似然估計(jì).極大似然估計(jì)的不變性設(shè)總體X的分布類型已知，其密度函數(shù)(或分布列)為f(x,

)，

=(

1,

2,

,

k)為未知參數(shù)，參數(shù)

=(

1,

2,

,

k)的已知函數(shù)為g(

1,

2,

,

k)，函數(shù)g具有單值反函數(shù).若分別為

1,

2,

,

k的極大似然估計(jì).則為g(

1,

2,

,

k)的極大似然估計(jì).

例3.3.2設(shè)X1,X2

,…,Xn是來自總體X的樣本，且X~B(1,p),其中0<p<1是未知參數(shù)，x1,x2,…,xn是樣本的一個(gè)觀察值，求參數(shù)p的極大似然估計(jì).解：X的分布列為似然函數(shù)為三極大似然估計(jì)的例題對(duì)數(shù)似然函數(shù)為對(duì)p求導(dǎo)并令導(dǎo)函數(shù)為0，得到對(duì)數(shù)似然方程似然函數(shù)對(duì)數(shù)似然方程解方程得p的極大似然估計(jì)值為極大似然估計(jì)量為注：兩點(diǎn)分布中參數(shù)p的極大似然估計(jì)與矩估計(jì)一致.似然函數(shù)為：

對(duì)數(shù)似然函數(shù)為：

解:X的分布列為例3.3.3設(shè)X1,X2

,…,Xn是來自總體X的樣本，且X~P(

),其中

>0是未知參數(shù)，x1,x2,…,xn是樣本的一個(gè)觀察值，求參數(shù)

和g(

)=e-的極大似然估計(jì).解得

的極大似然估計(jì)值為的極大似然估計(jì)為對(duì)

求導(dǎo)并令導(dǎo)數(shù)為零，得對(duì)數(shù)似然方程為

的極大似然估計(jì)量為注：泊松分布中參數(shù)

的極大似然估計(jì)與矩估計(jì)一致.解：

似然函數(shù)為例3.3.4設(shè)X1,X2,…,Xn是來自總體X的樣本，且總體X的密度函數(shù)為其中

>?1是未知參數(shù)，x1,x2,…,xn是樣本的一個(gè)觀察值，求參數(shù)

的極大似然估計(jì).對(duì)數(shù)似然函數(shù)為：

解得

的極大似然估計(jì)值為對(duì)

求導(dǎo)并令導(dǎo)數(shù)為零，得對(duì)數(shù)似然方程為

的極大似然估計(jì)量為解：

似然函數(shù)為例3.3.5設(shè)X1,X2,…,Xn是來自指數(shù)分布總體X的樣本，且X的密度函數(shù)為其中

>0是未知參數(shù)，x1,x2,…,xn是樣本的一個(gè)觀察值，求參數(shù)

的極大似然估計(jì).對(duì)數(shù)似然函數(shù)為：

解得

的極大似然估計(jì)值為

對(duì)

求導(dǎo)并令導(dǎo)數(shù)為零，得對(duì)數(shù)似然方程為

的極大似然估計(jì)量為例3.3.6

設(shè)X1,X2

,…,Xn是來自總體X的樣本，且X~N(μ,σ2),其中μ,σ2為未知參數(shù)，，x1,x2,…,xn是樣本的觀察值，

求參數(shù)μ，σ2

，μ

/

σ2及σ

的極大似然估計(jì).解：X的密度函數(shù)為似然函數(shù)為對(duì)數(shù)似然函數(shù)為對(duì)μ,

σ2分別求偏導(dǎo)并令導(dǎo)數(shù)為0，得到對(duì)數(shù)似然方程組解得μ,

σ2的極大似然估計(jì)值為μ,

σ2的極大似然估計(jì)量為注：正態(tài)分布中參數(shù)的極大似然估計(jì)與矩估計(jì)一致.由極大似然估計(jì)的不變性，可得μ

/

σ2及σ

的極大似然估計(jì)為解：X的密度函數(shù)為似然函數(shù)為例3.3.7設(shè)X1,X2,…,Xn是來自總體X的樣本，且X~U[θ1,θ2]，其中θ1<θ2

是未知參數(shù)，x1,…,xn是樣本的一個(gè)觀察值.

求參數(shù)θ1,θ2的極大似然估計(jì).對(duì)數(shù)似然方程組為對(duì)數(shù)似然函數(shù)為不能求解設(shè)因?yàn)?，?≤x1,···,xn≤θ2，等價(jià)于θ1≤x(1),x(n)≤θ2，我們用定義法求參數(shù)θ1,θ2的極大似然估計(jì).因此，似然函數(shù)為因此，

1越大、

2越小，似然函數(shù)L越大.

1,

2的取值范圍對(duì)于滿足θ1≤x(1),x(n)≤θ2，的任意θ1,θ2有即在時(shí)，取極大值故θ1,θ2的極大似然估計(jì)值為：θ1,θ2的極大似然估計(jì)量為：

1,

2

的矩估計(jì)為注：均勻分布中參數(shù)的極大似然估計(jì)與矩估計(jì)不同.設(shè)x(n)=max(x1,···,xn)X的密度函數(shù)為：因?yàn)椋?≤x1,···,xn≤θ，等價(jià)于0≤x(n)≤θ，解:例3.3.8設(shè)X1,X2,…,Xn是來自總體X的樣本，且X~U[0,θ]，其中θ>0是未知參數(shù)，x1,…,xn是樣本的一個(gè)觀察值.

求參數(shù)θ的極大似然估計(jì).因此，似然函數(shù)為對(duì)于滿足0≤x(n)≤θ，的任意θ有即L(

)在

=x(n)

時(shí)，取極大值故θ的極大似然估計(jì)為設(shè)x(1)=min(x1,···,xn)，x(n)=max(x1,···,xn)，X的密度函數(shù)為：因?yàn)?，θ≤x1,···,xn≤θ+1，等價(jià)于，x(n)－1≤θ≤x(1)，解:例3.3.9設(shè)X1,X2,…,Xn是來自總體X的樣本，且X~U[θ,θ+1]，其中θR是未知參數(shù)，x1,…,xn是樣本的一個(gè)觀察值.

求參數(shù)θ

的極大似然估計(jì).因此，似然函數(shù)為對(duì)于滿足x(n)－1≤θ≤x(1)的任意θ都可以使得L達(dá)到極大值因此θ的極大值不止一個(gè)，例如都是θ的極大似然估計(jì).對(duì)于任給的0≤λ

≤1，都是θ的極大似然估計(jì).θ的極大似然估計(jì)有無窮個(gè).例3.3.10為估計(jì)某湖泊中魚數(shù)N，自湖中捕出r

條魚，做上標(biāo)記后都放回湖中，經(jīng)過一段時(shí)間后再自湖中同時(shí)捕出s

條魚，結(jié)果發(fā)現(xiàn)其中x

條標(biāo)有記號(hào)，試根據(jù)此信息估計(jì)魚數(shù)N

的值.設(shè)捕住的s條魚中有標(biāo)記的魚數(shù)為X，因?yàn)槭虑盁o法確定它將取哪個(gè)確定的數(shù)值，因此X是一隨機(jī)變量，則解：因?yàn)樵搯栴}只有一個(gè)樣本觀察值，故似然函數(shù)為x為整數(shù).選取使L(N)達(dá)最大值的作為N的估計(jì)值，但是直接對(duì)L(N)求導(dǎo)較困難，因此考慮比值.故當(dāng)rs>xN，即N<rs/x

時(shí)，L(N)>L(N-1)當(dāng)rs<xN，即N>rs/x

時(shí)，L(N)<L(N-1)因此，似然函數(shù)L(N)在N=rs/x附近取得最大值，注意到N取整數(shù)，因此N的極大似然估計(jì)為1矩估計(jì)法只要求總體矩存在，對(duì)總體分布要求較少.2極大似然法要求總體分布已知(分布列或密度函數(shù)已知).3兩種方法的結(jié)果有時(shí)是一樣的，有時(shí)有差別，極大似然

估計(jì)相對(duì)來說有更多的優(yōu)良性.矩估計(jì)法和極大似然估計(jì)法的比較作業(yè)：習(xí)題3.3：3，4，63.4估計(jì)量的

評(píng)價(jià)標(biāo)準(zhǔn)對(duì)于同一個(gè)參數(shù)，用不同的估計(jì)方法求出的估計(jì)量可能不相同.問題：采用哪一個(gè)估計(jì)量好？一無偏性三相合性二有效性設(shè)總體X~F(x,

)，其中

為未知參數(shù)，X1,X2

,…,Xn是來自該總體的樣本，為

的一個(gè)估計(jì)量.

估計(jì)量

是一個(gè)隨機(jī)變量當(dāng)樣本(X1

,…,Xn)有觀測(cè)值(x1

,…,xn)時(shí)，估計(jì)值為當(dāng)樣本(X1

,…,Xn)有觀測(cè)值(y1

,…,yn)時(shí)，估計(jì)值為由不同的觀測(cè)結(jié)果，就會(huì)求得不同的參數(shù)估計(jì)值.因此評(píng)價(jià)一個(gè)估計(jì)量的好壞，不能僅僅依據(jù)一次試驗(yàn)的結(jié)果來判斷，而必須根據(jù)估計(jì)量的分布從整體上來做評(píng)價(jià).當(dāng)樣本取不同的觀測(cè)值時(shí)，希望相應(yīng)的估計(jì)值在未知參數(shù)真值附近擺動(dòng)，而它的均值與未知參數(shù)的真值的偏差越小越好.

當(dāng)這種偏差為0時(shí)，就導(dǎo)致無偏性這個(gè)標(biāo)準(zhǔn).

3.4.1無偏性定義3.4.1設(shè)為一參數(shù)分布族，其中Θ為參數(shù)空間.X1,X2,…,Xn是從該分布族中的某總體抽取的樣本，

是總體分布中的未知參數(shù)，設(shè)為未知參數(shù)

的估計(jì)量，若對(duì)任意

Θ，都有則稱為

的無偏估計(jì).設(shè)g(

)

為待估參數(shù)，為g(

)的估計(jì)量，若對(duì)任意

Θ，都有則稱為g(

)的無偏估計(jì).記稱bn為估計(jì)的偏差.如果bn

0

，則稱為參數(shù)

的有偏估計(jì).若則稱為參數(shù)

的漸近無偏估計(jì).1無系統(tǒng)性偏差.2由于估計(jì)量是隨機(jī)變量，故評(píng)價(jià)它是否合理，不能根據(jù)一

次估計(jì)的結(jié)果，而應(yīng)該根據(jù)多次反復(fù)使用這個(gè)統(tǒng)計(jì)量的“平均”效果來評(píng)價(jià).由此給出無偏估計(jì)的“頻率解釋”.無偏性說明對(duì)于無偏估計(jì)量，單次的估計(jì)值相對(duì)于真值，可能偏大，也可能偏小，它無法說明一次估計(jì)所產(chǎn)生的偏差，但反復(fù)將這一估計(jì)量使用多次，平均來說其偏差為0.注意：要求估計(jì)量大量重復(fù)使用，在多次重復(fù)使用下給出接近真值θ

的估計(jì).

假定在同一個(gè)模型(同樣的總體分布與樣本容量)下，對(duì)同一個(gè)參數(shù)函數(shù)g(θ)用同一個(gè)無偏估計(jì)進(jìn)行多次估計(jì)，記第i次估計(jì)為，由大數(shù)定律得盡管一次估計(jì)結(jié)果不一定恰好等于g(θ)但是在大量重復(fù)使用時(shí)，多次估計(jì)的算術(shù)平均值，可以任意接近g(θ).如果這一估計(jì)量只使用一次，無偏性這個(gè)概念就失去意義.無偏估計(jì)量?jī)H在多次重復(fù)使用時(shí)才顯示其優(yōu)越性.例3.4.1

設(shè)總體X的k階矩E(Xk)

存在，X1,X2,…,Xn是來自總體X的樣本，證明：樣本k階矩是總體k階矩E(Xk)的無偏估計(jì).證明：由于因此樣本k階矩是總體k階矩的無偏估計(jì).則樣本均值是總體均值μ的無偏估計(jì)，樣本方差是總體方差σ2的無偏估計(jì).例3.4.2設(shè)總體X的均值為EX=μ

，方差為DX=σ2存在，X1,X2,…,Xn是來自總體X的樣本，則證明：例3.4.3

設(shè)X1,X2

,…,Xn是來自總體X的樣本，且X~N(μ,σ2),其中μ,σ2為未知參數(shù)，，x1,x2,…,xn是樣本的觀察值，試用極大似然估計(jì)法求參數(shù)μ，σ2

的估計(jì)量，并問是否是無偏估計(jì).由于μ和σ2的極大似然估計(jì)為解:又由得因此是μ的無偏估計(jì)，不是σ2的無偏估計(jì).但是是σ2的漸近無偏估計(jì).例3.4.4設(shè)X1,X2

,…,Xn為來自總體X的樣本，且X的密度函數(shù)為其中

>0為未知參數(shù)，證明：因?yàn)閄的分布函數(shù)為證明：

和nU=n{min(X1,X2

,…,Xn)}都是

的無偏估計(jì).故

是

的無偏估計(jì)先求U的分布函數(shù)獨(dú)立性對(duì)其求導(dǎo)數(shù)得到U的密度函數(shù)為：即U的分布函數(shù)為指數(shù)分布U的密度函數(shù)為由指數(shù)分布的性質(zhì)知：因此，nU也是

的無偏估計(jì).故有：例3.4.5設(shè)X1,X2,…,Xn是來自總體X的樣本，總體均值為

=EX，證明與都是

的無偏估計(jì).其中證明：由于所以都是無偏估計(jì).一個(gè)參數(shù)往往有不止一個(gè)無偏估計(jì)，若和都是參數(shù)θ的無偏估計(jì)量，我們可以比較和的大小來決定二者誰更優(yōu).無偏估計(jì)以方差小者為好，這就引進(jìn)了有效性這一概念.舉個(gè)例子說明有效性到商店購(gòu)買電視機(jī)，看中了其中兩種品牌，分別由甲乙兩廠生產(chǎn)，外觀、音質(zhì)和畫面都不錯(cuò).根據(jù)市場(chǎng)調(diào)查，甲乙兩廠生產(chǎn)的兩種電視機(jī)平均使用壽命相同，都是20年.甲廠生產(chǎn)的電視機(jī)質(zhì)量較穩(wěn)定，最低使用壽命18年，最高可以使用22年；乙廠生產(chǎn)的電視機(jī)質(zhì)量穩(wěn)定性差一些，最差的使用10年就壞了，但是最好的可以使用30年.選用哪一個(gè)廠家生產(chǎn)的電視機(jī)呢?若將電視機(jī)的使用壽命視為隨機(jī)變量，甲乙兩廠生產(chǎn)的電視機(jī)使用壽命均值相等，但是乙廠的質(zhì)量不穩(wěn)定，即方差較大.從穩(wěn)健的角度出發(fā)，顯然愿意購(gòu)買甲廠生產(chǎn)的電視機(jī)，其風(fēng)險(xiǎn)較小，即方差較小，質(zhì)量穩(wěn)定.散集中EXEX集中或分散程度用方差DX

衡量3.4.2有效性且不等號(hào)至少對(duì)某個(gè)

Θ成立.定義3.4.2設(shè)是未知參數(shù)

的兩個(gè)無偏估計(jì)，且對(duì)一切

Θ，Θ

為參數(shù)空間，都有則稱估計(jì)比估計(jì)有效.等號(hào)成立當(dāng)且僅當(dāng)例3.4.6設(shè)X1,X2,…,Xn是來自總體X的樣本，總體均值為EX=

，總體方差為DX=σ2，比較與的有效性.其中證明：由例3.4.5知與都是

的無偏估計(jì).所以比有效.解：比較和nU=n{min(X1,X2

,…,Xn)}的有效性.由例3.4.4知，和nU=n{min(X1,X2

,…,Xn)}都是

的無偏估計(jì).由得例3.4.7設(shè)X1,X2

,…,Xn為來自總體X的樣本，且X的密度函數(shù)為其中

>0為未知參數(shù)，因此，當(dāng)n>1時(shí)，由得即：

比nU有效.思考：指數(shù)分布的充分統(tǒng)計(jì)量？U

的密度函數(shù)為隨著樣本容量的增加，估計(jì)量與被估計(jì)參數(shù)g(θ)的偏差越來越小這是一個(gè)良好估計(jì)量應(yīng)該具有的性質(zhì)試想，若不然，無論做多少次試驗(yàn)，也不能把θ

估計(jì)到任意指定的精度，這樣的估計(jì)量顯然不可取.大量實(shí)踐表明3.4.3相合性定義3.4.3：設(shè)對(duì)每個(gè)自然數(shù)n，為θ的一個(gè)估計(jì)量，若

依概率收斂到θ即對(duì)任何及，有則稱為θ的弱相合估計(jì)，簡(jiǎn)稱相合估計(jì).若對(duì)任何，有若對(duì)r>0和任何，有當(dāng)r=2時(shí)，稱為均方相合估計(jì).則稱為θ的強(qiáng)相合估計(jì).則稱為θ的r階矩相合估計(jì).注：估計(jì)量的相合性是對(duì)大樣本提出的要求，是估計(jì)量的一種

大樣本性質(zhì).根據(jù)概率論可知上述三種相合性的關(guān)系如下：1.強(qiáng)相合推出弱相合，反之不一定；2.對(duì)任何r>0，有r階矩相合推出弱相合，反之不一定；3.強(qiáng)相合與r階矩相合之間沒有包含關(guān)系.(1)

的矩估計(jì)為，且為θ的無偏估計(jì).(2)

的極大似然估計(jì)為，不是θ的無偏估計(jì).對(duì)適當(dāng)修正獲得θ的無偏估計(jì).(3)將與進(jìn)行比較，比較哪一個(gè)更有效.(4)

的極大似然估計(jì)是θ的相合估計(jì).例3.4.8設(shè)X1,X2

,…,Xn為來自均勻分布總體U[0,

]的樣本，

其中

>0為未知參數(shù)，則解：(1)由于，因此為θ的無偏估計(jì).(2)根據(jù)已有例子知θ的極大似然估計(jì)為下面討論的無偏性的密度函數(shù)為因此極大似然估計(jì)不是θ的無偏估計(jì)，

但是θ的漸近無偏估計(jì).修正為無偏估計(jì)當(dāng)n>1時(shí)，當(dāng)n=1時(shí)，兩個(gè)估計(jì)相同.即修正的極大似然估計(jì)比矩估計(jì)有效.(3)由于(4)由于X(n)的概率密度函數(shù)為對(duì)于任給的ε>0，有對(duì)于任給的

ε>0，有即因此θ的極大似然估計(jì)是θ的相合估計(jì).矩估計(jì)的性質(zhì)1.設(shè)總體X

的k

階原點(diǎn)矩存在，記為X1,X2,…,Xn為來自總體的樣本，樣本k階原點(diǎn)矩為因此，樣本k

階原點(diǎn)矩是總體k

階原點(diǎn)矩的無偏估計(jì).由于矩估計(jì)的無偏性2.對(duì)于k≥2，樣本k階中心矩不是總體k階中心矩的無偏估計(jì)由于將其修正得到是DX

的無偏估計(jì).3.若g(

)是若干總體原點(diǎn)矩的線性函數(shù)時(shí)，其矩估計(jì)是g(

)的無偏估計(jì).1.樣本k階原點(diǎn)矩是總體k階原點(diǎn)矩的強(qiáng)相合估計(jì).2.樣本k階中心矩是總體k階中心矩的強(qiáng)相合估計(jì).矩估計(jì)的相合性1.極大似然估計(jì)不一定是無偏估計(jì).2.如果參數(shù)的極大似然估計(jì)存在，

則它可以表示為充分統(tǒng)計(jì)量的函數(shù).3.極大似然估計(jì)不一定是相合估計(jì).極大似然估計(jì)的性質(zhì)作業(yè)：習(xí)題3.4：1，5，7，10，12方差無偏估計(jì)3.5一致最小設(shè)X=(X1,X2,…,Xn)是從該分布族中抽取的簡(jiǎn)單隨機(jī)樣本，設(shè)為一參數(shù)分布族，其中Θ為參數(shù)空間.g(θ)

是定義在參數(shù)空間Θ

上的實(shí)函數(shù).

問題：如何評(píng)價(jià)估計(jì)量的優(yōu)劣？定義3.5.1(均方誤差)記為定義3.5.2(一致最小均方誤差估計(jì))且不等號(hào)至少對(duì)某個(gè)

Θ成立，則稱在均方誤差準(zhǔn)則下但是，一致最小均方誤差估計(jì)常不存在.解決辦法：把最優(yōu)性準(zhǔn)則放寬些，使得適合這種最優(yōu)性的估計(jì)一般存在.在一個(gè)大的估計(jì)類中，一致最優(yōu)估計(jì)量不存在，把估計(jì)類縮小，就有可能存在一致最優(yōu)的估計(jì)量.因此，把估計(jì)類縮小為無偏估計(jì)類來考慮.對(duì)無偏估計(jì)的說明：1無偏估計(jì)不一定存在例3.5.1設(shè)樣本X~B(n,p),n已知，0<p<1為未知參數(shù)，令g(p)=1/p，則g(p)的無偏估計(jì)不存在.證明:反證法證明即上式左端是p的n+1次多項(xiàng)式，它至多在(0,1)區(qū)間有n+1個(gè)實(shí)根.可是無偏性要求對(duì)(0,1)中的任一實(shí)數(shù)p,上式都成立.導(dǎo)致矛盾，因此g(p)=1/p的無偏估計(jì)不存在.即2對(duì)同一個(gè)參數(shù)，無偏估計(jì)一般不唯一.在無偏估計(jì)類中，估計(jì)量的均方誤差就是其方差，即：把不存在無偏估計(jì)的參數(shù)除外.若參數(shù)的無偏估計(jì)存在，則稱此參數(shù)為可估參數(shù).若參數(shù)函數(shù)的無偏估計(jì)存在，則稱此函數(shù)為可估函數(shù).一個(gè)無偏估計(jì)的方差越小越好，有沒有最好的無偏估計(jì)量?為此引入如下一致最小方差無偏估計(jì)的定義.定義3.5.3設(shè)X1,X2,…,Xn是從該分布族中的某總體抽取的樣本，設(shè)為一參數(shù)分布族，其中Θ為參數(shù)空間.g(θ)

是定義在參數(shù)空間Θ

上的可估函數(shù).

3.5.1一致最小方差無偏估計(jì)的定義特殊的，取g(

)=

設(shè)X1,X2,…,Xn是從該分布族中的某總體抽取的樣本，設(shè)為一參數(shù)分布族，其中Θ為參數(shù)空間.對(duì)給定參數(shù)分布族，尋找可估參數(shù)(或可估函數(shù))的一致最小方差無偏估計(jì)的方法有如下：充分完備統(tǒng)計(jì)量法Cramer_Rao不等式法重點(diǎn)：統(tǒng)計(jì)思想3.5.2一致最小方差無偏估計(jì)的求法下面的引理提供了一個(gè)改進(jìn)無偏估計(jì)的方法.引理3.5.1證明：第一步：證明h(T)是g(

)的無偏估計(jì)因此，h(T)是g(

)的無偏估計(jì)由于T(X1,X1,…,Xn)是充分統(tǒng)計(jì)量，根據(jù)定義可以得到給定T時(shí)，樣本X1,X1,…,Xn

的條件分布與

無關(guān).即因此，h(T)是統(tǒng)計(jì)量，可以作為g(

)

的估計(jì)量，且分三步證明與

無關(guān).證明：從右側(cè)出發(fā)證明第二步：證明方差更小，即證明下式成立討論上式最后一項(xiàng)(交叉項(xiàng))因此第三步：證明等號(hào)成立的充要條件即說明1該引理提供了一個(gè)改進(jìn)無偏估計(jì)的方法.2一致最小方差無偏估計(jì)一定是充分統(tǒng)計(jì)量的函數(shù).否則，可以通過充分統(tǒng)計(jì)量，按照引理的方法構(gòu)造一個(gè)具有更小方差的無偏估計(jì).解：由引理3.5.1可知，構(gòu)造p的一個(gè)無偏估計(jì)利用T=T(X)構(gòu)造一個(gè)具有比X1的方差更小的無偏估計(jì).例3.5.1設(shè)X1,X2,…,Xn是來自兩點(diǎn)分布總體B(1,p)，0<p<1的樣本，顯然X1是p的一個(gè)無偏估計(jì)，且是充分統(tǒng)計(jì)量.經(jīng)過改進(jìn)的無偏估計(jì)是否是UMVUE？問題：下面的定理給出了求一致最小方差無偏估計(jì)的的方法，即充分完備統(tǒng)計(jì)量法，是由E.L.Lemann.和H.Scheffe提出的.設(shè)T(X)=T(X1,X2,…,Xn)是一個(gè)充分完備統(tǒng)計(jì)量，若是g(

)的一個(gè)無偏估計(jì).定理3.5.1(Lemann_Scheffe定理)：則是g(

)

唯一的UMVUE.X1,X2,…,Xn

是從該分布族中某總體抽取的樣本，設(shè)為一參數(shù)分布族，其中Θ為參數(shù)空間.g(θ)

是定義在參數(shù)空間Θ

上的可估函數(shù).

唯一性是在這樣的意義下：若和都是g(θ)的UMVUE，則對(duì)一切

Θ成立.第一步：先證唯一性證明：設(shè)為g(θ)的任一無偏估計(jì).令則由于T(X)為完備統(tǒng)計(jì)量，可知即唯一性成立.第二步：證明一致最小方差性.證明：設(shè)

(X)為g(θ)的任一無偏估計(jì).令由于T(X)為充分統(tǒng)計(jì)量，因此，h(T(X))與θ無關(guān)，

h(T(X))是統(tǒng)計(jì)量.根據(jù)引理3.5.1，得到由唯一性，因此所以為g(θ)的UMVUE，且唯一.及

(X)為g(θ)的任一無偏估計(jì)，得到推論3.5.1設(shè)樣本X1,X2,…,Xn的分布為如下指數(shù)族的自然形式其中令若自然參數(shù)空間Θ*作為Rk的子集有內(nèi)點(diǎn)，且h(T(X))是g(θ)的無偏估計(jì)，則h(T(X))是g(θ)唯一的一致最小方差無偏估計(jì).第一步：由指數(shù)族的性質(zhì)可知證明：為充分完備統(tǒng)計(jì)量.第二步：由于h(T(X))是g(θ)的無偏估計(jì)，根據(jù)Lemann—Scheffe定理(簡(jiǎn)記為L(zhǎng)—S定理)，可知h(T(X))是g(θ)唯一的一致最小方差無偏估計(jì).例3.5.2設(shè)X1,X2,…,Xn是來自兩點(diǎn)分布總體

B(1,p)，0<p<1的樣本.證明：為p

的UMVUE.證明：根據(jù)因子分解定理可知是充分統(tǒng)計(jì)量.是完備統(tǒng)計(jì)量(指數(shù)族自然參數(shù)空間有內(nèi)點(diǎn))第一步：找充分完備統(tǒng)計(jì)量為充分完備統(tǒng)計(jì)量的函數(shù).對(duì)因此根據(jù)定理1(L—S定理)知為p的UMVUE.第二步：找無偏估計(jì)由于是充分完備統(tǒng)計(jì)量的函數(shù)，又是p的無偏估計(jì).說明：獲得可估函數(shù)g(

)的一致最小方差無偏估計(jì)的方法是找到一個(gè)依賴于充分完備統(tǒng)計(jì)量的無偏估計(jì).第一步：找到一個(gè)充分完備統(tǒng)計(jì)量T(X)=T(X1,X2,…,Xn)第二步：找到充分完備統(tǒng)計(jì)量T(X)的函數(shù)g(T(X))，使得

E[g(T(X))]=g(

)g(T(X))為g(

)的一致最小方差無偏估計(jì).例3.5.3在例3.5.2中，已知服從二項(xiàng)分布B(n,p)，且T(X)為充分完備統(tǒng)計(jì)量.求g(p)=p(1-p)的一致最小方差無偏估計(jì).設(shè)

(T)為g(p)=p(1-p)的一個(gè)無偏估計(jì)，目的：要導(dǎo)出

(T)的表達(dá)式按照無偏估計(jì)的定義以及T~b(n,p)，可得解:令，則有，則將展開得因此上式兩邊為ρ的多項(xiàng)式，比較其系數(shù)得到綜合上述兩式得為g(p)=p(1-p)的無偏估計(jì).又是充分完備統(tǒng)計(jì)量的函數(shù).因此根據(jù)定理1(L—S定理)知

(T)為g(p)=p(1-p)的UMVUE.說明：如果一個(gè)參數(shù)或參數(shù)函數(shù)沒有顯然的無偏估計(jì)，可以構(gòu)造充分完備統(tǒng)計(jì)量的函數(shù)，由無偏性，用待定系數(shù)(比較系數(shù))法求出依賴于充分完備統(tǒng)計(jì)量的一個(gè)無偏估計(jì)可得到可估函數(shù)的一致最小方差無偏估計(jì)..例3.5.4設(shè)X1,X2,…,Xn是來自泊松分布總體P(λ)的樣本，分別求由指數(shù)族的性質(zhì)，是充分完備統(tǒng)計(jì)量.解:(1)

λ

的UMVUE.(2)

λr的UMVUE

,其中r>0為自然數(shù).(3)P{X1=x}的UMVUE.第一步：找充分完備統(tǒng)計(jì)量(1)令，則則是充分完備統(tǒng)計(jì)量T(X)的函數(shù)，又是λ的無偏估計(jì).因此根據(jù)定理1(L—S定理)知為λ的UMVUE.(2)由于，令g2(T)為λr的無偏估計(jì)，于是有第二步：找無偏估計(jì)(1)g1(λ)=λ

的UMVUE.(2)g2(λ)=λr的UMVUE

將上式右邊展開得等價(jià)于代入得到上述等式兩邊是λ的冪級(jí)數(shù)，比較其系數(shù)得綜合上述兩式得為

λr的無偏估計(jì).又是充分完備統(tǒng)計(jì)量的函數(shù).因此根據(jù)定理1(L—S定理)知g2(T)為

λr的UMVUE.(3)由于是參數(shù)λ的函數(shù).令，則注意(3)P{X1=x}的UMVUE.因此，可用來表示P{X1=x}

.為

的無偏估計(jì).因此,無偏估計(jì)量

(X1)關(guān)于充分完備統(tǒng)計(jì)量求條件期望因此由于g3(T)為

的無偏估計(jì)，為

的UMVUE.g3(T)又是充分完備統(tǒng)計(jì)量

的函數(shù).

為g(

)的一致最小方差無偏估計(jì)說明：在本例第三種情況，存在一個(gè)顯然的無偏估計(jì)，然后對(duì)這個(gè)無偏估計(jì)關(guān)于充分完備統(tǒng)計(jì)量求條件期望，得到UMVUE，具體做法如下：第二步：找到g(

)的一個(gè)無偏估計(jì)第三步：無偏估計(jì)量關(guān)于充分完備統(tǒng)計(jì)量求條件期望第一步：找到一個(gè)充分完備統(tǒng)計(jì)量T(X1,X2,…,Xn)例3.5.5設(shè)X1,X2,…,Xn

是來自指數(shù)分布總體Exp(λ)，λ>0的樣本，分別求解:(1)1/λ

的一致最小方差無偏估計(jì).

(2)

的一致最小方差無偏估計(jì).

由指數(shù)族的性質(zhì)，是充分完備統(tǒng)計(jì)量，且第一步：找充分完備統(tǒng)計(jì)量第二步：找無偏估計(jì)(1)由于

是

1/λ

的無偏估計(jì).

又是充分完備統(tǒng)計(jì)量

的函數(shù).

因此

是

1/λ

的一致最小方差無偏估計(jì).

(2)由伽瑪分布的性質(zhì)知

由于即為λ的無偏估計(jì)又是充分完備統(tǒng)計(jì)量的函數(shù).因此根據(jù)定理1(L—S定理)知

為λ的一致最小方差無偏估計(jì).要使得，取(3)令h1(T)是exp(-λx0)

的無偏估計(jì)，且

(3)求g(λ)=1-exp(-λx0)的UMVUE密度函數(shù)為因此由于h2(T(X))是充分完備統(tǒng)計(jì)量T(X)的函數(shù)，

又是g(λ)的無偏估計(jì).因此，根據(jù)定理1(L—S定理)知h2(T(X))為g(λ)=1-exp(-λx0)

的UMVUE.因此為g2(λ)=1-exp(-λx0)

的無偏估計(jì)例3.5.6設(shè)X1,X2,…,Xn是來自正態(tài)總體N(μ,σ2):

-∞<μ<∞,σ2>0的樣本，記

=(μ,σ2)求：(1)μ和σ2的一致最小方差無偏估計(jì).由于T(X)=(T1(X),T2(X))是充分完備統(tǒng)計(jì)量，其中(2)g(θ)=σr的一致最小方差無偏估計(jì).解:第一步：找充分完備統(tǒng)計(jì)量(1)由于第二步：找無偏估計(jì)分別為μ

和σ2的無偏估計(jì).它們又是充分完備統(tǒng)計(jì)量T(X)=(T1(X),T2(X))的函數(shù).因此根據(jù)定理1(L—S定理)知和S2分別為μ

和σ2的UMVUE.(1)μ和σ2的UMVUE.說明：對(duì)極大似然估計(jì)的無偏性修正得到的估計(jì)是UMVUE.第二步：找無偏估計(jì)(2)由于即化簡(jiǎn)為(2)g(θ)=σr的UMVUE.因此令k=r/2上式轉(zhuǎn)化為因此是σr的無偏估計(jì).它又是充分完備統(tǒng)計(jì)量T(X)=(T1(X),T2(X))的函數(shù).因此根據(jù)定理1(L—S定理)知

是σr

的一致最小方差無偏估計(jì).仍然是對(duì)極大似然估計(jì)的無偏性修正得到的估計(jì)是UMVUE.例3.5.7設(shè)X1,X2,…,Xn是來自均勻分布

U[0,

],

>0的樣本,求：θ的一致最小方差無偏估計(jì).由于X(n)=max(X1,X2,…,Xn)是充分完備統(tǒng)計(jì)量，解:第一步：找充分完備統(tǒng)計(jì)量由于是θ的無偏估計(jì).第二步：找無偏估計(jì)它又是充分完備統(tǒng)計(jì)量X(n)

=max(X1,X2,…,Xn)的函數(shù)因此，根據(jù)定理1(L—S定理)知

是θ的UMVUE.仍然是對(duì)極大似然估計(jì)的無偏性修正得到的估計(jì)是UMVUE.作業(yè)：習(xí)題3.5：1，4，6，73.6Cramer-Rao不等式C-R不等式是判別一個(gè)無偏估計(jì)量是否為UMVUE的方法之一.基本思想如下如果g(

)的一個(gè)無偏估計(jì)的方差達(dá)到這個(gè)下界，則

是g(

)的一個(gè)一致最小方差無偏估計(jì)(UMVUE).設(shè)Ug

是g(

)的一切無偏估計(jì)構(gòu)成的類

Ug

中估計(jì)量的方差有一個(gè)下界，這個(gè)下界稱為C-R下界.C-R不等式是由C.R.Rao和H.Cramer在1945年和1946年分別證明的.C-R不等式成立需要樣本分布族滿足一些正則條件，適合這些條件的分布族稱為C-R正則族.1參數(shù)空間Θ是直線上的開區(qū)間；若單參數(shù)分布族滿足下列條件2對(duì)任意

Θ，f(x,

)

>0；4f(x,

)的積分與微分運(yùn)算可交換，即定義3.6.1(正則分布族)3對(duì)任意

Θ，存在；若f(x,

)為離散型隨機(jī)變量的分布列，上述條件改為無窮級(jí)數(shù)和微分運(yùn)算可交換；5下列數(shù)學(xué)期望存在，且則該分布族稱為C-R正則分布族.其中(1)-(5)稱為C-R正則條件.I(

)稱為該分布族的Fisher信息量(或稱為Fisher信息函數(shù)).要求樣本分布族滿足：(1)參數(shù)空間為開集(2)分布的支撐與參數(shù)無關(guān)(3)密度函數(shù)或分布列關(guān)于參數(shù)的導(dǎo)數(shù)存在(5)密度函數(shù)或分布列的對(duì)數(shù)的導(dǎo)數(shù)存在二階矩(4)密度函數(shù)或分布列的積分和微分可以換序則該分布族稱為C-R正則分布族.定理3.6.1(單參數(shù)C-R不等式)設(shè)分布族是C-R正則分布族，可估函數(shù)g(

)是定義在參數(shù)空間Θ上的可微函數(shù).X1,X2,…,Xn

是從該分布族的某總體抽取的樣本，是g(

)的任一無偏估計(jì)，且滿足下列條件:6積分可在積分號(hào)下對(duì)??求導(dǎo)數(shù)，此處dx=d