點估計和估計量的求法

點估計和估計量的求法第一頁，共四十四頁，2022年，8月28日

引言上一章，我們介紹了總體、樣本、簡單隨機樣本、統(tǒng)計量和抽樣分布的概念，介紹了統(tǒng)計中常用的三大分布，它們是進一步學習統(tǒng)計推斷的基礎(chǔ).§1點估計和估計量的求法第二頁，共四十四頁，2022年，8月28日

總體樣本統(tǒng)計量描述作出推斷研究統(tǒng)計量的性質(zhì)和評價一個統(tǒng)計推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).隨機抽樣第三頁，共四十四頁，2022年，8月28日

現(xiàn)在我們來介紹一類重要的統(tǒng)計推斷問題

參數(shù)估計問題是利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù).參數(shù)估計估計廢品率估計新生兒的體重估計湖中魚數(shù)……估計降雨量在參數(shù)估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數(shù).第四頁，共四十四頁，2022年，8月28日這類問題稱為參數(shù)估計.1.1什么是參數(shù)估計？X1,X2,…,Xn要依據(jù)該樣本對參數(shù)作出估計，或估計的某個已知函數(shù).現(xiàn)從該總體抽樣，得樣本設(shè)有一個統(tǒng)計總體，總體的分布函數(shù)向量).為F(x,)，其中為未知參數(shù)(可以是點估計區(qū)間估計第五頁，共四十四頁，2022年，8月28日

為估計,我們需要構(gòu)造出適當?shù)臉颖镜暮瘮?shù)T(X1,X2,…,Xn)，每當有了樣本，就代入該函數(shù)中算出一個值，用來作為的估計值.把樣本值代入T(X1,X2,…,Xn)中，得到的一個點估計值.T(X1,X2,…,Xn)稱為參數(shù)的點估計量，第六頁，共四十四頁，2022年，8月28日

請注意，被估計的參數(shù)是一個未知常數(shù)，而估計量T(X1,X2,…,Xn)是一個隨機變量，是樣本的函數(shù),當樣本取定后，它是個已知的數(shù)值,這個數(shù)常稱為的估計值.第七頁，共四十四頁，2022年，8月28日使用什么樣的統(tǒng)計量去估計？可以用樣本均值;也可以用樣本中位數(shù);還可以用別的統(tǒng)計量.問題是:第八頁，共四十四頁，2022年，8月28日1.2矩估計法其基本思想是用樣本矩估計總體矩.理論依據(jù):或格利汶科定理（見教材第9頁）它是基于一種簡單的“替換”思想建立起來的一種估計方法.是英國統(tǒng)計學家K.皮爾遜最早提出的.大數(shù)定律第九頁，共四十四頁，2022年，8月28日記總體k階矩為樣本k階矩為用相應的樣本矩去估計總體矩的估計方法就稱為矩估計法.記總體k階中心矩為樣本k階中心矩為第十頁，共四十四頁，2022年，8月28日設(shè)總體的分布函數(shù)中含有k個未知參數(shù)都是這k個參數(shù)的函數(shù),記為：,那么它的前k階矩一般i=1,2,…,k從這k個方程中解出j=1,2,…,k那么用諸的估計量Ai分別代替上式中的諸,即可得諸的矩估計量：j=1,2,…,k第十一頁，共四十四頁，2022年，8月28日解:由矩法,樣本矩總體矩從中解得的矩估計.即為數(shù)學期望是一階原點矩

例1設(shè)總體X的概率密度為是未知參數(shù),其中X1,X2,…,Xn是取自X的樣本,求參數(shù)的矩估計.第十二頁，共四十四頁，2022年，8月28日解:由密度函數(shù)知

例2設(shè)X1,X2,…,Xn是取自總體X的一個樣本其中>0,求的矩估計.具有均值為的指數(shù)分布故E(X-)=

D(X-)=即

E(X)=

D(X)=第十三頁，共四十四頁，2022年，8月28日解得令用樣本矩估計總體矩即

E(X)=

D(X)=第十四頁，共四十四頁，2022年，8月28日解：第十五頁，共四十四頁，2022年，8月28日

矩法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布.缺點是，當總體類型已知時，沒有充分利用分布提供的信息.一般場合下,矩估計量不具有唯一性.其主要原因在于建立矩法方程時，選取那些總體矩用相應樣本矩代替帶有一定的隨意性.第十六頁，共四十四頁，2022年，8月28日1.3最大似然估計法（或極大似然估計法）是在總體類型已知條件下使用的一種參數(shù)估計方法.它首先是由德國數(shù)學家高斯在1821年提出的,GaussFisher然而，這個方法常歸功于英國統(tǒng)計學家費歇.費歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).第十七頁，共四十四頁，2022年，8月28日

最大似然法的基本思想先看一個簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學與一位獵人一起外出打獵.如果要你推測，你會如何想呢?只聽一聲槍響，野兔應聲倒下.第十八頁，共四十四頁，2022年，8月28日下面我們再看一個例子,進一步體會極大似然法的基本思想.你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學命中的概率.看來這一槍是獵人射中的.這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.第十九頁，共四十四頁，2022年，8月28日

例4設(shè)X~B(1,p),p未知.設(shè)想我們事先知道p只有兩種可能:問:應如何估計p?p=0.7或p=0.3如今重復試驗3次,得結(jié)果:0,0,0由概率論的知識,3次試驗中出現(xiàn)“1”的次數(shù)k=0,1,2,3第二十頁，共四十四頁，2022年，8月28日

將計算結(jié)果列表如下：應如何估計p?p=0.7或p=0.3k=0,1,2,3p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 出現(xiàn)估計出現(xiàn)出現(xiàn)出現(xiàn)估計估計估計0.3430.4410.4410.343第二十一頁，共四十四頁，2022年，8月28日如果有p1,p2,…,pm可供選擇,又如何合理地選p呢?從中選取使Qi最大的pi作為p的估計.i=1,2,…,m則估計參數(shù)p為時Qi

最大,比方說,當若重復進行試驗n次,結(jié)果“1”出現(xiàn)k次(0≤k≤n),我們計算一切可能的

P(Y=k;pi

)=Qi，

i=1,2,…,m第二十二頁，共四十四頁，2022年，8月28日如果只知道0<p<1,并且實測記錄是Y=k(0≤k≤n),又應如何估計p呢?注意到是p的函數(shù),可用求導的方法找到使f(p)達到極大值的p.但因f(p)與lnf(p)達到極大值的自變量相同,故問題可轉(zhuǎn)化為求lnf(p)的極大值點.=f(p)第二十三頁，共四十四頁，2022年，8月28日將lnf(p)對p求導并令其為0,這時,對一切0<p<1,均有從中解得=0便得

p(n-k)=k(1-p)第二十四頁，共四十四頁，2022年，8月28日

以上這種選擇一個參數(shù)使得實驗結(jié)果具有最大概率的思想就是極大似然法的基本思想.這時,對一切0<p<1,均有則估計參數(shù)p為第二十五頁，共四十四頁，2022年，8月28日極大似然估計原理：當給定樣本X1,X2,…,Xn時，定義似然函數(shù)為：設(shè)X1,X2,…,Xn是取自總體X的一個樣本,樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合分布列(離散型)為f(X1,X2,…,Xn;).f(X1,X2,…,Xn;)第二十六頁，共四十四頁，2022年，8月28日

似然函數(shù)：極大似然估計法就是用使達到最大值的去估計.稱為的極大似然估計.

看作參數(shù)的函數(shù)，它可作為將以多大可能產(chǎn)生樣本值X1,X2,…,Xn的一種度量.f(X1,X2,…,Xn;)第二十七頁，共四十四頁，2022年，8月28日(4)在最大值點的表達式中,用樣本值代入就得參數(shù)的極大似然估計值.求極大似然估計的一般步驟是：(1)由總體分布導出樣本的聯(lián)合分布列(或聯(lián)合密度);(2)把樣本聯(lián)合分布列(或聯(lián)合密度)中自變量看成已知常數(shù),而把參數(shù)看作自變量,得到似然函數(shù)L();(3)求似然函數(shù)L()的最大值點(常常轉(zhuǎn)化為求lnL()的最大值點).第二十八頁，共四十四頁，2022年，8月28日兩點說明：1、求似然函數(shù)L()的最大值點，可以應用微積分中的技巧。由于ln(x)是x的增函數(shù)，lnL()與L()在的同一值處達到它的最大值，假定是一實數(shù)，且lnL()是的一個可微函數(shù)。通過求解所謂“似然方程”：可以得到的最大似然估計量.若是向量，上述方程必須用似然方程組代替.第二十九頁，共四十四頁，2022年，8月28日2、用上述求導方法求參數(shù)的最大似然估計量有時行不通，這時要用極大似然原則來求.第三十頁，共四十四頁，2022年，8月28日

下面舉例說明如何求極大似然估計L(p)=f(X1,X2,…,Xn;p)

例5設(shè)X1,X2,…,Xn是取自總體X~B(1,p)的一個樣本，求參數(shù)p的極大似然估計.解：似然函數(shù)為:第三十一頁，共四十四頁，2022年，8月28日對數(shù)似然函數(shù)為：對p求導并令其為0，=0得即為p的最大似然估計量.第三十二頁，共四十四頁，2022年，8月28日解：似然函數(shù)為對數(shù)似然函數(shù)為例6

設(shè)X1,X2,…,Xn是取自總體X的一個樣本求的極大似然估計.其中

>0,第三十三頁，共四十四頁，2022年，8月28日求導并令其為0=0從中解得即為的最大似然估計量.對數(shù)似然函數(shù)為第三十四頁，共四十四頁，2022年，8月28日解：似然函數(shù)為

例7設(shè)X1,X2,…,Xn是取自總體X的一個樣本其中>0,求的極大似然估計.i=1,2,…,n第三十五頁，共四十四頁，2022年，8月28日對數(shù)似然函數(shù)為解：似然函數(shù)為i=1,2,…,n第三十六頁，共四十四頁，2022年，8月28日=0(2)由(1)得=0(1)對分別求偏導并令其為0,對數(shù)似然函數(shù)為用求導方法無法最終確定用極大似然原則來求.第三十七頁，共四十四頁，2022年，8月28日是對故使達到最大的即的最大似然估計量，于是取其它值時，即為的最大似然估計量.且是的增函數(shù)由于第三十八頁，共四十四頁，2022年，8月28日極大似然估計的一個性質(zhì)可證明極大似然估計具有下述性質(zhì)：設(shè)的函數(shù)g=g()是上的實值函數(shù),且有唯一反函數(shù).如果是的MLE，則g()也是g()的極大似然估計.第三十九頁，共四十四頁，2022年，8月28日

例8一罐中裝有白球和黑球，有放回地抽取一個容量為n的樣本，其中有k個白球，求罐中黑球與白球之比R的極大似然估計.解:設(shè)X1,X2,…,Xn為所取樣本，則X1,X2,…,Xn是