點(diǎn)估計(jì)和估計(jì)量的求法

點(diǎn)估計(jì)和估計(jì)量的求法演示文稿當(dāng)前1頁(yè)，總共42頁(yè)。優(yōu)選點(diǎn)估計(jì)和估計(jì)量的求法當(dāng)前2頁(yè)，總共42頁(yè)。

總體樣本統(tǒng)計(jì)量描述作出推斷研究統(tǒng)計(jì)量的性質(zhì)和評(píng)價(jià)一個(gè)統(tǒng)計(jì)推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).隨機(jī)抽樣當(dāng)前3頁(yè)，總共42頁(yè)。

現(xiàn)在我們來(lái)介紹一類重要的統(tǒng)計(jì)推斷問(wèn)題

參數(shù)估計(jì)問(wèn)題是利用從總體抽樣得到的信息來(lái)估計(jì)總體的某些參數(shù)或者參數(shù)的某些函數(shù).參數(shù)估計(jì)估計(jì)廢品率估計(jì)新生兒的體重估計(jì)湖中魚數(shù)……估計(jì)降雨量在參數(shù)估計(jì)問(wèn)題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).當(dāng)前4頁(yè)，總共42頁(yè)。這類問(wèn)題稱為參數(shù)估計(jì).1.1什么是參數(shù)估計(jì)？X1,X2,…,Xn要依據(jù)該樣本對(duì)參數(shù)作出估計(jì)，或估計(jì)的某個(gè)已知函數(shù).現(xiàn)從該總體抽樣，得樣本設(shè)有一個(gè)統(tǒng)計(jì)總體，總體的分布函數(shù)向量).為F(x,)，其中為未知參數(shù)(可以是點(diǎn)估計(jì)區(qū)間估計(jì)當(dāng)前5頁(yè)，總共42頁(yè)。

為估計(jì)

,我們需要構(gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù)T(X1,X2,…,Xn)，每當(dāng)有了樣本，就代入該函數(shù)中算出一個(gè)值，用來(lái)作為的估計(jì)值.把樣本值代入T(X1,X2,…,Xn)

中，得到的一個(gè)點(diǎn)估計(jì)值.T(X1,X2,…,Xn)稱為參數(shù)的點(diǎn)估計(jì)量，當(dāng)前6頁(yè)，總共42頁(yè)。

請(qǐng)注意，被估計(jì)的參數(shù)是一個(gè)未知常數(shù)，而估計(jì)量T(X1,X2,…,Xn)是一個(gè)隨機(jī)變量，是樣本的函數(shù),當(dāng)樣本取定后，它是個(gè)已知的數(shù)值,這個(gè)數(shù)常稱為的估計(jì)值.當(dāng)前7頁(yè)，總共42頁(yè)。使用什么樣的統(tǒng)計(jì)量去估計(jì)？可以用樣本均值;也可以用樣本中位數(shù);還可以用別的統(tǒng)計(jì)量.問(wèn)題是:當(dāng)前8頁(yè)，總共42頁(yè)。1.2矩估計(jì)法其基本思想是用樣本矩估計(jì)總體矩.理論依據(jù):或格利汶科定理（見(jiàn)教材第9頁(yè)）它是基于一種簡(jiǎn)單的“替換”思想建立起來(lái)的一種估計(jì)方法.是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的.大數(shù)定律當(dāng)前9頁(yè)，總共42頁(yè)。記總體k階矩為樣本k階矩為用相應(yīng)的樣本矩去估計(jì)總體矩的估計(jì)方法就稱為矩估計(jì)法.記總體k階中心矩為樣本k階中心矩為當(dāng)前10頁(yè)，總共42頁(yè)。設(shè)總體的分布函數(shù)中含有k個(gè)未知參數(shù)都是這k個(gè)參數(shù)的函數(shù),記為：,那么它的前k階矩一般i=1,2,…,k從這k個(gè)方程中解出j=1,2,…,k那么用諸的估計(jì)量Ai分別代替上式中的諸,即可得諸的矩估計(jì)量：j=1,2,…,k當(dāng)前11頁(yè)，總共42頁(yè)。解:由矩法,樣本矩總體矩從中解得的矩估計(jì).即為數(shù)學(xué)期望是一階原點(diǎn)矩

例1

設(shè)總體X的概率密度為是未知參數(shù),其中X1,X2,…,Xn是取自X的樣本,求參數(shù)的矩估計(jì).當(dāng)前12頁(yè)，總共42頁(yè)。解:由密度函數(shù)知

例2設(shè)X1,X2,…,Xn是取自總體X的一個(gè)樣本其中>0,求的矩估計(jì).具有均值為的指數(shù)分布故E(X-)=

D(X-)=即

E(X)=

D(X)=當(dāng)前13頁(yè)，總共42頁(yè)。解得令用樣本矩估計(jì)總體矩即

E(X)=

D(X)=當(dāng)前14頁(yè)，總共42頁(yè)。解：當(dāng)前15頁(yè)，總共42頁(yè)。

矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需要事先知道總體是什么分布.缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒(méi)有充分利用分布提供的信息.一般場(chǎng)合下,矩估計(jì)量不具有唯一性.其主要原因在于建立矩法方程時(shí)，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.當(dāng)前16頁(yè)，總共42頁(yè)。

1.3最大似然估計(jì)法（或極大似然估計(jì)法）是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法.它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的,GaussFisher然而，這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇.費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).當(dāng)前17頁(yè)，總共42頁(yè)。

最大似然法的基本思想先看一個(gè)簡(jiǎn)單例子：一只野兔從前方竄過(guò).是誰(shuí)打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測(cè)，你會(huì)如何想呢?只聽(tīng)一聲槍響，野兔應(yīng)聲倒下.當(dāng)前18頁(yè)，總共42頁(yè)。下面我們?cè)倏匆粋€(gè)例子,進(jìn)一步體會(huì)極大似然法的基本思想.你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來(lái)這一槍是獵人射中的.這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.當(dāng)前19頁(yè)，總共42頁(yè)。

例4設(shè)X~B(1,p),p未知.設(shè)想我們事先知道p只有兩種可能:問(wèn):應(yīng)如何估計(jì)p?p=0.7或p=0.3如今重復(fù)試驗(yàn)3次,得結(jié)果:0,0,0由概率論的知識(shí),3次試驗(yàn)中出現(xiàn)“1”的次數(shù)k=0,1,2,3當(dāng)前20頁(yè)，總共42頁(yè)。

將計(jì)算結(jié)果列表如下：應(yīng)如何估計(jì)p?p=0.7或p=0.3k=0,1,2,3p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 出現(xiàn)估計(jì)出現(xiàn)出現(xiàn)出現(xiàn)估計(jì)估計(jì)估計(jì)0.3430.4410.4410.343當(dāng)前21頁(yè)，總共42頁(yè)。如果有p1,p2,…,pm可供選擇,又如何合理地選p呢?從中選取使Qi最大的pi作為p的估計(jì).i=1,2,…,m則估計(jì)參數(shù)p為時(shí)Qi

最大,比方說(shuō),當(dāng)若重復(fù)進(jìn)行試驗(yàn)n次,結(jié)果“1”出現(xiàn)k次(0≤k≤n),我們計(jì)算一切可能的

P(Y=k;pi

)=Qi

，

i=1,2,…,m當(dāng)前22頁(yè)，總共42頁(yè)。如果只知道0<p<1,并且實(shí)測(cè)記錄是Y=k(0≤k≤n),又應(yīng)如何估計(jì)p呢?注意到是p的函數(shù),可用求導(dǎo)的方法找到使f(p)達(dá)到極大值的p.但因f(p)與lnf(p)達(dá)到極大值的自變量相同,故問(wèn)題可轉(zhuǎn)化為求lnf(p)的極大值點(diǎn).=f(p)當(dāng)前23頁(yè)，總共42頁(yè)。將lnf(p)對(duì)p求導(dǎo)并令其為0,這時(shí),對(duì)一切0<p<1,均有從中解得=0便得

p(n-k)=k(1-p)當(dāng)前24頁(yè)，總共42頁(yè)。

以上這種選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是極大似然法的基本思想.這時(shí),對(duì)一切0<p<1,均有則估計(jì)參數(shù)p為當(dāng)前25頁(yè)，總共42頁(yè)。極大似然估計(jì)原理：當(dāng)給定樣本X1,X2,…,Xn時(shí)，定義似然函數(shù)為：設(shè)X1,X2,…,Xn是取自總體X的一個(gè)樣本,樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合分布列(離散型)為f(X1,X2,…,Xn;).f(X1,X2,…,Xn;)當(dāng)前26頁(yè)，總共42頁(yè)。

似然函數(shù)：極大似然估計(jì)法就是用使達(dá)到最大值的去估計(jì).稱為的極大似然估計(jì).

看作參數(shù)的函數(shù)，它可作為將以多大可能產(chǎn)生樣本值X1,X2,…,Xn的一種度量.

f(X1,X2,…,Xn;)當(dāng)前27頁(yè)，總共42頁(yè)。

(4)在最大值點(diǎn)的表達(dá)式中,用樣本值代入就得參數(shù)的極大似然估計(jì)值.求極大似然估計(jì)的一般步驟是：(1)由總體分布導(dǎo)出樣本的聯(lián)合分布列

(或聯(lián)合密度);(2)把樣本聯(lián)合分布列(或聯(lián)合密度)中自變量看成已知常數(shù),而把參數(shù)看作自變量,

得到似然函數(shù)L();(3)求似然函數(shù)L()的最大值點(diǎn)(常常轉(zhuǎn)化為求lnL()的最大值點(diǎn)).當(dāng)前28頁(yè)，總共42頁(yè)。兩點(diǎn)說(shuō)明：1、求似然函數(shù)L()的最大值點(diǎn)，可以應(yīng)用微積分中的技巧。由于ln(x)是x的增函數(shù)，lnL()與L()在的同一值處達(dá)到它的最大值，假定是一實(shí)數(shù)，且lnL()是的一個(gè)可微函數(shù)。通過(guò)求解所謂“似然方程”：可以得到的最大似然估計(jì)量.若是向量，上述方程必須用似然方程組代替.當(dāng)前29頁(yè)，總共42頁(yè)。2、用上述求導(dǎo)方法求參數(shù)的最大似然估計(jì)量有時(shí)行不通，這時(shí)要用極大似然原則來(lái)求.當(dāng)前30頁(yè)，總共42頁(yè)。

下面舉例說(shuō)明如何求極大似然估計(jì)L(p)=f(X1,X2,…,Xn;p)

例5設(shè)X1,X2,…,Xn是取自總體X~B(1,p)的一個(gè)樣本，求參數(shù)p的極大似然估計(jì).解：似然函數(shù)為:當(dāng)前31頁(yè)，總共42頁(yè)。對(duì)數(shù)似然函數(shù)為：對(duì)p求導(dǎo)并令其為0，=0得即為p

的最大似然估計(jì)量.當(dāng)前32頁(yè)，總共42頁(yè)。解：似然函數(shù)為對(duì)數(shù)似然函數(shù)為例6

設(shè)X1,X2,…,Xn是取自總體X的一個(gè)樣本求的極大似然估計(jì).其中

>0,當(dāng)前33頁(yè)，總共42頁(yè)。求導(dǎo)并令其為0=0從中解得即為的最大似然估計(jì)量.對(duì)數(shù)似然函數(shù)為當(dāng)前34頁(yè)，總共42頁(yè)。解：似然函數(shù)為

例7

設(shè)X1,X2,…,Xn是取自總體X的一個(gè)樣本其中>0,求的極大似然估計(jì).i=1,2,…,n當(dāng)前35頁(yè)，總共42頁(yè)。對(duì)數(shù)似然函數(shù)為解：似然函數(shù)為i=1,2,…,n當(dāng)前36頁(yè)，總共42頁(yè)。=0(2)由(1)得=0(1)對(duì)分別求偏導(dǎo)并令其為0,對(duì)數(shù)似然函數(shù)為用求導(dǎo)方法無(wú)法最終確定用極大似然原則來(lái)求.當(dāng)前37頁(yè)，總共42頁(yè)。是對(duì)故使達(dá)到最大的即的最大似然估計(jì)量，于是取其它值時(shí)，即為的最大似然估計(jì)量.且是的增函數(shù)由于當(dāng)前38頁(yè)，總共42頁(yè)。極大似然估計(jì)的一個(gè)性質(zhì)可證明極大似然估計(jì)具有下述性質(zhì)：設(shè)的函數(shù)g=g()是上的實(shí)值函數(shù),且有唯一反函數(shù).如果是的MLE，則g()也是g()的極大似然估計(jì).當(dāng)前39頁(yè)，總共42頁(yè)。

例8

一罐中裝有白球和黑球，有放回地抽取一個(gè)容量為n的樣本，其中有k個(gè)白球，求罐中黑球與白球之比R

的極大似然估計(jì).解:設(shè)X1,X2,…,Xn為所取樣本，則X1,X2,…,Xn是取自B(1,p)的樣本，p是每次抽取時(shí)取到