第六章參數(shù)估計(jì)第一講

第六章參數(shù)估計(jì)第一講第1頁，共42頁，2023年，2月20日，星期三第2頁，共42頁，2023年，2月20日，星期三X~P(λ),X~E(λ),X~N(μ,σ2)用所獲得的樣本值去估計(jì)參數(shù)取值稱為參數(shù)估計(jì).參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)用某一數(shù)值作為參數(shù)的近似值在要求的精度范圍內(nèi)指出參數(shù)所在的區(qū)間

參數(shù)估計(jì)的基本思想第3頁，共42頁，2023年，2月20日，星期三第一講參數(shù)的點(diǎn)估計(jì)第4頁，共42頁，2023年，2月20日，星期三導(dǎo)讀內(nèi)容

1、什么是參數(shù)估計(jì)，點(diǎn)估計(jì)和區(qū)間估計(jì)有何區(qū)別？2、矩估計(jì)法和極大似然估計(jì)法的基本原理分別是什么？如何求參數(shù)的矩估計(jì)量（值）和極大似然估計(jì)量（值）？3、如何評價估計(jì)量的好壞？第5頁，共42頁，2023年，2月20日，星期三第6頁，共42頁，2023年，2月20日，星期三一.矩估計(jì)法設(shè)(X1,X2,…,Xn)是來自總體X的一個樣本,根據(jù)大數(shù)定律,對任意ε>0,有并且對于任何k,只要E(Xk)存在,同樣有因此,很自然地想到用樣本矩來代替總體矩,從而得到總體分布中參數(shù)的一種估計(jì).第7頁，共42頁，2023年，2月20日，星期三定義：用樣本矩來代替總體矩,從而得到總體分布中參數(shù)的一種估計(jì).這種估計(jì)方法稱為矩法估計(jì).它的思想實(shí)質(zhì)是用樣本的經(jīng)驗(yàn)分布和樣本矩去替換總體的分布和總體矩.今后稱之為替換原則.設(shè)總體X具有已知類型的概率函數(shù)第8頁，共42頁，2023年，2月20日，星期三得到含有未知參數(shù)(θ1,…,θk)的k個方程.解這k個聯(lián)立方程組就可以得到(θ1,…,θk)的一組解:用上面的解來估計(jì)參數(shù)θi就是矩法估計(jì).第9頁，共42頁，2023年，2月20日，星期三解:

總體X的期望為

從而得到方程所以λ的矩估計(jì)量為

第10頁，共42頁，2023年，2月20日，星期三解:

其概率密度函數(shù)為總體X的期望為從而得到方程

所以λ的矩估計(jì)量為

第11頁，共42頁，2023年，2月20日，星期三解:

由于

故令

第12頁，共42頁，2023年，2月20日，星期三例4

設(shè)某炸藥廠一天中發(fā)生著火現(xiàn)象的次數(shù)X服從

解

第13頁，共42頁，2023年，2月20日，星期三極大似然原理的直觀想法是:一個隨機(jī)試驗(yàn)如有若干個可能的結(jié)果A,B,C,….若在一次試驗(yàn)中,結(jié)果A出現(xiàn),則一般認(rèn)為A出現(xiàn)的概率最大,也即試驗(yàn)條件對A出現(xiàn)有利.或者說在試驗(yàn)的很多可能條件中，認(rèn)為應(yīng)該是使事件A發(fā)生的概率為最大的那種條件存在.

極大似然估計(jì)的基本思想二.極大似然估計(jì)法第14頁，共42頁，2023年，2月20日，星期三

極大似然估計(jì)法

思想方法：一次試驗(yàn)就出現(xiàn)的事件有較大的概率

例如:有兩外形相同的箱子,各裝100個球一箱99個白球1個紅球一箱1個白球99個紅球現(xiàn)從兩箱中任取一箱,并從箱中任取一球,結(jié)果所取得的球是白球.答:第一箱.7-17問:所取的球來自哪一箱？第15頁，共42頁，2023年，2月20日，星期三例：假若一個盒子里有許多白球和紅球,而且已知它們的數(shù)目之比是3:1,但不知是白球多還是紅球多.設(shè)隨機(jī)地在盒子中取一球?yàn)榘浊虻母怕适莗.如果有放回地從盒子里取3個球,那么白球數(shù)目X服從二項(xiàng)分布如果樣本中白球數(shù)為0,則應(yīng)估計(jì)p=1/4,而不估計(jì)p=3/4.因?yàn)榫哂蠿=0的樣本來自p=1/4的總體的可能性比來自p=3/4的總體的可能性要大.一般當(dāng)X=0,1時,應(yīng)估計(jì)p=1/4;而當(dāng)X=2,3時,應(yīng)估計(jì)p=3/4.第16頁，共42頁，2023年，2月20日，星期三第17頁，共42頁，2023年，2月20日，星期三第18頁，共42頁，2023年，2月20日，星期三令第19頁，共42頁，2023年，2月20日，星期三第20頁，共42頁，2023年，2月20日，星期三求極大似然估計(jì)的一般步驟歸納如下：第21頁，共42頁，2023年，2月20日，星期三

例1設(shè)隨機(jī)變量X服從泊松分布其中λ>0是一未知參數(shù),求λ的極大似然估計(jì).解設(shè)(x1,x2,…,xn)是樣本(X1,X2,…,Xn)的一組觀測值.于是似然函數(shù)兩邊取對數(shù)得第22頁，共42頁，2023年，2月20日，星期三從而得出λ的極大似然估計(jì)量為

解這一方程得第23頁，共42頁，2023年，2月20日，星期三解:

總體X服從參數(shù)為λ的指數(shù)分布，則有

所以似然函數(shù)為第24頁，共42頁，2023年，2月20日，星期三取對數(shù)

令解得λ的極大似然估計(jì)值為

極大似然估計(jì)量為

第25頁，共42頁，2023年，2月20日，星期三

例3

設(shè)是來自正態(tài)總體N(μ,σ2)的一個樣本,其中μ,σ2是未知參數(shù),求μ與σ2的極大似然估計(jì).解:正態(tài)分布的似然函數(shù)為兩邊取對數(shù)得第26頁，共42頁，2023年，2月20日，星期三由微積分知識易驗(yàn)證以上所求為μ與σ2的極大似然估計(jì).分別求關(guān)于μ與σ2的偏導(dǎo)數(shù),得似然方程組解這一方程組得第27頁，共42頁，2023年，2月20日，星期三

例4設(shè)總體X具有均勻分布,其概率密度函數(shù)為求未知參數(shù)θ的極大似然估計(jì).解:設(shè)是來自總體X的一個樣本.似然函數(shù)為要使L(θ;x1,x2,…,xn)達(dá)到最大,就要使θ達(dá)到最小,由于所以θ的極大似然估計(jì)值為：參數(shù)θ的極大似然估計(jì)量為：第28頁，共42頁，2023年，2月20日，星期三例5已知隨機(jī)變量的密度函數(shù)為

其中為未知參數(shù)，求的矩估計(jì)量與極大似然估計(jì)量。第29頁，共42頁，2023年，2月20日，星期三

令

(2)似然函數(shù),解:(1)故的矩估計(jì)量為

第30頁，共42頁，2023年，2月20日，星期三第二節(jié)估計(jì)量的評選標(biāo)準(zhǔn)第31頁，共42頁，2023年，2月20日，星期三對于總體的同一個未知參數(shù)，由于采用的估計(jì)方法不同，可能會產(chǎn)生多個不同的估計(jì)量。問題：當(dāng)總體的同一個參數(shù)存在不同的估計(jì)量時，究竟采用哪一個更好？用什么樣的標(biāo)準(zhǔn)來評價估計(jì)量的好壞？

三個常用的評價標(biāo)準(zhǔn)：無偏性、有效性和一致性。第32頁，共42頁，2023年，2月20日，星期三一.無偏性

在評價一個估計(jì)量的好壞時,希望估計(jì)量與被估參數(shù)越接近越好.但估計(jì)量是一個隨機(jī)變量,它的取值隨樣本的觀測值而變,有時與被估參數(shù)的真值近些,有時遠(yuǎn)些,我們只能從平均意義上看估計(jì)量是否與被估參數(shù)盡量接近,最好是等于被估參數(shù).第33頁，共42頁，2023年，2月20日，星期三例:設(shè)總體X具有均勻分布,其密度函數(shù)為解:用矩法估計(jì)得求θ的無偏估計(jì).總體X的均值第34頁，共42頁，2023年，2月20日，星期三例:設(shè)總體X的k階矩E(Xk)存在,證明樣本的k階矩是E(Xk)的無偏估計(jì).證明:所以,證明樣本的k階矩是E(Xk)的無偏估計(jì).因?yàn)榈?5頁，共42頁，2023年，2月20日，星期三

例:設(shè)總體的方差D(X)存在,試證樣本二階中心矩B2是總體方差D(X)的有偏估計(jì).證明:所以,B2是總體方差D(X)的有偏估計(jì).注:第36頁，共42頁，2023年，2月20日，星期三二.有效性

一個參數(shù)的無偏估計(jì)量不是唯一的,假若參數(shù)θ有兩個無偏估計(jì)量,我們認(rèn)為其觀測值更密集在參數(shù)θ真值附近的一個較為理想.由于方差是隨機(jī)變量取值與其數(shù)學(xué)期望的偏離程度的度量,所以無偏估計(jì)以方差小者為好.第37頁，共42頁，2023年，2月20日，星期三證明:由于總體服從泊松分布，故

于是有

第38頁，共42頁，2023年，2月20日，星期三同理

但是

第39頁，共42頁，2023年，2月20日，星期三

例:設(shè)(X1,X2,X3)是來自總體X的一個樣本,證明下面的三個