第16次課——矩估計

1、不像其他科學(xué)，統(tǒng)計從來不打算使自己完美不像其他科學(xué)，統(tǒng)計從來不打算使自己完美無缺，統(tǒng)計意味著你永遠不需要確定無疑。無缺，統(tǒng)計意味著你永遠不需要確定無疑。 Gudmund R.Iversen【統(tǒng)計名言】【統(tǒng)計名言】1第七章第七章 參數(shù)估計參數(shù)估計2 在數(shù)理統(tǒng)計中經(jīng)常要根據(jù)在數(shù)理統(tǒng)計中經(jīng)常要根據(jù)樣本樣本來對來對總體的種種統(tǒng)計特征總體的種種統(tǒng)計特征做做出判斷。實際工作中碰到的問題大致分為兩類：出判斷。實際工作中碰到的問題大致分為兩類：一是一是總體的分總體的分布往往可以根據(jù)經(jīng)驗來判斷其類型布往往可以根據(jù)經(jīng)驗來判斷其類型 ，但確切的形式并不，但確切的形式并不知道，亦即知道，亦即總體的參數(shù)總體的參數(shù) 未知

2、未知；二是二是在某些情況下，所關(guān)心的在某些情況下，所關(guān)心的并不是總體的分布，而只是并不是總體的分布，而只是總體的某些數(shù)字特征總體的某些數(shù)字特征，特別是數(shù)學(xué)，特別是數(shù)學(xué)期望和方差。因此，期望和方差。因此，要根據(jù)樣本來估計總體的參數(shù)，這類問題要根據(jù)樣本來估計總體的參數(shù)，這類問題稱為參數(shù)估計稱為參數(shù)估計。 參數(shù)估計的方法：參數(shù)估計的方法：點估計點估計和和區(qū)間估計區(qū)間估計。( , )F x估計量估計量：用于估計總體參數(shù)的隨機變量：用于估計總體參數(shù)的隨機變量n如如樣本均值樣本均值，樣本方差樣本方差等等【例如】【例如】 樣本均值就是總體均值樣本均值就是總體均值 的一個估計量的一個估計量參數(shù)用參數(shù)用 表示，

3、估計量表示，估計量用用 表示表示估計值估計值：估計參數(shù)時計算出來的統(tǒng)計量的具體值：估計參數(shù)時計算出來的統(tǒng)計量的具體值n如果樣本均值如果樣本均值 x =80，則，則80就是就是 的估計值的估計值【參數(shù)估計的相關(guān)概念】【參數(shù)估計的相關(guān)概念】37.1 點估計點估計一、點估計的概念一、點估計的概念4 點估計是指把總體的未知參數(shù)估計為點估計是指把總體的未知參數(shù)估計為某個確定的值某個確定的值或在或在某某個確定的點個確定的點上上.點估計的方法有很多，本節(jié)主要介紹點估計的方法有很多，本節(jié)主要介紹: :矩矩法法和和極大似然估計法極大似然估計法. .二、矩法二、矩法 其基本思想是其基本思想是用樣本矩用樣本矩估計估

4、計總體矩總體矩 . 理論依據(jù)理論依據(jù): 它是基于一種簡單的它是基于一種簡單的“替換替換”思想建立起來的一種估計方法思想建立起來的一種估計方法 .是英國統(tǒng)計學(xué)家是英國統(tǒng)計學(xué)家K.皮爾遜最早提出的皮爾遜最早提出的 .大數(shù)定律大數(shù)定律記總體記總體k階原點矩為階原點矩為樣本樣本k階原點矩為階原點矩為11nkkiiAXn 記總體記總體k階中心矩為階中心矩為樣本樣本k階中心矩為階中心矩為11()nkkiiBXXn ()kkE X() kkmEXE X5其中其中 為待估參數(shù)為待估參數(shù). . 1、矩法的一般做法、矩法的一般做法 設(shè)已知總體設(shè)已知總體 , ,),;(21lXFXl,21 （1）設(shè)總體）設(shè)總體X的

5、的k階矩階矩 均存在均存在, ,則則)1 (),(lkXEkk12( ,),(1)kklkl L （2）設(shè)來自總體）設(shè)來自總體X樣本的樣本的k階矩階矩 nikikXnA11其中其中 .1lk （3）令）令總體的總體的k階矩分別與樣本的階矩分別與樣本的k階矩相等階矩相等,即即 61121212212( ,),( ,),( ,).lllllAAA LLL L L LL令這是含待估參數(shù)這是含待估參數(shù) 的的聯(lián)立方程組聯(lián)立方程組，其解，其解l,21可作為待估參數(shù)可作為待估參數(shù) 的的矩估計量矩估計量,其觀察值為待其觀察值為待估參數(shù)的估參數(shù)的矩估計值矩估計值.l,21),(,),(),(11211nlnnX

6、XXXXX7【例【例1】已知總體已知總體X的概率密度為的概率密度為:其他， , 0),1( 10 ,) 1()(xxxf其中其中 未知，樣本為未知，樣本為 ，求參數(shù)，求參數(shù) 的矩法估計的矩法估計. .12, ,nX XXL（）【解】【解】只有一個參數(shù)只有一個參數(shù) ，因此只需一個方程即可，因此只需一個方程即可.11A而而1( )( )E Xxf x dx1210(1)xx dx111niiAXXn因此有因此有12X解得解得1 2.1XX)用樣本用樣本1階矩階矩“代替代替”總體總體1階矩，階矩，即即8方程組為方程組為1122AA22122 ( ,),(,.,)nXNXXXX 設(shè)總體未知，設(shè)為來自總

7、體 的樣本，求 與的矩估計量?！窘狻俊窘狻抗烙媰蓚€參數(shù)需要兩個方程，即估計兩個參數(shù)需要兩個方程，即 分別用樣本分別用樣本1、2階矩階矩“代替代替”總體總體1、2階矩階矩.1(),E X22()E X【例【例2】而而2() ()D XE X22111,niiAXXn另外又有另外又有2211niiAXn因此有方程組因此有方程組92221 1niiXXn2221= .11=niiXnXSnn)解得參數(shù)的矩估計量分別為：解得參數(shù)的矩估計量分別為：10 【練習(xí)】【練習(xí)】已知總體已知總體X的概率密度為的概率密度為: : 解解)(1XE 因為總體一階矩因為總體一階矩11A, 0, 10,)(1其它xxxf

8、其中未知參數(shù)其中未知參數(shù)0,0,求求的矩估計量的矩估計量. .dxxxf)(101|1x10dxx1 由由11故所求故所求矩估計量矩估計量為：為：即即X1) 1(X解得解得: :XX)1 (XX121XX12【例【例3】在某班期末數(shù)學(xué)考試成績中隨機抽取在某班期末數(shù)學(xué)考試成績中隨機抽取9 9人的成績?nèi)说某煽? .結(jié)果如結(jié)果如下表所示，試求該班數(shù)學(xué)成績的平均分數(shù)，標準差的下表所示，試求該班數(shù)學(xué)成績的平均分數(shù)，標準差的矩估計值矩估計值. .序號序號1 1 2 23 35 59 98 87 76 64 4分數(shù)分數(shù)9494 89896363656571717575787885855555而樣本而樣本1、

9、2階矩分別為階矩分別為2(),()E XD X【解】【解】設(shè)設(shè)X為該班數(shù)學(xué)成績，為該班數(shù)學(xué)成績，9111iiAXxn1()E X而總體而總體X的的1、2階矩為階矩為222()() ()E XD XE X221(948955)9L7592211iiAxn2221(948955 )9L5772.33132275 5772.332=75 .= 5772.337512.14)解得參數(shù)的矩估計量分別為：解得參數(shù)的矩估計量分別為：14【練習(xí)】求服從二項分布【練習(xí)】求服從二項分布b(m, p)的總體的總體X未知參數(shù)未知參數(shù)p的矩估計量的矩估計量. 解解單參數(shù)，離散型單參數(shù)，離散型. .)(1XE 由由11A

10、Xmp mp即即故所求故所求矩估計量矩估計量為：為：mXp 因為因為 所以總體所以總體X的一階矩的一階矩( (期望期望) )為為),(pmbX15 矩法的優(yōu)點矩法的優(yōu)點是簡單易行是簡單易行, 并不需要事先知道總體并不需要事先知道總體是什么分布。是什么分布。缺點缺點是，當總體類型已知時，沒有充分利用分布是，當總體類型已知時，沒有充分利用分布提供的信息。一般場合下提供的信息。一般場合下, 矩估計量不具有唯一矩估計量不具有唯一性。性。其主要原因在于建立矩法方程時，選取那些總體其主要原因在于建立矩法方程時，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性。矩用相應(yīng)樣本矩代替帶有一定的隨意性。16三、三、

11、 極大似然估計法極大似然估計法 極大似然估計法是在極大似然估計法是在總體的分布類型已知總體的分布類型已知的條件下的條件下所使用的一種參數(shù)估計方法所使用的一種參數(shù)估計方法. 它首先是由德國數(shù)學(xué)家它首先是由德國數(shù)學(xué)家高斯高斯在在1821年提出年提出 . GaussFisher然而這個方法常歸功于英國統(tǒng)計學(xué)家然而這個方法常歸功于英國統(tǒng)計學(xué)家費歇費歇 .費歇費歇在在1922年重新發(fā)現(xiàn)了這一方法，并首年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì)先研究了這種方法的一些性質(zhì) .17 【例子】【例子】是誰擊中的野兔是誰擊中的野兔,你會怎樣想你會怎樣想?若讓你推測一下，若讓你推測一下，一只野兔從前方竄過

12、，一只野兔從前方竄過，只聽一聲槍響，野兔應(yīng)聲倒下只聽一聲槍響，野兔應(yīng)聲倒下 .某同學(xué)與一位獵人一起外出打獵。某同學(xué)與一位獵人一起外出打獵。忽然，忽然，極大似然估計法是基于極大似然估計法是基于極大似然原理極大似然原理提出的。提出的。為了說明為了說明極大似然原理極大似然原理, 我們先看個例子。我們先看個例子。18 你會想：只一槍便擊中你會想：只一槍便擊中,一般情況下獵人擊中的概率比同一般情況下獵人擊中的概率比同學(xué)擊中的概率大。學(xué)擊中的概率大。 故，這一槍極大可能是獵人打的。故，這一槍極大可能是獵人打的。 你的這一想法中就已經(jīng)包含了你的這一想法中就已經(jīng)包含了極大似然估計法極大似然估計法的基本思的基本

13、思想想 .為了進一步體會為了進一步體會極大似然估計法極大似然估計法的思想的思想 , 我們再看一個例我們再看一個例子子.19【例如】【例如】有一事件有一事件A，我們知道它發(fā)生的概率，我們知道它發(fā)生的概率 只可能是只可能是:p=0.1，0. 3 或或 0.6若在一次觀測中，事件若在一次觀測中，事件A竟然發(fā)生了，竟然發(fā)生了，你自然會認為事件你自然會認為事件A發(fā)生的概率是發(fā)生的概率是0.6，而，而非其他數(shù)值。非其他數(shù)值?！緲O大似然原理】【極大似然原理】概率大的事件在一次觀測中更容易發(fā)生。概率大的事件在一次觀測中更容易發(fā)生。p試讓你推想一下試讓你推想一下 應(yīng)取何值應(yīng)取何值?p由上述兩例可知，極大似然估計

14、法是要選取這樣的由上述兩例可知，極大似然估計法是要選取這樣的 ，當它，當它作為估計值時，使觀測結(jié)果出現(xiàn)的可能性最大，即概率最大作為估計值時，使觀測結(jié)果出現(xiàn)的可能性最大，即概率最大.)20設(shè)設(shè)X為離散型總體，其分布律為：為離散型總體，其分布律為：為為待待估估參參數(shù)數(shù) ),;(xpxXP 對來自總體對來自總體X的樣本（的樣本（X1,X2,Xn ），若），若在極大似然估計法中，關(guān)鍵的問題是求似然函數(shù)。下面在極大似然估計法中，關(guān)鍵的問題是求似然函數(shù)。下面分別就離散型總體與連續(xù)型總體介紹似然函數(shù)的求法。分別就離散型總體與連續(xù)型總體介紹似然函數(shù)的求法。1、似然函數(shù)、似然函數(shù)（1）離散型離散型總體總體似然函

15、數(shù)似然函數(shù)的定義的定義為其觀測值，樣本的聯(lián)合分布律為為其觀測值，樣本的聯(lián)合分布律為:),.,(21nxxx niixpL1);()( ),(),(),(21 nxpxpxp )( L稱稱 為樣本的為樣本的似然函數(shù)似然函數(shù)。21),(),(),(21 nxfxfxf （2）連續(xù)型）連續(xù)型總體總體似然函數(shù)似然函數(shù)的定義的定義設(shè)設(shè)X為連續(xù)型總體，其概率密度為：為連續(xù)型總體，其概率密度為： 對來自總體的樣本對來自總體的樣本 ,其觀測值為其觀測值為 , 樣本的聯(lián)合概率密度為樣本的聯(lián)合概率密度為:),(21nxxx),(21nXXX);( xf 其中其中 未知未知 niixfL1),()( )( L稱稱

16、為樣本的為樣本的似然函數(shù)似然函數(shù)。2223極大似然法求估計量的步驟：極大似然法求估計量的步驟：:)()1 L構(gòu)造似然函數(shù)構(gòu)造似然函數(shù)1( )( ; ) (,niiLP x離散型）1( )( ; ) (;niiLf x連續(xù)型）);(ln)2 L取取對對數(shù)數(shù)：; 0ln)3 dLd令令4).解似然方程得的最大似然估計量24【解】【解】 的似然函數(shù)為：的似然函數(shù)為：111( )( ; )nniiiiLf xx 112()nnx xxL(01)ix取對數(shù)取對數(shù)1ln( )ln(1)lnniiLnx【例【例4】 設(shè)設(shè)(X1,X2,Xn )是來自總體是來自總體X的一個樣本的一個樣本,0, 010,);(1

17、未未知知其其中中其其它它 xxxfX求求的極大似然估計量的極大似然估計量251ln( )lnniidLnxd求導(dǎo)并令其為求導(dǎo)并令其為0:= 0從中解得從中解得1lnniinx 即為即為的極大似然估計值。的極大似然估計值。 26 【例【例5 5】在泊松總體中抽取樣本，其樣本值為】在泊松總體中抽取樣本，其樣本值為 ,21nxxx 試對泊松分布的未知參數(shù)試對泊松分布的未知參數(shù) 作極大似然估計作極大似然估計. . 【例【例6】設(shè)總體】設(shè)總體X服從服從 上的均勻分布，求未知參數(shù)上的均勻分布，求未知參數(shù) 的極大似然估計量的極大似然估計量., 027【練習(xí)】【練習(xí)】設(shè)設(shè)X1,X2,Xn是取自總體是取自總體