《統(tǒng)計計算及統(tǒng)計軟件》課件ch3

第三章參數(shù)估計

3.1點估計

3.2評價標準 3.3區(qū)間估計概述 3.4正態(tài)總體區(qū)間估計 3.5非正態(tài)總體區(qū)間估計 3.6Bootstrap區(qū)間估計

方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

方法篇：參數(shù)估計(第三章）在上述背景下，所作的估計，就是所謂的參數(shù)估計。第三章參數(shù)估計

3.1點估計—矩估計[K.Pearson,1894]

統(tǒng)計思想涵蓋以下3點： (1)總體矩通常是未知參數(shù)的函數(shù) (2)大數(shù)定律可知，樣本矩依概率收斂于總體矩 (3)聯(lián)立可構(gòu)造近似方程組，并可求解

例1：

方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.1點估計—矩估計

單參數(shù)通用模式：

雙參數(shù)通用模式：

多參數(shù)通用模式：方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.1點估計—矩估計

例2:設總體X~U(0,A),A>0未知，求A的矩估計量若樣本觀測值分別為1,2,9,8和1,2,13,8,則A的矩估計值分別是多少?

思考幾個問題[1]： (1)矩估計的邊界矛盾 (2)矩估計的唯一性 (3)矩估計的存在性 (4)矩估計的評價

方法篇：參數(shù)估計(第三章）[1]王宗堯,姜紅燕,朱洪波.矩估計法的若干問題討論[J],菏澤學院學報,2013,35(2):10-12第三章參數(shù)估計

3.1點估計—矩估計

例2的實驗模擬。#關(guān)于矩估計邊界問題的模擬，A是其上界，但是估計經(jīng)常超出AA=10;times=100;n=30moments=numeric(times)for(iin1:times){x=runif(n,0,A);moments[i]=2*mean(x)}plot(1:times,moments,type='o',col='red');abline(h=A)方法篇：參數(shù)估計(第三章）[1]王宗堯,姜紅燕,朱洪波.矩估計法的若干問題討論[J],菏澤學院學報,2013,35(2):10-12第三章參數(shù)估計

3.1點估計—極大似然估計[R.A.Fisher1912]

一種理論性和實踐性都非常強的估計方法，歷經(jīng)百年而不衰！

基本思想在于： (1)若事件發(fā)生的概率越大則在現(xiàn)實中越有可能發(fā)生 (2)不同取值的未知參數(shù)對應事件發(fā)生的概率也不盡相同 (3)通過最優(yōu)化或邊界分析能得到使得事件發(fā)生概率達到最大的參數(shù)值方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.1點估計—極大似然估計[R.A.Fisher1912]

首先有搞清楚研究的事件是什么？

其次這個事件的概率如何表達？

方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.1點估計—極大似然估計[R.A.Fisher1912]

明確優(yōu)化的由來：樣本值一旦觀測就固定,且鄰域dx也是固定的,只有未知參數(shù)是可變的，所以有：

最后：如何計算得到滿足上式的未知參數(shù)值？

對數(shù)化：變連乘為累加極值偏導方程組聯(lián)立求解

若無解,則到邊界分析取得最優(yōu)值.方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.1點估計—極大似然估計[R.A.Fisher1912]

例3:

方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.1點估計—極大似然估計[R.A.Fisher1912]

例4(對例2)設總體X~U(0,A),A>0未知，求A的極大似然估計量若樣本觀測值分別為1,2,9,8和1,2,13,8,則A的估計值分別是多少?

解：

此時，需分析邊界：，使L(A)最大，則只有取方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.1點估計—極大似然估計[R.A.Fisher1912]

例5:

方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.1點估計—極大似然估計[R.A.Fisher1912]R求數(shù)值解：x=rcauchy(200,1)#產(chǎn)生隨機樣本做測試，其中參數(shù)為1likely=function(mu,x)sum(log(1+(x-mu)^2))#轉(zhuǎn)化成極小值函數(shù)optimize(likely,c(0,4),x=x) -----------------------------$minimum[1]1.036259#參數(shù)的估計$objective[1]259.6061#目標函數(shù)值方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.1點估計—小結(jié) (1)方法多樣性:矩估計，極大似然估計； (2)各有優(yōu)缺點，

矩：簡單、不唯一、低階無效則取高階、越界等；

極：需密度函數(shù)，必有唯一解，更符合實際；

(3)誰更好？？？？方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.2評價標準

評價一個估計量的好壞必須建立在以大量觀測為基礎的統(tǒng)計分析上。估計量是隨機變量，參數(shù)是未知的常數(shù)。

定義偏差:

顯然偏差也是一個隨機變量，從統(tǒng)計意義上分析，實際上就是計算與偏差有關(guān)的數(shù)字特征，從特征角度來評價估計量的優(yōu)劣。

方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.2評價標準 (1)無偏性 (2)無偏前提下的有效性方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.2評價標準 (3)均方誤差{無偏有偏均可}

顯然若是無偏，則均方誤差評價就退化為有效性評價。方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.2評價標準 (4)一致(相合)性

一致性給出了樣本容量n對估計的影響表述，即隨著樣本容量n的增大，估計量應該呈現(xiàn)出穩(wěn)定于待估參數(shù)的趨勢特性。方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.2評價標準

理論/實驗論證：

實驗：以正態(tài)分布N(70,16)為總體，估計量構(gòu)造如下

設計：某個總體，抽樣作100次，每次容量由100增到10000，上述4個統(tǒng)計量各自計算了100次，繪制成圖作直觀對比。

方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.2評價標準times=100;n=seq(10,2000,length=times)mat=matrix(0,nrow=times,ncol=4)for(iin1:times){x=rnorm(n[i],70,4)mat[i,1]=mean(x);mat[i,2]=(x[1]+x[n[i]])/2;mat[i,3]=(min(x)+max(x))/2;mat[i,4]=median(x)}matplot(mat,type='l',col=1:4)legend(70,66,c("mean","mid","half","median"),lty=1:4,col=1:4)方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.3區(qū)間估計概述

點估計給出參數(shù)值的估計,但無法給出取該值的可信度,這在實際應用中是有缺陷的.為此，提出區(qū)間估計這種方法,它既給出參數(shù)的值的估計又能給出精度、可信度的表達。

形式上,對于給定的可信度(置信度),尋找參數(shù)的一對估計區(qū)間，使得該區(qū)間包含的概率為

方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.3區(qū)間估計概述

這是一個隨機區(qū)間，因此需要基于統(tǒng)計意義對其加以說明。 (1)希望越短越好，因為它表示了估計的精度； (2)希望越大越好，因為它表示了估計的可信度。

但是，這兩個需求是矛盾的，可信度越大必然導致區(qū)間長度變大。因此只能先確定一個要求，去優(yōu)化另一個要求。方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.3區(qū)間估計概述

通常先確定置信度，進而尋求最短的區(qū)間長度。這個理論和方法最早是由J.Neyman,1934年引入的。

此時稱為參數(shù)關(guān)于置信度的雙側(cè)置信區(qū)間，稱為置信下限，稱為置信上限。

實際問題中，有時候更關(guān)心參數(shù)的上限或下限，若滿足

則稱或

為單側(cè)置信區(qū)間

。方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

3.3區(qū)間估計概述

通用的求解過程： (1)在參數(shù)的點估計的基礎上構(gòu)造含參數(shù)但不含其他任何未知信息的樣本函數(shù)T，使其服從完全已知的分布。{最具創(chuàng)意部分} (2)將

正因為T的分布已知，所以a,b可以確定，通常由雙側(cè)分位點取代。若是單側(cè)區(qū)間估計則由單側(cè)的分位點取代。{考驗推導能力}方法篇：參數(shù)估計(第三章）第三章參數(shù)估計 3.4正態(tài)總體區(qū)間估計

單正態(tài)總體只有兩個參數(shù)，因此關(guān)于它們的區(qū)間估計可歸結(jié)為： (1)方差已知,期望的區(qū)間估計(2)方差未知,期望的區(qū)間估計 (3)期望已知,方差的區(qū)間估計(4)期望未知,方差的區(qū)間估計

雙正態(tài)總體有四個參數(shù)，因此關(guān)于它們的區(qū)間估計可歸結(jié)為： (5)方差均已知期望差的區(qū)間估計(6)方差均未知(相等)期望差的區(qū)間估計 (7)方差均未知(不等)期望差的區(qū)間估計 (8)方差均未知(樣本量較大)期望差的區(qū)間估計 (9)均值均已知方差比的區(qū)間估計(10)均值均未知方差比的區(qū)間估計方法篇：參數(shù)估計(第三章）第三章參數(shù)估計 3.4正態(tài)總體區(qū)間估計 (2)方差未知,期望的區(qū)間估計方法篇：參數(shù)估計(第三章）第三章參數(shù)估計 3.4正態(tài)總體區(qū)間估計 (10)均值均未知方差比的區(qū)間估計方法篇：參數(shù)估計(第三章）第三章參數(shù)估計 3.5非正態(tài)總體區(qū)間估計

思路是一樣的，關(guān)鍵在于構(gòu)造含參函數(shù)使之服從已知分布！ (1)指數(shù)分布參數(shù)的區(qū)間估計

方法篇：參數(shù)估計(第三章）第三章參數(shù)估計 3.5非正態(tài)總體區(qū)間估計

有時候可以利用中心極限定理來近似解決區(qū)間估計！ (2)0-1分布參數(shù)的區(qū)間估計

方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

參數(shù)型區(qū)間估計通常都需要推導一個“樞軸統(tǒng)計量”來完成，要么精確要么近似服從某一已知分布。請完成以下問題：

有一樣本觀測值如下：50.20090,51.21600,51.77013,50.75797,50.96502,49.74111,50.75257,49.30683,49.86755,49.52322.樣本容量=10，

問：均值的置信度為95%的區(qū)間估計？方法篇：參數(shù)估計(第三章）第三章參數(shù)估計 3.6Bootstrap區(qū)間估計

基本思想：通過重復的子樣本，計算待估參數(shù)或特征的值，再對值進行排序，然后根據(jù)區(qū)間估計的取法，得到分界點作為估計。假設估計參數(shù)或特征的統(tǒng)計量為 (1)由樣本

生成子樣本 (2)計算統(tǒng)計量值 (3)對 (4)依據(jù)方法篇：參數(shù)估計(第三章）第三章參數(shù)估計

實驗探討： (1)均方誤差的bootstrap方法實現(xiàn) (2)正態(tài)總體參數(shù)的估計法與bootstrap法的比較 (3)非正態(tài)總體參數(shù)的估計法與bootstrap法的比較 (4)未知總體分布的特征的估計方法比較方法篇：參數(shù)估計(第三章）第三章參數(shù)估計 3.6Bootstrap區(qū)間估計 (1)均方誤差的bootstrap方法實現(xiàn)

均方誤差：需要知道參數(shù)的值才能準確估計，但參數(shù)的真值通常是未知的。以什么來代替參數(shù)的值是個問題，如何計算出均方誤差的估計也是個問題。

通常的做法：假設參數(shù)的估計量為，代入樣本觀測值得到的函數(shù)值作為參數(shù)的真值替代。以眾多自助樣本得到的估計與的偏差平方的平均來估計均方誤差。方法篇：參數(shù)估計(第三章）第三章參數(shù)估計(1)均方誤差的bootstrap方法實現(xiàn)

以N(70,16)的期望為參數(shù)，求均方誤差的bootstrap估計,并與真實結(jié)果比較。getmse=function(n,mu,xigma,times=1000){x=rnorm(n,mu,xigma);mu0=mean(x)mus=numeric(times)for(iin1:times)mus[i]=mean(sample(x,n,replace=TRUE))boot.mse=mean((mus-mu0)^2);real.mse=xigma^2/nc(boot.mse=boot.mse,real.mse=real.mse)}sapply(c(20,50,100),getmse,mu=70,xigma=4)方法篇：參數(shù)估計(第三章）[,1][,2][,3]boot.mse0.78460680.28766330.1536183real.mse0.80000000.32000000.1600000第三章參數(shù)估計(2)正態(tài)總體參數(shù)的估計法與bootstrap法的比較-方差區(qū)間估計erval=function(x,conf.level=0.95,times=10000){s2=var(x);n=length(x)ch1=qchisq((1-conf.level)/