西北工業(yè)大學《概率論與數(shù)理統(tǒng)計》課件-第六章-參數(shù)估計

參數(shù)估計參數(shù)估計的目的：用樣本觀察值估計總體的某些數(shù)字特征.如：數(shù)學期望E(X)，方差D(X)等等.1.估計法點估計區(qū)間估計矩估計法最大似然估計法內(nèi)容：第六章內(nèi)容：2.估計量的評選標準無偏性有效性一致性(或相合性)參數(shù)估計第六章第一節(jié)參數(shù)的點估計第二節(jié)估計量的評價標準第三節(jié)參數(shù)的區(qū)間估計參數(shù)估計第六章第一節(jié)參數(shù)的點估計一、點估計問題的提法二、估計量的求法三、內(nèi)容小結第六章一、點估計問題的提法設總體X的分布函數(shù)形式已知,但它的一個或多個參數(shù)為未知,借助于總體X的一個樣本來估計總體未知參數(shù)的值的問題稱為點估計問題.例1解用樣本均值來估計總體的均值E(X)點估計問題的一般提法：二、估計量的求法由于估計量是樣本的函數(shù),是隨機變量,故對不同的樣本值,得到的參數(shù)值往往不同,因此如何求得參數(shù)

的估計量便是問題的關鍵所在.常用構造估計量的方法:(兩種)1.矩估計法2.最(極)大似然估計法.1.矩估計法

基本思想：用樣本矩估計總體矩.理論依據(jù):或格列汶科定理它是基于一種簡單的“替換”思想建立起來的一種估計方法.是英國統(tǒng)計學家K.皮爾遜最早提出的.大數(shù)定律記總體k階原點矩為樣本k階原點矩為記總體k階中心矩為樣本k階中心矩為

用樣本矩來估計總體矩,用樣本矩的連續(xù)函數(shù)來估計總體矩的連續(xù)函數(shù),這種估計法稱為矩估計法.矩估計法的具體步驟:設總體X的分布函數(shù)為m個待估參數(shù)(未知)為來自總體X的簡單隨機樣本.矩估計量的觀察值稱為矩估計值.注方程組中方程的個數(shù)=待估參數(shù)的個數(shù).解根據(jù)矩估計法，令例2解例3解方程組得到a,b的矩估計量分別為解解方程組得到矩估計量分別為例4注.上例表明:總體均值與方差的矩估計量的表達式不因不同的總體分布而異.一般地:例5設總體X的分布密度為為來自總體X的樣本.求參數(shù)

的矩估計量.分析：一般地，只需要求：

的矩估計量.不含有

，故不能由此得到

的矩估計量.解(方法1)要求：—的矩估計量(方法2)要求：

的矩估計量：注此例表明：同一參數(shù)的矩估計量可不唯一.

矩法的優(yōu)點：簡單易行,并不需要事先知道總體是什么分布.缺點：當總體類型已知時，沒有充分利用分布提供的信息.一般場合下,矩估計量不具有唯一性.其主要原因在于建立矩法方程時，選取那些總體矩用相應樣本矩代替帶有一定的隨意性.小結：是在總體類型已知條件下使用的一種參數(shù)估計方法.它首先是由德國數(shù)學家高斯在1821年提出的,GaussFisher然而，這個方法常歸功于英國統(tǒng)計學家費歇.

費歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).2.最大似然估計法先看一個簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學與一位獵人一起外出打獵.如果要你推測，你會如何想呢?只聽一聲槍響，野兔應聲倒下.(1)最大似然法的基本思想下面我們再看一個例子,進一步體會最大似然法的基本思想.你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學命中的概率.看來這一槍是獵人射中的.這個例子所作的推斷已經(jīng)體現(xiàn)了最大似然法的基本思想.設X~B(1,p),p未知.

設想我們事先知道

p只有兩種可能:問:應如何估計p?p=0.7或p=0.3如今重復試驗3次,得結果:0,0,0由概率論的知識,3次試驗中出現(xiàn)“1”的次數(shù)(k=0,1,2,3)例6(k=0,1,2,3)Y01230.3430.4410.1890.0270.0270.1890.4410.343依題設，“重復試驗3次,得結果:0,0,0”應如何估計p?p=0.7還是p=0.3？(1)如果有p1,p2,…,pm可供選擇,又如何從中選取使Qi最大的pi

作為p的估計.i=1,2,…,m則估計參數(shù)p為時Qi

最大,比方說,當若重復進行試驗n次,結果“1”出現(xiàn)k次(0≤k≤n),我們計算一切可能的

P{Y=k;pi

}=Qi，

i=1,2,…,m一般地，合理地選p呢?(2)如果只知道0<p<1,并且實測記錄是Y=k(0≤k≤n),又應如何估計p呢?注意到:是p的函數(shù),可用求導的方法找到使f(p)達到極大值的p.但因f(p)與lnf(p)達到極大值的自變量相同,故問題可轉化為求lnf(p)的極大值點.=

f(p)將lnf(p)對p求導并令其為0,這時,對一切0<p<1,均有從中解得=0便得

p(n-k)=k(1-p)參數(shù)p的估計值

以上這種選擇一個參數(shù)使得實驗結果具有最大概率的思想就是最大似然法的基本思想.綜上所述：設某試驗的可能結果為：A1,A2,···,Ai

,···若在一次試驗中，某結果Ai

出現(xiàn)，則應選擇參數(shù)使Ai

出現(xiàn)的概率最大.為自總體X的樣本(X1,X2,…,Xn)的一個觀察值，則稱樣本的聯(lián)合分布(2)似然函數(shù)定義6.1設總體X的分布密度(或分布律)為p(x;

),又設p(x1,x2,…,xn;

)為似然函數(shù).(3)最大似然估計量(值)定義最大似然估計值(MLE).maximumlikelihoodestimate注1o對于給定的樣本值在最大似然估計值處，L(

)取得最大值;則稱(4)求最大似然估計(MLE)的步驟:注1o上述求最大似然估計的方法，要求lnL可微，若不滿足此條件，則須從定義出發(fā)最大似然估計.2o似然估計方程組與最大似然估計之間沒有必然的關系.解似然函數(shù)例7這一估計量與矩估計量是相同的.解例8這一估計量與矩估計量是相同的.解X的似然函數(shù)為例9它們與相應的矩估計量相同.解例10分析三、內(nèi)容小結兩種求點估計的方法:矩估計法最大似然估計法在統(tǒng)計問題中往往先使用最大似然估計法,在最大似然估計法使用不方便時,再用矩估計法.費希爾資料RonaldAylmerFisherBorn:17Feb1890inLondon,England

Died:29July1962inAdelaide,Australia第二節(jié)估計量的評價標準一、問題的提出二、無偏性三、有效性四、相合性第六章一、問題的提出從前一節(jié)可以看到,對于同一個參數(shù),用不同的估計方法求出的估計量可能不相同,如上節(jié)的例3和例10.而且,很明顯,原則上任何統(tǒng)計量都可以作為未知參數(shù)的估計量.問題(1)對于同一個參數(shù)究竟采用哪一個估計量好?(2)評價估計量的標準是什么?下面介紹幾個常用標準.二、無偏性定義6.2證例1特別地,不論總體X服從什么分布,只要它的數(shù)學期望存在,證例2分析例3設總體X的方差D(X)存在，且D(X)>0,(X1,X2,···,Xn

)為來自總體X的樣本，試選擇適當?shù)某?shù)C，使得為D(X)的無偏估計.需選擇C，使而X1,X2,···,Xn

相互獨立，且與X同分布解依題意，要求：注一般地，一個參數(shù)

的無偏估計量不唯一.如：設樣本(X1,X2,···,Xn

)來自總體X，E(X)=

,也均是

的無偏估計.問題：對于同一個參數(shù)的多個無偏估計量，如何評價它們的優(yōu)劣？三、有效性換句話說，的波動越小，即方差越小越好.定義6.3例4來自總體X的樣本，問：下列三個對

的無偏估計量哪一個最有效？解注一般地，在

的無偏估計量可用求條件極值的拉格朗日乘數(shù)法證明(1)證例5解背景隨機抄n個自行車的號碼，由這n個號碼來估計某市市區(qū)的自行車總數(shù)N.如：樣本值100,1000,10000,100000,1000000.可算得：2.最小方差無偏估計量定義注最小方差無偏估計是一種最優(yōu)估計.問題：無偏估計的方差是否可以任意小?如果不任意小,那么它的下界是什么?定理6.1(Rao-Cramer不等式)設是實數(shù)軸上的一個開區(qū)間,總體X的分布密度為p(x;

),

,是來自總體X的一個樣本,是參數(shù)

的一個無偏估計量,且滿足條件:上不等式的右端稱為羅-克拉美下界,I(

)稱為Fisher信息量.注(1)I(

)的另一表達式為(2)定理6.1對離散型總體也適用.由此,根據(jù)定理6.1求證的步驟為是

的最小方差無偏估計根據(jù)定理6.1,若參數(shù)

的無偏估計量的方差達到下界,則必為

的最小方差無偏估計.3.有效估計定義6.4定義6.5說明(2)求有效估計的方法和求MVUE的方法完全一樣.

所以四、相合性例如定義6.6相合估計量(或一致估計量).證(1)由大數(shù)定律知,例6由大數(shù)定律知,通過此例題,我們看到,要證明一個估計量具有相合性,必須證明它依概率收斂,這有時很麻煩.因此,我們下面我們不加證明的給出一個相合性的判定定理.利用定理6.2再證例6.同樣六、小結估計量的評選的三個標準無偏性有效性相合性相合性是對估計量的一個基本要求,不具備相合性的估計量是不予以考慮的.由最大似然估計法得到的估計量,在一定條件下也具有相合性.估計量的相合性只有當樣本容量相當大時,才能顯示出優(yōu)越性,這在實際中往往難以做到,因此,在工程中往往使用無偏性和有效性這兩個標準.證例5由以上兩例可知,一個參數(shù)可以有不同的無偏估計量.證明例6

(續(xù)例5)第三節(jié)參數(shù)的區(qū)間估計一、區(qū)間估計的基本概念二、正態(tài)總體均值與方差的區(qū)間估計三、內(nèi)容小結第六章一、區(qū)間估計基本概念1.問題的提出點估計法：不足之處：例1問：很小較大區(qū)間估計解決了上述問題，從而克服了點估計的不足之處.2.置信區(qū)間與置信度定義6.7關于定義的說明因此定義中下述表達式的本質(zhì)是:若反復抽樣多次(各次得到的樣本容量相等,都是n)按貝努利大數(shù)定理,當抽樣次數(shù)充分大時，在這些區(qū)間中包含

真值的頻率接近置信度1

,即例如一旦有了樣本，就把估計在區(qū)間內(nèi).這里有兩個要求:由定義可見，對參數(shù)作區(qū)間估計，就是要設法找出兩個只依賴于樣本的界限(構造統(tǒng)計量)(X1,…Xn)(X1,…Xn)2.估計的精度要盡可能的高.如要求區(qū)間長度盡可能短，或能體現(xiàn)該要求的其它準則.1.要求以很大的可能被包含在區(qū)間內(nèi)，就是說，概率要盡可能大.即要求估計盡量可靠.可靠度與精度是一對矛盾，一般是在保證可靠度的條件下盡可能提高精度.3.求置信區(qū)間的一般步驟(共3步)3°作等價變形二、正態(tài)總體均值與

方差的區(qū)間估計1.I.單個總體的情況4°作等價變形簡寫成其置信區(qū)間的長度為例2包糖機某日開工包了12包糖,稱得重量(單位:克)分別為506,500,495,488,504,486,505,513,521,520,512,485.假設重量服從正態(tài)分布,解查表得4°作等價變形簡寫成例3解有一大批糖果,現(xiàn)從中隨機地取16袋,稱得重量(克)如下:設袋裝糖果的重量服從正態(tài)分布,試求總體均值就是說估計袋裝糖果重量的均值在500.4克與507.1克之間,這個估計的可信程度為95%.這個誤差的可信度為95%.例4解(續(xù)例2)如果只假設糖包的重量服從正態(tài)分布推導過程如下:根據(jù)第五章第三節(jié)定理知2.方差

2的置信區(qū)間進一步可得:注意:在密度函數(shù)不對稱時,習慣上仍取對稱的分位點來確定置信區(qū)間(如圖).例5

(續(xù)例3)求例3中總體標準差

的置信度為0.95的置信區(qū)間.解代入公式得標準差的置信區(qū)間Ⅱ.兩個總體的情況討論兩個總體均值差和方差比的估計問題.推導過程如下:1.為比較?,??兩種型號步槍子彈的槍口速度,隨機地取?型子彈10發(fā),得到槍口速度的平均值為隨機地取??型子彈20發(fā),得槍口速度平均值為假設兩總體都可認