《概率論與數(shù)理統(tǒng)計》課件 孟祥波 第七章 參數(shù)估計

概率論

與數(shù)理統(tǒng)計理學院數(shù)學系“悟道詩---嚴加安”隨機非隨意，概率破玄機；無序隱有序，統(tǒng)計解迷離．第七章參數(shù)估計數(shù)理統(tǒng)計所研究的基本問題根據(jù)手中的數(shù)據(jù)，分析或推斷數(shù)據(jù)反映的本質(zhì)規(guī)律統(tǒng)計推斷根據(jù)樣本對總體的分布或數(shù)字特征等作出合理的推斷核心問題參數(shù)估計假設檢驗參數(shù)估計統(tǒng)計推斷的一種基本形式數(shù)理統(tǒng)計學的一個重要分支參數(shù)估計的兩種形式點估計區(qū)間估計第一節(jié)點估計二、最大似然估計法一、矩估計法三、小結(jié)如果總體的分布類型是已知的，但它的一個或多個參數(shù)是未知的，則需要對未知的參數(shù)作出估計，這就屬于參數(shù)估計的點估計問題．設是總體的分布函數(shù)，其中是未知參數(shù)，為總體的一個樣本設總體的分布中含有未知參數(shù)，從總體中抽取樣本，構(gòu)造某個統(tǒng)計量

作為參數(shù)的估計，則稱為參數(shù)的點估計量；若樣本的觀測值為，則稱為參數(shù)

的點估計值.

定義：由于估計量是樣本的函數(shù),是隨機變量,故對不同的樣本值,得到的參數(shù)值往往不同,如何求估計量是關鍵問題.估計量的求法常用構(gòu)造估計量的方法:(兩種)矩估計法和最大似然估計法.（1）矩估計基本思想一、矩估計法用樣本矩作為相應總體矩的估計，即用樣本矩去替換相應的總體矩.矩可以是原點矩，也可以是中心距.英國統(tǒng)計學家卡爾·皮爾遜（KarlPearson）在1900年提出.（2）矩估計的理論基礎設總體的階原點矩存在，則由大數(shù)定律可知，當時，樣本的階原點矩依概率收斂于.（3）矩估計的具體做法設總體的分布中含有個未知參數(shù)，

，為總體的一個樣本，假設總體的階原點矩都存在，則有用樣本的階原點矩作為總體的階原點矩的估計量，由此得到含有的方程組：求解方程組，得這就是未知參數(shù)的矩估計量．這就是未知參數(shù)的矩估計值．代入樣本觀測值得到個數(shù)，即例1：設總體，其中為未知參數(shù)，

是來自總體的一個樣本，求參數(shù)的矩估計量．由于解：所以參數(shù)的矩估計量為令即設總體服從區(qū)間上的均勻分布，其中

是未知參數(shù)，若取得樣本觀測值，試計算參數(shù)的矩估計值．例2：解：由于總體服從區(qū)間上的均勻分布，故其概率密度函數(shù)為故有而樣本的一階原點矩為由于只有一個未知參數(shù)，所以只需計算總體的一階原點矩所以的矩估計量為進而得到的矩估計值例3：解：由于總體的分布中有兩個未知參數(shù)，故應考慮一、二階原點矩，從而有設總體的均值及方差都存在，且有

，但均未知，又設是來自總體的樣本，試求的矩估計值．于是，由矩估計的方法得方程組解得及的矩估計量分別為進一步得到及的矩估計值為以上結(jié)果表明：無論總體服從何種分布，只要總體的均值和方差存在，總體均值的矩估計量就是樣本均值，總體方差的矩估計量就是樣本二階中心矩，即其矩估計值為用儀器測量某零件的長度（單位：mm），設測得的零件長度服從正態(tài)分布，現(xiàn)進行5次測量，其結(jié)果如下：9294103105106試計算參數(shù)及的矩估計值．例4：解：由例3可知的矩估計量分別為及，故

的矩估計值分別為與，即矩估計法的優(yōu)點是：簡便、直觀，不需要事先知道總體是什么分布．缺點是：一般情形下，矩估計量不具有唯一性，而且對于總體矩不存在的情形不適用．二、最大似然估計法一次試驗就出現(xiàn)的事件有較大的概率。它首先是由德國數(shù)學家高斯在1821年提出的,然而，這個方法常歸功于英國統(tǒng)計學家費舍爾(Fisher).費舍爾在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).高斯費舍爾最大似然估計又稱極大似然估計，是一種利用給定樣本觀測值來評估模型參數(shù)的方法.基本原理：利用已知的樣本結(jié)果信息，反推最具有可能（最大概率）導致這些樣本結(jié)果出現(xiàn)的模型參數(shù)值.（1）離散型總體設離散型總體的分布律為其中為未知參數(shù)，為的所有可能取值范圍（稱為參數(shù)空間），則對于給定的樣本觀測值，樣本的聯(lián)合分布律為令稱樣本為似然函數(shù)，它是未知參數(shù)的函數(shù)．（2）連續(xù)型總體設連續(xù)型總體的概率密度函數(shù)為其中為未知參數(shù)，為的所有可能取值范圍（稱為參數(shù)空間），則對于給定的樣本觀測值，樣本的概率密度為隨機變量落在點的鄰域（其半徑為）內(nèi)的概率可近似為當取定時，它是的函數(shù)，記為，我們稱為樣本似然函數(shù)．由于與無關，故似然函數(shù)常取為最大似然估計法得到樣本值時，選取使似然函數(shù)

取得最大值的作為未知參數(shù)的估計值，即其中與有關，記為參數(shù)的最大似然估計值參數(shù)的最大似然估計量計算最大似然估計步驟離散型總體（1）寫出似然函數(shù)連續(xù)型總體（2）似然函數(shù)兩側(cè)取自然對數(shù)，得到對數(shù)似然函數(shù)離散型總體連續(xù)型總體（3）求對數(shù)似然函數(shù)的最大值點（通常為極大值點）對數(shù)似然方程可得的最大似然估計當在端點處取得最大值時，的最大似然估計即為該端點值.當為單峰函數(shù)，并在極大值點處取得最大值時，由例5：解：總體的分布律為設總體，是來自總體的樣本，求的最大似然估計量．設是相應的樣本值，則似然函數(shù)為對上式兩邊取對數(shù)，得對數(shù)似然方程由可得因此參數(shù)的最大似然估計量為設是來自總體的樣本，總體的概率密度函數(shù)為例6：解：設是相應的樣本觀測值，則似然函數(shù)為其中是未知參數(shù)，求的最大似然估計量．在這里，最大似然估計只需考慮非零部分量最大就可以了，似然函數(shù)可改寫為對上式兩邊取對數(shù)，得由可得因此參數(shù)的最大似然估計量為當總體的分布中有多個未知參數(shù)時，似然函數(shù)就是多元函數(shù)，則相應地有方程組由此方程組解得的最大似然估計值．對數(shù)似然方程組例7：解：設總體的概率密度函數(shù)為設總體，其中和是未知參數(shù)，取樣本觀測值為，求參數(shù)和

的最大似然估計．則似然函數(shù)為取對數(shù)，得對數(shù)似然函數(shù)關于和分別求偏導，得似然方程組由此解得及的最大似然估計值分別為最大似然估計量分別為從本例可以看到，正態(tài)總體參數(shù)的最大似然估計與矩估計是相同的．

設總體服從均勻分布，其中和

是未知參數(shù)，取樣本觀測值為，求參數(shù)和的最大似然估計.例8：解：設總體的概率密度函數(shù)為則似然函數(shù)為令，則似然函數(shù)可以寫為由于當及時，似然函數(shù)的偏導數(shù)不為零，故按照最大似然原理來確定的最大值．對于滿足及

的任意，有即似然函數(shù)在，時取得最大值．故，的最大似然估計值分別為最大似然估計量分別為最大似然估計的不變性原理設是的最大似然估計，是的函數(shù)，且具有單值的反函數(shù)，則是的最大似然估計．正態(tài)分布總體中，的最大似然估計值為

是的函數(shù)，且具有單值的反函數(shù)，故的最大似然估計值為類似地，的最大似然估計值為注意：（1）當似然函數(shù)關于未知參數(shù)不可微時，只能按最大似然原理計算最大值點；（2）上述方法推廣至多個未知參數(shù)的情形；（3）對數(shù)似然方程對數(shù)似然方程組小結(jié)兩種求點估計的方法：矩估計法，最大似然估計法.3.注：在統(tǒng)計問題中往往先使用最大似然估計法,在最大似然估計法使用不方便時,再用矩估計法.2.

似然函數(shù).4.最大似然估計的一般步驟：（3）判斷并求出最大值點，用樣本值代入就是參數(shù)

的最大似然估計值．（1）寫出似然函數(shù)；（2）令或，求出駐點；概率論

與數(shù)理統(tǒng)計理學院數(shù)學系“悟道詩---嚴加安”隨機非隨意，概率破玄機；無序隱有序，統(tǒng)計解迷離．第七章參數(shù)估計第二節(jié)估計量的評價標準二、有效性一、無偏性三、一致性（相合性）四、小結(jié)在上一節(jié)中可知，對于同一個參數(shù)，用不同的點估計方法得出的估計量可能不同，即使利用同一種方法，也可能得到多個估計量．這就涉及到評價估計量好壞的標準問題.本節(jié)我們討論評價估計量常用的三條標準：（1）無偏性；（2）有效性；（3）一致性（相合性）．設是從總體中抽取的樣本，

是總體分布中未知參數(shù)的估計量，如果存在，且則稱是的無偏估計量．定義：一、無偏性無偏性的意義對于某些樣本值，用估計量得到的估計值相對于真值來說有的偏大，有的偏小，但是平均來說它等于未知參數(shù)．即不存在系統(tǒng)誤差．注意：（3）無偏性是對估計量一個常見而重要的要求，它

的實際意義指估計量沒有系統(tǒng)偏差，只是隨機

偏差.（1）如果，則稱為的有偏估計量，

稱為估計量的偏差；（2）如果是的有偏估計量，但，

則稱是的漸近無偏估計量；定理：設是取自總體的樣本，總體的均值為，方差為．則（1）樣本均值是總體均值的無偏估計量；（2）樣本方差是總體方

差的無偏估計量；證明因為樣本相互獨立且與總體

服從相同的分布，故有由數(shù)學期望和方差的性質(zhì)可知：（3）樣本二階中心矩不是總

體的無偏估計量，而是漸近無偏估計量．（1）（2）由于故樣本均值是總體均值的無偏估計量．則再由公式，可得因此即樣本方差是總體方差的無偏估計量．（3）由于又因為所以不是的無偏估計量．所以是的漸近無偏估計量．二、有效性對于同一個未知參數(shù)，它可能有多個無偏估計量，在這些估計量中自然選用對的平均偏離程度較小者為好，也就是說一個較好的估計量應有較小的方差．由此我們引入評價估計量好壞的第二個標準：有效性．設和都是參數(shù)的無偏估計量，且，則稱較的有效．定義：

當樣本容量一定時，若在的所有無偏估計量中，的方差最小，則稱是的有效估計量．設是總體的樣本，證明

都是總體均值的無偏估計量，并比較哪個估計量更有效．例1：由于解：又因為所以，都是總體均值的無偏估計量．又因為，所以較

更有效．三、一致性（相合性）在樣本容量一定的情況下，無偏性和有效性能夠較好地反映估計量的好壞．但是隨著樣本所包含信息的增多，當充分大時，我們希望估計值在某種意義下穩(wěn)定在真值附近．這就是第三個評價標準：一致性（相合性）．設是總體參數(shù)的估計量，如果對于任意，當時，

依概率收斂于，即對于任意，有則稱是總體參數(shù)的一致估計量或相合估計量．定義：設是總體的樣本，且證明：樣本均值是總體均值的一致估計量．例2：證明：由于樣本是相互獨立的，且與總體服從相同的分布，故有再由切比雪夫定理，其中則有所以樣本均值是總體均值的一致估計量．說明：（1）樣本方差是總體方差的一致估計量．用樣本的階原點矩與樣本方差作為總體的階原點矩與總體方差的估計是無偏的、一致的，且是較好的估計．（2）若是連續(xù)函數(shù)，

是的一致估計量，則是的一致估計量，故用矩估計法得到的統(tǒng)計量一般是一致估計量．在大多數(shù)情況下，最大似然估計量也是一致估計量．小結(jié)無偏性3.一致性（相合性）2.

有效性概率論

與數(shù)理統(tǒng)計理學院數(shù)學系“悟道詩---嚴加安”隨機非隨意，概率破玄機；無序隱有序，統(tǒng)計解迷離．第七章參數(shù)估計第三節(jié)正態(tài)總體的區(qū)間估計二、單個正態(tài)總體參數(shù)的區(qū)間估計四、小結(jié)一、置信區(qū)間的概念三、兩個正態(tài)總體參數(shù)的區(qū)間估計

定義1：設總體的分布函數(shù)一、置信區(qū)間的概念中含有一個未知參數(shù)所有可能取值的范圍），由總體的樣本確定的兩個統(tǒng)計量其中若對于給定的，使得則稱隨機區(qū)間是的置信水平為的置信區(qū)間，稱為置信水平，分別稱為的雙側(cè)置信上限和雙側(cè)置信下限.注：（1）置信區(qū)間的長度反映了估計的精度；（2）反映估計的可靠性，值越大，估計的（3）置信水平可靠性越高.而精度和可靠性是矛盾的.的含義：在隨機抽樣中，如果進行N次抽樣，則隨機得到N個區(qū)間，這N個區(qū)間中有的包含未知參數(shù)的真值，有的不包含.二、單個正態(tài)總體參數(shù)的區(qū)間估計設總體是總體的樣本，分別是樣本均值和樣本方差，置信水平為1.正態(tài)總體均值的區(qū)間估計（1）已知時，的置信區(qū)間利用樣本函數(shù)根據(jù)標準正態(tài)分布的上分位點定義，有即得到的一個置信水平為的置信區(qū)間或例1

從某廠生產(chǎn)的滾珠中隨機抽取10個，測得滾珠的直徑（單位：mm）如下：14.615.014.715.114.914.815.015.115.214.8若滾珠直徑服從正態(tài)分布，并且已知

求滾珠直徑均值的置信水平為95%的置信區(qū)間.解

計算樣本均值，置信水平查表得，由此得的置信水平為95%的置信區(qū)間為即注：未知參數(shù)的置信水平為的置信區(qū)間并不是唯一的.置信區(qū)間的長度隨置信水平變化.(2)未知時，的置信區(qū)間當未知時，選取樣本函數(shù)由于t分布的分布曲線對稱于y軸，故給定的置信水平，選取對稱區(qū)間.使得即則于是置信區(qū)間為例2從某廠生產(chǎn)的滾珠中隨機抽取10個，測得滾珠直徑（單位mm）為：14.615.014.715.114.914.815.015.115.214.8.若滾珠直徑服從正態(tài)分布，求滾珠直徑均值的置信水平為95%的置信區(qū)間.解：樣本均值，樣本標準差，置信水平，，自由度，查表得，則的置信區(qū)間為即注：比較兩例，未知時的置信區(qū)間要比已知時的置信區(qū)間長度大一些，這表明當未知條件增多，估計精度變差.2.正態(tài)總體方差的區(qū)間估計（1）已知時，的置信區(qū)間構(gòu)造樣本函數(shù)注：分布的分布曲線不對稱，找到最短置信區(qū)間是困難的，所以仿照曲線對稱情形選取區(qū)間.故有即即得到置信區(qū)間為例3

從某廠生產(chǎn)的滾珠中隨機抽取10個，測得滾珠直徑（單位mm）如下：14.615.014.715.114.914.815.015.115.214.8.若滾珠直徑服從正態(tài)分布，已知求滾珠直徑方差的置信水平為95%的置信區(qū)間.解：已知則方差的置信水平為95%的置信區(qū)間為即所以置信水平為95%的置信區(qū)間為(2)未知時，的置信區(qū)間選取樣本函數(shù)選取分位點可得即置信區(qū)間為例4從某廠生產(chǎn)的滾珠中隨機抽取10個，測得滾珠直徑（單位：mm）如下：14.615.014.715.114.914.815.015.115.214.8若滾珠直徑服從正態(tài)分布，若未知，求滾珠直徑方差的置信水平為95%的置信區(qū)間.解：樣本方差置信水平自由度查表得置信區(qū)間為即三、兩個正態(tài)總體參數(shù)的區(qū)間估計在實際問題中，有時需要研究兩個正態(tài)總體均值或方差之間的差異問題，要討論兩個正態(tài)總體的均值差和方差比的區(qū)間估計問題.設總體是總體,的樣本，樣本均值和樣本方差.,是總體的樣本，樣本均值和樣本方差1.兩個正態(tài)總體均值差的區(qū)間估計（1）已知時，的置信區(qū)間有有樣本函數(shù)對于給定的置信水平，有即則有因此均值差的置信區(qū)間為例5比較甲，乙兩種鋼板的強度，從甲鋼板中抽取20個樣品，測得強度均值為從乙鋼板中抽取25個樣品，測得強度均值為設兩種鋼板強度服從正態(tài)分布，其方差分別為試計算兩種鋼板強度均值差的置信水平90%的置信區(qū)間.解：置信水平查表得數(shù)據(jù)代入得到置信區(qū)間為（2）均未知，但時，的置信區(qū)間選取樣本函數(shù)其中有即置信區(qū)間為例6兩批導線，從第一批中抽取4根，第二批抽取5根測得電阻如下（單位：）第一批：0.1430.1420.1430.138第二批：0.1400.1420.1360.1400138設第一批導線的電阻，第二批導線的電阻，可認為，其中都未知，計算兩批導線電阻均值差的置信水平90%的置信區(qū)間.解：經(jīng)計算可得查表得代入得置信區(qū)間即2.兩個正態(tài)總體方差比的區(qū)間估計已知時，方差比的區(qū)間估計確定分位數(shù)有選取樣本函數(shù)得到方差比的置信區(qū)間為（2）未知時，的置信區(qū)間選取樣本函數(shù)給定的置信水平，確定分位數(shù)使得得到方差比的置信區(qū)間為小結(jié)一、置信區(qū)間的概念二、單個正態(tài)總體參數(shù)的區(qū)間估計（四種情況）三、兩個正態(tài)總體參數(shù)的區(qū)間估計（四種情況）概率論

與數(shù)理統(tǒng)計理學院數(shù)學系“悟道詩---嚴加安”隨機非隨意，概率破玄機；無序隱有序，統(tǒng)計解迷離．第七章參數(shù)估計第五節(jié)綜合例題設總體，抽取樣本，

（1）若已知，計算未知參數(shù)

的矩估計量與最大似然估計量，并討論它們的無偏性；（2）若已知，計算未知參數(shù)的矩估計量與最大似然估計量，并討論它們的無偏性．例1：解：（1）由于，所以參數(shù)的矩估計量為下面計算的最大似然估計量．因為已知，所以似然函數(shù)為上式兩邊取對數(shù)，得上式兩側(cè)關于參數(shù)求一階導數(shù)，并令一階導數(shù)等于零，得由此解得的最大似然估計值為所以的最大似然估計量為因為是總體均值，是樣本均值，所以由本章第二節(jié)定理7.2.1可知，的矩估計量與最大似然估計量都是無偏估計量．（2）由于，且已知，根據(jù)有由矩估計法得到參數(shù)的矩估計量為由于所以，的矩估計量是無偏估計量．上式兩側(cè)關于參數(shù)求一階導數(shù)，并令一階導數(shù)等于零，得上式兩邊取對數(shù)，得下面計算的最大似然估計量．由于已知，所以似然函數(shù)為由此解得的最大似然估計值為所以，的最大似然估計量為由，有所以，的最大似然估計量也是無偏估計量．設為正態(tài)總體的一個樣本，試確定常數(shù)的值，使

為的無偏估計．例2：解：由于所以再由（無偏性），故有所以例3：解：對方差為已知的正態(tài)總體來說，問需取容量為多大的樣本，才能使總體均值的置信水平為的置信區(qū)間的長度不大于？由于的置信區(qū)間為故的置信區(qū)間長度為要使其不大于，需有從而即需至少取樣本容量為，才能使總體均值的置信水平為的置信區(qū)間的長度不大于．解：由于且知，故得設和為參數(shù)的兩個獨立的無偏估計量，且假設，求常數(shù)和，使

為的無偏估計，并使方差最?。?：又由于要使方差達到最小，需在滿足的條件下，使達到最?。睿氲茫箨P于的一階導數(shù)，并令其等于零，得從而解得解：進而有設總體，其中為未知參數(shù)，

是的樣本，試證明：是的相合估計量．例5：由于，所以應用切比雪夫不等式，有即從而由于概率不能大