第一節(jié)點估計

第一節(jié)點估計第一頁，共三十四頁，編輯于2023年，星期四

利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù).估計廢品率：估計新生兒的體重：估計湖中魚數(shù)……估計降雨量在參數(shù)估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數(shù).

參數(shù)估計問題:

例如：第二頁，共三十四頁，編輯于2023年，星期四這類問題稱為參數(shù)估計.參數(shù)估計問題的一般提法X1,X2,…,Xn其中為未知參數(shù)(可以是向量)?，F(xiàn)從該設(shè)有一個總體X，總體的分布函數(shù)為總體抽樣，得樣本：所研究的問題是：要依據(jù)該樣本對參數(shù)作出估計，或估計的某個已知的函數(shù)參數(shù)估計問題的分類參數(shù)估計點估計區(qū)間估計第三頁，共三十四頁，編輯于2023年，星期四則估計為1.68，這是點估計問題。估計在區(qū)間[1.57,1.84]內(nèi)，這是

區(qū)間估計問題現(xiàn)要估計某班男生的平均身高。假定身高服從正態(tài)分布現(xiàn)從該總體選取容量為5的樣本，所研究的問題是要根據(jù)選出的樣本（5個數(shù)）求出總體均值的估計。例如

而全部信息就由這5個數(shù)組成。設(shè)這5個數(shù)是：1.65，1.67，1.68，1.78，1.69第四頁，共三十四頁，編輯于2023年，星期四解決問題：總體X的分布函數(shù)的形式已知，但它的一個或多個參數(shù)未知，根據(jù)總體X的一個樣本來估計總體未知參數(shù)或?qū)傮w未知參數(shù)作出一個估計。一.估計量的定義定義：第一節(jié)點估計稱為的估計量。設(shè)為總體X的分布函數(shù)中的待估計的參數(shù),是總體X的一個樣本，用構(gòu)成的一個統(tǒng)計量：第五頁，共三十四頁，編輯于2023年，星期四則為的估計值

二.構(gòu)造統(tǒng)計量的方法1.矩估計法(數(shù)字特征法)用樣本的各階矩來估計總體的各階矩的一組樣本值為：如果矩估計法是由統(tǒng)計學家卡.皮爾遜（K.Pearson）在19世紀末引入的。矩是描寫隨機變量最簡單的數(shù)字特征，由大數(shù)定律可知，在一定條件下可以用樣本的矩作為總體矩的估計，從而得矩估計法的基本思想為：第六頁，共三十四頁，編輯于2023年，星期四矩估計法的具體步驟設(shè)總體X的分布函數(shù)中含有個未知參數(shù)，假定總體X的前階矩存在，則可通過下列步驟求未知參數(shù)的矩估計量(1)若總體X是離散型隨機變量，其分布律為：求總體X的前階矩則：若總體X是連續(xù)型隨機變量，其密度函數(shù)為：第七頁，共三十四頁，編輯于2023年，星期四則：總之，是參數(shù)的函數(shù)，記為：第八頁，共三十四頁，編輯于2023年，星期四(2)解（*）式解出得到：(3)用的估計量分別代替（**）中的則得的矩估計量

第九頁，共三十四頁，編輯于2023年，星期四例1.設(shè)總體X的均值為方差為都存在，且是總體X的一個樣本(2).當總體(某種燈泡壽命)，未知，今取4只燈泡，測得其壽命（小時）如下：1502,1453,1367,1650（小時）求：的矩估計量(1).均未知,求:的矩估計量第十頁，共三十四頁，編輯于2023年，星期四解:總體X的數(shù)學期望是X的一階原點矩；總體X的方差是X的二階中心矩。(1).現(xiàn)令：一階原點矩二階原點矩即解之得:第十一頁，共三十四頁，編輯于2023年，星期四解之得:從而得的矩估計量為：結(jié)論：不論總體服從什么分布，總體均值與方差的矩估計量的表達式是相同的。第十二頁，共三十四頁，編輯于2023年，星期四(2).某種燈泡壽命的均值與方差的矩估計值分布為:第十三頁，共三十四頁，編輯于2023年，星期四設(shè)X1,X2,…Xn是取自總體X的一個樣本，其概率密度為：其中為未知參數(shù)，例2.求：的矩估計量由密度函數(shù)可知：具有均值為的指數(shù)分布，故有：解:第十四頁，共三十四頁，編輯于2023年，星期四即：令：用樣本矩估計總體矩解得：即為總體參數(shù)的矩估計量。第十五頁，共三十四頁，編輯于2023年，星期四,故令解得的矩估計分別為例的樣本,為總體設(shè)求未知參數(shù)的矩估計.解其中總體二階中心矩樣本二階中心矩思考一從直觀看該結(jié)果是否合理？從直觀看更好的估計應(yīng)該是什么？思考二第十六頁，共三十四頁，編輯于2023年，星期四

設(shè)為來自總體的樣本，求未知參數(shù)的矩估計?？傮w一階矩為樣本一階矩為令求得的矩估計為.解例如果都未知，怎樣求的矩估計？思考第十七頁，共三十四頁，編輯于2023年，星期四2.極大似然法極大似然法是在總體類型已知條件下使用的一種參數(shù)估計方法。它首先是由德國數(shù)學家高斯（Gauss）在1821年提出的。Fisher然而，這個方法常歸功于英國統(tǒng)計學家費歇（Fisher），費歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì)。Gauss第十八頁，共三十四頁，編輯于2023年，星期四極大似然法的基本思想引例1若某位同學與一位獵人一起外出打獵。一只野兔從前方竄過，只聽一聲槍響，野兔應(yīng)聲倒下。試推測：這是誰打中的呢？

因為只發(fā)一槍便打中，獵人命中的概率一般大于這位同學命中的概率?？磥砜赏茰y這一槍是獵人射中的.第十九頁，共三十四頁，編輯于2023年，星期四引例2設(shè)X~B(1,p),p未知，若事先知道p只有兩種可能:試問：應(yīng)如何估計p?p=0.7或p=0.3如今重復(fù)試驗3次,得結(jié)果:0,0,0由概率論的知識，可知：3次試驗中出現(xiàn)“1”的次數(shù)k=0,1,2,3分析：且：現(xiàn)將這計算結(jié)果列出如下：第二十頁，共三十四頁，編輯于2023年，星期四將計算結(jié)果列表如下：p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 出現(xiàn)估計出現(xiàn)出現(xiàn)出現(xiàn)估計估計估計0.3430.4410.4410.343注:引例1與引例2都體現(xiàn)了極大似然法的基本思想：當試驗中得到一個結(jié)果時，應(yīng)選擇使得這個試驗結(jié)果出現(xiàn)的概率達到最大的這個值作為參數(shù)的估計值。第二十一頁，共三十四頁，編輯于2023年，星期四定義:作似然函數(shù)：(1).極大似然估計量的定義是相應(yīng)于樣本的一組樣本值。其中設(shè)總體X的概率密度函數(shù)為或分布律為為未知參數(shù)。又設(shè)使得似然函數(shù)L達到極大值的或第二十二頁，共三十四頁，編輯于2023年，星期四稱為參數(shù)的極大似然估計值，記為：為參數(shù)的極大似然估計量注:或隨機點取到的概率。(它與樣本值有關(guān))，記統(tǒng)計量：似然函數(shù)L是隨機點落在點的鄰域(邊長分別為的n維立方體)內(nèi)的概率；▲▲似然函數(shù)L是的函數(shù)。第二十三頁，共三十四頁，編輯于2023年，星期四思路:從而此問題就轉(zhuǎn)化為一般的求函數(shù)的最大值問題.(2).極大似然法的具體步驟取到現(xiàn)要求的最大值，即求取什么值時函數(shù)L達到最大。即其隨機點落在的鄰域內(nèi)的概率或隨機點的概率最大。第二十四頁，共三十四頁，編輯于2023年，星期四具體步驟(1)作似然函數(shù)或(2)當似然函數(shù)可微且的最大值能在參數(shù)空間取得時，求方程組:的解，解得一解為，則為極大似然估計量（值）。注:▲因為與有相同的最大值點，而且對數(shù)函數(shù)是單調(diào)增的，求比求方便，所以常取前者作為似然函數(shù)。第二十五頁，共三十四頁，編輯于2023年，星期四▲按照求函數(shù)極值的方法，在求方程組：的解后還應(yīng)該用極值的充分條件對解做進一步的判斷，但又由最值原理，如果最值存在，此方程組求得的駐點即為所求的最值點。極大似然估計法一般屬于這種情況，所以可直接按步驟(2)求的其值。▲當似然函數(shù)不可微或方程組無解時，則應(yīng)根據(jù)定義直接尋求能使達到最大值的解作為極大似然估計量?！鴺O大似然估計法也適用于多個未知參數(shù)的情形。第二十六頁，共三十四頁，編輯于2023年，星期四例3.求:的極大似然估計量是X的一個樣本值設(shè)為未知參數(shù)，解:的密度函數(shù)為：作似然函數(shù)：為計算方便對L兩邊取對數(shù)得:第二十七頁，共三十四頁，編輯于2023年，星期四令：解得所求為:與矩估計法所得的結(jié)論是一致的（見例1）第二十八頁，共三十四頁，編輯于2023年，星期四似然函數(shù)為設(shè)總體服從指數(shù)分布其密度為因為與有相同的極值點，故令解似然方程，求得的

MLE

為稱為似然方程解例是來自總體的樣本，試求的第二十九頁，共三十四頁，編輯于2023年，星期四例4.bujiang設(shè)為參數(shù)都是未知的正態(tài)總體的一個樣本求:的極大似然估計解:未知第三十頁，共三十四頁，編輯于2023年，星期四由例2可知：的極大似然估計為的極大似然估計為的極大似然估計為：其中:設(shè)X1,X2,…Xn是取自總體X的一個樣本，其密度函數(shù)為：其中求的極大似然估計.例5.第三十一頁，共三十四頁，編輯于2023年，星期四作似然函數(shù)：則對數(shù)似然函數(shù)為：求導