概率論與數(shù)理統(tǒng)計課件：第17講 參數(shù)估計

1、 概率論與數(shù)理統(tǒng)計第十七講第七章: 參數(shù)估計參數(shù)估計問題的一般提法 設(shè)總體 X 的分布函數(shù)為 F( x, )，其中 為未知參數(shù)或參數(shù)向量，現(xiàn)從該總體中抽樣,得到樣本X1, X2 , , Xn . 依樣本對參數(shù) 做出估計，或估計參數(shù) 的某個已知函數(shù) g( ) 。 這類問題稱為參數(shù)估計。參數(shù)估計包括：點(diǎn)估計和區(qū)間估計。 稱該計算值為 的一個點(diǎn)估計。 為估計參數(shù) ，需要構(gòu)造適當(dāng)?shù)慕y(tǒng)計量 T( X1, X2 , , Xn )，一旦當(dāng)有了樣本，就將樣本值代入到該統(tǒng)計量中，算出一個值作為 的估計，尋求估計量的方法1. 矩估計法2. 極大似然法3. 最小二乘法4. 貝葉斯方法 我們僅介紹前面的兩種參數(shù)估計法

2、 。其思想是: 用同階、同類的樣本矩來估計總體矩。 矩估計是基于“替換”思想建立起來的一種參數(shù)估計方法 。 最早由英國統(tǒng)計學(xué)家 K. 皮爾遜 提出。7.1 矩估計矩估計就是用相應(yīng)的樣本矩去估計總體矩。設(shè)總體 X 的分布函數(shù)中含 k 個未知參數(shù) 步驟一：記總體 X 的 m 階原點(diǎn)矩 E(Xm)為 am , m = 1,2,k.am(1,2,k), m =1, 2, , k. 一般地, am (m = 1, 2, , K) 是總體分布中參數(shù)或參數(shù)向量 (1, 2, , k) 的函數(shù)。 故, am (m=1, 2, , k) 應(yīng)記成:步驟二：算出樣本的 m 階原點(diǎn)矩步驟三：令 得到關(guān)于 1,2,k

3、的方程組(Lk)。一般要求方程組(1)中有 k 個獨(dú)立方程。步驟四：解方程組(1), 并記其解為 這種參數(shù)估計法稱為參數(shù)的矩估計法，簡稱矩法。解：先求總體的期望例1：設(shè)總體 X 的概率密度為由矩法，令樣本矩總體矩解得為 的矩估計。注意：要在參數(shù)上邊加上“”，表示參數(shù)的估計。它是統(tǒng)計量。解: 先求總體的均值和 2 階原點(diǎn)矩。例2：設(shè) X1,X2,Xn 是取自總體 X 的簡單樣本, X 有概率密度函數(shù)令y=(x- )/令y=(x- )/用樣本矩估計總體矩得列出方程組:例3：設(shè)總體X的均值為，方差為2，求 和2 的矩估計。解：由 故，均值,方差2的矩估計為求解，得如：正態(tài)總體N( , 2) 中 和2

4、的矩估計為又如：若總體 X U(a, b)，求a, b的矩估計。 解：列出方程組 因 解上述方程組，得到 a,b 的矩估計: 矩估計的優(yōu)點(diǎn)是：簡單易行, 不需要事先知道總體是什么分布。 缺點(diǎn)是：當(dāng)總體的分布類型已知時，未充分利用分布所提供的信息；此外，一般情形下，矩估計不具有唯一性 。7.2 極大似然估計 極大似然估計法是在總體的分布類型已知前提下，使用的一種參數(shù)估計法 。 該方法首先由德國數(shù)學(xué)家高斯于 1821年提出，其后英國統(tǒng)計學(xué)家費(fèi)歇于 1922年發(fā)現(xiàn)了這一方法，研究了方法的一些性質(zhì)，并給出了求參數(shù)極大似然估計一般方法極大似然估計原理 。I. 極大似然估計原理 設(shè)總體 X 的分布 (連續(xù)

5、型時為概率密度，離散型時為概率分布) 為 f(x, ) , X1,X2,Xn 是抽自總體 X 的簡單樣本。于是，樣本的聯(lián)合概率函數(shù) (連續(xù)型時為聯(lián)合概率密度，離散型時為聯(lián)合概率分布) 為其中 為k個未知參數(shù) 將上式簡記為 L( )，即稱 L( )為 的似然函數(shù)。未知參數(shù)(向量),不知取什么值, 有個變化范圍,稱其為參數(shù)空間 記為 ， 可視為上的變量當(dāng)取定樣本觀察值時, 得到n個具體的數(shù),就可視其為固定值 假定現(xiàn)在我們觀測到一組樣本觀察值x1, x2, , xn，要去估計未知參數(shù) 。稱 為 的極大似然估計 (MLE)。 一種直觀的想法是：哪組參數(shù)使得現(xiàn)在的樣本值x1, x2, , xn出現(xiàn)的可能

6、性 (概率) 最大，哪組參數(shù)就作為真值 的估計。 這就是 極大似然估計原理。如果 可能變化空間,稱為參數(shù)空間。 (4). 在最大值點(diǎn)的表達(dá)式中，代入相應(yīng)的樣本， 就得參數(shù) 的極大似然估計。II. 求極大似然估計(MLE)的一般步驟. 由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)(連 續(xù)型時為聯(lián)合概率密度, 離散型時為聯(lián)合 概率分布)；(2). 把樣本的聯(lián)合概率函數(shù)中的x1, x2, , xn， 看成已知, 參數(shù) 看成自變量, 得到似然 函數(shù) L( )；(3). 求似然函數(shù) L( ) 的最大值點(diǎn) (常常轉(zhuǎn)化為求ln L( )的最大值點(diǎn)) ，即為 的MLE;兩點(diǎn)說明： 求似然函數(shù) L( ) 的最大值點(diǎn)，可應(yīng)用

7、微積分中的技巧。由于 ln(x) 是 x 的增函數(shù)，所以 ln L( ) 與 L( ) 在 的同一點(diǎn)處達(dá)到各自的最大值。假定 是一實(shí)數(shù), ln L( )是 的一個可微函數(shù)。通過求解似然方程可以得到 的MLE。 用上述方法求參數(shù)的極大似然估計有時行不通，這時要用極大似然原理來求 。若 是向量，上述似然方程需用似然方程組代替 。III. 下面舉例說明如何求參數(shù)的MLE例3: 設(shè)X1, X2, , Xn是取自總體 XB(1, p) 的一個樣本，求參數(shù) p 的極大似然估計。解：似然函數(shù)為對數(shù)似然函數(shù)為：對 p 求導(dǎo)，并令其等于零，得上式等價于解上述方程，得換成換成例2：求正態(tài)總體 N(, 2) 參數(shù)

8、和 2 的極大似然估計(注: 我們把 2 看作一個參數(shù))。解：似然函數(shù)為對數(shù)似然函數(shù)為 似然方程組為由第一個方程，得到代入第二方程，得到 是L(,2)的最大值點(diǎn)，即 和 2 的極大似然估計。 下面驗(yàn)證：似然方程組的唯一解是似然函數(shù)的最大值點(diǎn)。例1：設(shè)總體 X 服從泊松分布 P( )，求參數(shù) 的極大似然估計。解：由 X 的概率分布為得 的似然函數(shù)似然方程為對數(shù)似然函數(shù)為其解為換成換成得 的極大似然估計例 4：設(shè) X U(a, b)，求 a, b 的極大似然估計。 解：因所以 由上式看到：L(a,b)作為a和b的二元函數(shù)是不連續(xù)的，所以我們不能用似然方程組來求極大似然估計，而必須從極大似然估計的定義出發(fā)，求L(a,b)的最大值。 為使 L(a, b) 達(dá)到最大，b-a 應(yīng)該盡量地小。但 b不能小于 maxx1,x2,xn。否則，L(a,b) = 0。類似地，a 不能大于minx1,x2,xn。因此，a 和 b 的極大似然估計為解：似然函數(shù)為例5：設(shè) X1, X2,Xn 是抽自總體 X 的一個樣本，X 有如下概率密度函數(shù)其