概率論完整PPT課件第29講

1、 引言引言 上一講，我們介紹了總體、樣本、上一講，我們介紹了總體、樣本、簡單隨機樣本、統(tǒng)計量和抽樣分布的概簡單隨機樣本、統(tǒng)計量和抽樣分布的概念，介紹了統(tǒng)計中常用的三大分布，給念，介紹了統(tǒng)計中常用的三大分布，給出了幾個重要的抽樣分布定理出了幾個重要的抽樣分布定理. 它們是進它們是進一步學習統(tǒng)計推斷的基礎一步學習統(tǒng)計推斷的基礎. 總體總體樣樣本本統(tǒng)計量統(tǒng)計量描述描述作出推斷作出推斷研究統(tǒng)計量的性質和評價一個研究統(tǒng)計量的性質和評價一個統(tǒng)計推斷的優(yōu)良性，完全取決統(tǒng)計推斷的優(yōu)良性，完全取決于其于其抽樣分布抽樣分布的性質的性質.隨機抽樣隨機抽樣 現(xiàn)在我們來介紹一類重要的統(tǒng)計推斷問題現(xiàn)在我們來介紹一類重要的

2、統(tǒng)計推斷問題 參數(shù)估計問題是利用從總體抽樣得到的信息參數(shù)估計問題是利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù)來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù). 參數(shù)估計參數(shù)估計估計廢品率估計廢品率估計新生兒的體重估計新生兒的體重估計湖中魚數(shù)估計湖中魚數(shù) 估計降雨量估計降雨量 在參數(shù)估計問題中，假定總體分布在參數(shù)估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個形式已知，未知的僅僅是一個或幾個參數(shù)參數(shù).這類問題稱為這類問題稱為參數(shù)估計參數(shù)估計.參數(shù)估計問題的一般提法參數(shù)估計問題的一般提法x1,x2,xn要依據(jù)該樣本對參數(shù)要依據(jù)該樣本對參數(shù) 作出估計，或估計作出估計，或估計 的某個

3、已知函數(shù)的某個已知函數(shù) .)( g現(xiàn)從該總體抽樣，得樣本現(xiàn)從該總體抽樣，得樣本設有一個統(tǒng)計總體，總體的分布函數(shù)設有一個統(tǒng)計總體，總體的分布函數(shù)向量向量) . 為為 f(x, )，其中，其中 為未知參數(shù)為未知參數(shù) ( 可以是可以是 參數(shù)估計參數(shù)估計點估計點估計區(qū)間估計區(qū)間估計)1 . 0,(2 n（假定身高服從正態(tài)分布（假定身高服從正態(tài)分布 ） 設這設這5個數(shù)是個數(shù)是:1.65 1.67 1.68 1.78 1.69 估計估計 為為1.68，這是這是點估計點估計.這是這是區(qū)間估計區(qū)間估計.估計估計 在區(qū)間在區(qū)間1.57, 1.84內(nèi)，內(nèi)，假如我們要估計某隊男生的平均身高假如我們要估計某隊男生的平

4、均身高. 現(xiàn)從該總體選取容量為現(xiàn)從該總體選取容量為5的樣本，我們的樣本，我們的任務是要根據(jù)選出的樣本（的任務是要根據(jù)選出的樣本（5個數(shù)）求出個數(shù)）求出總體均值總體均值 的估計的估計. 而全部信息就由這而全部信息就由這5個個數(shù)組成數(shù)組成 . 一、點估計概念及討論的問題一、點估計概念及討論的問題例例1 已知某地區(qū)新生嬰兒的體重已知某地區(qū)新生嬰兒的體重x),(2 n,2未知 隨機抽查隨機抽查100個嬰兒個嬰兒得得100個體重數(shù)據(jù)個體重數(shù)據(jù)10,7,6,6.5,5,5.2, 呢呢? ? 據(jù)此據(jù)此, ,我們應如何估計我們應如何估計和和而全部信息就由這而全部信息就由這100個數(shù)組成個數(shù)組成. 為估計為估計

5、 ,我們需要構造出適當?shù)臉颖疚覀冃枰獦嬙斐鲞m當?shù)臉颖镜暮瘮?shù)的函數(shù)t(x1,x2,xn)，每當有了樣本，就，每當有了樣本，就代入該函數(shù)中算出一個值，用來作為代入該函數(shù)中算出一個值，用來作為 的的估計值估計值 . 把樣本值代入把樣本值代入t(x1,x2,xn) 中，得到中，得到 的一個點估計值的一個點估計值 .t(x1,x2,xn)稱為參數(shù)稱為參數(shù) 的點估計量，的點估計量， 請注意，被估計的參數(shù)請注意，被估計的參數(shù) 是一個是一個未知常數(shù)，而估計量未知常數(shù)，而估計量 t(x1,x2,xn)是一個隨機變量，是樣本的函數(shù)是一個隨機變量，是樣本的函數(shù),當當樣本取定后，它是個已知的數(shù)值樣本取定后，它是個已知

6、的數(shù)值,這這個數(shù)常稱為個數(shù)常稱為 的估計值的估計值 . 使用什么樣的統(tǒng)計量去估計使用什么樣的統(tǒng)計量去估計 ？ 可以用樣本均值可以用樣本均值;也可以用樣本中位數(shù)也可以用樣本中位數(shù);還可以用別的統(tǒng)計量還可以用別的統(tǒng)計量 .問題是問題是: ,)( xe我們知道我們知道, ,服從正態(tài)分布服從正態(tài)分布,.),(2vxrn的 由大數(shù)定律由大數(shù)定律, , 1|1|lim1 niinxnp自然想到把樣本體重的平均值作為總體平均自然想到把樣本體重的平均值作為總體平均體重的一個估計體重的一個估計. .22 估計s類似地，用樣本體重的方差類似地，用樣本體重的方差 . ., 估計x用樣本體重的均值用樣本體重的均值,1

7、1niixnxniixxns122)(11樣本體重的平均值樣本體重的平均值樣本均值是否是樣本均值是否是 的一個好的估計量？的一個好的估計量？ (2) 怎樣決定一個估計量是否比另一個估計怎樣決定一個估計量是否比另一個估計 量量“好好”？樣本方差是否是樣本方差是否是 的一個好的估計量？的一個好的估計量？2 這就需要討論以下幾個問題這就需要討論以下幾個問題: :(1) 我們希望一個我們希望一個“好的好的”估計量具有什么估計量具有什么 特性？特性？(3) 如何求得合理的估計量？如何求得合理的估計量？那么要問那么要問: : 二、估計量的優(yōu)良性準則二、估計量的優(yōu)良性準則 在介紹估計量優(yōu)良性的準則之前，我在

8、介紹估計量優(yōu)良性的準則之前，我們必須強調(diào)指出：們必須強調(diào)指出： 評價一個估計量的好壞，不能僅僅依評價一個估計量的好壞，不能僅僅依據(jù)一次試驗的結果，而必須由多次試驗結據(jù)一次試驗的結果，而必須由多次試驗結果來衡量果來衡量 . 這是因為估計量是樣本的函數(shù)，是隨機這是因為估計量是樣本的函數(shù)，是隨機變量變量 . 因此，由不同的觀測結果，就會求得因此，由不同的觀測結果，就會求得不同的參數(shù)估計值不同的參數(shù)估計值. 因此一個好的估計，應因此一個好的估計，應在多次試驗中體現(xiàn)出優(yōu)良性在多次試驗中體現(xiàn)出優(yōu)良性 . 常用的幾條標準是：常用的幾條標準是：1無偏性無偏性2有效性有效性3相合性相合性這里我們重點介紹前面兩個

9、標準這里我們重點介紹前面兩個標準 . 估計量是隨機變量，對于不同的樣本值估計量是隨機變量，對于不同的樣本值會得到不同的估計值會得到不同的估計值 . 我們希望估計值在未我們希望估計值在未知參數(shù)真值附近擺動，而它的期望值等于未知參數(shù)真值附近擺動，而它的期望值等于未知參數(shù)的真值知參數(shù)的真值. 這就導致無偏性這個標準這就導致無偏性這個標準 . 1無偏性無偏性 )(e則稱則稱 為為 的無偏估計的無偏估計 . ),(1nxx 設設是未知參數(shù)是未知參數(shù) 的估計量，若的估計量，若 例如，用樣本均值作為總體均值的估計例如，用樣本均值作為總體均值的估計時，雖無法說明一次估計所產(chǎn)生的偏差，但時，雖無法說明一次估計所

10、產(chǎn)生的偏差，但這種偏差隨機地在這種偏差隨機地在0的周圍波動，對同一統(tǒng)的周圍波動，對同一統(tǒng)計問題大量重復使用不會產(chǎn)生系統(tǒng)偏差計問題大量重復使用不會產(chǎn)生系統(tǒng)偏差 .無偏性是對估計量的一個常見而重要的要求無偏性是對估計量的一個常見而重要的要求 .無偏性的實際意義是指沒有系統(tǒng)性的偏差無偏性的實際意義是指沒有系統(tǒng)性的偏差 .所以無偏估計以方差小者為好所以無偏估計以方差小者為好, 這就引進了這就引進了有效性這一概念有效性這一概念 .的大小來決定二者的大小來決定二者21)( e和和2 1 一個參數(shù)往往有不止一個無偏估計一個參數(shù)往往有不止一個無偏估計, 若若 和和都是參數(shù)都是參數(shù) 的無偏估計量，的無偏估計量，

11、比較比較我們可以我們可以22)( e誰更優(yōu)誰更優(yōu) .211)()( ed由于由于222)()( ed2有效性有效性d( )0,求求 的矩估計的矩估計. , x具有均值為具有均值為 的指數(shù)分布的指數(shù)分布 故故 e(x- )= 2 d(x- )=即即 e(x)= 2 d(x)= x niixxn12)(1 解得解得niixxn12)(1令令x niixxn122)(1 用樣本矩估計用樣本矩估計總體矩總體矩即即 e(x)= 2 d(x)=., 的矩估計即為參數(shù) 矩法的優(yōu)點是簡單易行矩法的優(yōu)點是簡單易行,并不需要并不需要事先知道總體是什么分布事先知道總體是什么分布 . 缺點是，當總體類型已知時，沒有缺

12、點是，當總體類型已知時，沒有 充分利用分布提供的信息充分利用分布提供的信息 . 一般場合下一般場合下,矩估計量不具有唯一性矩估計量不具有唯一性 . 其主要原因在于建立矩法方程時，其主要原因在于建立矩法方程時，選取那些總體矩用相應樣本矩代替帶選取那些總體矩用相應樣本矩代替帶有一定的隨意性有一定的隨意性 .稍事休息稍事休息 2. 極大似然法極大似然法 是在總體類型已知條件下使用的一種是在總體類型已知條件下使用的一種參數(shù)估計方法參數(shù)估計方法 . 它首先是由德國數(shù)學家它首先是由德國數(shù)學家高斯高斯在在1821年提出的年提出的 , gaussfisher然而，這個方法常歸功于然而，這個方法常歸功于英國統(tǒng)計

13、學家英國統(tǒng)計學家費歇費歇 . 費歇費歇在在1922年重新發(fā)現(xiàn)了年重新發(fā)現(xiàn)了 這一方法，并首先研究了這這一方法，并首先研究了這 種方法的一些性質種方法的一些性質 . 極大似然法的基本思想極大似然法的基本思想 先看一個簡單例子：先看一個簡單例子：一只野兔從前方竄過一只野兔從前方竄過 .是誰打中的呢？是誰打中的呢？某位同學與一位獵人一某位同學與一位獵人一起外出打獵起外出打獵 .如果要你推測，如果要你推測，你會如何想呢你會如何想呢?只聽一聲槍響，野兔應聲倒下只聽一聲槍響，野兔應聲倒下 . 下面我們再看一個例子下面我們再看一個例子,進一步體會極進一步體會極大似然法的基本思想大似然法的基本思想 . 你就會

14、想，只發(fā)一槍便打中你就會想，只發(fā)一槍便打中,獵人命中的獵人命中的概率一般大于這位同學命中的概率概率一般大于這位同學命中的概率. 看來這看來這一槍是獵人射中的一槍是獵人射中的 . 這個例子所作的推斷已經(jīng)體現(xiàn)了極大似這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想然法的基本思想 . 例例4 設設xb(1,p), p未知未知.設想我們事先知設想我們事先知道道p只有兩種可能只有兩種可能:問問:應如何估計應如何估計p?p=0.7 或或 p=0.3如今重復試驗如今重復試驗3次次,得結果得結果: 0 , 0, 0由概率論的知識由概率論的知識, 3次試驗中出現(xiàn)次試驗中出現(xiàn)“1”的次數(shù)的次數(shù)), 3(pbyk=

15、0,1,2,3knkppkkyp)1 (3)( 將計算結果列表如下：將計算結果列表如下：應如何估計應如何估計p?p=0.7 或或 p=0.3kkppkkyp3)1 (3)(k=0,1,2,3p值值 p(y=0) p(y=1) p( y=2) p(y=3) 0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027出現(xiàn)出現(xiàn)估計估計出現(xiàn)出現(xiàn)出現(xiàn)出現(xiàn)出現(xiàn)出現(xiàn)估計估計估計估計估計估計0.3430.4410.4410.343如果有如果有p1,p2,pm可供選擇可供選擇, 又如何合理地又如何合理地選選p呢呢?從中選取使從中選取使qi 最大的最大的pi 作為作

16、為p的估計的估計.);();(0iipkyppkypi=1,2,m則估計參數(shù)則估計參數(shù)p為為0ipp 0ipp 時時qi 最大最大,比方說比方說,當當 若重復進行試驗若重復進行試驗n次次,結果結果“1”出現(xiàn)出現(xiàn)k次次(0 k n), 我們計算一切可能的我們計算一切可能的 p(y=k; pi )=qi ， i=1,2,m 如果只知道如果只知道0p1,并且實測記錄是并且實測記錄是 y=k (0 k n),又應如何估計又應如何估計p呢呢?注意到注意到knkppknpkyp)1 ();(是是p的函數(shù)的函數(shù),可用求導的方法找到使可用求導的方法找到使f (p)達到達到極大值的極大值的p .但因但因f (p

17、)與與lnf (p)達到極大值的自變量相同達到極大值的自變量相同,故問題可轉化為求故問題可轉化為求lnf (p)的極大值點的極大值點 .=f (p)nkp 將將ln f (p)對對p求導并令其為求導并令其為0,這時這時, 對一切對一切0p1,均有均有);() ;(pkyppkyp從中解得從中解得pknpkdppfd1)(ln=0便得便得 p(n-k)=k(1-p) )1ln()(lnln)(lnpknpkknpf 以上這種以上這種選擇一個參數(shù)使得實驗結選擇一個參數(shù)使得實驗結果具有最大概率果具有最大概率的思想就是極大似然法的思想就是極大似然法的基本思想的基本思想 .這時這時,對一切對一切0p0,

18、niixndld1ln)(ln求導并令其為求導并令其為0=0從中解得從中解得niixn1*ln 即為即為 的的mle . 對數(shù)似然函數(shù)為對數(shù)似然函數(shù)為niixnl1ln) 1(ln)(ln 解：似然函數(shù)為解：似然函數(shù)為 例例7 設設x1,x2,xn是取自總體是取自總體x的一個樣本的一個樣本為未知參數(shù)其它 , 0,1)()(xexfxx其中其中 0,求求 的極大似然估計的極大似然估計. ,其它，, 01),(1)(niixxeli i=1,2,n其它, 0min,11)(1 ixnxenii對數(shù)似然函數(shù)為對數(shù)似然函數(shù)為niixnl1)(1ln),(ln 解：似然函數(shù)為解：似然函數(shù)為其它，, 01

19、),(1)(niixxeli i=1,2,nniixn11 nl),(ln=0 (2)由由(1)得得niixnl12)(1),(ln =0 (1)對對 分別求偏導并令其為分別求偏導并令其為0,對數(shù)似然函數(shù)為對數(shù)似然函數(shù)為niixnl1)(1ln),(ln 用求導方法無法最終確定用求導方法無法最終確定用極大似然原則來求用極大似然原則來求 .、 , 是是inix1*min 對對, 0),(,min lxi故使故使 達到最大的達到最大的 即即 的的mle， ),( l , niixn1*1 于是于是 取其它值時，取其它值時，. 0),( l 即即 為為 的的mle .*, ,且是且是 的增函數(shù)的增函

20、數(shù) 其它, 0min,1),(1)(1ixnxelnii由于由于極大似然估計的一個性質極大似然估計的一個性質可證明極大似然估計具有下述性質：可證明極大似然估計具有下述性質： 設設 的函數(shù)的函數(shù)g=g( )是是 上的實值函數(shù)上的實值函數(shù),且有唯一反函數(shù)且有唯一反函數(shù) . 如果如果 是是 的的mle，則，則g( )也是也是g( )的極大似然估計的極大似然估計. 例例8 一罐中裝有白球和黑球，有放回地抽一罐中裝有白球和黑球，有放回地抽取一個容量為取一個容量為n的樣本，其中有的樣本，其中有 k 個白球，個白球，求罐中黑球與白球之比求罐中黑球與白球之比 r 的極大似然估計的極大似然估計.n,1,i ,

21、0, 1取到黑球取到白球ix解解: 設設x1,x2,xn為所取樣本，為所取樣本，則則x1,x2,xn是取自是取自b(1,p)的樣本，的樣本，p是每次是每次抽取時取到白球的概率，抽取時取到白球的概率，p未知未知 .先求先求p的的mle：nkp p的的mle為為 ppr11kn在前面例在前面例4中中,我們已求得我們已求得由前述極大似然估計的性質不難求得由前述極大似然估計的性質不難求得ppr1的的mle是是第二次捕出的有記號的魚數(shù)第二次捕出的有記號的魚數(shù)x是是r.v, x具有具有超幾何分布：超幾何分布：,snksrnkrkxp為了估計湖中的魚數(shù)為了估計湖中的魚數(shù)n，第一次捕上，第一次捕上r條魚，條魚，做上記號后放回做上記號后放回. 隔一段時間后隔一段時間后, 再捕出再捕出s條魚條魚, 結果發(fā)現(xiàn)這結果發(fā)現(xiàn)這s條魚中有條魚中有k條標有記號條標有記號.根據(jù)這個信息，如何估計湖中的魚數(shù)呢？根據(jù)這個信息，如何估計湖中的魚數(shù)呢？最后，我們用極大似