依分布收斂與中心極限定理

1、第四章 第四章          極限定理 §1 依分布收斂與中心極限定理 一、 一、分布函數(shù)弱收斂二、性質(zhì)三、中心極限定理 概率論早期發(fā)展的目的在于揭示由于大量隨機因素產(chǎn)生影響而呈現(xiàn)的規(guī)律性. 貝努里首先認識到研究無窮隨機試驗序列的重要性，并建立了概率論的第一個極限定理大數(shù)定律，清楚地刻畫了事件的概率與它發(fā)生的頻率之間的關系. 棣莫佛和拉普拉斯提出將觀察的誤差看作大量獨立微小誤差的累加，證明了觀察誤差的分布一定漸近正態(tài)中心極限定理. 隨后，出現(xiàn)了許多各種意義下的極

2、限定理. 這些結(jié)果和研究方法對概率論與數(shù)理統(tǒng)計及其應用的許多領域有著重大影響. 本章著重介紹上述大數(shù)定律和中心極限定理等有關內(nèi)容. §1 依分布收斂與中心極限定理 我們知道，如果是概率空間 (, F, P)上的隨機變量，那么它的分布函數(shù)F(x)=P()刻畫了它的全部概率性質(zhì). 因此，對隨機變量序列的研究就必須首先對相應的分布函數(shù)序列作深入研究. 一、分布函數(shù)弱收斂定義1 設F是一分布函數(shù)，是一列分布函數(shù)，如果對F的每個連續(xù)點xR，都有(x)F(x) (n)，則稱弱收斂(weak convergence)于F，記作F.設是一隨機變量，是一列隨機變量，如果的

3、分布函數(shù)列弱收斂于的分布函數(shù)，則稱依分布收斂(convergence in distribution)于，記作.注1 注1            分布函數(shù)逐點收斂的極限函數(shù)未必是分布函數(shù). 例如, (x)=該分布函數(shù)列處處收斂于0, 但G(x)0不是分布函數(shù). 因此對一般的分布函數(shù)列，要它們逐點收斂于分布函數(shù)，要求是過高了，不得不如定義1加上限制.注2 定義1中的限制條件“對F的每個連續(xù)點x，(x) F(x)”是足夠?qū)挼?，例? (x)= F(x)= 除在0點以外(0)=0F(0)=1

4、)，逐點收斂于F(x)，而0點剛好是F(x) 的唯一不連續(xù)點，因此按定義1，F(xiàn).*注3 由于分布函數(shù)F的不連續(xù)點最多有可數(shù)個，F(xiàn) 意味著在R的一個稠密子集上處處收斂于F（D在R上稠密，是指對任意R, 在的任意小鄰域內(nèi)，一定有xD）.下面給出海萊(Helly)定理，它們對分布函數(shù)列弱收斂性的研究起著重要作用.定理1（海萊第一定理） 設是一列分布函數(shù)，那么存在一個單調(diào)不減右連續(xù)的函數(shù)F (不一定是分布函數(shù))，0, xR, 和一子列，使得對F的每個連續(xù)點x，(x)F(x) (k+).證 令表示全體有理數(shù). 0意味著是有界數(shù)列，因此可以找到一個收斂子列, 記. 接著考慮有界數(shù)列，存在它的一個收斂子列，

5、記. 如此繼續(xù)，得到, , k.現(xiàn)在考慮對角線序列. 顯然，=對所有正整數(shù)k都成立. 另外，由于單調(diào)不減，如果，有. 因此G(r)是定義在有理數(shù)上的有界不減函數(shù). 定義 xR. (1)這個函數(shù)在有理數(shù)上與G(x)相等，它顯然也是有界不減的. 下面證明，對F的每個連續(xù)點x, =F(x). (2)任意給定>0和F的連續(xù)點x，選取h >0，使得F(x+h)-F(x-h) </2. 根據(jù)有理數(shù)的稠密性，存在有理數(shù)滿足x-h << x+h,從而F(x-h). (3)另外，存在N () 使得當n時, .(4)進而由和F的單調(diào)性，當n時，,.綜合得到|. (5)(2)式得證.

6、由F的定義(1)，在它的不連續(xù)點上是右連續(xù)的. 定理1證畢.定理2 （海萊第二定理） 設F是一分布函數(shù)，是一列分布函數(shù)，F(xiàn). 如果g(x)是R上的有界連續(xù)函數(shù)，則. (6)證 因為g是有界函數(shù)，必存在c >0使得 |g (x) | < c, xR. 因為F的所有連續(xù)點構(gòu)成R上的稠密集，又由F()=0, F()=1，故對于任意給定的>0, 可以選取a>0使得±a是F的連續(xù)點，并且F(-a)</12c,1-F(a)</12c. (7)由于F，存在, 使得當n時,|(-a)-F(-a)|</12c, |1-(a)-(1-F(a)|</12c,

7、 (8)這樣我們有| |(-a)-F(-a)|+2F(-a)+|1-(a)-(1-F(a)|+2(1-F(a)</2. (9)下面考慮|. 由于g(x)在閉區(qū)間-a, a上一致連續(xù)，可以選取, 使得所有是F的連續(xù)點，且|g(x)-g()|</8. 于是|=|+|=. (10)由于 , , 再選擇使得當n時,i = 0,1,2,m. (11)故(10)式不超過/2. 因此，當n時,| <. (12)定理證畢.定理3 （勒維(Levy)連續(xù)性定理(continuity theorem)） 設F是一分布函數(shù)，是一列分布函數(shù). 如果F ，則相應的特征函數(shù)列關于t在任何有限區(qū)間內(nèi)一致收

8、斂于F的特征函數(shù).對任何b >0, 僅考慮 | t |. 令, xR. 注意到下列事實: |=1, , 則該定理的證明完全類似于定理2，不再重復.由前面一章知道，特征函數(shù)與分布函數(shù)相互唯一確定. 同樣，勒維連續(xù)性定理的逆命題也成立.定理4（逆極限定理） 設是分布函數(shù)的特征函數(shù)，如果對每一個t，, 且在t=0處連續(xù)，則一定是某個分布函數(shù)F的特征函數(shù), 且F.本定理的證明比較繁復，從略. 但定理的作用是很大的，它使得特征函數(shù)成為研究某些極限定理的重要工具. 這里先舉個例子來說明這個定理的應用.例1 用特征函數(shù)法證明二項分布的泊松逼近定理.證 設服從二項分布B (n,)，且. 它的特征函數(shù)為=

9、, 其中. 當n時，它的極限為，這正是泊松分布的特征函數(shù). 由逆極限定理，二項分布B (n,)依分布收斂于泊松分布P(). 二、性質(zhì)除連續(xù)性定理外，分布函數(shù)弱收斂還有下列性質(zhì).性質(zhì)1 設是一列分布函數(shù)，如果F, F是一連續(xù)的分布函數(shù)，則(x)在R上一致收斂于F(x).證明留給讀者.性質(zhì)2 設是一隨機變量，是一列隨機變量，(x)是R上的連續(xù)函數(shù)，如果，則.證 假設和的分布函數(shù)分別為F和. 如果，即F，由定理2，的特征函數(shù)收斂于, 該極限正是的特征函數(shù). 再類似定理4, 的分布函數(shù)弱收斂于的分布函數(shù)，即 .性質(zhì)3 設和是兩列常數(shù)，F(xiàn)是一分布函數(shù), 是一列分布函數(shù). 如果 a, b, F,

10、則()F(a x +b )，其中x使得a x +b是F的連續(xù)點.證 設x使得a x +b是F的連續(xù)點. 令>0使得F在a x +b±處連續(xù)（這是可能的，因為F的連續(xù)點在R上稠密). 顯然a x +b, 故對充分大的n,(13)因此由于F ，則讓0，由于F在a x+b處連續(xù)，即可完成證明.推論 如果，則,().這是因為與的分布函數(shù)分別為()與F()，再應用性質(zhì)3即可. 三、中心極限定理設一次貝努里試驗中成功的概率為p (0 <p <1), 令表示n重貝努里試驗中成功的次數(shù)，那么,概率P(=k) = b (k; n, p). 在實際問題中, 人們常常對成功次數(shù)

11、介于兩整數(shù)和之間(<)的概率感興趣，即要計算P(. (14)這一和式往往涉及很多項，直接計算相當困難. 然而德莫佛和拉普拉斯發(fā)現(xiàn)，當n時可以用正態(tài)分布函數(shù)作為二項分布的漸近分布.定理5（德莫佛拉普拉斯定理） 設(x)為標準正態(tài)分布的分布函數(shù). 對-<x<,有P=(x), (15)其中q=1-p.注意到E= np, Var= npq, (15)式左邊是標準化后的分布函數(shù)的極限，因此這個定理表示二項分布的標準化變量依分布收斂于標準正態(tài)分布. 簡單地說成二項分布漸近正態(tài)分布.歷史上人們是通過精確估計二項分布的值來說明該定理的. 但從現(xiàn)代分析概率論的觀點看，這個結(jié)果只是將要介紹的更一

12、般的中心極限定理（見定理6）的特殊情形. 因此, 我們不再給出它的證明.定理的直接應用是：當n很大，p的大小適中時，(14)式可用正態(tài)分布近似計算： P(=P =-. (16) 它的含義可用右圖(圖4-1)顯示（為了直觀，圖中顯示的是未標準化的隨機變量)：作相鄰小矩形，各小矩形的底邊中心為k(k)，底邊長為1，高度為b( k; n, p)，這些小矩形面積之和即為P(. 再作N(np, npq)的密度曲線，在,之間曲線覆蓋的面積為(16)式右邊之值.注1 第二章講過二項分布漸近于泊松分布的泊松定理，它與定理5是沒有矛盾的. 因為泊松定理要求是常數(shù)，而定理5中p是固定的. 實際應用中，當

13、n很大時, 若p大小適中，用正態(tài)分布(x)去逼近(15)式左邊的概率，精度達到O(); 如果p接近0(或1), 且np較小(或較大)，則二項分布的圖形偏斜度太大，用正態(tài)分布去逼近效果就不好. 此時用泊松分布去估計精度會更高.注2 實際計算中，若n不很大，把(16)式右邊修正為-,(17)一般可提高精度(從上圖看，相當于計算密度曲線下-0.5,+0.5之間的面積).例2 設n=, p=5, 求P().解 盡管p很小，但np=50很大，此時用泊松逼近并不好, 故用定理5.P()=P0.997.例3 拋擲一枚均勻硬幣時需要拋擲多少次才能保證出現(xiàn)正面的頻率在0.4與0.6之間的概率不小于90%？解 令

14、n為拋擲次數(shù), 為出現(xiàn)正面的次數(shù), B(n, 1/2). 題意要求n, 使P(0.40.6)0.9.利用定理5, 上式左邊等于P(0.2)-(-0.2)=2(0.2)-1,當n69時, 上式0.9.如果用第三章的切比雪夫不等式，則因E(/n)=1/2, Var(/n)=1/4n，取=0.1,則P(0.40.6)=P(|/n-1/2|<0.1)>1-25 / n, 只當n250時才滿足要求. 通過比較可以看出正態(tài)逼近比切比雪夫不等式要精確得多.德莫佛拉普拉斯定理的意義遠不限于這些數(shù)值計算. 該定理及其推廣形式實際上是概率論早期研究的中心問題.定義2 設是一列隨機變量. 如果存在常數(shù)列

15、與，使N (0,1), (18)就稱滿足中心極限定理(central limit theorem).定理6（林德貝格(Lindeberg)勒維定理） 設是一列獨立同分布的隨機變量. 記=, E=a, Var=, 則中心極限定理成立，即N (0,1).證 我們用特征函數(shù)法. 令與分別為-a與的特征函數(shù)，由于獨立同分布，故=. 另外，已知E=a, Var=, 所以特征函數(shù)有二階連續(xù)導數(shù)，并且由泰勒 (Taylor) 展開式得, x0.對給定的tR，=1-, n,從而, 后者是標準正態(tài)分布的特征函數(shù)，由定理4即得定理6的結(jié)論.中心極限定理有著廣泛的應用，在實際工作中，只要n足夠大，便可以把獨立同分布

16、的隨機變量和的標準化當作正態(tài)變量. 下面再看兩個例子.例4 近似計算時，原始數(shù)據(jù)四舍五入到小數(shù)第m位，這時舍入誤差可以看作在-0.5,0.5上均勻分布，而據(jù)此得n個的和，按四舍五入所得的誤差是多少呢？習慣上人們總是以各誤差上限的和來估計的誤差限，即0.5×n×. 當n很大時，這個數(shù)自然很大.事實上，誤差不太可能這么大. 因為獨立同分布，E=0, Var=/12. 由定理6，P(|)2(x)-1.若取x=3,上述概率為0.997. 和的誤差超過的可能性僅為0.003. 顯然，對較大的n，這一誤差界限遠小于習慣上的保守估計0.5.*例5 正態(tài)隨機數(shù)的產(chǎn)生有各種方法. 除第二章&

17、#167;5介紹的以外，下面這種方法也是常用的：設獨立同分布，都服從0,1 上的均勻分布，則E=0.5, ，由中心極限定理，n很大時,=近似服從標準正態(tài)分布，事實上取n=12就夠了. 于是取區(qū)間 0, 1上12個均勻隨機數(shù)，則即近似為標準正態(tài)隨機數(shù).定理6要求各同分布，這要求有時還是高了一點. 更一般地，林德貝格證明了在各獨立隨機變量組成的和式中，只要各被加項依概率“均勻地小”，中心極限定理就仍然成立. 即定理7（林德貝格費勒(Lindeberg-Feller)定理）設為獨立隨機變量序列，則=0 (費勒條件)與成立的充要條件是林德貝格條件被滿足 ：>0,0.特別地有定理8（李雅普諾夫(L

18、yapunov)定理） 若對獨立隨機變量序列，存在常數(shù)>0, 使當n時有,則中心極限定理成立. 這些結(jié)果解釋了正態(tài)隨機變量在自然界中普遍存在的原因. 例6 設是相互獨立的隨機變量序列，的分布列是. 易知,. 因此，當時，也就是說滿足李雅普洛夫條件，所以滿足中心極限定理. 對數(shù)理統(tǒng)計學的許多分支，如參數(shù)（區(qū)間）估計、假設檢驗、抽樣調(diào)查等，中心極限定理都有著重要的作用. 事實上，它也是保險精算等學科的理論基礎之一. 假定某保險公司為某險種推出保險業(yè)務，現(xiàn)有個顧客投保，第份保單遭受風險后損失索賠量記為. 對該保險公司而言，隨機理賠量應該是所有保單索賠量之和，記為S，即S弄清S的概率分布對保險公司進行保費定價至關重要. 在實際問題中，通常假定所有保單索賠相互獨立. 這樣，當保單總數(shù)充分大時，我們并不需要計算S 的精確分布（一般情況下這是困難甚至不可能的）. 此時，可應用中心