大數(shù)定律與中心極限定理

1、二、二、 中心極限定理一、一、 大數(shù)定律 第五章第五章 大數(shù)定律與中心極限大數(shù)定律與中心極限定理 第一章引入概率概念時，曾經(jīng)指出，事件發(fā)生的頻率在一、二次或少數(shù)次試驗中是有隨機性的，但隨著試驗次數(shù)n的增大，頻率將會逐漸穩(wěn)定且趨近于概率。特別，當(dāng)n很大時，頻率與概率會非?！敖咏钡?。這個非?！敖咏笔鞘裁匆馑?？這與高等數(shù)學(xué)中的極限概念有否聯(lián)系？本章將從理論上討論這一問題。 定理1 設(shè)隨機變量的數(shù)學(xué)期望E= ，方差D = 2,則對任意的正數(shù)，不等式 (1.1)成立。這個不等式稱為契貝雪夫(Cheby shev)不等式。 22|P一、一、 大數(shù)定律證 我們僅就連續(xù)型隨機變量情形加以證明。 設(shè) 的概率

2、密度為 f(x)，于是 xxdxxfxdxxfP)()()(|222222)()(1dxxfx證畢式(1.1)表明當(dāng)D 很小時，概率 更小。這就是說在上述條件下，隨機變量 落入E 的 鄰域之外的可能性很小，落入E 的 鄰域內(nèi)可能性很大。由此說明 的取值比較集中，也即離散程度較小，這正是方差的意義所在。契貝雪夫不等式在理論研究和實際應(yīng)用中都有很重要的價值。 |EP例1 已知正常男性成人血液中，每一毫升血液中白細(xì)胞的平均數(shù)是7300，均方差是700。試估計每毫升血液中白細(xì)胞數(shù)在52009400之間的概率。解 設(shè)每一毫升血液中白細(xì)胞數(shù)為 ，則由(1.2)式有 98)2100700(12100|730

3、0|940052002PP契貝雪夫不等式也可以寫成如下等價形式221|P(1.2) 的值。不等式估計試用切比雪夫的方差為思考題：設(shè)隨機變量5 . 7|, 5 . 2EP定理2 （伯努利(Bernoulli)大數(shù)定律）設(shè) 是n次獨立重復(fù)試驗中事件A發(fā)生的次數(shù)，p是事件A在每次試驗中發(fā)生的概率，則對任意正數(shù) 0，有 An1limpnnPAn(1.3)或 0limpnnPAn(1.4) 證 令 )1 (.,0, 1niiAiAi次試驗中不出現(xiàn)在第次試驗中出現(xiàn)在第則1， 2， n是n個相互獨立的隨機變量，且nippDpEii, 2 , 1, )1 (,易知 nAn21于是 nEnnpnpnnninii

4、iAA11)(22111)(| )(|nDnEPpnnPniininiiiA由契貝雪夫不等式得又由1， 2， n 的獨立性可知niiniipnpDD11)1 ()(從而有 )(0)1 (1)1 (|222nppnnpnppnnPA證畢 上述伯努利大數(shù)定律從理論上給出了頻率“接近”概率這種“現(xiàn)象”的更加確切的含意，它反映了大數(shù)次重復(fù)試驗下隨機現(xiàn)象所呈現(xiàn)的客觀規(guī)律性。 設(shè) 1， 2， n，是一個隨機變量序列，a是一個常數(shù)，若對任意的正數(shù) ，有 1|limaPnn則稱隨機變量序列 n依概率收斂于a，記作)(naPn定理2 是n次獨立重復(fù)試驗中事件A發(fā)生的次數(shù)，p是事件A在每次試驗中發(fā)生的概率，則An

5、)(npnnPA定理3（契貝雪夫大數(shù)定律）設(shè) 1， 2， n，是相互獨立的隨機變量序列，又設(shè)它們的方差有界，即存在常數(shù)c0，使得 , 2 , 1 ,icDi則對任意的 0，有 證明（略）11111limniniiinEnnP(1.5)或 01111limniniiinEnnP(1.6) 伯努利大數(shù)定律是契貝雪夫大數(shù)定律的特例, 在它們的證明中, 都是以契貝雪夫不等式為基礎(chǔ)的, 所以要求隨機變量具有方差。但進(jìn)一步的研究表明，方差存在這個條件并不是必要的。下面我們介紹獨立同分布的辛欽大數(shù)定律。定理4 （辛欽()大數(shù)定律）設(shè) 是一獨立同分布的隨機變量序列，且數(shù)學(xué)期望存在,21n, 2 , 1,iEi

6、則對任意的 0，有證明（略）111limniinnP (1.7) 伯努利大數(shù)定律說明了當(dāng)n很大時，事件發(fā)生的頻率會非?！敖咏备怕?，而這里的辛欽大數(shù)定律則表明，當(dāng)n很大時，隨機變量在n次觀察中的算術(shù)平均值 也會“接近”它的期望值，即niin11)(11nnniPi這就為尋找隨機變量的期望值提供了一條實際可行的途徑。 在第二章介紹正態(tài)分布時曾經(jīng)特別強調(diào)了它在概率論與數(shù)理統(tǒng)計中的地位與作用，為什么會有許多隨機變量遵循正態(tài)分布？僅僅是經(jīng)驗猜測還是確有理論根據(jù)？這當(dāng)然是一個需要弄清的問題。實踐表明，客觀實際中有很多隨機變量，它們往往是由大量的相互獨立的隨機因素的綜合作用所形成的。而其中每一個別因素在總

7、的影響中所起的作用是微小的。下面將要介紹的中心極限定理從理論上闡明了這樣的隨機變量總是近似地服從正態(tài)分布的。二、二、 中心極限定理 定理5（獨立同分布的林德貝爾格-勒維(LindebergLevy)中心極限定理）設(shè) 是相互獨立，且服從同一分布的隨機變量序列，并具有數(shù)學(xué)期望和方差： ,21n, 2 , 1, 0,2iDEii則對任意的x有證明（略）兩點說明： dtexnnPxtniin21221lim（2.1） nnniin1 1無論隨機變量 服從同一分布的情況如何，只要 i滿足定理的條件，則隨機變量序列,21n當(dāng)n無限增大時，總以標(biāo)準(zhǔn)正態(tài)分布為其極限分布?；蛘哒f，當(dāng)n充分大時， 近似服從標(biāo)準(zhǔn)正

8、態(tài)分布。根據(jù)這一點，在實際應(yīng)用中，只要n充分大，我們便可把n個獨立同分布的隨機變量的和當(dāng)作正態(tài)隨機變量。 n2因為對 niiniinnnn11中每一被加項 ni有 nDnnDii1)(12故有 01limlimnnuDnin即 n中每一被加項對總和的影響都很微小，但它們迭加的和卻以標(biāo)準(zhǔn)正態(tài)分布作為極限。解 由于 i 服從參數(shù)為 = 0.05的指數(shù)分布。因此100, 2 , 1,4001,2012iDEii又由題設(shè)知 ，因此由定理5得： 1001ii1002020100180010020201001800PP12002000112002000PP8413.0)1 ()1(1211212dtet例

9、1 設(shè)有100個電子器件，它們的使用壽命 均服從參數(shù)為 =0.05(h-1)的指數(shù)分布，其使用情況為：第一個損壞第二個立即使用，第二個損壞第三個立即使用等等。 令 表示這100個電子器件使用的總時間，試求 超過1800h小時的概率。10021,作為定理5的推論有 定理6（德莫佛拉普拉斯(De Moivre-Laplace)定理）在n重貝努里試驗中，事件A在每次試驗中出現(xiàn)的概率為p，n為n次試驗中事件A出現(xiàn)的次數(shù)，則對任意的x，有dtexpnpnpPtxnn2221)1 (lim(2.2) 證證 由5.1的定理2的證明可知，n可以看成是n個相互獨立，且服從同一(01)分布的隨機變量 1，2，,

10、n之和，即)1 (,ppDpEii且 niin1由定理5得dtexpnpnpPtxnn2221)1 (lim 定理表明，二項分布的極限分布是正態(tài)分布。因此，當(dāng)n充分大時，我們可以利用(2.2)式來計算二項分布的概率。 對于相互獨立但不同分布的隨機變量和的分布的極限問題, 有李雅普諾夫中心極限定理。 定理7（李雅普諾夫Liapunov定理）設(shè)隨機變量 1，2 ， n，相互獨立，且 niiniiiiBiDE1222), 2 , 1( , 0,，記若存在 0，使得 )(0|1212nEBiniin則對任意的x，有證略略。 xtniiinndtexBP21221)(1lim (2.3) 不難看出,當(dāng)n

11、很大時， nininiiiniinnBB1111)(1近似服從標(biāo)準(zhǔn)正態(tài)分布N(0，1)，也即 niinnniiB11近似服從正態(tài)分布 ),(21nniiBN. 這就是說，無論各個隨機變量 i (i=1，2，)服從什么樣的分布，只要滿足定理7的條件，那么它們的和 iin1當(dāng)n很大時，就近似地服從正態(tài)分布。這也就說明了為什么正態(tài)隨機變量在概率論與數(shù)理統(tǒng)計中占有重要地位的一個最基本的原因。 , 例2 某單位有300架電話分機，每個分機有5%的時間要用外線通話，可以認(rèn)為各個電話分機用不用外線是相互獨立的。試問該單位總機至少應(yīng)配備多少條外線，才能以95%的把握保證各個分機在用外線時不必等待？解 令 )300,21(.,0,1，個分機不要用外線第個分機要用外線第iiii)05. 01 (05. 030005. 0300)05. 01 (05. 030005. 0300300300 xPxPn=300，p=0.05的二項分布。根據(jù)題意，要求確定最小的正整數(shù) x，使得 95. 0300 xP則 i 服從(01)分布，且p=0.05。如果假定300架分機中同時要求使用外線的分機數(shù)為 300 ，顯然有 = 3001ii是服從參數(shù)