大數(shù)定律與中心極限定理

1、二、二、 中心極限定理一、一、 大數(shù)定律 第五章第五章 大數(shù)定律與中心極限大數(shù)定律與中心極限定理 第一章引入概率概念時，曾經(jīng)指出，事件發(fā)生的頻率在一、二次或少數(shù)次試驗中是有隨機(jī)性的，但隨著試驗次數(shù)n的增大，頻率將會逐漸穩(wěn)定且趨近于概率。特別，當(dāng)n很大時，頻率與概率會非?！敖咏钡摹＿@個非?！敖咏笔鞘裁匆馑迹窟@與高等數(shù)學(xué)中的極限概念有否聯(lián)系？本章將從理論上討論這一問題。 定理1 設(shè)隨機(jī)變量的數(shù)學(xué)期望E= ，方差D = 2,則對任意的正數(shù)，不等式 (1.1)成立。這個不等式稱為契貝雪夫(Cheby shev)不等式。 22|P一、一、 大數(shù)定律證 我們僅就連續(xù)型隨機(jī)變量情形加以證明。 設(shè) 的概率

2、密度為 f(x)，于是 xxdxxfxdxxfP)()()(|222222)()(1dxxfx證畢式(1.1)表明當(dāng)D 很小時，概率 更小。這就是說在上述條件下，隨機(jī)變量 落入E 的 鄰域之外的可能性很小，落入E 的 鄰域內(nèi)可能性很大。由此說明 的取值比較集中，也即離散程度較小，這正是方差的意義所在。契貝雪夫不等式在理論研究和實際應(yīng)用中都有很重要的價值。 |EP例1 已知正常男性成人血液中，每一毫升血液中白細(xì)胞的平均數(shù)是7300，均方差是700。試估計每毫升血液中白細(xì)胞數(shù)在52009400之間的概率。解 設(shè)每一毫升血液中白細(xì)胞數(shù)為 ，則由(1.2)式有 98)2100700(12100|730

3、0|940052002PP契貝雪夫不等式也可以寫成如下等價形式221|P(1.2) 的值。不等式估計試用切比雪夫的方差為思考題：設(shè)隨機(jī)變量5 . 7|, 5 . 2EP定理2 （伯努利(Bernoulli)大數(shù)定律）設(shè) 是n次獨立重復(fù)試驗中事件A發(fā)生的次數(shù)，p是事件A在每次試驗中發(fā)生的概率，則對任意正數(shù) 0，有 An1limpnnPAn(1.3)或 0limpnnPAn(1.4) 證 令 )1 (.,0, 1niiAiAi次試驗中不出現(xiàn)在第次試驗中出現(xiàn)在第則1， 2， n是n個相互獨立的隨機(jī)變量，且nippDpEii, 2 , 1, )1 (,易知 nAn21于是 nEnnpnpnnninii

4、iAA11)(22111)(| )(|nDnEPpnnPniininiiiA由契貝雪夫不等式得又由1， 2， n 的獨立性可知niiniipnpDD11)1 ()(從而有 )(0)1 (1)1 (|222nppnnpnppnnPA證畢 上述伯努利大數(shù)定律從理論上給出了頻率“接近”概率這種“現(xiàn)象”的更加確切的含意，它反映了大數(shù)次重復(fù)試驗下隨機(jī)現(xiàn)象所呈現(xiàn)的客觀規(guī)律性。 設(shè) 1， 2， n，是一個隨機(jī)變量序列，a是一個常數(shù)，若對任意的正數(shù) ，有 1|limaPnn則稱隨機(jī)變量序列 n依概率收斂于a，記作)(naPn定理2 是n次獨立重復(fù)試驗中事件A發(fā)生的次數(shù)，p是事件A在每次試驗中發(fā)生的概率，則An

5、)(npnnPA定理3（契貝雪夫大數(shù)定律）設(shè) 1， 2， n，是相互獨立的隨機(jī)變量序列，又設(shè)它們的方差有界，即存在常數(shù)c0，使得 , 2 , 1 ,icDi則對任意的 0，有 證明（略）11111limniniiinEnnP(1.5)或 01111limniniiinEnnP(1.6) 伯努利大數(shù)定律是契貝雪夫大數(shù)定律的特例, 在它們的證明中, 都是以契貝雪夫不等式為基礎(chǔ)的, 所以要求隨機(jī)變量具有方差。但進(jìn)一步的研究表明，方差存在這個條件并不是必要的。下面我們介紹獨立同分布的辛欽大數(shù)定律。定理4 （辛欽()大數(shù)定律）設(shè) 是一獨立同分布的隨機(jī)變量序列，且數(shù)學(xué)期望存在,21n, 2 , 1,iEi

6、則對任意的 0，有證明（略）111limniinnP (1.7) 伯努利大數(shù)定律說明了當(dāng)n很大時，事件發(fā)生的頻率會非?！敖咏备怕剩@里的辛欽大數(shù)定律則表明，當(dāng)n很大時，隨機(jī)變量在n次觀察中的算術(shù)平均值 也會“接近”它的期望值，即niin11)(11nnniPi這就為尋找隨機(jī)變量的期望值提供了一條實際可行的途徑。 在第二章介紹正態(tài)分布時曾經(jīng)特別強(qiáng)調(diào)了它在概率論與數(shù)理統(tǒng)計中的地位與作用，為什么會有許多隨機(jī)變量遵循正態(tài)分布？僅僅是經(jīng)驗猜測還是確有理論根據(jù)？這當(dāng)然是一個需要弄清的問題。實踐表明，客觀實際中有很多隨機(jī)變量，它們往往是由大量的相互獨立的隨機(jī)因素的綜合作用所形成的。而其中每一個別因素在總

7、的影響中所起的作用是微小的。下面將要介紹的中心極限定理從理論上闡明了這樣的隨機(jī)變量總是近似地服從正態(tài)分布的。二、二、 中心極限定理 定理5（獨立同分布的林德貝爾格-勒維(LindebergLevy)中心極限定理）設(shè) 是相互獨立，且服從同一分布的隨機(jī)變量序列，并具有數(shù)學(xué)期望和方差： ,21n, 2 , 1, 0,2iDEii則對任意的x有證明（略）兩點說明： dtexnnPxtniin21221lim（2.1） nnniin1 1無論隨機(jī)變量 服從同一分布的情況如何，只要 i滿足定理的條件，則隨機(jī)變量序列,21n當(dāng)n無限增大時，總以標(biāo)準(zhǔn)正態(tài)分布為其極限分布。或者說，當(dāng)n充分大時， 近似服從標(biāo)準(zhǔn)正

8、態(tài)分布。根據(jù)這一點，在實際應(yīng)用中，只要n充分大，我們便可把n個獨立同分布的隨機(jī)變量的和當(dāng)作正態(tài)隨機(jī)變量。 n2因為對 niiniinnnn11中每一被加項 ni有 nDnnDii1)(12故有 01limlimnnuDnin即 n中每一被加項對總和的影響都很微小，但它們迭加的和卻以標(biāo)準(zhǔn)正態(tài)分布作為極限。解 由于 i 服從參數(shù)為 = 0.05的指數(shù)分布。因此100, 2 , 1,4001,2012iDEii又由題設(shè)知 ，因此由定理5得： 1001ii1002020100180010020201001800PP12002000112002000PP8413.0)1 ()1(1211212dtet例

9、1 設(shè)有100個電子器件，它們的使用壽命 均服從參數(shù)為 =0.05(h-1)的指數(shù)分布，其使用情況為：第一個損壞第二個立即使用，第二個損壞第三個立即使用等等。 令 表示這100個電子器件使用的總時間，試求 超過1800h小時的概率。10021,作為定理5的推論有 定理6（德莫佛拉普拉斯(De Moivre-Laplace)定理）在n重貝努里試驗中，事件A在每次試驗中出現(xiàn)的概率為p，n為n次試驗中事件A出現(xiàn)的次數(shù)，則對任意的x，有dtexpnpnpPtxnn2221)1 (lim(2.2) 證證 由5.1的定理2的證明可知，n可以看成是n個相互獨立，且服從同一(01)分布的隨機(jī)變量 1，2，,

10、n之和，即)1 (,ppDpEii且 niin1由定理5得dtexpnpnpPtxnn2221)1 (lim 定理表明，二項分布的極限分布是正態(tài)分布。因此，當(dāng)n充分大時，我們可以利用(2.2)式來計算二項分布的概率。 對于相互獨立但不同分布的隨機(jī)變量和的分布的極限問題, 有李雅普諾夫中心極限定理。 定理7（李雅普諾夫Liapunov定理）設(shè)隨機(jī)變量 1，2 ， n，相互獨立，且 niiniiiiBiDE1222), 2 , 1( , 0,，記若存在 0，使得 )(0|1212nEBiniin則對任意的x，有證略略。 xtniiinndtexBP21221)(1lim (2.3) 不難看出,當(dāng)n

11、很大時， nininiiiniinnBB1111)(1近似服從標(biāo)準(zhǔn)正態(tài)分布N(0，1)，也即 niinnniiB11近似服從正態(tài)分布 ),(21nniiBN. 這就是說，無論各個隨機(jī)變量 i (i=1，2，)服從什么樣的分布，只要滿足定理7的條件，那么它們的和 iin1當(dāng)n很大時，就近似地服從正態(tài)分布。這也就說明了為什么正態(tài)隨機(jī)變量在概率論與數(shù)理統(tǒng)計中占有重要地位的一個最基本的原因。 , 例2 某單位有300架電話分機(jī)，每個分機(jī)有5%的時間要用外線通話，可以認(rèn)為各個電話分機(jī)用不用外線是相互獨立的。試問該單位總機(jī)至少應(yīng)配備多少條外線，才能以95%的把握保證各個分機(jī)在用外線時不必等待？解 令 )300,21(.,0,1，個分機(jī)不要用外線第個分機(jī)要用外線第iiii)05. 01 (05. 030005. 0300)05. 01 (05. 030005. 0300300300 xPxPn=300，p=0.05的二項分布。根據(jù)題意，要求確定最小的正整數(shù) x，使得 95. 0300 xP則 i 服從(01)分布，且p=0.05。如果假定300架分機(jī)中同時要求使用外線的分機(jī)數(shù)為 300 ，顯然有 = 3001ii是服從參數(shù)