大數(shù)定律和中心極限定理

1、 第五章第五章 大數(shù)定律和中心極限定理大數(shù)定律和中心極限定理 大數(shù)定律和中心極限定理是概率論的重要基本理大數(shù)定律和中心極限定理是概率論的重要基本理論，它們揭示了隨機(jī)現(xiàn)象的重要統(tǒng)計(jì)規(guī)律，在概率論，它們揭示了隨機(jī)現(xiàn)象的重要統(tǒng)計(jì)規(guī)律，在概率論與數(shù)理統(tǒng)計(jì)的理論研究和實(shí)際應(yīng)用中都具有重要論與數(shù)理統(tǒng)計(jì)的理論研究和實(shí)際應(yīng)用中都具有重要的意義。本章將介紹這方面的主要內(nèi)容。的意義。本章將介紹這方面的主要內(nèi)容。5.1 大數(shù)定律大數(shù)定律 迄今為止迄今為止,人們已發(fā)現(xiàn)很多人們已發(fā)現(xiàn)很多大數(shù)定律大數(shù)定律(laws of large numbers)所謂大數(shù)定律，簡(jiǎn)單地說，就是大量數(shù)目的隨機(jī)變量所呈現(xiàn)所謂大數(shù)定律，簡(jiǎn)單地

2、說，就是大量數(shù)目的隨機(jī)變量所呈現(xiàn)出的規(guī)律，這種規(guī)律一般用隨機(jī)變量序列的某種收斂性來刻出的規(guī)律，這種規(guī)律一般用隨機(jī)變量序列的某種收斂性來刻畫。本章僅介紹幾個(gè)最基本的大數(shù)定律。下面，先介紹一個(gè)畫。本章僅介紹幾個(gè)最基本的大數(shù)定律。下面，先介紹一個(gè)重要的不等式。重要的不等式。 一、切比雪夫（一、切比雪夫（Chebyshev）不等式）不等式 對(duì)于任一隨機(jī)變量對(duì)于任一隨機(jī)變量X ,若若EX與與DX均存在均存在,則對(duì)任意則對(duì)任意0,恒有恒有 . (5-1) 2 | DXEXXP 證明證明 我們僅給出我們僅給出X為連續(xù)型隨機(jī)變量情形下的證明。設(shè)為連續(xù)型隨機(jī)變量情形下的證明。設(shè)為連續(xù)型隨機(jī)變量為連續(xù)型隨機(jī)變量X

3、的密度函數(shù)，則有的密度函數(shù)，則有 （5-1）式的等價(jià)形式為）式的等價(jià)形式為 . (5-2) )(xf | EXXP d)(EXxxxf 22d)(|EXxxxfEXx 22d)(| xxfEXxDX21 | EXXP21DX 切比雪夫不等式說明，切比雪夫不等式說明，DX越小，則越小，則 越小，越小， 越大，越大， 也就是說，隨機(jī)變量也就是說，隨機(jī)變量X取值取值基本上集中在基本上集中在EX附近，這進(jìn)一步說明了方差的意義。附近，這進(jìn)一步說明了方差的意義。同時(shí)當(dāng)同時(shí)當(dāng)EX和和DX已知時(shí)，切比雪夫不等式給出了概率已知時(shí)，切比雪夫不等式給出了概率 的一個(gè)上界，該上界并不涉及隨機(jī)變的一個(gè)上界，該上界并不涉

4、及隨機(jī)變X的具體概率分布，而只與其方差的具體概率分布，而只與其方差DX和和有關(guān)，因此，有關(guān)，因此，切比雪夫不等式在理論和實(shí)際中都有相當(dāng)廣泛的應(yīng)切比雪夫不等式在理論和實(shí)際中都有相當(dāng)廣泛的應(yīng)用。需要指出的是，雖然切比雪夫不等式應(yīng)用廣泛，用。需要指出的是，雖然切比雪夫不等式應(yīng)用廣泛，但在一個(gè)具體問題中，由它給出的概率上界通常比較但在一個(gè)具體問題中，由它給出的概率上界通常比較保守。保守。 | EXXP | EXXP | EXXP 二、大數(shù)定律二、大數(shù)定律 在敘述大數(shù)定律之前，首先介紹兩個(gè)基本概念。在敘述大數(shù)定律之前，首先介紹兩個(gè)基本概念。 定義定義5.1 設(shè)設(shè) 為一個(gè)隨機(jī)變量序列，記為為一個(gè)隨機(jī)變量序

5、列，記為 ，若對(duì)任何，若對(duì)任何n2，隨機(jī)變量，隨機(jī)變量 都相互獨(dú)立都相互獨(dú)立，則稱，則稱 是是相互獨(dú)立的隨機(jī)變量序列相互獨(dú)立的隨機(jī)變量序列。 定義定義5.2 設(shè)設(shè) 為一隨機(jī)變量序列，為一隨機(jī)變量序列，X為一隨機(jī)變量為一隨機(jī)變量或常數(shù)，若對(duì)任意或常數(shù)，若對(duì)任意0，有，有則稱則稱 依概率收斂于依概率收斂于X,記為記為 或或 ， . 下面是一個(gè)帶普遍性結(jié)果的大數(shù)定律。下面是一個(gè)帶普遍性結(jié)果的大數(shù)定律。 ,21nXXXnXnXXX,21nXnX1limXXPnnnXXXPn0PnXXn 定理定理5.1 （切比雪夫大數(shù)定律）設(shè)（切比雪夫大數(shù)定律）設(shè) 是相互獨(dú)立的隨機(jī)變是相互獨(dú)立的隨機(jī)變量序列，并且量序列

6、，并且 和和 均存在，均存在， ,同時(shí)，存在常數(shù)同時(shí)，存在常數(shù)C，使，使則對(duì)任意的則對(duì)任意的0，有，有 （5-3）即，即， . 證明證明 因因 為獨(dú)立隨機(jī)變量序列，故為獨(dú)立隨機(jī)變量序列，故 .根據(jù)切比雪夫不等式可得根據(jù)切比雪夫不等式可得 ,nXiEXiDX, 2 , 1i, 2 , 1 ,iCDXi111lim11niniiinEXnXnP)( 01111nEXnXnPniiniinXnCDXnXnDniinii12111niniiininiiiXnEXnPEXnXnP11111111所以所以 利用計(jì)算極限的夾逼準(zhǔn)則可知，（利用計(jì)算極限的夾逼準(zhǔn)則可知，（5-3）式成立。）式成立。 本結(jié)果由俄國(guó)

7、數(shù)學(xué)家切比雪夫于本結(jié)果由俄國(guó)數(shù)學(xué)家切比雪夫于1866年證明，是關(guān)于大數(shù)年證明，是關(guān)于大數(shù)定律的普遍結(jié)果，許多大數(shù)定律的古典結(jié)果都是它的特例。定律的普遍結(jié)果，許多大數(shù)定律的古典結(jié)果都是它的特例。 推論推論1 設(shè)設(shè) 是獨(dú)立同分布的隨機(jī)變量序列，且是獨(dú)立同分布的隨機(jī)變量序列，且則對(duì)任意則對(duì)任意0，有，有 . （5-4）221111nCXnDnii1111112niniiiEXnXnPnCnX , 2 , 1,2iDXEXii11lim1niinXnP 證明證明 只需將只需將 代入（代入（5-3）即證（）即證（5-4）. 推論推論1使我們關(guān)于算術(shù)平均值的法則有了理論上的依據(jù)。如使我們關(guān)于算術(shù)平均值的法

8、則有了理論上的依據(jù)。如我們要測(cè)量某段距離，在相同條件下重復(fù)進(jìn)行我們要測(cè)量某段距離，在相同條件下重復(fù)進(jìn)行n次，得次，得n個(gè)測(cè)個(gè)測(cè)量值量值 ，它們可以看成是，它們可以看成是n個(gè)相互獨(dú)立的隨機(jī)變量個(gè)相互獨(dú)立的隨機(jī)變量,具有相同的分布、相同的數(shù)學(xué)期望具有相同的分布、相同的數(shù)學(xué)期望和方差和方差 ，由推論，由推論1的大的大數(shù)定律知，只要數(shù)定律知，只要n充分大，則以接近于充分大，則以接近于1的概率保證的概率保證這便是在這便是在n較大情況下反映出的客觀規(guī)律較大情況下反映出的客觀規(guī)律,故稱為故稱為“大數(shù)大數(shù)”定律。定律。 比推論比推論1條件更寬的一個(gè)大數(shù)定律是條件更寬的一個(gè)大數(shù)定律是辛欽辛欽（Khintchin

9、e）大大數(shù)定律數(shù)定律,它不需要推論它不需要推論1條件中條件中“方差方差 存在存在”的限制，而在的限制，而在其它條件不變的情況下，仍有（其它條件不變的情況下，仍有（5-4）式的結(jié)論。）式的結(jié)論。niniinEXn1111nXXX,212niiXn11iDX 推論推論2（貝努利大數(shù)定律）設(shè)事件（貝努利大數(shù)定律）設(shè)事件A發(fā)生的概率為發(fā)生的概率為p，在，在n重重貝努利試驗(yàn)中貝努利試驗(yàn)中A發(fā)生的頻率為發(fā)生的頻率為 ，則對(duì)任意的，則對(duì)任意的0，有，有 , （5-5）即，即， . 證明證明 首先引入一隨機(jī)變量序列首先引入一隨機(jī)變量序列 ，對(duì)每個(gè)，對(duì)每個(gè)Xi取值如下：取值如下： 則則 ， . 從而，從而， ，

10、 , .將將 一并代入（一并代入（5-4）式便得（）式便得（5-5）式）式. 這是歷史上最早的大數(shù)定律，是貝努利在這是歷史上最早的大數(shù)定律，是貝努利在1713年建立的。年建立的。概率論的研究到現(xiàn)在約有概率論的研究到現(xiàn)在約有300多年的歷史，最終以事件的頻率多年的歷史，最終以事件的頻率穩(wěn)定值來定義其概率。作為概率這門學(xué)科的基礎(chǔ)，其穩(wěn)定值來定義其概率。作為概率這門學(xué)科的基礎(chǔ)，其“定義定義”nf1 |limpfPnnnpfPn ,nX 10發(fā)生次試驗(yàn)中第不發(fā)生次試驗(yàn)中第AiAiXini, 2 , 1), 1 (pBXini, 2 , 1pEXi)1 (ppDXini, 2 , 1nniifXn11

11、的合理性這一懸而未決的帶根本性的問題的合理性這一懸而未決的帶根本性的問題,由貝努利于由貝努利于1713年發(fā)年發(fā)表的這個(gè)表的這個(gè)“大數(shù)定律大數(shù)定律”給予了解決，被稱為概率論的第一篇論給予了解決，被稱為概率論的第一篇論文文,為概率論的公理化體系奠定了理論基礎(chǔ)。之所以被成為為概率論的公理化體系奠定了理論基礎(chǔ)。之所以被成為“定定律律”,是這一規(guī)律表述了一種全人類多年的集體經(jīng)驗(yàn)因此是這一規(guī)律表述了一種全人類多年的集體經(jīng)驗(yàn)因此 ，對(duì)爾后的，對(duì)爾后的類似定理統(tǒng)稱為大數(shù)類似定理統(tǒng)稱為大數(shù)“定律定律”。 在大數(shù)定律中，由在大數(shù)定律中，由 可知，對(duì)充分大的可知，對(duì)充分大的n，有，有 ， 或或 ，根據(jù)實(shí)際，根據(jù)實(shí)際推斷原理推斷原理,概率論中把這兩類特別的隨機(jī)事件實(shí)際上當(dāng)作非隨機(jī)概率論中把這兩類特別的隨機(jī)事件實(shí)際上當(dāng)作非隨機(jī)事件來處理的事件來處理的,也就不能引起人們的重視也就不能引起人們的重視.但貝努利正是通過對(duì)這但貝努利正是通過對(duì)這種所謂種所謂“非隨機(jī)事件非隨機(jī)事件”的研究的研究,以嚴(yán)