隨機變量序列的收斂性及其相互關(guān)系

1、長江大學(xué)畢業(yè)論文題 目 名 稱 隨機變量序列的收斂性及其相互關(guān)系院 （系） 信息與數(shù)學(xué)學(xué)院 專 業(yè) 班 級 信計11001班 學(xué) 生 姓 名 傅志立 指 導(dǎo) 教 師 李 治 輔 導(dǎo) 教 師_ 李 治_ 摘要：概率極限理論不僅是概率論的重要組成部分，而且在數(shù)理統(tǒng)計中有廣泛的應(yīng)用。本文主要對a.e.收斂、依概率收斂、依分布收斂、r階收斂四種隨機變量序列的概率和收斂性性質(zhì)進行闡述；并結(jié)合具體實例討論了它們之間的關(guān)系，進一步對概率論中依分布收斂的等價條件和一些依概率收斂的弱大數(shù)定律進行了具體的研究.目錄1. 引言2. a.e.收斂、依概率收斂、依分布收斂、r階收斂的概念、性質(zhì)及其相互關(guān)系.2.1 a.

2、e.收斂的概念及性質(zhì)2.2 依概率收斂的概念及性質(zhì)2.3 依分布收斂的概念及性質(zhì)2.4 r-階收斂的概念及性質(zhì)2.5 結(jié)論3. 隨機變量序列依分布收斂的等價條件4. 隨機變量依概率收斂的一些結(jié)果5. 小結(jié)6. 參考文獻1.引言：在數(shù)學(xué)分析和實變函數(shù)中“收斂性”極為重要，特別在實變函數(shù)中對可測函數(shù)列收斂性的討論。實變函數(shù)主要是在集合論與測度論的基礎(chǔ)上建立起了Lebesgue積分以及它的一些性質(zhì)，而Lebesgue積分的討論中，在測度空間中關(guān)于可測函數(shù)列的各種收斂性以及它們之間的關(guān)系的討論在理論和應(yīng)用上都是十分重要的.同樣在現(xiàn)代概率論中，其中的許多概念也是借助于集合論和測度論中的概念來定義和研究的

3、，比如概率論中事件間的關(guān)系及運算與集合論中代數(shù)間的關(guān)系及運算是相類似的，而且在許多情況下，用集合論的表達方式更簡練、更容易理解，不妨設(shè)為滿足某一性質(zhì)的全體所成的集合，若F為的一個代數(shù)，則稱為可測空間；若為F上的測度，則稱為測度空間；若為F上的測度，且，則稱為F上的概率測度，稱為概率測度空間；由此我們通過測度論知識就得到了概率測度空間，同時引出了概率公理化定義：概率是在代數(shù)F上的一個非負的、規(guī)范的、可列可加的集函數(shù)，其中為某一試驗中可能的結(jié)果的全體,稱為樣本空間；F為隨機事件全體，稱為事件域（代數(shù)）；也就是說概率P是概率測度空間F上的一個測度集函數(shù)，同實變函數(shù)中的可測函數(shù)列收斂性一樣，在概率論中

4、我們有必要研究隨機變量序列的收斂性，這對于概率論的學(xué)習(xí)是十分重要的.2.a.e.收斂、依概率收斂、依分布收斂、r階收斂的概念、性質(zhì)及其相互關(guān)系.在概率論中，概率空間上的隨機變量就是樣本空間上關(guān)于F的可測函數(shù)，對于一般的可測函數(shù)的序列我們在數(shù)學(xué)分析和實變函數(shù)中已有認識，其中“收斂性”理論是非常重要的，在概率論中也一樣重要，隨機變量序列有：幾乎處處收斂，依概率收斂，依分布收斂，r階收斂。2.1 a.e.收斂的概念及性質(zhì)定義 1 設(shè) 是一可測函數(shù)序列，是可測函數(shù)，若存在N.A,N=0,使得對于每一Nc有() (),(n)則稱幾乎處處收斂于，記作 a.e.如果對于每一Nc， - ()0,(m,n)則稱

5、幾乎處處相互收斂，記作- a.e.0.定理 1 a.e.（某一）（n）的充分必要條件是- a.e.0(m,n).證: 利用性質(zhì)a.e.， gna.e. ,a.e.,g=f,a.e.,則gna.e. g.,假設(shè)，f皆有限，則存在N.A,N=0，當(dāng)Nc時() ()，利用Cauchy準(zhǔn)則，- 0(m,n)，即- a.e.0.反之，若- a.e.0，則存在一M.A,M=0，當(dāng)Mc時，- 0(m,n)，根據(jù)Cauchy準(zhǔn)則，存在一個有數(shù)a,使() a(n)令 =a0，McM 則 a.e.且f是一有限可測函數(shù)。f的可測性是由于Mc是可測函數(shù)序列，且對一切有() Mc() ()，（n），即f是可測函數(shù)序列的

6、極限，因而可測。2.2 依概率收斂的概念及性質(zhì)定義 2 設(shè)Xn為一隨機變量序列，X為一隨機變量，如果對任意的，有P（|Xn-X|）0(n),則程序列Xn依概率收斂于X，記作XnpX. 依概率收斂的含義是：Xn對X的絕對偏差不小于任意給定的可能性將隨著n的增大而越來越小。等價于P（|Xn-X|<）1(n).特別當(dāng)X為退化分布是，即P(X=c)=1,則稱序列Xn依概率收斂于c，即Xnpc定理 2 設(shè)Xn，Yn是兩個隨機變量序列，a,b是兩個常量。如果Xnpa ,Ynpb,則有（1）Xn±Ynpa±b;(2) Xn×Ynpa×b；(3) Xn÷

7、Ynpa÷b;證明 （1）因為|（Xn+Yn）-（a+b）|（|Xn-a|2）（|Yn-b|2）所以 0P（|（Xn+Yn）-（a+b）|）PXn-a2+PYn-b20 (n)，即P（|（Xn+Yn）-（a+b）|<）1，由此得Xn+Ynpa+b，類似可證Xn-Ynpa-b. （2）i）若Xnp0，則有Xn2p0.這是因為對任意，有PXn2= PXn0 (n).ii）若Xnpa，則有cXnpca.這是因為對任意c0，有P|cXn-ca|= PXn-a|c|0 (n).而當(dāng)c=0時，結(jié)論顯然成立。iii）若Xnpa，則有.這是因為有以下一系類結(jié)論：Xn-ap0， （Xn-a）2p

8、0， 2a（Xn-a）p0，（Xn-a）2+2aXn-a=Xn2-a2p0， 即Xn2pa2iv）由iii）及（1）知Xn2pa2， Yn2pb2， （Xn+Yn）2p（a+b）2.從而有 Xn×Yn=12【（Xn+Yn）2-Xn2-Yn2】p12【（a+b）2-a2-b2】=ab（3）為了證明Xn/Ynpa/b，我們先證：1/Ynp1/b,這是因為對任意，有P（|-1b|）=P（|Yn-bYnb|）=P（|Yn-bb2+b（Yn-b）|，|Yn-b|<）+ P（|Yn-bb2+b（Yn-b）|，|Yn-b|）P（|Yn-b|b2-|b|）+P（|Yn-b|）=P（|Yn-b|

9、（b2-|b|）+ P（|Yn-b|）0 (n)這就證明了1/Ynp1/b，再與Xnpa結(jié)合，利用2即得Xn/Ynpa/b.2.3依分布收斂的概念及性質(zhì)定義 3 設(shè)隨機變量X,X1，X2，的分布函數(shù)分別為F(x)，F(xiàn)1（x），F(xiàn)2（x），。若對F(x)的任一連續(xù)點x，都有l(wèi)imnFn（x）= F(x)，則稱Fn（x）弱收斂于F(x)，記作 Fn（x）wF(x).也稱Xn按分部收斂于X，記作 XnLX.定理 3 XnpX XnLX.設(shè)隨機變量X,X1，X2，的分布函數(shù)分別為F(x)，F(xiàn)1（x），F(xiàn)2（x），。為證 XnLX，相當(dāng)于證Fn（x）wF(x)，所以只需證：對所有的x，有F(x-0)li

10、mF(x)Fn（x）limnFn（x）F(x+0). （a）因為若上式成立，則當(dāng)x是F(x)的連續(xù)點時，有F(x-0)=F(x+0)，由此即可得Fn（x）wF(x)為證（a）式成立，先令x'<x，則Xx'= Xnx，Xx' Xn>x，Xx'Xnx |Xn-X |x-x',從而有F(x') Fn（x）+P（ |Xn-X |x-x'）.由 XnpX，得P（ |Xn-X |x-x'）0 (n).所以有F(x') limF(x)Fn（x）.再令x'x，即得 F(x-0)limF(x)Fn（x）.同理可證，當(dāng)x&

11、#39;'>x時，有 limnFn（x）F(x'').令x''x，即得 limnFn（x）F(x=0).定理4 若c為常數(shù)，則 Xnpc的充要條件是： XnLc.證明：（必要性）已由定理3給出，下證（充分性）：記 Xn的分布函數(shù)為Fn（x）=n=1,2，因為常數(shù)c的分布函數(shù)為對任意的，有P（| Xn-c|）=P（ Xnc+）+P（ Xnc-）P（ Xn>c+/2）+P（ Xnc-）=1-Fnc+/2+Fn（c-）.由于x= c+/2和x= c-均為F(x)的連續(xù)點，且Fn（x）wF(x)，所以當(dāng)(n)時，有Fnc+/2F(c+/2)=1， F

12、nc-F(c-)=0.由此得 P（| Xn-c|）0 即 Xnpc。引理 1 （馬爾科夫Mapkob不等式）設(shè)隨機變量有r階絕對矩，即E|r<,(r>0),則對任意>0有 P（|）E|rr. （1.4） 取r=2，并-E以代替，得P（|-E|）D2，稱為切比雪夫不等式2.4 r階收斂的概念及性質(zhì)定義 4 設(shè)對隨機變量n及有E|r<，其中r>0為常數(shù)，如果limnE|n-|r=0, 則稱nr-階收斂于，記為 nr.定理 5 如果 nr，則 np；反之不真.證明：由引理1，對，有P(|-E|) E|n-|rr，又limnE|n-|r=0，所以limnP(| n-|)=

13、0，即得 np.2.5結(jié)論由上面四種收斂性的概念及性質(zhì)間可得關(guān)系：幾乎處處收斂依概率收斂依分布收斂.階收斂依概率收斂依分布收斂.階收斂依概率收斂依分布收斂幾乎處處收斂3.隨機變量序列依分布收斂的等價條件. 因為隨機變量取值的統(tǒng)計規(guī)律可由它的分布函數(shù)完全確定，所以自然會考慮利用分布函數(shù)的收斂性來定義隨機變量的收斂性，又分布函數(shù)和特征函數(shù)一一對應(yīng)，而判斷一個分布函數(shù)的序列的收斂是否弱收斂有時是很麻煩的，但判斷相應(yīng)的特征函數(shù)序列的收斂性卻往往比較容易，下面給出弱收斂的充要條件，首先做一些準(zhǔn)備：定理 6 設(shè)均為分布函數(shù)，則的充要條件是：對于函數(shù)的連續(xù)點集的某個稠子集有. （2.1）證明：由立得必要性.

14、下設(shè)（2.1）式成立.對任何,取且則有 .令，用（2.1）式得.再令便得證，即.引理 2 （海來Helly第一定理）任一分布函數(shù)列必定含弱收斂于某函數(shù)的子列，而且單調(diào)不減，右連續(xù)，.注：在引理2中不能斷定海來第一定理中的是分布函數(shù).事實上，取，則對任應(yīng)的分布函數(shù),極限函數(shù)不是分布函數(shù).引理 3 （海來Helly第二定理）設(shè)分布函數(shù)列弱收斂于分布函數(shù)，則對任何有界連續(xù)函數(shù)有. （其中分別是的密度函數(shù)）.定理 7 （連續(xù)性定理）分布函數(shù)列弱收斂到分布函數(shù)的充要條件是：相應(yīng)的特征函數(shù)列逐點收斂到相應(yīng)的特征函數(shù).證明：令分別是的密度函數(shù).（必要性）：設(shè)，對有界連續(xù)函數(shù)分別用引理3便得，當(dāng)時對一切有 .

15、（充分性）據(jù)引理2知，分布函數(shù)列必存在子序列，使當(dāng)時.其中極限函數(shù)是上非減右連續(xù)函數(shù)且有界：.下證此二式均取等號，即為分布函數(shù).如若不然，有. （2.2）那么，一方面由及連續(xù)知，對滿足的任意，存在充分小的正數(shù)，使.另一方面，既然，由（2.1）式知可選取，使與皆為的連續(xù)點，且存在自然數(shù)，使當(dāng)時有. （2.3）再由及時有，便可得到這與（2.3）式矛盾.至此得證的子列弱收斂到分布函數(shù).對此運用已證的必要性，知所對應(yīng)的特征函數(shù)為.再由極限函數(shù)的唯一性定理可推出.最后證明分布函數(shù)列也弱收斂到.仍然用反證法.如若不然，必存在的連續(xù)點，使不趨于.于是有界數(shù)列必含收斂子列.其極限值.對分布函數(shù)序列運用引理2，

16、又存在子列使.與前述至少在上不同.但是重復(fù)上述論證可知也應(yīng)當(dāng)是與對應(yīng)的分布函數(shù)，由唯一性定理知，這導(dǎo)出矛盾.定理證完.下面給出弱收斂的各種等價條件：如果存在一個函數(shù)，使對每一,有，則稱特征函數(shù)列為廣義均勻收斂到，而且這收斂對每一有限區(qū)間中的是均勻的（即對任意，任意有限區(qū)間，存在正整數(shù)，使對一切，當(dāng)時 ，有），這時也說廣義均勻（一致）收斂.注：由于連續(xù)，如廣義均勻收斂到，則必定是連續(xù)函數(shù).系1 設(shè)分布函數(shù)列對應(yīng)的特征函數(shù)列為，則下列四條件等價：（1）弱收斂于某分布函數(shù)，（2）收斂到某函數(shù)，在點0連續(xù)，（3）收斂到某連續(xù)函數(shù)，（4）廣義均勻收斂到某函數(shù).當(dāng)任一條件滿足時，是的特征函數(shù).下面說明系1

17、中等價條件（2）中“在的連續(xù)性”是不可缺少的條件.例6 設(shè) .是一列特征函數(shù).實際上，其中 是分布函數(shù) （2.5）的密度函數(shù).顯然，對任意，這里，在0點不連續(xù)，也不是特征函數(shù).另外對于（2.5）中，極限函數(shù)不是一分布函數(shù).至此我們可將隨機變量序列的四種收斂性間的蘊含關(guān)系總結(jié)如下：幾乎處處收斂依概率收斂分布函數(shù)的弱收斂 r階收斂 特征函數(shù)逐點收斂4.隨機變量依概率收斂的一些結(jié)果在概率論，我們用“頻率的穩(wěn)定性”引出概率這個基本的概念.許多試驗結(jié)果表明，雖然一次隨機試驗中某確定事件發(fā)生與否不能預(yù)言，但是如果在相同條件下大量重復(fù)這個試驗，則此事件發(fā)生的頻率會穩(wěn)定在某個值的附近.這說明，在一定條件下各事

18、件出現(xiàn)的可能性的大小是客觀存在的，可以用上述頻率的穩(wěn)定值來度量，這就是事件的概率.頻率的穩(wěn)定性呈現(xiàn)在大量重復(fù)試驗中，歷史上把這個試驗次數(shù)很大時出現(xiàn)的規(guī)律稱作大數(shù)定律.后來我們引入了伯努利概型來刻畫獨立重復(fù)試驗.將一成功（即A發(fā)生）概率為p的試驗獨立重復(fù)n次，其中成功次，則是二項分布隨機變量.因此成功的頻率也是隨機變量.其期望為p與n無關(guān)，且方差當(dāng)時趨于0.熟知，方差為0的隨機變量恒等于它的期望，所以當(dāng)時頻率應(yīng)以概率p為極限.另一方面，可以寫，其中相互獨立，具有相同的伯努利分布，至此，問題轉(zhuǎn)化為研究時的平均值序列的極限行為.鑒于已在上面討論過隨機變量列的各種收斂性，因此我們可以給出大數(shù)定律的嚴格

19、定義.定義5 設(shè)為隨機變量序列，它們都有有限的數(shù)學(xué)期望.如果, （3.1）則稱滿足大數(shù)定律.定理8 （馬爾科夫大數(shù)定律）設(shè)是方差有限的隨機變量序列，如果有. （3.2）則滿足大數(shù)定律.證明：由切比雪夫不等式及（3.2）式立得，對任意的有，即得證（3.1）式成立，定理得證.注：將稱為馬爾科夫條件，由定理8知它是大數(shù)定律成立的一個充分條件.定理9（切比雪夫大數(shù)定律）若序列兩兩不相關(guān)且方差有界：，則滿足大數(shù)定律.證明：在所給條件下，（3.2）式的左方.即馬兒科夫條件滿足,從而大數(shù)定律成立.定理 10 （伯努利大數(shù)定律）設(shè)為n重伯努利試驗中事件A出現(xiàn)的次數(shù)，又A在每次試驗中出現(xiàn)的概率為,則對任意的，有.證明：令則是n個相互獨立的隨機變量，且.滿足切比雪夫大數(shù)定律條件，從而大數(shù)定律成立.注：此定理就是“頻率以概率為其穩(wěn)定值”的嚴格刻畫.馬爾科夫大數(shù)定律的重要性在于對已經(jīng)沒有任何同分布、獨立性、不相關(guān)的假定.切比雪夫大數(shù)定律可以看成是馬爾科夫大數(shù)定律的特例，伯努利大數(shù)定律是切比雪夫大數(shù)定律的特例，下面介紹一個隨機變量序列獨立同分布時的大數(shù)定律：定理 11（辛欽大數(shù)定律）設(shè)是一列獨立同分布的隨機變量，且數(shù)