隨機(jī)變量序列的幾種收斂性及其關(guān)系000

1、 本科畢業(yè)論文題目： 隨機(jī)變量序列的 幾種收斂性及其關(guān)系 學(xué)院： 數(shù)學(xué)與計算機(jī)學(xué)院 班級： 數(shù)學(xué)與應(yīng)用數(shù)學(xué)2008級八班 姓名： 薛永麗 指導(dǎo)教師： 丁平仁 職稱： 副教授 完成日期： 2012 年 5 月 10 日隨機(jī)變量序列的幾種收斂性及其關(guān)系摘要：本文主要對隨機(jī)變量序列的四種收斂性：a.e.收斂、依概率收斂、依分布收斂、r階收斂的概念、性質(zhì)進(jìn)行闡述；并結(jié)合具體實例討論了它們之間的關(guān)系，進(jìn)一步對概率論中依分布收斂的等價條件和一些依概率收斂的弱大數(shù)定律進(jìn)行了具體的研究.關(guān)鍵字：隨機(jī)變量序列 收斂 分布函數(shù)目錄1.引言12.a.e.收斂、依概率收斂、依分布收斂、r階收斂的概念、性質(zhì)以及它們之間

2、的關(guān)系.2.1 a.e.收斂的概念及性質(zhì)12.2 依概率收斂的概念及性質(zhì)2依分布收斂的概念及性質(zhì)32.4 r階收斂的概念及性質(zhì)53.隨機(jī)變量序列依分布收斂的等價條件.64.隨機(jī)變量依概率收斂的一些結(jié)果95.小結(jié).126.參考文獻(xiàn)12：在數(shù)學(xué)分析和實變函數(shù)中“收斂性”極為重要，特別在實變函數(shù)中對可測函數(shù)列收斂性的討論。實變函數(shù)主要是在集合論與測度論的基礎(chǔ)上建立起了Lebesgue積分以及它的一些性質(zhì)，而Lebesgue積分的討論中，在測度空間中關(guān)于可測函數(shù)列的各種收斂性以及它們之間的關(guān)系的討論在理論和應(yīng)用上都是十分重要的.同樣在現(xiàn)代概率論中，其中的許多概念也是借助于集合論和測度論中的概念來定義和

3、研究的，比如概率論中事件間的關(guān)系及運算與集合論中代數(shù)間的關(guān)系及運算是相類似的，而且在許多情況下，用集合論的表達(dá)方式更簡練、更容易理解，不妨設(shè)為滿足某一性質(zhì)的全體所成的集合，若F為的一個代數(shù)，則稱為可測空間；若為F上的測度，則稱為測度空間；若為F上的測度，且，則稱為F上的概率測度，稱為概率測度空間；由此我們通過測度論知識就得到了概率測度空間，同時引出了概率公理化定義：概率是在代數(shù)F上的一個非負(fù)的、規(guī)范的、可列可加的集函數(shù)，其中為某一試驗中可能的結(jié)果的全體,稱為樣本空間；F為隨機(jī)事件全體，稱為事件域（代數(shù)）；也就是說概率P是概率測度空間F上的一個測度集函數(shù)，同實變函數(shù)中的可測函數(shù)列收斂性一樣，在概

4、率論中我們有必要研究隨機(jī)變量序列的收斂性，這對于概率論的學(xué)習(xí)是十分重要的.2.a.e.收斂、依概率收斂、依分布收斂、r階收斂的概念、性質(zhì)以及它們之間的關(guān)系.在概率論中，概率空間上的隨機(jī)變量就是樣本空間上關(guān)于F的可測函數(shù)，對于一般的可測函數(shù)的序列我們在數(shù)學(xué)分析和實變函數(shù)中已有認(rèn)識，其中“收斂性”理論是非常重要的，在概率論中也一樣重要，隨機(jī)變量序列有：幾乎處處收斂，依概率收斂，依分布收斂，r階收斂.下面一一分別介紹：設(shè)和是給定概率空間上的隨機(jī)變量. 2.1 的概念及性質(zhì) 定義1 如果有 ， （1.1）則稱隨機(jī)變量列幾乎處處收斂到，記作.注意：（1.1）式中括號里的集是一事件，因而是有意義的，用集合

5、論的語言實際上是 . （1.2）定理1 的充要條件是 . （1.3）證明：（必要性）如在定點上有，則不能對無窮多n成立.令，則，故由連續(xù)性定理及 得. （充分性）由（1.2）式及上式第一等號得 .注意：對可列多個概率為0的事件的和，有，即，故.由對偶原則，即得.由此及（1.2）即得. 2.2 依概率收斂的概念及性質(zhì) 定義2 如果，則稱隨機(jī)變量序列依概率收斂于隨機(jī)變量，記作.定理2 若，則.證明：由于，有，又及定理1得，所以 定理得證.但是定理2的逆命題不真，反例如下：例1 取，F(xiàn)為0,1中全體博雷爾子集所成代數(shù)，P為勒貝格測度，令一般地，將（0,1分成k個等長的區(qū)間，而令定義則是一列隨機(jī)變量，

6、對任意，由于故，即；然而對任意固定，任一正整數(shù)k,恰有一i，使，而對其余的j有，有此知中有無窮多個1及無窮多個0，于是對每個都不收斂.依分布收斂的概念及性質(zhì) 定義3 設(shè),其中x為的連續(xù)點集，則稱弱收斂到，記作.例2 任意取一常數(shù)列，使.令.顯然，對每一有.其次，及的分布函數(shù)分別為，；但在的不連續(xù)點c上，.故.由此例可知定義3中稱“弱收斂”是自然的，因為分布函數(shù)列的極限函數(shù)不一定是分布函數(shù)，為了避免這種情況，故引入如下的定義：定義 設(shè)隨機(jī)變量與分別有分布函數(shù)與，且，則稱隨機(jī)變量列依分布收斂到，仍記作.定理3 設(shè)，則.證：對任意，有 ，由于，故對得因此；類似可證：對，有，于是對，有.如果是的連續(xù)點

7、，令，得.但定理3逆命題不成立，反例如下：例3 拋擲一枚均勻的硬幣，有兩個可能結(jié)果：=出現(xiàn)正面，=出現(xiàn)反面，于是有 令則是一個隨機(jī)變量，其分布函數(shù)為，這時，若，則顯然與有相同的分布函數(shù).再令的分布函數(shù)記作，故，于是對任意的，有，所以成立，而對任意的，恒有 不趨于0，即不可能有.在上述例子中，隨機(jī)變量與在每次試驗中取相反的兩個數(shù)值，可是它們卻有完全相同的分布函數(shù).由此可知，一般說來并不能從分布函數(shù)列的弱收斂肯定相應(yīng)的隨機(jī)變量序列依概率收斂.但是在特殊情況下，它卻是成立的，由下面定理說明.定理4 隨機(jī)變量序列的充要條件是.這里是的分布函數(shù)，也就是退化分布：.證明：（必要性）已由定理3給出，下證（充

8、分性）：對任意的，有 定理得證.注：定理4將隨機(jī)變量序列依概率收斂于常數(shù)的問題轉(zhuǎn)化為討論分布函數(shù)列弱收斂于退化分布的問題.這樣兩種收斂關(guān)系間的聯(lián)系就清楚了.引理 1 （馬爾科夫Mapkob不等式）設(shè)隨機(jī)變量有階絕對矩，即，則對任意有. （1.4） 取，并以代替，得，稱為切比雪夫不等式.2.4 r階收斂的概念及性質(zhì) 定義 4 設(shè)對隨機(jī)變量及有，其中r>0為常數(shù)，如果， 則稱階收斂于，記為.定理 5 如果，則；反之不真.證明：由引理1，對，有，又，所以，即得.例4 如例1所取，令，（一切）.顯然，對一切，故；.然而不趨于0.由上面四種收斂性間的關(guān)系可得：幾乎處處收斂依概率收斂依分布收斂.階收

9、斂依概率收斂依分布收斂.3.隨機(jī)變量序列依分布收斂的等價條件. 因為隨機(jī)變量取值的統(tǒng)計規(guī)律可由它的分布函數(shù)完全確定，所以自然會考慮利用分布函數(shù)的收斂性來定義隨機(jī)變量的收斂性，又分布函數(shù)和特征函數(shù)一一對應(yīng)，而判斷一個分布函數(shù)的序列的收斂是否弱收斂有時是很麻煩的，但判斷相應(yīng)的特征函數(shù)序列的收斂性卻往往比較容易，下面給出弱收斂的充要條件，首先做一些準(zhǔn)備：定理 6 設(shè)均為分布函數(shù)，則的充要條件是：對于函數(shù)的連續(xù)點集的某個稠子集有 . （2.1）證明：由,取且則有 .令，用（2.1）式得.再令便得證，即，證畢.引理 2 （海來Helly第一定理）任一分布函數(shù)列必定含弱收斂于某函數(shù)的子列，而且單調(diào)不減，右

10、連續(xù)，.注：在引理2中不能斷定海來第一定理中的是分布函數(shù).事實上，取，則對任應(yīng)的分布函數(shù),極限函數(shù)不是分布函數(shù).引理 3 （海來Helly第二定理）設(shè)分布函數(shù)列弱收斂于分布函數(shù)，則對任何有界連續(xù)函數(shù)有. （其中分別是的密度函數(shù)）.定理 7 （連續(xù)性定理）分布函數(shù)列弱收斂到分布函數(shù)的充要條件是：相應(yīng)的特征函數(shù)列逐點收斂到相應(yīng)的特征函數(shù).證明：令分別是的密度函數(shù).（必要性）：設(shè)，對有界連續(xù)函數(shù)分別用引理3便得，當(dāng)時對一切有 .（充分性）據(jù)引理2知，分布函數(shù)列必存在子序列，使當(dāng)時.其中極限函數(shù)是上非減右連續(xù)函數(shù)且有界：.下證此二式均取等號，即為分布函數(shù).如若不然，有. （2.2） 那么，一方面由及連

11、續(xù)知，對滿足的任意，存在充分小的正數(shù)，使.另一方面，既然，由（2.1）式知可選取，使與皆為的連續(xù)點，且存在自然數(shù)，使當(dāng)時有 . （2.3）再由及時有，便可得到的子列弱收斂到分布函數(shù).對此運用已證的必要性，知所對應(yīng)的特征函數(shù)為.再由極限函數(shù)的唯一性定理可推出.最后證明分布函數(shù)列也弱收斂到.仍然用反證法.如若不然，必存在的連續(xù)點，使不趨于.于是有界數(shù)列必含收斂子列.其極限值.對分布函數(shù)序列運用引理2，又存在子列使.與前述至少在也應(yīng)當(dāng)是與對應(yīng)的分布函數(shù)，由唯一性定理知，這導(dǎo)出矛盾.定理證完.例5 若是服從參數(shù)為的泊松分布的隨機(jī)變量，證明：. （2.4）證明：已知的特征函數(shù)為故的特征函數(shù)為對任意的，有

12、于是從而對任意的點列，有.但是是N（0,1）分布的特征函數(shù)，由定理7即知有成立，因為是可以任意選取的，這就意味著（2.4）式成立（“泊松分布（當(dāng)參數(shù)時）收斂于正態(tài)分布”）.下面給出弱收斂的各種等價條件：如果存在一個函數(shù)，使對每一,有，則稱特征函數(shù)列為廣義均勻收斂到，而且這收斂對每一有限區(qū)間中的是均勻的（即對任意，任意有限區(qū)間，存在正整數(shù)，使對一切，當(dāng)時 ，有），這時也說廣義均勻（一致）收斂.注：由于連續(xù)，如廣義均勻收斂到，則必定是連續(xù)函數(shù).系1 設(shè)分布函數(shù)列對應(yīng)的特征函數(shù)列為，則下列四條件等價：（1）弱收斂于某分布函數(shù)，（2）收斂到某函數(shù)，在點0連續(xù)，（3）收斂到某連續(xù)函數(shù)，（4）廣義均勻收斂

13、到某函數(shù).當(dāng)任一條件滿足時，是的特征函數(shù).下面說明系1中等價條件（2）中“在的連續(xù)性”是不可缺少的條件.例6 設(shè) .是一列特征函數(shù).實際上，其中 是分布函數(shù) （2.5）的密度函數(shù).顯然，對任意，這里，在0點不連續(xù)，也不是特征函數(shù).另外對于（2.5）中，極限函數(shù)不是一分布函數(shù).至此我們可將隨機(jī)變量序列的四種收斂性間的蘊含關(guān)系總結(jié)如下：幾乎處處收斂依概率收斂分布函數(shù)的弱收斂 r階收斂 特征函數(shù)逐點收斂依概率收斂的一些結(jié)果在概率論，我們用“頻率的穩(wěn)定性”引出概率這個基本的概念.許多試驗結(jié)果表明，雖然一次隨機(jī)試驗中某確定事件發(fā)生與否不能預(yù)言，但是如果在相同條件下大量重復(fù)這個試驗，則此事件發(fā)生的頻率會穩(wěn)

14、定在某個值的附近.這說明，在一定條件下各事件出現(xiàn)的可能性的大小是客觀存在的，可以用上述頻率的穩(wěn)定值來度量，這就是事件的概率.頻率的穩(wěn)定性呈現(xiàn)在大量重復(fù)試驗中，歷史上把這個試驗次數(shù)很大時出現(xiàn)的規(guī)律稱作大數(shù)定律.后來我們引入了伯努利概型來刻畫獨立重復(fù)試驗.將一成功（即A發(fā)生）概率為p的試驗獨立重復(fù)n次，其中成功次，則是二項分布隨機(jī)變量.因此成功的頻率也是隨機(jī)變量.其期望為p與n無關(guān)，且方差當(dāng)時趨于0.熟知，方差為0的隨機(jī)變量恒等于它的期望，所以當(dāng)時頻率應(yīng)以概率p為極限.另一方面，可以寫，其中相互獨立，具有相同的伯努利分布，至此，問題轉(zhuǎn)化為研究時的平均值序列的極限行為.鑒于已在上面討論過隨機(jī)變量列的

15、各種收斂性，因此我們可以給出大數(shù)定律的嚴(yán)格定義.定義5 設(shè)為隨機(jī)變量序列，它們都有有限的數(shù)學(xué)期望.如果 , （3.1）則稱滿足大數(shù)定律.定理8 （馬爾科夫大數(shù)定律）設(shè)是方差有限的隨機(jī)變量序列，如果有. （3.2）則滿足大數(shù)定律.證明：由切比雪夫不等式及（3.2）式立得，對任意的有，即得證（3.1）式成立，定理得證.注：將稱為馬爾科夫條件，由定理8知它是大數(shù)定律成立的一個充分條件.定理9（切比雪夫大數(shù)定律）若序列兩兩不相關(guān)且方差有界：，則滿足大數(shù)定律.證明：在所給條件下，（3.2）式的左方.即馬兒科夫條件滿足,從而大數(shù)定律成立.定理 10 （伯努利大數(shù)定律）設(shè)為n重伯努利試驗中事件A出現(xiàn)的次數(shù)，

16、又A在每次試驗中出現(xiàn)的概率為,則對任意的，有.證明：令則是n個相互獨立的隨機(jī)變量，且.滿足切比雪夫大數(shù)定律條件，從而大數(shù)定律成立.注：此定理就是“頻率以概率為其穩(wěn)定值”的嚴(yán)格刻畫.馬爾科夫大數(shù)定律的重要性在于對已經(jīng)沒有任何同分布、獨立性、不相關(guān)的假定.切比雪夫大數(shù)定律可以看成是馬爾科夫大數(shù)定律的特例，伯努利大數(shù)定律是切比雪夫大數(shù)定律的特例，下面介紹一個隨機(jī)變量序列獨立同分布時的大數(shù)定律：定理 11（辛欽大數(shù)定律）設(shè)是一列獨立同分布的隨機(jī)變量，且數(shù)學(xué)期望存在：則對任意的，有成立.證明：因為有相同分布，所以也有相同的特征函數(shù)，記這個特征函數(shù)為，又因為存在，從而特征函數(shù)有展開式：=再由獨立性知的特征

17、函數(shù)為對任意取定的t,有而是退化分布的特征函數(shù)，相應(yīng)的分布函數(shù)為由定理7連續(xù)性定理知的分布函數(shù)弱收斂于，再由定理4即知有，故辛欽大數(shù)定律成立.5.小結(jié).本文主要對隨機(jī)變量的四種收斂性的定義，性質(zhì)進(jìn)行了闡述，并結(jié)合具體的實例對四種收斂性間的關(guān)系進(jìn)行了討論給出了相應(yīng)的定理，對于概率論中十分重要的依分布收斂給出了一些等價條件，和應(yīng)用依概率收斂給出了隨機(jī)變量的一些弱大數(shù)定理理論，揭示了“頻率的穩(wěn)定性”，這樣使對極限理論后續(xù)內(nèi)容的理解更加容易，學(xué)習(xí)更加簡單.1 魏宗舒概率論與數(shù)理統(tǒng)計教程M北京:高等教育出版社，1983:56-61.2 王梓坤概率論基礎(chǔ)及其應(yīng)用M北京:北京師范大學(xué)出版社，1996:91-

18、102.3 楊振明概率論M北京:科學(xué)出版社，199969-74.4 鐘鎮(zhèn)權(quán). 證明隨機(jī)變量序列各種收斂性的關(guān)系J.玉林師范學(xué)院學(xué)報,1999，3:17-23.5 鄒輝文，丁躍武，朱忠華.依概率收斂與依分布收斂的關(guān)系J.工科數(shù)學(xué),2001，5：49-52.6 孟艷姣. 隨機(jī)變量組（序）列的收斂性和精確漸近性D.浙江：浙江大學(xué)，2010.7 錢能生，古偉清. 關(guān)于隨機(jī)集序列的各種收斂性J.工業(yè)工程,1995，8:12-29.8 李上桐.隨機(jī)變量的四種收斂性J.湖北民族學(xué)院學(xué)報（自然科學(xué)版），1987,0:13-15.階收斂的條件J.高師理科學(xué)刊,1997,2:5-9.10 Characteristic FunctionM，196011 Lin Zhengyan ,Su zhonggen. Probabi