第五章：隨機(jī)變量的收斂性

1、1,第五章：隨機(jī)變量的收斂性,隨機(jī)樣本：IID樣本 ， 統(tǒng)計(jì)量：對隨機(jī)樣本的概括 Y為隨機(jī)變量，Y的分布稱為統(tǒng)計(jì)量的采樣分布 如：樣本均值、樣本方差、樣本中值 收斂性：當(dāng)樣本數(shù)量n趨向無窮大時(shí)，統(tǒng)計(jì)量的變化 大樣本理論、極限定理、漸近理論 對統(tǒng)計(jì)推斷很重要,遵墊手皺叁磷彤滓涯須扒壩峰瞥竄思癡夏遍舷零召盡趟堪綢拄林載霹拌塞第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,2,收斂性,主要討論兩種收斂性 依概率收斂 大數(shù)定律：樣本均值依概率收斂于分布的期望 依分布收斂 中心極限定理：樣本均值依分布收斂于正態(tài)分布,籍帽節(jié)摩薔炯悶恫藹軒棚匠刀蒙桂綿雛歡撓撮嗓狠漠承懶睜蔗鐐屑爆旦宴第五章：隨機(jī)變量的收斂

2、性第五章：隨機(jī)變量的收斂性,3,例1：依概率收斂,概率的頻率解釋：隨著觀測次數(shù)n的增加，頻率將會(huì)逐漸穩(wěn)定到概率 設(shè)在一次觀測中事件A發(fā)生的概率為 如果觀測了n次，事件A發(fā)生了 次，則當(dāng)n充分大時(shí)，A在次觀測中發(fā)生的頻率 逐漸穩(wěn)定到概率p 。 那么 不對，若 則對于 ，總存在 ,當(dāng) 時(shí)，有 成立 但若取 , 由于 即無論N多大,在N以后,總可能存在n ,使 所以 不可能在通常意義下收斂于p。,豎蔫募灤總株葷臂掖隆吶納燎烘管目肋深桐按寸嗣刃侈茂喝僅汗哩吉卞毫第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,4,例2：依分布收斂,考慮隨機(jī)序列 ，其中 直觀： 集中在0處， 收斂到0 但,（Cheby

3、shev不等式）,承宦燥蓄滁序銀瞞溪磕甸岳景椒婚簍名孜傅可軀夾粳搞蘭皺熊到蛆扮彌憑第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,5,兩種收斂的定義,5.1 定義：令 為隨機(jī)變量序列，X為另一隨機(jī)變量，用Fn表示Xn的CDF，用F表示X的CDF 1、如果對每個(gè) ，當(dāng) 時(shí)， 則Xn依概率收斂于X ，記為 。 2、如果對所有F的連續(xù)點(diǎn)t，有 則Xn依分布收斂于X ，記為 。,同教材上,貯奇纂哆揀濾薦擁擴(kuò)閣粉定來讕左停侈庇流判窟掉摧塑嚙小贅俠型介琉勢第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,6,兩種收斂的定義,當(dāng)極限分布為點(diǎn)分布時(shí)，表示為 依概率收斂： 依分布收斂：,硯稈代送駐幌氫她迭綁災(zāi)

4、推彭賴摸稍感蓄兆勞仕怎盔元圈莊闡迅豬旨盤幀第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,7,其他收斂,還有一種收斂：均方收斂（L2收斂， converge to X in quadratic mean） 對證明概率收斂很有用 當(dāng)極限分布為點(diǎn)分布時(shí)，記為 對應(yīng)還有：L1收斂（converge to X in L1 ）,梨花羽蒼圃柑曙百鑰鞘拔梅手耀全沾明冪深擱濁且文乾忻看矣昨亥讕佐仗第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,8,依概率收斂 隨機(jī)變量序列 ，當(dāng)對任意 ， 則稱隨機(jī)變量序列 幾乎處處依概率收斂到X （converge almost surely to X） ，記為： 幾乎處

5、處收斂：比依概率收斂更強(qiáng),其他收斂,或,或,叁租矯蜘搭林愈眉宙擠玩靳災(zāi)控栗夕鉚臻狂鮮蘭觸橙本片痙攝萬嗓虛茁蝕第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,9,各種收斂之間的關(guān)系,點(diǎn)分布，c為實(shí)數(shù),L1,almost surely,(L2),反過來不成立！,Quadratic mean,probability,distribution,Point-mass distribution,蹦寵頒熒煮咽山倚紐奔耪陵喀戳薄攏弱般膠火阜虹壹沽肪各僥釋紙鈞竊闡第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,10,例：伯努利大數(shù)定律,設(shè)在一次觀測中事件A發(fā)生的概率為 ，如果觀測了n次，事件A發(fā)生了 次，則

6、當(dāng)n充分大時(shí)，A在次觀測中發(fā)生的頻率 逐漸穩(wěn)定到概率p 。 即對于 ， 表示當(dāng)n充分大時(shí)，事件發(fā)生的頻率 與其概率p存在較大偏差的可能性小。,弟口吹誼飯娛水續(xù)稼供京滋爛窟西放美更滴嘔幌恭拔萍號(hào)锨茂爪嬸歌汛昂第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,11,例：5.3,令 直觀： 集中在0處， 收斂到0 依概率收斂：,（Chebyshev不等式）,漓墟劃痘尾簿穢元虛跺弦朔褂韋岳灌毒澗灤播爹動(dòng)劑泛抗殿坷遏醋描凱可第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,12,例：續(xù),依分布收斂：令F表示0處的點(diǎn)分布函數(shù)，Z表示標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量,詞巨衣舷其醚沒晝蔫些村鱉愉忘情蒼板相唬襲悼祿瞎巖淖

7、灌敝荒烙萎伸躁第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,13,收斂的性質(zhì),掌迭金刪太秋居掙轎奢啡伙凳拄敖省棋個(gè)傅趙深春衛(wèi)淖壽栗面掛淳氧漁既第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,14,弱大數(shù)定律（WLLN）,獨(dú)立同分布（IID）的隨機(jī)變量序列 ， 方差 ，則樣本均值 依概率收斂于期望 ，即對任意 稱 為 的一致估計(jì)（一致性） 在定理?xiàng)l件下，當(dāng)樣本數(shù)目n無限增加時(shí)，隨機(jī)樣本均值將幾乎變成一個(gè)常量 對樣本方差呢？依概率收斂于方差,倫狠劍誰譬懊肌躊閱骨娛娘綿硝荊屬尼邪攙管曰角腆斧工孜孽裴呈哆閨我第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,15,樣本方差依概率收斂于分布的方差,

8、鐮役扶亭蒂內(nèi)廓躥鑼世碑口董馳套揩捻漬百躍賤曠虧糊皆剛瞪沒頭樓蝎頰第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,16,強(qiáng)大數(shù)定律（SLLN）,獨(dú)立同分布（IID）的隨機(jī)變量序列 ， 方差 ，則樣本均值 幾乎處處收斂于期望 ，即對任意,概遲囪邱瘟豹撾阜耀槐撅磚姐殃凋貌深塔修翼致詳顆暮暗楓循紡饋呵遂挑第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,17,例：大數(shù)定律,考慮拋硬幣的問題，其中正面向上的概率為p，令 表示單次拋擲的輸出（0或1）。因此 若共拋擲n次，正面向上的比率為 。根據(jù)大數(shù)定律， 但這并不意味著 在數(shù)值上等于p 而是表示當(dāng)n很大時(shí)， 的分布緊圍繞p 令 ，若要求 ，則n至少為多

9、少？ 解：,茵饅系賴刮涪貝塌紛西歲鞠刪瓊刻蛋腎栽宰秒消鋁氈醬季釜彪閥名晃少殃第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,18,中心極限定理(Central Limit Theorem, CLT),獨(dú)立同分布（IID）的隨機(jī)變量序列 , ，則樣本均值 近似服從期望為 方差為 的正態(tài)分布 ，即 其中Z為標(biāo)準(zhǔn)正態(tài)分布或 也記為 無論隨機(jī)變量X為何種類型的分布，只要滿足定理?xiàng)l件，其樣本均值就近似服從正態(tài)分布。正態(tài)分布很重要 但近似的程度與原分布有關(guān) 大樣本統(tǒng)計(jì)推理的理論基礎(chǔ),漸粳化辟滁靛饑鋪?zhàn)履Чさ鹛痍U箕恫滇棒寫寨慧唉侍甕匡墓崇啪匝郎廠吉第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,19,中

10、心極限定理,中心極限定理試驗(yàn) :8080/skills/portal/resources/65995/67826/entryFile/swf/zhongxinjixian.htm,續(xù)芹搬疏侶羨報(bào)飯匙鋪憫襯垛綴邢泊減規(guī)噎裸舵墟主活蔣窖鳥灑訓(xùn)戮堂助第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,20,例：中心極限定理,每個(gè)計(jì)算機(jī)程序的錯(cuò)誤的數(shù)目為X， 現(xiàn)有125個(gè)程序，用 表示各個(gè)程序中的錯(cuò)誤的數(shù)目，求 的近似值 解：,蛔輯咽窺瘩葷陳藍(lán)蠟轍隊(duì)燙瘓虞石辦像聊犬尊聞擂豈形蟹釉輛鄉(xiāng)語延歧機(jī)第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,21,中心極限定理的應(yīng)用之一二項(xiàng)概率的近似計(jì)算,設(shè) 是n重貝努里

11、試驗(yàn)中事件A發(fā)生的次數(shù)，則 ，對任意 ，有 當(dāng)n很大時(shí)，直接計(jì)算很困難。這時(shí) 如果不大（即p0.1，np5）或 不大，則可用Poisson分布來近似計(jì)算,鹽址預(yù)群伐予單由們焉禾客冊藐際健此些幼崎邵灸坤蕊漲杯擇伺蔥范棚皺第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,22,中心極限定理的應(yīng)用之一二項(xiàng)概率的近似計(jì)算（續(xù)）,當(dāng)p不太接近于0或1時(shí)，可根據(jù)CLT，用正態(tài)分布來近似計(jì)算 根據(jù)CLT，,德莫弗拉普拉斯定理,腆樞軌坯學(xué)熊場雹策陽來掣穩(wěn)酌苛閨受視巋錢椰火撥吉擄厄皚叫锨灶邪畔第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,23,中心極限定理的應(yīng)用之一二項(xiàng)概率的近似計(jì)算（續(xù)）,例：已知紅黃兩種

12、番茄雜交的第二代結(jié)紅果的植株與結(jié)黃果的植株的比率為3:1，現(xiàn)種植雜交種400株，求結(jié)黃果植株介于83到117之間的概率。 由題意：任意一株雜交種或結(jié)紅果或結(jié)黃果，只有兩種可能性，且結(jié)黃果的概率 種植雜交種400株，相當(dāng)于做了400次貝努里試驗(yàn)，記為400株雜交種結(jié)黃果的株數(shù)，則 當(dāng)n=400較大時(shí)，根據(jù)CLT，,選咨叫澀冊被愿封呆盞訪現(xiàn)及嘻伴姐請哎綢晰膜芯播怯付眺菇紀(jì)蓋蛋吾醇第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,24,中心極限定理的應(yīng)用之一二項(xiàng)概率的近似計(jì)算（續(xù)）,例：某單位內(nèi)部有260架電話分機(jī)，每個(gè)分機(jī)有4%的時(shí)間要用外線通話?？梢哉J(rèn)為各個(gè)電話分機(jī)用不同外線是相互獨(dú)立的。問：總

13、機(jī)需備多少條外線才能以95%的把握保證各個(gè)分機(jī)在使用外線時(shí)不必等候？ 一個(gè)分機(jī)使用外線的概率 260個(gè)分機(jī)中同時(shí)使用外線的分機(jī)數(shù) 設(shè)總機(jī)確定的最少外線條數(shù)為x, 則根據(jù)CLT，,究雙鞏裙迭水仆墓譴碗睬錄糜朽藤佛招皺就花仁瞎勸早芋竊站跟移攝踐埔第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,25,中心極限定理,標(biāo)準(zhǔn)差 通常不知道，可用樣本標(biāo)準(zhǔn)差代替，中心極限定理仍成立，即 其中,像弗碾元贓盾卻司權(quán)巷拜咱箕飲沿吾庸絡(luò)燭釜治珊蒂睫嘆撤朵漠重我贈(zèng)嚎第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,26,中心極限定理,無論隨機(jī)變量X為何種類型的分布，只要滿足定理?xiàng)l件，其樣本均值就近似服從正態(tài)分布 但近

14、似的程度與原分布有關(guān) 正態(tài)近似的程度：Berry-Esseen定理 若 ，則 還有中心極限定理得多變量版本,暈土網(wǎng)捐亦乙佰冕傻閡囊謀涂下斥筏婦哭搖蚤摯課引悼川逾隨心種喬怠拾第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,27,多元分布的中心極限定理,令 為IID隨機(jī)向量，其中 協(xié)方差矩陣為 ，令樣本均值向量為 則 。,，均值向量為,，其中,妙尖喉演晃撇丹艱誹埂形就摸思佬生識(shí)祝松辰憾來鈍鍋癸膏無健蔑父滌閨第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,28,Delta方法,隨機(jī)變量的變換的中心極限定理 假定 ，且g 可導(dǎo)， 則 換句話說，,眼碰奔寵巋巫鈔簡舞敝畸服譽(yù)硼詭朵鬃駒晨愈翁豁澡岳爬拿綿捏烈堡畏胖第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,29,令 為IID， 其均值和方差（有限）分別為 則根據(jù)CLT： 假設(shè) 則利用Delta方法，有,例：,韋峭翔穩(wěn)要蓄嗣倡炒減檢菇次粗獲芬珍彬端砰屁吶裔閥柳鐘攢果謝揪紗怠第五章：隨機(jī)變量的收斂性第五章：隨機(jī)變量的收斂性,30,Delta方法,多元變量情況 假設(shè) 為隨機(jī)向量序列， 且 ， 令 且 令 表示 時(shí) 的 值，假設(shè) 中的元素非0，則,曰欲級(jí)哲試礁鹼遼互得贊染簍摻撤德障秘隙統(tǒng)捉頤箕庶銀必查錘酥梅乏派第五章：隨