中科大概率論與數(shù)理統(tǒng)計講義

概率論與數(shù)理統(tǒng)計講義i目錄第一章事件與概率1?1.1概率論發(fā)展簡史 1?1.2概率論的幾個基本概念 1?1.2.1隨機試驗和隨機事件 1?1.2.2事件的運算 2?1.2.3概率的定義及性質(zhì) 4?1.2.4條件概率 6?1.2.5全概率公式和Bayes公式 8?1.2.6事件的獨立性 10第二章隨機變量及其分布13的概念 13?2.2離散型隨機變量 14?2.2.10-1分布 15二項分布 16 ?2.2.4離散的均勻分布 18?2.3連續(xù)型隨機變量 18?2.3.1正態(tài)分布 21?2.3.2指數(shù)分布 22?2.3.3均勻分布 24?2.4多維分布 24?2.5邊緣分布 28?2.6條件分布和隨機變量的獨立性 29?2.6.1條件分布 29?2.6.2隨機變量的獨立性 32?2.7隨機變量的函數(shù)的概率分布 33第三章隨機變量的數(shù)字特征41?3.1數(shù)學期望(均值)及中位數(shù) 42?3.1.1數(shù)學期望 42?3.1.2數(shù)學期望的性質(zhì) 44?3.1.3條件期望 45?3.1.4中位數(shù) 47?3.2方差、標準差和矩 48?3.2.1方差和標準差 48?3.2.2矩 50ii?3.3協(xié)方差和相關(guān)系數(shù) 50?3.3.1協(xié)方差 50?3.3.2相關(guān)系數(shù) 51?3.4其他一些數(shù)字特征與相關(guān)函數(shù) 52?3.5大數(shù)定律和中心極限定理 54?3.5.1大數(shù)定律 54?3.5.2中心極限定理 55第四章數(shù)理統(tǒng)計的基本概念及抽樣分布58?4.1引言 58?4.1.1什么叫數(shù)理統(tǒng)計學 58?4.1.2數(shù)理統(tǒng)計學的應(yīng)用 61?4.1.3統(tǒng)計學發(fā)展簡史 63?4.2數(shù)理統(tǒng)計的若干基本概念 64?4.2.1總體和樣本 64?4.2.2樣本的兩重性和簡單隨機樣本 66?4.2.3統(tǒng)計模型 67?4.2.4統(tǒng)計推斷 68?4.3統(tǒng)計量 69?4.3.1統(tǒng)計量的定義 69?4.3.2若干常用的統(tǒng)計量 70?4.4三大分布—χ2,t,F分布及正態(tài)總體樣本均值和樣本方差的分布 71?4.4.1χ2分布 71?4.4.2t分布 73?4.4.3F分布 74?4.4.4正態(tài)總體樣本均值和樣本方差的分布 76?4.4.5幾個重要推論 76第五章參數(shù)估計79?5.1點估計 79?5.1.1矩估計方法 79?5.1.2極大似然估計方法 81?5.1.3點估計的優(yōu)良準則 85?5.2區(qū)間估計 86?5.2.1置信區(qū)間 87?5.2.2置信界 89?5.2.3確定樣本大小 90iii第六章假設(shè)檢驗91?6.1基本概念和問題的提法 91?6.1.1零假設(shè),對立假設(shè),兩類錯誤,拒絕域,顯著性水平,功效 91?6.1.2假設(shè)檢驗問題的提法 93?6.1.3檢驗統(tǒng)計量的選取及假設(shè)檢驗的步驟 94?6.2重要參數(shù)檢驗 95?6.2.1一樣本正態(tài)總體均值和方差的檢驗 95?6.2.2兩樣本正態(tài)總體的情形 99?6.2.3成對數(shù)據(jù) 101?6.2.40-1分布中未知參數(shù)p的假設(shè)檢驗 102?6.3擬合優(yōu)度檢驗 103?6.3.1離散總體情形 103?6.3.2列聯(lián)表的獨立性和齊一性檢驗 105?6.3.3連續(xù)總體情形 1071第一章事件與概率教學目的∶1)掌握隨機事件的概念和相關(guān)運算.2)了解概率的不同定義,掌握古典概型的基本計算.3)掌握條件概率的概念,熟練運用全概率公式和Bayes公式.4)掌握事件獨立的概念和有關(guān)運算.?1.1概率論發(fā)展簡史概率論起源于17世紀,現(xiàn)在公認是1654年P(guān)ascal與Fermat就賭博中的數(shù)學問題所展開的討論,在討論中提出了一些基本概念,最典型的例子是如何分賭本的問題.兩個賭徒相約賭若干局,誰先贏s局就算誰贏.由此提出期望的概念.之后幾個數(shù)學大家Huygens,Bernouli,J,DeMoivre等研究了這個問題,Bernouli對頻率與概率接近這一事實給予了理論上的闡述.1812年Laplace在《分析概率論》中最早敘述了概率論的幾個基本定理,給出了古典概率的明確定義.1814年在《概率的哲學探討》一書中,記載了一個有趣的統(tǒng)計故事,根據(jù)倫敦、彼得堡、柏林和全法國的統(tǒng)計資料,得出幾乎一致的男嬰和女嬰出生的比例為22:21,即男嬰比例為51.16%,或男嬰與女嬰的比值為104.76:100,可是統(tǒng)計1745-1784年整整40年巴黎男嬰的出生率時,得到的比例為25:24(104.17:100),調(diào)查研究后發(fā)現(xiàn)巴黎人有遺棄男嬰的陋習.1900年Hilbert在第二屆世界數(shù)學家大會上提出了23個有名的問題,主體是對新世紀數(shù)學發(fā)展方向的探討.關(guān)于建立概率論的公理體系是他所提的第六個問題“借助公理來研究那些在其中數(shù)學起重要作用的物理科學;首先是概率和力學”.隨后Poincare,Borel等都對概率論公理體系的建立做出了努力,1933年蘇聯(lián)的大數(shù)學家Kolmogorov(1903-1987)正式提出了概率論的公理體系.概率論從此得到迅速的發(fā)展,在此基礎(chǔ)上,數(shù)理統(tǒng)計也得到了迅速的發(fā)展.?1.2概率論的幾個基本概念?1.2.1隨機試驗和隨機事件隨機現(xiàn)象:自然界中的客觀現(xiàn)象,當人們觀測它時,所得結(jié)果不能預先確定,而僅僅是多種可能結(jié)果之一.2舉例說明隨機現(xiàn)象.隨機試驗:隨機現(xiàn)象的實現(xiàn)和對它某個特征的觀測.隨機試驗中要求試驗的結(jié)果至少2個,每次試驗或觀測得到其中的一個結(jié)果,在試驗和觀測之前不能預知是哪個結(jié)果發(fā)生。此外,要求在相同的條件下能重復試驗。如觀測把硬幣拋4次后正面向上的次數(shù);觀測某地的溫度變化;某電話總機單位時間內(nèi)轉(zhuǎn)接的電話次數(shù).定義1.2.1.基本事件:隨機試驗中的每個單一結(jié)果,它猶如分子中的原子,在化學反應(yīng)中不能再分,所以有“基本”兩字.如把硬幣拋3次后有8種可能結(jié)果:正正正、正正反、正反正、反正正、正反反、反正反、反反正、反反反.這8種可能結(jié)果的每一個都是基本事件.定義1.2.2.隨機事件:簡稱事件,在隨機試驗中我們所關(guān)心的可能出現(xiàn)的各種結(jié)果,它由一個或若干個基本事件組成.隨機事件常用大寫英文字母A,B,C,D等表示.如果用語言表達,則要用花括號括起來.定義1.2.3.樣本空間:隨機試驗中所有基本事件所構(gòu)成的集合,通常用?或S表示.例1.2.1.擲一枚股子,觀察出現(xiàn)的點數(shù).則?={1,2,3,4,5,6}.例1.2.2.考察某一地區(qū)的年降雨量,則?={x|0<x<T},這里T表示某個常數(shù),表示降雨量不會超過T.定義1.2.4.必然事件(?):在試驗中一定會發(fā)生的事件;不可能事件(φ):在試驗中不可能發(fā)生的事件.?1.2.2事件的運算可以證明,把樣本空間中的基本事件與空間中的點相對應(yīng),則事件與集合相對應(yīng),因此事件運算與集合運算可以建立一一對應(yīng)關(guān)系.31.子事件AcB:事件A發(fā)生蘊含事件B一定發(fā)生,則事件A稱為事件B的子事件,記為AcB.若AcB,且BcA,則稱事件A與事件B相等,記為A=B.2.事件的和(AUB):事件A和事件B中至少有一個發(fā)生的這一事件稱為事件A和事件B的和,記為AUB.3.事件的積(AUB):事件A和事件B同時發(fā)生這一事件稱為事件A和事件B的積,記如果AUB=φ,則稱A和B不相容,即事件A和B不能同時發(fā)生.4.對立事件Ac(或):A不發(fā)生這一事件稱為事件A的對立事件(或余事件).45.事件A和事件B的差A_B:事件A發(fā)生而事件B不發(fā)生這一事件稱為事件A和事件B的差,記為A_B,或等價的,ABc.DeMorgan對偶法則:AUB=∩,A∩B=U,上面公式可以推廣到n個事件:nAiAii=1nUAii=1?1.2.3概率的定義及性質(zhì)n=Uii=1n=nii=11.概率的定義什么叫概率?直觀地講,概率是隨機事件發(fā)生可能性大小的數(shù)字表征,其值在0和1之間,換句話說,概率是事件的函數(shù).如何求出事件A的概率(記為P(A))?(1)古典概型:有兩個條件,第一,(有限性)試驗結(jié)果只有有限個(記為n),第二,(等可能性)每個基本事件發(fā)生的可能性相同.為計算事件A的概率,設(shè)A中包含m個基本事件,則定義事件A的概率為P(A)=記號:為方便起見,以#(B)記事件B中基本事件的個數(shù),因此,P(A)=5(2)概率的統(tǒng)計定義古典概型的兩個條件往往不能滿足,此時如何定義概率?常用的一種方法是把含有事件A的隨機試驗獨立重復做n次(Bernouli試驗),設(shè)事件A發(fā)生了nA次,稱比值為事件A發(fā)生的頻率,當n越來越大時,頻率會在某個值p附近波動,且波動越來越小,這個值p就定義為事件A的概率.注意:為什么不能寫為limn/o=p?因為不是n的函數(shù).幾個例子:英文字母被使用的頻率是相當穩(wěn)定的;福爾摩斯探案集第四本《跳舞的小人》,福爾摩斯用頻率破了丘比特和埃爾茜之間聯(lián)絡(luò)密碼;1872年英國人Shix,W把π算到707位,1944.5-1945.3數(shù)學家法格遜認為π的小數(shù)位的數(shù)字對0到9應(yīng)該是等可能的,但核對Shix的結(jié)果發(fā)現(xiàn)數(shù)字7太少,故對Shix的結(jié)果有懷疑,重新計算發(fā)現(xiàn)前527位是正確的,后面不對了.計算機出現(xiàn)后,法國人讓.蓋尤計算了π的前100萬位小數(shù),發(fā)現(xiàn)各個數(shù)字出現(xiàn)的頻率相同.(3)主觀概率關(guān)于概率的統(tǒng)計定義,我們可能會想到,如果試驗不能在相同的條件下獨立重復很多次時該怎么辦?還有人們常談?wù)摲N種事件出現(xiàn)機會的大小,如某人有80%的可能性辦成某事.如某人有80%的可能性辦成某事.另一人則認為僅有50%的可能性.即我們常常會拿一個數(shù)字去估計這類事件發(fā)生的可能性,而心目中并不把它與頻率掛鉤.這種概率稱為主觀概率,這類概率有相當?shù)纳罨A(chǔ).在金融和管理等方面有大量的應(yīng)用,這一學派稱為Bayes學派,近來得到越來越多的認可.但是當前用頻率來定義概率的頻率派仍是數(shù)理統(tǒng)計的主流.焦點是頻率派認為概率是客觀存在,不可能因人而異.(4)概率的公理化定義對概率運算規(guī)定一些簡單的基本法則,(i)設(shè)A是隨機事件,則0<P(A)<1,(ii)設(shè)?為必然事件,則P(?)=1,(iii)若事件A和B不相容,則P(AUB)=P(A)+P(B),為了對可數(shù)無窮個事件仍能成立,我們要把上面公式中的兩個事件推廣到可數(shù)無窮個兩兩不相容的事件序列ooP(nAi)=比P(Ai)i=1i=12.古典概率計算的幾個例子計算古典概率,主要用到排列組合的知識.6復習選排列,重復排列和組合公式有關(guān)知識.例1.2.3.一個班有r個人,不計2月29日出生的(即假定一年為365天),問至少有兩人同一天生日的概率是多少?要點:(1)本問題中的樣本空間是什么?(2)重復排列,(3)先計算余事件例1.2.4.盒中有32只紅球,4只白球,從中任摸2球,求兩球中至少有一個白球的概率.要點:(1)樣本空間可以考慮為所有可能的組合,也可以考慮為所有可能的選排列,有些問題中只能考慮其中之一,具體問題具體分析,(2)本題可以直接計算隨機事件的概率,也可以先計算對應(yīng)的余事件的概率,然后得到所需事件的概率.?1.2.4條件概率1.條件概率的定義一般講,條件概率就是在知道了一定的信息下所得到的隨機事件的概率.如兩個工廠A和B生產(chǎn)同一品牌的電視機,商場中該品牌有個統(tǒng)一的次品率,比如0.5%,如果你從某個途徑知道該商場的這批電視機是A廠生產(chǎn)的,則你買到的電視機的次品率不再是0.5%,而應(yīng)該比0.5%要小,這個概率就是條件概率,即你在知道了這批電視機是A廠生產(chǎn)的附加條件下的概率就是條件概率.保險中應(yīng)用的存活人數(shù)死亡率也是條件概率.定義1.2.5.設(shè)事件A和B是隨機試驗?中的兩個事件,P(B)>0,稱P(A|B)=為事件B發(fā)生條件下事件A發(fā)生的條件概率.注1.2.1.P(A)和P(A|B)是不同的兩個概率.如圖,設(shè)矩形A的面積為1,則P(A)表示A的面積,而P(A|B)表示在B中,A所占的比例,即AB這塊面積在B中所占的比例.7也可以從概率的統(tǒng)計定義,即用頻率來近似概率這一角度來理解條件概率.設(shè)在n次獨立試驗中,事件A發(fā)生了nA次,事件B發(fā)生了nB次,事件AB發(fā)生了nAB次,事件B發(fā)生下事件A發(fā)生的頻率為nABP(AB)nBsP(B)注1.2.2.事實上,我們所考慮的概率都是在一定條件下計算的,因為隨機試驗就是在一定的條件下進行的,所以樣本空間是相對而言的.如果把在一定條件下的事件試驗看成無條件的,則在補充條件下進行的事件試驗的結(jié)果一般而言相對于原有結(jié)果要少,即樣本空間改變了.所以所得隨機事件的概率一般是不相同的.例1.2.5.有10個產(chǎn)品,內(nèi)有3個次品,從中一個個地抽取(不放回)檢驗,問第一次取到次品后第二次再取到次品的概率.解:樣本空間?是從10個產(chǎn)品中有序取出2個產(chǎn)品的不同方法,這是一個排列問題,易知#?=10×9=90,記A={第一次取出的是次品},B={第二次取出的是次品},#(AB)=6,#A=3,故P(B|A)===2/9注意,P(B|A)=2/9P(A)=3/10.例1.2.6.有三張相同的卡片和一頂帽子,第一張卡片兩面都畫有圈,第二張卡片一面畫圈,一面畫星,第三張卡片兩面都畫星.現(xiàn)在莊家把卡片放在帽中搖晃,然后讓你任取一張,把它放在桌上,設(shè)你看到卡片上面的圖案為圈,然后莊家與你打賭下面的圖案與上面一樣時算莊家贏,不一樣是為你贏.請問這樣的賭博是否是公平的?8這是著名數(shù)學家,信息論的創(chuàng)建者之一A.Weaver設(shè)計的,他曾在50年的《科學美國人》上介紹過這個例子.請大家想一想,很有意思.例1.2.7.擲兩個股子,觀測出現(xiàn)的點數(shù),分別以x和y表示第一和第二顆股子擲出的點數(shù),記A={(x,y):x+y>9},B={(x,y):x>y},求P(A|B)和P(B|A).容易算出P(A|B)=2/15,P(B|A)=1/3,這說明這兩個條件概率不是一回事.2.乘法定理由P(A|B)=告P(AB)=P(A|B)P(B)由歸納法容易推廣為n個事件同時發(fā)生的概率有如下公式:P(A1A2...An)=P(A1)P(A2|A1)...P(An|A1...An-1)上面公式的右邊看似麻煩,其實在實際中很容易算出.在沒有給出n個事件之間相互關(guān)系時,這是計算n個事件同時發(fā)生的一個重要公式.例1.2.8.某人忘了某飯店電話號碼的最后一個數(shù)字,因而隨意撥號,問他三次之內(nèi)撥通電話的概率.解:令Ai={第i次打通電話},i=1,2,3,則P(3次內(nèi)撥通電話)=P(A1nA2nA3)=1_=0.3?1.2.5全概率公式和Bayes公式1.全概率公式定義1.2.6.設(shè)B1,B2,...Bn是樣本空間?中的兩兩不相容的一組事件,即BiBj=φ,ij,且滿足nBi=?,則稱B1,B2,...Bn是樣本空間?的一個分割(又稱為完備事件群,英文為partition).9全概率公式:設(shè){B1,B2,...Bn}是樣本空間?的一個分割,A為?中的一個事件,則nP(A)=比P(A|Bi)P(Bi)i=1目的:有時不容易直接計算事件A的概率,但是在每個Bi上A的條件概率容易求出.注意:應(yīng)用中最重要的是驗證{B1,B2,...Bn}構(gòu)成樣本空間的一個分割.例1.2.9.設(shè)某廠產(chǎn)品的一個零部件是由三家上游廠商供貨的.已知有一半是A廠提供的,B廠商和C分別提供25%.已知廠商A和B的次品率都是2%,C的次品率為4%,從該廠產(chǎn)品中任取一個產(chǎn)品,問該產(chǎn)品的這個零部件是次品的概率.解:記Bi={取到的產(chǎn)品是Bi廠生產(chǎn)的},i=1,2,3,易見B1,B2,B3構(gòu)成樣本空間的一個分割,且P(B1)=0.5,P(B2)=P(B3)=0.25,P(A|B1)=P(A|B2)=0.02,P(A|B3)=0.04,由全概率公式馬上得到P(A)=0.02×0.5+0.02×0.25+0.04×0.25=0.025例1.2.10.一條家狗在野營后走失了,猜想狗有三種可能去向:A:它已回家,B:仍在原地啃骨頭,C:已走失到附近的樹林中去了.從狗的習性可估計上述三種可能性分別為1/4,1/2,1/4.一個小孩被派回去找狗,如果狗仍在原地啃骨頭,小孩能找到的可能性為90%,如果狗已走失到附近的樹林中去了,則小孩能找到的可能性為50%.問小孩能找到狗的概率.解:可以分析得出狗的三種去向構(gòu)成樣本空間的一個分割,小孩能在不同情況下找到狗的概率是條件概率,如果狗已回家,小孩能找到狗的概率為0.由全概率公式可以算出小孩能找到狗的概率為23/40=57.5%.2.Bayes公式設(shè){B1,B2,...Bn}是樣本空間的一個分割,A為?中的一個事件,P(Bi)>0,i=1,2,...,n,P(A)>0,則4=1P(A|Bj)P(Bj)P(Bi|A)=4=1P(A|Bj)P(Bj)什么情況下用Bayes公式?由公式知,分母就是事件A的概率,而分子和等式左邊的條件概率中的條件正好反過來.所以我們知道在因果關(guān)系互換時必須用Bayes公式.例1.2.11.一種診斷某癌癥的試劑,經(jīng)臨床試驗有如下記錄:有癌癥病人陽性的概率為95%,無癌癥病人陰性的概率為95%.現(xiàn)用這種試劑在某社區(qū)進行癌癥普查,設(shè)該社區(qū)癌癥發(fā)病率為0.5%,問某人反應(yīng)為陽性時該人患癌癥的概率.解:設(shè)A={反應(yīng)為陽性},C={被診斷者患癌癥},由題意,P(A|C)=0.95,P(|)=0.95,P(C)=0.005,現(xiàn)在要算的是P(C|A).這是典型的因果關(guān)系互換,只能用Bayes公式.P(C|A)= P(A|C)P(C)P(A|C)P(C)+P(A|)P()50.087=8.7%這說明用該試劑進行普查,準確性只有8.7%.計算表明,如果兩次反應(yīng)為陽性時患癌癥的概率達到了64%.?1.2.6事件的獨立性為了計算兩個事件同時發(fā)生的概率,可以運用乘法定理,P(AB)=P(A|B)P(B).什么情況下P(AB)=P(A)P(B)?即AB同時發(fā)生的概率等于兩個事件單獨發(fā)生概率的乘積?為此我們有如下的定義:定義1.2.7.設(shè)A,B是隨機試驗中的兩個事件,若滿足P(AB)=P(A)P(B),則稱事件A和B相互獨立.關(guān)于獨立的概念,應(yīng)該是從實際出發(fā),如果能夠判斷事件B的發(fā)生與否對事件A的發(fā)生與否不產(chǎn)生影響,則事件A,B即為獨立.如把一個硬幣擲兩次,觀測正反面出現(xiàn)的情況,A={第一次出現(xiàn)正面},B={第二次出現(xiàn)正面},AB={兩次都出現(xiàn)正面},樣本空間?有4個基本事件,#(AB)=1,#(A)=2,#(B)=2,故P(AB)=1/4,P(A)P(B)=1/2.1/2=1/4即事件A,B相互獨立.事實上,我們?nèi)菀着袛嗟谝淮问欠癯霈F(xiàn)正面與第二次是否出現(xiàn)正面沒有任何影響,即獨立的.設(shè)表示事件A發(fā)生和不發(fā)生之一,表示事件B發(fā)生和不發(fā)生之一.由獨立性的定義可以推知P()=P()P(),(這兒一共4個等式).獨立性的定義可以推廣到n個事件.定義1.2.8.設(shè)A1,A2,...An是隨機試驗中的n個事件,以i表示Ai或i之一.若滿足則稱事件列A1,A2,...An相互獨立.(上面有2n個等式)注意:上面等式等價于對A1,A2,...An中的任意k個事件Ai1,Ai2,...,Aik,k=2,...n,有P(Ai1Ai2...Aik)=P(Ai1)P(Ai2)...P(Aik)注意:獨立和不相容是不同的兩個概念.例1.2.12.A,B,C三人獨立地破譯密碼,每人能破譯密碼的概率分別為1/3,1/4,1/5.問密碼能被破譯的概率有多大?解:設(shè)D={密碼被破譯},A,B和C分別表示A,B和C三人能破譯密碼這三個事件,由獨立性,P(D)=P(AnBnC)=1_P()=1_P()P()P()=1_=0.6例1.2.13.在元件可靠性研究中,我們考慮如下兩種電路:其中1-4表示4個繼電器,它們是否開通是相互獨立的,設(shè)繼電器導通的概率為p,(0<p<1),求兩種電路從L到R為通路的概率.解:左圖為串聯(lián)后并聯(lián),右邊為并聯(lián)后串聯(lián),記Ai={第i個繼電器導通},則左圖LR為通路的表達為A1A2nA3A4,右圖LR為通路的表達為(A1nA3)∩(A2nA4),由于P(A1A2)=P(A1)P(A2)=p2=P(A3A4),故P(A1A2nA3A4)=p2+p2_p4=p2(2_p2)P((A1nA3)∩(A2nA4))=(2p_p2)2=p2(2_p)2,由于2_p2<(2_p)2,故并聯(lián)后串聯(lián)的電路比串聯(lián)后并聯(lián)的電路的可靠性高一點.例1.2.14.n個人獨立向同一目標射擊,第i個人命中目標的概率為pi,i=1,2,...,n,求至少有一人命中目標的概率.解:令Ai={第i個人命中目標},D={至少有一人命中目標},則nD=nAi,i=1AAn=1_(1_p1)(1_p2)...(1_pn)s1_exp{_Σpi}上面約等號在pi較小時成立.例如pi=0.04,n=100時,P(D)s1_exp{_4}=第二章隨機變量及其分布教學目的:1)掌握隨機變量的概念。掌握離散型隨機變量的概率函數(shù),連續(xù)型隨機變量的概率密度,及任意的隨機變量的分布函數(shù)的概念.2)掌握二項分布、Poisson分布,以及相應(yīng)的概率計算.3)掌握正態(tài)分布,指數(shù)分布和均勻分布,會進行相應(yīng)的概率計算.4)掌握多維隨機變量的概念。了解n維隨機變量的聯(lián)合分布函數(shù)的概念和性質(zhì).5)掌握二維離散型和連續(xù)型隨機變量的邊緣分布與聯(lián)合分布之間的關(guān)系,會用這些關(guān)系式求邊緣分布.?2.1隨機變量的概念隨機變量是其值隨機會而定的變量。例2.1.1.以X表示擲一次股子得到的點數(shù),X是一個隨機變量.它可以取{1,2,3,4,5,6}中例2.1.2.一張獎券的中獎金額是一個隨機變量.它的值要等開獎以后才知道.例2.1.3.在一批產(chǎn)品中隨機地抽出100個產(chǎn)品,其中所含的廢品數(shù)是一個隨機變量.它的值要等檢查了所有抽出的產(chǎn)品后才知道.在另外的例子中,隨機試驗的結(jié)果雖然不是一個數(shù),但仍可用數(shù)來描述.例2.1.4.擲一枚硬幣出現(xiàn)正面或反面.例2.1.5.產(chǎn)品被分為正品或廢品.上面兩例中的結(jié)果均可用一個取值0,1的隨機變量來描述,其中可以1代表正面或正品,以0代表反面或廢品.事實上,對任意一個事件A,定義IA(ω)=ìωeA,反之,則事件A由隨機變量IA表示出來.IA稱為事件A的示性函數(shù).隨機變量是把隨機試驗的結(jié)果,也就是樣本空間,與一組實數(shù)聯(lián)系起來.這樣的處理簡化了原來的概率結(jié)構(gòu).例如某機構(gòu)調(diào)查民眾對一提案的態(tài)度是支持(1)還是反對(0).如果隨機訪問50人,按照古典概型,所有可能的結(jié)果有250個.但是如果我們用X記1的個數(shù)來表示贊成者的人數(shù),則X為一個隨機變量.它的取值范圍只在{0,1,...,50}.所以隨機變量的引進有利于我們對所研究的問題進行準確,簡練的描述.又由于隨機變量取實值,隨機變量之間的運算就變得容易了.對于隨機變量的研究,是概率論的中心內(nèi)容.因為對于一個隨機試驗,我們關(guān)心的通常是與所研究的問題有關(guān)的某個量或某些量.而這些量就是隨機變量.定義2.1.1.令?為一個樣本空間.令X是定義在?上的一個實函數(shù),則稱X為一個(一維)隨機變量.常見的隨機變量可以分為兩大類.只取有限個或可數(shù)個值的隨機變量稱為離散型隨機變量;取連續(xù)的值且密度存在的隨機變量稱為連續(xù)型隨機變量.當然,存在既非離散型也非連續(xù)型的隨機變量.但它們在實際中并不常見,也不是我們這里研究的對象.?2.2離散型隨機變量定義2.2.1.設(shè)X為一隨機變量.如果X只取有限個或可數(shù)個值’則稱X為一個(一維)離散型隨機變量.由于一個隨機變量的值是由試驗結(jié)果決定的,因而是以一定的概率取值.這個概率分布稱為離散型隨機變量的概率函數(shù).定義2.2.2.設(shè)X為一離散型隨機變量’其全部可能值為{a1,a2,...}.則pi=P(X=ai),i=1,2,...(2.2.1)稱為X的概率函數(shù).概率函數(shù){pi,i=1,2,..}必須滿足下列條件:pi>0,i=1,2,....比pi=1.i概率函數(shù)(2.2.1)指出了全部概率1是如何在X的所有可能值之間分配的.它可以列表的形式給出:可能值a1aa2aai概率p1pp2ppi有時也把(2.2.2)稱為隨機變量X的分布表.設(shè)?為一樣本空間.X為定義于其上的一個離散型隨機變量,其取值為x1,x2,.....令A為{x1,x2,...}的任意一個子集.事件{X取值于A中}的概率可根據(jù)概率的可加性來計算:P(A)=比P(X=x).xeA這樣知道了離散型隨機變量X的概率函數(shù),我們就能給出關(guān)于X的任何概率問題的回答.下面我們給出常見的離散型分布.在描述離散概率模型時,Bernoulli試驗是最早被研究且應(yīng)用及其廣泛的概率模型.定義2.2.3.設(shè)一個隨機試驗只有兩個可能結(jié)果A和,則稱此試驗為一Bernoulli試驗.定義2.2.4.設(shè)將一個可能結(jié)果為A和的Bernoulli試驗獨立地重復n次,使得事件A每次出現(xiàn)的概率相同,則稱此試驗為n重Bernoulli試驗.下面的0-1分布和二項分布都是以Bernoulli試驗為基礎(chǔ)的.?2.2.10-1分布設(shè)隨機變量X只取0,1兩值,P(X=1)=p,P(X=0)=1_p,則稱X服從0-1分布或Bernoulli分布.0-1分布是很多古典概率模型的基礎(chǔ).?2.2.2二項分布設(shè)某事件A在一次試驗中發(fā)生的概率為p.現(xiàn)把試驗獨立地重復n次.以X記A在這n次試驗中發(fā)生的次數(shù),則X取值0,1,...,n,且有P(X=k)=╱、pk(1_p)n-k,k=0,1,...,n.(2.2.3)稱X服從二項分布,記為X~B(n,p).從╱、pk(1_p)n-k=(p+1_p)n=1,我們知道(2.2.3)確實是一個概率函數(shù).為了考察這個分布是如何產(chǎn)生的,考慮事件{X=i}.要使這個事件發(fā)生,必須在這n次試驗的原始記錄AAA...A中,有i個A,n_i個,每個A有概率p而每個有概率1_p.又由于每次試驗獨立,所以每次出現(xiàn)A與否與其它次試驗的結(jié)果獨立.因此由概率乘法定理得出每個這樣的原始結(jié)果序列發(fā)生的概率為pi(1_p)n-i.但是i個A和n_i個的排列總數(shù)是╱、,所以有i個A的概率是:╱、pi(1_p)n-i,i=0,1,...,n.一個變量服從二項分布有兩個條件:一是各次試驗的條件是穩(wěn)定的,這保證了事件A的概率p在各次試驗中保持不變;二是各次試驗的獨立性.現(xiàn)實生活中有許多現(xiàn)象不同程度地滿足這些條件.例如工廠每天生產(chǎn)的產(chǎn)品.假設(shè)每日生產(chǎn)n個產(chǎn)品.若原材料質(zhì)量,機器設(shè)備,工人操作水平等在一段時間內(nèi)保持穩(wěn)定,且每件產(chǎn)品是否合格與其它產(chǎn)品合格與否并無顯著性關(guān)聯(lián),則每日的廢品數(shù)服從二項分布.?2.2.3Poisson分布設(shè)隨機變量X的概率分布為P(X=k)=e-λ,k=0,1,2,...,λ>0,(2.2.4)則稱X服從參數(shù)為λ的Poisson分布,并記X~P(λ).由于eλ有級數(shù)展開式eλ=1+λ++...++...所以o比P(X=k)=1.k=0穆德和格雷比爾著的《統(tǒng)計學導論》給出了Poisson分布的如下推導.假定體積為V的液體包含有一個大數(shù)目N的微生物.再假定微生物沒有群居的本能,它們能夠在液體的任何部分出現(xiàn),且在體積相等的部分出現(xiàn)的機會相同.現(xiàn)在我們?nèi)◇w積為D的微量液體在顯微鏡下觀察,問在這微量液體中將發(fā)現(xiàn)x個微生物的概率是什么?我們假定V遠遠大于D.由于假定了這些微生物是以一致的概率在液體中到處散布,因此任何一個微生物在D中出現(xiàn)的概率都是D/V.再由于假定了微生物沒有群居的本能,所以一個微生物在D中的出現(xiàn),不會影響另一個微生物在D中的出現(xiàn)與否.因此微生物中有x個在D中出現(xiàn)的概率就是xNx(2.2.5)在這里我們還假定微生物是如此之小,擁擠的問題可以忽略不考慮,即N個微生物所占據(jù)的部分對于體積D來說是微不足道.在(2.2.5)中令V和N趨向于無窮,且微生物的密度N/V=d保持常數(shù).將(2.2.5)式改寫成如下形式:╱、x╱1_、N-x=x!.當N變成無限時其極限為e-Dd(Dd)x/x!(2.2.6)令Dd=λ,則(2.2.6)和(2.2.4)的形式相同.這一推導過程還證明了λ是x的平均數(shù),因為所考察的一部分體積D乘以整個的密度d就給出了在D中所預計的平均數(shù)目.當N很大,p很小且Np趨于一個極限時,Poisson分布是二項分布的一個很好的近似.而在N未知時,Poisson分布更顯得有用.我們有下面的定理.定理2.2.1.在n重Bernoulli試驗中,以pn代表事件A在試驗中出現(xiàn)的概率,它與試驗總數(shù)n有關(guān).如果npn-λ,則當n-o時,╱、p(1_pn)n-k-e-λ.例2.2.1.現(xiàn)在需要100個符合規(guī)格的元件.從市場上買的該元件有廢品率0.01.考慮到有廢品存在,我們準備買100+a個元件使得從中可以挑出100個符合規(guī)格的元件.我們要求在這100+a個元件中至少有100個符合規(guī)格的元件的概率不小于0.95.問a至少要多大?解:令A={在100+a個元件中至少有100個符合規(guī)格的元件}.假定各元件是否合格是獨立的.以X記在100+a個元件中的廢品數(shù).則X服從n=100+a和p=0.01的二項分布,且P(A)=╱100i+a、(0.01)i(0.99)100+a-i.上式中的概率很難計算.由于100+a較大而0.01較小,且(100+a)(0.01)=1+0.01as1,我們以λ=1的Poisson分布來近似上述概率.因而aP(A)=比e-1/i!.i=1當a=0,1,2,3時,上式右邊分別為0.368,0.736,0.920和0.981.故取a=3已夠了.?2.2.4離散的均勻分布設(shè)隨機變量X取值a1,a2,...,an,且有P(X=ak)=,k=1,...,n.則稱X服從離散的均勻分布.可以看出,離散的均勻分布正是古典概型的抽象.?2.3連續(xù)型隨機變量離散隨機變量只取有限個或可數(shù)無限個值,而連續(xù)型隨機變量取不可數(shù)個值.這就決定了不能用描述離散型隨機變量的辦法來刻劃連續(xù)型隨機變量.考慮一個例子.假定步槍射手瞄準靶子在固定的位置進行一系列的射擊.令X是命中點與過靶心垂線的水平偏離值,設(shè)X取值[_5cm,5cm].X是一個連續(xù)隨機變量.為了計算X落在某區(qū)間的概率,將[_5,5]分為長為1厘米的小區(qū)間.對于每個小區(qū)間,以落在這個小區(qū)間的彈孔數(shù)除以彈孔總數(shù)得到落在這個區(qū)間的彈孔的相對頻數(shù).設(shè)總彈孔數(shù)為100.我們得到下表:ityity.000.050.100.150.200.25彈孔數(shù)相對頻數(shù)[_5,_4]1[_4,_3]1[_3,_2]6[_2,_1][_1,0]732上表可以用下圖來表示:圖2.3.1彈孔位點分布圖012345?5012345X我們注意每個矩形的底等于1,高為該矩形的區(qū)間所對應(yīng)的相對頻數(shù),所以面積為相對頻數(shù).全部矩形的面積是1.對于[_5,5]的任一子區(qū)間,我們可以根據(jù)上圖估計彈孔落在該子區(qū)間的概率.例如要估計0<X<2的概率,只要把區(qū)間中的兩個矩形面積加起來,結(jié)果得到0.43.再譬如說要估計_0.25<X<1.5中的概率,我們應(yīng)當計算該區(qū)間上的面積,結(jié)果得到:0.06+0.27+0.08=0.41.如果第二批的100顆子彈射在靶子上,我們就將獲得另一個經(jīng)驗分布.它與第一個經(jīng)驗分布多半是不同的,盡管它們的外表可能相似.如果把觀察到的相對頻數(shù)看作為某一“真”概率的估計,則我們假定有一個函數(shù),它將給出任何區(qū)間中的精確概率.這些概率由曲線下的面積給出.由此我們得到如下定義:定義2.3.1.X稱為連續(xù)型隨機變量’如果存在一個函數(shù)f’叫做X的概率密度函數(shù)’它滿足下面的條件∶1.對所有的_o<x<+o,有f(x)>0;2.尸f(x)dx=1;3.對于任意的_o<a<b<+o,有P(a<X<b)=尸f(x)dx.注2.3.1.對于任意的_o<x<+o,有P(X=x)=尸f(u)du=0.注2.3.2.如果f只取某有限區(qū)間[a,b]的值,令f?(x)=ìf)xe[a,b],其它.則f?是定義在(_o,+o)上的密度函數(shù),且f(x)和f?(x)給出相同的概率分布.注2.3.3.假設(shè)有總共一個單位的質(zhì)量連續(xù)地分布在a<x<b上.那么f(x)表示在點x的質(zhì)量密度且尸cdf(x)dx表示在區(qū)間[c,d]上的全部質(zhì)量.由于連續(xù)隨機變量的概率是用積分給出的,我們可以直接處理密度的積分而不是密度本身.定義2.3.2.設(shè)X為一連續(xù)型隨機變量.則F(x)=\f(u)du,_o<x<+o(2.3.1)稱為X的(累積)分布函數(shù).注2.3.4.F(x)表示的是隨機變量的數(shù)值小于或等于x的概率,即F(x)=P(X<x)_o<x<+o.(2.3.2)由式(2.3.2)定義的F為X的(累積)分布函數(shù)的一般定義.它適用于任意的隨機變量.設(shè)X為F(x)=比pi.ai二北分布函數(shù)F具有下列性質(zhì):(1)F是非減的函數(shù);(2)lim北/-oF(x)=0;(3)lim北/+oF(x)=1.對于連續(xù)隨機變量,如果F(x)在點x的導數(shù)存在,則f(x)=Fo(x).連續(xù)隨機變量的分布函數(shù)的圖象如下圖所示.下面我們介紹常見的連續(xù)型分布.它們包括正態(tài)分布,指數(shù)分布和均勻分布.?2.3.1正態(tài)分布如果一個隨機變量X具有概率密度函數(shù)f(x)=exp{_},_o<x<+o,(2.3.3)其中_o<μ<+o,σ2>0,則稱X為一正態(tài)隨機變量,記為X~N(μ,σ2).以(2.3.3)為密度的分布稱為參數(shù)為μ和σ2的正態(tài)分布.具有參數(shù)μ=0,σ=1的正態(tài)分布稱為標準正態(tài)分布.用Φ(x)和φ(x)表示標準正態(tài)分布N(0,1)的分布函數(shù)和密度函數(shù).從圖(2.3.3)可以看出,正態(tài)分布的密度函數(shù)是以x=μ為對稱軸的對稱函數(shù).μ稱為位置參數(shù).密度函數(shù)在x=μ處達到最大值,在(_o,μ)和(μ,+o)內(nèi)嚴格單調(diào).同時我們看到,σ的大小決定了密度函數(shù)的陡峭程度.通常稱σ為正態(tài)分布的形狀參數(shù).以F(x)記正態(tài)分布N(μ,σ2)的概率分布函數(shù),則恒有F(x)=Φ(北-σμ).所以任一正態(tài)分布的概率分布函數(shù)都可通過標準正態(tài)分布的分布函數(shù)計算出來.圖2.3.2(累積)分布函數(shù)0x0例2.3.1.求數(shù)k使得對于正態(tài)分布的變量有P(μ_kσ<x<μ+kσ)=0.95.解:令F為正態(tài)分布N(μ,σ2)的分布函數(shù),則有P(μ_kσ<x<μ+kσ)=F(μ+kσ)_F(μ_kσ)=Φ(k)_Φ(_k)=0.95.(2.3.4)從關(guān)系式Φ(_k)=1_Φ(k),我們得2Φ(k)_1=0.95.所以Φ(k)=0.975.查正態(tài)分布表,得k=1.96.?2.3.2指數(shù)分布若隨機變量X具有概率密度函數(shù)f(x)=其中λ>0為常數(shù),則稱X服從參數(shù)為λ的指數(shù)分布.指數(shù)分布的分布函數(shù)為x>0,x<0.F(x)=x>0,x<0.0.30.40.30.4f(x)20.00.1圖2.3.3正態(tài)分布的密度函數(shù)mu=1,sigma=1mu=4,sigma=1.5mu=?2,sigma=255x從圖(2.3.5)可以看出,參數(shù)λ愈大,密度函數(shù)下降得愈快.指數(shù)分布經(jīng)常用于作為各種”壽命”的分布的近似.令X表示某元件的壽命.我們引進X的失效率函數(shù)如下:h(x)=limP(x<X<x+?xh(x)=lim?x/0?x.失效率表示了元件在時刻x尚能正常工作,在時刻x以后,單位時間內(nèi)發(fā)生失效的概率.則如果h(x)=λ(常數(shù)),0<x<+o,X服從指數(shù)分布.即指數(shù)分布描述了無老化時的壽命分布.指數(shù)分布的最重要的特點是“無記憶性”.即若X服從指數(shù)分布,則對任意的s,t>P(X>s+t|X>s)=P(X>t).(2.3.7)即壽命是無老化的.可以證明,指數(shù)分布是唯一具有性質(zhì)(2.3.7)的連續(xù)型分布.f(f(x)0.00.10.20.30.40.5圖2.3.4指數(shù)分布的密度函數(shù)lambda=1lambda=1lambda=0.5lambda=30268402684x?2.3.3均勻分布設(shè)a<b,如果分布F(x)具有密度函數(shù)f(x)=ì1b-a0a<x<b,其它,則稱該分布為區(qū)間[a,b]上的均勻分布,記作U[a,b].如此定義的f(x)顯然是一個概率密度函數(shù).容易算出其相應(yīng)的分布函數(shù)為0,x<a,F(x)=í,a<x<b,ìì‘1,x>b.在計算時因四舍五入而產(chǎn)生的誤差可以用均勻分布來描述.?2.4多維分布在實際應(yīng)用中,經(jīng)常需要對所考慮的問題用多個變量來描述.我們把多個隨機變量放在一起組成向量,稱為多維隨機變量或者隨機向量.例2.4.1.從一付撲克牌中抽牌時,可以用紙牌的花色和數(shù)字來說明其特征.例2.4.2.考慮一個打靶的試驗.在靶面上取定一個直角坐標系.則命中的位置可由其坐標(X,Y)來刻劃.X,Y都是隨機變量.定義2.4.1.設(shè)X=(X1,...,Xn).如果每個Xi都是一個隨機變量’i=1,...,n’則稱X為n維隨機變量或者隨機向量.我們可以按照對常用一維隨機變量的分類把常用的隨機向量分為離散型和連續(xù)型的.定義2.4.2.如果每一個Xi都是一個離散型隨機變量’i=1,...,n’則稱X=(X1,...,Xn)為一n維離散隨機變量.設(shè)Xi的所有可能取值為{ai1,ai2,...},i=1,...,n,則稱p(j1,...,jn)=P(X1=a1j1,...,Xn=anjn),j1,...,jn=1,2,...(2.4.1)為n維隨機變量X的概率函數(shù).容易證明概率函數(shù)具有下列性質(zhì):(1)p(j1,...,jn)>0,ji=1,2,...,i=1,2,...,n;(2)4p(j1,...,jn)=1.j1,...,jn我們具體來看一下二維離散分布.設(shè)二維離散型隨機變量(X,Y)的所有可能取值為{(xi,yj):i=1,...,n,j=1,2,...,m}.我們經(jīng)常以列聯(lián)表的形式來表示二維離散型隨機變量的概率分布.記pij=P(X=xi,Y=yj),i=1,...,n,j=1,...,m.則(X,Y)的概率函數(shù)可以下表表示:↘↘↘x1x2...xn行和y1ymp11p12p1mp21p22p2mpn1pn2pnmp.1p.2p.m列和p1.p2....pn.1例2.4.3.從一個包含五個黑球,六個白球和七個紅球的罐子里抽取四個球.令X是抽到白球的數(shù)目,Y是抽到紅球的數(shù)目.則二維隨機變量(X,Y)的概率函數(shù)為p(x,y)=╱、╱、╱4--y、0<x+y<4.(2.4.2)以列聯(lián)表表示,即為↘↘↘01234行和01234 1155151102153204 7735751204153 777468 35712102 992211415134512041類似于一維連續(xù)型隨機變量,連續(xù)型隨機向量的也是由密度函數(shù)來刻畫的.定義2.4.3.稱X=(X1,...,Xn)為n維連續(xù)型隨機變量’如果存在Rn上的非負函數(shù)f(x1,...,xn)’使得對任意的_o<a1<b1<+o,...,_o<an<bn<+o,有P(a1<X1<b1,...,an<Xn<bn)=\\f(x1,...,xn)dx1...dxn,則稱f為X的概率密度函數(shù).對n維隨機變量我們也有分布函數(shù)的概念.x1x1/o,...,xn/o定義2.4.4.設(shè)X=(X1,...,Xn)為n維隨機變量.對任意的(x1,...,xn)eRn’稱F(x1,...,xn)=P(X1<x1,...,Xn<xn)(2.4.4)為n維隨機變量X的(聯(lián)合)分布函數(shù).可以驗證分布函數(shù)F(x1,...,xn)具有下述性質(zhì):(1)F(x1,...,xn)對每個變元單調(diào)非降;xj/-o(3)limF(x1,...,xn)=1.(2)對任意的1<jxj/-o(3)limF(x1,...,xn)=1.對n維連續(xù)型隨機變量,從密度的定義我們有,F(x1,...,xn)=\xn-o...\x1-of(x1,...,xn)dx1...dxn.對高維離散型隨機變量,一般我們不使用分布函數(shù).例2.4.4.考慮二維隨機變量X=(X1,X2)’其概率密度函數(shù)為f(x1,x2)=ì1/[(b_)(d_c)]當a<x1c<x2<d,稱此概率密度為[a,b]×[c,d]上的均勻分布.例