概率論備要與隨機數(shù)VIP

1、概率論備要與隨機數(shù)報告人：*2011年11月28日內容提要:1隨機事件,隨機事件的概率,隨機變量,隨機變量的分布函數(shù),隨機變量的期望和方差,隨機變量的矩母函數(shù)和特征函數(shù),隨機向量,隨機變量的獨立性2極限定理3隨機數(shù)4Gauss系一 概率論備要(一)概率公理系統(tǒng)一次隨機試驗可能出現(xiàn)的一個結果，稱為一個基本事件，或樣本點，記為。全體基本事件的集合記為，稱為必然事件，或樣本空間。對的某些子集組成的類F,如果它滿足下列條件：(1) (2) (3) 則稱為一個事件體，或代數(shù)。中的集合稱為隨機事件。直觀上可以理解為可以描述其概率的事情。它實際上包含了所有我們“感興趣”的集合。概率理論就是在這個基礎上展開的

2、。由的定義可以推出: 中元素的有限交,任兩個元素的差,對稱差,交均在中。在上定義的非負集函數(shù),稱為概率，如果滿足下列條件：（1）（2），只要，就有，其中示沒有基本事件的空集。值得注意的是，當樣本空間與事件體都確定以后，Kolmogorov公理系統(tǒng)仍舊容納不止一個取概率運算。也就是說在同一個樣本空間與同一個事件體上，可以存在不同的取概率運算。下面舉一個著名的貝郎特(Bertrand)奇論來說明。問題是:在半徑為1的圓內隨機地取一條弦,問其長超過的概率等于多少?解法1 任何弦交圓周兩點,不失一般性,先固定其中一點于圓周上,以此點為頂點作一等邊三角形,只有落入此三角形內的弦才滿足要求,這種弦的另一端

3、跑過的弧長為整個圓周的1/3,故概率為1/3.如圖(a)解法2 弦長只跟它與圓心的距離有關,而與方向無關,因此可以假定它垂直于某一直徑.當且僅當它與圓心的距離小于1/2時,其長才大于,因此所求概率為1/2.如圖（b）解法3 弦被其中點唯一確定, 當且僅當其中點屬于半徑為1/2的同心圓內時,弦長才大于,此小圓面積為大圓面積的1/4,所以概率為1/4.如圖（c）同一問題有三種不同的答案,細究其原因,發(fā)現(xiàn)是在取弦時采用了不同的等可能假設.解法1假定端點在圓周上均勻分布,解法2假設弦的中點在直徑上均勻分布,解法3認為弦的中點在圓內均勻分布.這三種答案是針對三種不同的隨機試驗,對于各自的隨機試驗而言,它

4、們都是正確的。概率空間：給定樣本空間及上的一個域,以及上面提到的上的集函數(shù)(概率)，則稱三元組為概率空間。此時稱為可測空間。Borel集與Borel函數(shù)樣本空間的子集族F，滿足：非空則稱F是一個域。由測度論知識可以知道，對樣本空間的任意子集族F，都存在包含F(xiàn)的最小域。R中包含所有開區(qū)間的最小域，稱為Borel集,記為B。值得一提的是，B和包含所有形如的最小域是一樣的。中包含所有開矩形的最小域，稱為d維Borel集，記為。由實變函數(shù)知識，Borel集中的元素都是Lebesgue可測的，但，他們之間相差一個Lebesgue零測集?？蓽y空間到可測空間的可測映射，即滿足的函數(shù)：，稱為Borel可測函數(shù)

5、，簡稱Borel函數(shù)。（二）隨機變量一個隨機地取實數(shù)值的量稱為隨機變量，如果對于任意實數(shù)，樣本點的集合都是一個隨機事件。用測度論的觀點來看，隨機變量就是概率空間到可測空間的一個可測映射?？梢婋S機變量的定義依賴于給定的事件體。實值函數(shù)就是隨機變量的分布函數(shù)。前面已經舉例說明一個可測空間可以定義不同的概率，下面舉例說明一個概率空間也可以定義無窮多個隨機變量,而且可以不相關。設，對任意，定義。對每一個正整數(shù)n，定義映射：，容易驗證是隨機變量，而且是線性無關的。隨機過程：設為概率空間，為實的參數(shù)集（可以是離散的，也可以是連續(xù)的），定義在和上的二元函數(shù)：,如果對任意固定的,是上的隨機變量，則稱為該概率空

6、間上的隨機過程。一般而言，根據(jù)隨機變量取值的類型，把隨機變量分為離散型隨機變量和連續(xù)型隨機變量。對于前者，常用概率函數(shù)來描述，對于實值函數(shù)，隨機變量的期望為：。對于后者，常用分布密度描述，對Borel可測函數(shù)，隨機變量的期望為：。期望實際上就是一種平均，它是刻畫隨機變量的一個重要指標。在概率論中具有相當重要的角色。下面的例子說明了期望的不足：（圣.彼得堡悖論）傳說在圣.彼得堡街頭曾流行過一種賭博，參見者實現(xiàn)墊付一筆錢，比如100個盧布，然后開始連續(xù)擲一枚均勻的硬幣，直至首次出現(xiàn)人像朝上。若記首次出現(xiàn)人像朝上時投擲次數(shù)為n,則賭博者可得到個盧布，這時的決策問題是：參見賭博和不參加賭博哪個結果更合

7、算？用變量X表示某人參與賭博的凈回報，即,則可以計算出,也就是說贏的期望為無窮大，但贏的概率卻很小。正是所謂的”辜負了期望”。可見僅有期望，對于隨機變量的刻畫是不夠的。方差定義為：,可見，方差實際上也是一種期望，是用來刻畫隨機變量波動程度的量。下面介紹概率論中兩個重要的函數(shù)：矩母函數(shù)和特征函數(shù)。矩母函數(shù)定義為，當然前提是存在且有限。它包含了任意階矩的信息，進一步地，的分布也可由矩母函數(shù)唯一確定。離散的情形很好理解，對于連續(xù)的情況，矩母函數(shù)的可以看成密度函數(shù)的“拉普拉斯變換”，做“拉普拉斯逆變換”可得密度函數(shù)，這里用“”號是因為存在一點非本質的細節(jié)差別。實際上矩母函數(shù)就是拉普拉斯在19世紀引進的

8、，它是概率論中第一個被系統(tǒng)地應用的變換法，對后來在概率論中引進其他更有用的變換-如馬上要介紹的特征函數(shù)-有啟發(fā)作用。矩母函數(shù)還有一個非常重要的性質就是獨立隨機變量和的母函數(shù)等于各自母函數(shù)的乘積。在概率論發(fā)展史上具有重大意義的是特征函數(shù)的引進。隨機變量的特征函數(shù)定義為：特征函數(shù)克服了矩母函數(shù)有可能不存在的不足，對每一個隨機變量，都存在一個唯一的特征函數(shù)與之對應，這是由Lebesgue控制收斂定理所保證。反過來，對每一個特征函數(shù)，如果是絕對可積的，則存在唯一的密度函數(shù)與之對應，這里的唯一性是在忽略一個Lebesgue零測集意義下的唯一性。實際上特征函數(shù)可以看成密度函數(shù)的Fourier變換，上面介紹

9、的對應關系可以用Fourier變換和Fourier逆變換的觀點來看。和矩母函數(shù)一樣，獨立隨機變量和的特征函數(shù)等于各自特征函數(shù)的乘積，正是這個性質，在證明中心極限定理時顯示出了非凡的威力。（三）隨機向量直觀的看，隨機變量放在一起就是隨機向量。這里有一個前提，就是這些隨機變量有相同的概率空間。考慮d維隨機向量，其分布函數(shù)為,其期望是,協(xié)方差矩陣是: ,稱為隨機變量與的協(xié)方差, 是相關系數(shù)。需要指出的是，若兩個隨機變量成正相關，即為1，但這兩個隨機變量變換后的隨機變量卻可能有很弱的相關性，即。比如。就的線性相關性就低。類似的可以定義的距母函數(shù):特征函數(shù)。隨機變量的獨立性：隨機變量組稱為獨立，如果它們

10、滿足條件：。兩個隨機變量獨立，則它們是不相關的，反之不成立。概率論中有一個重要的不等式，即Chebyshev不等式：，它在證明弱大數(shù)定理時起到關鍵作用。（四） 極限定理極限定理通常包括大數(shù)定律和中心極限定理。大數(shù)定律:若是隨機變量列,如果存在一個常數(shù)列,對,有,則稱隨機變量概率為1地收斂，也稱為幾乎處處收斂強大數(shù)定律：Bore大數(shù)定律:Bernoullli試驗Kolmogorov大數(shù)定律：相互獨立隨機變量序列滿足列服從大數(shù)定律或大數(shù)法則。均方收斂：弱大數(shù)定律:Bernoulli大數(shù)定律：Bernoullli試驗Chebyshev大數(shù)定律：兩兩不相關隨機變量列，每一隨機變量有有限方差，且方差有公

11、共上界Khintchine大數(shù)定律：獨立同分布隨機變量列，且有有限的期望Markov大數(shù)定律：依概率收斂：中心極限定理：為標準正態(tài)隨機變量棣莫弗-拉普拉斯中心極限定理：是獨立同分布的Bernoullli試驗,林德貝格-萊維中心極限定理:獨立同分布隨機變量序列,期望方差均存在而且有限依分布收斂：二 隨機數(shù)與隨機模擬生成隨機數(shù)有兩大類方法，逆函數(shù)方法和Von-Neumann取舍原則。（一） 生成隨機數(shù)的逆函數(shù)方法若隨機變量X的分布函數(shù)為或密度函數(shù)，則X的一個樣本值稱為F-隨機數(shù)或f-隨機數(shù)。特別的若,則X的樣本值就是均勻隨機數(shù)。命題：若分布函數(shù)嚴格單調，是一個均勻隨機數(shù)，則是一個F-隨機數(shù)。證明：

12、設U是0,1上的均勻隨機變量，那么故逆函數(shù)方法的關鍵一步是生成均勻隨機數(shù)，而后面講到的Von-Neumann取舍原則也是以均勻隨機數(shù)為基礎，因此下面簡要談談均勻隨機數(shù)的生成方法。產生均勻隨機數(shù)的方法很多，這里只介紹幾種用計算機產生隨機數(shù)的方法。物理方法。在計算機上安裝一臺物理隨機數(shù)發(fā)生器，把具有隨機性質的物理過程變換為隨機數(shù)，這樣就可以得到隨機性和均勻性都很好的真正隨機數(shù)。但此方法有一些缺點，其中最重要的是我們不能產生與原來完全相同的隨機數(shù)，對計算結果不能進行復算檢查；加上物理隨機數(shù)發(fā)生器的穩(wěn)定性經常需進行檢查和維修。因此大大降低了這種方法的使用價值。北師大校物理系李曉文副教授與馬里蘭大學同事

13、合作，最近在物理隨機數(shù)發(fā)生器設計方面取得了突破性進展。她們設計了一個多通道、互相獨立的、高速物理隨機數(shù)發(fā)生器，利用超發(fā)光二極管放大自發(fā)輻射的寬頻光學噪聲，通過兩個透過率互不重疊的光學濾波器分出兩路信號，每個通道的比特率可以達到10G/s。利用這種并行隨機比特的方法同時產生多個比特，極大地提高了隨機數(shù)發(fā)生器的產生速率及升級能力。李曉文等第一次證明，從單個光噪聲源，不需外部光學放大及增益，即可同時得到多個獨立的比特流。這是迄今為止第一個并行輸出的物理真隨機數(shù)系統(tǒng)，向基于芯片的超快并行物理隨機數(shù)發(fā)生器邁出了重要一步。另外，通過使用更多的濾波器，并行輸出的通道數(shù)目最多可以達到20個，累計比特率可以達到

14、200G/s。數(shù)學方法，這樣產生的隨機數(shù)并不是真正的隨機數(shù)，故稱偽隨機數(shù)，但由于它占用內存少，速度快又便于復算，因此這是目前使用最廣，發(fā)展最快的一類方法。這里介紹其中兩種的設計思想。線性同余發(fā)生器：就是所得（偽）隨機數(shù)，之所以選擇上面的參數(shù)，是出于以下考慮：讓序列達到滿周期；產生的隨機數(shù)，均值接近，方差接近；一階自相關系數(shù)接近0。反饋位移寄存器法大量使用過程發(fā)現(xiàn)，線性同余法產生均勻隨機數(shù)作為維隨機向量時相關性大，其次是線性同余法得到的均勻隨機數(shù)列的周期與計算機的字長有關。在整數(shù)的尾數(shù)字長為L的計算機上，不可能得到周期的均勻隨機數(shù)列。反饋位移寄存器法產生均勻隨機數(shù)的方法是：給定初值，迭代產生0-

15、1序列，截取序列中連續(xù)的L位構成一個L位二進制整數(shù)，即：令即得均勻隨機數(shù)列。之所以叫做反饋位移寄存器，是因為這種算法在計算機上實現(xiàn)時，在寄存器里面用了大量的移位運算。（二） 生成隨機數(shù)的Von-Neumann原則給定分布密度，用逆函數(shù)法往往需要很大的計算量，而取舍原則提供了生成f-隨機數(shù)的簡捷方法。做法是：取一個參考分布密度函數(shù)，滿足：-隨機數(shù)容易生成與的取值范圍差不多（不必相同），且存在C,使得命題：設隨機變量Y具有密度函數(shù)，而隨機變量,且與Y獨立，則證明： 這樣,取舍原則的具體做法是:獨立的生成一個-隨機數(shù)和均勻隨機數(shù)若，則就是一個-隨機數(shù)。重復進行可得-隨機數(shù)列。假設一個-隨機數(shù)在取舍原

16、則中“被選用”的概率為：所以C越小，取舍的效率越高?？梢姡瑸榱说玫揭粋€-隨機數(shù)，平均需要C個-隨機數(shù)。三 Gauss分布與Gauss過程（一）方差有限的隨機變量全體組成的Hilbert空間概率空間上有方差（存在且有限）的全體隨機變量的集合記為，它是Euclid空間，即它是線性空間。但是無窮維的。定義內積：,則在這個內積意義下成為完備的內積空間，即Hilbert空間。這個空間的收斂就是均方收斂。即：(二)高斯分布定義：如果存在m個獨立的標準正態(tài)隨機變量，以及常數(shù)與，使得：，其中則稱d維隨機向量服從d維Gauss分布，也稱作高斯隨機向量。的期望向量和協(xié)方差矩陣分別是：服從d維Gauss分布記為。當

17、可逆時的Gauss分布，稱為d維正態(tài)分布。正態(tài)分布就是不退化的高斯分布，只有當可逆時才存在分布密度，不可逆時可能只分布在一個低維超平面上。比如：,則只分布在一條直線上。由定義可以看出，高斯隨機向量的任意多個分量也是高斯隨機向量或者高斯隨機變量。除此而外，高斯分布還有以下性質：高斯隨機向量的依概率極限也是高斯隨機向量。即服從高斯分布，若（指所有分量都依概率收斂），則服從高斯分布。對于高斯隨機向量而言，依概率收斂與均方收斂是等價的。高斯隨機向量對依分布收斂的封閉性，即，且（等價的，對應的特征函數(shù)收斂），則，且服從d維Gauss分布對任意實數(shù)，線性組合服從一維Gauss分布（是常數(shù)，或者是正態(tài)分布）。的特征函數(shù)形如，其中是實對稱半正定矩陣。的矩母函數(shù)形如。 (三)與Gauss系與Gauss過程相關的基本概念Gauss系:隨機變量族稱為Gauss系,如果對任意及任意，隨機向量服從Gauss分布。高斯過程：若指標集,則稱為高斯過程。例如，Wiener過程就是Gauss過程。Gauss過程的概率特性完全由其均值函數(shù)和協(xié)方差函數(shù)所決定