概率論與隨機(jī)過程note

1、隨量與分布函數(shù)PART A已經(jīng)在嚴(yán)格的公理化基礎(chǔ)上建立了概率的定義。概率是以集合為自變量的函數(shù)，這使或多或少感到困惑。統(tǒng)計實驗的結(jié)果是樣本空間的樣本點，當(dāng)使用概率方法對這些實驗結(jié)果（樣本點）進(jìn)行分析的時候，難道不能夠直接對這些樣本點實施運算嗎？這里會遇到一定的，主要是樣本點本身是實體對象，不一定具有數(shù)量特性，從而可能無法直接使用數(shù)學(xué)工具進(jìn)行處理。例如，拋硬幣實驗所得到的結(jié)果是“正面”和“”。如果想要了解多次實驗中“正面”出現(xiàn)的次數(shù)，那么直接對“正面”和“”進(jìn)行處理不恨妥當(dāng)?！罢妗?“正面”什么意思呢？含義并不清晰。因此，如果試圖使用數(shù)學(xué)工具，那么首先需要將非數(shù)值的研究對象（樣本點）進(jìn)行“量化

2、”。也就是說，需要一種“”，能夠?qū)⒎菙?shù)值的實驗結(jié)果轉(zhuǎn)化為數(shù)值，才能夠讓數(shù)學(xué)分析和運算工具發(fā)揮作用。退一步講，即便實驗結(jié)果本身是數(shù)值，仍有很大可能無法直接觀測到。例如，對通信信道中的噪聲電平進(jìn)行重復(fù)采樣，由于采樣儀器精度以及采樣的限制，獲得的觀測結(jié)果只能是實際噪聲電平的某種近似。這里的儀器和采樣方法同樣了某種從實際實驗結(jié)果到觀測的“”。因此，”，并在此基在對概率論展開之初，應(yīng)該建立一種從樣本空間到數(shù)值的“量”。礎(chǔ)上使用數(shù)算工具進(jìn)行分析研究。這個就是“隨隨量的基本概念隨量的定義隨量是定義于樣本空間上的實數(shù)值，完成了對統(tǒng)計實驗結(jié)果的量化。但是，僅僅有量化是不夠的。概率論研究事件的不確定性，作為不確定

3、性的度量，概率定義在樣本空間上，并沒有直接定義在實數(shù)軸上。所以，隨量取值的不確定性需要相應(yīng)的刻畫。如果X是隨量，那么有兩個問題值得考慮：對于通常人們關(guān)心的集合A R，事件X A的不確定度性應(yīng)該能夠被精確描述；事件X A的不確定度應(yīng)該和相應(yīng)的統(tǒng)計實驗結(jié)果的不確定度相一致。對于第一個問題，根據(jù)第二章對實數(shù)軸上Borel域B(R)的，絕大部分人們所關(guān)心的集合都在B(R)內(nèi)。所以，確保B(R)中元素的不確定度能夠被度量是隨量須滿足的條件。由于在樣本空間上已經(jīng)定義好了-域F，F(xiàn)中的元素都能夠用概率來描述其不確定度，所以要求B(R) 內(nèi)的元素能夠和F內(nèi)的元素相對應(yīng)是自然的。也就是說， : X() A, A

4、 B(R) F,(1-1)這也就是隨量作為一個所滿足的最關(guān)鍵的特性。定義 1.1 設(shè)(, F, P)是概率空間，隨量X()定義為實數(shù)值X : R,(1-2)2滿足X1(A) F,A B(R),其中，B(R)是實數(shù)軸上的Borel域。(1-3)這里有兩點注記。首先，隨量是確定性函數(shù)，自身并沒有隨機(jī)性。換句話說，給定樣本空間上的樣本點，有唯一確定的實數(shù)值與之相對應(yīng)。這種對應(yīng)關(guān)系并沒有不確定性。所有的不確定性都體現(xiàn)在樣本點是否在實驗結(jié)果中出現(xiàn)上，和隨量本身沒有關(guān)系。隨機(jī)變量的引入，地是為了數(shù)學(xué)處理上的方便。其次，隨量并不是概率論中獨有的概念。實分析的基本研究對象是所謂“可測函數(shù)(Measurable

5、 Functions)”。如果規(guī)定所謂“可測集(Measurable Sets)”為某種-代數(shù)的元素，且在函數(shù)的定義域和值域上都定義了相應(yīng)的-代數(shù)，那么“可測函數(shù)”就是“可測集”原像仍為“可測集”的函數(shù)。很明顯，隨是一種特殊的可測函數(shù)，這里的“可測集”具有了更為具體的實際含義。量例 1.1 考慮拋硬幣實驗，如果以H表示正面向上，以T表示代數(shù)為, H, T, H, T，定義函數(shù)X() 為X(H) = 1,X(H) = 0,向上，設(shè)樣本空間為H, T，-容易驗證X()滿足(1-3)，因此為隨量，該隨量稱為Bernoulli隨量。例 1.2 考慮對通信信道中的噪聲電平進(jìn)行數(shù)字采樣，則樣本數(shù)據(jù)自身具有

6、數(shù)量特征。由于采樣設(shè)備數(shù)字量化誤差的限制，實際上只能獲得離散的采樣值。但是，多數(shù)情況下為簡單起見，假設(shè)實驗結(jié)果為連續(xù)數(shù)值（這種近似在實際應(yīng)用中經(jīng)常被采用）。因此樣本空間為R，-代數(shù)為實數(shù)軸上的Borel域，代表采樣結(jié)果的隨量為X() = ,該隨量的定義域與值域相同，實質(zhì)為恒同，因此(1-3)自然滿足。例 1.3通過一個人工痕跡較重的例子來進(jìn)一步體會(1-3)在隨量定義中的作用?？紤]樣本空間 = a, b, c，-代數(shù)為F =, b, c, a, b, c, ，定義函數(shù)X()為X(a) = 1,X(b) = 2,X(c) = 2,思考一下，X是隨量嗎？很明顯，X不是隨量，因為 : X() 6 1

7、 = a / ,那么如何對X的取值進(jìn)行一下修改，使之成為隨量呢？只要修改X(b)的取值即可。令Y (a) = 1,Y (b) = 1,Y (c) = 2,容易驗證，Y 成為了隨量。改變前的X和改變后的Y本質(zhì)的不同呢？仔細(xì)觀察就會發(fā)現(xiàn)，Y 具有這樣的特性：僅通過F就能夠推斷Y 取值的差異情況（不包括具體的數(shù)值）。換句話說，樣本空間上的-代數(shù)包含了Y 取值差異的幾乎全部信息。這也是隨量定義中(1-3)之所以非常重要的原因。3隨量的判定由于Borel域包含的元素（集合）非常多，且大多數(shù)元素的結(jié)構(gòu)很復(fù)雜，所以直接其在樣本空間中所對應(yīng)的原像比較。為此，需要把所的集合范圍收窄。定理 1.1 考慮樣本空間和

8、其上的-代數(shù)F，X : R，如果X1(, x) F,x R,那么X是隨量。(1-4)證明 1 令B(R)為Borel域，C為滿足如下條件的集族A C A B(R), X1(A) F,很明顯，C B(R)，需要證明的是C = B(R)。注意到集合的交、并、補運算在X的逆下保持不變，即11X(A ) =X(A ),kkk=1k=111X(A ) =X(A ),kkk=1k=1X1(Ac ) = (X1(Ak)c,k有C是-代數(shù)，且。由已知條件(1-4)和最小-代數(shù)的定義(, x, x R) C,而Borel域的定義B(R) = (, x, x R),因此B(R) = (, x, x R) C B(

9、R),立刻得到結(jié)論。引入隨量的目的在于使用數(shù)算工具對其進(jìn)行操作，這在實際工作中非常有必要。例 1.4 (隨量相加) 線性電路中兩條支路合并為一條合路十分常見。假設(shè)其中一條支的隨機(jī)噪聲為X，另外一條支的隨機(jī)噪聲為Y ，那么根據(jù)電路基本規(guī)律，合的隨機(jī)噪聲就是X + Y ，這是隨量相加的典型實例。例 1.5 (隨量平方) 包絡(luò)檢波器在通信和電路中十分常見。小信號條件下，平檢波器作為包絡(luò)檢波器的重要類型被廣泛使用。設(shè)平檢波器的輸入為隨機(jī)噪聲X，那么其輸出Y = aX2仍然是隨機(jī)噪聲。這是隨量平方的典型實例。4例 1.6 (隨量初等變換) 通信系統(tǒng)中載波信號常常表示為X(t) = exp(j(2ft +

10、 ) = cos(2ft + ) + j sin(2ft + ),其中，j為虛數(shù)，為圓周率，f 為載頻，為隨機(jī)相位。由于是隨量，使得信號X(t)也隨之具有隨機(jī)性。當(dāng)時刻t固定時，X(t)為隨量。這是隨量的初等變換的典型實例。例 1.7 (隨機(jī)信號相乘) 通信系統(tǒng)中調(diào)幅信號的典型形式為X(t) = A cos(2ft + ),其中幅度A和相位都是隨量。這是隨量相乘的典型實例以上例子說明，隨量應(yīng)該對加、減、乘、除和初等函數(shù)變換等操作封閉。定理1.1為提供了有力的工具。定理 1.2 考慮樣本空間和其上的-代數(shù)F，如果X和Y 是上的隨XY,XY,Y ,量，那么X都是隨量。這里僅就加法情形給出簡要證明，

11、其余部分讀者可以自行練習(xí)。事實上，顯然有。 : X() + Y () x = : X() r : Y () x r,(1-5)rR但是僅有(1-5)是不夠的。因為-代數(shù)僅對可數(shù)并封閉，而r R有不可數(shù)個。注意到有理數(shù)在實數(shù)軸上是稠密的，有,qkr,qk Q, : X() r = : X() qkk從而可以把(1-5)改寫為 : X() + Y () x = : X() q : Y () x q,(1-6)qQ由于 : X() + Y () N0 : inf X x = : X ()x,(1-9)kkkkN1有supk Xk和infk Xk都是隨量。又根據(jù)微積分知識，lim sup Xk = i

12、nf sup Xn,lim inf Xk = sup inf Xn,(1-10)kknkknkk所以，lim supk Xk和lim infk Xk也都是隨量。而注意到lim X = X lim sup X = lim inf X = X,(1-11)kkkkkk立刻得到，X也是隨量。盡管出于邏輯完整性的考慮，對嚴(yán)格遵循定義的隨量的判定給予了充分的強(qiáng)。許多應(yīng)用概率問題都不對隨調(diào)，但在實際應(yīng)用中，隨量的理論判定并不總是意義量的定義進(jìn)行嚴(yán)格檢查。讀者在具體工程實踐中需要始終明確，隨量是定義在樣本空間上的實值函數(shù)。其他的隨隨量生成的Borel域量定義探討，讀者可以根據(jù)需要作出適度的簡化處理。隨量不僅

13、僅對統(tǒng)計實驗結(jié)果進(jìn)行了量化，還起到了在樣本空間與實數(shù)軸間傳遞信息的作用。隨量中包含的信息是如何通過樣本空間來表達(dá)的呢？首先一個例子。例 1.8 繼續(xù)例1.3的，分別使得X和Y 成為隨量的-代數(shù)Y :X :, b, c, a, b, c, , b, c, a, b, c, ,6不難看出，這些-代數(shù)不僅僅從定義上保證了隨量的合理性，還包含了隨量取值的信息。單從-代數(shù)出發(fā)，就能夠了解隨量的取值情況。注意，這里的取值情況是指取不同值的樣本點在樣本空間中所占的比例。后面將會了解到，這種比例，而不是具體取值的大小，決定了隨量的信息。上面的例子說明，在樣本空間中能夠包含隨量在Borel域下原像的-代數(shù)，同時

14、也包含了隨量的信息。這類-代數(shù)自然值得關(guān)注。定義 1.3 (隨量生成的-代數(shù)) 考慮樣本空間其上的-代數(shù)F。如果上的集族FX 滿足 : X()B FX ,B B(R),(1-12)其中B(R)為實數(shù)軸上的Borel域。則稱(FX )為隨由于量X生成的-代數(shù)，記作(X)。11X(B ) = X(B ),kkk=1k=1所以FX 是-代數(shù)。也就是說，其生成的-代數(shù)(FX )就是它自身。滿足(1-12)的-代數(shù)很多（使得隨量有合理定義的F就是其中之一）。(FX )是其中“最小”的一個。隨量X生成的-代數(shù)(X)了X的信息，例 1.9 考慮擲色子實驗，樣本空間為 = 1, 2, 3, 4, 5, 6。隨

15、量X如下定義X = 1 = 1, 3, 50 = 2, 4, 6,也就是說，當(dāng)擲出奇數(shù)點時，X取1；當(dāng)擲出偶數(shù)點時，X取0。則(X) = 1, 3, 5, 2, 4, 6, , ,很明顯，(X)所能提供的信息非常粗糙，從中無法對擲色子實驗所能產(chǎn)生的結(jié)果有全面細(xì)致的認(rèn)識。這是由于隨量X只是籠統(tǒng)地給出了結(jié)果的奇偶性，并沒有給出具體點數(shù)的緣故。由此可以體會隨量如何通過其生成的-代數(shù)進(jìn)行信息傳遞。隨量生成的-代數(shù)還在隨量間關(guān)系的研究中起著重要作用。考慮兩個隨量X和Y ，如果Y 1(B) (X),B B(R),則稱Y“適應(yīng)(Adaptive to)”X。直觀地看，Y“適應(yīng)”X，意味著Y 包含的信息(1-

16、13)包含的信息所涵蓋。換句話說，Y 和X間存在導(dǎo)出關(guān)系。這一點從下面的定理中得到了證實。定理 1.5 考慮樣本空間其上的-代數(shù)F，X和Y 為隨在可測函數(shù)g : R R，使得Y () = g(X(), ,該定理的證明將在Part B中給出。量，且Y 能夠適應(yīng)X，那么存(1-14)7例 1.10 繼續(xù)考慮例1.3。很明顯，X和Y 相互不“適應(yīng)”。如果對Y 做一點更改，得到新的隨量Z如下：Z(a) = 1,Z(b) = 3,Z(c) = 5,則Z生成的-代數(shù)為(Z) =, b, c, a, b, b, c, c, a, a, b, c, ,那么X“適應(yīng)”Z，Y 也“適應(yīng)”Z。X和Z之間存在函數(shù)關(guān)系

17、X() = g(Z(),g(x) = x 6 2x 212,Y 和Z之間存在函數(shù)關(guān)系Y () = g(Z(),g(x) = x 6 1x 112,可以看出，和X、Y 相比，Z的取值變化更豐富，包含的信息量更大。隨量生成的-代數(shù)是研究獨立、條件、包括隨機(jī)過程這些不同隨量之間相互關(guān)聯(lián)的理論基礎(chǔ)。隨機(jī)向量從隨量的定義中，體會到關(guān)鍵在于在樣本空間和實數(shù)軸之間架起一座橋梁，使得樣本空間中有意義的事件（-代數(shù)）與實數(shù)軸上能夠“度量”的事件（Borel域）相互對應(yīng)，這樣就可以把人們對于統(tǒng)計實驗結(jié)果的認(rèn)識（可能性的大?。把由臁钡綄崝?shù)軸上，從而方便地借助現(xiàn)代數(shù)學(xué)工具進(jìn)行處理。沿著這條思路，不僅可以定義隨量，還

18、能夠定義出更加豐富的隨機(jī)對象。需要做的只是用其他的空間替代一維歐氏空間（實數(shù)軸），并且在該空間上定義合適的-域就可以了?？紤]隨機(jī)向量，也就是取值于Rn的隨量。由于nnR = R R R =R,k=1如果每個實數(shù)軸上都配備了Borel域B(R)，那么很自然地希望Rn上的Borel域有如下形式nnB(R ) = B(R) B(R) B(R) =B(R),(1-15)k=1但這是不夠的。(1-15)所描述的集族甚至不滿足對集合并封閉這樣的基本條件，如圖3-1所示。8圖3-1 二維集合運算示意積得到。借用最小-代數(shù)的概念，可以把Rn上其中(B)所示的集合無法通過集合的的Borel域改寫為nB(R )

19、= (B(R) B(R) B(R) = (B(R),n(1-16)k=1(1-15)雖較為合理，但是構(gòu)造方法太復(fù)雜?；仡櫼痪SBorel域的構(gòu)造，嘗試使用較為簡單的集合來生成的Borel域。仿照實數(shù)軸上的區(qū)間，這里使用“長方體”。定義 1.4 (Rn上的Borel域) 考慮Rn，設(shè)Ik = (ak, bk R，令nI = I I I =I ,12nkk=1則稱I為Rn上的“立方體”(Cylinder)。由所有的“立方體”為Rn上的Borel域，通常記為B(Rn)。的集族所生成的-代數(shù)稱可以證明，上述定義和(1-16)是等價的4。有了Rn上的Borel域作為基礎(chǔ)，隨機(jī)向量的定義順理成章。定義 1.

20、5 (n維隨機(jī)向量) 考慮樣本空間及其上的-代數(shù)F，令B(Rn)為Rn上的Borel域，那么如下定義的X：X : Rn,X1(B) F, B B(Rn),(1-17)稱為n維隨機(jī)向量。例 1.11 考慮拋硬幣實驗，如果關(guān)心的不是硬幣時向上的是正面還是，而是硬幣中心所處的位置，那么就得到了一個二維的隨機(jī)向量(X, Y )，其兩個分量分別代表硬幣中心所在位置的坐標(biāo)。類似的，考慮射擊實驗，靶紙上的彈著點位置同樣二維的隨機(jī)向量。9例 1.12 考慮將某種統(tǒng)計實驗重復(fù)進(jìn)行n次，每次實驗都得到一個數(shù)據(jù)。記第k次實驗的數(shù)據(jù)為Xk，則X() = (X1(), X2(), , Xn(),是n維隨機(jī)向量。X中包含

21、有多次實驗所獲得的數(shù)據(jù)，這些數(shù)據(jù)都是隨量，且自變量為同一個。如果不考慮嚴(yán)格性，可以認(rèn)為一組實驗（而不是一次，一組內(nèi)可以包含多次實驗）獲得了一個實驗結(jié)果，這一結(jié)果產(chǎn)生出了分別對應(yīng)每一次實驗的多個數(shù)據(jù)X1, , Xn。這種隨機(jī)向量是研究數(shù)理統(tǒng)計和隨機(jī)過程的基礎(chǔ)模型。復(fù)隨機(jī)向量作為在復(fù)空間上取值的隨復(fù)表示在電子系統(tǒng)和電路中被廣泛使用，復(fù)隨量，其定義是二維隨機(jī)向量的自然延伸。由于量的概念很重要。定義 1.6 (復(fù)隨Z量) 考慮樣本空間及其上的-代數(shù)F，令Bn為Rn上的Borel域?？糧() = X() + jY () C,慮其中j = 1是虛數(shù)。如果(X(), Y ()二維隨機(jī)向量，那么稱Z為復(fù)隨量。

22、例 1.13 考慮通信系統(tǒng)，接收信號經(jīng)正交解調(diào)處理后進(jìn)行采樣，由于正交解調(diào)產(chǎn)生出I,Q兩路信號，因此，每次采樣實際上得到兩個數(shù)據(jù)X和Y 。兩者都是隨量，依賴于樣本空間中的樣本點。上將這兩個數(shù)據(jù)寫成復(fù)數(shù)的形式X() + jY ()。盡管在工程上不作嚴(yán)格檢查，但是(X(), Y ()實際上需要滿足二維隨機(jī)向量的定義要求。這種復(fù)隨量是對通信系統(tǒng)進(jìn)行統(tǒng)計建模的基礎(chǔ)。形式的隨機(jī)對象將在Part B中給出。分布函數(shù)隨量完成了對統(tǒng)計實驗結(jié)果的量化，而分布函數(shù)的引入則為研究隨量的概率性質(zhì)提供了工具。從物理上講，概率代表了人們對于統(tǒng)計實驗結(jié)果出現(xiàn)可能性的一種認(rèn)知，是研究實際問題的先驗知識。此類知識針對的是由樣本

23、點的樣本空間及其上由事件的- 代數(shù)F。而無論是樣本點還是事件，都缺乏必要的數(shù)量特性，隨量的引入解決了樣板點的的量化問題。事件的概率同樣也需要引入必要的途徑，將其進(jìn)一步轉(zhuǎn)化人們更為熟悉的，處理更為方便的實自變量函數(shù)。分布函數(shù)恰好能滿足這個需求。從數(shù)學(xué)上講，由于實數(shù)軸上的Borel域很復(fù)雜，直接在其上定義概率有，因此常用段是首先在一些較為簡單的集合（例如區(qū)間）上定義概率，然后利用擴(kuò)張技術(shù)將其擴(kuò)展到Borel域。正如第二章Part B所述，分布函數(shù)是幫助人們在集合上定義概率的重要工具。畢竟，以集合為自變量的函數(shù)是難以研究的。因此通過分布函數(shù)，可以把對隨量概率的研究納入到人們較為熟悉的普通函數(shù)的范圍內(nèi)

24、。從這個角度看，分布函數(shù)簡化了人們對于概率的認(rèn)識和使用。定義 1.7 (一維)分布函數(shù)) 設(shè)F (x)是滿足如下性質(zhì)的函數(shù)，(1) F (x)單調(diào)不減；10(2) F () = 0，F(xiàn) () = 1。即lim F (x) = 0,lim F (x) = 1(1-18)xx(3) F (x)右連續(xù)。則稱F (x)為（一維）分布函數(shù)(Distributed Functions)。由單調(diào)性得知，F(xiàn) (x)僅有第一類間斷點。也就是說，在實數(shù)軸的任意一個點（特別是間斷點）上，F(xiàn) (x)的左右極限都存在。記F (x) = lim F (t),F (x+) = lim F (t),txtx同時應(yīng)當(dāng)，定義中的

25、右連續(xù)并不本質(zhì)。如果要求左連續(xù)，分布函數(shù)仍然有良好定義(許多都選擇左連續(xù)。例如4)。考慮樣本空間及其上的-代數(shù)F，設(shè)X為上的隨就是X落在給定集合內(nèi)的可能性的大小。量，關(guān)心X取值的概率，也P(A), A B,由隨量的定義，A作為Borel域的元素，其在X下的原像X1(A)在F中，被賦予了明確的概率。因此可以將F上的概率自然地誘導(dǎo)到B(R)上，得到P(A) = P(X1(A),(1-19)給出了Borel域上的概率定義。(1-19)由于Borel域自身的復(fù)雜性，定義(1-19)還不夠明確，且難以應(yīng)用。正如第二章Part B中所做的那樣，可以引入分布函數(shù)來得到更加實用的實數(shù)軸上的概率定義。下面的定理

26、表明，能夠建立分布函數(shù)F 與Borel域上概率P之間的一一對應(yīng)關(guān)系。一個定義在Borel域B(R)上的概率P，都存在如下定義的分布函數(shù)F 與之相定理 1.6對應(yīng)。F (x) = P(, x),(1-20)反過來，一個定義與實數(shù)軸上的分布函數(shù)F，都存在定義在Borel域B(R)上的概率P與之相對應(yīng)。證明 3 該定理的第一個結(jié)論可以通過定義直接驗證。事實上，由概率的單調(diào)性，如果x16x2，P(, x1) 6 P(, x1)=F (x1)6F (x2),得到F 的單調(diào)不減。由概率的連續(xù)性，lim (, xn = (, xxnx= lim P(, xn) = P(, x)xnx= lim F (xn)

27、 = F (x),xnx11而(1-18)是顯然的。定理的第二個結(jié)論本質(zhì)上是第二章Part B中談到過的概率“擴(kuò)張”，也就是利用分布函數(shù)在Borel域上定義概率，細(xì)節(jié)此處從略。由(1-19)和(1-20)可以進(jìn)一步得到F (x) = P(, x) = P( : X()6x),(1-21)從而建立了分布函數(shù)與樣本空間上的概率之間的聯(lián)系。今后在不引起歧義的前提下，仍使用P作為實數(shù)軸上概率的記號。從現(xiàn)在開始，概率論的研究將圍繞隨量和分布函數(shù)展開。如果沒有特別需要，將有意淡化隨認(rèn)識。量對于樣本空間的依賴性。不過，讀者頭腦中需要對這種依賴性有清晰的應(yīng)該，分布函數(shù)和隨量密不可分。每個隨量都有自己的分布函數(shù)

28、；反過來，每個分布函數(shù)都能找到與之相對應(yīng)的隨量。分布函數(shù)是隨量最基本的性質(zhì)，也是對隨量概率特性最全面的描述。為清晰起見，通常記隨量X的分布函數(shù)為FX (x)。盡管隨量與其分布函數(shù)密切關(guān)聯(lián)，但是兩者間并沒有一一對應(yīng)關(guān)系。一個隨量只能有唯一的分布函數(shù)，不同的隨量卻可能具有相同的分布函數(shù)。例 1.14 (不同的隨量有相同的分布) 考慮隨量X，其分布滿足1P(X = 1) = P(X = 1) =,2設(shè)隨量Y = X，那么Y 的分布為1P(Y = 1) = P(Y = 1) =,2X和Y 的分布函數(shù)完全相同，但明顯是兩個不同的隨量。計算分布函數(shù)的基本方法是使用其概率定義(1-21)。例 1.15 (平

29、移變換) 已知隨量Y = X b的分布函數(shù)FY (x)。根據(jù)(1-21)，有量X的分布函數(shù)為FX (x)，b是確定性常數(shù)，計算隨FY (x) = P(Y 6x),由已知的Y 與X的關(guān)系，得到FY (x) = P(X b6x) = P(X6x + b),從而FY (x) = FX (x + b),此例雖簡單，但使用的方法有較好的通用性，值得體會。12例 1.16 (尺度變換) 已知隨量X的分布函數(shù)為FX (x)，a =0是確定性常數(shù)，計算隨量Y = aX的分布函數(shù)FY (x)。使用定義，有FY (x) = P(Y 6x) = P(aX6x),如果a 0，xxFY (x) = P(X6 a ) =

30、 FX ( a ),反之xxxFY (x) = P(X a ) = 1 FX ( a ) + P(X = a ),例 1.17 (偽隨機(jī)數(shù)生成) 設(shè)隨量U 的分布函數(shù)為FU (x) = xI0,1(x) + I(1,)(x),設(shè)G為單調(diào)遞增的分布函數(shù)。計算隨根據(jù)定義，量Y = G1(U )的分布函數(shù)。FY (x) = P(Y 6x) = P(G1(U )6x) = P(U 6G(x),由U 的分布函數(shù)，得到FY (x) = G(x),也就是說，隨量Y 的分布函數(shù)恰為G。這個簡單例子是Monte Carlo實驗和偽隨機(jī)數(shù)生成的重要理論基礎(chǔ)。實施Monte Carlo實驗的先決條件是產(chǎn)生出服從指定

31、分布的偽隨機(jī)數(shù)，如何利用計算機(jī)生成符合要求的偽隨機(jī)數(shù)是信息科學(xué)領(lǐng)域的關(guān)鍵問題，對于電子工程、計算機(jī)科學(xué)與工程、系統(tǒng)工程等需要隨機(jī)仿真計算的學(xué)科分支都有重要意義。本例說明，服從指定分布的偽隨機(jī)數(shù)的生成問題存在理論上的解決途徑。只要產(chǎn)生出隨出滿足需要的偽隨機(jī)數(shù)。量U，然后用給定的分布函數(shù)的逆作用在U 上，即可產(chǎn)生在例1.17中，假設(shè)分布函數(shù)G具有嚴(yán)格單調(diào)性，因此它的逆函數(shù)G1有良好的定義。一般情況下，分布函數(shù)只能滿足單調(diào)不減，并不具有嚴(yán)格的單調(diào)性，無法對其直接求逆。但是，仍可以對分布函數(shù)F (x)的“逆”F 1(x)進(jìn)行適當(dāng)?shù)亩x，記F 1(x) = supy : F (y) x如(1-22)的分

32、布函數(shù)“逆”的定義在嚴(yán)格的概率運算中有廣泛應(yīng)用。(1-22)例 1.18 (偽隨機(jī)數(shù)生成(續(xù)) 仍考慮例1.17中的偽隨機(jī)數(shù)生成問題。任取一個分布函數(shù)F (x)，考慮概率空間, F, P，其中 = (0, 1)，F(xiàn)為(0, 1) 上的Borel 域，P度。構(gòu)造隨量X() = supx : F (x) 說明X()的分布函數(shù)恰為F (x)。令A(yù) = : supy : F (y) 6 x,B = : 6 F (x)為esgue測(1-23)(1-24)13證明A = B。事實上，如果 B，那么若y滿足F (y) )，則由F (y) 6 F (x)和分布函數(shù)的單調(diào)性，得到y(tǒng) x，進(jìn)而有supy : F

33、 (y) 6 x，即 A。另一方面，如果 A，使用反證法驗證 B，如若不然，則存在x0使得F (y) F (x0) y，也就是說supx : Fn(x) y，和 A！因此，F(xiàn)X (x) = P( : X() 6 x) = P(A) = P(B) = F (x)(1-25)利用分布函數(shù)，能夠計算隨量落在一些簡單集合內(nèi)的概率。比如P(X (a, b) = FX (b) FX (a),P(X a, b) = FX (b) FX (a),P(X a, b) = FX (b) FX (a),P(X (a, b) = FX (b) FX (a),特別的，P(X = a) = FX (a) FX (a),由

34、此推廣，可以得到一大類有廣泛應(yīng)用的分布函數(shù)及其所對應(yīng)的隨(1-26)量。定義 1.8 (離散型分布函數(shù)) 如果隨量X的分布函數(shù)FX (x)滿足F (x) =p U (x x ),(1-27)Xkkk=1這里的U (x)是階躍函數(shù)U (x) = x 0 x 0,k N,p = 1,kk=1則稱FX (x)為離散型分布函數(shù)(Discrete Distribution Functions)，稱X為離散隨Random Variables)。量(Discrete離散型隨量的典型圖形如下所示，圖3-1 離散型分布函數(shù)示意14如果X是離散隨量，那么它僅在可數(shù)集合上以正概率取值。具體地說P(X = xk) =

35、 pk,k N,而在其他點x / xk1 上，P(x) = 0。由概率的可數(shù)可加性，有(1-28)P(X A) =pk,(1-29)xkA離散隨量是基本的概率模型，描述了結(jié)果為可數(shù)集的統(tǒng)計實驗所遵循的分布規(guī)律。典型的例子包括Bernoulli分布、二項分布、幾何分布等，在后續(xù)章節(jié)詳細(xì)。假如隨量的取值并不僅局限于可數(shù)集合，那么可以使用絕對連續(xù)分布函數(shù)來刻畫。定義 1.9 (絕對連續(xù)分布函數(shù)) 如果隨量X的分布函數(shù)FX (x)滿足xFX (x) =fX (t)dt,(1-30)其中，fX (x)滿足ff (x) 0,(x)dx = 1,(1-31)XX則稱FX (x)為絕對連續(xù)分布函數(shù)(Absol

36、uy Continuous Distribution Functions)，稱X為絕對連續(xù)隨量(Absoluy Continuous Random Variables)。這里的fX (x)稱為概率密度(Probability Density)，簡稱密度。很多情況下，為了記號簡便，也將絕對連續(xù)分布函數(shù)（隨量）簡稱為連續(xù)分布函數(shù)（隨量）。讀者應(yīng)注意區(qū)分連續(xù)分布函數(shù)與“分布函數(shù)是連續(xù)的“之間的差異。連續(xù)分布函數(shù)不僅是連續(xù)的，還是可導(dǎo)的。連續(xù)隨量的典型圖形如下所示，圖3-1 連續(xù)分布函數(shù)示意如果X是連續(xù)隨續(xù)的。因此量，那么它取任意單點值的概率都是0。事實上，由(1-30)，F(xiàn)X 是連P(X = x0)

37、 = FX (x0) FX (x0) = 0,15與此同時，X落在某個集合A B中的概率為P(X A) = fX (t)dt,(1-32)A請注意，(1-32)的成立并不顯然。連續(xù)隨量同樣是基本的概率模型，描述了結(jié)果取連續(xù)實數(shù)值的統(tǒng)計實驗所遵循的分布規(guī)律。典型的例子包括均勻分布、指數(shù)分布和在后續(xù)章節(jié)詳細(xì)。分布等，例 1.19 (對稱分布) 如果連續(xù)隨量X的概率密度fX (x)滿足fX (a x) = fX (a + x),(1-33)則稱該隨量的分布是對稱(Symmetric)的。類似地可以給出離散對稱分布的定義。如果a = 0，那么密度fX (x)是偶函數(shù)。利用對稱分布，很容易構(gòu)造出不同的隨

38、量，卻具有相同密度(分布函數(shù))。事實上，如果X的密度fX (x)是對稱的，那么Y = 2a X的分布函數(shù)滿足FY (y) = P(Y 6 y) = P(2a X 6 y) = P(X 2a y) = 1 FX (2a y),得到Y(jié) 的密度為(1-34)ddfY (y) = dy FY (y) = dy (1 FX (2a y) = fX (2a y) = fX (y),因此，X和Y 具有相同的密度。對稱分布十分常見。關(guān)于a點對稱的均勻分布密度(1-35)1fX (x) = 2 Ia,a+(x),a R, 0,(1-36)和分布密度(x )21 R, 0fX (x) = 2 exp(都是對稱分布

39、的典型例子。),(1-37)22例 1.20 (單峰分布) 直觀地講，如果連續(xù)隨量X的密度fX (x)只有一個極大值點，則稱X的分布是單峰的(Unimodal)。這里強(qiáng)調(diào)的是極大值點，而不是最大值點。如果fX (x)有兩個甚至的極大值點，其圖像將會呈現(xiàn)多個“峰值”，從而與“單峰”的含義不符。單峰分布同樣常見，Laplace分布密度fX (x) = 2 exp(|x|), 0,(1-38)和Cauchy分布密度1fX (x) = (1 + x2) ,(1-39)都是單峰分布的典型例子。單峰性(Unimodality)的嚴(yán)格定義有多種形式，其中接受度較高的是：如果存在m，使得連續(xù)隨量X的分布函數(shù)F

40、X 在(, m上是凸的，在m, )上是凹的，則稱X的分布是單16峰的。該定義由俄羅斯概率學(xué)家A.Y.Khinchin(1894-1959)給出。容易看出，如果X的分布函數(shù)滿足Khinchin的單峰定義，則其只有一個極大值點。這里僅考慮FX 充分光滑的情況。由凸性和凹性的定義，有d2dfX (x) =FX (x) 0,x 6 m,dxd2xfX (x) =FX (x) 6 0,x m,dxd2x即X的密度fX (x)在(, m上單調(diào)上升，在m, )上單調(diào)下降，得到m是唯一的極大值點。值得的是，Khinchin的定義并沒有包括一些常用的密度。例如分布密度(1-37)就不滿足該定義，但是被普遍認(rèn)為是

41、典型的單峰分布。d2d盡管上述兩個類型，離散和連續(xù)，已經(jīng)包含了大部分得到廣泛應(yīng)用的隨量，但是隨量只有這兩種情況嗎？當(dāng)然不是。注意如下事實：對于連續(xù)隨量而言，其分布函數(shù)滿足(x) F(x) = 0,(FXXxR而對于離散隨量，則有(F (x) F (x) = 1,XXxR那么，如果出現(xiàn)0 (F (x) F (x) 20050 6 x 6 200 x 50 x 20050 6 x 6 200 x 0,X = min(X, 0) 6 0,因此只需要考慮X 6 0的情形。構(gòu)造簡單函數(shù)序列Skk=1如下k2km 1 IS () =() + kI(),kAm,kCk2km=1其中m 1m6 X() 6C

42、= : X()6k,A= :,m,kk2k2k很明顯，SkX這正是想要的簡單函數(shù) 近。證明定理(1.5)的思路是先驗證簡單函數(shù)具有定理所陳述的性質(zhì)，然后再利用簡單函數(shù)近一般的隨量，從而得出其也具有相同的性質(zhì)。考慮隨量X及其生成的- 代數(shù)(X)，量所記X 為所有能夠表示為X()的某種函數(shù)形式(X) 的隨的集合。設(shè)A (X)，那么IA 是隨量，且IA X。事實上，由A (X)，得知存在B 滿足B B(R)，使得A = X1(B),因此IA() = IB(X(),進(jìn)而得到任意的簡單函數(shù)也有同樣的表示nnS() =c I() =c I(X) X ,Ak = X1(Bk),k Ak Bkkk=1k=1任

43、取Y 為適應(yīng)X的隨量，由于存在簡單函數(shù)序列YY ，且滿足S = (X)，因此定義YS kkk(x) = lim k(x) xX()k0,x/X()則有SYY = lim= limk(X) = (X),kkk至此證明完成。20奇異連續(xù)分布與esgue分解最為常見的分布函數(shù)（或者說隨量）有離散和連續(xù)兩種類型。這是不是意味著只有這兩種類型的分布函數(shù)呢？當(dāng)然是否定的。存在一類分布函數(shù)，它們既不是離散分布，也不是連續(xù)分布，盡管在物理上缺乏明確意義，但是有較強(qiáng)的理論價值。這就是奇異連續(xù)分布(Singular Continuous Distribution)。奇異連續(xù)分布函數(shù)需要滿足兩個條件，一方面它是連續(xù)

44、的，另一方面它導(dǎo)數(shù)不為0的點（增長點）卻非常少（esgue測度為0）。不難體會，構(gòu)造奇異連續(xù)分布是十分的。我們知道，實數(shù)軸上可數(shù)集合的esgue測度為0，但如果導(dǎo)數(shù)不為0的點是可數(shù)的，那么分布將為離散分布；無法保持連續(xù)性；不可數(shù)的esgue測度為0的集合十分罕見，Cantor三分集是其中的典型代表（這是為了紀(jì)念德國數(shù)學(xué)大師Cantor(1845-1918)，他創(chuàng)立了集合理論并首次證明了實數(shù)的不可數(shù)性，為奠定現(xiàn)代數(shù)學(xué)的邏輯基礎(chǔ)作出了杰出貢獻(xiàn)）。因此，在Cantor 三分集的基礎(chǔ)上，構(gòu)造奇異連續(xù)函數(shù)F 。函數(shù)F : 0, 1 0, 1滿足11 2F (x) =,2=,4=,4 x ( , )3 3

45、11 2x ( , )9 937 8x ( , )9 9也就是說，如果x (0, 1)的三進(jìn)制表示為a (x)k x =,3kk=1那么N(x)1ak(x) + 1 ,F (x) =(1-45)2k+12N(x)k=1其中N(x) = mink : k 1, ak(x) = 1,(1-46)不難看出，(1-45)所定義的函數(shù)F 是連續(xù)的分布函數(shù)，且其導(dǎo)數(shù)不為0的點所的集合恰為Cantor三分集。由于Cantor三分集的esgue測度為0，所以F 是奇異連續(xù)分布函數(shù)。通常稱此分布為Cantor分布(Cantor Distribution)。21圖3-5 Cantor分布函數(shù)示意基于對奇異連續(xù)分布

46、的基本認(rèn)識，不加證明地給出著名的esgue分解1。定理 1.8 (esgue分解) 任意一個分布函數(shù)F 都可以分解為如下形式F (x) = c1Fac(x) + c2Fd(x) + c3Fsc(x),(1-47)其中Fac(x)為連續(xù)分布函數(shù)，F(xiàn)d(x)為離散分布函數(shù)，F(xiàn)sc(x)為奇異連續(xù)分布函數(shù)，且有c1 + c2 + c3 = 1,c1, c2, c3 0,esgue分解表明，分布函數(shù)有且僅有三種基本類型（離散、連續(xù)、奇異連續(xù)），且任一分布函數(shù)都可以表示為三種基本類型的凸組合形式。今后的學(xué)習(xí)中，只重點研究連續(xù)和離散兩類分布函數(shù)及其描述的隨量，不再奇異連續(xù)的情形。Part C熱身1. 給定概率空間, F, P，如果X是定義于其上的隨成立呢？量，請說明|X|也是隨量。反之是否仍然2. 給定概率空間, F, P，如果X、Y 是定義于其上的隨量，請說明 : X() = Y () F。如果F 和G是分布函數(shù)，請說明F + (1 )G是分布函數(shù)。F G仍然是分布函數(shù)嗎？如果f 和g是密度，請說明f + (1 )g是密度？f g仍然是密度嗎？如果如下定義的fX (x)是密度，請給出c的取值。5.fX (x) = c exp(x)I1,)(x),問題1. 如果隨的分布函數(shù)？量X的分布函數(shù)是FX ，請從定義出發(fā)，給出隨量Y = aX + b（a, b為確定性常數(shù)）222. 如果F (x)是分