概率論與隨機(jī)過(guò)程note

1、隨量與分布函數(shù)PART A已經(jīng)在嚴(yán)格的公理化基礎(chǔ)上建立了概率的定義。概率是以集合為自變量的函數(shù)，這使或多或少感到困惑。統(tǒng)計(jì)實(shí)驗(yàn)的結(jié)果是樣本空間的樣本點(diǎn)，當(dāng)使用概率方法對(duì)這些實(shí)驗(yàn)結(jié)果（樣本點(diǎn)）進(jìn)行分析的時(shí)候，難道不能夠直接對(duì)這些樣本點(diǎn)實(shí)施運(yùn)算嗎？這里會(huì)遇到一定的，主要是樣本點(diǎn)本身是實(shí)體對(duì)象，不一定具有數(shù)量特性，從而可能無(wú)法直接使用數(shù)學(xué)工具進(jìn)行處理。例如，拋硬幣實(shí)驗(yàn)所得到的結(jié)果是“正面”和“”。如果想要了解多次實(shí)驗(yàn)中“正面”出現(xiàn)的次數(shù)，那么直接對(duì)“正面”和“”進(jìn)行處理不恨妥當(dāng)?！罢妗?“正面”什么意思呢？含義并不清晰。因此，如果試圖使用數(shù)學(xué)工具，那么首先需要將非數(shù)值的研究對(duì)象（樣本點(diǎn)）進(jìn)行“量化

2、”。也就是說(shuō)，需要一種“”，能夠?qū)⒎菙?shù)值的實(shí)驗(yàn)結(jié)果轉(zhuǎn)化為數(shù)值，才能夠讓數(shù)學(xué)分析和運(yùn)算工具發(fā)揮作用。退一步講，即便實(shí)驗(yàn)結(jié)果本身是數(shù)值，仍有很大可能無(wú)法直接觀(guān)測(cè)到。例如，對(duì)通信信道中的噪聲電平進(jìn)行重復(fù)采樣，由于采樣儀器精度以及采樣的限制，獲得的觀(guān)測(cè)結(jié)果只能是實(shí)際噪聲電平的某種近似。這里的儀器和采樣方法同樣了某種從實(shí)際實(shí)驗(yàn)結(jié)果到觀(guān)測(cè)的“”。因此，”，并在此基在對(duì)概率論展開(kāi)之初，應(yīng)該建立一種從樣本空間到數(shù)值的“量”。礎(chǔ)上使用數(shù)算工具進(jìn)行分析研究。這個(gè)就是“隨隨量的基本概念隨量的定義隨量是定義于樣本空間上的實(shí)數(shù)值，完成了對(duì)統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果的量化。但是，僅僅有量化是不夠的。概率論研究事件的不確定性，作為不確定

3、性的度量，概率定義在樣本空間上，并沒(méi)有直接定義在實(shí)數(shù)軸上。所以，隨量取值的不確定性需要相應(yīng)的刻畫(huà)。如果X是隨量，那么有兩個(gè)問(wèn)題值得考慮：對(duì)于通常人們關(guān)心的集合A R，事件X A的不確定度性應(yīng)該能夠被精確描述；事件X A的不確定度應(yīng)該和相應(yīng)的統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果的不確定度相一致。對(duì)于第一個(gè)問(wèn)題，根據(jù)第二章對(duì)實(shí)數(shù)軸上Borel域B(R)的，絕大部分人們所關(guān)心的集合都在B(R)內(nèi)。所以，確保B(R)中元素的不確定度能夠被度量是隨量須滿(mǎn)足的條件。由于在樣本空間上已經(jīng)定義好了-域F，F(xiàn)中的元素都能夠用概率來(lái)描述其不確定度，所以要求B(R) 內(nèi)的元素能夠和F內(nèi)的元素相對(duì)應(yīng)是自然的。也就是說(shuō)， : X() A, A

4、 B(R) F,(1-1)這也就是隨量作為一個(gè)所滿(mǎn)足的最關(guān)鍵的特性。定義 1.1 設(shè)(, F, P)是概率空間，隨量X()定義為實(shí)數(shù)值X : R,(1-2)2滿(mǎn)足X1(A) F,A B(R),其中，B(R)是實(shí)數(shù)軸上的Borel域。(1-3)這里有兩點(diǎn)注記。首先，隨量是確定性函數(shù)，自身并沒(méi)有隨機(jī)性。換句話(huà)說(shuō)，給定樣本空間上的樣本點(diǎn)，有唯一確定的實(shí)數(shù)值與之相對(duì)應(yīng)。這種對(duì)應(yīng)關(guān)系并沒(méi)有不確定性。所有的不確定性都體現(xiàn)在樣本點(diǎn)是否在實(shí)驗(yàn)結(jié)果中出現(xiàn)上，和隨量本身沒(méi)有關(guān)系。隨機(jī)變量的引入，地是為了數(shù)學(xué)處理上的方便。其次，隨量并不是概率論中獨(dú)有的概念。實(shí)分析的基本研究對(duì)象是所謂“可測(cè)函數(shù)(Measurable

5、 Functions)”。如果規(guī)定所謂“可測(cè)集(Measurable Sets)”為某種-代數(shù)的元素，且在函數(shù)的定義域和值域上都定義了相應(yīng)的-代數(shù)，那么“可測(cè)函數(shù)”就是“可測(cè)集”原像仍為“可測(cè)集”的函數(shù)。很明顯，隨是一種特殊的可測(cè)函數(shù)，這里的“可測(cè)集”具有了更為具體的實(shí)際含義。量例 1.1 考慮拋硬幣實(shí)驗(yàn)，如果以H表示正面向上，以T表示代數(shù)為, H, T, H, T，定義函數(shù)X() 為X(H) = 1,X(H) = 0,向上，設(shè)樣本空間為H, T，-容易驗(yàn)證X()滿(mǎn)足(1-3)，因此為隨量，該隨量稱(chēng)為Bernoulli隨量。例 1.2 考慮對(duì)通信信道中的噪聲電平進(jìn)行數(shù)字采樣，則樣本數(shù)據(jù)自身具有

6、數(shù)量特征。由于采樣設(shè)備數(shù)字量化誤差的限制，實(shí)際上只能獲得離散的采樣值。但是，多數(shù)情況下為簡(jiǎn)單起見(jiàn)，假設(shè)實(shí)驗(yàn)結(jié)果為連續(xù)數(shù)值（這種近似在實(shí)際應(yīng)用中經(jīng)常被采用）。因此樣本空間為R，-代數(shù)為實(shí)數(shù)軸上的Borel域，代表采樣結(jié)果的隨量為X() = ,該隨量的定義域與值域相同，實(shí)質(zhì)為恒同，因此(1-3)自然滿(mǎn)足。例 1.3通過(guò)一個(gè)人工痕跡較重的例子來(lái)進(jìn)一步體會(huì)(1-3)在隨量定義中的作用?？紤]樣本空間 = a, b, c，-代數(shù)為F =, b, c, a, b, c, ，定義函數(shù)X()為X(a) = 1,X(b) = 2,X(c) = 2,思考一下，X是隨量嗎？很明顯，X不是隨量，因?yàn)?: X() 6 1

7、 = a / ,那么如何對(duì)X的取值進(jìn)行一下修改，使之成為隨量呢？只要修改X(b)的取值即可。令Y (a) = 1,Y (b) = 1,Y (c) = 2,容易驗(yàn)證，Y 成為了隨量。改變前的X和改變后的Y本質(zhì)的不同呢？仔細(xì)觀(guān)察就會(huì)發(fā)現(xiàn)，Y 具有這樣的特性：僅通過(guò)F就能夠推斷Y 取值的差異情況（不包括具體的數(shù)值）。換句話(huà)說(shuō)，樣本空間上的-代數(shù)包含了Y 取值差異的幾乎全部信息。這也是隨量定義中(1-3)之所以非常重要的原因。3隨量的判定由于Borel域包含的元素（集合）非常多，且大多數(shù)元素的結(jié)構(gòu)很復(fù)雜，所以直接其在樣本空間中所對(duì)應(yīng)的原像比較。為此，需要把所的集合范圍收窄。定理 1.1 考慮樣本空間和

8、其上的-代數(shù)F，X : R，如果X1(, x) F,x R,那么X是隨量。(1-4)證明 1 令B(R)為Borel域，C為滿(mǎn)足如下條件的集族A C A B(R), X1(A) F,很明顯，C B(R)，需要證明的是C = B(R)。注意到集合的交、并、補(bǔ)運(yùn)算在X的逆下保持不變，即11X(A ) =X(A ),kkk=1k=111X(A ) =X(A ),kkk=1k=1X1(Ac ) = (X1(Ak)c,k有C是-代數(shù)，且。由已知條件(1-4)和最小-代數(shù)的定義(, x, x R) C,而B(niǎo)orel域的定義B(R) = (, x, x R),因此B(R) = (, x, x R) C B(

9、R),立刻得到結(jié)論。引入隨量的目的在于使用數(shù)算工具對(duì)其進(jìn)行操作，這在實(shí)際工作中非常有必要。例 1.4 (隨量相加) 線(xiàn)性電路中兩條支路合并為一條合路十分常見(jiàn)。假設(shè)其中一條支的隨機(jī)噪聲為X，另外一條支的隨機(jī)噪聲為Y ，那么根據(jù)電路基本規(guī)律，合的隨機(jī)噪聲就是X + Y ，這是隨量相加的典型實(shí)例。例 1.5 (隨量平方) 包絡(luò)檢波器在通信和電路中十分常見(jiàn)。小信號(hào)條件下，平檢波器作為包絡(luò)檢波器的重要類(lèi)型被廣泛使用。設(shè)平檢波器的輸入為隨機(jī)噪聲X，那么其輸出Y = aX2仍然是隨機(jī)噪聲。這是隨量平方的典型實(shí)例。4例 1.6 (隨量初等變換) 通信系統(tǒng)中載波信號(hào)常常表示為X(t) = exp(j(2ft +

10、 ) = cos(2ft + ) + j sin(2ft + ),其中，j為虛數(shù)，為圓周率，f 為載頻，為隨機(jī)相位。由于是隨量，使得信號(hào)X(t)也隨之具有隨機(jī)性。當(dāng)時(shí)刻t固定時(shí)，X(t)為隨量。這是隨量的初等變換的典型實(shí)例。例 1.7 (隨機(jī)信號(hào)相乘) 通信系統(tǒng)中調(diào)幅信號(hào)的典型形式為X(t) = A cos(2ft + ),其中幅度A和相位都是隨量。這是隨量相乘的典型實(shí)例以上例子說(shuō)明，隨量應(yīng)該對(duì)加、減、乘、除和初等函數(shù)變換等操作封閉。定理1.1為提供了有力的工具。定理 1.2 考慮樣本空間和其上的-代數(shù)F，如果X和Y 是上的隨XY,XY,Y ,量，那么X都是隨量。這里僅就加法情形給出簡(jiǎn)要證明，

11、其余部分讀者可以自行練習(xí)。事實(shí)上，顯然有。 : X() + Y () x = : X() r : Y () x r,(1-5)rR但是僅有(1-5)是不夠的。因?yàn)?代數(shù)僅對(duì)可數(shù)并封閉，而r R有不可數(shù)個(gè)。注意到有理數(shù)在實(shí)數(shù)軸上是稠密的，有,qkr,qk Q, : X() r = : X() qkk從而可以把(1-5)改寫(xiě)為 : X() + Y () x = : X() q : Y () x q,(1-6)qQ由于 : X() + Y () N0 : inf X x = : X ()x,(1-9)kkkkN1有supk Xk和infk Xk都是隨量。又根據(jù)微積分知識(shí)，lim sup Xk = i

12、nf sup Xn,lim inf Xk = sup inf Xn,(1-10)kknkknkk所以，lim supk Xk和lim infk Xk也都是隨量。而注意到lim X = X lim sup X = lim inf X = X,(1-11)kkkkkk立刻得到，X也是隨量。盡管出于邏輯完整性的考慮，對(duì)嚴(yán)格遵循定義的隨量的判定給予了充分的強(qiáng)。許多應(yīng)用概率問(wèn)題都不對(duì)隨調(diào)，但在實(shí)際應(yīng)用中，隨量的理論判定并不總是意義量的定義進(jìn)行嚴(yán)格檢查。讀者在具體工程實(shí)踐中需要始終明確，隨量是定義在樣本空間上的實(shí)值函數(shù)。其他的隨隨量生成的Borel域量定義探討，讀者可以根據(jù)需要作出適度的簡(jiǎn)化處理。隨量不僅

13、僅對(duì)統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果進(jìn)行了量化，還起到了在樣本空間與實(shí)數(shù)軸間傳遞信息的作用。隨量中包含的信息是如何通過(guò)樣本空間來(lái)表達(dá)的呢？首先一個(gè)例子。例 1.8 繼續(xù)例1.3的，分別使得X和Y 成為隨量的-代數(shù)Y :X :, b, c, a, b, c, , b, c, a, b, c, ,6不難看出，這些-代數(shù)不僅僅從定義上保證了隨量的合理性，還包含了隨量取值的信息。單從-代數(shù)出發(fā)，就能夠了解隨量的取值情況。注意，這里的取值情況是指取不同值的樣本點(diǎn)在樣本空間中所占的比例。后面將會(huì)了解到，這種比例，而不是具體取值的大小，決定了隨量的信息。上面的例子說(shuō)明，在樣本空間中能夠包含隨量在Borel域下原像的-代數(shù)，同時(shí)

14、也包含了隨量的信息。這類(lèi)-代數(shù)自然值得關(guān)注。定義 1.3 (隨量生成的-代數(shù)) 考慮樣本空間其上的-代數(shù)F。如果上的集族FX 滿(mǎn)足 : X()B FX ,B B(R),(1-12)其中B(R)為實(shí)數(shù)軸上的Borel域。則稱(chēng)(FX )為隨由于量X生成的-代數(shù)，記作(X)。11X(B ) = X(B ),kkk=1k=1所以FX 是-代數(shù)。也就是說(shuō)，其生成的-代數(shù)(FX )就是它自身。滿(mǎn)足(1-12)的-代數(shù)很多（使得隨量有合理定義的F就是其中之一）。(FX )是其中“最小”的一個(gè)。隨量X生成的-代數(shù)(X)了X的信息，例 1.9 考慮擲色子實(shí)驗(yàn)，樣本空間為 = 1, 2, 3, 4, 5, 6。隨

15、量X如下定義X = 1 = 1, 3, 50 = 2, 4, 6,也就是說(shuō)，當(dāng)擲出奇數(shù)點(diǎn)時(shí)，X取1；當(dāng)擲出偶數(shù)點(diǎn)時(shí)，X取0。則(X) = 1, 3, 5, 2, 4, 6, , ,很明顯，(X)所能提供的信息非常粗糙，從中無(wú)法對(duì)擲色子實(shí)驗(yàn)所能產(chǎn)生的結(jié)果有全面細(xì)致的認(rèn)識(shí)。這是由于隨量X只是籠統(tǒng)地給出了結(jié)果的奇偶性，并沒(méi)有給出具體點(diǎn)數(shù)的緣故。由此可以體會(huì)隨量如何通過(guò)其生成的-代數(shù)進(jìn)行信息傳遞。隨量生成的-代數(shù)還在隨量間關(guān)系的研究中起著重要作用?？紤]兩個(gè)隨量X和Y ，如果Y 1(B) (X),B B(R),則稱(chēng)Y“適應(yīng)(Adaptive to)”X。直觀(guān)地看，Y“適應(yīng)”X，意味著Y 包含的信息(1-

16、13)包含的信息所涵蓋。換句話(huà)說(shuō)，Y 和X間存在導(dǎo)出關(guān)系。這一點(diǎn)從下面的定理中得到了證實(shí)。定理 1.5 考慮樣本空間其上的-代數(shù)F，X和Y 為隨在可測(cè)函數(shù)g : R R，使得Y () = g(X(), ,該定理的證明將在Part B中給出。量，且Y 能夠適應(yīng)X，那么存(1-14)7例 1.10 繼續(xù)考慮例1.3。很明顯，X和Y 相互不“適應(yīng)”。如果對(duì)Y 做一點(diǎn)更改，得到新的隨量Z如下：Z(a) = 1,Z(b) = 3,Z(c) = 5,則Z生成的-代數(shù)為(Z) =, b, c, a, b, b, c, c, a, a, b, c, ,那么X“適應(yīng)”Z，Y 也“適應(yīng)”Z。X和Z之間存在函數(shù)關(guān)系

17、X() = g(Z(),g(x) = x 6 2x 212,Y 和Z之間存在函數(shù)關(guān)系Y () = g(Z(),g(x) = x 6 1x 112,可以看出，和X、Y 相比，Z的取值變化更豐富，包含的信息量更大。隨量生成的-代數(shù)是研究獨(dú)立、條件、包括隨機(jī)過(guò)程這些不同隨量之間相互關(guān)聯(lián)的理論基礎(chǔ)。隨機(jī)向量從隨量的定義中，體會(huì)到關(guān)鍵在于在樣本空間和實(shí)數(shù)軸之間架起一座橋梁，使得樣本空間中有意義的事件（-代數(shù)）與實(shí)數(shù)軸上能夠“度量”的事件（Borel域）相互對(duì)應(yīng)，這樣就可以把人們對(duì)于統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果的認(rèn)識(shí)（可能性的大?。把由臁钡綄?shí)數(shù)軸上，從而方便地借助現(xiàn)代數(shù)學(xué)工具進(jìn)行處理。沿著這條思路，不僅可以定義隨量，還

18、能夠定義出更加豐富的隨機(jī)對(duì)象。需要做的只是用其他的空間替代一維歐氏空間（實(shí)數(shù)軸），并且在該空間上定義合適的-域就可以了?？紤]隨機(jī)向量，也就是取值于Rn的隨量。由于nnR = R R R =R,k=1如果每個(gè)實(shí)數(shù)軸上都配備了Borel域B(R)，那么很自然地希望Rn上的Borel域有如下形式nnB(R ) = B(R) B(R) B(R) =B(R),(1-15)k=1但這是不夠的。(1-15)所描述的集族甚至不滿(mǎn)足對(duì)集合并封閉這樣的基本條件，如圖3-1所示。8圖3-1 二維集合運(yùn)算示意積得到。借用最小-代數(shù)的概念，可以把Rn上其中(B)所示的集合無(wú)法通過(guò)集合的的Borel域改寫(xiě)為nB(R )

19、= (B(R) B(R) B(R) = (B(R),n(1-16)k=1(1-15)雖較為合理，但是構(gòu)造方法太復(fù)雜?；仡櫼痪SBorel域的構(gòu)造，嘗試使用較為簡(jiǎn)單的集合來(lái)生成的Borel域。仿照實(shí)數(shù)軸上的區(qū)間，這里使用“長(zhǎng)方體”。定義 1.4 (Rn上的Borel域) 考慮Rn，設(shè)Ik = (ak, bk R，令nI = I I I =I ,12nkk=1則稱(chēng)I為Rn上的“立方體”(Cylinder)。由所有的“立方體”為Rn上的Borel域，通常記為B(Rn)。的集族所生成的-代數(shù)稱(chēng)可以證明，上述定義和(1-16)是等價(jià)的4。有了Rn上的Borel域作為基礎(chǔ)，隨機(jī)向量的定義順理成章。定義 1.

20、5 (n維隨機(jī)向量) 考慮樣本空間及其上的-代數(shù)F，令B(Rn)為Rn上的Borel域，那么如下定義的X：X : Rn,X1(B) F, B B(Rn),(1-17)稱(chēng)為n維隨機(jī)向量。例 1.11 考慮拋硬幣實(shí)驗(yàn)，如果關(guān)心的不是硬幣時(shí)向上的是正面還是，而是硬幣中心所處的位置，那么就得到了一個(gè)二維的隨機(jī)向量(X, Y )，其兩個(gè)分量分別代表硬幣中心所在位置的坐標(biāo)。類(lèi)似的，考慮射擊實(shí)驗(yàn)，靶紙上的彈著點(diǎn)位置同樣二維的隨機(jī)向量。9例 1.12 考慮將某種統(tǒng)計(jì)實(shí)驗(yàn)重復(fù)進(jìn)行n次，每次實(shí)驗(yàn)都得到一個(gè)數(shù)據(jù)。記第k次實(shí)驗(yàn)的數(shù)據(jù)為Xk，則X() = (X1(), X2(), , Xn(),是n維隨機(jī)向量。X中包含

21、有多次實(shí)驗(yàn)所獲得的數(shù)據(jù)，這些數(shù)據(jù)都是隨量，且自變量為同一個(gè)。如果不考慮嚴(yán)格性，可以認(rèn)為一組實(shí)驗(yàn)（而不是一次，一組內(nèi)可以包含多次實(shí)驗(yàn)）獲得了一個(gè)實(shí)驗(yàn)結(jié)果，這一結(jié)果產(chǎn)生出了分別對(duì)應(yīng)每一次實(shí)驗(yàn)的多個(gè)數(shù)據(jù)X1, , Xn。這種隨機(jī)向量是研究數(shù)理統(tǒng)計(jì)和隨機(jī)過(guò)程的基礎(chǔ)模型。復(fù)隨機(jī)向量作為在復(fù)空間上取值的隨復(fù)表示在電子系統(tǒng)和電路中被廣泛使用，復(fù)隨量，其定義是二維隨機(jī)向量的自然延伸。由于量的概念很重要。定義 1.6 (復(fù)隨Z量) 考慮樣本空間及其上的-代數(shù)F，令Bn為Rn上的Borel域?？糧() = X() + jY () C,慮其中j = 1是虛數(shù)。如果(X(), Y ()二維隨機(jī)向量，那么稱(chēng)Z為復(fù)隨量。

22、例 1.13 考慮通信系統(tǒng)，接收信號(hào)經(jīng)正交解調(diào)處理后進(jìn)行采樣，由于正交解調(diào)產(chǎn)生出I,Q兩路信號(hào)，因此，每次采樣實(shí)際上得到兩個(gè)數(shù)據(jù)X和Y 。兩者都是隨量，依賴(lài)于樣本空間中的樣本點(diǎn)。上將這兩個(gè)數(shù)據(jù)寫(xiě)成復(fù)數(shù)的形式X() + jY ()。盡管在工程上不作嚴(yán)格檢查，但是(X(), Y ()實(shí)際上需要滿(mǎn)足二維隨機(jī)向量的定義要求。這種復(fù)隨量是對(duì)通信系統(tǒng)進(jìn)行統(tǒng)計(jì)建模的基礎(chǔ)。形式的隨機(jī)對(duì)象將在Part B中給出。分布函數(shù)隨量完成了對(duì)統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果的量化，而分布函數(shù)的引入則為研究隨量的概率性質(zhì)提供了工具。從物理上講，概率代表了人們對(duì)于統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果出現(xiàn)可能性的一種認(rèn)知，是研究實(shí)際問(wèn)題的先驗(yàn)知識(shí)。此類(lèi)知識(shí)針對(duì)的是由樣本

23、點(diǎn)的樣本空間及其上由事件的- 代數(shù)F。而無(wú)論是樣本點(diǎn)還是事件，都缺乏必要的數(shù)量特性，隨量的引入解決了樣板點(diǎn)的的量化問(wèn)題。事件的概率同樣也需要引入必要的途徑，將其進(jìn)一步轉(zhuǎn)化人們更為熟悉的，處理更為方便的實(shí)自變量函數(shù)。分布函數(shù)恰好能滿(mǎn)足這個(gè)需求。從數(shù)學(xué)上講，由于實(shí)數(shù)軸上的Borel域很復(fù)雜，直接在其上定義概率有，因此常用段是首先在一些較為簡(jiǎn)單的集合（例如區(qū)間）上定義概率，然后利用擴(kuò)張技術(shù)將其擴(kuò)展到Borel域。正如第二章Part B所述，分布函數(shù)是幫助人們?cè)诩仙隙x概率的重要工具。畢竟，以集合為自變量的函數(shù)是難以研究的。因此通過(guò)分布函數(shù)，可以把對(duì)隨量概率的研究納入到人們較為熟悉的普通函數(shù)的范圍內(nèi)

24、。從這個(gè)角度看，分布函數(shù)簡(jiǎn)化了人們對(duì)于概率的認(rèn)識(shí)和使用。定義 1.7 (一維)分布函數(shù)) 設(shè)F (x)是滿(mǎn)足如下性質(zhì)的函數(shù)，(1) F (x)單調(diào)不減；10(2) F () = 0，F(xiàn) () = 1。即lim F (x) = 0,lim F (x) = 1(1-18)xx(3) F (x)右連續(xù)。則稱(chēng)F (x)為（一維）分布函數(shù)(Distributed Functions)。由單調(diào)性得知，F(xiàn) (x)僅有第一類(lèi)間斷點(diǎn)。也就是說(shuō)，在實(shí)數(shù)軸的任意一個(gè)點(diǎn)（特別是間斷點(diǎn)）上，F(xiàn) (x)的左右極限都存在。記F (x) = lim F (t),F (x+) = lim F (t),txtx同時(shí)應(yīng)當(dāng)，定義中的

25、右連續(xù)并不本質(zhì)。如果要求左連續(xù)，分布函數(shù)仍然有良好定義(許多都選擇左連續(xù)。例如4)?？紤]樣本空間及其上的-代數(shù)F，設(shè)X為上的隨就是X落在給定集合內(nèi)的可能性的大小。量，關(guān)心X取值的概率，也P(A), A B,由隨量的定義，A作為Borel域的元素，其在X下的原像X1(A)在F中，被賦予了明確的概率。因此可以將F上的概率自然地誘導(dǎo)到B(R)上，得到P(A) = P(X1(A),(1-19)給出了Borel域上的概率定義。(1-19)由于Borel域自身的復(fù)雜性，定義(1-19)還不夠明確，且難以應(yīng)用。正如第二章Part B中所做的那樣，可以引入分布函數(shù)來(lái)得到更加實(shí)用的實(shí)數(shù)軸上的概率定義。下面的定理

26、表明，能夠建立分布函數(shù)F 與Borel域上概率P之間的一一對(duì)應(yīng)關(guān)系。一個(gè)定義在Borel域B(R)上的概率P，都存在如下定義的分布函數(shù)F 與之相定理 1.6對(duì)應(yīng)。F (x) = P(, x),(1-20)反過(guò)來(lái)，一個(gè)定義與實(shí)數(shù)軸上的分布函數(shù)F，都存在定義在Borel域B(R)上的概率P與之相對(duì)應(yīng)。證明 3 該定理的第一個(gè)結(jié)論可以通過(guò)定義直接驗(yàn)證。事實(shí)上，由概率的單調(diào)性，如果x16x2，P(, x1) 6 P(, x1)=F (x1)6F (x2),得到F 的單調(diào)不減。由概率的連續(xù)性，lim (, xn = (, xxnx= lim P(, xn) = P(, x)xnx= lim F (xn)

27、 = F (x),xnx11而(1-18)是顯然的。定理的第二個(gè)結(jié)論本質(zhì)上是第二章Part B中談到過(guò)的概率“擴(kuò)張”，也就是利用分布函數(shù)在Borel域上定義概率，細(xì)節(jié)此處從略。由(1-19)和(1-20)可以進(jìn)一步得到F (x) = P(, x) = P( : X()6x),(1-21)從而建立了分布函數(shù)與樣本空間上的概率之間的聯(lián)系。今后在不引起歧義的前提下，仍使用P作為實(shí)數(shù)軸上概率的記號(hào)。從現(xiàn)在開(kāi)始，概率論的研究將圍繞隨量和分布函數(shù)展開(kāi)。如果沒(méi)有特別需要，將有意淡化隨認(rèn)識(shí)。量對(duì)于樣本空間的依賴(lài)性。不過(guò)，讀者頭腦中需要對(duì)這種依賴(lài)性有清晰的應(yīng)該，分布函數(shù)和隨量密不可分。每個(gè)隨量都有自己的分布函數(shù)

28、；反過(guò)來(lái)，每個(gè)分布函數(shù)都能找到與之相對(duì)應(yīng)的隨量。分布函數(shù)是隨量最基本的性質(zhì)，也是對(duì)隨量概率特性最全面的描述。為清晰起見(jiàn)，通常記隨量X的分布函數(shù)為FX (x)。盡管隨量與其分布函數(shù)密切關(guān)聯(lián)，但是兩者間并沒(méi)有一一對(duì)應(yīng)關(guān)系。一個(gè)隨量只能有唯一的分布函數(shù)，不同的隨量卻可能具有相同的分布函數(shù)。例 1.14 (不同的隨量有相同的分布) 考慮隨量X，其分布滿(mǎn)足1P(X = 1) = P(X = 1) =,2設(shè)隨量Y = X，那么Y 的分布為1P(Y = 1) = P(Y = 1) =,2X和Y 的分布函數(shù)完全相同，但明顯是兩個(gè)不同的隨量。計(jì)算分布函數(shù)的基本方法是使用其概率定義(1-21)。例 1.15 (平

29、移變換) 已知隨量Y = X b的分布函數(shù)FY (x)。根據(jù)(1-21)，有量X的分布函數(shù)為FX (x)，b是確定性常數(shù)，計(jì)算隨FY (x) = P(Y 6x),由已知的Y 與X的關(guān)系，得到FY (x) = P(X b6x) = P(X6x + b),從而FY (x) = FX (x + b),此例雖簡(jiǎn)單，但使用的方法有較好的通用性，值得體會(huì)。12例 1.16 (尺度變換) 已知隨量X的分布函數(shù)為FX (x)，a =0是確定性常數(shù)，計(jì)算隨量Y = aX的分布函數(shù)FY (x)。使用定義，有FY (x) = P(Y 6x) = P(aX6x),如果a 0，xxFY (x) = P(X6 a ) =

30、 FX ( a ),反之xxxFY (x) = P(X a ) = 1 FX ( a ) + P(X = a ),例 1.17 (偽隨機(jī)數(shù)生成) 設(shè)隨量U 的分布函數(shù)為FU (x) = xI0,1(x) + I(1,)(x),設(shè)G為單調(diào)遞增的分布函數(shù)。計(jì)算隨根據(jù)定義，量Y = G1(U )的分布函數(shù)。FY (x) = P(Y 6x) = P(G1(U )6x) = P(U 6G(x),由U 的分布函數(shù)，得到FY (x) = G(x),也就是說(shuō)，隨量Y 的分布函數(shù)恰為G。這個(gè)簡(jiǎn)單例子是Monte Carlo實(shí)驗(yàn)和偽隨機(jī)數(shù)生成的重要理論基礎(chǔ)。實(shí)施Monte Carlo實(shí)驗(yàn)的先決條件是產(chǎn)生出服從指定

31、分布的偽隨機(jī)數(shù)，如何利用計(jì)算機(jī)生成符合要求的偽隨機(jī)數(shù)是信息科學(xué)領(lǐng)域的關(guān)鍵問(wèn)題，對(duì)于電子工程、計(jì)算機(jī)科學(xué)與工程、系統(tǒng)工程等需要隨機(jī)仿真計(jì)算的學(xué)科分支都有重要意義。本例說(shuō)明，服從指定分布的偽隨機(jī)數(shù)的生成問(wèn)題存在理論上的解決途徑。只要產(chǎn)生出隨出滿(mǎn)足需要的偽隨機(jī)數(shù)。量U，然后用給定的分布函數(shù)的逆作用在U 上，即可產(chǎn)生在例1.17中，假設(shè)分布函數(shù)G具有嚴(yán)格單調(diào)性，因此它的逆函數(shù)G1有良好的定義。一般情況下，分布函數(shù)只能滿(mǎn)足單調(diào)不減，并不具有嚴(yán)格的單調(diào)性，無(wú)法對(duì)其直接求逆。但是，仍可以對(duì)分布函數(shù)F (x)的“逆”F 1(x)進(jìn)行適當(dāng)?shù)亩x，記F 1(x) = supy : F (y) x如(1-22)的分

32、布函數(shù)“逆”的定義在嚴(yán)格的概率運(yùn)算中有廣泛應(yīng)用。(1-22)例 1.18 (偽隨機(jī)數(shù)生成(續(xù)) 仍考慮例1.17中的偽隨機(jī)數(shù)生成問(wèn)題。任取一個(gè)分布函數(shù)F (x)，考慮概率空間, F, P，其中 = (0, 1)，F(xiàn)為(0, 1) 上的Borel 域，P度。構(gòu)造隨量X() = supx : F (x) 說(shuō)明X()的分布函數(shù)恰為F (x)。令A(yù) = : supy : F (y) 6 x,B = : 6 F (x)為esgue測(cè)(1-23)(1-24)13證明A = B。事實(shí)上，如果 B，那么若y滿(mǎn)足F (y) )，則由F (y) 6 F (x)和分布函數(shù)的單調(diào)性，得到y(tǒng) x，進(jìn)而有supy : F

33、 (y) 6 x，即 A。另一方面，如果 A，使用反證法驗(yàn)證 B，如若不然，則存在x0使得F (y) F (x0) y，也就是說(shuō)supx : Fn(x) y，和 A！因此，F(xiàn)X (x) = P( : X() 6 x) = P(A) = P(B) = F (x)(1-25)利用分布函數(shù)，能夠計(jì)算隨量落在一些簡(jiǎn)單集合內(nèi)的概率。比如P(X (a, b) = FX (b) FX (a),P(X a, b) = FX (b) FX (a),P(X a, b) = FX (b) FX (a),P(X (a, b) = FX (b) FX (a),特別的，P(X = a) = FX (a) FX (a),由

34、此推廣，可以得到一大類(lèi)有廣泛應(yīng)用的分布函數(shù)及其所對(duì)應(yīng)的隨(1-26)量。定義 1.8 (離散型分布函數(shù)) 如果隨量X的分布函數(shù)FX (x)滿(mǎn)足F (x) =p U (x x ),(1-27)Xkkk=1這里的U (x)是階躍函數(shù)U (x) = x 0 x 0,k N,p = 1,kk=1則稱(chēng)FX (x)為離散型分布函數(shù)(Discrete Distribution Functions)，稱(chēng)X為離散隨Random Variables)。量(Discrete離散型隨量的典型圖形如下所示，圖3-1 離散型分布函數(shù)示意14如果X是離散隨量，那么它僅在可數(shù)集合上以正概率取值。具體地說(shuō)P(X = xk) =

35、 pk,k N,而在其他點(diǎn)x / xk1 上，P(x) = 0。由概率的可數(shù)可加性，有(1-28)P(X A) =pk,(1-29)xkA離散隨量是基本的概率模型，描述了結(jié)果為可數(shù)集的統(tǒng)計(jì)實(shí)驗(yàn)所遵循的分布規(guī)律。典型的例子包括Bernoulli分布、二項(xiàng)分布、幾何分布等，在后續(xù)章節(jié)詳細(xì)。假如隨量的取值并不僅局限于可數(shù)集合，那么可以使用絕對(duì)連續(xù)分布函數(shù)來(lái)刻畫(huà)。定義 1.9 (絕對(duì)連續(xù)分布函數(shù)) 如果隨量X的分布函數(shù)FX (x)滿(mǎn)足xFX (x) =fX (t)dt,(1-30)其中，fX (x)滿(mǎn)足ff (x) 0,(x)dx = 1,(1-31)XX則稱(chēng)FX (x)為絕對(duì)連續(xù)分布函數(shù)(Absol

36、uy Continuous Distribution Functions)，稱(chēng)X為絕對(duì)連續(xù)隨量(Absoluy Continuous Random Variables)。這里的fX (x)稱(chēng)為概率密度(Probability Density)，簡(jiǎn)稱(chēng)密度。很多情況下，為了記號(hào)簡(jiǎn)便，也將絕對(duì)連續(xù)分布函數(shù)（隨量）簡(jiǎn)稱(chēng)為連續(xù)分布函數(shù)（隨量）。讀者應(yīng)注意區(qū)分連續(xù)分布函數(shù)與“分布函數(shù)是連續(xù)的“之間的差異。連續(xù)分布函數(shù)不僅是連續(xù)的，還是可導(dǎo)的。連續(xù)隨量的典型圖形如下所示，圖3-1 連續(xù)分布函數(shù)示意如果X是連續(xù)隨續(xù)的。因此量，那么它取任意單點(diǎn)值的概率都是0。事實(shí)上，由(1-30)，F(xiàn)X 是連P(X = x0)

37、 = FX (x0) FX (x0) = 0,15與此同時(shí)，X落在某個(gè)集合A B中的概率為P(X A) = fX (t)dt,(1-32)A請(qǐng)注意，(1-32)的成立并不顯然。連續(xù)隨量同樣是基本的概率模型，描述了結(jié)果取連續(xù)實(shí)數(shù)值的統(tǒng)計(jì)實(shí)驗(yàn)所遵循的分布規(guī)律。典型的例子包括均勻分布、指數(shù)分布和在后續(xù)章節(jié)詳細(xì)。分布等，例 1.19 (對(duì)稱(chēng)分布) 如果連續(xù)隨量X的概率密度f(wàn)X (x)滿(mǎn)足fX (a x) = fX (a + x),(1-33)則稱(chēng)該隨量的分布是對(duì)稱(chēng)(Symmetric)的。類(lèi)似地可以給出離散對(duì)稱(chēng)分布的定義。如果a = 0，那么密度f(wàn)X (x)是偶函數(shù)。利用對(duì)稱(chēng)分布，很容易構(gòu)造出不同的隨

38、量，卻具有相同密度(分布函數(shù))。事實(shí)上，如果X的密度f(wàn)X (x)是對(duì)稱(chēng)的，那么Y = 2a X的分布函數(shù)滿(mǎn)足FY (y) = P(Y 6 y) = P(2a X 6 y) = P(X 2a y) = 1 FX (2a y),得到Y(jié) 的密度為(1-34)ddfY (y) = dy FY (y) = dy (1 FX (2a y) = fX (2a y) = fX (y),因此，X和Y 具有相同的密度。對(duì)稱(chēng)分布十分常見(jiàn)。關(guān)于a點(diǎn)對(duì)稱(chēng)的均勻分布密度(1-35)1fX (x) = 2 Ia,a+(x),a R, 0,(1-36)和分布密度(x )21 R, 0fX (x) = 2 exp(都是對(duì)稱(chēng)分布

39、的典型例子。),(1-37)22例 1.20 (單峰分布) 直觀(guān)地講，如果連續(xù)隨量X的密度f(wàn)X (x)只有一個(gè)極大值點(diǎn)，則稱(chēng)X的分布是單峰的(Unimodal)。這里強(qiáng)調(diào)的是極大值點(diǎn)，而不是最大值點(diǎn)。如果fX (x)有兩個(gè)甚至的極大值點(diǎn)，其圖像將會(huì)呈現(xiàn)多個(gè)“峰值”，從而與“單峰”的含義不符。單峰分布同樣常見(jiàn)，Laplace分布密度f(wàn)X (x) = 2 exp(|x|), 0,(1-38)和Cauchy分布密度1fX (x) = (1 + x2) ,(1-39)都是單峰分布的典型例子。單峰性(Unimodality)的嚴(yán)格定義有多種形式，其中接受度較高的是：如果存在m，使得連續(xù)隨量X的分布函數(shù)F

40、X 在(, m上是凸的，在m, )上是凹的，則稱(chēng)X的分布是單16峰的。該定義由俄羅斯概率學(xué)家A.Y.Khinchin(1894-1959)給出。容易看出，如果X的分布函數(shù)滿(mǎn)足Khinchin的單峰定義，則其只有一個(gè)極大值點(diǎn)。這里僅考慮FX 充分光滑的情況。由凸性和凹性的定義，有d2dfX (x) =FX (x) 0,x 6 m,dxd2xfX (x) =FX (x) 6 0,x m,dxd2x即X的密度f(wàn)X (x)在(, m上單調(diào)上升，在m, )上單調(diào)下降，得到m是唯一的極大值點(diǎn)。值得的是，Khinchin的定義并沒(méi)有包括一些常用的密度。例如分布密度(1-37)就不滿(mǎn)足該定義，但是被普遍認(rèn)為是

41、典型的單峰分布。d2d盡管上述兩個(gè)類(lèi)型，離散和連續(xù)，已經(jīng)包含了大部分得到廣泛應(yīng)用的隨量，但是隨量只有這兩種情況嗎？當(dāng)然不是。注意如下事實(shí)：對(duì)于連續(xù)隨量而言，其分布函數(shù)滿(mǎn)足(x) F(x) = 0,(FXXxR而對(duì)于離散隨量，則有(F (x) F (x) = 1,XXxR那么，如果出現(xiàn)0 (F (x) F (x) 20050 6 x 6 200 x 50 x 20050 6 x 6 200 x 0,X = min(X, 0) 6 0,因此只需要考慮X 6 0的情形。構(gòu)造簡(jiǎn)單函數(shù)序列Skk=1如下k2km 1 IS () =() + kI(),kAm,kCk2km=1其中m 1m6 X() 6C

42、= : X()6k,A= :,m,kk2k2k很明顯，SkX這正是想要的簡(jiǎn)單函數(shù) 近。證明定理(1.5)的思路是先驗(yàn)證簡(jiǎn)單函數(shù)具有定理所陳述的性質(zhì)，然后再利用簡(jiǎn)單函數(shù)近一般的隨量，從而得出其也具有相同的性質(zhì)?？紤]隨量X及其生成的- 代數(shù)(X)，量所記X 為所有能夠表示為X()的某種函數(shù)形式(X) 的隨的集合。設(shè)A (X)，那么IA 是隨量，且IA X。事實(shí)上，由A (X)，得知存在B 滿(mǎn)足B B(R)，使得A = X1(B),因此IA() = IB(X(),進(jìn)而得到任意的簡(jiǎn)單函數(shù)也有同樣的表示nnS() =c I() =c I(X) X ,Ak = X1(Bk),k Ak Bkkk=1k=1任

43、取Y 為適應(yīng)X的隨量，由于存在簡(jiǎn)單函數(shù)序列YY ，且滿(mǎn)足S = (X)，因此定義YS kkk(x) = lim k(x) xX()k0,x/X()則有SYY = lim= limk(X) = (X),kkk至此證明完成。20奇異連續(xù)分布與esgue分解最為常見(jiàn)的分布函數(shù)（或者說(shuō)隨量）有離散和連續(xù)兩種類(lèi)型。這是不是意味著只有這兩種類(lèi)型的分布函數(shù)呢？當(dāng)然是否定的。存在一類(lèi)分布函數(shù)，它們既不是離散分布，也不是連續(xù)分布，盡管在物理上缺乏明確意義，但是有較強(qiáng)的理論價(jià)值。這就是奇異連續(xù)分布(Singular Continuous Distribution)。奇異連續(xù)分布函數(shù)需要滿(mǎn)足兩個(gè)條件，一方面它是連續(xù)

44、的，另一方面它導(dǎo)數(shù)不為0的點(diǎn)（增長(zhǎng)點(diǎn)）卻非常少（esgue測(cè)度為0）。不難體會(huì)，構(gòu)造奇異連續(xù)分布是十分的。我們知道，實(shí)數(shù)軸上可數(shù)集合的esgue測(cè)度為0，但如果導(dǎo)數(shù)不為0的點(diǎn)是可數(shù)的，那么分布將為離散分布；無(wú)法保持連續(xù)性；不可數(shù)的esgue測(cè)度為0的集合十分罕見(jiàn)，Cantor三分集是其中的典型代表（這是為了紀(jì)念德國(guó)數(shù)學(xué)大師Cantor(1845-1918)，他創(chuàng)立了集合理論并首次證明了實(shí)數(shù)的不可數(shù)性，為奠定現(xiàn)代數(shù)學(xué)的邏輯基礎(chǔ)作出了杰出貢獻(xiàn)）。因此，在Cantor 三分集的基礎(chǔ)上，構(gòu)造奇異連續(xù)函數(shù)F 。函數(shù)F : 0, 1 0, 1滿(mǎn)足11 2F (x) =,2=,4=,4 x ( , )3 3

45、11 2x ( , )9 937 8x ( , )9 9也就是說(shuō)，如果x (0, 1)的三進(jìn)制表示為a (x)k x =,3kk=1那么N(x)1ak(x) + 1 ,F (x) =(1-45)2k+12N(x)k=1其中N(x) = mink : k 1, ak(x) = 1,(1-46)不難看出，(1-45)所定義的函數(shù)F 是連續(xù)的分布函數(shù)，且其導(dǎo)數(shù)不為0的點(diǎn)所的集合恰為Cantor三分集。由于Cantor三分集的esgue測(cè)度為0，所以F 是奇異連續(xù)分布函數(shù)。通常稱(chēng)此分布為Cantor分布(Cantor Distribution)。21圖3-5 Cantor分布函數(shù)示意基于對(duì)奇異連續(xù)分布

46、的基本認(rèn)識(shí)，不加證明地給出著名的esgue分解1。定理 1.8 (esgue分解) 任意一個(gè)分布函數(shù)F 都可以分解為如下形式F (x) = c1Fac(x) + c2Fd(x) + c3Fsc(x),(1-47)其中Fac(x)為連續(xù)分布函數(shù)，F(xiàn)d(x)為離散分布函數(shù)，F(xiàn)sc(x)為奇異連續(xù)分布函數(shù)，且有c1 + c2 + c3 = 1,c1, c2, c3 0,esgue分解表明，分布函數(shù)有且僅有三種基本類(lèi)型（離散、連續(xù)、奇異連續(xù)），且任一分布函數(shù)都可以表示為三種基本類(lèi)型的凸組合形式。今后的學(xué)習(xí)中，只重點(diǎn)研究連續(xù)和離散兩類(lèi)分布函數(shù)及其描述的隨量，不再奇異連續(xù)的情形。Part C熱身1. 給定概率空間, F, P，如果X是定義于其上的隨成立呢？量，請(qǐng)說(shuō)明|X|也是隨量。反之是否仍然2. 給定概率空間, F, P，如果X、Y 是定義于其上的隨量，請(qǐng)說(shuō)明 : X() = Y () F。如果F 和G是分布函數(shù)，請(qǐng)說(shuō)明F + (1 )G是分布函數(shù)。F G仍然是分布函數(shù)嗎？如果f 和g是密度，請(qǐng)說(shuō)明f + (1 )g是密度？f g仍然是密度嗎？如果如下定義的fX (x)是密度，請(qǐng)給出c的取值。5.fX (x) = c exp(x)I1,)(x),問(wèn)題1. 如果隨的分布函數(shù)？量X的分布函數(shù)是FX ，請(qǐng)從定義出發(fā)，給出隨量Y = aX + b（a, b為確定性常數(shù)）222. 如果F (x)是分