模式識別隨機向量的概率

1、模式識別隨機向量的概率復習1 隨機向量的概率這一章復習一些概率和隨機變量/向量的概念，這些對于后面的學習是很重要的 模式識別隨機向量的概率一. 事件的概率 令A、B、C 表示事件，這些事件的概率是0，1間的實數(shù)，記為PrA、PrB、PrC 必然事件的概率是1 不可能事件的概率是0 對任意事件A， （對立事件） AP1APrr模式識別隨機向量的概率A和B同時發(fā)生的概率 如果A1，A2，AM是兩兩互斥的完備事件組，則 ABPBAPrrBAP-BA BABABAPrrrrrrPPPP或互斥時和，當 MiMi1rir1irBPBAP 1AP，模式識別隨機向量的概率二. 概率分布和密度函數(shù)1. 單個隨機

2、向量的分布和密度函數(shù) 令X X是一個隨機向量，它的每一分量都是一個隨機變量。 令 是X的一個取值，其中 都是固定的實數(shù)值 nxxX1nxx1， nxxx1x 模式識別隨機向量的概率 則事件： 的概率是 的函數(shù)。這個函數(shù)稱為隨機向量x的分布函數(shù)。定義為： nnxxxxxxxx2211，：x xxxxxxn21r，模式識別隨機向量的概率由上面分布函數(shù)的定義，顯然有： 概率密度函數(shù)定義為分布函數(shù)對所有分量的導數(shù)： 10， xxnxxxxxp21模式識別隨機向量的概率概率分布函數(shù)和密度函數(shù)之間還滿足如下的積分關系： 121xxxnxndxdxxpdxxpx由上式和前面的式子，還有： 1dxxp模式識別

3、隨機向量的概率 對于事件： 有：nnnnxxxxxxxxxxxx1111，： nxxxrxxxxpdxxpxxxx21下面看看在某一點的小鄰域的概率：模式識別隨機向量的概率上式近似成立的條件是：要充分小，以使 的變化較小 這意味著，在 點的概率密度正比于隨機向量 落在附近的小鄰域內(nèi)的概率。密度函數(shù)越大，這個概率越大 。 但 等于 的概率為0。（連續(xù)時） 容許奇異時，也有可能x xpxx 0 xxrxx 模式識別隨機向量的概率2.隨機向量的聯(lián)合分布和密度函數(shù) 令X和Y是隨機向量，可以把前面定義的對單個隨機向量的分布和密度函數(shù)的概念推廣到X和Y的聯(lián)合概率分布和密度函數(shù)上去。 實際上，單個隨機向量是

4、它的各個分量的聯(lián)合，只要再擴展到Y就行了模式識別隨機向量的概率令 是一個隨機向量， ， 是 的一個實現(xiàn)。則隨機向量 和 的聯(lián)合分布函數(shù)定義為聯(lián)合事件 的概率：ymyyy1y xyyyyxx，yyxxyx，r模式識別隨機向量的概率的聯(lián)合密度函數(shù)定義為： xyyyxxmnyxyyyxxxyxp2121，和上式的一個等價關系是： dxdyyxpyxxy, 模式識別隨機向量的概率由定義，下面的等式成立： 0，1， xx， yy，(a)(b)(c)(d)模式識別隨機向量的概率 1,dxdyyxp 由（b），有下式：模式識別隨機向量的概率（c）和（d）意味著: x和y的概率密度可以通過對x和y的聯(lián)合概率密

5、度的積分得到： 以上兩式得到的稱為X和Y的邊緣密度函數(shù)。 dxyxpypdyyxpxp, 模式識別隨機向量的概率聯(lián)合分布的隨機向量x、y的另一個重要關系是： ymxnVyyVxxxyxpyyyyxxxx121，ryy yp，yxVV和 在 附近，同時 在 附近小區(qū)域內(nèi)的概率近似等于 和小區(qū)域體積的積模式識別隨機向量的概率例1：一個兩維隨機向量和一個一維隨機變量的聯(lián)合密度函數(shù)： 其它， 0 10 3 , 2121yxxyxxypyy p yp 求事件 的概率和邊緣密度： ， 模式識別隨機向量的概率解：1. dxdyyxpyyyy ,r 1100101032211010 021yyyyydydxy

6、dxxxy 模式識別隨機向量的概率注意：不要忘記積分區(qū)間 2. 邊緣密度為： 其它， 0 21 0 100131321212121xxxxxxydyxxxp模式識別隨機向量的概率 其它 0 0 1001213102121yyydxdxyxxyp 在上面的計算中，要注意積分的上下限。 密度函數(shù) 也可以用對分布函數(shù) 求導而得到 yp y模式識別隨機向量的概率3. 隨機向量和事件的聯(lián)合分布和密度函數(shù) 一個隨機向量 和一個事件A的聯(lián)合分布函數(shù)定義為：AArxxx ，它是 的函數(shù) xx 模式識別隨機向量的概率聯(lián)合密度函數(shù)定義為： xxnxxxxxp21AA，根據(jù)定義，下面的關系成立： xdxxpx, A

7、A，事件 的聯(lián)合概率為： Axxxxnxxxxpxxxx21AAr，模式識別隨機向量的概率如果A1，A2，AM是兩兩互斥的完備事件集，則邊緣分布函數(shù)： M1Aiixx，邊緣密度函數(shù)為： M1Aiixpxp，模式識別隨機向量的概率三. 條件概率和貝葉斯規(guī)則 1. 事件的條件概率 令A、B是兩個隨機事件，B發(fā)生后A發(fā)生的條件概率為： BBABArrr如果 ，則稱A和B是統(tǒng)計獨立的。這時由（1）式有： ABArr（1） BABArrr模式識別隨機向量的概率2. 條件分布和密度函數(shù) 由（1）式的基本形式，可以推導出下面的幾種條件分布和密度函數(shù)。下面的公式推導和無條件概率分布與密度函數(shù)相似，不再多講。

8、（1）以一個事件為條件的分布和密度函數(shù) 若A是事件 ，B是另一個事件，則 xx BBBBBBrrrr, 1xxxxxx模式識別隨機向量的概率上式兩邊微分，可得到密度函數(shù) (2) 以隨機向量為條件的一個事件的概率 令A是任一事件，B是事件 BBBr, 1xpxpxxxx則 在小區(qū)域內(nèi)，A發(fā)生的概率為： xpxpxxxxpxxxxpxnn2121AAAr，模式識別隨機向量的概率(3) 隨機向量的條件密度函數(shù) 令A是事件 , B是事件 則由前面的定義和公式有：xxxxyyyy nmmnxxxypyxpyyypyyxxxyxp211121， BAr模式識別隨機向量的概率在 發(fā)生后 的條件密度定義為：

9、yx ypyxpyxp，當A和B對所有的 和 的值是獨立的時， xy xpyxp, 因此有： ypxpyxp， 模式識別隨機向量的概率3. 貝葉斯公式 由于事件A和B的聯(lián)合概率等于事件B和A的聯(lián)合概率，所以由條件概率公式有： BAABBArrrr（1） 上式稱為Bayes公式。是概率和統(tǒng)計中非常重要的一個公式。通過適當定義事件A和B，貝葉斯公式可以有不同的形式。例如： 模式識別隨機向量的概率 （1）如果B是事件則貝葉斯公式的形式為： xxxx xpxpxAAArr（2） 如果 是兩兩互斥且完備的事件組A1，A2，AM中的一個事件，則 （最優(yōu)模式分類）iA（2）Mjjjiiixpxpx1AAAA

10、Arrr（3）模式識別隨機向量的概率(3)如果B是事件 ，A是 事件，則貝葉斯公式的形式為： xxxxyyyy xpypyxpxyp(4)由邊緣密度的定義，還可寫為下式： dyypyxpypyxpxyp(5)模式識別隨機向量的概率上面的幾種貝葉斯公式對統(tǒng)計模式識別都是非常重要的 如(5)式， 稱為先驗概率，隨機向量X和Y間有某種關系，在X發(fā)生后Y的密度函數(shù)是對先驗概率的一種改善，稱為后驗概率。又如（3）式是一個最佳模式分類規(guī)則。 是事件 類的先驗概率，而 則是 的后驗概率。 iAriAriiA yp dyypyxpypyxpxypMjjjiiixpxpx1AAAAArrr模式識別隨機向量的概率

11、例：一個兩維隨機向量的密度函數(shù)為： 另一隨機向量X，它和Y有關，其條件密度函數(shù)為： 其它 0,0 1212ayyayp22222212112122exp21yxyxyxp模式識別隨機向量的概率求聯(lián)合密度 ，并計算后驗密度 解：1. 聯(lián)合密度為： yp， yp 其它， 0 0 , 22exp21212222221211221ayyyxyxaypyxpyxp后驗概率為： 其它 0 0,22exp22exp21002122222212112222221211ayydydyyxyxyxyxxypaa模式識別隨機向量的概率注意：1. 積分限要注意。2. 上式?jīng)]有顯式解，要用數(shù)值方法求解。 3. 如果Y的

12、先驗密度是 222122exp21yyyp21,- yy則有顯式解，是一多元高斯密度 模式識別隨機向量的概率四. 數(shù)學期望 一個隨機向量X的期望（或稱均值）是一個常數(shù)向量M，定義為 dxxpxxEm- 上式是一個向量形式， 的第 個分量為： mi niiiidxdxdxxpxdxpxxEm21 - 模式識別隨機向量的概率上式對所有的 ， 的分量積分，有： jxij iiiidxxpxm- 是邊緣密度。 ixp對于隨機向量的積的期望，將在復習2中討論。對于隨機向量的各個分量，則和隨機變量的定義一樣： iiiiiiidxxpmxmxxar-22 EV模式識別隨機向量的概率性質(zhì)： 1. 隨機向量或變

13、量和的期望等于期望的和； 2. 相互獨立的隨機變量和的方差等于方差的和 下面考慮只取離散值的隨機變量。它沒有概率密度函數(shù)（除非使用奇異函數(shù)）。 則期望 ：r若 是一隨機變量，它取離散值 ， 1，2，M。M也可能是無窮的， iri MiiirrrrEr1Pr模式識別隨機向量的概率 21r21r22P PVrrrrrrrrrrErarMiiiMiii方差： 均值和方差是隨機變量分布的重要參數(shù)。均值分布或密度的中心點，方差則表示了離中心點的分散程度。（分布和密度函數(shù)完全刻畫了隨機向量，而期望和方差刻畫了它的主要特征。） 模式識別隨機向量的概率五. 小結 這一章復習了隨機事件和隨機向量的概率，復習了

14、它們間的關系密度函數(shù)分布函數(shù)條件分布聯(lián)合分布統(tǒng)計獨立、貝葉斯公式（由條件概率）、隨機向量和變量的均值、方差。 模式識別隨機向量的概率 應該理解這些定義、概念，理解一些公式推導的思路、思想。 理解分布函數(shù)、密度函數(shù)和事件概率間的關系。 理解聯(lián)合概率和條件概率間的區(qū)別。 理解獨立性及其對概率、分布和密度函數(shù)的影響。 掌握Bayes公式的各種形式。模式識別隨機向量的概率第二章 統(tǒng)計決策理論 最小錯誤率貝葉斯決策 最小風險貝葉斯決策 NeymanPearson決策（在限定一類錯誤率的條件下，使另一類錯誤率最小的兩類決策問題） 最小最大決策 序貫決策（Sequential Decision） 模式識別隨機向量的概率關于統(tǒng)計學的一個笑話： 有一個從沒帶過小孩的統(tǒng)計學家，因為妻子出門勉強答應照看三個年幼好動的孩子。妻子回家時，他交出一張紙條，寫道：“擦眼淚11次；系鞋帶15次；給每個孩子吹玩具氣球各5次，累計15次；每個氣球的平均壽命10秒鐘