模式識別隨機(jī)向量的概率

1、模式識別隨機(jī)向量的概率第1頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四一. 事件的概率 令A(yù)、B、C 表示事件，這些事件的概率是0，1間的實(shí)數(shù)，記為PrA、PrB、PrC 必然事件的概率是1 不可能事件的概率是0 對任意事件A， （對立事件） 第2頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四A和B同時(shí)發(fā)生的概率 如果A1，A2，AM是兩兩互斥的完備事件組，則 第3頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四二. 概率分布和密度函數(shù)1. 單個(gè)隨機(jī)向量的分布和密度函數(shù) 令X是一個(gè)隨機(jī)向量，它的每一分量都是一個(gè)隨機(jī)變量。令 是X的一個(gè)取值，其中 都是固定的實(shí)數(shù)值

2、第4頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四 則事件： 的概率是 的函數(shù)。這個(gè)函數(shù)稱為隨機(jī)向量x的分布函數(shù)。定義為： 第5頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四由上面分布函數(shù)的定義，顯然有： 概率密度函數(shù)定義為分布函數(shù)對所有分量的導(dǎo)數(shù)： 第6頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四概率分布函數(shù)和密度函數(shù)之間還滿足如下的積分關(guān)系： 由上式和前面的式子，還有： 第7頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四對于事件： 有：下面看看在某一點(diǎn)的小鄰域的概率：第8頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四上式近似成立的條件是：

3、要充分小，以使 的變化較小 這意味著，在 點(diǎn)的概率密度正比于隨機(jī)向量 落在附近的小鄰域內(nèi)的概率。密度函數(shù)越大，這個(gè)概率越大 。但 等于 的概率為0。（連續(xù)時(shí)）容許奇異時(shí)，也有可能第9頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四2.隨機(jī)向量的聯(lián)合分布和密度函數(shù) 令X和Y是隨機(jī)向量，可以把前面定義的對單個(gè)隨機(jī)向量的分布和密度函數(shù)的概念推廣到X和Y的聯(lián)合概率分布和密度函數(shù)上去。實(shí)際上，單個(gè)隨機(jī)向量是它的各個(gè)分量的聯(lián)合，只要再擴(kuò)展到Y(jié)就行了第10頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四令 是一個(gè)隨機(jī)向量， ， 是 的一個(gè)實(shí)現(xiàn)。則隨機(jī)向量 和 的聯(lián)合分布函數(shù)定義為聯(lián)合事件 的

4、概率：第11頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四的聯(lián)合密度函數(shù)定義為： 和上式的一個(gè)等價(jià)關(guān)系是： 第12頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四由定義，下面的等式成立： (a)(b)(c)(d)第13頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四 由（b），有下式：第14頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四（c）和（d）意味著: x和y的概率密度可以通過對x和y的聯(lián)合概率密度的積分得到： 以上兩式得到的稱為X和Y的邊緣密度函數(shù)。第15頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四聯(lián)合分布的隨機(jī)向量x、y的另一個(gè)重要關(guān)系

5、是： 在 附近，同時(shí) 在 附近小區(qū)域內(nèi)的概率近似等于 和小區(qū)域體積的積第16頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四例1：一個(gè)兩維隨機(jī)向量和一個(gè)一維隨機(jī)變量的聯(lián)合密度函數(shù)： 求事件 的概率和邊緣密度： ， 第17頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四解：1. 第18頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四注意：不要忘記積分區(qū)間2. 邊緣密度為：第19頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四 在上面的計(jì)算中，要注意積分的上下限。 密度函數(shù) 也可以用對分布函數(shù) 求導(dǎo)而得到 第20頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期

6、四3. 隨機(jī)向量和事件的聯(lián)合分布和密度函數(shù)一個(gè)隨機(jī)向量 和一個(gè)事件A的聯(lián)合分布函數(shù)定義為：它是 的函數(shù) 第21頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四聯(lián)合密度函數(shù)定義為： 根據(jù)定義，下面的關(guān)系成立： 事件 的聯(lián)合概率為： 第22頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四如果A1，A2，AM是兩兩互斥的完備事件集，則邊緣分布函數(shù)： 邊緣密度函數(shù)為： 第23頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四三. 條件概率和貝葉斯規(guī)則 1. 事件的條件概率 令A(yù)、B是兩個(gè)隨機(jī)事件，B發(fā)生后A發(fā)生的條件概率為： 如果 ，則稱A和B是統(tǒng)計(jì)獨(dú)立的。這時(shí)由（1）式有： （

7、1）第24頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四2. 條件分布和密度函數(shù) 由（1）式的基本形式，可以推導(dǎo)出下面的幾種條件分布和密度函數(shù)。下面的公式推導(dǎo)和無條件概率分布與密度函數(shù)相似，不再多講。 （1）以一個(gè)事件為條件的分布和密度函數(shù) 若A是事件 ，B是另一個(gè)事件，則 第25頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四上式兩邊微分，可得到密度函數(shù) (2) 以隨機(jī)向量為條件的一個(gè)事件的概率 令A(yù)是任一事件，B是事件 則 在小區(qū)域內(nèi)，A發(fā)生的概率為：第26頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四(3) 隨機(jī)向量的條件密度函數(shù) 令A(yù)是事件 , B是事件 則

8、由前面的定義和公式有：第27頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四在 發(fā)生后 的條件密度定義為： 當(dāng)A和B對所有的 和 的值是獨(dú)立的時(shí)， , 因此有： 第28頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四3. 貝葉斯公式 由于事件A和B的聯(lián)合概率等于事件B和A的聯(lián)合概率，所以由條件概率公式有： （1） 上式稱為Bayes公式。是概率和統(tǒng)計(jì)中非常重要的一個(gè)公式。通過適當(dāng)定義事件A和B，貝葉斯公式可以有不同的形式。例如： 第29頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四 （1）如果B是事件則貝葉斯公式的形式為： （2） 如果 是兩兩互斥且完備的事件組A1，

9、A2，AM中的一個(gè)事件，則 （最優(yōu)模式分類）（2）（3）第30頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四(3)如果B是事件 ，A是 事件，則貝葉斯公式的形式為： (4)由邊緣密度的定義，還可寫為下式： (5)第31頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四上面的幾種貝葉斯公式對統(tǒng)計(jì)模式識別都是非常重要的如(5)式， 稱為先驗(yàn)概率，隨機(jī)向量X和Y間有某種關(guān)系，在X發(fā)生后Y的密度函數(shù)是對先驗(yàn)概率的一種改善，稱為后驗(yàn)概率。又如（3）式是一個(gè)最佳模式分類規(guī)則。 是事件 類的先驗(yàn)概率，而 則是 的后驗(yàn)概率。 第32頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四例：一

10、個(gè)兩維隨機(jī)向量的密度函數(shù)為： 另一隨機(jī)向量X，它和Y有關(guān)，其條件密度函數(shù)為： 第33頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四求聯(lián)合密度 ，并計(jì)算后驗(yàn)密度解：1. 聯(lián)合密度為： 后驗(yàn)概率為： 第34頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四注意：1. 積分限要注意。2. 上式?jīng)]有顯式解，要用數(shù)值方法求解。 3. 如果Y的先驗(yàn)密度是 則有顯式解，是一多元高斯密度 第35頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四四. 數(shù)學(xué)期望 一個(gè)隨機(jī)向量X的期望（或稱均值）是一個(gè)常數(shù)向量M，定義為 上式是一個(gè)向量形式， 的第 個(gè)分量為： 第36頁，共44頁，2022年，

11、5月20日，6點(diǎn)31分，星期四上式對所有的 ， 的分量積分，有： 是邊緣密度。 對于隨機(jī)向量的積的期望，將在復(fù)習(xí)2中討論。對于隨機(jī)向量的各個(gè)分量，則和隨機(jī)變量的定義一樣： 第37頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四性質(zhì)： 1. 隨機(jī)向量或變量和的期望等于期望的和； 2. 相互獨(dú)立的隨機(jī)變量和的方差等于方差的和 下面考慮只取離散值的隨機(jī)變量。它沒有概率密度函數(shù)（除非使用奇異函數(shù)）。則期望 ：若 是一隨機(jī)變量，它取離散值 ， 1，2，M。M也可能是無窮的， 第38頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四方差： 均值和方差是隨機(jī)變量分布的重要參數(shù)。均值分布或密度的

12、中心點(diǎn)，方差則表示了離中心點(diǎn)的分散程度。（分布和密度函數(shù)完全刻畫了隨機(jī)向量，而期望和方差刻畫了它的主要特征。） 第39頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四五. 小結(jié) 這一章復(fù)習(xí)了隨機(jī)事件和隨機(jī)向量的概率，復(fù)習(xí)了 統(tǒng)計(jì)獨(dú)立、貝葉斯公式（由條件概率）、隨機(jī)向量和變量的均值、方差。 第40頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四應(yīng)該理解這些定義、概念，理解一些公式推導(dǎo)的思路、思想。理解分布函數(shù)、密度函數(shù)和事件概率間的關(guān)系。理解聯(lián)合概率和條件概率間的區(qū)別。理解獨(dú)立性及其對概率、分布和密度函數(shù)的影響。掌握Bayes公式的各種形式。第41頁，共44頁，2022年，5月2

13、0日，6點(diǎn)31分，星期四第二章 統(tǒng)計(jì)決策理論 最小錯(cuò)誤率貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策 NeymanPearson決策（在限定一類錯(cuò)誤率的條件下，使另一類錯(cuò)誤率最小的兩類決策問題）最小最大決策 序貫決策（Sequential Decision） 第42頁，共44頁，2022年，5月20日，6點(diǎn)31分，星期四關(guān)于統(tǒng)計(jì)學(xué)的一個(gè)笑話： 有一個(gè)從沒帶過小孩的統(tǒng)計(jì)學(xué)家，因?yàn)槠拮映鲩T勉強(qiáng)答應(yīng)照看三個(gè)年幼好動(dòng)的孩子。妻子回家時(shí)，他交出一張紙條，寫道：“擦眼淚11次；系鞋帶15次；給每個(gè)孩子吹玩具氣球各5次，累計(jì)15次；每個(gè)氣球的平均壽命10秒鐘；警告孩子不要橫穿馬路26次；孩子堅(jiān)持要穿馬路26次；我還要再過這樣的星期六0次”。統(tǒng)計(jì)學(xué)真的是這樣呆板嗎？僅僅收集數(shù)據(jù)，整理分析，