概率論與數(shù)理統(tǒng)計(jì)-第二章-隨機(jī)變量.ppt

1、1,第二章：隨機(jī)變量,上節(jié)課內(nèi)容 概率理論 概率公理及推論 隨機(jī)事件之間的關(guān)系：條件概率、獨(dú)立/條件獨(dú)立、貝葉斯公式 本節(jié)課內(nèi)容 隨機(jī)變量及其分布 隨機(jī)變量變換 常見(jiàn)分布族 多元隨機(jī)向量的分布 聯(lián)合分布、邊緣分布、條件分布、獨(dú)立,2,隨機(jī)變量,統(tǒng)計(jì)推斷是與數(shù)據(jù)相關(guān)的。隨機(jī)變量就是將樣本空間/隨機(jī)事件與數(shù)據(jù)之間聯(lián)系起來(lái)的紐帶 隨機(jī)變量是一個(gè)映射 ，將一個(gè)實(shí)數(shù)值 賦給一個(gè)試驗(yàn)的每一個(gè)輸出 例2.2：拋10次硬幣，令X()表示序列中正面向上的次數(shù)，如當(dāng) = HHTHHTHHTT，則 X() = 6。,3,隨機(jī)變量的概率描述,事件的概率 隨機(jī)變量的概率描述 給定一隨機(jī)變量X及實(shí)數(shù)子集A，定義 例2.4

2、：拋2次硬幣，令X表示正面向上的次數(shù)，則,其中X表示隨機(jī)變量，x表示X可能的取值,4,隨機(jī)變量的分布函數(shù),隨機(jī)變量X的累積分布函數(shù) (cumulative distribution function, CDF) 定義為 CDF是一個(gè)非常有用的函數(shù)：包含了隨機(jī)變量的所有信息。 CDF的性質(zhì)：略 （見(jiàn)書(shū)）,有時(shí)記為F,5,例：隨機(jī)變量的CDF,例2.6：公正地拋硬幣2次，令X表示正面向上的次數(shù)，則 CDF 右連續(xù)、非減函數(shù) 對(duì)所有實(shí)數(shù)x都有定義 雖然隨機(jī)變量只取0、1、2,6,離散型隨機(jī)變量的概率函數(shù),離散型隨機(jī)變量的概率函數(shù) (probability function or probabilit

3、y mass function, pmf)定義為 對(duì)所有的 CDF與pmf之間的關(guān)系為：,有時(shí)記為 f,7,例：離散型隨機(jī)變量的pmf,例2.10：公正地拋硬幣2次，令X表示正面向上的次數(shù)，則 概率函數(shù)為：,8,連續(xù)型隨機(jī)變量的概率（密度）函數(shù),對(duì)連續(xù)型隨機(jī)變量X，如果存在一個(gè)函數(shù) ，使得對(duì)所有的x， ，且對(duì)任意 有 則函數(shù) 被稱(chēng)為概率密度函數(shù) (probability density function, pdf)。 CDF與pdf之間的關(guān)系： 在所有 可微的點(diǎn)x，則,注意： 是可能的,9,例：連續(xù)型隨機(jī)變量的CDF和pmf,例2.12：設(shè)X有PDF: 顯然有 有該密度的隨機(jī)變量為(0,1)上

4、的均勻分布：Uniform(0, 1)，即在0和1之間隨機(jī)選擇一個(gè)點(diǎn)。 其CDF為：,10,分位函數(shù) (quantile function),令隨機(jī)變量X的CDF為F，CDF的反函數(shù)或分位函數(shù)(quantile function)定義為 其中 。若F嚴(yán)格遞增并且連續(xù)，則 為一個(gè)唯一確定的實(shí)數(shù)x，使得 。 為增函數(shù) 中值(median)： 一個(gè)很有用的統(tǒng)計(jì)量，對(duì)噪聲比較魯棒,11,隨機(jī)變量的變換,X：老的隨機(jī)變量， Y：新的隨機(jī)變量， 離散：,12,離散型隨機(jī)變量的變換,例2.45：假設(shè) Y的取值比X少，因?yàn)樵撟儞Q不是一一映射。,13,連續(xù)型隨機(jī)變量的變換,CDF方法 變換的三個(gè)步驟 對(duì)每個(gè)y，

5、計(jì)算集合 計(jì)算CDF PDF為,14,連續(xù)型隨機(jī)變量的變換,當(dāng)r為單調(diào)增函數(shù)/減函數(shù)，定義r的反函數(shù) ，則 當(dāng)X、Y存在一一映射時(shí)，上述結(jié)論仍可用Jacobian方法 分區(qū)間：在每個(gè) 區(qū)間內(nèi)為單調(diào)函數(shù)，可分區(qū)間利用上述結(jié)論,15,16,例：連續(xù)型隨機(jī)變量的變換,例2.46： 則 令 則 或直接用Jacobian方法,17,例：連續(xù)型隨機(jī)變量的變換,例：概率積分變換 X有連續(xù)CDF ，定義隨機(jī)變量Y為 ，則Y為0,1上的均勻分布，即 對(duì)隨機(jī)數(shù)產(chǎn)生特別有用（Chp2第15題）,18,0.5,1.0,0,19,常見(jiàn)分布族,離散型隨機(jī)變量 Ch2, p25 均勻(Uniform)分布 貝努利(Bern

6、oulli)分布 二項(xiàng)(Binnomial)分布 超幾何(HyperGeometric)分布 幾何(Geometric)分布 泊松(Possion)分布 連續(xù)型隨機(jī)變量 Ch2, p27 均勻(Uniform)分布 正態(tài)(Normal)分布 Gamma分布 Beta分布 分布 指數(shù)(Exponential)分布,20,常見(jiàn)分布族,每個(gè)分布族 pdf/pmf形式 參數(shù) 典型應(yīng)用 均值、方差,21,正態(tài)分布,亦稱(chēng)高斯分布， : 位置（location）參數(shù) : 尺度（scale）參數(shù) 如圖像處理中的多尺度分析,22,正態(tài)分布,最重要的分布之一 在實(shí)際遇到的許多隨機(jī)現(xiàn)象都服從或近似服從正態(tài)分布 如考

7、試成績(jī) 中心極限定理：隨機(jī)樣本的均值近似服從正態(tài)分布 對(duì)任意IID樣本 ，則,23,標(biāo)準(zhǔn)正態(tài)分布,當(dāng) 時(shí)，正態(tài)分布稱(chēng)為標(biāo)準(zhǔn)正態(tài)分布，通常用Z表示服從標(biāo)準(zhǔn)正態(tài)分布的變量，記為 。 pdf和CDF分別記為 標(biāo)準(zhǔn)化變換： 若 ，則 若 ，則 正態(tài)分布的線(xiàn)性組合仍是正態(tài)分布：若 是獨(dú)立的，則,24,二元隨機(jī)向量的聯(lián)合分布,離散型隨機(jī)變量的聯(lián)合分布：令X、Y為一對(duì)離散型隨機(jī)變量，聯(lián)合概率函數(shù)(pmf)定義為 聯(lián)合概率分布函數(shù)(CDF)為：,(X, Y)：隨機(jī)向量,25,例2.18：對(duì)如下有兩個(gè)隨機(jī)變量的二元分布，變量X和Y取值為0、1， 則 。,26,二元隨機(jī)向量的聯(lián)合分布,連續(xù)型隨機(jī)變量的聯(lián)合分布：令

8、X、Y對(duì)一對(duì)連續(xù)型隨機(jī)變量，聯(lián)合概率密度函數(shù)(pdf)定義為 對(duì)任意集合 聯(lián)合概率分布函數(shù)(CDF)為：,27,邊緣分布,離散型隨機(jī)變量：,28,邊緣分布,連續(xù)型隨機(jī)變量：,聯(lián)合分布包含了隨機(jī)向量概率分布的信息 聯(lián)合分布唯一確定了邊緣分布，但反之通常不成立,29,獨(dú)立,PDF可以因式分解,30,獨(dú)立,31,隨機(jī)變量之間的關(guān)系,獨(dú)立 當(dāng)且僅當(dāng) 不獨(dú)立：隨機(jī)變量之間的關(guān)系用條件分布描述 條件分布：,32,條件分布,離散型隨機(jī)變量的條件概率函數(shù)： 對(duì)連續(xù)型隨機(jī)變量，條件概率定義相同，但解釋不同,第一節(jié)課中隨機(jī)事件的條件概率：,33,條件分布,給定變量Y時(shí)，在 X上的概率分布 對(duì)Y的每個(gè)可能取值，對(duì)X

9、都定義有一個(gè)概率分布 是一個(gè)概率分布，滿(mǎn)足概率分布的所有性質(zhì)，如,34,例：條件分布,35,聯(lián)合分布、邊緣分布與條件分布,邊緣分布與聯(lián)合分布： 條件分布與邊緣分布、聯(lián)合分布： 聯(lián)合分布與條件分布、邊緣分布：,36,條件概率 鏈規(guī)則（Chain Rule）,鏈規(guī)則 或,37,貝葉斯規(guī)則,貝葉斯規(guī)則,似然,先驗(yàn),后驗(yàn),38,貝葉斯規(guī)則中的邊緣化,給定 和 ，推導(dǎo) 經(jīng)常使用 貝葉斯規(guī)則的歸一化因子 通過(guò)邊緣化，,已知,?,39,邊緣分布,通過(guò)使用 (1) 邊緣化和 (2) 鏈規(guī)則，給定 ，可以計(jì)算：,40,條件獨(dú)立,（絕對(duì)）獨(dú)立： 給定Y，不會(huì)對(duì)X增加任何信息 條件獨(dú)立：若在給定Z的情況下，X與Y條

10、件獨(dú)立，則 一旦已知Z，Y不會(huì)對(duì)X提供額外的信息 例：,41,聯(lián)合概率,聯(lián)合概率： 定義了所有可能狀態(tài)的概率 二值變量的情況下有 項(xiàng) 用 個(gè)獨(dú)立變量表示 非二值變量? 如果這些變量是獨(dú)立的，則 對(duì)二值變量，用n個(gè)獨(dú)立變量表示 非二值變量?,42,聯(lián)合概率,若有些變量是條件獨(dú)立的話(huà)，聯(lián)合概率可以用少于 個(gè)變量表示 例： 但若Y和W 在給定X下獨(dú)立，且Z和W、X在給定Y下獨(dú)立，則 真實(shí)問(wèn)題通常是這樣的，貝葉斯網(wǎng)絡(luò)就是利用了條件獨(dú)立的性質(zhì),43,鏈規(guī)則推廣,條件概率的定義 遞歸定義：,2n,1 2 4 2n-1,對(duì)二值變量,44,多元隨機(jī)向量的分布,令隨機(jī)向量 ，其中 為隨機(jī)變量，用 表示X的pdf

11、/pmf，先前討論的關(guān)于二元隨機(jī)向量分布的結(jié)論都可以推廣到多元隨機(jī)向量，如可以定義邊緣分布、條件分布等 當(dāng)隨機(jī)向量 互相獨(dú)立時(shí)， 隨機(jī)向量相互獨(dú)立兩兩獨(dú)立，但反之不成立,45,IID（Independent Identically Distribution）樣本,當(dāng) 互相獨(dú)立且有相同的邊緣分布F時(shí)，記為 ，我們稱(chēng) 為獨(dú)立同分布（ Independent Identically Distribution, IID）樣本，表示 是從相同分布獨(dú)立抽樣/采樣，我們也稱(chēng) 是分布F的隨機(jī)樣本。若F有密度f(wàn)，也可記為 ，樣本大小為n 思考題：怎樣對(duì)任意分布F進(jìn)行采樣（得到多個(gè)獨(dú)立同分布的樣本）？,46,常見(jiàn)

12、多元分布,多元二項(xiàng)分布 多元正態(tài)分布,47,多元二項(xiàng)分布,二項(xiàng)分布的多元變量版本 其中 例：從箱子中共k中顏色的球， 為抽取到顏色j的概率，共抽取n次，令 為顏色j出現(xiàn)的次數(shù)，則,48,多元二項(xiàng)分布,邊緣分布：若 ， 其中 且 ，則 的邊緣分布為,49,多元正態(tài)分布,令 ，其中 且互相獨(dú)立 則 Z的協(xié)方差矩陣為單位矩陣I，記為 。,50,多元正態(tài)分布,更一般地， 其中 表示矩陣的行列式， 為均值向量，協(xié)方差矩陣 為一個(gè)對(duì)稱(chēng)的正定矩陣,51,多元正態(tài)分布,多元正態(tài)分布有如下性質(zhì)： 1、若 且 ，則 2、若 ，則 3、若 ，a為與X相同長(zhǎng)度的向量，則,52,隨機(jī)向量的變換,令 ，求 1. 對(duì)每個(gè)z，計(jì)算集合 2. 計(jì)算