概率論與數(shù)理統(tǒng)計(jì)-第二章-隨機(jī)變量.ppt_第1頁(yè)
概率論與數(shù)理統(tǒng)計(jì)-第二章-隨機(jī)變量.ppt_第2頁(yè)
概率論與數(shù)理統(tǒng)計(jì)-第二章-隨機(jī)變量.ppt_第3頁(yè)
概率論與數(shù)理統(tǒng)計(jì)-第二章-隨機(jī)變量.ppt_第4頁(yè)
概率論與數(shù)理統(tǒng)計(jì)-第二章-隨機(jī)變量.ppt_第5頁(yè)
已閱讀5頁(yè),還剩49頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、1,第二章:隨機(jī)變量,上節(jié)課內(nèi)容 概率理論 概率公理及推論 隨機(jī)事件之間的關(guān)系:條件概率、獨(dú)立/條件獨(dú)立、貝葉斯公式 本節(jié)課內(nèi)容 隨機(jī)變量及其分布 隨機(jī)變量變換 常見(jiàn)分布族 多元隨機(jī)向量的分布 聯(lián)合分布、邊緣分布、條件分布、獨(dú)立,2,隨機(jī)變量,統(tǒng)計(jì)推斷是與數(shù)據(jù)相關(guān)的。隨機(jī)變量就是將樣本空間/隨機(jī)事件與數(shù)據(jù)之間聯(lián)系起來(lái)的紐帶 隨機(jī)變量是一個(gè)映射 ,將一個(gè)實(shí)數(shù)值 賦給一個(gè)試驗(yàn)的每一個(gè)輸出 例2.2:拋10次硬幣,令X()表示序列中正面向上的次數(shù),如當(dāng) = HHTHHTHHTT,則 X() = 6。,3,隨機(jī)變量的概率描述,事件的概率 隨機(jī)變量的概率描述 給定一隨機(jī)變量X及實(shí)數(shù)子集A,定義 例2.4

2、:拋2次硬幣,令X表示正面向上的次數(shù),則,其中X表示隨機(jī)變量,x表示X可能的取值,4,隨機(jī)變量的分布函數(shù),隨機(jī)變量X的累積分布函數(shù) (cumulative distribution function, CDF) 定義為 CDF是一個(gè)非常有用的函數(shù):包含了隨機(jī)變量的所有信息。 CDF的性質(zhì):略 (見(jiàn)書(shū)),有時(shí)記為F,5,例:隨機(jī)變量的CDF,例2.6:公正地拋硬幣2次,令X表示正面向上的次數(shù),則 CDF 右連續(xù)、非減函數(shù) 對(duì)所有實(shí)數(shù)x都有定義 雖然隨機(jī)變量只取0、1、2,6,離散型隨機(jī)變量的概率函數(shù),離散型隨機(jī)變量的概率函數(shù) (probability function or probabilit

3、y mass function, pmf)定義為 對(duì)所有的 CDF與pmf之間的關(guān)系為:,有時(shí)記為 f,7,例:離散型隨機(jī)變量的pmf,例2.10:公正地拋硬幣2次,令X表示正面向上的次數(shù),則 概率函數(shù)為:,8,連續(xù)型隨機(jī)變量的概率(密度)函數(shù),對(duì)連續(xù)型隨機(jī)變量X,如果存在一個(gè)函數(shù) ,使得對(duì)所有的x, ,且對(duì)任意 有 則函數(shù) 被稱(chēng)為概率密度函數(shù) (probability density function, pdf)。 CDF與pdf之間的關(guān)系: 在所有 可微的點(diǎn)x,則,注意: 是可能的,9,例:連續(xù)型隨機(jī)變量的CDF和pmf,例2.12:設(shè)X有PDF: 顯然有 有該密度的隨機(jī)變量為(0,1)上

4、的均勻分布:Uniform(0, 1),即在0和1之間隨機(jī)選擇一個(gè)點(diǎn)。 其CDF為:,10,分位函數(shù) (quantile function),令隨機(jī)變量X的CDF為F,CDF的反函數(shù)或分位函數(shù)(quantile function)定義為 其中 。若F嚴(yán)格遞增并且連續(xù),則 為一個(gè)唯一確定的實(shí)數(shù)x,使得 。 為增函數(shù) 中值(median): 一個(gè)很有用的統(tǒng)計(jì)量,對(duì)噪聲比較魯棒,11,隨機(jī)變量的變換,X:老的隨機(jī)變量, Y:新的隨機(jī)變量, 離散:,12,離散型隨機(jī)變量的變換,例2.45:假設(shè) Y的取值比X少,因?yàn)樵撟儞Q不是一一映射。,13,連續(xù)型隨機(jī)變量的變換,CDF方法 變換的三個(gè)步驟 對(duì)每個(gè)y,

5、計(jì)算集合 計(jì)算CDF PDF為,14,連續(xù)型隨機(jī)變量的變換,當(dāng)r為單調(diào)增函數(shù)/減函數(shù),定義r的反函數(shù) ,則 當(dāng)X、Y存在一一映射時(shí),上述結(jié)論仍可用Jacobian方法 分區(qū)間:在每個(gè) 區(qū)間內(nèi)為單調(diào)函數(shù),可分區(qū)間利用上述結(jié)論,15,16,例:連續(xù)型隨機(jī)變量的變換,例2.46: 則 令 則 或直接用Jacobian方法,17,例:連續(xù)型隨機(jī)變量的變換,例:概率積分變換 X有連續(xù)CDF ,定義隨機(jī)變量Y為 ,則Y為0,1上的均勻分布,即 對(duì)隨機(jī)數(shù)產(chǎn)生特別有用(Chp2第15題),18,0.5,1.0,0,19,常見(jiàn)分布族,離散型隨機(jī)變量 Ch2, p25 均勻(Uniform)分布 貝努利(Bern

6、oulli)分布 二項(xiàng)(Binnomial)分布 超幾何(HyperGeometric)分布 幾何(Geometric)分布 泊松(Possion)分布 連續(xù)型隨機(jī)變量 Ch2, p27 均勻(Uniform)分布 正態(tài)(Normal)分布 Gamma分布 Beta分布 分布 指數(shù)(Exponential)分布,20,常見(jiàn)分布族,每個(gè)分布族 pdf/pmf形式 參數(shù) 典型應(yīng)用 均值、方差,21,正態(tài)分布,亦稱(chēng)高斯分布, : 位置(location)參數(shù) : 尺度(scale)參數(shù) 如圖像處理中的多尺度分析,22,正態(tài)分布,最重要的分布之一 在實(shí)際遇到的許多隨機(jī)現(xiàn)象都服從或近似服從正態(tài)分布 如考

7、試成績(jī) 中心極限定理:隨機(jī)樣本的均值近似服從正態(tài)分布 對(duì)任意IID樣本 ,則,23,標(biāo)準(zhǔn)正態(tài)分布,當(dāng) 時(shí),正態(tài)分布稱(chēng)為標(biāo)準(zhǔn)正態(tài)分布,通常用Z表示服從標(biāo)準(zhǔn)正態(tài)分布的變量,記為 。 pdf和CDF分別記為 標(biāo)準(zhǔn)化變換: 若 ,則 若 ,則 正態(tài)分布的線(xiàn)性組合仍是正態(tài)分布:若 是獨(dú)立的,則,24,二元隨機(jī)向量的聯(lián)合分布,離散型隨機(jī)變量的聯(lián)合分布:令X、Y為一對(duì)離散型隨機(jī)變量,聯(lián)合概率函數(shù)(pmf)定義為 聯(lián)合概率分布函數(shù)(CDF)為:,(X, Y):隨機(jī)向量,25,例2.18:對(duì)如下有兩個(gè)隨機(jī)變量的二元分布,變量X和Y取值為0、1, 則 。,26,二元隨機(jī)向量的聯(lián)合分布,連續(xù)型隨機(jī)變量的聯(lián)合分布:令

8、X、Y對(duì)一對(duì)連續(xù)型隨機(jī)變量,聯(lián)合概率密度函數(shù)(pdf)定義為 對(duì)任意集合 聯(lián)合概率分布函數(shù)(CDF)為:,27,邊緣分布,離散型隨機(jī)變量:,28,邊緣分布,連續(xù)型隨機(jī)變量:,聯(lián)合分布包含了隨機(jī)向量概率分布的信息 聯(lián)合分布唯一確定了邊緣分布,但反之通常不成立,29,獨(dú)立,PDF可以因式分解,30,獨(dú)立,31,隨機(jī)變量之間的關(guān)系,獨(dú)立 當(dāng)且僅當(dāng) 不獨(dú)立:隨機(jī)變量之間的關(guān)系用條件分布描述 條件分布:,32,條件分布,離散型隨機(jī)變量的條件概率函數(shù): 對(duì)連續(xù)型隨機(jī)變量,條件概率定義相同,但解釋不同,第一節(jié)課中隨機(jī)事件的條件概率:,33,條件分布,給定變量Y時(shí),在 X上的概率分布 對(duì)Y的每個(gè)可能取值,對(duì)X

9、都定義有一個(gè)概率分布 是一個(gè)概率分布,滿(mǎn)足概率分布的所有性質(zhì),如,34,例:條件分布,35,聯(lián)合分布、邊緣分布與條件分布,邊緣分布與聯(lián)合分布: 條件分布與邊緣分布、聯(lián)合分布: 聯(lián)合分布與條件分布、邊緣分布:,36,條件概率 鏈規(guī)則(Chain Rule),鏈規(guī)則 或,37,貝葉斯規(guī)則,貝葉斯規(guī)則,似然,先驗(yàn),后驗(yàn),38,貝葉斯規(guī)則中的邊緣化,給定 和 ,推導(dǎo) 經(jīng)常使用 貝葉斯規(guī)則的歸一化因子 通過(guò)邊緣化,,已知,?,39,邊緣分布,通過(guò)使用 (1) 邊緣化和 (2) 鏈規(guī)則,給定 ,可以計(jì)算:,40,條件獨(dú)立,(絕對(duì))獨(dú)立: 給定Y,不會(huì)對(duì)X增加任何信息 條件獨(dú)立:若在給定Z的情況下,X與Y條

10、件獨(dú)立,則 一旦已知Z,Y不會(huì)對(duì)X提供額外的信息 例:,41,聯(lián)合概率,聯(lián)合概率: 定義了所有可能狀態(tài)的概率 二值變量的情況下有 項(xiàng) 用 個(gè)獨(dú)立變量表示 非二值變量? 如果這些變量是獨(dú)立的,則 對(duì)二值變量,用n個(gè)獨(dú)立變量表示 非二值變量?,42,聯(lián)合概率,若有些變量是條件獨(dú)立的話(huà),聯(lián)合概率可以用少于 個(gè)變量表示 例: 但若Y和W 在給定X下獨(dú)立,且Z和W、X在給定Y下獨(dú)立,則 真實(shí)問(wèn)題通常是這樣的,貝葉斯網(wǎng)絡(luò)就是利用了條件獨(dú)立的性質(zhì),43,鏈規(guī)則推廣,條件概率的定義 遞歸定義:,2n,1 2 4 2n-1,對(duì)二值變量,44,多元隨機(jī)向量的分布,令隨機(jī)向量 ,其中 為隨機(jī)變量,用 表示X的pdf

11、/pmf,先前討論的關(guān)于二元隨機(jī)向量分布的結(jié)論都可以推廣到多元隨機(jī)向量,如可以定義邊緣分布、條件分布等 當(dāng)隨機(jī)向量 互相獨(dú)立時(shí), 隨機(jī)向量相互獨(dú)立兩兩獨(dú)立,但反之不成立,45,IID(Independent Identically Distribution)樣本,當(dāng) 互相獨(dú)立且有相同的邊緣分布F時(shí),記為 ,我們稱(chēng) 為獨(dú)立同分布( Independent Identically Distribution, IID)樣本,表示 是從相同分布獨(dú)立抽樣/采樣,我們也稱(chēng) 是分布F的隨機(jī)樣本。若F有密度f(wàn),也可記為 ,樣本大小為n 思考題:怎樣對(duì)任意分布F進(jìn)行采樣(得到多個(gè)獨(dú)立同分布的樣本)?,46,常見(jiàn)

12、多元分布,多元二項(xiàng)分布 多元正態(tài)分布,47,多元二項(xiàng)分布,二項(xiàng)分布的多元變量版本 其中 例:從箱子中共k中顏色的球, 為抽取到顏色j的概率,共抽取n次,令 為顏色j出現(xiàn)的次數(shù),則,48,多元二項(xiàng)分布,邊緣分布:若 , 其中 且 ,則 的邊緣分布為,49,多元正態(tài)分布,令 ,其中 且互相獨(dú)立 則 Z的協(xié)方差矩陣為單位矩陣I,記為 。,50,多元正態(tài)分布,更一般地, 其中 表示矩陣的行列式, 為均值向量,協(xié)方差矩陣 為一個(gè)對(duì)稱(chēng)的正定矩陣,51,多元正態(tài)分布,多元正態(tài)分布有如下性質(zhì): 1、若 且 ,則 2、若 ,則 3、若 ,a為與X相同長(zhǎng)度的向量,則,52,隨機(jī)向量的變換,令 ,求 1. 對(duì)每個(gè)z,計(jì)算集合 2. 計(jì)算

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論