機(jī)器學(xué)習(xí)中有關(guān)概率論知識(shí)的小結(jié)

1、機(jī)器學(xué)習(xí)中有關(guān)概率論知識(shí)的小結(jié)、引言最近寫了許多關(guān)于機(jī)器學(xué)習(xí)的學(xué)習(xí)筆記，里面經(jīng)常涉及概率論的知識(shí)，這里對(duì)所有概率論知識(shí)做一個(gè)總結(jié)和復(fù)習(xí)，方便自己查閱，與廣大博友共享，所謂磨刀不誤砍柴工，希望博友們?cè)谶@篇博文的幫助下，閱讀機(jī)器學(xué)習(xí)的相關(guān)文獻(xiàn)時(shí)能夠更加得心應(yīng)手！這里只對(duì)本人覺得經(jīng)常用到的概率論知識(shí)點(diǎn)做一次小結(jié)，主要是基本概念，因?yàn)闄C(jī)器學(xué)習(xí)中涉及概率論的地方，往往知道基本概念就不難理解，后面會(huì)不定期更新，希望博友們多留言補(bǔ)充。二、貝葉斯（Bayes）公式通常把事件A的概率P（A）叫做實(shí)驗(yàn)前的假設(shè)概率，即先驗(yàn)概率（priorprobability），如果有另一個(gè)事件B與事件A有某種關(guān)系，即事件A和B不

2、是互相獨(dú)立的，那么當(dāng)事件B確實(shí)發(fā)生之后，則應(yīng)當(dāng)重新估計(jì)事件A的概率，即P（A|B）,這叫做條件概率或者試驗(yàn)后的假設(shè)概率，即后驗(yàn)概率（posteriorprobability）.公式一:再引入全概率公式：設(shè)事件A當(dāng)前僅當(dāng)互不相容的事件（即任意兩個(gè)事件不可能同時(shí)發(fā)生的）5（i=1,2,）.中的任意一個(gè)事件發(fā)生時(shí)才可能發(fā)生，已知事件Hi的概率卩（比）及事件A在乩已發(fā)生的條件下的條件概率，則事件A發(fā)生的概率為：ni=l這就是全概率公式.根據(jù)概率乘法定理:P(AB)=P(A)P(BA)二P(B)P(AR)我們可以得到:PP&訂（辭加|財(cái)P（民）玖4|艮）于是:再根據(jù)上面介紹的全概率公式，則可得到傳說中的

3、貝葉斯公式鞏5）吃|艮）這些公式定理幾乎貫穿整個(gè)機(jī)器學(xué)習(xí)，很基本，也很重要!三、常用的離散隨見變量分布i.“0T”分布：設(shè)隨機(jī)變量X只能取得兩個(gè)數(shù)值：0與1,而概率函數(shù)是:北二0，i；通常把這種分布叫做“0-1”分布或者兩點(diǎn)分布，卩是分布參數(shù)2.二項(xiàng)分布(binomialdistribution):設(shè)隨機(jī)變量X可能的的值是0,1,2,n,而概率函數(shù)是:其中0；和P,通常把這種分布記作R(弘卩)丄，這種分布叫做二項(xiàng)分布，含有兩個(gè)參f(x)=Cpxqnx，如果隨見變量x服從二項(xiàng)分布數(shù)乳召(徐卩)，記作X3.泊松(Possion)分布：設(shè)隨機(jī)變量X的可能值是一切非負(fù)整數(shù)，而概率函數(shù)是:其中九0為常數(shù)

4、，這種分布叫做泊松分布。泊松分布就含有一個(gè)參數(shù)九，記作P),如果隨機(jī)變量X服從泊松分布，則記作XP四、隨機(jī)變量的分布函數(shù)設(shè)x是任何實(shí)數(shù)，考慮隨機(jī)變量X取得的值不大于x的概率，即事件Xx的概率，記作F(x)=P(Xx),這個(gè)函數(shù)叫做隨機(jī)變量X的概率分布函數(shù)或者分布函數(shù)，注意區(qū)別于上面講到的概率函數(shù).如果已知隨機(jī)變量X的分布函數(shù)F(X),則隨見變量X落在半開區(qū)間,x2內(nèi)的概率:P(xiXx2)=F(x2)-F(xi)五、連續(xù)隨機(jī)變量的概率密度連續(xù)隨機(jī)變量的概率密度就是分布函數(shù)的導(dǎo)函數(shù)六、隨機(jī)變量的數(shù)學(xué)期望如果隨機(jī)變量X只能取得有限個(gè)值：而取得有限個(gè)值得概率分別是：pCQ型(動(dòng)衛(wèi)仏)則數(shù)學(xué)期望:E(

5、X)=+x2p(x2)+n=Fxnpxn)如果連續(xù)隨機(jī)變量x的概率密度為/（X），則連續(xù)隨機(jī)變量的數(shù)學(xué)期望:xf(x)dx一個(gè)常數(shù)的的數(shù)學(xué)期望等于這個(gè)常數(shù)本身。定理：兩個(gè)獨(dú)立隨機(jī)變量的乘積的數(shù)學(xué)期望等于它們數(shù)學(xué)期望的乘積。證明如下:對(duì)于離散隨機(jī)變量X與Y獨(dú)立：E（XY）=II可護(hù)。旳）iiij2_jXipx(xi)2_jyjpY(yjy=EQQEm對(duì)于連續(xù)隨機(jī)變量X與Y獨(dú)立:4-ooE(XY)=+ooy/r(y)妙oo4-coxyf(x,y)dxdy“一oooo+ooxyfxdxdy.co*cor+oo=Ixfx(尤)dxJoo=E(X)E(Yy七、方差與標(biāo)準(zhǔn)差隨機(jī)變量X的方差記作D(X)，定

6、義為:下面證明一個(gè)很有用的公式(會(huì)用到性質(zhì)：一個(gè)常數(shù)的的數(shù)學(xué)期望等于這個(gè)常數(shù)本身):D(X)=EX_E(X)2”=EX2一2XE(X)+(X)2.=E(X2-2EXEX)+EE(X)2).=E(X2)一2E(X)E(X)+E(X)巴=E(XE(X)F簡(jiǎn)而言之：隨機(jī)變量的方差等于變量平方的期望減去期望的平方.標(biāo)準(zhǔn)差就是方差的算術(shù)平方根。常數(shù)的方差為0.八、協(xié)方差與相關(guān)系數(shù)隨機(jī)變量X與隨機(jī)變量Y的協(xié)方差記作:進(jìn)一步推導(dǎo)可得:因?yàn)閮蓚€(gè)獨(dú)立隨機(jī)變量乘積的期望等于兩個(gè)隨機(jī)變量各自期望的乘積，于是當(dāng)兩個(gè)隨機(jī)變量獨(dú)立使，很容易得到它們的協(xié)方差為0.兩個(gè)隨機(jī)變量X與Y的相關(guān)系數(shù)為：兩個(gè)隨機(jī)變量的相關(guān)系數(shù)的絕對(duì)值不大于1.當(dāng)且僅當(dāng)隨機(jī)變量Y與X之間存在線性關(guān)系:時(shí)，相關(guān)系數(shù)R(X)的絕對(duì)值等于1,并且1bQ九、正態(tài)分布正態(tài)分布又叫高斯分布，設(shè)連續(xù)隨機(jī)變量X的概率密度fW1盂_肛=-=e_272j-oox0都是常數(shù)，這種分布就是正態(tài)分布正態(tài)分布含有兩個(gè)參數(shù)卩及00,其中U等于正態(tài)分布的數(shù)學(xué)期望，而o等于正態(tài)分布的N(ufcr2)N(u,cr2)標(biāo)準(zhǔn)差，通常把這種分布記作，隨機(jī)