機器學習中有關概率論知識的小結

1、機器學習中有關概率論知識的小結、引言最近寫了許多關于機器學習的學習筆記，里面經常涉及概率論的知識，這里對所有概率論知識做一個總結和復習，方便自己查閱，與廣大博友共享，所謂磨刀不誤砍柴工，希望博友們在這篇博文的幫助下，閱讀機器學習的相關文獻時能夠更加得心應手！這里只對本人覺得經常用到的概率論知識點做一次小結，主要是基本概念，因為機器學習中涉及概率論的地方，往往知道基本概念就不難理解，后面會不定期更新，希望博友們多留言補充。二、貝葉斯（Bayes）公式通常把事件A的概率P（A）叫做實驗前的假設概率，即先驗概率（priorprobability），如果有另一個事件B與事件A有某種關系，即事件A和B不

2、是互相獨立的，那么當事件B確實發(fā)生之后，則應當重新估計事件A的概率，即P（A|B）,這叫做條件概率或者試驗后的假設概率，即后驗概率（posteriorprobability）.公式一:再引入全概率公式：設事件A當前僅當互不相容的事件（即任意兩個事件不可能同時發(fā)生的）5（i=1,2,）.中的任意一個事件發(fā)生時才可能發(fā)生，已知事件Hi的概率卩（比）及事件A在乩已發(fā)生的條件下的條件概率，則事件A發(fā)生的概率為：ni=l這就是全概率公式.根據概率乘法定理:P(AB)=P(A)P(BA)二P(B)P(AR)我們可以得到:PP&訂（辭加|財P（民）玖4|艮）于是:再根據上面介紹的全概率公式，則可得到傳說中的

3、貝葉斯公式鞏5）吃|艮）這些公式定理幾乎貫穿整個機器學習，很基本，也很重要!三、常用的離散隨見變量分布i.“0T”分布：設隨機變量X只能取得兩個數值：0與1,而概率函數是:北二0，i；通常把這種分布叫做“0-1”分布或者兩點分布，卩是分布參數2.二項分布(binomialdistribution):設隨機變量X可能的的值是0,1,2,n,而概率函數是:其中0；和P,通常把這種分布記作R(弘卩)丄，這種分布叫做二項分布，含有兩個參f(x)=Cpxqnx，如果隨見變量x服從二項分布數乳召(徐卩)，記作X3.泊松(Possion)分布：設隨機變量X的可能值是一切非負整數，而概率函數是:其中九0為常數

4、，這種分布叫做泊松分布。泊松分布就含有一個參數九，記作P),如果隨機變量X服從泊松分布，則記作XP四、隨機變量的分布函數設x是任何實數，考慮隨機變量X取得的值不大于x的概率，即事件Xx的概率，記作F(x)=P(Xx),這個函數叫做隨機變量X的概率分布函數或者分布函數，注意區(qū)別于上面講到的概率函數.如果已知隨機變量X的分布函數F(X),則隨見變量X落在半開區(qū)間,x2內的概率:P(xiXx2)=F(x2)-F(xi)五、連續(xù)隨機變量的概率密度連續(xù)隨機變量的概率密度就是分布函數的導函數六、隨機變量的數學期望如果隨機變量X只能取得有限個值：而取得有限個值得概率分別是：pCQ型(動衛(wèi)仏)則數學期望:E(

5、X)=+x2p(x2)+n=Fxnpxn)如果連續(xù)隨機變量x的概率密度為/（X），則連續(xù)隨機變量的數學期望:xf(x)dx一個常數的的數學期望等于這個常數本身。定理：兩個獨立隨機變量的乘積的數學期望等于它們數學期望的乘積。證明如下:對于離散隨機變量X與Y獨立：E（XY）=II可護。旳）iiij2_jXipx(xi)2_jyjpY(yjy=EQQEm對于連續(xù)隨機變量X與Y獨立:4-ooE(XY)=+ooy/r(y)妙oo4-coxyf(x,y)dxdy“一oooo+ooxyfxdxdy.co*cor+oo=Ixfx(尤)dxJoo=E(X)E(Yy七、方差與標準差隨機變量X的方差記作D(X)，定

6、義為:下面證明一個很有用的公式(會用到性質：一個常數的的數學期望等于這個常數本身):D(X)=EX_E(X)2”=EX2一2XE(X)+(X)2.=E(X2-2EXEX)+EE(X)2).=E(X2)一2E(X)E(X)+E(X)巴=E(XE(X)F簡而言之：隨機變量的方差等于變量平方的期望減去期望的平方.標準差就是方差的算術平方根。常數的方差為0.八、協(xié)方差與相關系數隨機變量X與隨機變量Y的協(xié)方差記作:進一步推導可得:因為兩個獨立隨機變量乘積的期望等于兩個隨機變量各自期望的乘積，于是當兩個隨機變量獨立使，很容易得到它們的協(xié)方差為0.兩個隨機變量X與Y的相關系數為：兩個隨機變量的相關系數的絕對值不大于1.當且僅當隨機變量Y與X之間存在線性關系:時，相關系數R(X)的絕對值等于1,并且1bQ九、正態(tài)分布正態(tài)分布又叫高斯分布，設連續(xù)隨機變量X的概率密度fW1盂_肛=-=e_272j-oox0都是常數，這種分布就是正態(tài)分布正態(tài)分布含有兩個參數卩及00,其中U等于正態(tài)分布的數學期望，而o等于正態(tài)分布的N(ufcr2)N(u,cr2)標準差，通常把這種分布記作，隨機