最大可能性估計

1、關于最大可能性估計現(xiàn)在學習的是第一頁，共15頁n上節(jié)課內(nèi)容假定知道了先驗概率p(i)和類條件概率密度p(x|i)。n這節(jié)課介紹的內(nèi)容是：在知道類條件概率密度服從某種分布的前提下，估算該分布的參數(shù)。比如在知道類條件概率密度服從正態(tài)分布的前提下，估算正態(tài)分布的參數(shù)和。 現(xiàn)在學習的是第二頁，共15頁一一 基本原理基本原理n設：n有c個類別。n每一個類別有一些屬于這個類別的訓練樣例：D1,Dc。n第j個類別的參數(shù)向量(比如均值，方差)表示為j。n一個類別的參數(shù)向量只與屬于這個類別的訓練樣例有關，而與其它類別的訓練樣例無關。n問題：n怎么使用每個類別的訓練樣例Di來估算這個類別的參數(shù)向量i。現(xiàn)在學習的是

2、第三頁，共15頁n下面分別使用每個訓練樣例Di來估算這個類別的參數(shù)向量i。n每個類別的參數(shù)向量的求解方式都是一樣的。下面就忽略i?，F(xiàn)在學習的是第四頁，共15頁n設樣例集合D里面有n個訓練樣例，x1,xn。設這些樣例抽取的時候是獨立的，那么這么多樣例一起出現(xiàn)的概率可以寫成：nkkxpDp1)()(n因為目前這個類別的參數(shù)向量還沒有確定，所以在參數(shù)向量是的情況下，這些樣例一起出現(xiàn)的概率是： nkkxpDp1)|()|(現(xiàn)在學習的是第五頁，共15頁n使得p(D|)取最大值的值就是最合理的值。這就轉換成了一個求極值的問題。n求p(D|)的極值點，等價于求它的自然對數(shù)ln p(D|)的極值點，等價于對l

3、n p(D|)的梯度等于0的點： nkkxpDp1)|()|(現(xiàn)在學習的是第六頁，共15頁ngradf()，相當于使用的每個分量對f()求偏導，然后組合成一個向量。 0)|(ln0)|(ln0)|(ln0)|(ln111nkknkknkkxpgradxpgradxpgradDpgrad現(xiàn)在學習的是第七頁，共15頁二二 求正態(tài)分布的參數(shù)求正態(tài)分布的參數(shù)n假定知道當前類別中的樣例服從正態(tài)分布，但是不知道正態(tài)分布的參數(shù)。n單變量正態(tài)分布的概率密度函數(shù)：221exp21)(xxpn多變量正態(tài)分布的概率密度函數(shù)：)()(21exp|)2(1)(12/12/xxxptd現(xiàn)在學習的是第八頁，共15頁n前面求

4、最合理的值的公式： )()(21exp|)2(1)(12/12/xxxptd0)|(ln1nkkxpgradnp(xk|) 就是正態(tài)分布的概率密度函數(shù)。因此進行公式帶入：現(xiàn)在學習的是第九頁，共15頁nkknkknkktkdnkkxnxxxgradxpgrad111112/12/110)(0)()(21exp|)2(1ln0)|(ln)()(21exp|)2(1)(12/12/xxxptd現(xiàn)在學習的是第十頁，共15頁三三 求正態(tài)分布的參數(shù)求正態(tài)分布的參數(shù)和和n假定知道當前類別中的樣例服從正態(tài)分布，但是不知道正態(tài)分布的參數(shù)和?，F(xiàn)在學習的是第十一頁，共15頁單變量正態(tài)分布此時=(,2)221exp21)(xxpnkknkknkknkkxnxnxgradxpgrad1221121)(11021exp21ln0)|(ln現(xiàn)在學習的是第十二頁，共15頁多變量正態(tài)分布此時=(, ) )()(21exp|)2(1)(12/12/xxxptdnktkknkknkktkdnkkxxnxnxxgradxpgrad11112/12/1)(110)()(21exp|)2(1ln0)|(ln現(xiàn)在學習的是第十三頁，共15頁四四 偏差偏差n上面使用n個(有限個)樣本估算出來的方差經(jīng)常會有偏差，總是發(fā)現(xiàn)估算的值小了：nnnn1122n因此使用n個(有限個)樣本估算方差的時候