概率密度函數(shù)估計(jì)

1、3.2.1 3.2.1 最大似然估計(jì)最大似然估計(jì) 最大似然估計(jì)基于以下假設(shè)： 待估參數(shù)是確定的未知量 按類別把樣本分成c類X1，X2，X3， XC，其中第i類Xi的樣本共N個(gè) Xi =(x1,x2,，xN)T，并且是從概率密度為p(x|i)總體中獨(dú)立抽取的 Xi中的樣本不包含j(ij)的信息，所以可以對(duì)每一類樣本獨(dú)立進(jìn)行處理 條件概率密度p(x|i)具有確定的函數(shù)形式，其參數(shù)i未知，可以表示為p(x|i) 根據(jù)假定，可以只利用第i類訓(xùn)練樣本來估計(jì)第i類的概率密度函數(shù)的參數(shù)，設(shè)i =(1,2,，P)T 。似然函數(shù)似然函數(shù) 設(shè)第i類樣本集Xi的樣本共N個(gè) Xi =(x1,x2,，xN)T，是從概率

2、密度為p(x|i)總體中獨(dú)立抽取的，則聯(lián)合密度： 我們把N個(gè)隨機(jī)變量的聯(lián)合密度稱為似然函數(shù)l(i)NkikiNixpxxxpp121)|()|,.,()(|XNkikiNiixpxxxppl121)|()|,.,()()(|X求求i i的最大似然估計(jì)的最大似然估計(jì) 如果參數(shù)空間中的某個(gè) 能夠使l(i)極大化，則 即為i的最大似然估計(jì)量 如果i僅有一個(gè)分量（i為標(biāo)量），則i的最大似然估計(jì)量為下列方程的解： 有時(shí)為了計(jì)算方便，可對(duì)似然函數(shù)取對(duì)數(shù)：ii0)(iiddl0)(ln)(iiiidldddH 如果i =(1,2,，P)T ，則定義梯度算子 ： 對(duì)于對(duì)數(shù)似然函數(shù)H(i)=lnl(i)，下述方

3、程其中的一個(gè)解為i的最大似然估計(jì)：ipi.1NkikNkikixpxpHiii110)|(ln)|(ln)(對(duì)i求導(dǎo),并令它為0：有時(shí)上式是多解的, 上圖有5個(gè)解,只有一個(gè)解最大即. P(Xi/i)，即為的估值利用上式求出ii0)|(ln.11Nkikpxp0)|(ln.0)|(ln111ikNkpikNkxpxp 由上述方程組解得1=，2=的最大似然估計(jì)量： 結(jié)論： 正態(tài)總體均值的最大似然估計(jì)即為訓(xùn)練樣本的算術(shù)平均 協(xié)方差的最大似然估計(jì)是N個(gè)矩陣的算術(shù)平均 NkTkkNkkxxNxN1211) )(113.2.2 3.2.2 回憶：最小風(fēng)險(xiǎn)率貝葉斯決策回憶：最小風(fēng)險(xiǎn)率貝葉斯決策 設(shè)： 待識(shí)別

4、樣本： x =(x1,x2,，xd)T 類別狀態(tài)空間：=w1，w2，wC 決策空間：=a1, a2,，aa (ai,wj)表示樣本x為類別wj而采取決策ai所造成損失 則，樣本x采取決策ai造成的條件期望損失（條件風(fēng)險(xiǎn)）：)|(),()|(1xPaxaRjCjjii 對(duì)特征空間Ed中的任意樣本x采取決策ai造成的條件風(fēng)險(xiǎn)的期望： 使R最小的決策ak稱為最小風(fēng)險(xiǎn)貝葉斯決策 dddEjCjjiEjCjjiEidxxPadxxpxPadxxpxaRR),(),()()|(),()()|(11一一. .貝葉斯估計(jì)貝葉斯估計(jì) 定義：設(shè)第i類樣本集Xi的樣本共N個(gè) Xi =(x1,x2,，xN)T，是從概

5、率密度為p(x |i )總體中獨(dú)立抽取的，i為隨機(jī)量，其先驗(yàn)分布p(i)已知，試通過樣本集Xi估計(jì)i（找出估計(jì)量 ）使貝葉斯風(fēng)險(xiǎn)最小i與最大似然估計(jì)的區(qū)別與最大似然估計(jì)的區(qū)別 最大似然估計(jì)是把待估的參數(shù)看作固定的未知量 貝葉斯估計(jì)則是把待估的參數(shù)作為具有某種先驗(yàn)分布的隨機(jī)變量 通過對(duì)第i類學(xué)習(xí)樣本Xi的觀察，使概率密度分布P(Xi|)轉(zhuǎn)化為后驗(yàn)P(|Xi) ，再求貝葉斯估計(jì)參數(shù)估計(jì)的貝葉斯風(fēng)險(xiǎn)計(jì)算參數(shù)估計(jì)的貝葉斯風(fēng)險(xiǎn)計(jì)算 參照最小風(fēng)險(xiǎn)貝葉斯決策公式，參數(shù)估計(jì)的貝葉斯風(fēng)險(xiǎn)R： 根據(jù)貝葉斯公式： 為給定x條件下估計(jì)量的期望損失，即條件風(fēng)險(xiǎn)dEiiidxdxpR),(),(dxpxRdxxpxRdx

6、dxpxpdxdxpxpRiiiiEiEiiiEiiiddd)|(),()|()()|()|(),()()()|(),( 其中：貝葉斯估計(jì)的本質(zhì)貝葉斯估計(jì)的本質(zhì) 使條件風(fēng)險(xiǎn) 極小的估計(jì)量 一定使貝葉斯風(fēng)險(xiǎn)最小 如果i的估計(jì)量 使條件風(fēng)險(xiǎn) 最小，則稱 是關(guān)于i的貝葉斯估計(jì)量)|(xRii)|(xRiii二次損失函數(shù)下的貝葉斯估計(jì)量二次損失函數(shù)下的貝葉斯估計(jì)量 如果損失函數(shù)為二次函數(shù)： 則i的貝葉斯估計(jì)量 是給定x時(shí)的條件期望： 可以證明上式得到的i的貝葉斯估計(jì)量 可使條件風(fēng)險(xiǎn)最小2)()(iiiiiiiiidxpxE)|(|(ii貝葉斯估計(jì)步驟貝葉斯估計(jì)步驟 確定i的先驗(yàn)分布P(i),待估參數(shù)為

7、隨機(jī)變量。 用第i類Xi的樣本集 Xi =(x1, x2,，xN)T，求出樣本的聯(lián)合概率密度分布P(Xi|i)，它是i的函數(shù)。 利用貝葉斯公式,求i的后驗(yàn)概率 求貝葉斯估計(jì)量iiiiidxpxE)|(|(iiiiidPpPpP)()|()().|()|(iXXX二二. .貝葉斯學(xué)習(xí)貝葉斯學(xué)習(xí) 在貝葉斯估計(jì)中，當(dāng)求出的后驗(yàn)概率之后，直接去推導(dǎo)總體分布即 根據(jù)貝葉斯公式： 設(shè)用XN表示N個(gè)樣本的樣本集： XN =(x1,x2,，xN)T，有： dpxpdxpxp)|()|()|,()|(XXXdPpPpP)()|()().|()|(XXX)|()|()|(1N-NNpxppXX 綜合上述兩式得：

8、參數(shù)估計(jì)的遞推貝葉斯方法：設(shè)p()已知，利用上式，可以得到一個(gè)密度函數(shù)系列： p()，p(|x1)， p(|x1，x2)，。 如果此密度系列收斂于一個(gè)真實(shí)參數(shù)為中心的函數(shù)，此種性質(zhì)稱為貝葉斯學(xué)習(xí)dpxppxpPNN)|()|()|()|()|(1-N1-NNXXX3.3.13.3.1一維正態(tài)分布的最大似然估計(jì)一維正態(tài)分布的最大似然估計(jì) 設(shè)Xi =(x1,x2,，xN)T，為N個(gè)一維樣本，是從一維正態(tài)分布概率密度函數(shù)p(x|i)總體中獨(dú)立抽取的， i =(1,2)T ，1=，2=2則：i最大似然估計(jì)量 為下述方程的解)(21exp(21)|(2xxpiiNkikixpHii10)|(ln)(21

9、22)(21)2ln(21)|(lnkikxxp22212122)(21)(1)|(lnkkikxxxpiNkNkkNkkxx11222121120)(10)(1多維正態(tài)分布的最大似然估計(jì)多維正態(tài)分布的最大似然估計(jì) 設(shè)Xi =(x1,x2,，xN)T，為N個(gè)d維樣本，是從d維正態(tài)分布概率密度函數(shù)p(x|i)總體中獨(dú)立抽取的， i =(1,2)T ，1=，2=則：i最大似然估計(jì)量 為下述方程的解iNkikixpHii10)|(ln)()()(21exp|)2 (1)|(12/ 12/kTkdixxxp 由上述方程組解得1=，2=2的最大似然估計(jì)量：NkkNkkxNxN122211) (113.3

10、.23.3.2一維正態(tài)分布下的貝葉斯估計(jì)一維正態(tài)分布下的貝葉斯估計(jì) 設(shè)一維正態(tài)分布且總體方差已知（未知）： 總體分布密度p(x|)N(,2)的先驗(yàn)概率P()已知P()N(0,02) 樣本集 Xi =(x1,x2,，xN)T是取自N(,2)的樣本集 求：的貝葉斯估計(jì)量 在二次損失函數(shù)下: 利用貝葉斯公式，得：dp)|(XdPpaPxpadPpPpPNkk)()|(/ 1)()|()()|()().|()|(1XXXX其中： 由于：p(x|)N(,2)P()N(0,02) 所以21exp2121exp21)|(00221kNkxaPX 21exp10022NkkXa)1(2)1(21exp 200

11、122202NkkXNaP(|X)為正態(tài)分布： 比較上述2個(gè)公式，利用待定系數(shù)法，得：21exp21)|(2NNNPX0201222022111NkkNNNxN 解上式得： 代入估計(jì)量公式：02022120202NxNNkkN2022022NNNNNNddp221exp21)|(X 如果令P()為標(biāo)準(zhǔn)正態(tài)分布 P()N(0,02)=N(0,1) 則： 與最大似然估計(jì)相似，只是分母不同NkkNxN111一維正態(tài)分布下的貝葉斯學(xué)習(xí)一維正態(tài)分布下的貝葉斯學(xué)習(xí) 在貝葉斯估計(jì)中，當(dāng)求出的后驗(yàn)概率之后，直接去推導(dǎo)總體分布即 當(dāng)觀察一個(gè)樣本時(shí)，N=1就會(huì)有一個(gè)的估計(jì)值的修正值 當(dāng)觀察N=4時(shí)，對(duì)進(jìn)行修正，向

12、真正的靠近 當(dāng)觀察N=9時(shí)，對(duì)進(jìn)行修正，向真正的靠的更近 當(dāng)N,N就反映了觀察到N個(gè)樣本后對(duì)的最好推測，而N2反映了這種推測的不確定性 N,N2,N2 隨觀察樣本增加而單調(diào)減小，且當(dāng)N, N2 0 當(dāng)N，P(|xi)越來越尖峰突起N, P(|xi)函數(shù)，這個(gè)過程成為貝葉斯學(xué)習(xí)dpxpxp)|()|()|(XX類概率密度的估計(jì) 在求出u的后驗(yàn)概率P(|X)后，可以直接利用式推斷類條件概率密度。即P(x|X) P(x|i ，X)一維正態(tài)：已知2，未知的后驗(yàn)概率為服從正態(tài)分布21exp21)|(21exp21)|()|(22xxPxPxPNNNiidpxpxp)|()|()|(XXdxPxPdxPx

13、PxxPiii)|()|()|()|()|(代入dxNNN21exp2121exp2122dxxNNNNNNNN21exp21exp2122222222222221exp2122222NNNx為正態(tài)函數(shù)),(22NNN 結(jié)論： 把第i類的先驗(yàn)概率P(i)與第i類概率密度P(x|xi)相乘可以 得到第i類的后驗(yàn)概率P(i/x) ，根據(jù)后驗(yàn)概率可以分類。 對(duì)于正態(tài)分布P(x|xi)，用樣本估計(jì)出來的N代替原來 的 用 代替原來的方差 即可。 把估計(jì)值N作為的實(shí)際值，那么使方差由原來的 變 為 ,使方差增大。22N2222N參數(shù)估計(jì)的缺點(diǎn)參數(shù)估計(jì)的缺點(diǎn) 參數(shù)估計(jì)要求密度函數(shù)的形式已知，但這種假定有時(shí)

14、并不成立，我們不知道總體分布的函數(shù)形式 經(jīng)典的密度函數(shù)都是單峰的，而在許多實(shí)際情況中卻是多峰的，很難擬合實(shí)際的概率密度 上述2種情況下，將不能使用參數(shù)估計(jì)，因此用非參數(shù)估計(jì)3.43.4非參數(shù)估計(jì)非參數(shù)估計(jì) 直接用已知類別樣本去估計(jì)總體密度分布，方法有： 用樣本直接去估計(jì)類概率密度p(x/i)以此來設(shè)計(jì)分類器,如窗口估計(jì) 用學(xué)習(xí)樣本直接估計(jì)后驗(yàn)概率p(i/x)作為分類準(zhǔn)則來設(shè)計(jì)分類器，如k近鄰法.非參數(shù)估計(jì)原理非參數(shù)估計(jì)原理 設(shè)樣本x落入?yún)^(qū)域R的概率Pp(x)為x的總體概率密度函數(shù)，若從概率密度函數(shù)為p(x)的總體中獨(dú)立抽取N個(gè)樣本x1,x2,xN，其中k個(gè)樣本落入?yún)^(qū)域R的概率符合二項(xiàng)分布： 可

15、以證明，下式是P的一個(gè)較好的估計(jì)RdxxpP)(PpCPkNkkNk1NkP 設(shè)區(qū)域R足夠小，其體積為V， 為概率密度函數(shù)p(x)的估計(jì),p(x)連續(xù)且在R上無變化，則： 與樣本數(shù)N、區(qū)域R的體積V、落入V中的樣本數(shù)k有關(guān)，它是的一個(gè)空間平均估計(jì))( xpVNkxpNkVxpdxxpPR/)( )( )( )( xp 當(dāng)V固定的時(shí)候N增加, k也增加,當(dāng)N時(shí)，N，此時(shí)P=k/N1， 只反映了P(x)的空間平均估計(jì)，而反映不出空間的變化 N固定,體積變小，當(dāng)V0時(shí) k0時(shí)： k0時(shí)： 所以起伏比較大,噪聲比較大,需要對(duì)V進(jìn)行改進(jìn). VVNkxp1)( )( xp0)( VNkxpVNkxp)(

16、對(duì)體積對(duì)體積V V的改進(jìn)的改進(jìn) 為了估計(jì)x點(diǎn)的密度,我們構(gòu)造一串包括X的區(qū)域序列R1,R2,. RN，對(duì)R1采用一個(gè)樣本進(jìn)行估計(jì)，對(duì)R2采用二個(gè)樣本進(jìn)行估計(jì)。 設(shè)VN是RN的體積，KN是N個(gè)樣本落入VN的樣本數(shù)則密度的第N次估計(jì)：NNVk/N(x)p若若p pN N(x)(x)收斂于收斂于p(x)p(x)應(yīng)滿足三個(gè)條件：應(yīng)滿足三個(gè)條件： ，當(dāng)N時(shí)，VN，N，VN0 這時(shí)雖然樣本數(shù)多，但由于VN，落入VN內(nèi)的樣本KN 也減小，所以空間變化才反映出來 ，N ，kN ，N與KN同相變化 ，KN的變化遠(yuǎn)小于N的變化。 因此盡管在R內(nèi)落入了很多的樣本，但同總數(shù)N比較, 仍然是很小的一部分。0limVNN

17、KNNlim0limNKNN3.5 3.5 兩種非參數(shù)估計(jì)方法兩種非參數(shù)估計(jì)方法如何選擇VN滿足以上條件： Parzen窗口法：使體積VN以N的某個(gè)函數(shù)減小， (h為常數(shù)) KN近鄰法：使KN作為N的某個(gè)函數(shù)，例 VN的選擇使RN正好包含KN個(gè)近鄰 NhVNNkKNParzenParzen窗口估計(jì)窗口估計(jì)假設(shè)RN為一個(gè)d維的超立方體，hN為超立方體的長度超立方體體積為： ， d=1，窗口為一線段 d=2，窗口為一平面 d=3，窗口為一立方體 d3，窗口為一超立方體窗口的選擇： hVdNN其他.021| , 1)(uu|exp)(uu 方窗函數(shù)指數(shù)窗函數(shù)21exp21)(2uu正態(tài)窗函數(shù)(u)

18、(u)(u)hN 正態(tài)窗函數(shù) (u) 是以原點(diǎn)x為中心的超立方體。在xi落入方窗時(shí)，則有 在VN內(nèi)為1 不在VN內(nèi)為0落入VN的樣本數(shù)為所有為1者之和 密度估計(jì)22hxxhxxNiNi1212|hhhxxNNNiNiNiNhxxK1)|(NiNiNNNNhxxVNVNKxP1)|(11)(討論： 每個(gè)樣本對(duì)估計(jì)所起的作用依賴于它到x的距離，即 | x-xi|hN/2時(shí)， xi在VN內(nèi)為1，否則為0。 稱為 的窗函數(shù)，取0，1兩種值，但有 時(shí)可以取0, 0.1, 0.2多種數(shù)值，例如隨xi離x接近的程 度， 取值由0, 0.1, 0.2到1。)|(hxxNihxxNi|)|(hxxNi 要求估計(jì)

19、的PN(x)應(yīng)滿足：為滿足這兩個(gè)條件，要求窗函數(shù)滿足： 窗長度hN對(duì)PN(x)的影響若hN太大, PN(x)是P(x)的一個(gè)平坦, 分辨率低的估計(jì), 有平均誤差若hN太小, PN(x)是P(x)的一個(gè)不穩(wěn)定的起伏大的估計(jì),有噪聲誤差為了使這些誤差不嚴(yán)重， hN應(yīng)很好選擇1)(0)(dxxPxPNN1)|()|(0)|(hxxdhxxhxxNiNiNi例1：對(duì)于一個(gè)二類（ 1 ，2 ）識(shí)別問題，隨機(jī)抽取1類的6個(gè)樣本X=(x1，x2，. x6)1=(x1，x2，. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估計(jì)P(x|1)即PN(x)解：選正態(tài)窗函數(shù)

20、)21exp(21)(2uu)|(21exp21)|()(2hxxhxxuNiNi0123456x6x5x3x1x2x4xx是一維的上式用圖形表示是6個(gè)分別以3.2，3.6，3，6，2.5，1.1為中心的丘形曲線(正態(tài)曲線)，而PN(x)則是這些曲線之和。5 . 0665 . 0VN665 . 0h,NhhV11NNN，其中選)5 . 0| 1 . 1|(21exp(134. 0.)5 . 0|2 . 3|(21exp(134. 0)|(11)(1xxhxxVNxpNiNiNN由圖看出，每個(gè)樣本對(duì)估計(jì)的貢獻(xiàn)與樣本間的距離有關(guān)，樣本越多， PN(x)越準(zhǔn)確。例2：設(shè)待估計(jì)的P(x)是個(gè)均值為0，

21、方差為1的一維正態(tài)密度函數(shù)。若隨機(jī)地抽取X樣本中的1個(gè)、 16個(gè)、 256個(gè)作為學(xué)習(xí)樣本xi,試用窗口法估計(jì)PN(x)。解：設(shè)窗口函數(shù)為正態(tài)的， 1，0hN:窗長度，N為樣本數(shù)，h1為選定可調(diào)節(jié)的參數(shù)。)|(21exp21)|(2hxxhxxNiNiNhh1N設(shè)NiiNiNiNhNxxNhhxxhNNxP112111|21exp211)|(1)(v用 窗法估計(jì)單一正態(tài)分布的實(shí)驗(yàn)Parzen001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256

22、N=16N=1討論：由圖看出, PN(x)隨N, h1的變化情況 當(dāng)N1時(shí)， PN(x)是一個(gè)以第一個(gè)樣本為中心的正態(tài)形狀的小丘，與窗函數(shù)差不多。 當(dāng)N16及N=256時(shí) h10.25 曲線起伏很大，噪聲大 h11 起伏減小 h14 曲線平坦，平均誤差 當(dāng)N時(shí)， PN(x)收斂于一平滑的正態(tài)曲線， 估計(jì)曲線較好。關(guān)于關(guān)于ParzenParzen窗口法的結(jié)論窗口法的結(jié)論結(jié)論： 由上例知窗口法的優(yōu)點(diǎn)是應(yīng)用的普遍性。對(duì)規(guī)則分布，非規(guī)則分布，單鋒或多峰分布都可用此法進(jìn)行密度估計(jì)。 要求樣本足夠多，才能有較好的估計(jì)。因此使計(jì)算量，存儲(chǔ)量增大。 在窗口法中存在一個(gè)問題是對(duì)hN的選擇問題。若hN選太小，則大部分體積將是空的（即不包含樣本），從而使PN(x)估計(jì)不穩(wěn)定。若hN選太大，則PN(x)估計(jì)較平坦，反映不出總體分布的變化k kN N- -近鄰估計(jì)近鄰估計(jì) KN近鄰法的思想是以x為中心建立空胞，使v，直到捕捉到KN個(gè)樣本為止，稱KN-近鄰估計(jì) v的改進(jìn)，樣本密度大，VN ; 樣本密度小，VN ; P(x)的估計(jì)為：NkN取,VNk(x)PNNN使使P PN N