參數(shù)估計與非參數(shù)估計課件

第五章參數(shù)估計與非參數(shù)估計參數(shù)估計與監(jiān)督學(xué)習(xí)

參數(shù)估計理論非參數(shù)估計理論

第五章參數(shù)估計與非參數(shù)估計參數(shù)估計與監(jiān)督學(xué)習(xí)1§5-1參數(shù)估計與監(jiān)督學(xué)習(xí)貝葉斯分類器中只要知道先驗概率，條件概率或后驗概概率P(ωi),P(x/ωi),P(ωi/x)就可以設(shè)計分類器了。現(xiàn)在來研究如何用已知訓(xùn)練樣本的信息去估計P(ωi),P(x/ωi),P(ωi/x)一．參數(shù)估計與非參數(shù)估計參數(shù)估計：先假定研究的問題具有某種數(shù)學(xué)模型，如正態(tài)分布，二項分布，再用已知類別的學(xué)習(xí)樣本估計里面的參數(shù)。非參數(shù)估計：不假定數(shù)學(xué)模型，直接用已知類別的學(xué)習(xí)樣本的先驗知識直接估計數(shù)學(xué)模型?！?-1參數(shù)估計與監(jiān)督學(xué)習(xí)2二．監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)：在已知類別樣本指導(dǎo)下的學(xué)習(xí)和訓(xùn)練，參數(shù)估計和非參數(shù)估計都屬于監(jiān)督學(xué)習(xí)。無監(jiān)督學(xué)習(xí)：不知道樣本類別，只知道樣本的某些信息去估計，如：聚類分析。二．監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)3§5-2參數(shù)估計理論

一．最大似然估計假定：①待估參數(shù)θ是確定的未知量②按類別把樣本分成M類X1，X2，X3，…XM其中第i類的樣本共N個Xi=(X1,X2,…XN)T并且是獨立從總體中抽取的③Xi中的樣本不包含(i≠j)的信息，所以可以對每一類樣本獨立進行處理。④第i類的待估參數(shù)根據(jù)以上四條假定，我們下邊就可以只利用第i類學(xué)習(xí)樣本來估計第i類的概率密度，其它類的概率密度由其它類的學(xué)習(xí)樣本來估計?！?-2參數(shù)估計理論41.一般原則：第i類樣本的類條件概率密度：P(Xi/ωi)=P(Xi/ωi﹒θi)=P(Xi/θi)原屬于i類的學(xué)習(xí)樣本為Xi=(X1,X2,…XN,)T

i=1,2,…M求θi的最大似然估計就是把P(Xi/θi)看成θi的函數(shù)，求出使它最大時的θi值?！邔W(xué)習(xí)樣本獨立從總體樣本集中抽取的∴

N個學(xué)習(xí)樣本出現(xiàn)概率的乘積取對數(shù)：1.一般原則：5對θi求導(dǎo),并令它為0：有時上式是多解的,上圖有5個解,只有一個解最大即.P(Xi/θi)對θi求導(dǎo),并令它為0：P(Xi/θi)62.多維正態(tài)分布情況①∑已知,μ未知,估計μ

服從正態(tài)分布所以在正態(tài)分布時代入上式得2.多維正態(tài)分布情況代入上式得7所以這說明未知均值的最大似然估計正好是訓(xùn)練樣本的算術(shù)平均。參數(shù)估計與非參數(shù)估計課件8②∑，μ均未知A.一維情況：n=1對于每個學(xué)習(xí)樣本只有一個特征的簡單情況：

(n=1)由上式得

即學(xué)習(xí)樣本的算術(shù)平均

樣本方差②∑，μ均未知9討論：1.正態(tài)總體均值的最大似然估計即為學(xué)習(xí)樣本的算術(shù)平均2.正態(tài)總體方差的最大似然估計與樣本的方差不同，當(dāng)N較大的時候，二者的差別不大。B．多維情況：n個特征（學(xué)生可以自行推出下式）估計值：結(jié)論：①μ的估計即為學(xué)習(xí)樣本的算術(shù)平均

②估計的協(xié)方差矩陣是矩陣的算術(shù)平均（nⅹn陣列，nⅹn個值）討論：10二.貝葉斯估計最大似然估計是把待估的參數(shù)看作固定的未知量，而貝葉斯估計則是把待估的參數(shù)作為具有某種先驗分布的隨機變量，通過對第i類學(xué)習(xí)樣本Xi的觀察，使概率密度分布P(Xi/θ)轉(zhuǎn)化為后驗概率P(θ/Xi)，再求貝葉斯估計。估計步驟:①

確定θ的先驗分布P(θ),待估參數(shù)為隨機變量。②用第i類樣本xi=(x1,x2,….xN)T求出樣本的聯(lián)合概率密度分布P(xi|θ)，它是θ的函數(shù)。③

利用貝葉斯公式,求θ的后驗概率

④二.貝葉斯估計11下面以正態(tài)分布的均值估計為例說明貝葉斯估計的過程一維正態(tài)分布:已知σ2,估計μ

假設(shè)概率密度服從正態(tài)分布P(X|μ)=N(μ,σ2),P(μ)=N(μ0,σ02)第i類學(xué)習(xí)樣本xi=(x1,x2,….xN)T,i=1,2,…M第i類概率密度P(x|μi,xi)=P(x|xi)

所以后驗概率(貝葉斯公式)下面以正態(tài)分布的均值估計為例說明貝葉斯估計的過程12因為N個樣本是獨立抽取的，所以上式可以寫成

其中

為比例因子,只與x有關(guān),與μ無關(guān)∵P(Xk|μ)=N(μ,σ2),P(u)=N(μ0,σ02)

其中a’,a’’包含了所有與μ無關(guān)的因子因為N個樣本是獨立抽取的，所以上式可以寫成13∴P(μ|xi)是u的二次函數(shù)的指數(shù)函數(shù)∴P(μ|xi)仍然是一個正態(tài)函數(shù),P(μ|Xi)=N(μN,σN2)另外后驗概率可以直接寫成正態(tài)形式：比較以上兩個式子,對應(yīng)的系數(shù)應(yīng)該相等∴

∴P(μ|xi)是u的二次函數(shù)的指數(shù)函數(shù)14解以上兩式得將μN,σN2代入P(μ|Xi)可以得到后驗概率，再用公式

解以上兩式得15

∴對μ的估計為若令P(μ)=N(μ0,σ02)=N(0,1)

與最大似然估計相似，只是分母不同∵

∵16三．貝葉斯學(xué)習(xí)1.貝葉斯學(xué)習(xí)的概念：求出μ的后驗概率之后，直接去推導(dǎo)總體分布即當(dāng)觀察一個樣本時，N=1就會有一個μ的估計值的修正值當(dāng)觀察N=4時，對μ進行修正，向真正的μ靠近當(dāng)觀察N=9時，對μ進行修正，向真正的μ靠的更近當(dāng)N↑,μN就反映了觀察到N個樣本后對μ的最好推測，而σN2反映了這種推測的不確定性,N↑,σN2↓,σN2隨觀察樣本增加而單調(diào)減小，且當(dāng)N→∞,σN2→0

當(dāng)N↑，P(μ|xi)越來越尖峰突起N→∞,P(μ|xi)→σ函數(shù)，這個過程成為貝葉斯學(xué)習(xí)。三．貝葉斯學(xué)習(xí)17參數(shù)估計與非參數(shù)估計課件182．類概率密度的估計

在求出u的后驗概率P(μ|xi)后，可以直接利用式推斷類條件概率密度。即P(x|xi)＝P(x|ωi，xi)⑴一維正態(tài)：已知σ2，μ未知∵μ的后驗概率為2．類概率密度的估計19參數(shù)估計與非參數(shù)估計課件20結(jié)論：①把第i類的先驗概率P(ωi)與第i類概率密度P(x|xi)相乘可以得到第i類的后驗概率P(ωi/x)，根據(jù)后驗概率可以分類。②對于正態(tài)分布P(x|xi)，用樣本估計出來的μN代替原來的μ用代替原來的方差即可。③把估計值μN作為μ的實際值，那么使方差由原來的變?yōu)?使方差增大結(jié)論：21⑵多維正態(tài)（已知Σ，估計μ

）設(shè)P(x|μ)=N(μ,∑)P(μ)=N(μ0,∑0).根據(jù)Bayes公式，仿上面步驟可以得到：ΣN,μN

有以下關(guān)系其中a與μ無關(guān)⑵多維正態(tài)（已知Σ，估計μ）其中a與μ無關(guān)22這就是在多維情況下，對μ的估計參數(shù)估計與非參數(shù)估計課件23§5-3非參數(shù)估計參數(shù)估計要求密度函數(shù)的形式已知，但這種假定有時并不成立，常見的一些函數(shù)形式很難擬合實際的概率密度，經(jīng)典的密度函數(shù)都是單峰的，而在許多實際情況中卻是多峰的，因此用非參數(shù)估計。非參數(shù)估計:直接用已知類別樣本去估計總體密度分布，方法有：①

用樣本直接去估計類概率密度p(x/ωi)以此來設(shè)計分類器,如窗口估計②

用學(xué)習(xí)樣本直接估計后驗概率p(ωi/x)作為分類準則來設(shè)計分類器如k近鄰法.1.

密度估計:一個隨機變量X落在區(qū)域R的概率為P

P(X’)為P(X)在R內(nèi)的變化值,P(X)就是要求的總體概率密度

RP(x)§5-3非參數(shù)估計RP(x)24假設(shè)有N個樣本X=(X1,X2,…XN)T都是按照P(X)從總體中獨立抽取的若N個樣本中有k個落入在R內(nèi)的概率符合二項分布

其中P是樣本X落入R內(nèi)的概率Pk是k個樣本落入R內(nèi)的概率數(shù)學(xué)期望:E(k)=k=NP

∴對概率P的估計:。是P的一個比較好的估計

設(shè)P(x’)在R內(nèi)連續(xù)變化,當(dāng)R逐漸減小的時候,小到使P(x)在其上幾乎沒有變化時，則

其中是R包圍的體積

假設(shè)有N個樣本X=(X1,X2,…XN)T都是按25∴

∴條件密度的估計：(V足夠小)討論:①當(dāng)V固定的時候N增加,k也增加,當(dāng)時

只反映了P(x)的空間平均估計而反映不出空間的變化②N固定,體積變小當(dāng)時,k=0時

時

所以起伏比較大,噪聲比較大,需要對V進行改進.∴26對體積V進行改進：為了估計X點的密度,我們構(gòu)造一串包括X的區(qū)域序列R1,R2,..RN.對R1采用一個樣本進行估計，對R2采用二個樣本進行估計..。設(shè)VN是RN的體積，KN是N個樣本落入VN的樣本數(shù)則密度的第N次估計：VN是RN的體積

KN是N個樣本落入VN的樣本數(shù)∴PN(x)是P(x)的第N次估計對體積V進行改進：27若PN(x)收斂于P(x)應(yīng)滿足三個條件：①，當(dāng)N↑時，VN↓，N→∞，VN→0

這時雖然樣本數(shù)多，但由于VN↓，落入VN內(nèi)的樣本KN

也減小，所以空間變化才反映出來

②，N↑，kN↑，N與KN同相變化

③，KN的變化遠小于N的變化。因此盡管在R內(nèi)落入了很多的樣本，但同總數(shù)N比較,仍然是很小的一部分。若PN(x)收斂于P(x)應(yīng)滿足三個條件：28如何選擇VN滿足以上條件：①使體積VN以N的某個函數(shù)減小，如

(h為常數(shù))②使KN作為N的某個函數(shù)，例VN的選擇使RN正好包含KN個近鄰

V1→K1，V2→K2，..VR→KR→Kn近鄰法窗口法如何選擇VN滿足以上條件：窗口法292.Parzen窗口估計假設(shè)RN為一個d維的超立方體，hN為超立方體的長度∴超立方體體積為：，d=1，窗口為一線段d=2，窗口為一平面d=3，窗口為一立方體d>3，窗口為一超立方體窗口的選擇：方窗函數(shù)指數(shù)窗函數(shù)正態(tài)窗函數(shù)Φ(u)Φ(u)Φ(u)hN

正態(tài)窗函數(shù)2.Parzen窗口估計方窗函數(shù)指數(shù)窗函數(shù)正態(tài)窗函數(shù)Φ(u30∵

ф(u)是以原點x為中心的超立方體。∴在xi落入方窗時，則有在VN內(nèi)為1

不在VN內(nèi)為0落入VN的樣本數(shù)為所有為1者之和∴密度估計∵ф(u)是以原點x為中心的超立方體。31討論：①每個樣本對估計所起的作用依賴于它到x的距離，即|x-xi|≤hN/2時，xi在VN內(nèi)為1，否則為0。

②稱為的窗函數(shù)，取0，1兩種值，但有

時可以取0,0.1,0.2……多種數(shù)值，例如隨xi離x接近的程度，取值由0,0.1,0.2……到1。討論：32③要求估計的PN(x)應(yīng)滿足：為滿足這兩個條件，要求窗函數(shù)滿足：④窗長度hN對PN(x)的影響若hN太大,PN(x)是P(x)的一個平坦,分辨率低的估計,有平均誤差若hN太小,PN(x)是P(x)的一個不穩(wěn)定的起伏大的估計,有噪聲誤差為了使這些誤差不嚴重，hN應(yīng)很好選擇③要求估計的PN(x)應(yīng)滿足：33例1：對于一個二類（ω1，ω2）識別問題，隨機抽取ω1類的6個樣本X=(x1，x2，….x6)ω1=(x1，x2，….x6)=(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估計P(x|ω1)即PN(x)解：選正態(tài)窗函數(shù)0123456x6x5x3x1x2x4x例1：對于一個二類（ω1，ω2）識別問題，隨機抽取ω134∵x是一維的上式用圖形表示是6個分別以3.2，3.6，3，6，2.5，1.1為中心的丘形曲線(正態(tài)曲線)，而PN(x)則是這些曲線之和。∵x是一維的35由圖看出，每個樣本對估計的貢獻與樣本間的距離有關(guān)，樣本越多，PN(x)越準確。由圖看出，每個樣本對估計的貢獻與樣本間36例2：設(shè)待估計的P(x)是個均值為0，方差為1的正態(tài)密度函數(shù)。若隨機地抽取X樣本中的1個、16個、256個作為學(xué)習(xí)樣本xi,試用窗口法估計PN(x)。解：設(shè)窗口函數(shù)為正態(tài)的，σ＝1，μ＝0hN:窗長度，N為樣本數(shù)，h1為選定可調(diào)節(jié)的參數(shù)。例2：設(shè)待估計的P(x)是個均值為0，方差為1的正態(tài)密度37用窗法估計單一正態(tài)分布的實驗N=∞N=256N=16N=1用窗法估計單一正態(tài)分布的實驗N=∞N=256N=138討論：由圖看出,PN(x)隨N,h1的變化情況①當(dāng)N＝1時，PN(x)是一個以第一個樣本為中心的正態(tài)形狀的小丘，與窗函數(shù)差不多。②當(dāng)N＝16及N=256時h1＝0.25曲線起伏很大，噪聲大h1＝1起伏減小h1＝4曲線平坦，平均誤差

③當(dāng)N→∞時，PN(x)收斂于一平滑的正態(tài)曲線，估計曲線較好。討論：由圖看出,PN(x)隨N,h1的變化情況39例3。待估的密度函數(shù)為二項分布解：此為多峰情況的估計設(shè)窗函數(shù)為正態(tài)解：此為多峰情況的估計設(shè)窗函數(shù)為正態(tài)x-2.5-210.2502P(x)-0.25<x<-20<x<2x為其它例3。待估的密度函數(shù)為二項分布x-2.5-210.2502P40N=∞N=256N=16N=1用窗法估計兩個均勻分布的實驗N=∞N=256N=16N=1用窗法估計兩個均勻分41當(dāng)N=1、16、256、∞時的PN(x)估計如圖所示①當(dāng)N＝1時，PN(x)實際是窗函數(shù)。②當(dāng)N＝16及N=256時h1＝0.25曲線起伏大h1＝1曲線起伏減小h1＝4曲線平坦

③當(dāng)N→∞時，曲線較好。當(dāng)N=1、16、256、∞時的PN(x)估計如圖所示42結(jié)論：

①由上例知窗口法的優(yōu)點是應(yīng)用的普遍性。對規(guī)則分布，非規(guī)則分布，單鋒或多峰分布都可用此法進行密度估計。②要求樣本足夠多，才能有較好的估計。因此使計算量，存儲量增大。結(jié)論：433.KN近鄰估計：在窗口法中存在一個問題是對hN的選擇問題。若hN選太小，則大部分體積將是空的（即不包含樣本），從而使PN(x)估計不穩(wěn)定。若hN選太大，則PN(x)估計較平坦，反映不出總體分布的變化，而KN近鄰法的思想是以x為中心建立空胞，使v↑，直到捕捉到KN個樣本為止?！喾QKN-近鄰估計

v的改進，樣本密度大，VN↓;樣本密度小，VN↑;

∴P(x)的估計為：3.KN近鄰估計：在窗口法中存在一個問題是對hN的選擇問題。44使PN(x)收斂于P(x)的充分必要條件：①，N與KN同相變化②，KN的變化遠小于N的變化

③

V1為N=1時的VN值使PN(x)收斂于P(x)的充分必要條件：V1為N=1時的V45∴KN近鄰估計對KN和VN都作了限制KN近鄰法作后驗概率的估計由KN近鄰估計知N個已知類別樣本落入VN內(nèi)為KN個樣本的概率密度估計為：

N個樣本落入VN內(nèi)有KN個，KN個樣本內(nèi)有Ki個樣本屬于ωi類則聯(lián)合概率密度：

參數(shù)估計與非參數(shù)估計課件46根據(jù)Bayes公式可求出后驗概率：類別為ωi的后驗概率就是落在VN內(nèi)屬于ωi的樣本ki與VN內(nèi)總樣本數(shù)KN的比值∴

∵根據(jù)Bayes公式可求出后驗概率：∴∵47K近鄰分類準則：對于待分樣本x，找出它的k個近鄰，檢查它的類別，把x歸于樣本最多的那個類別。K近鄰分類的錯誤率隨K↑，Pk↓,最低的錯誤率為Bayes分類。P*PK

P*PK484、最近鄰分類準則：待分樣本x，找一個離它最近的樣本，把x歸于最近的樣本一類。錯誤率：M為類別數(shù)P(e)為Bayes估計的錯誤率最近鄰分類法則的錯誤率P比K近鄰錯誤率還大，但最大不會超過貝葉斯分類器錯誤率的二倍。

PP(e)BayesK近鄰最近鄰4、最近鄰分類準則：待分樣本x，找一個離它最近的樣本，PP(49第五章參數(shù)估計與非參數(shù)估計參數(shù)估計與監(jiān)督學(xué)習(xí)

參數(shù)估計理論非參數(shù)估計理論

第五章參數(shù)估計與非參數(shù)估計參數(shù)估計與監(jiān)督學(xué)習(xí)50§5-1參數(shù)估計與監(jiān)督學(xué)習(xí)貝葉斯分類器中只要知道先驗概率，條件概率或后驗概概率P(ωi),P(x/ωi),P(ωi/x)就可以設(shè)計分類器了?，F(xiàn)在來研究如何用已知訓(xùn)練樣本的信息去估計P(ωi),P(x/ωi),P(ωi/x)一．參數(shù)估計與非參數(shù)估計參數(shù)估計：先假定研究的問題具有某種數(shù)學(xué)模型，如正態(tài)分布，二項分布，再用已知類別的學(xué)習(xí)樣本估計里面的參數(shù)。非參數(shù)估計：不假定數(shù)學(xué)模型，直接用已知類別的學(xué)習(xí)樣本的先驗知識直接估計數(shù)學(xué)模型?！?-1參數(shù)估計與監(jiān)督學(xué)習(xí)51二．監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)：在已知類別樣本指導(dǎo)下的學(xué)習(xí)和訓(xùn)練，參數(shù)估計和非參數(shù)估計都屬于監(jiān)督學(xué)習(xí)。無監(jiān)督學(xué)習(xí)：不知道樣本類別，只知道樣本的某些信息去估計，如：聚類分析。二．監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)52§5-2參數(shù)估計理論

一．最大似然估計假定：①待估參數(shù)θ是確定的未知量②按類別把樣本分成M類X1，X2，X3，…XM其中第i類的樣本共N個Xi=(X1,X2,…XN)T并且是獨立從總體中抽取的③Xi中的樣本不包含(i≠j)的信息，所以可以對每一類樣本獨立進行處理。④第i類的待估參數(shù)根據(jù)以上四條假定，我們下邊就可以只利用第i類學(xué)習(xí)樣本來估計第i類的概率密度，其它類的概率密度由其它類的學(xué)習(xí)樣本來估計?！?-2參數(shù)估計理論531.一般原則：第i類樣本的類條件概率密度：P(Xi/ωi)=P(Xi/ωi﹒θi)=P(Xi/θi)原屬于i類的學(xué)習(xí)樣本為Xi=(X1,X2,…XN,)T

i=1,2,…M求θi的最大似然估計就是把P(Xi/θi)看成θi的函數(shù)，求出使它最大時的θi值。∵學(xué)習(xí)樣本獨立從總體樣本集中抽取的∴

N個學(xué)習(xí)樣本出現(xiàn)概率的乘積取對數(shù)：1.一般原則：54對θi求導(dǎo),并令它為0：有時上式是多解的,上圖有5個解,只有一個解最大即.P(Xi/θi)對θi求導(dǎo),并令它為0：P(Xi/θi)552.多維正態(tài)分布情況①∑已知,μ未知,估計μ

服從正態(tài)分布所以在正態(tài)分布時代入上式得2.多維正態(tài)分布情況代入上式得56所以這說明未知均值的最大似然估計正好是訓(xùn)練樣本的算術(shù)平均。參數(shù)估計與非參數(shù)估計課件57②∑，μ均未知A.一維情況：n=1對于每個學(xué)習(xí)樣本只有一個特征的簡單情況：

(n=1)由上式得

即學(xué)習(xí)樣本的算術(shù)平均

樣本方差②∑，μ均未知58討論：1.正態(tài)總體均值的最大似然估計即為學(xué)習(xí)樣本的算術(shù)平均2.正態(tài)總體方差的最大似然估計與樣本的方差不同，當(dāng)N較大的時候，二者的差別不大。B．多維情況：n個特征（學(xué)生可以自行推出下式）估計值：結(jié)論：①μ的估計即為學(xué)習(xí)樣本的算術(shù)平均

②估計的協(xié)方差矩陣是矩陣的算術(shù)平均（nⅹn陣列，nⅹn個值）討論：59二.貝葉斯估計最大似然估計是把待估的參數(shù)看作固定的未知量，而貝葉斯估計則是把待估的參數(shù)作為具有某種先驗分布的隨機變量，通過對第i類學(xué)習(xí)樣本Xi的觀察，使概率密度分布P(Xi/θ)轉(zhuǎn)化為后驗概率P(θ/Xi)，再求貝葉斯估計。估計步驟:①

確定θ的先驗分布P(θ),待估參數(shù)為隨機變量。②用第i類樣本xi=(x1,x2,….xN)T求出樣本的聯(lián)合概率密度分布P(xi|θ)，它是θ的函數(shù)。③

利用貝葉斯公式,求θ的后驗概率

④二.貝葉斯估計60下面以正態(tài)分布的均值估計為例說明貝葉斯估計的過程一維正態(tài)分布:已知σ2,估計μ

假設(shè)概率密度服從正態(tài)分布P(X|μ)=N(μ,σ2),P(μ)=N(μ0,σ02)第i類學(xué)習(xí)樣本xi=(x1,x2,….xN)T,i=1,2,…M第i類概率密度P(x|μi,xi)=P(x|xi)

所以后驗概率(貝葉斯公式)下面以正態(tài)分布的均值估計為例說明貝葉斯估計的過程61因為N個樣本是獨立抽取的，所以上式可以寫成

其中

為比例因子,只與x有關(guān),與μ無關(guān)∵P(Xk|μ)=N(μ,σ2),P(u)=N(μ0,σ02)

其中a’,a’’包含了所有與μ無關(guān)的因子因為N個樣本是獨立抽取的，所以上式可以寫成62∴P(μ|xi)是u的二次函數(shù)的指數(shù)函數(shù)∴P(μ|xi)仍然是一個正態(tài)函數(shù),P(μ|Xi)=N(μN,σN2)另外后驗概率可以直接寫成正態(tài)形式：比較以上兩個式子,對應(yīng)的系數(shù)應(yīng)該相等∴

∴P(μ|xi)是u的二次函數(shù)的指數(shù)函數(shù)63解以上兩式得將μN,σN2代入P(μ|Xi)可以得到后驗概率，再用公式

解以上兩式得64

∴對μ的估計為若令P(μ)=N(μ0,σ02)=N(0,1)

與最大似然估計相似，只是分母不同∵

∵65三．貝葉斯學(xué)習(xí)1.貝葉斯學(xué)習(xí)的概念：求出μ的后驗概率之后，直接去推導(dǎo)總體分布即當(dāng)觀察一個樣本時，N=1就會有一個μ的估計值的修正值當(dāng)觀察N=4時，對μ進行修正，向真正的μ靠近當(dāng)觀察N=9時，對μ進行修正，向真正的μ靠的更近當(dāng)N↑,μN就反映了觀察到N個樣本后對μ的最好推測，而σN2反映了這種推測的不確定性,N↑,σN2↓,σN2隨觀察樣本增加而單調(diào)減小，且當(dāng)N→∞,σN2→0

當(dāng)N↑，P(μ|xi)越來越尖峰突起N→∞,P(μ|xi)→σ函數(shù)，這個過程成為貝葉斯學(xué)習(xí)。三．貝葉斯學(xué)習(xí)66參數(shù)估計與非參數(shù)估計課件672．類概率密度的估計

在求出u的后驗概率P(μ|xi)后，可以直接利用式推斷類條件概率密度。即P(x|xi)＝P(x|ωi，xi)⑴一維正態(tài)：已知σ2，μ未知∵μ的后驗概率為2．類概率密度的估計68參數(shù)估計與非參數(shù)估計課件69結(jié)論：①把第i類的先驗概率P(ωi)與第i類概率密度P(x|xi)相乘可以得到第i類的后驗概率P(ωi/x)，根據(jù)后驗概率可以分類。②對于正態(tài)分布P(x|xi)，用樣本估計出來的μN代替原來的μ用代替原來的方差即可。③把估計值μN作為μ的實際值，那么使方差由原來的變?yōu)?使方差增大結(jié)論：70⑵多維正態(tài)（已知Σ，估計μ

）設(shè)P(x|μ)=N(μ,∑)P(μ)=N(μ0,∑0).根據(jù)Bayes公式，仿上面步驟可以得到：ΣN,μN

有以下關(guān)系其中a與μ無關(guān)⑵多維正態(tài)（已知Σ，估計μ）其中a與μ無關(guān)71這就是在多維情況下，對μ的估計參數(shù)估計與非參數(shù)估計課件72§5-3非參數(shù)估計參數(shù)估計要求密度函數(shù)的形式已知，但這種假定有時并不成立，常見的一些函數(shù)形式很難擬合實際的概率密度，經(jīng)典的密度函數(shù)都是單峰的，而在許多實際情況中卻是多峰的，因此用非參數(shù)估計。非參數(shù)估計:直接用已知類別樣本去估計總體密度分布，方法有：①

用樣本直接去估計類概率密度p(x/ωi)以此來設(shè)計分類器,如窗口估計②

用學(xué)習(xí)樣本直接估計后驗概率p(ωi/x)作為分類準則來設(shè)計分類器如k近鄰法.1.

密度估計:一個隨機變量X落在區(qū)域R的概率為P

P(X’)為P(X)在R內(nèi)的變化值,P(X)就是要求的總體概率密度

RP(x)§5-3非參數(shù)估計RP(x)73假設(shè)有N個樣本X=(X1,X2,…XN)T都是按照P(X)從總體中獨立抽取的若N個樣本中有k個落入在R內(nèi)的概率符合二項分布

其中P是樣本X落入R內(nèi)的概率Pk是k個樣本落入R內(nèi)的概率數(shù)學(xué)期望:E(k)=k=NP

∴對概率P的估計:。是P的一個比較好的估計

設(shè)P(x’)在R內(nèi)連續(xù)變化,當(dāng)R逐漸減小的時候,小到使P(x)在其上幾乎沒有變化時，則

其中是R包圍的體積

假設(shè)有N個樣本X=(X1,X2,…XN)T都是按74∴

∴條件密度的估計：(V足夠小)討論:①當(dāng)V固定的時候N增加,k也增加,當(dāng)時

只反映了P(x)的空間平均估計而反映不出空間的變化②N固定,體積變小當(dāng)時,k=0時

時

所以起伏比較大,噪聲比較大,需要對V進行改進.∴75對體積V進行改進：為了估計X點的密度,我們構(gòu)造一串包括X的區(qū)域序列R1,R2,..RN.對R1采用一個樣本進行估計，對R2采用二個樣本進行估計..。設(shè)VN是RN的體積，KN是N個樣本落入VN的樣本數(shù)則密度的第N次估計：VN是RN的體積

KN是N個樣本落入VN的樣本數(shù)∴PN(x)是P(x)的第N次估計對體積V進行改進：76若PN(x)收斂于P(x)應(yīng)滿足三個條件：①，當(dāng)N↑時，VN↓，N→∞，VN→0

這時雖然樣本數(shù)多，但由于VN↓，落入VN內(nèi)的樣本KN

也減小，所以空間變化才反映出來

②，N↑，kN↑，N與KN同相變化

③，KN的變化遠小于N的變化。因此盡管在R內(nèi)落入了很多的樣本，但同總數(shù)N比較,仍然是很小的一部分。若PN(x)收斂于P(x)應(yīng)滿足三個條件：77如何選擇VN滿足以上條件：①使體積VN以N的某個函數(shù)減小，如

(h為常數(shù))②使KN作為N的某個函數(shù)，例VN的選擇使RN正好包含KN個近鄰

V1→K1，V2→K2，..VR→KR→Kn近鄰法窗口法如何選擇VN滿足以上條件：窗口法782.Parzen窗口估計假設(shè)RN為一個d維的超立方體，hN為超立方體的長度∴超立方體體積為：，d=1，窗口為一線段d=2，窗口為一平面d=3，窗口為一立方體d>3，窗口為一超立方體窗口的選擇：方窗函數(shù)指數(shù)窗函數(shù)正態(tài)窗函數(shù)Φ(u)Φ(u)Φ(u)hN

正態(tài)窗函數(shù)2.Parzen窗口估計方窗函數(shù)指數(shù)窗函數(shù)正態(tài)窗函數(shù)Φ(u79∵

ф(u)是以原點x為中心的超立方體?！嘣趚i落入方窗時，則有在VN內(nèi)為1

不在VN內(nèi)為0落入VN的樣本數(shù)為所有為1者之和∴密度估計∵ф(u)是以原點x為中心的超立方體。80討論：①每個樣本對估計所起的作用依賴于它到x的距離，即|x-xi|≤hN/2時，xi在VN內(nèi)為1，否則為0。

②稱為的窗函數(shù)，取0，1兩種值，但有

時可以取0,0.1,0.2……多種數(shù)值，例如隨xi離x接近的程度，取值由0,0.1,0.2……到1。討論：81③要求估計的PN(x)應(yīng)滿足：為滿足這兩個條件，要求窗函數(shù)滿足：④窗長度hN對PN(x)的影響若hN太大,PN(x)是P(x)的一個平坦,分辨率低的估計,有平均誤差若hN太小,PN(x)是P(x)的一個不穩(wěn)定的起伏大的估計,有噪聲誤差為了使這些誤差不嚴重，hN應(yīng)很好選擇③要求估計的PN(x)應(yīng)滿足：82例1：對于一個二類（ω1，ω2）識別問題，隨機抽取ω1類的6個樣本X=(x1，x2，….x6)ω1=(x1，x2，….x6)=(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估計P(x|ω1)即PN(x)解：選正態(tài)窗函數(shù)0123456x6x5x3x1x2x4x例1：對于一個二類（ω1，ω2）識別問題，隨機抽取ω183∵x是一維的上式用圖形表示是6個分別以3.2，3.6，3，6，2.5，1.1為中心的丘形曲線(正態(tài)曲線)，而PN(x)則是這些曲線之和?！選是一維的84由圖看出，每個樣本對估計的貢獻與樣本間的距離有關(guān)，樣本越多，PN(x)越準確。由圖看出，每個樣本對估計的貢獻與樣本間85例2：設(shè)待估計的P(x)是個均值為0，方差為1的正態(tài)密度函數(shù)。若隨機地抽取X樣本中的1個、16個、256個作為學(xué)習(xí)樣本xi,試用窗口法估計PN(x)。解：設(shè)窗口函數(shù)為正態(tài)的，σ＝1，μ＝0hN:窗長度，N為樣本數(shù)，h1為選定可調(diào)節(jié)的參數(shù)。例2：設(shè)待估計的P(x)是個均值為0，方差為1的正態(tài)密度86用窗法估計單一正態(tài)分布的實驗N=