模式識(shí)別解老師

模式識(shí)別第五章統(tǒng)計(jì)推斷

5.1統(tǒng)計(jì)推斷概述5.2參數(shù)估計(jì)（貝葉斯估計(jì)BE、最大似然估計(jì)MLE)5.3概率的窗函數(shù)估計(jì)法（Parzen窗法）目錄5.1統(tǒng)計(jì)推斷概述

統(tǒng)計(jì)推斷就是用樣本的特征值（統(tǒng)計(jì)量）在一定的概率保證下推斷相應(yīng)總體的特征值（參數(shù)）統(tǒng)計(jì)分析的結(jié)論是針對(duì)總體參數(shù)而言的，因此，統(tǒng)計(jì)推斷是科研工作中一個(gè)十分重要的工具，對(duì)實(shí)驗(yàn)設(shè)計(jì)也有很大的指導(dǎo)意義在上一章的學(xué)習(xí)中,我們一直假設(shè)類的條件概率密度函數(shù)是已知的,然后去設(shè)計(jì)貝葉斯分類器。但在實(shí)際中，這些知識(shí)往往是不知道的，這就需要用已知的樣本進(jìn)行學(xué)習(xí)或訓(xùn)練。也就是說(shuō)利用統(tǒng)計(jì)推斷理論中的估計(jì)方法，從樣本集數(shù)據(jù)中估計(jì)這些參數(shù)。本章目的：已知類別的樣本（訓(xùn)練樣本）→學(xué)習(xí)或訓(xùn)練→獲得類概密參數(shù)估計(jì)有兩類方法:將參數(shù)作為非隨機(jī)量處理，如矩法估計(jì)、最大似然估計(jì)；將參數(shù)作為隨機(jī)變量，貝葉斯估計(jì)就屬此類。（本章重點(diǎn)講貝葉斯估計(jì)）當(dāng)不知道類的概型時(shí)，就要采用非參數(shù)估計(jì)的方法，這種方法也稱為總體推斷，這類方法有：1.p-窗法（本章重點(diǎn)講）2.有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法3.隨機(jī)逼近法基本概念設(shè)模式空間?是n維的，母體（總體）：一個(gè)模式類稱為一個(gè)總體或母體母體的子樣：一個(gè)模式類中某些模式(即母體中的一些元素)的集合稱為這個(gè)母體的子樣。母體的子樣含有母體的某些信息，可以通過(guò)構(gòu)造樣本的函數(shù)來(lái)獲得。統(tǒng)計(jì)量：一般來(lái)說(shuō)，每一個(gè)樣本都包含著母體的某些信息，為了估計(jì)未知參數(shù)就要把有用的信息從樣本中抽取出來(lái)。為此，要構(gòu)造訓(xùn)練樣本的某種函數(shù)，這種函數(shù)在統(tǒng)計(jì)學(xué)中稱為統(tǒng)計(jì)量。理論量（或理論分布）：經(jīng)驗(yàn)分布：由樣本推斷的分布稱為經(jīng)驗(yàn)分布。參數(shù)空間：在統(tǒng)計(jì)學(xué)中，把未知參數(shù)q的可能值的集合稱為參數(shù)空間，記為Q。點(diǎn)估計(jì)、估計(jì)量：針對(duì)某未知參數(shù)q構(gòu)造一個(gè)統(tǒng)計(jì)量作為q的估計(jì)，這種估計(jì)稱為點(diǎn)估計(jì)。稱為q的估計(jì)量。區(qū)間估計(jì)：在一定置信度條件下估計(jì)某一未知參數(shù)q的取值范圍，稱之為置信區(qū)間，這類估計(jì)成為區(qū)間估計(jì)。數(shù)學(xué)期望、方差等

均方收斂:一致估計(jì):

當(dāng)樣本無(wú)限增多時(shí)，估計(jì)量依概率收斂于

，均方逼近:均方收斂:5.2參數(shù)估計(jì)（1、貝葉斯估計(jì)BE）首先先復(fù)習(xí)下貝葉斯公式貝葉斯公式：P(y|x)=(P(x|y)*P(y))/P(x)P(y|x)是后驗(yàn)概率，一般是我們求解的目標(biāo)。P(x|y)是條件概率，又叫似然概率，一般是通過(guò)歷史數(shù)據(jù)統(tǒng)計(jì)得到。一般不把它叫做先驗(yàn)概率，但從定義上也符合先驗(yàn)定義。P(y)是先驗(yàn)概率，一般都是人主觀給出的。貝葉斯中的先驗(yàn)概率一般特指它。P(x)其實(shí)也是先驗(yàn)概率，只是在貝葉斯的很多應(yīng)用中不重要（因?yàn)橹灰畲蠛篁?yàn)不求絕對(duì)值），需要時(shí)往往用全概率公式計(jì)算得到。5.2參數(shù)估計(jì)考慮到的各種取值，我們應(yīng)求在空間中的期望，即平均損失：

105.2參數(shù)估計(jì)115.2參數(shù)估計(jì)不同的具體定義，可得到不同的最佳貝葉斯估計(jì)。比如，可以用平方誤差作為代價(jià)，此時(shí)：上式中，對(duì)于于是：125.2參數(shù)估計(jì)由于是非負(fù)的，只出現(xiàn)在內(nèi)層積分中，關(guān)于使最小等價(jià)于：為求極小，令135.2參數(shù)估計(jì)從而可得：145.2參數(shù)估計(jì)下面介紹估計(jì)所涉及的其它公式或近似算式：由于各樣本是獨(dú)立抽取的，故它們條件獨(dú)立，即有由貝葉斯定理知：155.2參數(shù)估計(jì)165.2.1一維正態(tài)分布下的貝葉斯估計(jì)設(shè)一維正態(tài)分布且總體方差已知（μ未知）：總體分布密度p(x/μ)～N(μ,σ2)μ的先驗(yàn)概率P(μ)已知P(μ)～N(μ0,σ02)樣本集Xi

=(x1,x2,…，xN)T是取自N(μ,σ2)的樣本集求：μ的貝葉斯估計(jì)量17在二次損失函數(shù)下:利用貝葉斯公式，得：18由于：p(x|μ)～N(μ,σ2)P(μ)～N(μ0,σ02)所以19P(μ|X)為正態(tài)分布：比較上述2個(gè)公式，利用待定系數(shù)法，得：20解上式得：代入估計(jì)量公式：21如果令P(μ)為標(biāo)準(zhǔn)正態(tài)分布P(μ)～N(μ0,σ02)=N(0,1)則：與最大似然估計(jì)相似，只是分母不同22一維正態(tài)分布下的貝葉斯學(xué)習(xí)獨(dú)立抽取樣本23上式形成一個(gè)遞推公式：這種參數(shù)估計(jì)方法稱為遞推Bayes估計(jì)，如果這個(gè)序列收斂于以真實(shí)參數(shù)μ為中心的δ函數(shù)，該過(guò)程稱為遞推Bayes參數(shù)學(xué)習(xí)。24當(dāng)觀察一個(gè)樣本時(shí)，N=1就會(huì)有一個(gè)μ的估計(jì)值的修正值當(dāng)觀察N=4時(shí)，對(duì)μ進(jìn)行修正，向真正的μ靠近當(dāng)觀察N=9時(shí)，對(duì)μ進(jìn)行修正，向真正的μ靠的更近當(dāng)N↑,μN(yùn)就反映了觀察到N個(gè)樣本后對(duì)μ的最好推測(cè)，而σN2反映了這種推測(cè)的不確定性N↑,σN2↓,σN2

隨觀察樣本增加而單調(diào)減小，且當(dāng)N→∞,σN2→0

當(dāng)N↑，P(μ|xi)越來(lái)越尖峰突起N→∞,P(μ|xi)→δ函數(shù)，這個(gè)過(guò)程成為貝葉斯學(xué)習(xí)25265.2參數(shù)估計(jì)27參數(shù)估計(jì)（2、最大似然估計(jì)(MLE)）如同矩法估計(jì)一樣，最大似然估計(jì)要求已知總體的概型，即概密的具體函數(shù)形式，它也將被估計(jì)量作為確定性的變量對(duì)待。但最大似然估計(jì)適用范圍比矩法估計(jì)更寬一些，可以用于不是正態(tài)分布的情況。最大似然估計(jì)是參數(shù)估計(jì)中最重要的方法似然函數(shù)：當(dāng)個(gè)隨機(jī)樣本取定值時(shí)，稱為相對(duì)于的的似然函數(shù)。聯(lián)合概密設(shè)一個(gè)總體的概密為，其中是一個(gè)未知參數(shù)集，5.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

由于是概密的一個(gè)確定性的參數(shù)集,因此實(shí)際上就是條件概密上式中不同的,將不同。如果各個(gè)是獨(dú)立抽取的，則進(jìn)一步有：295.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)最大似然估計(jì)：305.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)在實(shí)際中多是獨(dú)立取樣和經(jīng)常處理正態(tài)變量，而且對(duì)數(shù)函數(shù)是單值單調(diào)函數(shù)，對(duì)數(shù)似然函數(shù)與似然函數(shù)在相同的處取得最大值。315.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

在似然函數(shù)可微的條件下，求下面微分方程組的解：或等價(jià)地求作為極值的必要條件。對(duì)數(shù)似然方程組325.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

需要指出的是：對(duì)于具體問(wèn)題，有時(shí)用上述方法不一定可行，原因之一是似然函數(shù)在最大值點(diǎn)處沒(méi)有零斜率。求出上面方程組中的一切解及邊界值，計(jì)算使最大的作為的最大似然估計(jì)。因此，最大似然的關(guān)鍵是必須知道概型。335.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

下面我們以多維正態(tài)分布為例進(jìn)行說(shuō)明。（1）假設(shè)Σ是已知的，未知的只是均值μ，則：345.2參數(shù)估計(jì)最大似然估計(jì)(MLE)(MaximumLikelihoodEstimate)

這說(shuō)明，樣本總體的未知均值的最大似然估計(jì)就是訓(xùn)練樣本的平均值。它的幾何解釋就是：若把N個(gè)樣本看成是一群質(zhì)點(diǎn)，則樣本均值便是它們的質(zhì)心。3536可見(jiàn)，正態(tài)分布中的協(xié)方差陣Σ的最大似然估計(jì)量等于N個(gè)矩陣的算術(shù)平均值。37（3）對(duì)于一般的多維正態(tài)密度的情況，計(jì)算方法完全是類似的。最后的結(jié)果是：可以證明上式的均值是無(wú)偏估計(jì)，但協(xié)方差陣并不是無(wú)偏估計(jì)，無(wú)偏估計(jì)是：385.3概率的窗函數(shù)估計(jì)法（Parzen窗法）

概率密度的基本估計(jì)式上式的二項(xiàng)分式中使結(jié)果最大的k值稱為眾數(shù)設(shè)個(gè)樣本是從上述概密為的總體中獨(dú)立抽取的，個(gè)樣本中有個(gè)樣本落入?yún)^(qū)域中的概率服從離散隨機(jī)變量的二項(xiàng)分布如果是整數(shù)，則:

和設(shè)個(gè)樣本是從上述概密為的總體中獨(dú)立抽取的，個(gè)樣本中有個(gè)樣本落入?yún)^(qū)域中的概率服從離散隨機(jī)變量的二項(xiàng)分布40令為眾數(shù)，如果不是整數(shù)，則:

即等于的整數(shù)部分；如果是整數(shù)，則:

和41由于：所以：這里是的估計(jì)，當(dāng)較大較小時(shí)上式的近似程度是足夠的。425.4概密的窗函數(shù)估計(jì)法概率密度的基本估計(jì)式當(dāng)固定時(shí)，對(duì)的最大似然估計(jì)，由概率論知，的數(shù)學(xué)期望。435.4概密的窗函數(shù)估計(jì)法概率密度的基本估計(jì)式設(shè)區(qū)域R的體積為V，我們?nèi)足夠小，使ò?=RVxpxdxpP)()(rrr設(shè))(?xpr是)(xpr的估計(jì)，由上面二式有VxpxdxpPNkR)(?)(??rrr===ò于是可得445.4概密的窗函數(shù)估計(jì)法概率密度的基本估計(jì)式顯然是的基本估計(jì)式，它與有關(guān)，顯然和有一定的誤差。

理論上，要使

R0

V0，同時(shí)k，N。

而實(shí)際估計(jì)時(shí)體積不是任意的小，且樣本總數(shù)總是存在誤差。

也是有限的，所以454647P窗法Parzen窗方法的基本思想是利用一定范圍內(nèi)的各點(diǎn)密度的平均值對(duì)總體密度函數(shù)進(jìn)行估計(jì)。Parzen窗（Parzenwindow）又稱為核密度估計(jì)（kerneldensityestimation），是概率論中用來(lái)估計(jì)未知概率密度函數(shù)的非參數(shù)方法之一。5.4概密的窗函數(shù)估計(jì)法Parzen窗法為能用函數(shù)描述區(qū)域NR和對(duì)落入NR的樣本計(jì)數(shù)，定義窗函數(shù)),,,(21￠=nuuuuLr?íì=￡=j其它當(dāng),0,,2,1,21,1)(niuuiLr

這樣，)(urj以函數(shù)值1界定了一個(gè)以原點(diǎn)為中心、棱長(zhǎng)為1的n維超立方體。495.4概密的窗函數(shù)估計(jì)法Parzen窗法

如果一個(gè)樣本jxr落入以xr為中心以Nh為棱長(zhǎng)的超立方體NR內(nèi)時(shí)則計(jì)數(shù)為1，否則計(jì)數(shù)為0，我們可以利用窗函數(shù))(xrj實(shí)現(xiàn)這個(gè)約定，即落入該立方體NR的樣本數(shù)50515.4概密的窗函數(shù)估計(jì)法Parzen窗法上面所講的是從構(gòu)造上導(dǎo)出了估計(jì)式，所取的窗函數(shù)即迭加基函數(shù)為維方窗(柱)函數(shù)。事實(shí)上只要窗函數(shù)滿足下面的兩個(gè)條件:由式構(gòu)造的估計(jì)式就是概密函數(shù)。525.4概密的窗函數(shù)估計(jì)法Parzen窗法

按照上面的條件，除了選擇方窗外，還可以選擇其它的滿足上述兩個(gè)條件的函數(shù)作窗函數(shù)。下面列出幾個(gè)一維窗函數(shù)的例子，n維的窗函數(shù)可用乘積的方法由一維函數(shù)構(gòu)造。⑶

指數(shù)窗函數(shù)

[]uu-=jexp)(⑴

方窗函數(shù)

?íì￡=j其它,021,1)(uu⑵

正態(tài)窗函數(shù)

ú?ùê?é-p=j221exp21)(uu⑷

三角窗函數(shù)

?íì>￡-=j1,01,1)(uuuu53下面進(jìn)一步討論窗寬對(duì)估計(jì)的影響:5.4概密的窗函數(shù)估計(jì)法Parzen窗法定義:于是估計(jì)式表示成:影響的幅度和寬度。注意到:可看出545.4概密的窗函數(shù)估計(jì)法Parzen窗法若Nh較大，則)(jNxxrr-d幅度將較小，而寬度增大)(?xpNr是N個(gè)低幅緩變寬的函數(shù)迭加,)(?xpNr較平滑，不能跟上的變化，分辨率較低。)(xpr555.4概密的窗函數(shù)估計(jì)法Parzen窗法估計(jì)量是一隨機(jī)變量，它依賴于隨機(jī)的訓(xùn)練樣本，所以估計(jì)量的性能只能用統(tǒng)計(jì)性質(zhì)表示。在滿足下列條件下是漸近無(wú)偏估計(jì)、均方收斂、均方逼近、且是漸近正態(tài)分布。⑴

概密)(xpr在xr處連續(xù)⑵

窗函數(shù)滿足下列條件①0)(3jur②

ò=j1)(udurr③

￥<j)(supuurr④

0)(lim1=j?=￥?niiuuurr565.4概密的窗函數(shù)估計(jì)法Parzen窗法估計(jì)量是一隨機(jī)變量，它依賴于隨機(jī)的訓(xùn)練樣本，所以估計(jì)量的性能只能用統(tǒng)計(jì)性質(zhì)表示。在滿足下列條件下是漸近無(wú)偏估計(jì)、均方收斂、均方逼近、且是漸近正態(tài)分布。⑶窗寬限制⑤

⑥⑷對(duì)樣本的要求⑦⑧57(1)是的漸近無(wú)偏估計(jì)證明：5859例1：對(duì)于一個(gè)二類（ω1

，ω2

）識(shí)別問(wèn)題，隨機(jī)抽取ω1類的6個(gè)樣本X=(x1，x2，….x6)ω1=(x1，x2，….x6)=(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估計(jì)P(x|ω1)即PN(x)解：選正態(tài)窗函數(shù)0123456x6x5x3x1x2x4x60∵x是一維的上式用圖形表示是6個(gè)分別以3.2，3.6，3，6，2.5，1.1為中心的丘形曲線(正態(tài)曲線)，而PN(x)則是這些曲線之和。61由圖看出，每個(gè)樣本對(duì)估計(jì)的貢獻(xiàn)與樣本間的距離有關(guān)，樣本越多，PN(x)越準(zhǔn)確。62例2：設(shè)待估計(jì)的P(x)是個(gè)均值為0，方差為1的一維正態(tài)密度函數(shù)。若隨機(jī)地抽取X樣本中的1個(gè)、16個(gè)、256個(gè)作為學(xué)習(xí)樣本xi,試用窗口法估計(jì)PN(x)。解：設(shè)窗口函數(shù)為正態(tài)的，σ＝1，μ＝0hN:窗長(zhǎng)度，N為樣本數(shù)，h1為選定可調(diào)節(jié)的參數(shù)。63用窗法估計(jì)單一正態(tài)分布的實(shí)驗(yàn)N=∞N=256N=16N=164討論：由圖看出,PN(x)隨N,h1的變化情況①當(dāng)N＝1時(shí)，PN(x)是一個(gè)以第一個(gè)樣本為中心的正態(tài)形狀的小丘，與窗函數(shù)差不多。②當(dāng)N＝16及N=256時(shí)

h1＝0.25曲線起伏很大，噪聲大

h1＝1起伏減小

h1＝4曲線平坦，平均誤差

③當(dāng)N→∞時(shí)，PN(x)收斂于一平滑的正態(tài)曲線，估計(jì)曲線較