最新-【大學課件】統(tǒng)計判別-

第四章統(tǒng)計判別docin/sundae_meng第四章統(tǒng)計判別docin/sundae_meng14.1作為統(tǒng)計判別問題的模式分類模式識別的目的就是要確定某一個給定的模式樣本屬于哪一類?？梢酝ㄟ^對被識別對象的多次觀察和測量，構成特征向量，并將其作為某一個判決規(guī)則的輸入，按此規(guī)則來對樣本進行分類。docin/sundae_meng4.1作為統(tǒng)計判別問題的模式分類模式識別的目的就是要確定某24.1作為統(tǒng)計判別問題的模式分類在獲取模式的觀測值時，有些事物具有確定的因果關系，即在一定的條件下，它必然會發(fā)生或必然不發(fā)生。例如識別一塊模板是不是直角三角形，只要憑“三條直線邊閉合連線和一個直角”這個特征，測量它是否有三條直線邊的閉合連線并有一個直角，就完全可以確定它是不是直角三角形。這種現(xiàn)象是確定性的現(xiàn)象，前一章的模式判別就是基于這種現(xiàn)象進行的。docin/sundae_meng4.1作為統(tǒng)計判別問題的模式分類在獲取模式的觀測值時，有些3但在現(xiàn)實世界中，由許多客觀現(xiàn)象的發(fā)生，就每一次觀察和測量來說，即使在基本條件保持不變的情況下也具有不確定性。只有在大量重復的觀察下，其結果才能呈現(xiàn)出某種規(guī)律性，即對它們觀察到的特征具有統(tǒng)計特性。特征值不再是一個確定的向量，而是一個隨機向量。此時，只能利用模式集的統(tǒng)計特性來分類，以使分類器發(fā)生錯誤的概率最小。4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng但在現(xiàn)實世界中，由許多客觀現(xiàn)象的發(fā)生，就每一次觀察和測量來說44.1.1貝葉斯判別原則兩類模式集的分類目的：要確定x是屬于ω1類還是ω2類，要看x是來自于ω1類的概率大還是來自ω2類的概率大。[貝葉斯判別]4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.1貝葉斯判別原則4.1作為統(tǒng)計判別問題的模式分類54.1.1貝葉斯判別原則例子對一大批人進行癌癥普查，患癌者以ω1類代表，正常人以ω2類代表。設被試驗的人中患有癌癥的概率為0.005，即P(ω1)=0.005，當然P(ω2)=1-0.005=0.995現(xiàn)任意抽取一人，要判斷他是否患有癌癥。顯然，因為P(ω2)>P(ω1)，只能說是正常的可能性大。如要進行判斷，只能通過化驗來實現(xiàn)。4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.1貝葉斯判別原則4.1作為統(tǒng)計判別問題的模式分類64.1.1貝葉斯判別原則例子設有一種診斷癌癥的試驗，其結果為“陽性”和“陰性”兩種反應。若用這種試驗來對一個病人進行診斷，提供的化驗結果以模式x代表，這里x為一維特征，且只有x=“陽”和x=“陰”兩種結果。4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.1貝葉斯判別原則4.1作為統(tǒng)計判別問題的模式分類74.1.1貝葉斯判別原則例子假設根據(jù)臨床記錄，發(fā)現(xiàn)這種方法有以下統(tǒng)計結果患有癌癥的人試驗反應為陽性的概率=0.95，即p(x=陽|ω1)=0.95患有癌癥的人試驗反應為陰性的概率=0.05，即p(x=陰|ω1)=0.05正常人試驗反應為陽性的概率=0.01，即p(x=陽|ω2)=0.01正常人試驗反應為陰性的概率=0.99，即p(x=陰|ω2)=0.994.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.1貝葉斯判別原則4.1作為統(tǒng)計判別問題的模式分類84.1.1貝葉斯判別原則問題若被化驗的人具有陽性反應，他患癌癥的概率為多少，即求P(ω1|

x=陽)=？這里P(ω1)是根據(jù)以往的統(tǒng)計資料得到的，為患癌癥的先驗概率?，F(xiàn)在經(jīng)過化驗，要求出P(ω1|

x=陽)，即經(jīng)過化驗后為陽性反應的人中患癌癥的概率，稱為后驗概率。[計算]4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.1貝葉斯判別原則4.1作為統(tǒng)計判別問題的模式分類94.1.2貝葉斯最小風險判別當考慮到對于某一類的錯誤判決要比對另一類的判決更為關鍵時，就需要把最小錯誤概率的貝葉斯判別做一些修正，提出條件平均風險rj(x)。M類分類問題的條件平均風險rj(x)對M類問題，如果觀察樣本被判定屬于ωj類，則條件平均風險為：Lij稱為將本應屬于ωi類的模式判別成屬于ωj類的是非代價。

4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.2貝葉斯最小風險判別4.1作為統(tǒng)計判別問題的模式104.1.2貝葉斯最小風險判別意義對于自然屬性是屬于ωi類的模式x來說，它來自ωi類的概率應為P(ωi|x)。如果分類器判別x是屬于ωj類，但它實際上來自ωi類，也就是說分類器失敗，這時Lij為失分，對應的條件風險為后驗概率進行Lij的加權運算。由于模式x的自然屬性可能來自M類中的任一類，因此可將觀察樣本指定為ωj類的條件平均風險用rj(x)的公式運算。4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.2貝葉斯最小風險判別4.1作為統(tǒng)計判別問題的模式114.1.2貝葉斯最小風險判別Lij的取值若i=j，即判別正確，得分，Lij可以取負值或零，表示不失分。若i<>j，即判別錯誤，失分，Lij應取正值。最小平均條件風險分類器分類器對每一個模式x有M種可能的類別可供選擇。若對每一個x計算出全部類別的平均風險值r1(x),r2(x),…,rM(x)，并且將x指定為是具有最小風險值的那一類，則這種分類器稱為最小平均條件風險分類器。[表達式]4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.2貝葉斯最小風險判別4.1作為統(tǒng)計判別問題的模式124.1.2貝葉斯最小風險判別[兩類（M=2）的情況][例子][一般多類（M類）的情況]4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.2貝葉斯最小風險判別4.1作為統(tǒng)計判別問題的模式13出發(fā)點當已知或者有理由設想類概率密度函數(shù)P(x|ωi)是多變量的正態(tài)分布時，上一節(jié)介紹的貝葉斯分類器可以導出一些簡單的判別函數(shù)。由于正態(tài)密度函數(shù)易于分析，且對許多重要的實際應用又是一種合適的模型，因此受到很大的重視。4.2正態(tài)分布模式的貝葉斯分類器docin/sundae_meng出發(fā)點4.2正態(tài)分布模式的貝葉斯分類器docin/sund14[M種模式類別的多變量正態(tài)類密度函數(shù)]判別函數(shù)是一個超二次曲面。對于正態(tài)分布模式的貝葉斯分類器，兩個模式類別之間用一個二次判別界面分開，就可以求得最優(yōu)的分類效果。[兩類問題且其類模式都是正態(tài)分布的特殊情況][當C1<>C2時的情況]顯然，判別界面d1(x)-d2(x)=0是x的二次型方程，即ω1和ω2兩類模式可用二次判別界面分開。當x是二維模式時，判別界面為二次曲線，如橢圓，圓，拋物線或雙曲線等。[當C1=C2=C時的情況]判別界面為x的線性函數(shù)，為一超平面。當x是二維時，判別界面為一直線。4.2正態(tài)分布模式的貝葉斯分類器docin/sundae_meng[M種模式類別的多變量正態(tài)類密度函數(shù)]4.2正態(tài)分布模式的15[例子]討論貝葉斯分類規(guī)則是基于統(tǒng)計概念的。如果只有少數(shù)模式樣本，一般較難獲得最優(yōu)的結果。4.2正態(tài)分布模式的貝葉斯分類器docin/sundae_meng[例子]4.2正態(tài)分布模式的貝葉斯分類器docin/sun16作業(yè)及編程設以下模式類別具有正態(tài)概率密度函數(shù)：

ω1：{(00)T,(20)T,(22)T,(02)T}

ω2：{(44)T,(64)T,(66)T,(46)T}

（1）設P(ω1)=P(ω2)=1/2，求這兩類模式之間的貝葉斯判別界面的方程式。 （2）繪出判別界面。編寫兩類正態(tài)分布模式的貝葉斯分類程序。（可選例題或上述作業(yè)題為分類模式）docin/sundae_meng作業(yè)及編程設以下模式類別具有正態(tài)概率密度函數(shù)：docin/s17第四章統(tǒng)計判別docin/sundae_meng第四章統(tǒng)計判別docin/sundae_meng184.1作為統(tǒng)計判別問題的模式分類模式識別的目的就是要確定某一個給定的模式樣本屬于哪一類?？梢酝ㄟ^對被識別對象的多次觀察和測量，構成特征向量，并將其作為某一個判決規(guī)則的輸入，按此規(guī)則來對樣本進行分類。docin/sundae_meng4.1作為統(tǒng)計判別問題的模式分類模式識別的目的就是要確定某194.1作為統(tǒng)計判別問題的模式分類在獲取模式的觀測值時，有些事物具有確定的因果關系，即在一定的條件下，它必然會發(fā)生或必然不發(fā)生。例如識別一塊模板是不是直角三角形，只要憑“三條直線邊閉合連線和一個直角”這個特征，測量它是否有三條直線邊的閉合連線并有一個直角，就完全可以確定它是不是直角三角形。這種現(xiàn)象是確定性的現(xiàn)象，前一章的模式判別就是基于這種現(xiàn)象進行的。docin/sundae_meng4.1作為統(tǒng)計判別問題的模式分類在獲取模式的觀測值時，有些20但在現(xiàn)實世界中，由許多客觀現(xiàn)象的發(fā)生，就每一次觀察和測量來說，即使在基本條件保持不變的情況下也具有不確定性。只有在大量重復的觀察下，其結果才能呈現(xiàn)出某種規(guī)律性，即對它們觀察到的特征具有統(tǒng)計特性。特征值不再是一個確定的向量，而是一個隨機向量。此時，只能利用模式集的統(tǒng)計特性來分類，以使分類器發(fā)生錯誤的概率最小。4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng但在現(xiàn)實世界中，由許多客觀現(xiàn)象的發(fā)生，就每一次觀察和測量來說214.1.1貝葉斯判別原則兩類模式集的分類目的：要確定x是屬于ω1類還是ω2類，要看x是來自于ω1類的概率大還是來自ω2類的概率大。[貝葉斯判別]4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.1貝葉斯判別原則4.1作為統(tǒng)計判別問題的模式分類224.1.1貝葉斯判別原則例子對一大批人進行癌癥普查，患癌者以ω1類代表，正常人以ω2類代表。設被試驗的人中患有癌癥的概率為0.005，即P(ω1)=0.005，當然P(ω2)=1-0.005=0.995現(xiàn)任意抽取一人，要判斷他是否患有癌癥。顯然，因為P(ω2)>P(ω1)，只能說是正常的可能性大。如要進行判斷，只能通過化驗來實現(xiàn)。4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.1貝葉斯判別原則4.1作為統(tǒng)計判別問題的模式分類234.1.1貝葉斯判別原則例子設有一種診斷癌癥的試驗，其結果為“陽性”和“陰性”兩種反應。若用這種試驗來對一個病人進行診斷，提供的化驗結果以模式x代表，這里x為一維特征，且只有x=“陽”和x=“陰”兩種結果。4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.1貝葉斯判別原則4.1作為統(tǒng)計判別問題的模式分類244.1.1貝葉斯判別原則例子假設根據(jù)臨床記錄，發(fā)現(xiàn)這種方法有以下統(tǒng)計結果患有癌癥的人試驗反應為陽性的概率=0.95，即p(x=陽|ω1)=0.95患有癌癥的人試驗反應為陰性的概率=0.05，即p(x=陰|ω1)=0.05正常人試驗反應為陽性的概率=0.01，即p(x=陽|ω2)=0.01正常人試驗反應為陰性的概率=0.99，即p(x=陰|ω2)=0.994.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.1貝葉斯判別原則4.1作為統(tǒng)計判別問題的模式分類254.1.1貝葉斯判別原則問題若被化驗的人具有陽性反應，他患癌癥的概率為多少，即求P(ω1|

x=陽)=？這里P(ω1)是根據(jù)以往的統(tǒng)計資料得到的，為患癌癥的先驗概率。現(xiàn)在經(jīng)過化驗，要求出P(ω1|

x=陽)，即經(jīng)過化驗后為陽性反應的人中患癌癥的概率，稱為后驗概率。[計算]4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.1貝葉斯判別原則4.1作為統(tǒng)計判別問題的模式分類264.1.2貝葉斯最小風險判別當考慮到對于某一類的錯誤判決要比對另一類的判決更為關鍵時，就需要把最小錯誤概率的貝葉斯判別做一些修正，提出條件平均風險rj(x)。M類分類問題的條件平均風險rj(x)對M類問題，如果觀察樣本被判定屬于ωj類，則條件平均風險為：Lij稱為將本應屬于ωi類的模式判別成屬于ωj類的是非代價。

4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.2貝葉斯最小風險判別4.1作為統(tǒng)計判別問題的模式274.1.2貝葉斯最小風險判別意義對于自然屬性是屬于ωi類的模式x來說，它來自ωi類的概率應為P(ωi|x)。如果分類器判別x是屬于ωj類，但它實際上來自ωi類，也就是說分類器失敗，這時Lij為失分，對應的條件風險為后驗概率進行Lij的加權運算。由于模式x的自然屬性可能來自M類中的任一類，因此可將觀察樣本指定為ωj類的條件平均風險用rj(x)的公式運算。4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.2貝葉斯最小風險判別4.1作為統(tǒng)計判別問題的模式284.1.2貝葉斯最小風險判別Lij的取值若i=j，即判別正確，得分，Lij可以取負值或零，表示不失分。若i<>j，即判別錯誤，失分，Lij應取正值。最小平均條件風險分類器分類器對每一個模式x有M種可能的類別可供選擇。若對每一個x計算出全部類別的平均風險值r1(x),r2(x),…,rM(x)，并且將x指定為是具有最小風險值的那一類，則這種分類器稱為最小平均條件風險分類器。[表達式]4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.2貝葉斯最小風險判別4.1作為統(tǒng)計判別問題的模式294.1.2貝葉斯最小風險判別[兩類（M=2）的情況][例子][一般多類（M類）的情況]4.1作為統(tǒng)計判別問題的模式分類docin/sundae_meng4.1.2貝葉斯最小風險判別4.1作為統(tǒng)計判別問題的模式30出發(fā)點當已知或者有理由設想類概率密度函數(shù)P(x|ωi)是多變量的正態(tài)分布時，上一節(jié)介紹的貝葉斯分類器可以導出一些簡單的判別函數(shù)。由于正態(tài)密度函數(shù)易于分析，且對許多重要的實際應用又是一種合適的模型，因此受到很大的重視。4.2正態(tài)分布模式的貝葉斯分類器docin/sundae_meng出發(fā)點4.2正態(tài)分布模式的貝葉斯分類器docin/sund31[M種模式類別的多變量正態(tài)類密度函數(shù)]判