貝葉斯決策理論課件

第二章貝葉斯決策理論2.1引言2.2幾種常用的決策規(guī)則2.3正態(tài)分布時(shí)的統(tǒng)計(jì)決策2.4關(guān)于分類器的錯(cuò)誤率問(wèn)題2.1引言模式識(shí)別的分類問(wèn)題是根據(jù)識(shí)別對(duì)象特征的觀察值將其分到某個(gè)類別中去。例：醫(yī)生要根據(jù)病人血液中白細(xì)胞的濃度來(lái)判斷病人是否患血液病。兩類的識(shí)別問(wèn)題。2.1引言根據(jù)醫(yī)學(xué)知識(shí)和以往的經(jīng)驗(yàn)醫(yī)生知道：患病的人，白細(xì)胞的濃度服從均值2000，方差1000的正態(tài)分布；未患病的人，白細(xì)胞的濃度服從均值7000，方差3000的正態(tài)分布；一般人群中，患病的人數(shù)比例為0.5%。

一個(gè)人的白細(xì)胞濃度是3100，醫(yī)生應(yīng)該做出怎樣的判斷？貝葉斯決策理論貝葉斯決策理論方法的假設(shè)：各類別總體的概率分布是已知的；要決策分類的類別數(shù)是一定的。在連續(xù)情況下，假設(shè)要識(shí)別的對(duì)象有d種特征量x1，x2，…，xd，這些特征的所有可能的取值范圍構(gòu)成了d維特征空間，稱

x

=[x1，x2，…，xd]T

為d維特征向量。2.1引言假設(shè)說(shuō)明假設(shè)要研究的分類問(wèn)題有c個(gè)類別ωi，i=l，2，…，c；對(duì)應(yīng)于各個(gè)類別ωi出現(xiàn)的先驗(yàn)概率P(ωi)及類條件概率密度函數(shù)p(x/ωi)是已知的。如果在特征空間已觀察到某一向量x，x

=[x1，x2，…，xd]T那么應(yīng)該把x分到哪一類去才是最合理呢？這就是本章所要研究的主要問(wèn)題。2.1引言2.2幾種常用的決策規(guī)則

基于最小錯(cuò)誤率的貝葉斯決策基于最小風(fēng)險(xiǎn)的貝葉斯決策在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策極小化極大決策序貫分類方法2.2.1基于最小錯(cuò)誤率的貝葉斯決策利用概率論中的貝葉斯公式，得出使錯(cuò)誤率為最小的分類規(guī)則，稱之為基于最小錯(cuò)誤率的貝葉斯決策。2.2幾種常用的決策規(guī)則

舉例說(shuō)明以魚分類為例說(shuō)明解決問(wèn)題的過(guò)程。假設(shè)已抽取出d個(gè)表示魚的特征，成為一個(gè)d維空間的向量x，目的是要將x分類為鱸魚或者鮭魚。如果用ω表示狀態(tài)，就是將x歸類于兩種可能的自然狀態(tài)之一，則ω=ω1

表示鱸魚ω=ω2

表示鮭魚2.2.1基于最小錯(cuò)誤率的貝葉斯決策只以先驗(yàn)概率決策存在問(wèn)題假設(shè)已知出現(xiàn)鱸魚的先驗(yàn)概率為P(ω1)和出現(xiàn)鮭魚的先驗(yàn)概率為P(ω2)。在兩類別問(wèn)題中存在P(ω1)+

P(ω2)=12.2.1基于最小錯(cuò)誤率的貝葉斯決策只以先驗(yàn)概率決策存在問(wèn)題若P(ω1)>P(ω2)，ω=ω1；P(ω1)<P(ω2)，ω=ω2。如果P(ω1)=0.9，P(ω2)=0.1，

P(ω1)>P(ω2)，出現(xiàn)的魚歸為鱸魚。如果僅做一次判別，這種分類可能是合理的；如果多次判別，則根本未達(dá)到要把鱸魚與鮭魚區(qū)分開的目的。2.2.1基于最小錯(cuò)誤率的貝葉斯決策解決方法利用對(duì)魚觀察到的光澤度提高分類器的性能。不同的魚產(chǎn)生不同的光澤度，將其表示為概率形式的變量，設(shè)x是連續(xù)的隨機(jī)變量，其分布取決于類別狀態(tài)，表示為p(x|ω)，即類條件概率分布(class-conditionalprobabilitydensity)函數(shù)，則p(x|ω1)與p(x|ω2)之間的區(qū)別就表示為鱸魚與鮭魚間光澤度的區(qū)別，如圖2.1所示：2.2.1基于最小錯(cuò)誤率的貝葉斯決策圖2.1類條件概率密度函數(shù)圖概率函數(shù)已經(jīng)歸一化，每條曲線下的面積為12.2.1基于最小錯(cuò)誤率的貝葉斯決策已知：狀態(tài)先驗(yàn)概率P(ωi)，i=1，2。類條件概率密度p(x|ωi)，i=1，2，利用貝葉斯公式2.2.1基于最小錯(cuò)誤率的貝葉斯決策條件概率P(ωi|x)稱為狀態(tài)的后驗(yàn)概率貝葉斯公式實(shí)質(zhì)上是通過(guò)觀察x把狀態(tài)的先驗(yàn)概率P(ωi)轉(zhuǎn)化為狀態(tài)的后驗(yàn)概率P(ωi|x)，如圖2.2所示。2.2.1基于最小錯(cuò)誤率的貝葉斯決策圖2.2P(ω1)=2/3和P(ω2)=1/3及圖2.1下的后驗(yàn)概率圖基于最小錯(cuò)誤率的貝葉斯決策規(guī)則為：如果P(ω1|x)>

P(ω2|x)，則把x歸類于鱸魚ω1；反之P(ω1|x)<

P(ω2|x)，則把x歸類于鮭魚ω2。2.2.1基于最小錯(cuò)誤率的貝葉斯決策上面的規(guī)則可簡(jiǎn)寫為：⑴如果P(ωi|x)=P(ωj|x)，則x∈ωi利用貝葉斯公式(1)還可以得到幾種最小錯(cuò)誤率貝葉斯決策規(guī)則的等價(jià)形式：⑵如果

p(x|ωi)

P(ωi)=p(x|ωj)

P(ωj)，則x∈ωi2.2.1基于最小錯(cuò)誤率的貝葉斯決策⑷對(duì)上式的l(x)取自然對(duì)數(shù)的負(fù)值，可寫為ω1⑶若，則x∈<ω2若h(x)=－ln[l(x)]=－lnp(x|ω1)+lnp(x|ω2)<lnω1ω2

>則x∈舉例假設(shè)在某個(gè)局部地區(qū)細(xì)胞識(shí)別中正常(ω1)和異常(ω2)兩類先驗(yàn)概率分別為正常狀態(tài)：P(ω1)=0.9；異常狀態(tài)：P(ω2)=0.1?，F(xiàn)有一待識(shí)的細(xì)胞，其觀察值為x，從類條件概率密度分布曲線上查得p(x|ω1)=0.2，p(x|ω2)=0.4。試對(duì)該細(xì)胞x進(jìn)行分類。2.2.1基于最小錯(cuò)誤率的貝葉斯決策解：利用貝葉斯公式，分別計(jì)算出ω1及ω2的后驗(yàn)概率。P(ω2|x)=1－P(ω1|x)=1－0.818=0.182根據(jù)貝葉斯決策規(guī)則(2)，有P(ω1|x)=0.818>

P(ω2|x)=0.182所以合理的決策是把x

歸類于正常狀態(tài)。2.2.1基于最小錯(cuò)誤率的貝葉斯決策從這個(gè)例子可見，決策結(jié)果取決于實(shí)際觀察到的類條件概率密度p(x|ωi)和先驗(yàn)概率P(ωi)兩者。在這個(gè)例子中由于狀態(tài)ω1的先驗(yàn)概率比ω2的先驗(yàn)概率大好幾倍，使先驗(yàn)概率在做出決策中起了主導(dǎo)作用。2.2.1基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯決策規(guī)則證明錯(cuò)誤率－平均錯(cuò)誤率，以P(e)來(lái)表示，其定義為2.2.1基于最小錯(cuò)誤率的貝葉斯決策2.2.1基于最小錯(cuò)誤率的貝葉斯決策多類別決策在多類決策的最小錯(cuò)誤率貝葉斯決策規(guī)則。如果P(ωi|x)=P(ωj|x)，則x∈ωi

p(x|ωi)P(ωi)=p(x|ωj)P(ωj)，則x∈ωi

2.2.1基于最小錯(cuò)誤率的貝葉斯決策多類別決策多類別決策過(guò)程中，要把特征空間分割成R1，R2，…，Rc個(gè)區(qū)域，可能錯(cuò)分的情況很多，平均錯(cuò)誤概率P(e)將由c(c－1)項(xiàng)組成。2.2.1基于最小錯(cuò)誤率的貝葉斯決策P(e)=[P(x∈R2|ω1)+P(x∈R3|ω1)+…P(x∈Rc|ω1)]P(ω1)c行+[P(x∈R1|ω2)+P(x∈R3|ω2)+…P(x∈Rc|ω2)]P(ω2)+……+[P(x∈R1|ωc)+P(x∈R2|ωc)+…P(x∈Rc-1|ωc)]P(ωc)每行c－1項(xiàng)2.2.1基于最小錯(cuò)誤率的貝葉斯決策即：直接求P(e)的計(jì)算量較大。如果代之計(jì)算平均正確分類概率P(c)，則P(e)=1－P(c)c項(xiàng)2.2.1基于最小錯(cuò)誤率的貝葉斯決策BayesDecisionTheory(General)GeneralizeBayesDecisionTheoryby允許使用多于一個(gè)的特征(allowingtousemultifeatures)允許多于兩種類別狀態(tài)(allowingtousemorethattwostates)允許有其他行為而不僅僅是判定類別(allowingactionsratherthanchoosingstates)引入損失函數(shù)代替誤差概率(introducingalossfunctionratherthanprobabilityoferror)2.2.1基于最小錯(cuò)誤率的貝葉斯決策2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

x:featurevector(d×1)x

=[x1，x2，…，xd]T

狀態(tài)空間states(classes)

Ω由c個(gè)自然狀態(tài)(c類)組成。Ω={ω1，ω2，…ωc}actions(allowspossibilityofrejection)A

={，，…}lossfortakingactioniforstatej2.2幾種常用的決策規(guī)則

2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

根據(jù)貝葉斯公式，后驗(yàn)概率為其中2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

對(duì)于給定的x如果采取決策，從決策表可見，對(duì)應(yīng)于決策，可以在c個(gè)，j=1，…，c值中任取一個(gè)，其相應(yīng)概率為P(ωj|x)。因此在采取決策情況下的條件期望損失R(|x)為i=1，2，…，a

2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

定義期望風(fēng)險(xiǎn)R為期望風(fēng)險(xiǎn)R反映對(duì)整個(gè)特征空間上所有x的取值采取相應(yīng)的決策所帶來(lái)的平均風(fēng)險(xiǎn)；只是反映了對(duì)某一x的取值采取決策所帶來(lái)的風(fēng)險(xiǎn)。如果在采取每一個(gè)決策或行動(dòng)時(shí)，都使其條件風(fēng)險(xiǎn)最小，則對(duì)所有的x做出決策時(shí)，其期望風(fēng)險(xiǎn)也必然最小。最小風(fēng)險(xiǎn)貝葉斯決策2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則為如果則最小風(fēng)險(xiǎn)貝葉斯決策的實(shí)現(xiàn)步驟：2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

⑴在已知P(ωj)，p(x|ωj)，j=1，2…，c及給出待識(shí)別的x的情況下，根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率：j=1，2，…，c2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

⑵利用計(jì)算出的后驗(yàn)概率及決策表，按(2-15)計(jì)算出采取，i=1，2，…，a的條件風(fēng)險(xiǎn)R(|x)i=1，2，…，a2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

⑶對(duì)⑵中得到的a個(gè)條件風(fēng)險(xiǎn)值R(|x)，i=1，2，…，a

進(jìn)行比較，找出使條件風(fēng)險(xiǎn)最小的決策，即即就是最小風(fēng)險(xiǎn)貝葉斯決策。2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

舉例例2.2假設(shè)在某個(gè)局部地區(qū)細(xì)胞識(shí)別中正常(ω1)和異常(ω2)兩類先驗(yàn)概率分別為正常狀態(tài)：P(ω1)=0.9；異常狀態(tài)：P(ω2)=0.1?，F(xiàn)有一待識(shí)的細(xì)胞，其觀察值為x，從類條件概率密度分布曲線上查得p(x|ω1)=0.2，p(x|ω2)=0.4。損失函數(shù)分別為，，，。試對(duì)該細(xì)胞x按最小風(fēng)險(xiǎn)貝葉斯決策進(jìn)行分類。2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

——當(dāng)x∈ω1時(shí)決策為x∈ω1的損失，——當(dāng)x∈ω1時(shí)決策為x∈ω2的損失，——當(dāng)x∈ω2時(shí)決策為x∈ω2的損失，——當(dāng)x∈ω2時(shí)決策為x∈ω1的損失。2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

舉例解：已知條件為P(ω1)=0.9，P(ω2)=0.1，p(x|ω1)=0.2，p(x|ω2)=0.4，c=2，，，，。根據(jù)例2.1的計(jì)算結(jié)果可知后驗(yàn)概率為P(ω1|x)=0.818，

P(ω2|x)=0.1822.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

再按下式計(jì)算出條件風(fēng)險(xiǎn)由于2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

x∈ω2最小錯(cuò)誤率和最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則的關(guān)系。設(shè)損失函數(shù)為0－1損失函數(shù)i，j=1，2，…，c

2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

條件風(fēng)險(xiǎn)為表示對(duì)x采取決策ωi的條件錯(cuò)誤概率2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

的最小風(fēng)險(xiǎn)貝葉斯決策就等價(jià)于的最小錯(cuò)誤率貝葉斯決策。由此可見，最小錯(cuò)誤率貝葉斯決策就是在0－1損失函數(shù)條件下的最小風(fēng)險(xiǎn)貝葉斯決策。前者是后者的特例。在0—1損失函數(shù)時(shí)，使2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

有大量的方式來(lái)表述最小風(fēng)險(xiǎn)決策規(guī)則，每種都有自己的優(yōu)點(diǎn)。用后驗(yàn)概率的形式表述為，如果那么判決為ω1。2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

兩類分類問(wèn)題的最小風(fēng)險(xiǎn)貝葉斯決策通常，一次錯(cuò)誤判決所造成的損失比正確判決要大，且因子λ21-λ11和λ12-λ22都是正的。實(shí)踐中，盡管必須通過(guò)損失函數(shù)的差別對(duì)后驗(yàn)概率作調(diào)整，但是判決通常是依據(jù)最可能的類別狀態(tài)來(lái)決定的。利用貝葉斯公式，也可用先驗(yàn)概率和條件密度來(lái)表示后驗(yàn)概率，這種等價(jià)規(guī)則為：

如果那么判決為ω1。2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

兩類分類問(wèn)題的最小風(fēng)險(xiǎn)貝葉斯決策另一種表示方法是，在合理假設(shè)λ21>λ11的條件下，如果下式成立，則判決為ω1。這種判決規(guī)則的形式主要依賴于x的概率密度。2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

兩類分類問(wèn)題的最小風(fēng)險(xiǎn)貝葉斯決策2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策

2.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策在兩類別決策問(wèn)題中，有犯兩種錯(cuò)誤分類的可能性：(1)在采取決策ω1時(shí)其實(shí)際自然狀態(tài)為ω2；(2)在采取決策ω2時(shí)其實(shí)際自然狀態(tài)為ω1，這兩種錯(cuò)誤的概率分別是P(ω2)·P2(e)和P(ω1)·P1(e)。最小錯(cuò)誤率貝葉斯決策是使這兩種錯(cuò)誤率之和P(e)為最小。2.2幾種常用的決策規(guī)則

2.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策由于先驗(yàn)概率P(ω1)和P(ω2)對(duì)具體問(wèn)題來(lái)說(shuō)往往是確定的，所以一般稱P1(e)，P2(e)為兩類錯(cuò)誤率。實(shí)際中，有時(shí)要求限制其中某一類錯(cuò)誤率不得大于某個(gè)常數(shù)而使另一類錯(cuò)誤率盡可能地小。2.2幾種常用的決策規(guī)則

2.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策例如在癌細(xì)胞識(shí)別中，把異常誤判為正常的損失更為嚴(yán)重，所以常希望這種誤判的錯(cuò)誤率P2(e)很小，即P2(e)=ε0，ε0是一個(gè)很小的常數(shù)，在這種條件下再要求P1(e)盡可能地小。這樣的決策可看成是在P2(e)=ε0條件下，求P1(e)極小值的條件極值問(wèn)題。2.2幾種常用的決策規(guī)則

2.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策可以用求條件極值的拉格朗日(Lagrange)乘子法解決。拉格朗日乘子法是一種在等式約束條件下的優(yōu)化算法。基本思想是將等式的約束問(wèn)題轉(zhuǎn)化為無(wú)約束問(wèn)題。拉格朗日乘子法為：

2.2幾種常用的決策規(guī)則

=02.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策按Lagrange乘子法建立數(shù)學(xué)模型為2.2幾種常用的決策規(guī)則

目的是求γ的極小值已知根據(jù)類條件概率密度的性質(zhì)，有2.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策則2.2幾種常用的決策規(guī)則

對(duì)x和求導(dǎo)得2.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策2.2幾種常用的決策規(guī)則

滿足左式的最佳及滿足右式的邊界面就能使極小。此時(shí)其決策規(guī)則可以寫為如果

，則x∈ω2>ω1或如果

，則<ω2x∈ω12.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策與最小錯(cuò)誤率貝葉斯決策規(guī)則對(duì)比2.2幾種常用的決策規(guī)則

這種在限定一類錯(cuò)誤率為常數(shù)而使另一類錯(cuò)誤率最小的決策規(guī)則也稱Neyman-Pearson決策規(guī)則。則x∈<ω1ω22.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策2.2幾種常用的決策規(guī)則

可以看出Neyman-Pearson決策規(guī)則與最小錯(cuò)誤率貝葉斯決策規(guī)則都是以似然比為基礎(chǔ)的，所不同的只是最小錯(cuò)誤率決策用的閾值是先驗(yàn)概率之比P(ω2)/P(ω1)，而Neyman-Pearson決策用的閾值則是Lagrange乘子，類似地，最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則可以寫成似然比形式：即<2.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策2.2幾種常用的決策規(guī)則

但在高維時(shí)，求解邊界面是不容易的，這時(shí)可利用似然比密度函數(shù)來(lái)確定。似然比為l(x)=p(x|ω1)/p(x|ω2)，似然比密度函數(shù)為p(l|ω2)，求解的顯式解不容易求出。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

從最小錯(cuò)誤率或最小風(fēng)險(xiǎn)貝葉斯決策中可以看出其決策都是與先驗(yàn)概率P(ωi)有關(guān)的。如果對(duì)給定的x，其P(ωi)不變，按照貝葉斯決策規(guī)則，可以使錯(cuò)誤率或風(fēng)險(xiǎn)最小。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

但如果P(ωi)是可變的，或事先對(duì)先驗(yàn)概率毫無(wú)所知，若再按某個(gè)固定的P(ωi)條件下的決策規(guī)則來(lái)進(jìn)行決策就往往得不到最小錯(cuò)誤率或最小風(fēng)險(xiǎn)。極小化極大決策就是在考慮P(ωi)變化的情況下，如何使最大可能的風(fēng)險(xiǎn)為最小，也就是在最差的條件下爭(zhēng)取最好的結(jié)果。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

通常做出錯(cuò)誤決策總是比做出正確決策所帶來(lái)的損失要大，即及

再假定決策域R1和R2已確定，則風(fēng)險(xiǎn)R可按式得出2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

則2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

目的是要分析風(fēng)險(xiǎn)R與先驗(yàn)概率P(ω1)之間的關(guān)系。兩類情況下P(ω1)與P(ω2)應(yīng)滿足下式P(ω1)+P(ω2)=1目的是要分析風(fēng)險(xiǎn)R與先驗(yàn)概率P(ω1)之間的關(guān)系。兩類情況下P(ω1)與P(ω2)應(yīng)滿足下式2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

一旦R1和R2被確定，風(fēng)險(xiǎn)R就是先驗(yàn)概率P(ω1)的線性函數(shù)，即R=a+bP(ω1)2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

其中

=Rmm，極小化極大風(fēng)險(xiǎn)=0，對(duì)于極小化極大求解2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

在已知類概率密度函數(shù)，損失函數(shù)及某個(gè)確定的先驗(yàn)概率P(ω1)時(shí)，可以按最小風(fēng)險(xiǎn)貝葉斯決策找出兩類的分類決策面，把特征空間分割成兩部分R1和R2，使其風(fēng)險(xiǎn)為最小。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

在(0，1)區(qū)間內(nèi)，對(duì)先驗(yàn)概率P(ω1)取若干個(gè)不同的值，分別按最小風(fēng)險(xiǎn)貝葉斯決策確定其相應(yīng)的決策域，從而計(jì)算出其相應(yīng)的最小風(fēng)險(xiǎn)R，這樣就得出最小貝葉斯風(fēng)險(xiǎn)R與先驗(yàn)概率P(ω1)的關(guān)系曲線，如圖2.4的曲線部分所示。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

在(0，1)區(qū)間內(nèi)，對(duì)應(yīng)直線方程：R=a+bP(ω1)，風(fēng)險(xiǎn)值在(a，a+b)的范圍變化，其最大風(fēng)險(xiǎn)為a+b。R*a2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

在(0，1)區(qū)間內(nèi)，那么風(fēng)險(xiǎn)R就為如果在某個(gè)P(ω1)情況下，能找出其決策域使P(ω1)的系數(shù)b=0，即2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

在(0，1)區(qū)間內(nèi)，紅線表明不管P(ω1)作什么變化，其風(fēng)險(xiǎn)都不再變化，其最大風(fēng)險(xiǎn)也等于a，這時(shí)就使最大風(fēng)險(xiǎn)最小。R*b2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

結(jié)論：在作最小風(fēng)險(xiǎn)貝葉斯決策時(shí)，若考慮P(ω1)有可能改變或?qū)ο闰?yàn)概率毫無(wú)所知的情況，則應(yīng)選擇使最小貝葉斯風(fēng)險(xiǎn)R*為最大值時(shí)的P*(ω1)來(lái)設(shè)計(jì)分類器，即對(duì)應(yīng)于圖2.4(b)中的B點(diǎn)，其風(fēng)險(xiǎn)Rb*相對(duì)于其他的P(ω1)為最大，而能保證在不管P(ω1)如何變化時(shí)，使最大風(fēng)險(xiǎn)將為最小，將這樣的決策稱為極小化極大決策。2.2.4極小化極大決策2.2幾種常用的決策規(guī)則

因此，極小化極大決策的任務(wù)就是尋找使貝葉斯風(fēng)險(xiǎn)為最大時(shí)的決策域R1和R2，它對(duì)應(yīng)于積分方程的解。用極小化極大決策進(jìn)行分類是偏于保守的分類方法。2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

前面所講方法中都認(rèn)為d個(gè)特征都同時(shí)給出且不考慮獲取特征所花的代價(jià)。有些實(shí)際問(wèn)題(如醫(yī)療診斷)中特征的獲取要花一定代價(jià)，這樣除了錯(cuò)分會(huì)造成損失外還應(yīng)考慮獲取特征所花的代價(jià)。可能會(huì)有這樣的情況，獲取了k個(gè)特征(k<d)后就做判決分類更為合理。2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

這是因?yàn)槠溆郿-k個(gè)特征的加入使分類錯(cuò)誤降低而造成的代價(jià)減少補(bǔ)償不了獲取這些特征所花費(fèi)的代價(jià)。解決上述問(wèn)題的方法可用序貫分類方法，就是先用一部分特征來(lái)分類，逐步加入特征以減少分類損失。而每步都要衡量加入新特征所花代價(jià)與所降低分類損失的大小，以便決定是繼續(xù)再加新特征還是停止。2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

為此可以分別計(jì)算停止損失ρs

和繼續(xù)損失ρc

并加以比較。設(shè)觀測(cè)了k個(gè)特征得到取值分別為，，…，停止損失是：2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

假設(shè)觀測(cè)第k+1個(gè)特征所需要的代價(jià)是g(k+l)而在條件，，…，下第k+1步的最小代價(jià)的期望值是：則在第k步的繼續(xù)損失是2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

這里第k步的最小代價(jià)由下式定義：由此可得

2.2.5序貫分類方法

2.2幾種常用的決策規(guī)則

顯然，為了計(jì)算必須計(jì)算第k+1步的最小損失，依此類推，直到首先應(yīng)求出

才能得到第k步的最小損失。當(dāng)停止損失等于最小損失時(shí)就做出分類決策。2.2.6分類器、判別函數(shù)及判定面㈠多類情況⒈判別函數(shù)有很多方式表述分類器，其中用的最多的是一組判別函數(shù)gi(x)，i=1,2，…，c。用于表示多類決策規(guī)則：如果使gi(x)>gj(x)對(duì)一切j≠i成立，則將x歸于ωi類。2.2幾種常用的決策規(guī)則

㈠多類情況貝葉斯分類器可以簡(jiǎn)單自然地表示成這種形式：在最小錯(cuò)誤率的情況下，gi(x)可定義為：⑴

gi(x)=

P(ωi|x)⑵gi(x)=

p(x|ωi)P(ωi)⑶

gi(x)=lnp(x|ωi)+lnP(ωi)2.2.6分類器、判別函數(shù)及判定面㈠多類情況⒉決策面方程

各決策域Ri被決策面所分割，這些決策面是特征空間中的超曲面，相鄰的兩個(gè)決策域在決策面上其判別函數(shù)值是相等的，如圖2-5所示。如果Ri和Rj是相鄰的，則分割它們的決策面方程應(yīng)滿足

gi(x)=

gj(x)2.2.6分類器、判別函數(shù)及判定面㈠多類情況圖2.5(a)一維情況決策面為分界點(diǎn)p(x|ω1)P(ω1)p(x|ω2)P(ω2)p(x|ω3)P(ω3)xR1R3R2R3決策邊界2.2.6分類器、判別函數(shù)及判定面⒉決策面方程

㈠多類情況2.2.6分類器、判別函數(shù)及判定面⒉決策面方程

㈠多類情況圖2-6在這個(gè)二維的兩類問(wèn)題的分類器中，概率密度為高斯分布，判決邊界由兩個(gè)雙曲線構(gòu)成，因此判決區(qū)域R2并非是簡(jiǎn)單的連通的。橢圓輪廓線標(biāo)記出1/e乘以概率密度的峰值⒊分類器設(shè)計(jì)分類器可看成是由硬件或軟件組成的一個(gè)“機(jī)器”。它的功能是先計(jì)算出c個(gè)判別函數(shù)gi，再?gòu)闹羞x出對(duì)應(yīng)于判別函數(shù)為最大值的類作為決策結(jié)果，下圖用框圖形式表示了這種分類器。很多由軟件組成的分類器已經(jīng)模塊化。2.2.6分類器、判別函數(shù)及判定面㈠多類情況2.2.6分類器、判別函數(shù)及判定面⒊分類器設(shè)計(jì)㈠多類情況分類器的網(wǎng)絡(luò)結(jié)構(gòu)㈡兩類問(wèn)題

⒈判別函數(shù)在兩類情況下。僅定義一個(gè)判別函數(shù)g(x)=g1(x)－g2(x)并將決策規(guī)則表示為如果

g(x)>0，則決策ω1；g(x)<0，則決策ω2。顯然，可定義出如下的判別函數(shù)：⑴

g(x)=P(ω1|x)－P(ω2|x)⑵

g(x)=p(x|ω1

)P(ω1)－p(x|ω2)P(ω2)⑶2.2.6分類器、判別函數(shù)及判定面㈡兩類問(wèn)題⒉決策面方程決策面方程

g(x)=0相應(yīng)于前面(2)的決策面方程為p(x|ω1)P(ω1)－p(x|ω2

)P(ω2)=0其它可類似得出。2.2.6分類器、判別函數(shù)及判定面㈡兩類問(wèn)題

⒊分類器設(shè)計(jì)兩類分類器可看作只是計(jì)算判別函數(shù)g(x)的一個(gè)"機(jī)器"。它根據(jù)計(jì)算結(jié)果的符號(hào)將x分類，其結(jié)構(gòu)框圖如2.7所示。判別計(jì)算閾值單元gx1x2xd+1ω1－1ω2決策圖2.7+1-12.2.6分類器、判別函數(shù)及判定面㈡兩類問(wèn)題

例2.3對(duì)例2.1，2.2分別寫出其判別函數(shù)和決策面方程。解:⑴對(duì)例2.1利用前面式中的(2)g(x)=p(x|ω1

)P(ω1)－p(x|ω2)P(ω2)其對(duì)應(yīng)的判別函數(shù)為g(x)=0.9p(x|ω1

)－0.1p(x|ω2

)決策面方程為g(x)=0即9p(x|ω1)－p(x|ω2)=02.2.6分類器、判別函數(shù)及判定面⑵對(duì)例2.2，判別函數(shù)可定義為故其判別函數(shù)為而

g(x)=0.9p(x|ω1)－0.6p(x|ω2

)決策面方程為g(x)=0即9p(x|ω1)－6p(x|ω2

)=02.2.6分類器、判別函數(shù)及判定面練習(xí)題⒈在兩類問(wèn)題中，遵循貝葉斯規(guī)則的條件誤差率由式(7)

P(error|x)=min[P(ω1|x)，P(ω2|x)]給出，盡管后驗(yàn)概率是連續(xù)的，當(dāng)用式(5)2.2.1基于最小錯(cuò)誤率的貝葉斯決策計(jì)算總誤差時(shí)，這種形式的條件誤差率實(shí)際將導(dǎo)致一個(gè)不連續(xù)的被積函數(shù)。(a)證明對(duì)任意密度，可將(7)式替換成P(error|x)=2P(ω1|x)P(ω2|x)的積分，且可獲得總誤差率的上界。(b)證明如果對(duì)任給α<2，使用P(error|x)=αP(ω1|x)P(ω2|x)，那么將不能保證此積分給出一個(gè)誤差率的上界。(c)類似地，證明可以用P(error|x)=P(ω1|x)P(ω2|x)獲得總誤差率的下界。(d)證明如果用對(duì)任給β>1，使用P(error|x)=βP(ω1|x)P(ω2|x)，那么將不能保證此積分可以得到一個(gè)誤差率的下界。2.2.1基于最小錯(cuò)誤率的貝葉斯決策解：(a)假設(shè)沒(méi)有一般的損失，對(duì)于給定的x，P(ω2|x)≥P(ω1|x)，則P(error|x)=P(ω1|x)，因?yàn)镻(ω1|x)＝1－P(ω2|x)，意味著P(ω2|x)≥1/2或2P(ω2|x)≥1，2P(ω2|x)P(ω1|x)>P(ω1|x)=P(error|x)則對(duì)于任意x，遵從積分2.2.1基于最小錯(cuò)誤率的貝葉斯決策所以2P(ω1|x)P(ω2|x)為P(error|x)提供了上界。解：(b)從(a)知P(ω2|x)>1/2，對(duì)于α<2，P(ω2|x)不大于1/α。如α＝4/3、P(ω1|x)＝0.4和P(ω2|x)=0.6。此時(shí)P(error|x)＝P(ω1|x)＝0.4。則αP(ω