貝葉斯決策理論第二章

貝葉斯決策理論第二章第二章

貝葉斯決策理論

§2.1基于最小錯(cuò)誤率的貝葉斯判別法§2.2基于貝葉斯公式的幾種判別規(guī)則§2.3正態(tài)分布模式的統(tǒng)計(jì)決策§2.4概率密度函數(shù)的估計(jì)§2.5貝葉斯分類器的錯(cuò)誤概率2第二章

貝葉斯決策理論

模式識(shí)別的分類問題就是根據(jù)待識(shí)客體的特征向量值及其它約束條件將其分到各個(gè)類別中去。貝葉斯決策理論是處理模式分類問題的基本理論之一。貝葉斯分類器在統(tǒng)計(jì)模式識(shí)別中被稱為最優(yōu)分類器。貝葉斯分類器分類器必須滿足下列兩個(gè)先決條件：1，要決策分類的類別數(shù)是一定的；2，各類別總體的概率分布是已知的。3§2.1

基于最小錯(cuò)誤率的貝葉斯判別法

Bayes分類器—最優(yōu)分類器、最佳分類器一、兩類問題例如：細(xì)胞識(shí)別問題

ω1正常細(xì)胞，ω2異常細(xì)胞某地區(qū)，經(jīng)大量統(tǒng)計(jì)獲先驗(yàn)概率P(ω1),P(ω2)

若取該地區(qū)某人細(xì)胞x屬何種細(xì)胞，只能由先驗(yàn)概率決定。4對(duì)x再觀察：有細(xì)胞光密度特征,其類條件概率密度:P(x/ω?)?=1,2,…。如圖所示通過對(duì)細(xì)胞的再觀察，就可以把先驗(yàn)概率轉(zhuǎn)化為后驗(yàn)概率，利用后驗(yàn)概率可對(duì)未知細(xì)胞x進(jìn)行識(shí)別。利用貝葉斯公式：5設(shè)N個(gè)樣本分為兩類ω1，ω2。每個(gè)樣本抽出n個(gè)特征，

x=（x1，

x2，

x3，…，

xn）T

1、判別函數(shù)：若已知先驗(yàn)概率P(ω1),P(ω2)，類條件概率密度P(x/ω1)，

P(x/ω2)。則可得貝葉斯判別函數(shù)四種形式：62、決策規(guī)則：7

3、決策面方程：g(x)=0

x為一維時(shí)，決策面為一點(diǎn)，x為二維時(shí)決策面為曲線，x為三維時(shí)，決策面為曲面，x大于三維時(shí)決策面為超曲面。例：某地區(qū)細(xì)胞識(shí)別；P(ω1)=0.9，P(ω2)=0.1未知細(xì)胞x，先從類條件概率密度分布曲線上查到：解：該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞，先計(jì)算后驗(yàn)概率：P(x/ω1)=0.2，

P(x/ω2)=0.48g(x)閾值單元4、分類器設(shè)計(jì)：9二、多類情況：ω?=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn)

1.判別函數(shù)：M類有M個(gè)判別函數(shù)g1(x),g2(x),…,gm(x).每個(gè)判別函數(shù)有上面的四種形式。

2.決策規(guī)則：另一種形式：3、決策面方程：10g1(x)Maxg(x)g2(x)gn(x)4、分類器設(shè)計(jì)：貝葉斯公式可以有幾種形式的判別法則，針對(duì)具體問題可以選取合適的形式。不管選取何種形式，其基本思想均是要求判別歸屬時(shí)依概率最大作出決策，這樣的結(jié)果就是分類的錯(cuò)誤率最小。貝葉斯分類器遵循最小錯(cuò)誤貝斯決策規(guī)則

11很明顯，各類別在多維特征空間中為決策面或界面所分割。這些決策面是特征空間中的超曲面。相鄰的兩個(gè)類別在決策面上的判別函數(shù)值是相等的。如果ωi和ωj是相鄰的，則分割它們的決策面就應(yīng)為di(x)=dj(x)或di(x)-dj(x)=0對(duì)于兩類問題，決策面方程：P(x|ω1)P(ω1)-P(x|ω2)P(ω2)=012§2.2基于貝葉斯公式的幾種判別規(guī)則一、基于最小風(fēng)險(xiǎn)的貝葉斯決策在某些情況下，引入風(fēng)險(xiǎn)的概念，以求風(fēng)險(xiǎn)最小的決策則更為合理。例如對(duì)癌細(xì)胞的識(shí)別，要判斷某人是正常(ω1)還是患者(ω2),在判斷中可能出現(xiàn)以下情況：判對(duì)(正常→正常)λ11；判錯(cuò)(正?！惓?λ21；判對(duì)(異?！惓?λ22；判錯(cuò)(異?！?λ12。風(fēng)險(xiǎn)的概念比錯(cuò)誤率似乎更恰當(dāng)。識(shí)別的正確與否，直接關(guān)系到病人的身體甚至生命。風(fēng)險(xiǎn)的概念常與損失相聯(lián)系，損失則用損失函數(shù)表示。131.損失函數(shù)：損失函數(shù)公式：意義：表示當(dāng)處于狀態(tài)時(shí)且采取決策所帶來的損失。損失函數(shù)λii=λ(αi/ωi)表示模式X本來屬于ωi類而錯(cuò)判為ωi所受損失。因?yàn)檫@是正確判決，故損失最小。損失函數(shù)λij=λ(αi/ωj)表示模式X本來屬于ωj類錯(cuò)判為ωi所受損失。因?yàn)檫@是錯(cuò)誤判決，故損失最大。14

狀態(tài)損失決策ω1

ω2

…

ωj

…

ωm

α1

…

…

α2…

…

…

…

αi…

…

…

…

αα…

…

表示：在決策論中，常以決策表表示各種情況下的決策損失。152.風(fēng)險(xiǎn)R（期望損失）：

對(duì)未知x采取判決行動(dòng)α(x)所付出的代價(jià)（損耗）行動(dòng)αi：表示把模式x判決為ωi類的一次動(dòng)作。條件風(fēng)險(xiǎn)：

將模式x判屬某類所造成的損失的條件數(shù)學(xué)期望。

已知先驗(yàn)概率P(ωj)及類條件概率密度P(x|ωj)，

j=1,2,…m。根據(jù)貝葉斯公式，后驗(yàn)概率為其中

當(dāng)引入“損失”的概念，考慮錯(cuò)判所造成的損失時(shí)，就不能只根據(jù)后驗(yàn)概率的大小來作決策，而必須考慮所采取的決策是否使損失最小。16對(duì)于給定的x，如果采取決策，從決策表可見，對(duì)應(yīng)于決策，可以在m個(gè),j=1,2,…m當(dāng)中任取一個(gè)，其相應(yīng)概率為P(ωj|x)。因此在采取決策情況下的條件期望損失即條件風(fēng)險(xiǎn)為：條件風(fēng)險(xiǎn)R(αi|x)只反映對(duì)某一x的取值采取決策αi所帶來的風(fēng)險(xiǎn)?？梢杂脕砼袆e分類。17期望風(fēng)險(xiǎn)R式中dx是特征空間的體積元，積分在整個(gè)特征空間進(jìn)行。（在整個(gè)特征空間中定義期望風(fēng)險(xiǎn)）。期望風(fēng)險(xiǎn)R反映對(duì)整個(gè)特征空間所有x的取值采取相應(yīng)的決策α(x)所帶來的平均風(fēng)險(xiǎn)。對(duì)于x的不同觀察值，采取決策αi時(shí)，其條件風(fēng)險(xiǎn)的大小是不同的。所以，究竟采取哪一種決策將隨x的取值而定。決策α可以看成隨機(jī)向量x的函數(shù)，記為α(x)。184.最小風(fēng)險(xiǎn)貝葉斯決策思想：分類識(shí)別決策時(shí)，根據(jù)類的概率和概率密度，考慮誤判的損失代價(jià)。決策應(yīng)是統(tǒng)計(jì)意義上使由于誤判而蒙受的損失最小。如果在采取每一個(gè)決策或行動(dòng)時(shí)，都使其條件風(fēng)險(xiǎn)最小，則對(duì)所有的x作出決策時(shí)，其期望風(fēng)險(xiǎn)也必然最小。（條件平均損失最小的判決也必然使總的平均損失最小。）195.最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則如果：

206.判決實(shí)施步驟：（1）在已知P(ωj),P(x|ωj),j=1,2,…m，并給出待識(shí)別的x的情況下，根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率：

j=1,2,…m（2）利用計(jì)算出的后驗(yàn)概率及決策表，計(jì)算出采取αi(i=1,2,…α)的條件風(fēng)險(xiǎn)。

（3）按確定αk

--最小風(fēng)險(xiǎn)貝葉斯決策

21最小風(fēng)險(xiǎn)貝葉斯決策除了要有符合實(shí)際情況的先驗(yàn)概率P(ωj)及類條件概率密度P(x|ωj)外，還必須要有合適的損失函數(shù)

。實(shí)際工作中要列出合適的決策表很不容易，往往要根據(jù)所研究的具體問題，分析錯(cuò)誤決策造成損失的嚴(yán)重程度來確定。227.錯(cuò)誤率最小的貝葉斯決策規(guī)則與風(fēng)險(xiǎn)最小的貝葉斯決策規(guī)則的聯(lián)系在采用0-1損失函數(shù)時(shí)，最小風(fēng)險(xiǎn)貝葉斯決策就等價(jià)于最小錯(cuò)誤率貝葉斯決策。

0-1損失函數(shù)

對(duì)于正確決策（即i=j），=0，就是說沒有損失；而對(duì)于任何錯(cuò)誤決策，其損失均為123二類問題：把x歸于ω1時(shí)風(fēng)險(xiǎn)：把x歸于ω2時(shí)風(fēng)險(xiǎn)：2425二、聶曼-皮爾遜決策法（N-P判決）

1.問題的提出：(1)某些二類判決問題，某一種錯(cuò)誤較另一種錯(cuò)誤更為重要—危害更為嚴(yán)重。(2)先驗(yàn)概率未知。2.基本思想：嚴(yán)格限制較重要的一類錯(cuò)誤概率，在令其等于某常數(shù)的約束下使另一類誤判概率最小。26例如在癌細(xì)胞識(shí)別中，我們已經(jīng)認(rèn)識(shí)到把異常誤判為正常的損失更為嚴(yán)重，常常要求這種誤判為錯(cuò)誤率P2(e)很小，即P2(e)=是一個(gè)很小的常數(shù)，在這種條件下再要求P1(e)即把正常誤判為異常的錯(cuò)誤率盡可能地小。所以這樣的決策可看成是在P2(e)=0條件下，求P1(e)極小值的條件極值問題。273.決策規(guī)則

按Lagrange乘子法建立如下數(shù)學(xué)模型：r=P1(e)+(P2(e)-0)R1是類別ω1的區(qū)域，R2是類別ω2的區(qū)域，而R1+R2=Rs，Rs為整個(gè)特征空間。也就是說，決策作出之后，整個(gè)特征空間分割成不相交的兩個(gè)區(qū)域R1和R2，若樣本x落入R1，就判定屬于ω1類，反之則屬于ω2類。根據(jù)類條件概率密度的性質(zhì)，有：

28由此式分別對(duì)x和求導(dǎo)，令

有滿足的最佳值和滿足的邊界面就能使r極小。29N-P決策規(guī)則

如果：則：N-P決策規(guī)則歸結(jié)為找閾值。304.最小錯(cuò)誤率貝葉斯決策規(guī)則與N-P決策聶曼——皮爾遜決策規(guī)則與最小錯(cuò)誤率貝葉斯決策規(guī)則都是以似然比為基礎(chǔ)的，所不同的只是最小錯(cuò)誤率決策所用的閾值是先驗(yàn)概率之比P(ω2)/P(ω1)，而聶曼——皮爾遜決策所用的閾值則是Lagrange乘子。31例：兩類的模式分布為二維正態(tài)協(xié)方差矩陣為單位矩陣∑1=∑2=I，設(shè)ε2＝0.09求聶曼皮爾遜準(zhǔn)則.解：3233所以此時(shí)聶曼——皮爾遜分類器的分界線為：由圖可知為保證ε2足夠小，邊界應(yīng)向ω1一側(cè)靠，則ε1↑λ與ε2的關(guān)系表如右：λ421??ε20.040.090.160.250.3834三、最小最大決策

如果對(duì)給定的x，其P(ωi)不變，按照貝葉斯決策規(guī)則，可以使錯(cuò)誤率最小或風(fēng)險(xiǎn)最小。但如果P(ωi)是可變的，或事先對(duì)先驗(yàn)概率毫無所知，若再按某個(gè)固定的P(ωi)條件下的決策規(guī)則來進(jìn)行決策就往往得不到最小錯(cuò)誤率或最小風(fēng)險(xiǎn)。

最小最大決策討論在P(ωi)變化時(shí)如何使最大可能風(fēng)險(xiǎn)最小。35二類問題:假定損失函數(shù)—當(dāng)時(shí)，決策為的損失，—當(dāng)時(shí)，決策為的損失，則為時(shí)決策和的損失。通常作出錯(cuò)誤決策總是比作出正確決策所帶來的損失要大，即再假定兩類區(qū)域Ω1和Ω2已確定，則風(fēng)險(xiǎn)R與先驗(yàn)概率P(ω1)關(guān)系:36先驗(yàn)概率P(ω1)與風(fēng)險(xiǎn)R間的變化關(guān)系如下：37風(fēng)險(xiǎn)值在（a,a+b）的范圍內(nèi)變化，其最大風(fēng)險(xiǎn)為a+b。

38這樣，就得出最小風(fēng)險(xiǎn)與先驗(yàn)概率的關(guān)系曲線，如圖所示：39上式證明，所選的判別邊界，使兩類的錯(cuò)誤概率相等：這時(shí)可使最大可能的風(fēng)險(xiǎn)為最小，這時(shí)先驗(yàn)概率變化，其風(fēng)險(xiǎn)不變40迄今為止所討論的分類問題，關(guān)于待分類樣本的所有信息都是一次性提供的。但是，在許多實(shí)際問題中，觀察實(shí)際上是序貫的。隨著時(shí)間的推移可以得到越來越多的信息。假設(shè)對(duì)樣品進(jìn)行第i次觀察獲取一序列特征為：X=(x1,x2,…,xi)T則對(duì)于ω1，ω2兩類問題,若X∈ω1，則判決完畢若X∈ω2，則判決完畢若X不屬ω1也不屬ω2