貝葉斯決策理論

1、概率論基礎(chǔ)知識概率論基礎(chǔ)知識貝葉斯決策基礎(chǔ)知識貝葉斯決策基礎(chǔ)知識基于最小錯誤率的貝葉斯決策基于最小錯誤率的貝葉斯決策基于最小風(fēng)險的貝葉斯決策基于最小風(fēng)險的貝葉斯決策正態(tài)分布時的統(tǒng)計決策正態(tài)分布時的統(tǒng)計決策貝葉斯分類器設(shè)計貝葉斯分類器設(shè)計小結(jié)小結(jié)概率論基礎(chǔ)知識概率論基礎(chǔ)知識 【概率論基礎(chǔ)知識】(1)(1)離散隨機(jī)變量離散隨機(jī)變量 (2)(2)數(shù)學(xué)期望數(shù)學(xué)期望(3)(3)二階矩與方差二階矩與方差(4)(4)成對離散隨機(jī)變量成對離散隨機(jī)變量(5)(5)統(tǒng)計獨(dú)立性統(tǒng)計獨(dú)立性 (6)(6)條件概率條件概率(7)(7)全概率全概率(8)(8)貝葉斯公式貝葉斯公式【概率論基礎(chǔ)知識】(1)(1)離散隨機(jī)變量離

2、散隨機(jī)變量(2)(2)數(shù)學(xué)期望數(shù)學(xué)期望12,.,nx xx 10 1iirimiiiPP xP xxPP 1miiiuE xx P 1miiiE fxfxP 1 1221122E a fxa fxa E fxa E fx【概率論基礎(chǔ)知識】 (3)(3)二階矩與方差二階矩與方差(4)(4)成對離散隨機(jī)變量成對離散隨機(jī)變量 221miiiE xx P 2222221,miiiE xuxuPE xE x1212,.,.,nnXx xxYy yy設(shè)x,y是離散隨機(jī)變量 11,0,1.ijijrijmnijijijPP x yP xx yyPP 11,njjmiiP xP x yP yP x y【概率論

3、基礎(chǔ)知識】(5)(5)統(tǒng)計獨(dú)立性統(tǒng)計獨(dú)立性 ,xyP x yP x Py（6 6）兩個隨機(jī)變量函數(shù)的數(shù)學(xué)期望）兩個隨機(jī)變量函數(shù)的數(shù)學(xué)期望 11,mnijijijEf x yf x yP x y11221122,E a fx ya fx ya Efx ya Efx y 11mnxiijijuE xx P 11mnyjijijuE yy P2211mnxxixijijExuxuP2211mnyyjyijijEyuyuP11mnxyxyixjyijijExuyuxuyuP【概率論基礎(chǔ)知識】 (7)(7)條件概率條件概率(8)(8)全概率全概率 ,p x yP x yp y 1,miip yp x y

4、 ,|,|p x yP y x P xp y xP x y P y ,p x yp y x 11| ,| |miimiiiP y x P xP x y P yp y x p xP x yp yp y x p xp x yp y x p xp y xp x |P x yP y x P x (9)(9)貝葉斯公式貝葉斯公式概率論基礎(chǔ)知識貝葉斯決策基礎(chǔ)知識基于最小錯誤率的貝葉斯決策基于最小風(fēng)險的貝葉斯決策貝葉斯分類器設(shè)計正態(tài)分布時的統(tǒng)計決策小結(jié)貝葉斯決策基礎(chǔ)知識貝葉斯決策基礎(chǔ)知識2.1 引言數(shù)據(jù)獲取數(shù)據(jù)獲取預(yù)處理預(yù)處理特征提取特征提取與選擇與選擇分類決策分類決策分類器分類器設(shè)計設(shè)計信號空間信號空間特

5、征空間特征空間【引言】基本概念 模式分類：根據(jù)識別對象的觀測值確定其類別 樣本與樣本空間表示：12,Tnnx xxRxx12,ic u類別與類別空間：c個類別（類別數(shù)已知）【引言】決策u把樣本x x分到哪一類分到哪一類最合理最合理？解決該問題的？解決該問題的理論基礎(chǔ)之一是統(tǒng)計決策理論u決策：是從樣本空間S，到?jīng)Q策空間的一個映射，表示為 D D: S - : S - 【引言】 評價決策有多種標(biāo)準(zhǔn)，對于同一個問題，采用不同的標(biāo)準(zhǔn)會得到不同意義下“最優(yōu)”的決策。 Bayes決策常用的準(zhǔn)則：最小錯誤率準(zhǔn)則最小風(fēng)險準(zhǔn)則在限定一類錯誤率條件下使另一類錯誤率為最小的準(zhǔn)則最小最大決策準(zhǔn)則【貝葉斯決策基礎(chǔ)知識】

6、貝葉斯決策理論貝葉斯決策理論先驗概率：后驗概率：類條件概率：貝葉斯公式：iPiPxiPx iiiPPPPxxx概率論基礎(chǔ)知識貝葉斯決策基礎(chǔ)知識基于最小錯誤率的貝葉斯決策基于最小風(fēng)險的貝葉斯決策貝葉斯分類器設(shè)計正態(tài)分布時的統(tǒng)計決策小結(jié)基于最小錯誤率的貝基于最小錯誤率的貝葉斯決策葉斯決策【基于最小錯誤率的貝葉斯決策】最小錯誤率的貝葉斯準(zhǔn)則：最小錯誤率的貝葉斯準(zhǔn)則：概念：概念：在模式分類問題中，人們往往希望盡量減少分類錯誤，使錯在模式分類問題中，人們往往希望盡量減少分類錯誤，使錯誤率最小的分類規(guī)則，稱為基于最小錯誤率的貝葉斯決策誤率最小的分類規(guī)則，稱為基于最小錯誤率的貝葉斯決策。1,2(| )max

7、(| )ijjPxPx（1）ix1,2( |) ()max( |) ()iijjjp xPp xPix（2）1221( |)()( )( |)()p xPl xp xP1x1221( |)()( )( |)()p xPl xp xP2x（3）21()()PP( )l x為似然比， 為似然比閾值。 其中，【基于最小錯誤率的貝葉斯決策】 1122()( )ln ( )ln( |)ln( |)ln()Ph xl xp xp xP 1122()( )ln ( )ln( |)ln( |)ln()Ph xl xp xp xP （4）1x2x【基于最小錯誤率的貝葉斯決策】 【基于最小錯誤率的貝葉斯決策】【基

8、于最小錯誤率的貝葉斯決策】錯誤率證明錯誤率證明 【基于最小錯誤率的貝葉斯決策】【基于最小錯誤率的貝葉斯決策】多類問題多類問題 概率論基礎(chǔ)知識貝葉斯決策基礎(chǔ)知識基于最小錯誤率的貝葉斯決策基于最小風(fēng)險的貝葉斯決策貝葉斯分類器設(shè)計正態(tài)分布時的統(tǒng)計決策小結(jié)基于最小風(fēng)險的貝葉基于最小風(fēng)險的貝葉斯決策斯決策【基于最小風(fēng)險的貝葉斯決策】概念概念 決策決策決策空間決策空間 前面所講的錯誤率達(dá)到最小。在某些實(shí)際應(yīng)用中，最小錯前面所講的錯誤率達(dá)到最小。在某些實(shí)際應(yīng)用中，最小錯誤率的貝葉斯準(zhǔn)則并不適合。以癌細(xì)胞識別為例，診斷中如誤率的貝葉斯準(zhǔn)則并不適合。以癌細(xì)胞識別為例，診斷中如果把正常細(xì)胞判為癌癥細(xì)胞，固然會給病

9、人精神造成傷害，果把正常細(xì)胞判為癌癥細(xì)胞，固然會給病人精神造成傷害，但傷害有限；相反地，若把癌癥細(xì)胞誤判為正常細(xì)胞，將會但傷害有限；相反地，若把癌癥細(xì)胞誤判為正常細(xì)胞，將會使早期的癌癥患者失去治療的最佳時機(jī)，造成驗證的后果。使早期的癌癥患者失去治療的最佳時機(jī)，造成驗證的后果?！净谧钚★L(fēng)險的貝葉斯決策】數(shù)學(xué)描述數(shù)學(xué)描述 【基于最小風(fēng)險的貝葉斯決策】期望風(fēng)險：期望風(fēng)險：條件期望損失：條件期望損失：目的：期望風(fēng)險最小化目的：期望風(fēng)險最小化1(| )(,)(,) (| ),1,2,.,ciijijjjRxEPx ia ( ( )| ) ( )RRxx p x dx【基于最小風(fēng)險的貝葉斯決策】最小風(fēng)險

10、貝葉斯決策規(guī)則最小風(fēng)險貝葉斯決策規(guī)則: : 1,2,.,(| )min(| )kiiaRxRxka【基于最小風(fēng)險的貝葉斯決策】算法步驟算法步驟: : 【基于最小風(fēng)險的貝葉斯決策】例題例題2:2: 【基于最小風(fēng)險的貝葉斯決策】【基于最小錯誤率的貝葉斯決策與最小風(fēng)險的貝葉斯決策的關(guān)系】定理：定理：0-10-1風(fēng)險風(fēng)險 1,2,.,11(| )min(| )ccjjicjjj kj iPxPx1,2,.,1(| )min 1(| )kiicPxPx1,2,.,(| )max(| )kiicPxPx證明：證明：概率論基礎(chǔ)知識貝葉斯決策基礎(chǔ)知識基于最小錯誤率的貝葉斯決策基于最小風(fēng)險的貝葉斯決策正態(tài)分布時

11、的統(tǒng)計決策貝葉斯分類器設(shè)計小結(jié)正態(tài)分布時的統(tǒng)計決策正態(tài)分布時的統(tǒng)計決策【貝葉斯決策基礎(chǔ)知識】貝葉斯決策理論貝葉斯決策理論先驗概率：后驗概率：類條件概率：貝葉斯公式：iPiPxiPx iiiPPPPxxx【兩種貝葉斯決策】最小錯誤率的貝葉斯準(zhǔn)則：最小錯誤率的貝葉斯準(zhǔn)則：1,2(| )max(| )ijjPxPx（1）ix1,2( |) ()max( |) ()iijjjp xPp xPix（2）1221( |)()( )( |)()p xPl xp xP1x1221( |)()( )( |)()p xPl xp xP2x（3）21()()PP( )l x為似然比， 為似然比閾值。 其中，最小風(fēng)險

12、貝葉斯決策規(guī)則最小風(fēng)險貝葉斯決策規(guī)則: :1,2,.,(| )min(| )kiiaRxRxka【正態(tài)分布時的統(tǒng)計決策】 為什么要用正態(tài)分布函數(shù)？為什么要用正態(tài)分布函數(shù)？ 1. 1. 物理上的合理性物理上的合理性 對于許多實(shí)際的數(shù)據(jù)集，正態(tài)性假設(shè)是一種合理的近似。對于許多實(shí)際的數(shù)據(jù)集，正態(tài)性假設(shè)是一種合理的近似。2. 2. 數(shù)學(xué)上比較簡便數(shù)學(xué)上比較簡便 正態(tài)分布概率模型有很好的性質(zhì)，有利于做數(shù)學(xué)分析。正態(tài)分布概率模型有很好的性質(zhì)，有利于做數(shù)學(xué)分析?！菊龖B(tài)分布時的統(tǒng)計決策】 1. 1. 單變量正態(tài)分布單變量正態(tài)分布單變量正態(tài)分布概率密度定義為單變量正態(tài)分布概率密度定義為211( )exp22xp

13、 x ( )E xxp x dx22()( )xp x dx圖圖 單變量正態(tài)分布單變量正態(tài)分布( )0 (-)p xx ( )1p x dx概率密度函數(shù)應(yīng)滿足下列關(guān)系式概率密度函數(shù)應(yīng)滿足下列關(guān)系式【正態(tài)分布時的統(tǒng)計決策】1. 1. 單變量正態(tài)分布單變量正態(tài)分布圖圖 單變量正態(tài)分布單變量正態(tài)分布2.2.多元正態(tài)分布多元正態(tài)分布（1 1）多元正態(tài)分布的概率密度函數(shù)定義為）多元正態(tài)分布的概率密度函數(shù)定義為112211( )exp22Tdp xxx1. 1. 參數(shù)對分布的決定性參數(shù)對分布的決定性2. 2. 不相關(guān)性等價于獨(dú)立性不相關(guān)性等價于獨(dú)立性3. 3. 邊緣分布和條件分布的正態(tài)性邊緣分布和條件分布

14、的正態(tài)性4. 4. 線性變換的正態(tài)性線性變換的正態(tài)性5. 5. 線性組合的正態(tài)性線性組合的正態(tài)性（2 2）多元正態(tài)分布的概率密度函數(shù)性質(zhì)）多元正態(tài)分布的概率密度函數(shù)性質(zhì)多元正態(tài)分布多元正態(tài)分布貝葉斯分類器設(shè)計貝葉斯分類器設(shè)計【貝葉斯分類器設(shè)計】 貝葉斯分類器的分類原理是通過某對象的先驗概率貝葉斯分類器的分類原理是通過某對象的先驗概率，利用貝葉斯公式計算出其后驗概率，即該對象屬于某，利用貝葉斯公式計算出其后驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類作為該對象所一類的概率，選擇具有最大后驗概率的類作為該對象所屬的類。屬的類。 （1 1）判別函數(shù)：用于表達(dá)決策規(guī)則的某些函數(shù)稱為判別函

15、數(shù)；）判別函數(shù)：用于表達(dá)決策規(guī)則的某些函數(shù)稱為判別函數(shù)；（2 2）決策面：對于）決策面：對于c c類分類問題，按照決策規(guī)則可以把類分類問題，按照決策規(guī)則可以把d d維特征空維特征空間分成間分成c c個決策域，將劃分決策域的邊界面稱為決策面。個決策域，將劃分決策域的邊界面稱為決策面。概念概念【貝葉斯分類器設(shè)計】兩類問題兩類問題1. 1. 判別函數(shù)判別函數(shù)12( )( )( )g xg xgx12( )0,( )0,g xxg xx決策為決策為12( )(| )(| )g xPxPx（a） 1122( )( |) ()( |) ()g xp xPp xP（b） 1122( |)()( )lnln(

16、 |)()p xPg xp xP（c）基于最小錯誤率的判別函數(shù)：基于最小錯誤率的判別函數(shù)： iiiPPPPxxx【貝葉斯分類器設(shè)計】 2. 2. 決策面方程決策面方程( )0g x 1122( |) ()( |) ()0p xPp xP1122( )( |) ()( |) ()g xp xPp xP例如例如【貝葉斯分類器設(shè)計】 3. 3. 分類器設(shè)計分類器設(shè)計+1 w+1 w1 1 -1 w-1 w2 2 g g閾值閾值單元單元x x1 1x x2 2x xc c決策決策圖圖 2.7 2.7 兩類分類器的構(gòu)成兩類分類器的構(gòu)成【貝葉斯分類器設(shè)計】多類問題多類問題 1. 1. 判別函數(shù)判別函數(shù)【貝

17、葉斯分類器設(shè)計】 2. 2. 決策面方程決策面方程【貝葉斯分類器設(shè)計】 3. 3. 分類器設(shè)計分類器設(shè)計g1g2gc最大值選擇器x1x2xca(x)決策對于例對于例1 1和例和例2 2分別寫出判別函數(shù)和決策面方程。分別寫出判別函數(shù)和決策面方程。例例3 3對于例對于例1 1和例和例2 2分別寫出判別函數(shù)和決策面方程。分別寫出判別函數(shù)和決策面方程。例例3 3111( )()()ln2lnln()222Tiiiiiidg xxxP 判別函數(shù)判別函數(shù):( )( )ijg xgx決策面方程決策面方程:11()11()()()()lnln022()iTTiiiijjjjjPxxxxP即即( )ln( |)

18、ln()iiig xp xP多類判別函數(shù)多類判別函數(shù):112211( )exp22Tdp xxx正態(tài)分布函數(shù)正態(tài)分布函數(shù):多元正態(tài)概率型下的最小錯誤率貝葉斯判別函數(shù)和決策面多元正態(tài)概率型下的最小錯誤率貝葉斯判別函數(shù)和決策面第一種情況：第一種情況： 2,1,2,iI ic 2200i 221() ()() ,1,dTiiijijjxxxxic式中式中22() ()1( )ln2lnln()222Tdiiiixxdg xP可得可得2di 121iI由于由于從幾何上看，各類樣本落入以從幾何上看，各類樣本落入以i為中心的同樣大小的超球體內(nèi)。為中心的同樣大小的超球體內(nèi)。分析：分析：111( )()()l

19、n2lnln()222Tiiiiiidg xxxP 判別函數(shù)判別函數(shù):021( )( 2)ln()2TTTiiiiiiig xxPw x 21iiw02ln()2TiiiiP 其中其中( )max( )kiigxg x22() ()1( )ln2lnln()222Tdiiiixxdg xP分析分析2() ()( )ln()2Tiiiixxg xP( )( )0ijg xgx0()0Twxx其中其中021( )( 2)ln()2TTTiiiiiiig xxPw x 21iiw02ln()2TiiiiP 其中其中兩類問題，1維特征，先驗概率不同時：圖 一維情況0()0Twxx其中其中決策面：決策面

20、：兩類問題，高維特征，先驗概率不同時：二維情況三維情況 兩類問題，兩類問題，1 1維特征，先驗概率相同時：維特征，先驗概率相同時：0()0Twxx其中其中決策面：決策面：一維情況 兩類問題，高維特征，先驗概率相同時：兩類問題，高維特征，先驗概率相同時：高維情況第二種情況：第二種情況：i 第一種情況：第一種情況： 2,1,2,iI ic 2200i 分析：分析：其中分析分析也就是決策面方程為：舉例舉例例：模式分布如圖所示，兩類均值向量和協(xié)方差矩陣?yán)耗Ｊ椒植既鐖D所示，兩類均值向量和協(xié)方差矩陣可用下式估計?？捎孟率焦烙?。iNjijiiixNm1)(1( )( )11()iNiiTTijjiijix

21、xmmN (0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321兩類均作為正態(tài)分布，并假設(shè)先驗概率相等，求判別函數(shù)和決策面。兩類均作為正態(tài)分布，并假設(shè)先驗概率相等，求判別函數(shù)和決策面。(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321) 1, 1, 3(411m)3, 3, 1 (412m12311113116113 1844484448 兩類均作為正態(tài)分布，并假設(shè)兩類均作為正態(tài)分布，并假設(shè) ，故判別函數(shù)為故判別函數(shù)為)()(21PP111( )2TTiiiig xx C mm C m113

22、( )42g xx212311( )4882gxxxx 12123( )( )88840g xgxxxx01222321xxx8444844481C) 1, 1, 3(411m)3, 3, 1 (412m本章小結(jié)本章小結(jié) 統(tǒng)計決策理論是模式分類問題的基本理論之一，它對模統(tǒng)計決策理論是模式分類問題的基本理論之一，它對模式分析和分類器的設(shè)計有實(shí)際的指導(dǎo)意義。貝葉斯決策式分析和分類器的設(shè)計有實(shí)際的指導(dǎo)意義。貝葉斯決策理論是統(tǒng)計模式識別中的一個基本方法。理論是統(tǒng)計模式識別中的一個基本方法。貝葉斯決策理論方法是統(tǒng)計模型決策中的一個基本方法，貝葉斯決策理論方法是統(tǒng)計模型決策中的一個基本方法，其基本思想是：其基本思想是：1 1、已知類條件概率密度參數(shù)表達(dá)式和先驗概率。、已知類條件概率密度參數(shù)表達(dá)式和先驗概率。2 2、利用貝葉斯公式轉(zhuǎn)換成后驗概率。、利用貝葉斯公式轉(zhuǎn)換成后驗概率。3 3、根據(jù)后驗概率大小進(jìn)行決策分類。、根據(jù)后驗概率大小進(jìn)行決策分類。 模式識別的分類問題是根據(jù)識別對象特征的觀察將其分模式識別的分類問題是根據(jù)識別對象特征的觀察將其分到某個類別中去。到某個類別中去?！颈菊滦〗Y(jié)】（3 3）如果我們既不知道任何有關(guān)被分類類別概率分布的知識，也不知道判別式函）如果