第2章貝葉斯決策理論

1、第2章 貝葉斯決策理論Chapter 2: Bayesian decision theory,2020/7/16,模式(樣本)的表示方法,向量表示 : 假設一個樣本有n個變量(特征) = (X1,X2,Xn)T 2. 矩陣表示: N個樣本，n個變量(特征),2020/7/16,3. 幾何表示 一維表示 X1=0.5 X2=3 二維表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三維表示 X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T,本章主要內容,2.1 基于最小錯誤率的貝葉斯決策,2.3 正態(tài)分布時的貝葉

2、斯統(tǒng)計決策,2.2 基于最小風險的貝葉斯決策,2.4 分類器的錯誤率問題,2.1 基于最小錯誤率的貝葉斯決策,2.1.1 預備知識,1、用向量來表示模式,1,2,3,4,5,轉化成列向量,0,1,0,1,0,0,0,1,2,3,35,34,33,0,1,0,0,1,1,“1”,模式： 一些供比對用的、“標準”的樣本。,特征提取,35,模式“1”的圖片,2、高維積分,已知模式（樣本）：,一維積分：,高維積分：,二重積分：,若,推廣,條件概率密度,若有兩個隨機變量X和Y，它們的聯(lián)合概率密度為 ，,變量X和Y各自的邊緣概率密度為 和 ，則在條件,Y=y下，X的條件概率密度為,3、條件概率,定義：,即

3、：,4、全概率公式,定義：設事件 是樣本空間 的一個劃分，B是任意一事件，則,現(xiàn)在進行一次試驗，如果 B 確定發(fā)生了，那么這一重要的補充信息可以使我們對事件 的概率重新估計， 則：在已知 B 發(fā)生的條件下，求出 的概率 ，這個概率稱為后驗概率。,5、貝葉斯公式（利用了條件概率和全概率公式）,貝葉斯公式的另一種形式：,由貝葉斯公式衍生出貝葉斯決策、貝葉斯估計、貝葉斯學習等諸多理論體系，進而形成一個貝葉斯學派；,貝葉斯公式：,（1763年提出）,貝葉斯公式由于其權威性、一致性和典雅性而被列入最優(yōu)美的數學公式之一 ；,貝葉斯公式的兩個創(chuàng)新點：,（1）用概率表示所有形式的不確定性；,（2）,例如天氣預

4、報時，“今天下雨的概率是85%”比直接預測“今天下雨”要更科學 ；,引入了“先驗”與“后驗”的概念；,先驗概率：預先已知的或者可以估計的模式識別系統(tǒng)位于某種類型的概率。根據大量統(tǒng)計確定某類事物出現(xiàn)的比例，如我國理工科大學男女生比例大約為8:2，則在這類學校一個學生是男生的先驗概率為0.8，而為女生的概率是0.2，這兩類概率是互相制約的，因為這兩個概率之和應滿足總和為1的約束。 P(男生) 后驗概率：一個具體事物屬于某種類別的概率.例如一個學生用特征向量X表示，它是男性或女性的概率表示成P(男生|X)和P(女生|X)這就是后驗概率。由于一個學生只可能為兩個性別之一，因此有P(男生|X)+P(女生

5、|X)=1的約束，這一點是與類分布密度函數不同的。 后驗概率與先驗概率也不同，后驗概率涉及一個具體事物，而先驗概率是泛指一類事物，因此 P(男生|X)和P(男生)是兩個不同的概念。,先驗與后驗,2.1.1 預備知識（續(xù)）,貝葉斯公式：,例：利用貝葉斯公式求 的最大值：,先驗,后驗,先驗概率：是指根據歷史資料或主觀判斷所確定的事件發(fā)生的概率，該類概率沒有經過實驗證實，屬檢驗前的概率。,后驗概率：進行實驗后，事件發(fā)生的概率。,貝葉斯公式在推理中融入了先驗，即融入了對事物既有的一些認識：,2.1.1 預備知識（續(xù)）,6、分類錯誤率,分類錯誤率 = 被錯分的樣本數 / 樣本總數,分類方案一,分類方案二

6、,在分類中，希望分類錯誤率盡可能地小。,2.1.2 最小錯誤率貝葉斯決策的前提,（1）要決策分類的類別數是一定的；,前提：,（2）每一類出現(xiàn)的“先驗概率”已知；,類,類,即,已知,（3）每一類的“類條件概率密度”已知；,即,已知,待解決的分類問題：,與,類,類,待解決的分類問題：,2.1.3 最小錯誤率貝葉斯決策規(guī)則,決策規(guī)則（樣本只有兩類時）：,如果,如果,則,則,先驗概率已知,類條件概率密度已知,可能屬于 類也可能屬于 類。,2.1.4 最小錯誤率貝葉斯決策規(guī)則應用實例,例 細胞識別,假設在某個局部地區(qū)細胞識別中， 正常( )和異常( )兩類的先驗概率分別為 正常狀態(tài)： P ( ) =0.

7、9; 異常狀態(tài)： P ( ) =0.1. 現(xiàn)有一待識別的細胞，其觀察值為 ，從類條件概率密度分布曲線上查得 P(x | )=0.2, P(x | )=0.4. 試對該細胞x進行分類。 解：利用貝葉斯公式，分別計算出 及 的后驗概率。 P( | x)= P( |x)=1- P( |x)=0.182,類,類,2.1.4 最小錯誤率貝葉斯決策規(guī)則應用實例（續(xù)）,類條件概率密度（已知）,后驗概率密度（待求）,類,類,根據上圖決策,2.1.4 最小錯誤率貝葉斯決策規(guī)則應用實例（續(xù)）,為什么類條件概率密度是已知的,“類條件概率密度”是指系統(tǒng)位于某種類型條件下，模式樣本的概率密度函數。一般而言，同一類事物的

8、某個屬性都有一定的變化范圍，在這個變化范圍內的分布密度可用一種函數形式表示。,類,類,例如對于細胞識別而言，假設 是血紅素濃度，則 表示正常血細胞的血紅素濃度的分布情況。該分布可以事先測定，因此是已知的。,正常血細胞,異常血細胞,2.1.4 最小錯誤率貝葉斯決策規(guī)則應用實例（續(xù)）,為什么先驗概率是已知的,例如在某個局部地區(qū)（比如一個縣）細胞識別中，要根據血紅素濃度的測量值 判定其為正常血細胞或者是異常血細胞（例如白血病血細胞）。,類,類,正常血細胞,異常血細胞,該縣正常人的比例；,該縣白血病患者的比例；,上述比例關系可根據往年病歷資料統(tǒng)計大致得到，因此可以看作是已知的。,上述比例關系盡管可能是

9、近似的，但對決策準確程度的影響并不是直接的，這也是貝葉斯決策的一個優(yōu)點。,2.1.5 決策規(guī)則使錯誤率最小的理論證明,前面給出了最小錯誤率貝葉斯決策規(guī)則，但尚未證明按這種決策規(guī)則進行分類確實能使分類錯誤概率最小。下面以一維情況完成證明，其結果不難推廣到多維。,1、平均錯誤率：,（是 的期望） 見（26）,的概率密度,3、對 進行分類（決策）時的錯誤 見（27）式,2、決策規(guī)則（兩類時）：,如果,如果,則,則,(2-6),2.1.5 決策規(guī)則確實使錯誤率最小的理論證明（續(xù)）,決策錯誤率 在每個x值處都取小者，因而平均錯誤率P(e)也必然達到最小。,2.1.6 最小錯誤率貝葉斯決策規(guī)則向多類的推廣

10、,決策規(guī)則（樣本只有兩類時）：,如果,如果,則,則,決策規(guī)則（樣本有多類時）：,類,類,類,類,類,如果,對于一切 成立，,則,2.2 基于最小風險的貝葉斯決策,2.2.1 為什么要引入基于風險的決策,基于最小錯誤率的貝葉斯決策,如果,如果,則,則,誤判為：,誤判為：,錯誤率：,錯誤率：,基于最小錯誤率的貝葉斯決策只關注錯誤率，并不關注因誤判而帶來的風險。但在實際應用中考慮風險是很重要的。 “風險”的適用范圍比錯誤率更廣泛，它引入了“損失”的概念。即考慮了因誤判而帶來的損失。,例：細胞識別,類,類,正常血細胞,異常血細胞,把正常血細胞誤判為異常血細胞會給人帶來不必要的痛苦；但若將異常血細胞誤判

11、為正常血細胞，則會使病人因失去及早治療的機會而遭受極大的損失。,2.2.2 幾個概念（6個） 設觀察x是d維隨機向量， 其中 為一維隨機變量。 1、狀態(tài)空間： （c個自然狀態(tài)，c 類組成） 2、決策空間： （a個決策） 注意：a=c 或者 a=c+1（拒絕）,本來,誤判為：,誤判為：,錯誤率：,錯誤率：,本來,造成的損失：,造成的損失：,把模式 判決為 類的一次決策；,模式 屬于 類，現(xiàn)卻將之判決為 類而帶來的損失；,3、損失函數： （真實狀態(tài)為 ，決策為 ）,把模式 判決為 類的一次決策；,模式 屬于 類，現(xiàn)卻將之判決為 類而帶來的損失；,狀態(tài)空間：,決策空間：,一般決策表,4、一般決策表（

12、由概念1、2、3得到）,5、條件風險（條件期望損失）：,條件風險：,模式 屬于 類，現(xiàn)卻將之判決為 類而帶來的損失；,模式 屬于 類的概率（可能性）；,例：計算條件風險,（正常類）,（異常類）,（正常）,（異常）,已知,所以,這意味著： 把異常類血細胞判別為正常類細胞所冒風險太大，所以寧肯將之判別為異常類血細胞。,（2-15）,“風險”的適用范圍比錯誤率更廣泛，它引入了“損失”的概念。即考慮了因誤判而帶來的損失。,注意： 期望風險反映對所有x的取值采取相應決策 所帶來的平均風險。,6、期望風險R：,注意：條件風險反映對某一x的取值采取相應決策 所帶來的平均風險。,5、條件風險：條件期望損失（續(xù)

13、）,2.2.3 基于最小風險的貝葉斯決策規(guī)則與決策步驟,2、決策步驟：,1、決策規(guī)則：,（根據貝葉斯公式計算）,（計算條件風險）,（決策）,在實踐中如何給出決策表：,2.2.3 基于最小風險的貝葉斯決策規(guī)則與決策步驟（續(xù)）,（正常類）,（異常類）,（正常）,（異常）,在實踐中要列出合適的決策表很不容易，往往要根據所研究的具體問題，分析錯誤決策造成損失的嚴重程度，與有關專家共同商討來確定。,（教材P15）,（即需要具體問題具體分析）,2.2.4 基于最小風險的貝葉斯決策應用實例,例：細胞識別,假設在某個局部地區(qū)細胞識別中， 正常( )和異常( )兩類的先驗概率分別為 正常狀態(tài)： P ( ) =0

14、.9; 異常狀態(tài)： P ( ) =0.1. 現(xiàn)有一待識別的細胞，其觀察值為 ，從類條件概率密度分布曲線上查得 P(x | )=0.2, P(x | )=0.4. 且因誤判而帶來的風險如下頁表所表示，試對該細胞x進行分類。 解： （1）利用貝葉斯公式，分別計算出 及 的后驗概率。 P( | x)= P( |x)=1- P( |x)=0.182,類,類,若貝葉斯決策,2.2.4 基于最小風險的貝葉斯決策應用實例（續(xù)）,（正常類）,（異常類）,（正常）,（異常）,（2）計算條件風險,（3）基于最小風險進行決策,（將 判決為第 類的風險）,（將 判決為第 類的風險）,模式 屬于 類的概率（可能性）；,

15、所以,兩類決策結果正好相反，這是因為影響決策結果的因素又多了一個“損失”。由于兩類錯誤決策所造成的損失相差很懸殊，因此“損失”在這里起了主導作用。,2.2.5 最小錯誤率與最小風險貝葉斯決策的聯(lián)系,（正常類）,（異常類）,（正常）,（異常）,若采用0-1損失函數：,例：兩類樣本的分類,根據條件風險公式：,則兩類決策的風險為,因此兩種決策規(guī)則等價 （理論推導見教材P16）,（將 判決為第 類的風險）,（將 判決為第 類的錯誤率）見下頁復習,復習：2.1.5 決策規(guī)則使錯誤率最小的理論證明,1、平均錯誤率：,（是 的期望） 見（26）,的概率密度,3、對 進行分類（決策）時的錯誤 見（27）式,2

16、、決策規(guī)則（兩類時）：,如果,如果,則,則,(2-6),條件風險（條件期望損失）,注意：在采用0-1損失函數時，,最小風險貝葉斯決策就是使左邊最小,結論：最小錯誤率貝葉斯決策就是在0-1損失函數條件下的 最小風險貝葉斯決策，也就是前者是后者的特例。,2.3 正態(tài)分布時的貝葉斯統(tǒng)計決策,2.3.1 預備知識,（1）一元正態(tài)分布（單變量）,正態(tài)分布的樣本主要集中分布在其均值附近，其分散程度可用標準差 來衡量，標準差愈大分散程度也越大。從正態(tài)分布的總體中抽取樣本，約有95%的樣本都落在區(qū)間 內。,2.3.1 預備知識（續(xù)）,（2）多元正態(tài)分布,左圖的投影,多元正態(tài)分布,協(xié)方差矩陣：,均值向量：,從正

17、態(tài)分布總體中抽取的樣本大部分落在由 和 所確定的一個區(qū)域中，區(qū)域中心由均值決定，區(qū)域形狀由協(xié)方差矩陣決定。,2.3.1 預備知識（續(xù)）,（3）多元正態(tài)分布的協(xié)方差矩陣,2.3.1 預備知識（續(xù)）,（3）多元正態(tài)分布的協(xié)方差矩陣（續(xù)）,區(qū)域中心由均值決定，區(qū)域形狀由協(xié)方差矩陣決定；且主軸方向是協(xié)方差矩陣的特征向量方向；,多元正態(tài)分布的性質： 1、多元正態(tài)分布由均值 和協(xié)方差矩陣 完全確定。 2、從正態(tài)分布總體中抽取的樣本大部分落在由 和 所確定的一個區(qū)域中，區(qū)域中心由均值決定，區(qū)域形狀由協(xié)方差矩陣決定； 3、從多元正態(tài)概率密度函數式可以看出，指數項為常數時，密度值不變（等密度）； 上式的解是一個

18、超橢球面，且主軸方向是協(xié)方差矩陣的特征向量方向；主軸的長度與相應的協(xié)方差矩陣的本征值成正比。,2.3.2 貝葉斯統(tǒng)計決策的決策面與判別函數,例如：最小錯誤率貝葉斯決策規(guī)則（兩類情形）,如果,如果,則,則,類,類,根據決策規(guī)則只能確定樣本 屬于哪一類，而現(xiàn)在欲求決策面（分類面）。,若 位于決策面上，應該有,決策面方程：,判別函數：,類,類,決策面：如果按某種決策規(guī)則將空間分成若干個決策域，則將決策域的邊界稱為決策面。,判別函數： 用于表達決策規(guī)則的函數。,例如：,決策面方程：,決策面在數學上的解析表示。,例如：,判別函數的判別功能示意圖,2.3.2 貝葉斯統(tǒng)計決策的決策面與判別函數（續(xù)）,判別函

19、數與決策面方程（教材P20 P22：有關分類器設計） 1、多類情況： 決策規(guī)則： 判別函數定義(3種) 決策面方程： 2、兩類情況： 決策規(guī)則： 判別函數定義(3種) 決策面方程：,為一維時，決策面為一點； 為二維時，決策面為曲線； 為三維時，決策面為曲面； 大于三維時，決策面為超曲面。,決策面方程的形態(tài)：,為二維時,為一維時,為三維時,2.3.2 貝葉斯統(tǒng)計決策的決策面與判別函數（續(xù)）,2.3.3 正態(tài)概型下的最小錯誤率貝葉斯決策的判別函數,（1）“最小錯誤率貝葉斯決策”的判別函數與決策面的推廣：,（兩類情形）,取對數前后，所求決策面不變,推廣至多類,2.3.3 正態(tài)概型下最小錯誤率貝葉斯決

20、策的判別函數（續(xù)）,決策面：,判別函數：,（2）如果類條件概率密度 服從正態(tài)分布：,則判別函數：,決策面：,（3）為什么假設類條件概率密度 服從正態(tài)分布,2.3.3 正態(tài)概型下最小錯誤率貝葉斯決策的判別函數（續(xù)）,數學上簡便性： 除了一些極其簡單與不甚實用的統(tǒng)計分布模型外，正態(tài)分布可說是數學上最簡便的一種。正態(tài)分布有許多良好的性質，便于對統(tǒng)計決策方法進行分析。,物理上的合理性： 在許多實際應用場合，如果同一類樣本在特征空間內的確較集中地分布在其類均值的附近，遠離均值處分布較少，那么一般情況下以正態(tài)分布模型近似往往是比較合理的。人們也往往因數學分析復雜程度考慮而不得不采用這種模型，當然使用時應注意結果是否合理或關注其可接受的程度。,2.3.4 正態(tài)概型下最小錯誤率貝葉斯決策的討論,判別函數：,決策面：,以上決策面表達式很復雜，因此討論以下兩種特殊情形；,類條件概率密度：,（1）,（2）,2.3.4 正態(tài)概型下最小錯誤率貝葉斯決策的討論（續(xù)）,第一種情形：,判別函數：,決策面：,判別函數：,決策面：,進一步簡化：忽略與i無關的項,2.3.4 正態(tài)概型下最小錯誤率貝葉斯決策的討論（續(xù)）,（1）若,判