第2章_貝葉斯決策ppt課件

1、第2章 貝葉斯決策實際Bayesian Decision Theory.方式識別是根據(jù)對象特征值將其分類。 d個特征組成特征向量x=x1,xdT，生成d 維特征空間，在特征空間一個 x 稱為一個方式樣本。Bayes決策實際是用概率統(tǒng)計方法研討決策問題。 為什么可用Bayes決策實際分類？ 樣本的不確定性： 樣本從總體中抽取，特征值都是隨機變量，在一樣條件下反復(fù)觀測取值不同，故x為隨機向量。 特征選擇的不完善引起的不確定性； 丈量中有隨機噪聲存在。 .另一方面從樣本的可分性來看：當(dāng)各類方式特征之間有明顯的可分性時，可用直線或曲線(面)設(shè)計分類器，有較好的效果。當(dāng)各類別之間出現(xiàn)混淆景象時，那么分類

2、困難。 這時需求采用統(tǒng)計方法，對方式樣本的統(tǒng)計特性進展觀測，分析屬于哪一類的概率最大。此時要按照某種判據(jù)分類，如，分類錯誤發(fā)生的概率最小，或在最小風(fēng)險下進展分類決策等。.貝葉斯決策實際引言貝葉斯決策常用的準(zhǔn)那么分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù).引言機器自動識別分類，能不能防止錯分類，做到百分之百正確？怎樣才干減少錯誤？錯分類往往難以防止，因此就要思索減小因錯分類呵斥的危害損失，那么有沒有能夠?qū)ξ：Υ蟮腻e誤嚴(yán)厲控制？什么是先驗概率、類概率密度函數(shù)和后驗概率？它們的定義和相互關(guān)系如何?貝葉斯公式正是表達三者關(guān)系的式子。.引言貝葉斯決策實際貝葉斯統(tǒng)計決策實際是處置方式分類問題的根本實際之一

3、，對方式分析和分類器Classifier的設(shè)計起指點作用。貝葉斯決策的兩個要求各個類別的總體概率分布 (先驗概率和類條件概率密度) 是知的 要決策分類的類別數(shù)是一定的.引言在延續(xù)情況下，假設(shè)對要識別的物理對象有d種特征察看量x1,x2,xd，這些特征的一切能夠的取值范圍構(gòu)成了d維特征空間。稱向量假設(shè)要研討的分類問題有c個類別，類型空間表示為：為d維特征向量。.引言評價決策有多種規(guī)范，對于同一個問題，采用不同的規(guī)范會得到不贊同義下“最優(yōu)的決策。貝葉斯決策常用的準(zhǔn)那么： 最小錯誤率準(zhǔn)那么 最小風(fēng)險準(zhǔn)那么 Neyman-Pearson準(zhǔn)那么 最小最大決策準(zhǔn)那么.貝葉斯決策實際引言貝葉斯決策常用的準(zhǔn)那

4、么分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù).Bayes決策準(zhǔn)那么最小錯誤率準(zhǔn)那么最小風(fēng)險準(zhǔn)那么Neyman-Pearson準(zhǔn)那么最小最大決策準(zhǔn)那么.最小錯誤率準(zhǔn)那么黑色：第一類粉色：第二類綠色：哪一類？統(tǒng)計決策實際就是根據(jù)每一類總體的概率分布決議未知類別的樣本屬于哪一類！.最小錯誤率準(zhǔn)那么先驗概率：類條件概率：后驗概率：貝葉斯公式未獲得觀測數(shù)據(jù)之前類別的分布觀測數(shù)據(jù)在各類別種情況下的分布X屬于哪一類的概率其中：.最小錯誤率準(zhǔn)那么 例：醫(yī)生要根據(jù)病人血液中白細(xì)胞的濃度來判別病人能否患血液病。兩類識別問題：患病，未患病根據(jù)醫(yī)學(xué)知識和以往的閱歷，醫(yī)生知道：患病的人，白細(xì)胞的濃度服從均值2000方差

5、1000的正態(tài)分布；未患病的人，白細(xì)胞的濃度服從均值7000，方差3000的正態(tài)分布；類條件概率普通人群中，患病的人數(shù)比例為0.5%；先驗概率一個人的白細(xì)胞濃度時3100，醫(yī)生應(yīng)該做出怎樣的判別？后驗概率？.最小錯誤率準(zhǔn)那么數(shù)學(xué)表示： ：表示類別這一隨機變量1：表示患病2：表示不患病 X：表示白細(xì)胞濃度這一隨機變量 x： 表示白細(xì)胞濃度值.最小錯誤率準(zhǔn)那么醫(yī)生根據(jù)曾經(jīng)掌握的知識知道類別的先驗分布：先驗概率分布：未獲得觀測數(shù)據(jù)病人白細(xì)胞濃度之前類別的分布。.最小錯誤率準(zhǔn)那么觀測數(shù)據(jù)白細(xì)胞濃度分別在兩種情況下的類條件概率分布：知先驗分布和觀測值的類條件概率分布，就可以用貝葉斯實際求得x屬于哪一類的

6、后驗概率： 和.最小錯誤率準(zhǔn)那么最小錯誤率準(zhǔn)那么以先驗概率、類條件概率密度、特征值向量為輸入以后驗概率作為類別判別的根據(jù)貝葉斯公式保證了錯誤率最小.最小錯誤率準(zhǔn)那么最小錯誤率的貝葉斯決策規(guī)那么為： 假設(shè) 大于 ，那么把x歸于患病形狀，反之那么歸于未患病形狀。最大后驗概率決策 x1=x2 ?.最小錯誤率準(zhǔn)那么最小錯誤率準(zhǔn)那么的平均錯誤率：x2=x3x2和x3 都是p(x, 1)= p(x, 2)的根，因此是兩類分界.最小錯誤率準(zhǔn)那么最小錯誤率準(zhǔn)那么的平均錯誤率： 記平均錯誤率為P(e)，令 t = x2=x3，那么 .最小錯誤率準(zhǔn)那么平均錯誤率能否最小？.最小錯誤率準(zhǔn)那么似然比公式那么：等價于：

7、似然比公式.最小錯誤率準(zhǔn)那么特例1：.最小錯誤率準(zhǔn)那么特例2：.最小錯誤率準(zhǔn)那么方式邏輯經(jīng)典確定性推理以鱸魚和鮭魚分類為例：假言：假設(shè)魚的長度 大于45cm，那么該魚為 鱸魚 ，否那么該魚為鮭魚前提：如今某條魚 結(jié)論：該魚為鮭魚概率推理不確定性推理.最小錯誤率準(zhǔn)那么例子：給定 ，類條件概率密度如圖?，F(xiàn)有一條魚 x=38cm， 假設(shè)采用最小錯誤率決策，該魚應(yīng)該為哪一類？ 故判決：.Bayes決策準(zhǔn)那么最小錯誤率準(zhǔn)那么最小風(fēng)險準(zhǔn)那么Neyman-Pearson準(zhǔn)那么最小最大決策準(zhǔn)那么.最小風(fēng)險準(zhǔn)那么最小風(fēng)險貝葉斯決策：思索各種錯誤呵斥損失不同而提出的一種決策規(guī)那么。條件風(fēng)險：.最小風(fēng)險準(zhǔn)那么期望風(fēng)

8、險：對于x的不同察看值，采取決策i時，其條件風(fēng)險大小是不同的。所以終究采取哪一種決策將隨x的取值而定。這樣，決策可以看成隨機向量x的函數(shù)，記為(x)。可以定義期望風(fēng)險Rexp為：期望風(fēng)險反映對整個空間上一切x的取值采取相應(yīng)的決策(x)所帶來的平均風(fēng)險，也即條件風(fēng)險在特征空間的平均值。.最小風(fēng)險準(zhǔn)那么兩分類問題的例子：.似然比公式.0-1 損失當(dāng)作出正確決策時i=j時沒有損失，而對任何錯誤的決策，其損失為1。此時定義的損失函數(shù)為0-1損失函數(shù)。.最小風(fēng)險準(zhǔn)那么不同的損失函數(shù)決議了不同的似然比判決閾值：每一類的判決域能夠是不延續(xù)的! a：0-1損失 b：1221.最小風(fēng)險準(zhǔn)那么最小風(fēng)險貝葉斯決策的

9、步驟：1根據(jù)先驗概率和類條件概率計算出后驗概率；2利用后驗概率和損失矩陣計算采取每種決策的條件風(fēng)險；3比較各個條件風(fēng)險的值，條件風(fēng)險最小的決策即為最小風(fēng)險貝葉斯決策.最小風(fēng)險準(zhǔn)那么.最小風(fēng)險準(zhǔn)那么對于貝葉斯最小風(fēng)險決策，假設(shè)損失函數(shù)為“0-1損失，即取如下的方式： 那么，條件風(fēng)險為： 此時，貝葉斯最小風(fēng)險決策與最小錯誤率決策等價。.Bayes決策準(zhǔn)那么最小錯誤率準(zhǔn)那么最小風(fēng)險準(zhǔn)那么Neyman-Pearson準(zhǔn)那么最小最大決策準(zhǔn)那么.Neyman-Pearson準(zhǔn)那么最小錯誤率準(zhǔn)那么: 后驗概率最大化，實際上錯誤率最小最小風(fēng)險準(zhǔn)那么： 風(fēng)險函數(shù)最小化，實際上總風(fēng)險最小在先驗概率和損失未知的情況

10、下如何決策？.Neyman-Pearson準(zhǔn)那么問題：先驗概率和損失未知通常情況下，無法確定損失。先驗概率未知，是一個確定的值某一種錯誤較另一種錯誤更為重要。根本思想：要求一類錯誤率控制在很小，在滿足此條件的前提下再使另一類錯誤率盡能夠小。用lagrange乘子法求條件極值.Neyman-Pearson準(zhǔn)那么對兩分類問題，錯誤率可以寫為：由于P(1) 和P(2)對詳細(xì)問題往往是確定的但是未知，普通稱P1(e)和P2(e)為兩類錯誤率。 P1(e)和P2(e)的值決議了P(e)的值。.Neyman-Pearson準(zhǔn)那么.Neyman-Pearson準(zhǔn)那么為了求L的極值點，將 L 分別對 t 和求

11、偏導(dǎo)：留意：這里分析的是兩類錯誤率，與先驗概率無關(guān)！決策準(zhǔn)那么 ？.Neyman-Pearson準(zhǔn)那么最小錯誤率準(zhǔn)那么的等價方式Neyman-Pearson準(zhǔn)那么 兩者都以似然比為根底，在未知先驗概率時運用Neyman-Pearson準(zhǔn)那么。.Bayes決策準(zhǔn)那么最小錯誤率準(zhǔn)那么最小風(fēng)險準(zhǔn)那么Neyman-Pearson準(zhǔn)那么最小最大決策準(zhǔn)那么.最小最大決策準(zhǔn)那么Neyman-Pearson準(zhǔn)那么假定先驗概率是一個確定的值，此時斷定結(jié)果會遭到先驗概率的影響。實踐中，類先驗概率 P(i) 往往不能準(zhǔn)確知道或在分析過程中是變動的，從而導(dǎo)致判決域不是最正確的。所以應(yīng)思索如何處理在 P(i) 不確知或

12、變動的情況下使期望風(fēng)險變大的問題。最小最大決策準(zhǔn)那么：在最差的條件下爭取最好的結(jié)果，使最大風(fēng)險最??！.最小最大決策準(zhǔn)那么分析期望風(fēng)險 R 與先驗概率 P(1) 的關(guān)系： 對于兩類問題，設(shè)一種分類識別決策將特征空間R劃分為兩個子空間 R1 和 R2 ，記ij為將屬于 i 類的方式判為j 類的損失函數(shù)，各種判決的期望風(fēng)險為：.最小最大決策準(zhǔn)那么將)(1)(12w-=wPP和帶入上式：.最小最大決策準(zhǔn)那么期望風(fēng)險可寫成：一旦 R1 和 R2 確定，a和b為常數(shù)一旦 R1 和 R2 確定， R 與 P(1) 成線性關(guān)系選擇使 b=0 的R1 和 R2 ，期望風(fēng)險與P(1) 無關(guān)！.最小最大決策準(zhǔn)那么P

13、A(1)1 p(1)ACDR*BR*B0DCR1 ,R2不變R1 ,R2改動PB(1)b=0此時最大風(fēng)險最小,D = ab=0 時的p(1).最小最大決策準(zhǔn)那么求 b=0 時的 p(1) 等價于在R隨著p(1)的變化曲線上求：時的p(1)。在 b=0 時的 決策條件下，期望風(fēng)險與p(1) 無關(guān)，值為a，此時，R的最大值最小。這種決策準(zhǔn)那么稱為最小最大決策準(zhǔn)那么。.最小最大決策準(zhǔn)那么由于：當(dāng)采用0-1損失函數(shù)時，b=0可推導(dǎo)出：此時，最小最大損失判決所導(dǎo)出的最正確分界面應(yīng)使兩類錯誤概率相等！.貝葉斯決策實際引言貝葉斯決策常用的準(zhǔn)那么分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù).概念描畫分類器判別函

14、數(shù)決策面.決策域：待識別的特征向量落在哪個決策域，該樣本就被判為哪一類。決策面：決策域的邊境面。在數(shù)學(xué)上用解析方式表示成決策面方程。判別函數(shù)：用于表達決策規(guī)那么的某些函數(shù)。判別函數(shù)和決策面方程是親密相關(guān)的，并且都是由相應(yīng)的判決準(zhǔn)那么所確定的。分類器，判別函數(shù)，決策面.例：兩類別問題按最小錯誤率做決策相應(yīng)的判別函數(shù)：gi(x)=p(wi|x),i=1,2決策面方程：g1(x)=g2(x)決策規(guī)那么:假設(shè)gi(x)gj(x) i,j=1,2 且i不等于j，那么x屬于wi.分類器，判別函數(shù)，決策面分類器最常用的表述方式為判別函數(shù)： 基于判別函數(shù)的判決每個類別對應(yīng)一個判別函數(shù)。假設(shè)：那么方式為.分類器

15、，判別函數(shù)，決策面判別函數(shù)Discriminate functions.例如基于最小誤差概率的貝葉斯分類器基于最小總風(fēng)險的貝葉斯分類器.Note:只需滿足如下條件, 那么表達同樣的判決規(guī)那么能夠采用不同的判別函數(shù)： 用f(gi(x)交換gi(x)，其中f(*)為單調(diào)遞增函數(shù) 例如： gi(x) kgi(x) , k為正常數(shù) gi(x) gi(x)+k , k為恣意常數(shù) gi(x) log(gi(x).分類器，判別函數(shù)，決策面特殊的，對于兩分類問題，也可以只用一個判別函數(shù) 令：判決規(guī)那么例如：假設(shè)：那么方式為否那么為.分類器，判別函數(shù)，決策面判決區(qū)域: 判決區(qū)域 Ri 是特征空間中的一個子空間，

16、判決規(guī)那么將一切落入 Ri 的樣本x分類為類別i。決策面Decision Surface：判決邊境是特征空間中劃分判決區(qū)域的超平面在判決邊境上，通常有兩類或多類的判別函數(shù)值相等.分類器，判別函數(shù)，決策面判別函數(shù)和決策面：.分類器，判別函數(shù)，決策面分類器設(shè)計就是設(shè)計判別函數(shù)，求出斷定面方程g(x)!.貝葉斯決策實際引言貝葉斯決策常用的準(zhǔn)那么分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù).正態(tài)分布的統(tǒng)計決策為什么研討正態(tài)分布？物理上的合理性：較符合很多實踐情況，觀測值通常是很多種要素共同作用的結(jié)果，根據(jù)中心極限定理，服從正態(tài)分布。數(shù)學(xué)上比較簡單：參數(shù)個數(shù)少單變量正態(tài)分布多元正態(tài)分布.正態(tài)分布的統(tǒng)計決策

17、單變量正態(tài)分布密度函數(shù)高斯分布：.正態(tài)分布的統(tǒng)計決策多元正態(tài)分布函數(shù)期望(均值向量)協(xié)方差矩陣(對稱非負(fù)定).多元正態(tài)分布的性質(zhì)參數(shù)個數(shù)：d+d(d+1)/2 均值向量：d個參數(shù) 協(xié)方差矩陣：對稱的d維矩陣， d(d+1)/2個參數(shù)等密度點的軌跡為一超橢球面要使密度p(x)值不變，需指數(shù)項為常數(shù)，即：超橢球面.多元正態(tài)分布的性質(zhì)馬氏間隔(Mahanlanobis Distance)：與 歐式間隔：不同，馬氏間隔思索數(shù)據(jù)的統(tǒng)計分布，在方式識別中有廣泛的用途。.多元正態(tài)分布的性質(zhì)正態(tài)分布的隨機變量，不相關(guān)等價于獨立.多元正態(tài)分布的性質(zhì)線性變換仍是正態(tài)分布線性組合仍是正態(tài)分布線性變換的特例一維正態(tài)隨

18、機變量.正態(tài)分布的判別函數(shù)貝葉斯判別函數(shù)可以寫成對數(shù)方式： 類條件概率密度函數(shù)為正態(tài)分布時： .正態(tài)分布的判別函數(shù)情況一：各類協(xié)方差陣相等，且各特征獨立，方差相等情況二：各類協(xié)方差陣相等情況三：各類協(xié)方差陣不相等 恣意的.情況一：將代入得到?jīng)Q策函數(shù)展開決策函數(shù)其中，二次項對一切的 i 是相等的.正交因此，等價的判決函數(shù)為：其中：決策面可以寫成：其中：過 與的超平面.當(dāng)，但是，假設(shè)當(dāng)，向先驗概率小的方向偏移。位于兩中心的中點；相對于平方間隔較小，那么判決邊境的位置相對于確切的先驗概率值并不敏感。在此情況下，最優(yōu)判決的規(guī)那么為： 為將某特征向量x歸類，經(jīng)過丈量每一x到c個均值向量中心的每一個歐氏間隔，并將x歸為離它最近的那一類。這樣的分類器稱為“最小間隔分類器。.情況一：最小間隔分類器最小間隔分類器判決邊境是d-1維超平面，垂直于兩類中心的連線.情況一：最小間隔分類器上述結(jié)果表示在二維特征空間里，如以下圖所示：可以推行到多類的情