第2章_貝葉斯決策ppt課件

1、第2章 貝葉斯決策實(shí)際Bayesian Decision Theory.方式識(shí)別是根據(jù)對(duì)象特征值將其分類。 d個(gè)特征組成特征向量x=x1,xdT，生成d 維特征空間，在特征空間一個(gè) x 稱為一個(gè)方式樣本。Bayes決策實(shí)際是用概率統(tǒng)計(jì)方法研討決策問題。 為什么可用Bayes決策實(shí)際分類？ 樣本的不確定性： 樣本從總體中抽取，特征值都是隨機(jī)變量，在一樣條件下反復(fù)觀測(cè)取值不同，故x為隨機(jī)向量。 特征選擇的不完善引起的不確定性； 丈量中有隨機(jī)噪聲存在。 .另一方面從樣本的可分性來看：當(dāng)各類方式特征之間有明顯的可分性時(shí)，可用直線或曲線(面)設(shè)計(jì)分類器，有較好的效果。當(dāng)各類別之間出現(xiàn)混淆景象時(shí)，那么分類

2、困難。 這時(shí)需求采用統(tǒng)計(jì)方法，對(duì)方式樣本的統(tǒng)計(jì)特性進(jìn)展觀測(cè)，分析屬于哪一類的概率最大。此時(shí)要按照某種判據(jù)分類，如，分類錯(cuò)誤發(fā)生的概率最小，或在最小風(fēng)險(xiǎn)下進(jìn)展分類決策等。.貝葉斯決策實(shí)際引言貝葉斯決策常用的準(zhǔn)那么分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù).引言機(jī)器自動(dòng)識(shí)別分類，能不能防止錯(cuò)分類，做到百分之百正確？怎樣才干減少錯(cuò)誤？錯(cuò)分類往往難以防止，因此就要思索減小因錯(cuò)分類呵斥的危害損失，那么有沒有能夠?qū)ξ：Υ蟮腻e(cuò)誤嚴(yán)厲控制？什么是先驗(yàn)概率、類概率密度函數(shù)和后驗(yàn)概率？它們的定義和相互關(guān)系如何?貝葉斯公式正是表達(dá)三者關(guān)系的式子。.引言貝葉斯決策實(shí)際貝葉斯統(tǒng)計(jì)決策實(shí)際是處置方式分類問題的根本實(shí)際之一

3、，對(duì)方式分析和分類器Classifier的設(shè)計(jì)起指點(diǎn)作用。貝葉斯決策的兩個(gè)要求各個(gè)類別的總體概率分布 (先驗(yàn)概率和類條件概率密度) 是知的 要決策分類的類別數(shù)是一定的.引言在延續(xù)情況下，假設(shè)對(duì)要識(shí)別的物理對(duì)象有d種特征察看量x1,x2,xd，這些特征的一切能夠的取值范圍構(gòu)成了d維特征空間。稱向量假設(shè)要研討的分類問題有c個(gè)類別，類型空間表示為：為d維特征向量。.引言評(píng)價(jià)決策有多種規(guī)范，對(duì)于同一個(gè)問題，采用不同的規(guī)范會(huì)得到不贊同義下“最優(yōu)的決策。貝葉斯決策常用的準(zhǔn)那么： 最小錯(cuò)誤率準(zhǔn)那么 最小風(fēng)險(xiǎn)準(zhǔn)那么 Neyman-Pearson準(zhǔn)那么 最小最大決策準(zhǔn)那么.貝葉斯決策實(shí)際引言貝葉斯決策常用的準(zhǔn)那

4、么分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù).Bayes決策準(zhǔn)那么最小錯(cuò)誤率準(zhǔn)那么最小風(fēng)險(xiǎn)準(zhǔn)那么Neyman-Pearson準(zhǔn)那么最小最大決策準(zhǔn)那么.最小錯(cuò)誤率準(zhǔn)那么黑色：第一類粉色：第二類綠色：哪一類？統(tǒng)計(jì)決策實(shí)際就是根據(jù)每一類總體的概率分布決議未知類別的樣本屬于哪一類！.最小錯(cuò)誤率準(zhǔn)那么先驗(yàn)概率：類條件概率：后驗(yàn)概率：貝葉斯公式未獲得觀測(cè)數(shù)據(jù)之前類別的分布觀測(cè)數(shù)據(jù)在各類別種情況下的分布X屬于哪一類的概率其中：.最小錯(cuò)誤率準(zhǔn)那么 例：醫(yī)生要根據(jù)病人血液中白細(xì)胞的濃度來判別病人能否患血液病。兩類識(shí)別問題：患病，未患病根據(jù)醫(yī)學(xué)知識(shí)和以往的閱歷，醫(yī)生知道：患病的人，白細(xì)胞的濃度服從均值2000方差

5、1000的正態(tài)分布；未患病的人，白細(xì)胞的濃度服從均值7000，方差3000的正態(tài)分布；類條件概率普通人群中，患病的人數(shù)比例為0.5%；先驗(yàn)概率一個(gè)人的白細(xì)胞濃度時(shí)3100，醫(yī)生應(yīng)該做出怎樣的判別？后驗(yàn)概率？.最小錯(cuò)誤率準(zhǔn)那么數(shù)學(xué)表示： ：表示類別這一隨機(jī)變量1：表示患病2：表示不患病 X：表示白細(xì)胞濃度這一隨機(jī)變量 x： 表示白細(xì)胞濃度值.最小錯(cuò)誤率準(zhǔn)那么醫(yī)生根據(jù)曾經(jīng)掌握的知識(shí)知道類別的先驗(yàn)分布：先驗(yàn)概率分布：未獲得觀測(cè)數(shù)據(jù)病人白細(xì)胞濃度之前類別的分布。.最小錯(cuò)誤率準(zhǔn)那么觀測(cè)數(shù)據(jù)白細(xì)胞濃度分別在兩種情況下的類條件概率分布：知先驗(yàn)分布和觀測(cè)值的類條件概率分布，就可以用貝葉斯實(shí)際求得x屬于哪一類的

6、后驗(yàn)概率： 和.最小錯(cuò)誤率準(zhǔn)那么最小錯(cuò)誤率準(zhǔn)那么以先驗(yàn)概率、類條件概率密度、特征值向量為輸入以后驗(yàn)概率作為類別判別的根據(jù)貝葉斯公式保證了錯(cuò)誤率最小.最小錯(cuò)誤率準(zhǔn)那么最小錯(cuò)誤率的貝葉斯決策規(guī)那么為： 假設(shè) 大于 ，那么把x歸于患病形狀，反之那么歸于未患病形狀。最大后驗(yàn)概率決策 x1=x2 ?.最小錯(cuò)誤率準(zhǔn)那么最小錯(cuò)誤率準(zhǔn)那么的平均錯(cuò)誤率：x2=x3x2和x3 都是p(x, 1)= p(x, 2)的根，因此是兩類分界.最小錯(cuò)誤率準(zhǔn)那么最小錯(cuò)誤率準(zhǔn)那么的平均錯(cuò)誤率： 記平均錯(cuò)誤率為P(e)，令 t = x2=x3，那么 .最小錯(cuò)誤率準(zhǔn)那么平均錯(cuò)誤率能否最??？.最小錯(cuò)誤率準(zhǔn)那么似然比公式那么：等價(jià)于：

7、似然比公式.最小錯(cuò)誤率準(zhǔn)那么特例1：.最小錯(cuò)誤率準(zhǔn)那么特例2：.最小錯(cuò)誤率準(zhǔn)那么方式邏輯經(jīng)典確定性推理以鱸魚和鮭魚分類為例：假言：假設(shè)魚的長(zhǎng)度 大于45cm，那么該魚為 鱸魚 ，否那么該魚為鮭魚前提：如今某條魚 結(jié)論：該魚為鮭魚概率推理不確定性推理.最小錯(cuò)誤率準(zhǔn)那么例子：給定 ，類條件概率密度如圖?，F(xiàn)有一條魚 x=38cm， 假設(shè)采用最小錯(cuò)誤率決策，該魚應(yīng)該為哪一類？ 故判決：.Bayes決策準(zhǔn)那么最小錯(cuò)誤率準(zhǔn)那么最小風(fēng)險(xiǎn)準(zhǔn)那么Neyman-Pearson準(zhǔn)那么最小最大決策準(zhǔn)那么.最小風(fēng)險(xiǎn)準(zhǔn)那么最小風(fēng)險(xiǎn)貝葉斯決策：思索各種錯(cuò)誤呵斥損失不同而提出的一種決策規(guī)那么。條件風(fēng)險(xiǎn)：.最小風(fēng)險(xiǎn)準(zhǔn)那么期望風(fēng)

8、險(xiǎn)：對(duì)于x的不同察看值，采取決策i時(shí)，其條件風(fēng)險(xiǎn)大小是不同的。所以終究采取哪一種決策將隨x的取值而定。這樣，決策可以看成隨機(jī)向量x的函數(shù)，記為(x)?？梢远x期望風(fēng)險(xiǎn)Rexp為：期望風(fēng)險(xiǎn)反映對(duì)整個(gè)空間上一切x的取值采取相應(yīng)的決策(x)所帶來的平均風(fēng)險(xiǎn)，也即條件風(fēng)險(xiǎn)在特征空間的平均值。.最小風(fēng)險(xiǎn)準(zhǔn)那么兩分類問題的例子：.似然比公式.0-1 損失當(dāng)作出正確決策時(shí)i=j時(shí)沒有損失，而對(duì)任何錯(cuò)誤的決策，其損失為1。此時(shí)定義的損失函數(shù)為0-1損失函數(shù)。.最小風(fēng)險(xiǎn)準(zhǔn)那么不同的損失函數(shù)決議了不同的似然比判決閾值：每一類的判決域能夠是不延續(xù)的! a：0-1損失 b：1221.最小風(fēng)險(xiǎn)準(zhǔn)那么最小風(fēng)險(xiǎn)貝葉斯決策的

9、步驟：1根據(jù)先驗(yàn)概率和類條件概率計(jì)算出后驗(yàn)概率；2利用后驗(yàn)概率和損失矩陣計(jì)算采取每種決策的條件風(fēng)險(xiǎn)；3比較各個(gè)條件風(fēng)險(xiǎn)的值，條件風(fēng)險(xiǎn)最小的決策即為最小風(fēng)險(xiǎn)貝葉斯決策.最小風(fēng)險(xiǎn)準(zhǔn)那么.最小風(fēng)險(xiǎn)準(zhǔn)那么對(duì)于貝葉斯最小風(fēng)險(xiǎn)決策，假設(shè)損失函數(shù)為“0-1損失，即取如下的方式： 那么，條件風(fēng)險(xiǎn)為： 此時(shí)，貝葉斯最小風(fēng)險(xiǎn)決策與最小錯(cuò)誤率決策等價(jià)。.Bayes決策準(zhǔn)那么最小錯(cuò)誤率準(zhǔn)那么最小風(fēng)險(xiǎn)準(zhǔn)那么Neyman-Pearson準(zhǔn)那么最小最大決策準(zhǔn)那么.Neyman-Pearson準(zhǔn)那么最小錯(cuò)誤率準(zhǔn)那么: 后驗(yàn)概率最大化，實(shí)際上錯(cuò)誤率最小最小風(fēng)險(xiǎn)準(zhǔn)那么： 風(fēng)險(xiǎn)函數(shù)最小化，實(shí)際上總風(fēng)險(xiǎn)最小在先驗(yàn)概率和損失未知的情況

10、下如何決策？.Neyman-Pearson準(zhǔn)那么問題：先驗(yàn)概率和損失未知通常情況下，無法確定損失。先驗(yàn)概率未知，是一個(gè)確定的值某一種錯(cuò)誤較另一種錯(cuò)誤更為重要。根本思想：要求一類錯(cuò)誤率控制在很小，在滿足此條件的前提下再使另一類錯(cuò)誤率盡能夠小。用lagrange乘子法求條件極值.Neyman-Pearson準(zhǔn)那么對(duì)兩分類問題，錯(cuò)誤率可以寫為：由于P(1) 和P(2)對(duì)詳細(xì)問題往往是確定的但是未知，普通稱P1(e)和P2(e)為兩類錯(cuò)誤率。 P1(e)和P2(e)的值決議了P(e)的值。.Neyman-Pearson準(zhǔn)那么.Neyman-Pearson準(zhǔn)那么為了求L的極值點(diǎn)，將 L 分別對(duì) t 和求

11、偏導(dǎo)：留意：這里分析的是兩類錯(cuò)誤率，與先驗(yàn)概率無關(guān)！決策準(zhǔn)那么 ？.Neyman-Pearson準(zhǔn)那么最小錯(cuò)誤率準(zhǔn)那么的等價(jià)方式Neyman-Pearson準(zhǔn)那么 兩者都以似然比為根底，在未知先驗(yàn)概率時(shí)運(yùn)用Neyman-Pearson準(zhǔn)那么。.Bayes決策準(zhǔn)那么最小錯(cuò)誤率準(zhǔn)那么最小風(fēng)險(xiǎn)準(zhǔn)那么Neyman-Pearson準(zhǔn)那么最小最大決策準(zhǔn)那么.最小最大決策準(zhǔn)那么Neyman-Pearson準(zhǔn)那么假定先驗(yàn)概率是一個(gè)確定的值，此時(shí)斷定結(jié)果會(huì)遭到先驗(yàn)概率的影響。實(shí)踐中，類先驗(yàn)概率 P(i) 往往不能準(zhǔn)確知道或在分析過程中是變動(dòng)的，從而導(dǎo)致判決域不是最正確的。所以應(yīng)思索如何處理在 P(i) 不確知或

12、變動(dòng)的情況下使期望風(fēng)險(xiǎn)變大的問題。最小最大決策準(zhǔn)那么：在最差的條件下爭(zhēng)取最好的結(jié)果，使最大風(fēng)險(xiǎn)最??！.最小最大決策準(zhǔn)那么分析期望風(fēng)險(xiǎn) R 與先驗(yàn)概率 P(1) 的關(guān)系： 對(duì)于兩類問題，設(shè)一種分類識(shí)別決策將特征空間R劃分為兩個(gè)子空間 R1 和 R2 ，記ij為將屬于 i 類的方式判為j 類的損失函數(shù)，各種判決的期望風(fēng)險(xiǎn)為：.最小最大決策準(zhǔn)那么將)(1)(12w-=wPP和帶入上式：.最小最大決策準(zhǔn)那么期望風(fēng)險(xiǎn)可寫成：一旦 R1 和 R2 確定，a和b為常數(shù)一旦 R1 和 R2 確定， R 與 P(1) 成線性關(guān)系選擇使 b=0 的R1 和 R2 ，期望風(fēng)險(xiǎn)與P(1) 無關(guān)！.最小最大決策準(zhǔn)那么P

13、A(1)1 p(1)ACDR*BR*B0DCR1 ,R2不變R1 ,R2改動(dòng)PB(1)b=0此時(shí)最大風(fēng)險(xiǎn)最小,D = ab=0 時(shí)的p(1).最小最大決策準(zhǔn)那么求 b=0 時(shí)的 p(1) 等價(jià)于在R隨著p(1)的變化曲線上求：時(shí)的p(1)。在 b=0 時(shí)的 決策條件下，期望風(fēng)險(xiǎn)與p(1) 無關(guān)，值為a，此時(shí)，R的最大值最小。這種決策準(zhǔn)那么稱為最小最大決策準(zhǔn)那么。.最小最大決策準(zhǔn)那么由于：當(dāng)采用0-1損失函數(shù)時(shí)，b=0可推導(dǎo)出：此時(shí)，最小最大損失判決所導(dǎo)出的最正確分界面應(yīng)使兩類錯(cuò)誤概率相等！.貝葉斯決策實(shí)際引言貝葉斯決策常用的準(zhǔn)那么分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù).概念描畫分類器判別函

14、數(shù)決策面.決策域：待識(shí)別的特征向量落在哪個(gè)決策域，該樣本就被判為哪一類。決策面：決策域的邊境面。在數(shù)學(xué)上用解析方式表示成決策面方程。判別函數(shù)：用于表達(dá)決策規(guī)那么的某些函數(shù)。判別函數(shù)和決策面方程是親密相關(guān)的，并且都是由相應(yīng)的判決準(zhǔn)那么所確定的。分類器，判別函數(shù)，決策面.例：兩類別問題按最小錯(cuò)誤率做決策相應(yīng)的判別函數(shù)：gi(x)=p(wi|x),i=1,2決策面方程：g1(x)=g2(x)決策規(guī)那么:假設(shè)gi(x)gj(x) i,j=1,2 且i不等于j，那么x屬于wi.分類器，判別函數(shù)，決策面分類器最常用的表述方式為判別函數(shù)： 基于判別函數(shù)的判決每個(gè)類別對(duì)應(yīng)一個(gè)判別函數(shù)。假設(shè)：那么方式為.分類器

15、，判別函數(shù)，決策面判別函數(shù)Discriminate functions.例如基于最小誤差概率的貝葉斯分類器基于最小總風(fēng)險(xiǎn)的貝葉斯分類器.Note:只需滿足如下條件, 那么表達(dá)同樣的判決規(guī)那么能夠采用不同的判別函數(shù)： 用f(gi(x)交換gi(x)，其中f(*)為單調(diào)遞增函數(shù) 例如： gi(x) kgi(x) , k為正常數(shù) gi(x) gi(x)+k , k為恣意常數(shù) gi(x) log(gi(x).分類器，判別函數(shù)，決策面特殊的，對(duì)于兩分類問題，也可以只用一個(gè)判別函數(shù) 令：判決規(guī)那么例如：假設(shè)：那么方式為否那么為.分類器，判別函數(shù)，決策面判決區(qū)域: 判決區(qū)域 Ri 是特征空間中的一個(gè)子空間，

16、判決規(guī)那么將一切落入 Ri 的樣本x分類為類別i。決策面Decision Surface：判決邊境是特征空間中劃分判決區(qū)域的超平面在判決邊境上，通常有兩類或多類的判別函數(shù)值相等.分類器，判別函數(shù)，決策面判別函數(shù)和決策面：.分類器，判別函數(shù)，決策面分類器設(shè)計(jì)就是設(shè)計(jì)判別函數(shù)，求出斷定面方程g(x)!.貝葉斯決策實(shí)際引言貝葉斯決策常用的準(zhǔn)那么分類器，判別函數(shù)，決策面正態(tài)分布的判別函數(shù).正態(tài)分布的統(tǒng)計(jì)決策為什么研討正態(tài)分布？物理上的合理性：較符合很多實(shí)踐情況，觀測(cè)值通常是很多種要素共同作用的結(jié)果，根據(jù)中心極限定理，服從正態(tài)分布。數(shù)學(xué)上比較簡(jiǎn)單：參數(shù)個(gè)數(shù)少單變量正態(tài)分布多元正態(tài)分布.正態(tài)分布的統(tǒng)計(jì)決策

17、單變量正態(tài)分布密度函數(shù)高斯分布：.正態(tài)分布的統(tǒng)計(jì)決策多元正態(tài)分布函數(shù)期望(均值向量)協(xié)方差矩陣(對(duì)稱非負(fù)定).多元正態(tài)分布的性質(zhì)參數(shù)個(gè)數(shù)：d+d(d+1)/2 均值向量：d個(gè)參數(shù) 協(xié)方差矩陣：對(duì)稱的d維矩陣， d(d+1)/2個(gè)參數(shù)等密度點(diǎn)的軌跡為一超橢球面要使密度p(x)值不變，需指數(shù)項(xiàng)為常數(shù)，即：超橢球面.多元正態(tài)分布的性質(zhì)馬氏間隔(Mahanlanobis Distance)：與 歐式間隔：不同，馬氏間隔思索數(shù)據(jù)的統(tǒng)計(jì)分布，在方式識(shí)別中有廣泛的用途。.多元正態(tài)分布的性質(zhì)正態(tài)分布的隨機(jī)變量，不相關(guān)等價(jià)于獨(dú)立.多元正態(tài)分布的性質(zhì)線性變換仍是正態(tài)分布線性組合仍是正態(tài)分布線性變換的特例一維正態(tài)隨

18、機(jī)變量.正態(tài)分布的判別函數(shù)貝葉斯判別函數(shù)可以寫成對(duì)數(shù)方式： 類條件概率密度函數(shù)為正態(tài)分布時(shí)： .正態(tài)分布的判別函數(shù)情況一：各類協(xié)方差陣相等，且各特征獨(dú)立，方差相等情況二：各類協(xié)方差陣相等情況三：各類協(xié)方差陣不相等 恣意的.情況一：將代入得到?jīng)Q策函數(shù)展開決策函數(shù)其中，二次項(xiàng)對(duì)一切的 i 是相等的.正交因此，等價(jià)的判決函數(shù)為：其中：決策面可以寫成：其中：過 與的超平面.當(dāng)，但是，假設(shè)當(dāng)，向先驗(yàn)概率小的方向偏移。位于兩中心的中點(diǎn)；相對(duì)于平方間隔較小，那么判決邊境的位置相對(duì)于確切的先驗(yàn)概率值并不敏感。在此情況下，最優(yōu)判決的規(guī)那么為： 為將某特征向量x歸類，經(jīng)過丈量每一x到c個(gè)均值向量中心的每一個(gè)歐氏間隔，并將x歸為離它最近的那一類。這樣的分類器稱為“最小間隔分類器。.情況一：最小間隔分類器最小間隔分類器判決邊境是d-1維超平面，垂直于兩類中心的連線.情況一：最小間隔分類器上述結(jié)果表示在二維特征空間里，如以下圖所示：可以推行到多類的情