第2章Bayes決策理論ppt課件

1、第2章 Bayes決策實(shí)際 2.1 最小錯誤概率的Bayes決策 2.2最小風(fēng)險的Bayes決策 2.3Neyman-Pearson決策2.4 最小最大決策2.5Bayes分類器和判別函數(shù)2.6 正態(tài)分布時的Bayes決策法那么2.7離散情況的Bayes決策.實(shí)踐上由于實(shí)驗(yàn)的樣本是從總體中隨機(jī)抽取的，不能保證用過去的抽取的樣本訓(xùn)練得到的分類邊境對新的方式樣本也能較好地分類。因此，思索樣本不確定性的方式識別方法是非常重要 的。另外，還有特征選擇不完善所引起的不確定性，方式數(shù)據(jù)采集和預(yù)處置和特征抽取過程中干擾和噪聲引起的不確定性。綜上，我們引出統(tǒng)計決策的方法。 前往本章首頁.對方式 識別的主要統(tǒng)計

2、方法是Bayes決策實(shí)際，它是用概率論的方法研討決策問題，要求1各類別先驗(yàn)概率以及條件概率密度均為知 ，即各類別總體的概率分布是知的；2 要決策分類的類別是一定的；前往本章首頁.2.1 最小錯誤概率的Bayes決策在方式識別問題中，感興趣的往往是盡量減小分類錯誤的概率。為此，我們可以建立一個能得到最小錯誤率的決策方法?？匆粋€簡單的例子。假設(shè)某工廠消費(fèi)兩種大小，外形都一樣的螺絲釘，一種是銅的，一種是鐵的。兩種產(chǎn)品混在一同，要求對它們自動分類。分兩種情況討論：1先驗(yàn)概率知；2先驗(yàn)概率和條件概率密度函數(shù)均知。前往本章首頁.先驗(yàn)概率知鐵螺絲出現(xiàn)的概率銅螺絲出現(xiàn)的概率它們反映了我們在下一個樣品出現(xiàn)前對它

3、的類別能夠性的先驗(yàn)知識，稱這種先于事件的概率為先驗(yàn)概率。合理的決策規(guī)那么：決策錯誤的概率：前往本章首頁先驗(yàn)概率和條件概率密度函數(shù)均知鐵螺絲出現(xiàn)的概率銅螺絲出現(xiàn)的概率鐵螺絲出現(xiàn)的概率銅螺絲出現(xiàn)的概率 螺絲背光源照射后反射光的亮度特征求取后驗(yàn)概率：前往本章首頁對待分類方式的特征我們得到一個察看值 ， 合理的決策規(guī)那么：決策錯誤的條件概率隨機(jī)變量 的函數(shù)：方式特征 是一個隨機(jī)變量，在運(yùn)用Bayes法那么時，每當(dāng)察看到一個方式時，得到特征 ，就可利用后驗(yàn)概率作出分類的決策，同時也會帶來一定的錯誤概率。假設(shè)察看到大量的方式，對它們作出決策的平均錯誤概率 應(yīng)是 的數(shù)學(xué)期望。前往本章首頁平均錯誤概率從式可知

4、，假設(shè)對每次察看到的特征值 ， 是盡能夠小的話，那么上式的積分必定是盡能夠小的這就證明了最小錯誤率的Bayes決策法那么。下面從實(shí)際上給予證明。以兩類方式為例。前往本章首頁前往本章首頁前往本章首頁結(jié) 束放映3.2 最小風(fēng)險的Bayes決策在上一節(jié)我們引見了最小錯誤率的Bayes決策，并且證明了運(yùn)用這種決策法那么時，平均錯誤概率是最小的。但實(shí)踐上有時需求思索一個比錯誤率更為廣泛的概念風(fēng)險，舉例闡明。毋庸置疑，任何風(fēng)險都會帶來一定損失?？匆粋€普通的決策表。前往本章首頁.前往本章首頁前往本章首頁察看或丈量到的 d 維方式特征向量；形狀或方式類空間決策空間 損失函數(shù)，表示真實(shí)形狀為 而所采取的決策為

5、時所帶來的某種損失。根據(jù)Bayes公式，后驗(yàn)概率為：前往本章首頁對于剛剛的決策表思索如下的一個條件期望損失，即給定 ，我們采取決策 情況下的條件期望損失條件風(fēng)險 ：采取那種決策呢？ 最小風(fēng)險Bayes決策規(guī)那么：前往本章首頁 綜上，可知該規(guī)那么的進(jìn)展步驟為：1根據(jù)知，計算出后驗(yàn)概率；2利用計算出的后驗(yàn)概率及決策表專家根據(jù)閱歷確定，計算條件風(fēng)險3最小風(fēng)險決策前往本章首頁這樣按最小風(fēng)險的Bayes決策規(guī)那么，采取的決策將隨 的取值而定，引入函數(shù) ，表示對 的決策。對整個特征空間上一切 的取值采取相應(yīng)的決策 所帶來的平均風(fēng)險顯然，我們對延續(xù)的隨機(jī)方式向量按最小風(fēng)險Bayes決策規(guī)那么采取的一系列決策

6、行動可以使平均風(fēng)險最小。到此為止，我們曾經(jīng)分析了兩種分別使錯誤率和風(fēng)險到達(dá)最小的Bayes決策規(guī)那么，下面分析一下兩種決策規(guī)那么的關(guān)系。前往本章首頁兩類情況下的最小風(fēng)險Bayes決策.前往本章首頁在兩類問題中，假設(shè)有 ，決策規(guī)那么變?yōu)檫@時最小風(fēng)險的Bayes決策和最小錯誤率的Bayes決策規(guī)那么是一致的。.前往本章首頁普通的多類問題中，設(shè)損失函數(shù)為0-1損失函數(shù).前往本章首頁.3.3 NeymanPearson決策NeymanPearson決策即限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策。前往本章首頁前往本章首頁用Lagrange乘子法建立其數(shù)學(xué)模型前往本章首頁前往本章首頁前往本章首

7、頁獲得極小值的邊境條件與最小錯誤率的Bayes決策的比較3.4 最小最大決策有時我們必需設(shè)計在整個先驗(yàn)概率范圍上都能很好的進(jìn)展操作的分類器。比如，在我們的有些分類問題中能夠想象雖然方式的有些物理屬性恒定不變，然而先驗(yàn)概率能夠變化范圍很大，并且以一種不確定的 方式出現(xiàn)。或者，我們希望在先驗(yàn)概率不知道的情況下運(yùn)用此分類器，那么一種合理的設(shè)計分類器的方法就是使先驗(yàn)概率取任何一種值時所引起的總風(fēng)險的最壞的情況盡能夠小，也就是說，最小化最大能夠的總風(fēng)險。以二類方式識別問題為例，進(jìn)展討論。 前往本章首頁.前往本章首頁以兩類情況下的最小風(fēng)險Bayes決策為例進(jìn)展討論總風(fēng)險公式.前往本章首頁假定決策域曾經(jīng)確定

8、，我們以 表示分類器判為 時的特征空間中的區(qū)域，同樣有 和 ，于是總風(fēng)險用條件風(fēng)險的方式表示為.前往本章首頁.前往本章首頁一旦 和 確定，風(fēng)險 就是先驗(yàn)概率 的線性函數(shù)，可表示為決策閥值.前往本章首頁一旦 和 確定，風(fēng)險 就是先驗(yàn)概率 的線性函數(shù)，可表示為決策閥值 .前往本章首頁.前往本章首頁前往本章首頁綜上所述，可以得出：在作最小風(fēng)險Bayes決策時，假設(shè)思索 有能夠改動或?qū)ο闰?yàn)概率毫無所知，那么應(yīng)選擇使最小Bayes風(fēng)險 為最大值時的 來設(shè)計分類器，它相對于其它的 為最大，但能保證在不論 如何變化時，使最大風(fēng)險將為最小，我們稱其為最小最大決策。其義務(wù)就是尋覓使Bayes風(fēng)險為最大時的決策域

9、 和 ，它對應(yīng)于下式然后確定3.5 Bayes分類器和判別函數(shù)前往本章首頁前面我們引見了四種決策規(guī)那么，這里結(jié)合第二章中引見的判別函數(shù)和決策面的概念來設(shè)計分類器。對于n 維空間中的 c 個方式類別各給出一個由 n 個特征組成的單值函數(shù)，這叫做判別函數(shù)。在 c 類的情況下，我們共有 c個判別函數(shù)，記為判別函數(shù)的性質(zhì)假設(shè)一個方式 X 屬于第 i 類，那么有而假設(shè)這個方式在第 i 類和第 j 類的分界面上，那么有前往本章首頁1 多類情況最小錯誤率的Bayes決策規(guī)那么：可設(shè)判別函數(shù)為：.前往本章首頁最小風(fēng)險的Bayes決策規(guī)那么，可設(shè)判別函數(shù)為決策面方程分類器框圖.前往本章首頁前往本章首頁.前往本章

10、首頁2 兩類情況可設(shè)判別函數(shù)為：可將其恣意分類，或回絕3.6 正態(tài)分布時的Bayes決策法那么前往本章首頁在前面我們提到設(shè)計Bayes分類器的兩個先決知條件：1先驗(yàn)概率 ；2條件概率密度函數(shù) 。先驗(yàn)概率的估計并不困難，關(guān)鍵是條件概率密度函數(shù)。這里我們以正態(tài)分布概率密度函數(shù)為主進(jìn)展討論，由于 在實(shí)踐問題中，大量的隨機(jī)變量都服從或近似地服從正態(tài)分布； 即使統(tǒng)計總體不服從正態(tài)分布，但是它的許多重要的樣本特征能夠是漸進(jìn)正態(tài)分布的； 正態(tài)分布分析起來比較方便。前往本章首頁正態(tài)分布概率密度函數(shù)的定義及性質(zhì)1單變量正態(tài)分布單變量正態(tài)分布概率密度函數(shù) ，有兩個參數(shù) 和 完全決議，常簡記為 。期望方差.前往本章

11、首頁2多維變量正態(tài)分布均值向量協(xié)方差矩陣.前往本章首頁多維變量正態(tài)分布密度函數(shù)的性質(zhì)1多維變量正態(tài)分布密度函數(shù)由均值向量 和協(xié)方差矩陣 完全確定，包含的參數(shù)個數(shù)為 。 2等密度點(diǎn)的軌跡為一超橢球面，且它的主軸方向由 陣的特征向量所確定，主軸的長度與相應(yīng)的協(xié)方差矩陣 的本征值成正比。.前往本章首頁前往本章首頁設(shè) 在超橢球上， 到超橢球中心的間隔為 ，求主軸長度即是求其條件極值，構(gòu)造Lagrange函數(shù).前往本章首頁所以，第 i 個主軸的長度與 的第 i 個特征值的平方根成正比，如下圖。定義 為向量 到均值向量 的馬氏間隔。等概率密度點(diǎn)的軌跡是一個到均值向量 的馬氏間隔為常數(shù)的超球體。3 不相關(guān)性

12、等價于獨(dú)立性。4邊緣分布和條件分布的正態(tài)性。5線性變換的正態(tài)性。6線性組合的正態(tài)性。.前往本章首頁多維變量正態(tài)概率型下的最小錯誤率Bayes判別函數(shù)和決策面.前往本章首頁下面根據(jù)上式對以下三種情況進(jìn)展討論。決策面方程.前往本章首頁1 ，即每類的協(xié)方差矩陣都相等，而且類內(nèi)各特征間相互獨(dú)立，具有相等的方差 假設(shè)先驗(yàn)概率不等，那么平方間隔歐氏間隔必需經(jīng)過方差進(jìn)展歸一化，并經(jīng)過添加 進(jìn)展修正。.前往本章首頁 假設(shè)先驗(yàn)概率相等稱其為最小間隔分類器。對以上兩類情況進(jìn)展化簡.前往本章首頁下面來看線性分類器的決策面方程.前往本章首頁對其，我們用一個二維二類方式例子，設(shè)先驗(yàn)概率相等，從幾何上表示其關(guān)系不相等的情

13、況請參照教材P32前往本章首頁2 ，即各類的協(xié)方差矩陣都相等假設(shè)先驗(yàn)概率相等，只需計算 到各類的均值點(diǎn) 的馬氏間隔平方，然后把 歸于 間隔平方最小的類別。.前往本章首頁對以上兩類情況進(jìn)展化簡.前往本章首頁決策面方程前往本章首頁對其，我們用一個二維二類方式例子，設(shè)先驗(yàn)概率相等，從幾何上表示其關(guān)系前往本章首頁2各類的協(xié)方差矩陣不相等.前往本章首頁3.7 離散情況的Bayes決策前往本章首頁前面我們我們引見都是延續(xù)情況的Bayes決策實(shí)際，這里我們看一下的離散情況。設(shè) 是離散型隨機(jī)變量，從而Bayes決策法那么就是：這時Bayes決策規(guī)那么依然不變，最小錯誤概率的Bayes決策法那么仍為：前往本章首頁最小風(fēng)險的Bayes決策法那么仍為：這里著重討論最小錯誤率的Bayes決策法那么。等價的判別函數(shù)有以下幾種方式：對二類方式的分類問題，判別函數(shù)可采用以下的方式：前往本章首頁設(shè)方式特征向量為且各特征相互獨(dú)立。并令：前往本章首頁從而似然比：將其改寫為線性判別函數(shù)的方式：前往本章首頁式中：可將其恣意分類，或回絕課后習(xí)題一前往本章首頁設(shè)五維空間的線性方程為試求出其權(quán)向量與樣本向量點(diǎn)積的表達(dá)式 中的 ， 以及增廣權(quán)向量與增廣樣本向量方式 中的 與 。上式是一個五維空間的超平面，求