模式識(shí)別基礎(chǔ)課件：第三章 線性判別函數(shù)2

1、1第三章 線性判別函數(shù)3.9 Fisher 線性判別2Fisher 線性判別統(tǒng)計(jì)模式識(shí)別中，一再碰到的問題之一是維數(shù)問題。在低維空間里解析上或計(jì)算上行得通的方法，在高維空間里往往行不通。因此降低維數(shù)有時(shí)就成為處理實(shí)際問題的關(guān)鍵。我們可以考慮把d維空間的樣本投影到一條直線上，形成一維空間，即把維數(shù)壓縮到一維。即使樣本在d維空間形成若干緊湊的互相分得開的集群，若把它們投影到一條任意的直線上，也可能使幾類樣本混在一起而變得無法識(shí)別。一般情況下，總可以找到某個(gè)方向，使在這個(gè)方向的直線上，樣本的投影能分開得最好。如何根據(jù)實(shí)際情況找到這條最易于分類的投影線，這就是Fisher方法所要解決的問題。3Fish

2、er 線性判別Fisher線性判別的基本原理4Fisher 線性判別問題描述： N個(gè)d維樣本，做線性組合得到標(biāo)量yn， 尋找最好的投影方向，使得w為最好的變換向量w*。 5Fisher 線性判別引入符號(hào)：6Fisher 線性判別在d維X空間，定義：7Fisher 線性判別在一維Y空間，定義： 各類樣本均值： 樣本類內(nèi)離散度與總類內(nèi)離散度： 8Fisher 線性判別 定義Fisher準(zhǔn)則函數(shù)JF(w)： 我們希望在投影后，在一維Y空間中各類樣本盡可能分得開些，即希望兩類均值之差越大越好；同時(shí)希望各類樣本內(nèi)部盡量密集，即希望類內(nèi)離散度越小越好。因此，定義Fisher準(zhǔn)則函數(shù)為 顯然應(yīng)該尋找使其分子

3、盡可能大，分母盡可能小，亦即使準(zhǔn)則函數(shù)取極大值的w作為投影方向。9Fisher 線性判別 由于準(zhǔn)則函數(shù)中并不顯含w，故必須設(shè)法使其變成w的顯函數(shù)。先看分子：10Fisher 線性判別再看分母：故：11Fisher 線性判別準(zhǔn)則函數(shù)顯含w的表達(dá)式為下面用Lagrange乘子法求使準(zhǔn)則函數(shù)取極大值時(shí)的w*。12Fisher 線性判別令分母為非零常數(shù)定義Lagrange函數(shù)為對(duì)w求偏導(dǎo)令偏導(dǎo)為零，得即13Fisher 線性判別 由于Sw在 Nd 時(shí)通常是非奇異的，故兩邊左乘Sw -1，可得 此為求解一般矩陣 的特征值問題。但在我們這個(gè)特殊情況下，可以做如下變換： 由于 所以 式中 為一標(biāo)量14Fisher 線性判別 故 從而 由于我們的目的是尋找最好的投影方向， w*的比例因子對(duì)此并無影響，故忽略比例因子后得：15Fisher 線性判別 得到的 就是使準(zhǔn)則函數(shù)取極大值的解，也就是d維X空間到一維Y空間的最好投影方向。有了w* ，就可以把d維樣本xn投影到一維，這實(shí)際上是多維空間到一維空間的一種映射。16Fisher 線性判別Fisher分類器至此，我們已經(jīng)將一個(gè)d維分類問題轉(zhuǎn)化為一維分類問題了。分類的方法就是確定一個(gè)閾值y0，將投影點(diǎn)yn與閾值y0相比較，便可做出決策。閾值點(diǎn)的選擇，需要利用先驗(yàn)知識(shí)，比如：17Fisher 線性