兩類別LDA線性判別式分析PPT課件

1、2021/3/91Linear Discriminant AnalysisLDA線性判別式分析法利用線性判別函數(shù)設(shè)計兩類分類器2021/3/92問題的起源在概率密度函數(shù)P(x|wi)未知的條件下,不再設(shè)法求出P(x|wi)并轉(zhuǎn)化為后驗概率密度函數(shù)P(wi | x),而是采用以下方法:給定某個線性判別函數(shù)類g(x)利用樣本集X X確定判別函數(shù)類g(x)中的未知參數(shù)(給定一個cost function用最優(yōu)化方法使代價函數(shù)取極值)1)把未知樣本x歸類到具有最大的判別函數(shù)值的類別中2021/3/93線性判別函數(shù)的給定一般線性判別函數(shù)一般線性判別函數(shù):2021/3/942021/3/95廣義線性判別函

2、數(shù)廣義線性判別函數(shù):2021/3/962021/3/972021/3/98結(jié)論結(jié)論:對任意判別函數(shù)作級數(shù)展開，然后取其截尾部分的逼近對任意判別函數(shù)作級數(shù)展開，然后取其截尾部分的逼近,通過適當?shù)耐ㄟ^適當?shù)淖儞Q，都可以化為廣義線性判別函數(shù)來處理變換，都可以化為廣義線性判別函數(shù)來處理.解決由樣本集設(shè)計線性分類器的主要步驟解決由樣本集設(shè)計線性分類器的主要步驟:2021/3/99(應用于線性可分的樣本集)原理:設(shè):樣本集Y Y=y1, y2, yN為對應于X X= x x1, x x2, x xN的增廣樣本集.2021/3/910感知準則函數(shù)2021/3/9112021/3/9122021/3/9132

3、021/3/914解釋:設(shè):A為Tyn0的解區(qū), B為Tynb的解區(qū),則: 對任意B必有A,即有:A包含B.即新解區(qū)B位于原解區(qū)A之中.設(shè): A為A解區(qū)邊界上的點,則A滿足: ATyn=0. B為B解區(qū)邊界上的點,則B滿足: BTyn=b. B解區(qū)邊界離開A解區(qū)邊界的距離| B -A |為:BTyn -ATyn =b BT -AT=b/yn | B -A | =b/ | yn | 2021/3/915引子:感知準則函數(shù)及其梯度下降算法只適用于線性可分情況，對于線性不可分情況，算法不收斂但在實際問題中往往無法事先知道樣本集是否線性可分.因此，我們希望找到一種既適用于線性可分情況，又適用于線性不可

4、分情況的算法。這種算法對于線性可分問題，可以得到一個如感知準則函數(shù)那樣的解向量，使得對兩類樣本集做到將全部樣本正確分類；而對于線性不可分問題，則得到一個使兩類樣本集錯分數(shù)目最少的權(quán)向量.我們把這樣的準則稱為最小錯分樣本數(shù)準則。2021/3/9162021/3/917最小錯分樣本數(shù)準則函數(shù)I:對于式(4-47)定義準則函數(shù)I:Jq1=|(Y -b)-| Y -b | |2找滿足 :min Jq1的*. (共軛梯度法)最小錯分樣本數(shù)準則函數(shù)II:對于式(4-45)定義準則函數(shù)II:Jq2=(1+sgn(yi)找滿足 :max Jq2的*. (搜索法)式中: sgn(yi)= -1 if yi0 sgn(yi)= +1 if yi0 2021/3