模式識別中的模式判別

1、第二章 模式判別 模式判別的基本任務(wù)：判斷一個未知模式判別的基本任務(wù)：判斷一個未知類別的樣本屬于哪一個待選類別。類別的樣本屬于哪一個待選類別。 模式判別的基本思路：模式判別的基本思路：對待選的對待選的c個類別有個基本的了解個類別有個基本的了解給出每個類別的代表樣本，也就是訓(xùn)練給出每個類別的代表樣本，也就是訓(xùn)練樣本，這些樣本分別代表的待選類別的樣本，這些樣本分別代表的待選類別的典型特征典型特征選擇選擇n個合適的特征對提供的訓(xùn)練樣本進個合適的特征對提供的訓(xùn)練樣本進行描述行描述將特征進行量化描述，則每個訓(xùn)練樣本將特征進行量化描述，則每個訓(xùn)練樣本就可以用特征空間中的一個點來表示。就可以用特征空間中的一

2、個點來表示。 模式判別的基本思路（續(xù)）：模式判別的基本思路（續(xù)）：所有的訓(xùn)練樣本都表示為特征空間中的所有的訓(xùn)練樣本都表示為特征空間中的點的形式點的形式1232x1x 模式判別的基本思路（續(xù)）：模式判別的基本思路（續(xù)）：對于空間中的訓(xùn)練樣本，希望能夠找到對于空間中的訓(xùn)練樣本，希望能夠找到合適的分界面將各個類別所在的空間分合適的分界面將各個類別所在的空間分割開來割開來1232x1x 模式判別的基本思路（續(xù)）：模式判別的基本思路（續(xù)）：獲得合適的分界面后，分界面將整個空獲得合適的分界面后，分界面將整個空間分割成若干個區(qū)域，這樣空間中每個間分割成若干個區(qū)域，這樣空間中每個區(qū)域分別屬于一個類別區(qū)域分別屬

3、于一個類別當出現(xiàn)未知類別樣本時，也將其特征量當出現(xiàn)未知類別樣本時，也將其特征量化，表示成空間中的點化，表示成空間中的點根據(jù)點落在空間中的具體區(qū)域，來判別根據(jù)點落在空間中的具體區(qū)域，來判別該未知類別樣本屬于哪一類別。該未知類別樣本屬于哪一類別。這樣判別未知類別樣本該屬于哪一類的這樣判別未知類別樣本該屬于哪一類的工作就轉(zhuǎn)換為獲取合適的分界面的問題工作就轉(zhuǎn)換為獲取合適的分界面的問題1232x1x維空間的一個向量是n),.,(321XxxxxXTn決策函數(shù)決策函數(shù) 假設(shè)對一模式假設(shè)對一模式X已抽取已抽取n個特征，表示為：個特征，表示為： 模式識別問題就是根據(jù)模式模式識別問題就是根據(jù)模式X的的n個特征來

4、個特征來判別模式屬于判別模式屬于1 ,2 , , m 類中的那一類中的那一類。類。/表示類別的符號是表示類別的符號是，不是，不是w123邊界2x1x決策函數(shù)決策函數(shù)(續(xù)續(xù)) 例如下圖：三類的分類問題，它們的例如下圖：三類的分類問題，它們的邊界線就是一個決策函數(shù)邊界線就是一個決策函數(shù)決策函數(shù)決策函數(shù)(續(xù)續(xù)) 決策函數(shù)包含兩類決策函數(shù)包含兩類線性決策函數(shù)線性決策函數(shù) 線性決策函數(shù)線性決策函數(shù) 廣義線性決策函數(shù)廣義線性決策函數(shù) 分段線性決策函數(shù)分段線性決策函數(shù)非線性決策函數(shù)非線性決策函數(shù)線性線性決策決策函數(shù)函數(shù) 兩類問題兩類問題 即即 兩個特征，組成二維特征向量兩個特征，組成二維特征向量 這種情況下

5、線性決策函數(shù)可表示為這種情況下線性決策函數(shù)可表示為: 直線的參數(shù)用直線的參數(shù)用WT=(w1,w2)表示，表示，注意是注意是w不是不是/課本課本P.21有印刷錯誤有印刷錯誤12(,),2C ,() ,T12Xx xn2X此時 代表一個樣本1 12 23( )g Xwxw xwl兩類別情況，要求決策函數(shù)兩類別情況，要求決策函數(shù) g (X) 具有以下性質(zhì)：具有以下性質(zhì)：l二維情況下判別由判別邊界分類二維情況下判別由判別邊界分類. .120,()0,iXgXX()0,g XX不 定1 1223()g Xw xw xw211x2x 推廣至兩類、推廣至兩類、n個特征個特征 決策函數(shù)決策函數(shù) TnxxxxX

6、),.,(3211 12211212n1nT1().nnnnng Xw xw xw xwxxwwwwxwW X1212(,.,)( ,.,)TnTnWw wwXx xx向向量量特特征征向向量量為權(quán)為*121*12(,.,)( ,.,1)TnnTnWw ww wXx xx增廣權(quán)向量， 增廣特征向量 另外一種表示方法另外一種表示方法1 12211212n1n*T*().,1nnnng Xw xw xw xwxxwwwwxWXl兩類問題分類兩類問題分類l當當 g(X) =W*TX*=0 為決策邊界為決策邊界 。l當當n=2時，二維情況的決策邊界為一直線。時，二維情況的決策邊界為一直線。l當當n=3時

7、，決策邊界為一平面時，決策邊界為一平面l當當n3時，決策邊界為一超平面。時，決策邊界為一超平面。1*20 ,()0 ,TXgXWXX 求取合適的決策函數(shù)的基本原理求取合適的決策函數(shù)的基本原理對于用對于用g(X)表示的分界面表示的分界面 當點落在分界面上時當點落在分界面上時g(X)=0； 當點落在分界面正側(cè)時，當點落在分界面正側(cè)時， g(X)0； 當點落在分界面負側(cè)時，當點落在分界面負側(cè)時， g(X)0 另一類訓(xùn)練樣本落在另一類訓(xùn)練樣本落在g(X)表示的分界面的另一側(cè)；表示的分界面的另一側(cè)；即對該類所有的訓(xùn)練樣本即對該類所有的訓(xùn)練樣本Y, g(Y)0,i=1k 它對于代表另外一類的訓(xùn)練樣本集它對

8、于代表另外一類的訓(xùn)練樣本集Y=Y1,Y2,Ym，有，有g(shù)(Yi)0,W指向指向1，為，為H的正側(cè)，反之為的正側(cè)，反之為H的負側(cè)的負側(cè).1121120()0TTnnTWwWwWXXXX性質(zhì)一性質(zhì)一1X2x1x2XWH12g(x)0g(x)0,則決策面則決策面H在原點正側(cè)在原點正側(cè) 若若wn+10，否則，反之，否則，反之2x1xpXWXH( )grWX1nwqW 要想求得決策函數(shù)要想求得決策函數(shù)g(X),就需要求解權(quán)向量就需要求解權(quán)向量W*，其實也就是分類器的訓(xùn)練過程，使用，其實也就是分類器的訓(xùn)練過程，使用已知類別的訓(xùn)練樣本來獲得分類器的權(quán)向已知類別的訓(xùn)練樣本來獲得分類器的權(quán)向量被稱為有監(jiān)督的分類

9、量被稱為有監(jiān)督的分類 利用已知類別學(xué)習(xí)樣本來獲得權(quán)向量的原利用已知類別學(xué)習(xí)樣本來獲得權(quán)向量的原理：理： 已知已知X1*1, 通過檢測調(diào)整增廣權(quán)向量通過檢測調(diào)整增廣權(quán)向量W* ，最終使，最終使W*TX1* 0 ； 已知已知X2*2, 通過檢測調(diào)整增廣權(quán)向量通過檢測調(diào)整增廣權(quán)向量W* ，最終使，最終使W *TX2*0，則，則W*保持不變保持不變 若若Y*2，而，而W*TY*0,對樣本對樣本Y1Yn,g(Yi)0,則則Z 1 ,若g(Z)0,g2(X) 0,g3(X) 0 ， g2(Z) 0 ， g3(Z) 0 則該則該模式屬于模式屬于1類。相應(yīng)類。相應(yīng)1類的區(qū)域由直類的區(qū)域由直線線-x2+1=0的

10、正邊、直線的正邊、直線-x1+x2-5=0 和和直線直線-x1+x2=0的負邊來確定。的負邊來確定。3121x2x4IR3IR1IR2IR0)(0)(0)(321xgxgxg0)(0)(0)(321xgxgxg0)(0)(0)(321xgxgxg 0)(1xg0)(2xg0)(3xg 問當問當Z1 =(6,5)T, Z2 =(0,8)T時屬于那一類時屬于那一類 g1(Z1)0,g3(Z1) 0,g2(Z2)0,g3(Z2) 0 無法判無法判別別Z2類別類別11221232()()5()1gXxxgXxxgXx 112131122232()1,()6,()4()8,()3,()7gZgZgZgZ

11、gZgZ 得：成對可分成對可分 有C(C-1)/2個決策面ij0X()0XijgXij當當212()0gX23()0gX13()0gX 3 1212()0gX23()0gX13()0gX 3 1特征空間尺度特征空間尺度 度量兩個特征向量度量兩個特征向量(即兩個樣本即兩個樣本)X,Y之間的之間的距離的度量準則距離的度量準則d(X,Y)具有以下性質(zhì)才能具有以下性質(zhì)才能稱為尺度稱為尺度 d(X,Y)d0 等號僅當?shù)忍杻H當X=Y時成立時成立 非負性非負性 d(X,Y)=d(Y,X) 對稱性對稱性 d(X,Y)d(X,Z)+d(Z,Y) 三角不等式三角不等式 若若d(aX,aY)=|a|d(X,Y) a

12、為實數(shù)則稱為范數(shù)為實數(shù)則稱為范數(shù) p 是控制各維之間差異的權(quán)重是控制各維之間差異的權(quán)重 r 是控制樣本之間逐漸分開時，它們之是控制樣本之間逐漸分開時，它們之間距離增長的速度間距離增長的速度rdipiirpMXMX11/)|(1；rp樣本之間的距離,離量的加和為兩個直接定義每個維度上分1r2,p增長速度更快,隨著樣本的分離，和歐幾里得范數(shù)相比，幾2pr義方式,是我們最常見的距離定diiicdiiisdiiiemxmXmxmXmxmX1122112|)()(棋盤格范數(shù)：歐幾里得范數(shù)：；里得平方范數(shù)：歐)()()()(max111mXmXmXmxmXmxmXTMrdiriimiiiC：馬哈拉諾必斯范數(shù)閔可夫斯基范數(shù)：車比雪夫范數(shù)：pr 樣本間的距離；那一維的距離來衡量用所有維上分離最大的 歐幾里得距離尺度下的等距面歐幾里得距離尺度下的等距面到原點的歐幾里德距離:(x1-0)2+(x2-0)2)1/2=111-1-1x1 棋盤格距離下的等距面棋盤格距離下