第六章 模式特征的選擇與提取.ppt

1、1，第6章特征提取和選擇，模式識別Pattern Recognition，武漢理工高等院校信息工程學(xué)院，2，內(nèi)容列表，第6章特征提取和選擇，6.1特征提取和選擇的基本概念，3，2，4，5。 6.1特征提取和選擇的基本概念、特征的選擇和提取是模式識別中重要而艱巨的一環(huán)：分析每個特征的有效性，選擇最有代表性的特征往往是模式識別的重要一頭地，降低特征維數(shù)，是有效建立分類器的三個重要課題，因此整合起來特征的形成特征形成(acquisition ) :信號獲取或測量原始測量特征示例：數(shù)字成像中各像素灰度值人體的各種大姨媽指標(biāo)原始特征分析：原始測量不能反映對象本質(zhì)的高維原始特征不利于分類器設(shè)置校正：校正量

2、大、冗馀、樣本分布非常稀疏，引言，5、 提取特征選擇和提取兩種有效的信息，壓縮特征空間的方法：特征提取和特征選擇特征提取：用映射(或變換)方法提取原始特征較少的新特征選擇：原始特征中最具代表性的， 分類性能最好的特征選擇和提取以及具體的選擇目前對于任何問題都有效的特征選擇和提取方法，引言，6，特征選擇和提取實例，細(xì)胞球自動識別：(正常和異常)細(xì)胞球的數(shù)字成像原始特征(特征的形成，發(fā)現(xiàn)代表細(xì)胞球性質(zhì)的特征):細(xì)胞球面積，細(xì)胞核面積， 為了便于形狀系數(shù)分類特征的選擇，需要進(jìn)行壓縮：選擇分類信息最多的特征提?。豪脭?shù)學(xué)變換傅里葉變換或小波變換用PCA方法(主元分析法)進(jìn)行特征壓縮，引言，7， 6.2

3、種分離性的判斷標(biāo)準(zhǔn)分類分離性判斷標(biāo)準(zhǔn)：測量不同特征及其組合在分類中是否有效的定量標(biāo)準(zhǔn)理想標(biāo)準(zhǔn)：某一組特征應(yīng)滿足使分類器的錯誤概率最小化的實際分類分離性判斷標(biāo)準(zhǔn)的條件：測量特性：與錯誤率有單調(diào)關(guān)系的特征獨(dú)立時有加性：單調(diào)性：一般分類分離性判定標(biāo)準(zhǔn)：基于距離、概率分布、熵函數(shù)的8，6類間分離性：=所有采樣間的平均距離：分離性判定標(biāo)準(zhǔn)、四等式(squared Euclidian )、類內(nèi)平均距離、類間距離、9、基于距離的分離性判定標(biāo)準(zhǔn)沉積基質(zhì)形式、分離性判定標(biāo)準(zhǔn)， 基于距離的判定基準(zhǔn)概念是直觀的，補(bǔ)正算是方便的，但作為基于錯誤的6.2.2概率的分性判定基準(zhǔn)、基于概率的分性判定基準(zhǔn)：在概率分布函數(shù)間的

4、距離測定、分性判定基準(zhǔn)、分散度： 11、正態(tài)概率分布分散度、分性判定基準(zhǔn)，Mahalanobis，12，6.2類分離性基準(zhǔn)的應(yīng)用例圖像分割： Otsu灰度圖像閾值算法圖像是l灰度，ni是灰度I的像素數(shù)，圖像總像素數(shù)N=n1 n2 nL灰度I的像素概率： pi=ni/N級間方差：灰度圖像閾值3:分辨率判定基準(zhǔn)、Otsu灰度圖像二值化算法演示及計程儀解析3360、15， 6.3特征提取方法、特征提?。豪糜成?或變換)的方法將原始特征轉(zhuǎn)換成較少的新特征點(diǎn)PCA (主組件)找到能量最集中的變換方法使損失最小化的K-L (Karhunen-Loeve )變換：最佳正交線性變換，對應(yīng)的特征提取方法稱為P

5、CA方法，16，K-L變換，離散K-L變換：對向量x決定的完全正交歸一向量系有限項18、求出最小平均誤差正交化學(xué)基，把Lagrange乘法：特征提取、結(jié)論：相關(guān)矩陣r的d個本征矢作為基矢量而展開了x時，其平均誤差為：k-，把由這d個本征矢構(gòu)成的正交坐標(biāo)系作為x所在的d維度空間的d維K-L變換坐標(biāo)系， 將x在K-L坐標(biāo)系上的展開系數(shù)向量y稱為x的K-L變換、19、K-L變換的表現(xiàn)、K-L變換的向量展開表現(xiàn)：特征提取、K-L變換的矩陣表現(xiàn)的特征提取，K-L坐標(biāo)系通過對矩陣r進(jìn)行對角化、即K-L變換消除原來的向量x的各成分間的相關(guān)用于消除具有較少信息的成分以減少特征維數(shù)的目的，22，K-L變換圖解、

6、二次曲線方程、標(biāo)準(zhǔn)二次曲線方程、特征提取器，23，的x的K-L變換y可以實現(xiàn)如下公式： y=UTx=u1T x=y1變換的能量損耗由特征提取器，24，K-L變換的發(fā)生矩陣數(shù)據(jù)定徑套KN=xi的K-L變換的發(fā)生矩陣由數(shù)據(jù)的二次統(tǒng)校正量決定，即，K-L坐標(biāo)系的基矢量是基于某數(shù)據(jù)x的二次統(tǒng)校正量的生成矩陣的本征矢K-L變換的生成矩陣是x的相關(guān)函數(shù)矩陣R=ExxT x的協(xié)方差矩陣C=E(x-) (x-) K-L坐標(biāo)系U=u1，u2， K-L坐標(biāo)系U=u1，u2， K-L坐標(biāo)系U=u1，u2， K-L坐標(biāo)系U=u1，u2， ud按照c的特征值的下降順序進(jìn)行選擇例：將相同的固有定徑套的協(xié)方差矩陣設(shè)為：求出

7、最佳的2x1特征的特征值d=24.736、2.263t，特征向量：為12，因此，最佳的2x1特征萃取器時的K-L變換式為，特征提取、26、6.4特征選擇方法、特征選擇： 如果不限定用于選擇分類性能的特征選擇個數(shù)，則修正2D種類的組合特征選擇的方法大致可分為2種： Filter方法：利用獨(dú)立于分類器的指標(biāo)j對所選擇的特征子定徑套s進(jìn)行評價，在所有可能的特征子定徑套中搜索j最大的特征子定徑套作為最佳特征子定徑套。 不考慮使用的學(xué)習(xí)算法。 Wrapper方法：結(jié)合特征選擇和分類器，在學(xué)習(xí)過程中顯示優(yōu)秀特征的特征子定徑套被選擇。、27、經(jīng)典特征選擇算法，許多特征選擇算法以解決探索問題為目標(biāo)，經(jīng)典算法如下：分岔邊界法單獨(dú)最佳特征組合法序退法仿真退火法Tabu探索法遺傳算法，特征選擇，28， 單個最佳特征組合的前d個作為選擇結(jié)果對于每個特征(不一定是最佳的)具有加權(quán)，因而該方法可選擇最佳的特征。 例如，具有各種正態(tài)概率分布的各特征綜合修正獨(dú)立附加性基準(zhǔn)，基于Mahalanobis距離、特征選擇、29、順序后退法，根據(jù)特征子定徑套的分類表現(xiàn)來選擇化學(xué)基特征探索，一個一個地去除特征，使剩下的特征集合具有最大的分類分辨率， 在分辨率開始下降之前，用“l(fā)eave-one-out”方法估計平均分辨率：用N-1樣本判斷下