特征提取與選擇課件

第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應(yīng)引導(dǎo)學(xué)生熟讀課文，利用掌握的議論文知識(shí)來理解作者的觀點(diǎn)及現(xiàn)實(shí)的教育意義。全文層層推進(jìn)、步步深入的論證，使結(jié)構(gòu)非常清晰，富有說服力，可作為教學(xué)難點(diǎn)。積累文言詞匯，理解重點(diǎn)詞句的含義，并了解一些文言實(shí)詞的使動(dòng)用法的作用，正確地翻譯課文。作為本文重點(diǎn)。學(xué)習(xí)本文宜以讀為主，以講為輔。教師引導(dǎo)學(xué)生利用搶記法，比賽法記憶文言詞匯，完成重點(diǎn)。在教師的適當(dāng)引導(dǎo)下學(xué)生的合作、體驗(yàn)、探究來突破難點(diǎn)。第七章特征提取與選擇第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應(yīng)引導(dǎo)學(xué)生熟讀課文，利用掌握的議論文知識(shí)來理解作者的觀點(diǎn)及現(xiàn)實(shí)的教育意義。全文層層推進(jìn)、步步深入的論證，使結(jié)構(gòu)非常清晰，富有說服力，可作為教學(xué)難點(diǎn)。積累文言詞匯，理解重點(diǎn)詞句的含義，并了解一些文言實(shí)詞的使動(dòng)用法的作用，正確地翻譯課文。作為本文重點(diǎn)。學(xué)習(xí)本文宜以讀為主，以講為輔。教師引導(dǎo)學(xué)生利用搶記法，比賽法記憶文言詞匯，完成重點(diǎn)。在教師的適當(dāng)引導(dǎo)下學(xué)生的合作、體驗(yàn)、探究來突破難點(diǎn)。直接選擇法分支定界法；用回歸建模技術(shù)確定相關(guān)特征等方法。變換法

在使判據(jù)J→max的目標(biāo)下，對n個(gè)原始特征進(jìn)行變換降維，即對原n維特征空間進(jìn)行坐標(biāo)變換，然后再取子空間。

主要方法有：基于可分性判據(jù)的特征選擇基于誤判概率的特征選擇離散K-L變換法(DKLT)基于決策界的特征選擇等方法。第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應(yīng)引導(dǎo)學(xué)生1第七章-特征提取與選擇課件27.2類別可分性判據(jù)

(ClassSeparabilityMeasures)

準(zhǔn)則—類別可分性判據(jù):刻劃特征對分類的貢獻(xiàn)。

構(gòu)造的可分性判據(jù)Jij應(yīng)滿足下列要求：(1)與誤分概率P(e)(或誤分概率的上界、下界)有單調(diào)關(guān)系，Jij最大值時(shí)，P(e)最小。(2)當(dāng)特征相互獨(dú)立時(shí)，判據(jù)有可加性，即式中xk，是對象不同種類特征的測量值，Jij(●)表示使用括號(hào)中特征時(shí)第i類與第j類的可分性判據(jù)函數(shù)。

7.2類別可分性判據(jù)

(ClassSeparabil3(3)判據(jù)具有“距離”的某些特性：

Jij>0，當(dāng)i≠j

時(shí)

Jij=0，當(dāng)i=j

時(shí)

Jij=Jji(4)Jij對特征數(shù)目單調(diào)不減，即加入新的特征后，判據(jù)值不減

所構(gòu)造的可分性判據(jù)并不一定要求同時(shí)具有上述四個(gè)性質(zhì)。

(3)判據(jù)具有“距離”的某些特性：

Jij>0，當(dāng)i≠j47.2.1基于幾何距離的可分性判據(jù)

可以用距離或離差測度(散度)來構(gòu)造類別可分性判據(jù)

(一)點(diǎn)與點(diǎn)的距離

在n維特征空間中，點(diǎn)與點(diǎn)之間的歐氏距離為(二)點(diǎn)到點(diǎn)集的距離

點(diǎn)到點(diǎn)集之間的均方歐氏距離為

7.2.1基于幾何距離的可分性判據(jù)可以用距離或離差測度(5(三)類內(nèi)及總體的均值矢量

設(shè)N個(gè)模式分屬c類,則各類的均值矢量分別為

所有各類模式的總體均值矢量為

式中Pi為相應(yīng)類的先驗(yàn)概率。

當(dāng)用統(tǒng)計(jì)量代替先驗(yàn)概率時(shí)，有(三)類內(nèi)及總體的均值矢量設(shè)N個(gè)模式分屬c類,則各類的均值6(四)類內(nèi)距離

類內(nèi)均方歐氏距離為

類內(nèi)均方距離也可定義為

(五)類內(nèi)離差（散布）矩陣(Scatter)

類內(nèi)離差矩陣定義為

類內(nèi)離差矩陣SWi的跡等于類內(nèi)的均方歐氏距離，即

類內(nèi)離差矩陣表示各類模式在類的均值矢量周圍的散布情況。

(四)類內(nèi)距離類內(nèi)均方歐氏距離為

類內(nèi)均方距離也可定義為

7(六)兩類之間的距離

當(dāng)式中的距離取歐氏距離時(shí),有

(七)各類模式之間的總的均方距離

當(dāng)取歐氏距離時(shí)

(六)兩類之間的距離當(dāng)式中的距離取歐氏距離時(shí),有

8(八)多類情況下總的類內(nèi)、類間及總體離差（散布）矩陣

總的類內(nèi)離差矩陣定義為

總的類間離差矩陣定義為

總體離差矩陣為

易導(dǎo)出

(八)多類情況下總的類內(nèi)、類間及總體離差（散布）矩陣總的類9可分性判據(jù)（類內(nèi)緊，類間開）可以證明J1、J2與J4在任何非奇異線性變換下是不變的，J3與坐標(biāo)系有關(guān)。

可分性判據(jù)（類內(nèi)107.2.2基于類的概率密度函數(shù)的可分性判據(jù)

用兩類概密函數(shù)的重迭程度來度量可分性，構(gòu)造基于類概密的可分性判據(jù)Jp，它應(yīng)滿足：(1)Jp

0；(2)當(dāng)兩類密度函數(shù)完全不重迭時(shí)，Jp=max；(3)當(dāng)兩類密度函數(shù)完全重合時(shí)，Jp=0；(4)相對兩個(gè)概密具有“對稱性”。

(a)(b)7.2.2基于類的概率密度函數(shù)的可分性判據(jù)用兩類概密函數(shù)11(一)Bhattacharyya判據(jù)(JB)

在最小誤分概率準(zhǔn)則下，誤分概率(受相關(guān)定義與應(yīng)用的啟發(fā)，構(gòu)造B-判據(jù))(一)Bhattacharyya判據(jù)(JB)在最小誤分概率12(二)Chernoff判據(jù)(JC)

性質(zhì)：(1)對一切0<s<1，Jc0；(2)對一切0<s<1，;(3)當(dāng)參數(shù)s和(1-s)互調(diào)時(shí)，才有對稱性，即

（比JB更廣義的判據(jù)）(二)Chernoff判據(jù)(JC)性質(zhì)：（比JB更廣義的判13(二)Chernoff判據(jù)(JC)

性質(zhì)：(4)當(dāng)各分量x1,x2,…,xn相互獨(dú)立時(shí)，(5)當(dāng)各分量x1,x2,…,xn相互獨(dú)立時(shí)，(6)最小誤分概率（JC不具有三點(diǎn)距離不等式的性質(zhì)。）(二)Chernoff判據(jù)(JC)性質(zhì)：（JC不具有三點(diǎn)距14(三)散度JD(Divergence)對1類的平均可分性信息為對2類的平均可分性信息為對于1和2兩類總的平均可分性信息稱為散度，其定義為兩類平均可分性信息之和，即(三)散度JD(Divergence)對1類的平均可分性15類別可分性判據(jù)小結(jié)幾何可分性判據(jù)類概率密度可分性判據(jù)

(一)Bhattacharyya判據(jù)(JB)

(二)Chernoff判據(jù)(JC)

(三)散度JD類別可分性判據(jù)小結(jié)幾何可分性判據(jù)16第七章特征提取與選擇7.7特征選擇中的直接挑選法特征的選擇可以在原坐標(biāo)系中依據(jù)某些原則直接選擇特征,：從n個(gè)特征中挑選出d個(gè)使其Jd最大。7.7.1次優(yōu)搜索法

7.7.2最優(yōu)搜索法第七章特征提取與選擇7.7特征選擇中的直接挑選法特征177.7.1次優(yōu)搜索法(一)單獨(dú)最優(yōu)的特征選擇基本思路：計(jì)算各特征單獨(dú)使用時(shí)的判據(jù)值J并以遞減排序，選取前d個(gè)分類效果最好的特征。一般地講，即使各特征是統(tǒng)計(jì)獨(dú)立的，這種方法選出的個(gè)特征也不一定是最優(yōu)的特征組合；只有可分性判據(jù)J是可分的，即

這種方法才能選出一組最優(yōu)特征。7.7.1次優(yōu)搜索法(一)單獨(dú)最優(yōu)的特征選擇基本思路：計(jì)算18(二)增添特征法7.7.1次優(yōu)搜索法SequentialForwardSelection(二)增添特征法7.7.1次優(yōu)搜索法Sequential19(三)剔減特征法7.7.1次優(yōu)搜索法設(shè)已剔除了k個(gè)特征，剩下的特征組記為

，將中的各特征xj（j=1,2,…,n-k)分別逐個(gè)剔除，并同時(shí)計(jì)算

值，若：則在這輪中x1應(yīng)該剔除:這里初值，

過程直到k=n-d為止。(三)剔減特征法7.7.1次優(yōu)搜索法設(shè)已剔除了k個(gè)特征，剩207.7.1次優(yōu)搜索法(四)增l減r法（l-r法）為了克服前面方法(二)、(三)中的一旦某特征選入或剔除就不能再剔除或選入的缺點(diǎn)，可在選擇過程中加入局部回溯，例如在第k步可先用方法(二)，對已選入的k個(gè)特征再一個(gè)個(gè)地加入新的特征到kl+個(gè)特征，然后用方法(三)一個(gè)個(gè)地剔除r個(gè)特征，稱這種方法為增l減r法(lr-法)。7.7.1次優(yōu)搜索法(四)增l減r法（l-r法）為216選2的特征選擇問題(a)搜索樹(b)搜索回溯示意圖7.7.2最優(yōu)搜索法BAB算法s=0s=1s=2s=3s=46選2的特征選擇問題7.7.2最優(yōu)搜索法BAB算法s=022樹的每個(gè)節(jié)點(diǎn)表示一種特征組合，樹的每一級各節(jié)點(diǎn)表示從其父節(jié)點(diǎn)的特征組合中去掉一個(gè)特征后的特征組合，其標(biāo)號(hào)k表示去掉的特征是xk

。

7.7.2最優(yōu)搜索法BAB算法由于每一級只舍棄一個(gè)特征，因此整個(gè)搜索樹除根節(jié)點(diǎn)0級外，還需要n-d級，即全樹有n-d級。例如，6個(gè)特征中選2個(gè)，整個(gè)搜索樹有4級。第n-d級是葉節(jié)點(diǎn)，共有Cnd個(gè)葉節(jié)點(diǎn)。樹的每個(gè)節(jié)點(diǎn)表示一種特征組合，7.7.2最優(yōu)搜索法BAB23BAB算法7.7.2最優(yōu)搜索法表示特征數(shù)目為l

的特征集合。表示舍棄s

個(gè)特征后余下的特征集合。表示當(dāng)前節(jié)點(diǎn)的子節(jié)點(diǎn)數(shù)。表示集合s中元素的數(shù)目。表示第s

級當(dāng)前節(jié)點(diǎn)上用來作為下一級可舍棄特征的特征集合。BAB算法7.7.2最優(yōu)搜索法表示特征數(shù)目為l的特征集合24由于從根節(jié)點(diǎn)要經(jīng)歷n-d級才能到達(dá)葉節(jié)點(diǎn)，s級某節(jié)點(diǎn)后繼的每一個(gè)子節(jié)點(diǎn)分別舍棄s中互不相同的一個(gè)特征，從而考慮在s+1級可以舍棄的特征方案數(shù)（即子節(jié)點(diǎn)數(shù)）qs時(shí)，必須使這一級舍棄了特征后的Xs+1還剩（n-d)-(s+1)個(gè)特征。除了從樹的縱向上每一級舍棄一個(gè)特征，實(shí)際上從樹的橫向上，一個(gè)分支也輪換舍棄一個(gè)特征。因此后繼子節(jié)點(diǎn)數(shù)qs=rs-（n-d-s-1）BAB算法7.7.2最優(yōu)搜索法由于從根節(jié)點(diǎn)要經(jīng)歷n-d級才能到達(dá)葉節(jié)點(diǎn)，s級某節(jié)點(diǎn)后繼的每25BAB算法7.7.2最優(yōu)搜索法ss+1n-d(n-d)-(s+1)qsrsBAB算法7.7.2最優(yōu)搜索法ss+1n-d(n-d)-(26BAB算法7.7.2最優(yōu)搜索法BAB算法7.7.2最優(yōu)搜索法27BAB算法7.7.2最優(yōu)搜索法BAB算法7.7.2最優(yōu)搜索法28BAB算法7.7.2最優(yōu)搜索法目標(biāo)：找出葉節(jié)點(diǎn)Lk，使其對應(yīng)的d個(gè)特征的判據(jù)J的值最大，即：注意到每個(gè)節(jié)點(diǎn)（包括非葉節(jié)點(diǎn)）都可以計(jì)算相應(yīng)的J值。由于判據(jù)J值具有單調(diào)性，即：該不等式表明，任何節(jié)點(diǎn)的J值均不小于其任何后繼節(jié)點(diǎn)（子節(jié)點(diǎn)）的J值。BAB算法7.7.2最優(yōu)搜索法目標(biāo)：找出葉節(jié)點(diǎn)Lk，使其對29BAB算法7.7.2最優(yōu)搜索法搜索順序：從上至下、從右至左。四個(gè)步驟：1、向下搜索2、更新界值3、向上回溯4、停止回溯再向下搜索BAB算法7.7.2最優(yōu)搜索法搜索順序：從上至下、從右至左30BAB算法7.7.2最優(yōu)搜索法向下搜索：初始，置界值B=0從樹的根節(jié)點(diǎn)沿最右邊的一支自上而下搜索。對于一個(gè)節(jié)點(diǎn)，它的子樹最右邊的一支總是無分支的。此時(shí)可直接到達(dá)葉節(jié)點(diǎn)，計(jì)算該葉節(jié)點(diǎn)的J值，并更新界值B。即圖中的虛線可省略而得到最小搜索樹。BAB算法7.7.2最優(yōu)搜索法向下搜索：初始，置界值B=031BAB算法7.7.2最優(yōu)搜索法最小搜索樹BAB算法7.7.2最優(yōu)搜索法最小搜索樹32BAB算法7.7.2最優(yōu)搜索法向上回溯和停止回溯：回溯到有分支的那個(gè)節(jié)點(diǎn)則停止回溯轉(zhuǎn)入向下搜索。例如回溯到qs-1>1的那個(gè)節(jié)點(diǎn)，則轉(zhuǎn)入與當(dāng)前節(jié)點(diǎn)左鄰的s深度的那個(gè)節(jié)點(diǎn)，使該節(jié)點(diǎn)成為當(dāng)前節(jié)點(diǎn)，按前面的方法沿它最右邊的子樹繼續(xù)搜索。在搜索過程中先要判該節(jié)點(diǎn)的J值是否比B值大。若不大于B值，該節(jié)點(diǎn)以下的各子節(jié)點(diǎn)J值均不會(huì)比B大，故無需對該子樹繼續(xù)進(jìn)行搜索。BAB算法7.7.2最優(yōu)搜索法向上回溯和停止回溯：回溯到有33BAB算法7.7.2最優(yōu)搜索法如果搜索到葉節(jié)點(diǎn)，且該葉節(jié)點(diǎn)代表的特征的可分性判據(jù)J>B，則更新界值，即B=J；否則不更新界值。到達(dá)葉節(jié)點(diǎn)后，要向上回溯。重復(fù)上述過程，直到JB為止。而對應(yīng)當(dāng)前（最大）界值B的葉節(jié)點(diǎn)對應(yīng)的d個(gè)特征組合就是所求的最優(yōu)的選擇。BAB算法7.7.2最優(yōu)搜索法如果搜索到葉節(jié)點(diǎn)，且該葉節(jié)點(diǎn)34BAB算法效率高的原因：(1)在構(gòu)造搜索樹時(shí)，同一父節(jié)點(diǎn)的各子樹的右邊的邊要比左邊的少，即樹的結(jié)構(gòu)右邊比左邊簡單；(2)在同一級中按最小的J值從左到右挑選舍棄的特征，即節(jié)點(diǎn)的J值是左小右大，而搜索過程是從右至左進(jìn)行的；(3)因J的單調(diào)性，若樹上某節(jié)點(diǎn)A的可分性判據(jù)值JAB，則A子樹上各節(jié)點(diǎn)的J值都不會(huì)大于B，因此不需要搜索A子樹。從上可知，有很多特征組合不需計(jì)算仍能求得全局最優(yōu)解。BAB算法效率高的原因：(1)在構(gòu)造搜索樹時(shí)，同一父節(jié)點(diǎn)的各35謝謝聆聽！你我同行，共同進(jìn)步。謝謝聆聽！你我同行，共同進(jìn)步。36第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應(yīng)引導(dǎo)學(xué)生熟讀課文，利用掌握的議論文知識(shí)來理解作者的觀點(diǎn)及現(xiàn)實(shí)的教育意義。全文層層推進(jìn)、步步深入的論證，使結(jié)構(gòu)非常清晰，富有說服力，可作為教學(xué)難點(diǎn)。積累文言詞匯，理解重點(diǎn)詞句的含義，并了解一些文言實(shí)詞的使動(dòng)用法的作用，正確地翻譯課文。作為本文重點(diǎn)。學(xué)習(xí)本文宜以讀為主，以講為輔。教師引導(dǎo)學(xué)生利用搶記法，比賽法記憶文言詞匯，完成重點(diǎn)。在教師的適當(dāng)引導(dǎo)下學(xué)生的合作、體驗(yàn)、探究來突破難點(diǎn)。第七章特征提取與選擇第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應(yīng)引導(dǎo)學(xué)生熟讀課文，利用掌握的議論文知識(shí)來理解作者的觀點(diǎn)及現(xiàn)實(shí)的教育意義。全文層層推進(jìn)、步步深入的論證，使結(jié)構(gòu)非常清晰，富有說服力，可作為教學(xué)難點(diǎn)。積累文言詞匯，理解重點(diǎn)詞句的含義，并了解一些文言實(shí)詞的使動(dòng)用法的作用，正確地翻譯課文。作為本文重點(diǎn)。學(xué)習(xí)本文宜以讀為主，以講為輔。教師引導(dǎo)學(xué)生利用搶記法，比賽法記憶文言詞匯，完成重點(diǎn)。在教師的適當(dāng)引導(dǎo)下學(xué)生的合作、體驗(yàn)、探究來突破難點(diǎn)。直接選擇法分支定界法；用回歸建模技術(shù)確定相關(guān)特征等方法。變換法

在使判據(jù)J→max的目標(biāo)下，對n個(gè)原始特征進(jìn)行變換降維，即對原n維特征空間進(jìn)行坐標(biāo)變換，然后再取子空間。

主要方法有：基于可分性判據(jù)的特征選擇基于誤判概率的特征選擇離散K-L變換法(DKLT)基于決策界的特征選擇等方法。第七章特征提取與選擇本文是歷代傳誦的議論文名篇，應(yīng)引導(dǎo)學(xué)生37第七章-特征提取與選擇課件387.2類別可分性判據(jù)

(ClassSeparabilityMeasures)

準(zhǔn)則—類別可分性判據(jù):刻劃特征對分類的貢獻(xiàn)。

構(gòu)造的可分性判據(jù)Jij應(yīng)滿足下列要求：(1)與誤分概率P(e)(或誤分概率的上界、下界)有單調(diào)關(guān)系，Jij最大值時(shí)，P(e)最小。(2)當(dāng)特征相互獨(dú)立時(shí)，判據(jù)有可加性，即式中xk，是對象不同種類特征的測量值，Jij(●)表示使用括號(hào)中特征時(shí)第i類與第j類的可分性判據(jù)函數(shù)。

7.2類別可分性判據(jù)

(ClassSeparabil39(3)判據(jù)具有“距離”的某些特性：

Jij>0，當(dāng)i≠j

時(shí)

Jij=0，當(dāng)i=j

時(shí)

Jij=Jji(4)Jij對特征數(shù)目單調(diào)不減，即加入新的特征后，判據(jù)值不減

所構(gòu)造的可分性判據(jù)并不一定要求同時(shí)具有上述四個(gè)性質(zhì)。

(3)判據(jù)具有“距離”的某些特性：

Jij>0，當(dāng)i≠j407.2.1基于幾何距離的可分性判據(jù)

可以用距離或離差測度(散度)來構(gòu)造類別可分性判據(jù)

(一)點(diǎn)與點(diǎn)的距離

在n維特征空間中，點(diǎn)與點(diǎn)之間的歐氏距離為(二)點(diǎn)到點(diǎn)集的距離

點(diǎn)到點(diǎn)集之間的均方歐氏距離為

7.2.1基于幾何距離的可分性判據(jù)可以用距離或離差測度(41(三)類內(nèi)及總體的均值矢量

設(shè)N個(gè)模式分屬c類,則各類的均值矢量分別為

所有各類模式的總體均值矢量為

式中Pi為相應(yīng)類的先驗(yàn)概率。

當(dāng)用統(tǒng)計(jì)量代替先驗(yàn)概率時(shí)，有(三)類內(nèi)及總體的均值矢量設(shè)N個(gè)模式分屬c類,則各類的均值42(四)類內(nèi)距離

類內(nèi)均方歐氏距離為

類內(nèi)均方距離也可定義為

(五)類內(nèi)離差（散布）矩陣(Scatter)

類內(nèi)離差矩陣定義為

類內(nèi)離差矩陣SWi的跡等于類內(nèi)的均方歐氏距離，即

類內(nèi)離差矩陣表示各類模式在類的均值矢量周圍的散布情況。

(四)類內(nèi)距離類內(nèi)均方歐氏距離為

類內(nèi)均方距離也可定義為

43(六)兩類之間的距離

當(dāng)式中的距離取歐氏距離時(shí),有

(七)各類模式之間的總的均方距離

當(dāng)取歐氏距離時(shí)

(六)兩類之間的距離當(dāng)式中的距離取歐氏距離時(shí),有

44(八)多類情況下總的類內(nèi)、類間及總體離差（散布）矩陣

總的類內(nèi)離差矩陣定義為

總的類間離差矩陣定義為

總體離差矩陣為

易導(dǎo)出

(八)多類情況下總的類內(nèi)、類間及總體離差（散布）矩陣總的類45可分性判據(jù)（類內(nèi)緊，類間開）可以證明J1、J2與J4在任何非奇異線性變換下是不變的，J3與坐標(biāo)系有關(guān)。

可分性判據(jù)（類內(nèi)467.2.2基于類的概率密度函數(shù)的可分性判據(jù)

用兩類概密函數(shù)的重迭程度來度量可分性，構(gòu)造基于類概密的可分性判據(jù)Jp，它應(yīng)滿足：(1)Jp

0；(2)當(dāng)兩類密度函數(shù)完全不重迭時(shí)，Jp=max；(3)當(dāng)兩類密度函數(shù)完全重合時(shí)，Jp=0；(4)相對兩個(gè)概密具有“對稱性”。

(a)(b)7.2.2基于類的概率密度函數(shù)的可分性判據(jù)用兩類概密函數(shù)47(一)Bhattacharyya判據(jù)(JB)

在最小誤分概率準(zhǔn)則下，誤分概率(受相關(guān)定義與應(yīng)用的啟發(fā)，構(gòu)造B-判據(jù))(一)Bhattacharyya判據(jù)(JB)在最小誤分概率48(二)Chernoff判據(jù)(JC)

性質(zhì)：(1)對一切0<s<1，Jc0；(2)對一切0<s<1，;(3)當(dāng)參數(shù)s和(1-s)互調(diào)時(shí)，才有對稱性，即

（比JB更廣義的判據(jù)）(二)Chernoff判據(jù)(JC)性質(zhì)：（比JB更廣義的判49(二)Chernoff判據(jù)(JC)

性質(zhì)：(4)當(dāng)各分量x1,x2,…,xn相互獨(dú)立時(shí)，(5)當(dāng)各分量x1,x2,…,xn相互獨(dú)立時(shí)，(6)最小誤分概率（JC不具有三點(diǎn)距離不等式的性質(zhì)。）(二)Chernoff判據(jù)(JC)性質(zhì)：（JC不具有三點(diǎn)距50(三)散度JD(Divergence)對1類的平均可分性信息為對2類的平均可分性信息為對于1和2兩類總的平均可分性信息稱為散度，其定義為兩類平均可分性信息之和，即(三)散度JD(Divergence)對1類的平均可分性51類別可分性判據(jù)小結(jié)幾何可分性判據(jù)類概率密度可分性判據(jù)

(一)Bhattacharyya判據(jù)(JB)

(二)Chernoff判據(jù)(JC)

(三)散度JD類別可分性判據(jù)小結(jié)幾何可分性判據(jù)52第七章特征提取與選擇7.7特征選擇中的直接挑選法特征的選擇可以在原坐標(biāo)系中依據(jù)某些原則直接選擇特征,：從n個(gè)特征中挑選出d個(gè)使其Jd最大。7.7.1次優(yōu)搜索法

7.7.2最優(yōu)搜索法第七章特征提取與選擇7.7特征選擇中的直接挑選法特征537.7.1次優(yōu)搜索法(一)單獨(dú)最優(yōu)的特征選擇基本思路：計(jì)算各特征單獨(dú)使用時(shí)的判據(jù)值J并以遞減排序，選取前d個(gè)分類效果最好的特征。一般地講，即使各特征是統(tǒng)計(jì)獨(dú)立的，這種方法選出的個(gè)特征也不一定是最優(yōu)的特征組合；只有可分性判據(jù)J是可分的，即

這種方法才能選出一組最優(yōu)特征。7.7.1次優(yōu)搜索法(一)單獨(dú)最優(yōu)的特征選擇基本思路：計(jì)算54(二)增添特征法7.7.1次優(yōu)搜索法SequentialForwardSelection(二)增添特征法7.7.1次優(yōu)搜索法Sequential55(三)剔減特征法7.7.1次優(yōu)搜索法設(shè)已剔除了k個(gè)特征，剩下的特征組記為

，將中的各特征xj（j=1,2,…,n-k)分別逐個(gè)剔除，并同時(shí)計(jì)算

值，若：則在這輪中x1應(yīng)該剔除:這里初值，

過程直到k=n-d為止。(三)剔減特征法7.7.1次優(yōu)搜索法設(shè)已剔除了k個(gè)特征，剩567.7.1次優(yōu)搜索法(四)增l減r法（l-r法）為了克服前面方法(二)、(三)中的一旦某特征選入或剔除就不能再剔除或選入的缺點(diǎn)，可在選擇過程中加入局部回溯，例如在第k步可先用方法(二)，對已選入的k個(gè)特征再一個(gè)個(gè)地加入新的特征到kl+個(gè)特征，然后用方法(三)一個(gè)個(gè)地剔除r個(gè)特征，稱這種方法為增l減r法(lr-法)。7.7.1次優(yōu)搜索法(四)增l減r法（l-r法）為576選2的特征選擇問題(a)搜索樹(b)搜索回溯示意圖7.7.2最優(yōu)搜索法BAB算法s=0s=1s=2s=3s=46選2的特征選擇問題7.7.2最優(yōu)搜索法BAB算法s=058樹的每個(gè)節(jié)點(diǎn)表示一種特征組合，樹的每一級各節(jié)點(diǎn)表示從其父節(jié)點(diǎn)的特征組合中去掉一個(gè)特征后的特征組合，其標(biāo)號(hào)k表示去掉的特征是xk

。

7.7.2最優(yōu)搜索法BAB算法由于每一級只舍棄一個(gè)特征，因此整個(gè)搜索樹除根節(jié)點(diǎn)0級外，還需要n-d級，即全樹有n-d級。例如，6個(gè)特征中選2個(gè)，整個(gè)搜索樹有4級。第n-d級是葉節(jié)點(diǎn)，共有Cnd個(gè)葉節(jié)點(diǎn)。樹的每個(gè)節(jié)點(diǎn)表示一種特征組合，7.7.2最優(yōu)搜索法BAB59BAB算法7.7.2最優(yōu)搜索法表示特征數(shù)目為l

的特征集合。表示舍棄s

個(gè)特征后余下的特征集合。表示當(dāng)前節(jié)點(diǎn)的子節(jié)點(diǎn)數(shù)。表示集合s中元素的數(shù)目。表示第s

級當(dāng)前節(jié)點(diǎn)上用來作為下一級可舍棄特征的特征集合。BAB算法7.7.2最優(yōu)搜索法表示特征數(shù)目為l的特征集合60由于從根節(jié)點(diǎn)要經(jīng)歷n-d級才能到達(dá)葉節(jié)點(diǎn)，s級某節(jié)點(diǎn)后繼的每一個(gè)子節(jié)點(diǎn)分別舍棄s中互不相同的一個(gè)特征，從而考慮在s+1級可以舍棄的特征方案數(shù)（即子節(jié)點(diǎn)數(shù)）qs時(shí)，必須使這一級舍棄了特征后的Xs+1還剩（n-d)-(s+1)個(gè)特征。除了從樹的縱向上每一級舍棄一個(gè)特征，實(shí)際上從樹的橫向上，一個(gè)分支也輪換舍棄一個(gè)特征。因此后繼子節(jié)點(diǎn)數(shù)qs=rs-（n-d-s-1）BAB算法7.7.2最優(yōu)搜索法由于從根節(jié)點(diǎn)要經(jīng)歷n-d級才能到達(dá)葉節(jié)點(diǎn)，s級某節(jié)點(diǎn)后繼的每61BAB算法7.7.2最優(yōu)搜索法ss+1n-d(n-d)-(s+1)qsrsBAB算法7.7.2最優(yōu)搜索法ss+1n-d(n-d)-(62BAB算法7.7.2最優(yōu)搜索法BAB算法7.7.2最優(yōu)搜索法63BAB算法7.7.2最優(yōu)搜索法BAB算法7.7.2最優(yōu)搜索法64BAB算法7.7.2最優(yōu)搜索法目標(biāo)：找出葉節(jié)點(diǎn)Lk，使其對應(yīng)