機(jī)器學(xué)習(xí)特征選擇常用算法

機(jī)器學(xué)習(xí)特征選擇常用算法1.綜述(1)什么是特征選擇特征選擇(FeatureSelection)也稱(chēng)特征子集選擇(FeatureSubsetSelection,FSS)，或?qū)傩赃x擇(AttributeSelection)，是指從全部特征中選取一個(gè)特征子集，使構(gòu)造出來(lái)的模型更好。(2)為什么要做特征選擇在機(jī)器學(xué)習(xí)的實(shí)際應(yīng)用中，特征數(shù)量往往較多，其中可能存在不相關(guān)的特征，特征之間也可能存在相互依賴(lài)，容易導(dǎo)致如下的后果：特征個(gè)數(shù)越多，分析特征、訓(xùn)練模型所需的時(shí)間就越長(zhǎng)。特征個(gè)數(shù)越多，容易引起“維度災(zāi)難”，模型也會(huì)越復(fù)雜，其推廣能力會(huì)下降。特征選擇能剔除不相關(guān)(irrelevant)或亢余(redundant)的特征，從而達(dá)到減少特征個(gè)數(shù)，提高模型精確度，減少運(yùn)行時(shí)間的目的。另一方面，選取出真正相關(guān)的特征簡(jiǎn)化了模型，使研究人員易于理解數(shù)據(jù)產(chǎn)生的過(guò)程。2.特征選擇過(guò)程2.1特征選擇的一般過(guò)程

特征選擇的一般過(guò)程可用圖1表示。首先從特征全集中產(chǎn)生出一個(gè)特征子集，然后用評(píng)價(jià)函數(shù)對(duì)該特征子集進(jìn)行評(píng)價(jià)，評(píng)價(jià)的結(jié)果與停止準(zhǔn)則進(jìn)行比較，若評(píng)價(jià)結(jié)果比停止準(zhǔn)則好就停止，否則就繼續(xù)產(chǎn)生下一組特征子集，繼續(xù)進(jìn)行特征選擇。選出來(lái)的特征子集一般還要驗(yàn)證其有效性。綜上所述，特征選擇過(guò)程一般包括產(chǎn)生過(guò)程，評(píng)價(jià)函數(shù)，停止準(zhǔn)則，驗(yàn)證過(guò)程，這4個(gè)部分。(1)產(chǎn)生過(guò)程(GenerationProcedure)

產(chǎn)生過(guò)程是搜索特征子集的過(guò)程，負(fù)責(zé)為評(píng)價(jià)函數(shù)提供特征子集。搜索特征子集的過(guò)程有多種，將在2.2小節(jié)展開(kāi)介紹。(2)評(píng)價(jià)函數(shù)(EvaluationFunction)

評(píng)價(jià)函數(shù)是評(píng)價(jià)一個(gè)特征子集好壞程度的一個(gè)準(zhǔn)則。評(píng)價(jià)函數(shù)將在2.3小節(jié)展開(kāi)介紹。(3)停止準(zhǔn)則(StoppingCriterion)

停止準(zhǔn)則是與評(píng)價(jià)函數(shù)相關(guān)的，一般是一個(gè)閾值，當(dāng)評(píng)價(jià)函數(shù)值達(dá)到這個(gè)閾值后就可停止搜索。(4)驗(yàn)證過(guò)程(ValidationProcedure)

在驗(yàn)證數(shù)據(jù)集上驗(yàn)證選出來(lái)的特征子集的有效性。

圖1.特征選擇的過(guò)程(M.DashandH.Liu1997)2.2產(chǎn)生過(guò)程

產(chǎn)生過(guò)程是搜索特征子空間的過(guò)程。搜索的算法分為完全搜索(Complete)，啟發(fā)式搜索(Heuristic)，隨機(jī)搜索(Random)3大類(lèi)，如圖2所示。

圖2.產(chǎn)生過(guò)程算法分類(lèi)(M.DashandH.Liu1997)下面對(duì)常見(jiàn)的搜索算法進(jìn)行簡(jiǎn)單介紹。2.2.1完全搜索

完全搜索分為窮舉搜索(Exhaustive)與非窮舉搜索(Non-Exhaustive)兩類(lèi)。(1)廣度優(yōu)先搜索(BreadthFirstSearch)

算法描述：廣度優(yōu)先遍歷特征子空間。

算法評(píng)價(jià)：枚舉了所有的特征組合，屬于窮舉搜索，時(shí)間復(fù)雜度是O(2n)，實(shí)用性不高。(2)分支限界搜索(BranchandBound)

算法描述：在窮舉搜索的基礎(chǔ)上加入分支限界。例如：若斷定某些分支不可能搜索出比當(dāng)前找到的最優(yōu)解更優(yōu)的解，則可以剪掉這些分支。(3)定向搜索(BeamSearch)

算法描述：首先選擇N個(gè)得分最高的特征作為特征子集，將其加入一個(gè)限制最大長(zhǎng)度的優(yōu)先隊(duì)列，每次從隊(duì)列中取出得分最高的子集，然后窮舉向該子集加入1個(gè)特征后產(chǎn)生的所有特征集，