數(shù)據(jù)挖掘中講義的特征選擇課件

1、精品數(shù)據(jù)挖掘中的特征選擇拒用野生動(dòng)植物制品別讓瀕危生命死在你手里 一些皮毛皮革業(yè)、餐飲業(yè)、保健業(yè)、化妝品及中成再制造業(yè)、工藝品制造業(yè)、旅游娛樂(lè)業(yè)等行業(yè)的發(fā)展可以說(shuō)是直接或間接地利用了野生動(dòng)物資源。熊掌、虎骨、象牙、猴腦、魚(yú)翅、燕 窩、裘皮等，為了這些能賣(mài)好價(jià)錢(qián)的東西，偷獵 者無(wú)情地向野生動(dòng)物開(kāi)槍、下手。為了挽救野生 動(dòng)植物的命運(yùn)，我們應(yīng)不穿珍稀動(dòng)物皮毛服裝，不使用珍貴皮毛服飾，不享用野生動(dòng)植物制品。知識(shí)卡：生物多樣牲 生物多樣性：一是指生態(tài)系統(tǒng)多樣性，如森林、草原、濕地、農(nóng)田等；二是物種多樣性，即自然界有上千萬(wàn)種生物，是豐富多彩的；三是遺傳多樣性，即基因多樣性，是指在同一種類(lèi)中，又有不同的個(gè)體

2、或品種。我國(guó)是最早的國(guó)際生物多樣性公約締約國(guó)之一。 43 不獵捕和飼養(yǎng)野生動(dòng)物 保護(hù)脆弱的生物鏈 請(qǐng)不要捕捉和飼養(yǎng)野生動(dòng)物，因?yàn)槟愕牟蹲胶惋曫B(yǎng)只會(huì)破壞它們的生活環(huán)境。一種動(dòng)物的滅絕，就可能帶來(lái)它的 天敵的生存危機(jī)和它的 獵物的繁殖泛濫。任何一個(gè)物種的消亡都意味著一個(gè)基因庫(kù)的消失。每一塊積木的丟失都會(huì)引起一連串物種的生存變化，使整個(gè)生態(tài)系統(tǒng)發(fā)生紊亂，就像多米諾骨牌一樣。人類(lèi)如果不停止對(duì)野生動(dòng)物的捕殺和 對(duì)其生存環(huán)境的摧毀的話，最終必將危及到人類(lèi)自身的生存，自毀于一個(gè)荒漠了的地球。 知識(shí)卡：我國(guó)的自然保護(hù)區(qū) 我國(guó)已建立400多處珍稀植物遷地保 護(hù)繁育基地、100多處植物園及近800個(gè)自然保護(hù)區(qū)。我

3、國(guó)于1988年發(fā)布國(guó)家重點(diǎn)保護(hù)野生動(dòng)物名錄，列入陸生野生動(dòng)物330多種，其中國(guó)家一級(jí)保護(hù)野生動(dòng)物有大熊貓、金絲猴、長(zhǎng)臂猿、丹頂鶴等約90種；國(guó)家二級(jí)保護(hù)野生動(dòng)物有小熊貓、穿山甲、黑熊、天鵝、鸚鵡等230種。44 制止偷獵和買(mǎi)賣(mài)生動(dòng)物的行為行使你神圣的權(quán)利 一些珍稀瀕危的野生動(dòng)物己被列入禁止獵殺買(mǎi)賣(mài)的行列，但仍有一些不法分子偷獵偷賣(mài)，要制止這些違法行為只靠執(zhí)法人員是不夠的，需要我們每個(gè)有覺(jué)悟公民的參與。當(dāng)你看到偷獵偷賣(mài)的現(xiàn)象時(shí)，請(qǐng)你一定進(jìn)行勸阻和制止，并宣傳有關(guān)常識(shí)，也可以向有夫部門(mén)舉報(bào)。 法令欄：保護(hù)野生動(dòng)物 中華人民共和國(guó)野生動(dòng)物保護(hù)法規(guī)定：禁止出售、收購(gòu)國(guó)家重點(diǎn)保護(hù)野生動(dòng)物或者產(chǎn)品。商業(yè)部

4、規(guī)定，禁止收購(gòu)和任何形式買(mǎi)賣(mài)國(guó)家重點(diǎn)保護(hù)動(dòng)物及其產(chǎn)品（包括死體、毛皮、羽毛、內(nèi)臟、血、骨、肉、角、卵、精液、胚胎、標(biāo)本、藥用部分等）。我國(guó)也是瀕危野生動(dòng)植物國(guó)際貿(mào)易公約的成員國(guó)之一。數(shù)據(jù)挖掘中的特征選擇精品數(shù)據(jù)挖掘中的特征選擇拒用野生動(dòng)植物制品別讓瀕危生命死在你手里 一些皮毛皮革業(yè)、餐飲業(yè)、保健業(yè)、化妝品及中成再制造業(yè)、工藝品制造業(yè)、旅游娛樂(lè)業(yè)等行業(yè)的發(fā)展可以說(shuō)是直接或間接地利用了野生動(dòng)物資源。熊掌、虎骨、象牙、猴腦、魚(yú)翅、燕 窩、裘皮等，為了這些能賣(mài)好價(jià)錢(qián)的東西，偷獵 者無(wú)情地向野生動(dòng)物開(kāi)槍、下手。為了挽救野生 動(dòng)植物的命運(yùn)，我們應(yīng)不穿珍稀動(dòng)物皮毛服裝，不使用珍貴皮毛服飾，不享用野生動(dòng)植物制

5、品。知識(shí)卡：生物多樣牲 生物多樣性：一是指生態(tài)系統(tǒng)多樣性，如森林、草原、濕地、農(nóng)田等；二是物種多樣性，即自然界有上千萬(wàn)種生物，是豐富多彩的；三是遺傳多樣性，即基因多樣性，是指在同一種類(lèi)中，又有不同的個(gè)體或品種。我國(guó)是最早的國(guó)際生物多樣性公約締約國(guó)之一。 43 不獵捕和飼養(yǎng)野生動(dòng)物 保護(hù)脆弱的生物鏈 請(qǐng)不要捕捉和飼養(yǎng)野生動(dòng)物，因?yàn)槟愕牟蹲胶惋曫B(yǎng)只會(huì)破壞它們的生活環(huán)境。一種動(dòng)物的滅絕，就可能帶來(lái)它的 天敵的生存危機(jī)和它的 獵物的繁殖泛濫。任何一個(gè)物種的消亡都意味著一個(gè)基因庫(kù)的消失。每一塊積木的丟失都會(huì)引起一連串物種的生存變化，使整個(gè)生態(tài)系統(tǒng)發(fā)生紊亂，就像多米諾骨牌一樣。人類(lèi)如果不停止對(duì)野生動(dòng)物的捕

6、殺和 對(duì)其生存環(huán)境的摧毀的話，最終必將危及到人類(lèi)自身的生存，自毀于一個(gè)荒漠了的地球。 知識(shí)卡：我國(guó)的自然保護(hù)區(qū) 我國(guó)已建立400多處珍稀植物遷地保 護(hù)繁育基地、100多處植物園及近800個(gè)自然保護(hù)區(qū)。我國(guó)于1988年發(fā)布國(guó)家重點(diǎn)保護(hù)野生動(dòng)物名錄，列入陸生野生動(dòng)物330多種，其中國(guó)家一級(jí)保護(hù)野生動(dòng)物有大熊貓、金絲猴、長(zhǎng)臂猿、丹頂鶴等約90種；國(guó)家二級(jí)保護(hù)野生動(dòng)物有小熊貓、穿山甲、黑熊、天鵝、鸚鵡等230種。44 制止偷獵和買(mǎi)賣(mài)生動(dòng)物的行為行使你神圣的權(quán)利 一些珍稀瀕危的野生動(dòng)物己被列入禁止獵殺買(mǎi)賣(mài)的行列，但仍有一些不法分子偷獵偷賣(mài)，要制止這些違法行為只靠執(zhí)法人員是不夠的，需要我們每個(gè)有覺(jué)悟公民的

7、參與。當(dāng)你看到偷獵偷賣(mài)的現(xiàn)象時(shí)，請(qǐng)你一定進(jìn)行勸阻和制止，并宣傳有關(guān)常識(shí)，也可以向有夫部門(mén)舉報(bào)。 法令欄：保護(hù)野生動(dòng)物 中華人民共和國(guó)野生動(dòng)物保護(hù)法規(guī)定：禁止出售、收購(gòu)國(guó)家重點(diǎn)保護(hù)野生動(dòng)物或者產(chǎn)品。商業(yè)部規(guī)定，禁止收購(gòu)和任何形式買(mǎi)賣(mài)國(guó)家重點(diǎn)保護(hù)動(dòng)物及其產(chǎn)品（包括死體、毛皮、羽毛、內(nèi)臟、血、骨、肉、角、卵、精液、胚胎、標(biāo)本、藥用部分等）。我國(guó)也是瀕危野生動(dòng)植物國(guó)際貿(mào)易公約的成員國(guó)之一。為什么需要數(shù)據(jù)挖掘數(shù)據(jù)爆炸問(wèn)題 自動(dòng)數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫(kù)技術(shù)使得大量的數(shù)據(jù)被收集，存儲(chǔ)在數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)或其他信息庫(kù)中以待分析。我們擁有豐富的數(shù)據(jù)，但卻缺乏有用的信息數(shù)據(jù)爆炸但知識(shí)貧乏 2022/8/222數(shù)據(jù)

8、挖掘中的特征選擇數(shù)據(jù)挖掘的作用數(shù)據(jù)挖掘：在大量的數(shù)據(jù)中挖掘感興趣的知識(shí)（規(guī)則，規(guī)律，模式，約束）數(shù)據(jù)挖掘是一種從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)。它綜合了統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)技術(shù)和人工智能技術(shù)2022/8/223數(shù)據(jù)挖掘中的特征選擇數(shù)據(jù)挖掘數(shù)據(jù)庫(kù)越來(lái)越大有價(jià)值的知識(shí)海量的數(shù)據(jù)2022/8/224數(shù)據(jù)挖掘中的特征選擇數(shù)據(jù)挖掘的應(yīng)用數(shù)據(jù)分析和決策支持市場(chǎng)分析和管理客戶(hù)關(guān)系管理 (CRM)，市場(chǎng)占有量分析，交叉銷(xiāo)售，目標(biāo)市場(chǎng)風(fēng)險(xiǎn)分析和管理風(fēng)險(xiǎn)預(yù)測(cè)，客戶(hù)保持，保險(xiǎn)業(yè)的改良，質(zhì)量控制，競(jìng)爭(zhēng)分析欺騙檢測(cè)和異常模式的監(jiān)測(cè) (孤立點(diǎn))其他的應(yīng)用文本挖掘 (新聞組，電子郵件，文檔) 和Web挖掘流數(shù)據(jù)挖掘DNA 和生物數(shù)據(jù)

9、分析2022/8/225數(shù)據(jù)挖掘中的特征選擇數(shù)據(jù)挖掘: 數(shù)據(jù)庫(kù)中的知識(shí)挖掘(KDD)數(shù)據(jù)挖掘知識(shí)挖掘的核心數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)Knowledge任務(wù)相關(guān)數(shù)據(jù)選擇數(shù)據(jù)挖掘模式評(píng)估2022/8/226數(shù)據(jù)挖掘中的特征選擇數(shù)據(jù)挖掘的步驟了解應(yīng)用領(lǐng)域了解相關(guān)的知識(shí)和應(yīng)用的目標(biāo)創(chuàng)建目標(biāo)數(shù)據(jù)集: 選擇數(shù)據(jù)數(shù)據(jù)清理和預(yù)處理: (這個(gè)可能要占全過(guò)程60的工作量)數(shù)據(jù)縮減和變換找到有用的特征，維數(shù)縮減/變量縮減，不變量的表示選擇數(shù)據(jù)挖掘的功能 數(shù)據(jù)總結(jié), 分類(lèi)模型數(shù)據(jù)挖掘, 回歸分析, 關(guān)聯(lián)規(guī)則挖掘, 聚類(lèi)分析等2022/8/227數(shù)據(jù)挖掘中的特征選擇選擇挖掘算法數(shù)據(jù)挖掘: 尋找感興趣的模式模式評(píng)估和

10、知識(shí)表示可視化，轉(zhuǎn)換，消除冗余模式等等運(yùn)用發(fā)現(xiàn)的知識(shí)2022/8/228數(shù)據(jù)挖掘中的特征選擇數(shù)據(jù)挖掘和商業(yè)智能支持商業(yè)決策的潛能不斷增長(zhǎng)最終用戶(hù)商業(yè)分析家 數(shù)據(jù)分析家DBA 決策支持?jǐn)?shù)據(jù)表示可視化技術(shù)數(shù)據(jù)挖掘信息發(fā)現(xiàn)數(shù)據(jù)探索在線分析處理（OLAP)，多維分析(MDA)統(tǒng)計(jì)分析，查詢(xún)和報(bào)告數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)市場(chǎng)數(shù)據(jù)源論文, 文件, 信息提供商, 數(shù)據(jù)庫(kù)系統(tǒng), 聯(lián)機(jī)事務(wù)處理系統(tǒng)(OLTP)2022/8/229數(shù)據(jù)挖掘中的特征選擇典型數(shù)據(jù)挖掘系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)清洗過(guò)濾數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器數(shù)據(jù)挖掘引擎模式評(píng)估圖形用戶(hù)界面知識(shí)庫(kù)數(shù)據(jù)集成2022/8/2210數(shù)據(jù)挖掘中的特征選擇數(shù)據(jù)挖掘:多個(gè)學(xué)科的融合

11、數(shù)據(jù)挖掘數(shù)據(jù)庫(kù)系統(tǒng)統(tǒng)計(jì)學(xué)其他學(xué)科算法機(jī)器學(xué)習(xí)可視化2022/8/2211數(shù)據(jù)挖掘中的特征選擇數(shù)據(jù)挖掘的分類(lèi)預(yù)言（Predication）：用歷史預(yù)測(cè)未來(lái)描述（Description）：了解數(shù)據(jù)中潛在的規(guī)律2022/8/2212數(shù)據(jù)挖掘中的特征選擇數(shù)據(jù)挖掘的主要方法分類(lèi)（Classification）聚類(lèi)(Clustering)相關(guān)規(guī)則(Association Rule)回歸(Regression)其他2022/8/2213數(shù)據(jù)挖掘中的特征選擇特征歸約在數(shù)據(jù)挖掘中的作用因?yàn)樵谖谋痉诸?lèi)、信息檢索和生物信息學(xué)等數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域中，數(shù)據(jù)的維數(shù)往往是很高的。高維的數(shù)據(jù)集中包含了大量的特征(屬性)。比如

12、一個(gè)文本數(shù)據(jù)集中，每一個(gè)文本都可以用一個(gè)向量來(lái)表示，向量中的每一個(gè)元素就是每一個(gè)詞在該文本中出現(xiàn)的頻率。在這種情況下，這個(gè)數(shù)據(jù)集中就存在著成千上萬(wàn)的特征。這種高維的數(shù)據(jù)給數(shù)據(jù)挖掘帶來(lái)了“維災(zāi)難”(The Curse of Dimensionality)問(wèn)題。 2022/8/2214數(shù)據(jù)挖掘中的特征選擇特征選擇和特征降維是兩類(lèi)特征歸約方法。2022/8/2215數(shù)據(jù)挖掘中的特征選擇特征選擇特征選擇的一般過(guò)程包括：首先從特征全集中產(chǎn)生出一個(gè)特征子集，然后用評(píng)價(jià)函數(shù)對(duì)該特征子集進(jìn)行評(píng)價(jià)，評(píng)價(jià)的結(jié)果與停止準(zhǔn)則進(jìn)行比較，若評(píng)價(jià)結(jié)果比停止準(zhǔn)則好就停止，否則就繼續(xù)產(chǎn)生下一組特征子集，繼續(xù)進(jìn)行特征選擇。選出來(lái)

13、的特征子集一般還要驗(yàn)證其有效性。2022/8/2216數(shù)據(jù)挖掘中的特征選擇 特征選擇的過(guò)程 ( M. Dash and H. Liu 1997 )2022/8/2217數(shù)據(jù)挖掘中的特征選擇特征選擇大體上可以看作是一個(gè)搜索過(guò)程，搜索空間中的每一個(gè)狀態(tài)都可以看成是一個(gè)可能特征子集。搜索的算法分為完全搜索(Complete)，啟發(fā)式搜索(Heuristic)，隨機(jī)搜索(Random) 3大類(lèi)。 2022/8/2218數(shù)據(jù)挖掘中的特征選擇完全搜索分為窮舉搜索與非窮舉搜索兩類(lèi)。(1) 廣度優(yōu)先搜索(BFS )(2) 分支限界搜索(BAB) (3) 定向搜索 (BS)(4) 最優(yōu)優(yōu)先搜索(Best Fir

14、st Search) 2022/8/2219數(shù)據(jù)挖掘中的特征選擇啟發(fā)式搜索(1) 序列前向選擇(SFS)(2) 序列后向選擇(SBS)(3) 雙向搜索(BDS)(4) 增L去R選擇算法 (LRS)(5) 序列浮動(dòng)選擇(Sequential Floating Selection)(6) 決策樹(shù)(DTM)2022/8/2220數(shù)據(jù)挖掘中的特征選擇 隨機(jī)算法(1) 隨機(jī)產(chǎn)生序列選擇算法(RGSS)(2) 模擬退火算法(SA)(3) 遺傳算法(GA)2022/8/2221數(shù)據(jù)挖掘中的特征選擇特征的評(píng)價(jià)函數(shù)特征的評(píng)估函數(shù)分為五類(lèi)：相關(guān)性，距離，信息增益，一致性和分類(lèi)錯(cuò)誤率。 常用的有平方距離，歐氏距離，

15、非線性測(cè)量，Minkowski距離，信息增益，最小描述長(zhǎng)度，互信息，依賴(lài)性度量或相關(guān)性度量，一致性度量，分類(lèi)錯(cuò)誤率 ，分類(lèi)正確率 2022/8/2222數(shù)據(jù)挖掘中的特征選擇特征選擇方法的模型一般地，特征選擇方法可以分為三種模型，分別是：過(guò)濾模型、封裝模型和混合模型。2022/8/2223數(shù)據(jù)挖掘中的特征選擇過(guò)濾模型：根據(jù)訓(xùn)練集進(jìn)行特征選擇，在特征選擇的過(guò)程中并不涉及任何學(xué)習(xí)算法。即特征子集在學(xué)習(xí)算法運(yùn)行之前就被單獨(dú)選定。但學(xué)習(xí)算法用于測(cè)試最終特征子集的性能。過(guò)濾模型簡(jiǎn)單且效率很高。由于過(guò)濾模型中的特征選擇過(guò)程獨(dú)立于學(xué)習(xí)算法，這就容易與后面的學(xué)習(xí)算法產(chǎn)生偏差，因此為了克服這個(gè)缺點(diǎn)提出了封裝模型。

16、2022/8/2224數(shù)據(jù)挖掘中的特征選擇2022/8/2225數(shù)據(jù)挖掘中的特征選擇基于過(guò)濾模型的算法主要有兩類(lèi)：特征權(quán)重和子集搜索。這兩類(lèi)算法的不同之處在于是對(duì)單個(gè)特征進(jìn)行評(píng)價(jià)還是對(duì)整個(gè)特征子集進(jìn)行評(píng)價(jià)。2022/8/2226數(shù)據(jù)挖掘中的特征選擇特征權(quán)重算法對(duì)每個(gè)特征指定一個(gè)權(quán)值，并按照它與目標(biāo)概念的相關(guān)度對(duì)其進(jìn)行排序，如果一個(gè)特征的相關(guān)度權(quán)值大于某個(gè)閾值，則認(rèn)為該特征優(yōu)秀，并且選擇該特征。該算法缺點(diǎn)在于：他們可以捕獲特征與目標(biāo)概念間的相關(guān)性，卻不能發(fā)現(xiàn)特征間的冗余性。而經(jīng)驗(yàn)證明除了無(wú)關(guān)特征對(duì)學(xué)習(xí)任務(wù)的影響，冗余特征同樣影響學(xué)習(xí)算法的速度和準(zhǔn)確性，也應(yīng)盡可能消除冗余特征。Relief算法是一

17、個(gè)比較著名的特征權(quán)重類(lèi)方法。2022/8/2227數(shù)據(jù)挖掘中的特征選擇子集搜索算法通過(guò)在一定的度量標(biāo)準(zhǔn)指導(dǎo)下遍歷候選特征子集，對(duì)每個(gè)子集進(jìn)行優(yōu)劣評(píng)價(jià)，當(dāng)搜索停止時(shí)即可選出最優(yōu)（或近似最優(yōu)）的特征子集。2022/8/2228數(shù)據(jù)挖掘中的特征選擇封裝模型：在此模型中，學(xué)習(xí)算法封裝在特征選擇的過(guò)程中，用特征子集在學(xué)習(xí)算法上得到的挖掘性能作為特征子集優(yōu)劣的評(píng)估準(zhǔn)則。在初始特征空間內(nèi)進(jìn)行多次搜索，直至得到最佳的特征子集。與過(guò)濾模型相比，封裝模型具有更高的精度，但效率較低，運(yùn)行速度慢于過(guò)濾模型。2022/8/2229數(shù)據(jù)挖掘中的特征選擇2022/8/2230數(shù)據(jù)挖掘中的特征選擇過(guò)濾模型與包裹模型的根本區(qū)別

18、在于對(duì)學(xué)習(xí)算法的使用方式。 混合模型：由于過(guò)濾模型與封裝模型之間的互補(bǔ)性，混合模型把這兩種模型進(jìn)行組合，也就是先用過(guò)濾模式進(jìn)行初選，再用封裝模型來(lái)獲得最佳的特征子集。2022/8/2231數(shù)據(jù)挖掘中的特征選擇2022/8/2232數(shù)據(jù)挖掘中的特征選擇數(shù)據(jù)降維數(shù)據(jù)降維是指通過(guò)線性或非線性映射將樣本空間從高維空間映射到低維空間。降維方法主要分為兩類(lèi)：線性或非線性。 2022/8/2233數(shù)據(jù)挖掘中的特征選擇數(shù)據(jù)降維是指通過(guò)線性或非線性映射將樣本空間從高維空間映射到低維空間。降維方法主要分為兩類(lèi)：線性或非線性。而非線性降維方法又可分為基于核函數(shù)和基于特征值的方法。 2022/8/2234數(shù)據(jù)挖掘中的特征選擇線性降維方法有：主成分分析(PCA)，獨(dú)立成分分析(ICA)，線性判別分析(PCA)，局部特征分析(LFA) 。2022/8/2235數(shù)據(jù)挖掘中的特征選擇基于核函數(shù)的非線性降維方法有：基于核函數(shù)的主成分分析(KPCA)，基于核