第6章-數(shù)據(jù)預(yù)處理

第6章數(shù)據(jù)預(yù)處理宋杰鯤?中國石油大學(xué)（華東）管理科學(xué)與工程系數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)庫系統(tǒng)所獲數(shù)據(jù)量的迅速膨脹（已達(dá)GB或TB數(shù)量級），從而導(dǎo)致了現(xiàn)實世界數(shù)據(jù)庫中常常包含許多含有噪聲、不完整、甚至是不一致的數(shù)據(jù)。顯然對數(shù)據(jù)挖掘所涉及的數(shù)據(jù)對象必須進(jìn)行預(yù)處理。數(shù)據(jù)預(yù)處理主要包括：數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)選擇、數(shù)據(jù)變換、數(shù)據(jù)歸約等。數(shù)據(jù)預(yù)處理本章目標(biāo)：了解并掌握數(shù)據(jù)預(yù)處理的幾種方法，特別是分箱方法、數(shù)據(jù)規(guī)格化方法。數(shù)據(jù)預(yù)處理6.1數(shù)據(jù)預(yù)處理的必要性6.2數(shù)據(jù)清理6.3數(shù)據(jù)集成6.4數(shù)據(jù)變換6.5數(shù)據(jù)歸約6.1數(shù)據(jù)預(yù)處理的必要性

數(shù)據(jù)挖掘的效果和數(shù)據(jù)質(zhì)量之間有著緊密的聯(lián)系，所謂“垃圾入，垃圾出”，即數(shù)據(jù)的質(zhì)量越好，則挖掘的結(jié)果就越精確，反之則不可能取得好的挖掘結(jié)果。尤其是在對包含有噪聲、不完整、不一致數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘時，更需要進(jìn)行數(shù)據(jù)的預(yù)處理，以提高數(shù)據(jù)挖掘?qū)ο蟮馁|(zhì)量，并最終提高數(shù)據(jù)挖掘所獲模式知識的質(zhì)量。6.1數(shù)據(jù)預(yù)處理的必要性

噪聲數(shù)據(jù)：噪聲是指一個測量變量中的隨機(jī)錯誤或偏離期望的孤立點值，產(chǎn)生噪聲的原因很多，人為的、設(shè)備的和技術(shù)的等，如數(shù)據(jù)輸入時的人為錯誤或計算機(jī)錯誤，網(wǎng)絡(luò)傳輸中的錯誤，數(shù)據(jù)收集設(shè)備的故障等。不完整數(shù)據(jù)：實際應(yīng)用系統(tǒng)中，由于系統(tǒng)設(shè)計的不合理或者使用過程中的某些因素，某些屬性值可能會缺失或者值不確定。6.1數(shù)據(jù)預(yù)處理的必要性

不一致數(shù)據(jù)：由于原始數(shù)據(jù)來源于多個不同的應(yīng)用系統(tǒng)或數(shù)據(jù)庫，信息龐雜，采集和加工的方法有別，數(shù)據(jù)描述的格式也各不相同，缺乏統(tǒng)一的分類標(biāo)準(zhǔn)和信息的編碼方案，難以實現(xiàn)信息的集成共享，很難直接用于數(shù)據(jù)挖掘。重復(fù)數(shù)據(jù)：同一事物在數(shù)據(jù)庫中存在兩條或多條完全相同的記錄，或者相同的信息冗余的存在于多個數(shù)據(jù)源中。6.1數(shù)據(jù)預(yù)處理的必要性

維度高數(shù)據(jù)：原始數(shù)據(jù)中通常記錄事物的較為全面的屬性，而在一次挖掘中，這些屬性并不是都有用，只需要一部分屬性即可得到希望知道的知識，而且無用屬性的增加還會導(dǎo)致無效歸納，把挖掘結(jié)果引向錯誤的結(jié)論。6.2數(shù)據(jù)清理

數(shù)據(jù)預(yù)處理的方法主要包括：數(shù)據(jù)清理（datacleaning）、數(shù)據(jù)集成（dataintegration）、數(shù)據(jù)變換（datatransformation）、數(shù)據(jù)歸約（datareduction）。

數(shù)據(jù)清理通過填補(bǔ)遺漏數(shù)據(jù)、消除異常數(shù)據(jù)、平滑噪聲數(shù)據(jù)，以及糾正不一致的數(shù)據(jù)。6.2數(shù)據(jù)清理

6.2.1遺漏數(shù)據(jù)處理

假設(shè)在分析一個商場銷售數(shù)據(jù)時，發(fā)現(xiàn)有多個記錄中的屬性值為空，如：顧客的收入屬性，對于為空的屬性值，可以采用以下方法進(jìn)行遺漏數(shù)據(jù)處理：（1）忽略該條記錄。當(dāng)一個記錄中有多個屬性值空缺，特別是關(guān)鍵信息丟失時，即使是采用某些方法把所有缺失的屬性值填充好，該記錄也不能反映真實情況，對于數(shù)據(jù)挖掘算法來說，這樣的數(shù)據(jù)性質(zhì)很差，應(yīng)該忽略該條記錄。6.2數(shù)據(jù)清理

6.2.1遺漏數(shù)據(jù)處理

（2）去掉屬性。如果所有記錄中的某一個屬性值缺失嚴(yán)重，可以認(rèn)為該屬性對知識發(fā)現(xiàn)來說已經(jīng)沒有意義，將其直接去掉。（3）手工填補(bǔ)遺漏值。以某些背景資料為依據(jù)，手工填寫空缺值，一般講這種方法比較耗時，而且對于存在許多遺漏情況的大規(guī)模數(shù)據(jù)集而言，顯然可行較差。6.2數(shù)據(jù)清理

6.2.1遺漏數(shù)據(jù)處理

（4）利用缺省值填補(bǔ)遺漏值。對一個離散屬性的所有遺漏的值均利用一個事先確定好的值來填補(bǔ)。如：都用OK來填補(bǔ)。但當(dāng)一個屬性遺漏值較多值，若采用這種方法，就可能誤導(dǎo)挖掘進(jìn)程。因此這種方法雖然簡單，但并不推薦使用，或使用時需要仔細(xì)分析填補(bǔ)后的情況，以盡量避免對最終挖掘結(jié)果產(chǎn)生較大誤差。（5）利用均值填補(bǔ)遺漏值。計算一個屬性（值）的平均值，并用此值填補(bǔ)該屬性所有遺漏的值。如：若一個顧客的平均收入(income)為12000元，則用此值填補(bǔ)屬性中所有被遺漏的值。6.2數(shù)據(jù)清理

6.2.1遺漏數(shù)據(jù)處理

（6）利用同類別均值填補(bǔ)遺漏值。計算同類樣本記錄的該屬性平均值，用來填充空缺值。如：若要對商場顧客按信用風(fēng)險進(jìn)行分類挖掘時，就可以用在同一信用風(fēng)險類別下（如良好）的income屬性的平均值，來填補(bǔ)所有在同一信用風(fēng)險類別下屬性income的遺漏值。6.2數(shù)據(jù)清理

6.2.1遺漏數(shù)據(jù)處理

（7）利用最可能的值填補(bǔ)遺漏值。可以利用回歸分析、貝葉斯計算公式或決策樹推斷出該條記錄特定屬性的最大可能的取值。例如：利用數(shù)據(jù)集中其它顧客的屬性值，可以構(gòu)造一個決策樹來預(yù)測屬性income的遺漏值。與其他方法相比，該方法最大程度地利用了當(dāng)前數(shù)據(jù)所包含的信息來幫助預(yù)測所遺漏的數(shù)據(jù)，是目前最為常用的方法。

（1）分箱方法。通過考察相鄰數(shù)據(jù)來確定最終值。把待處理的數(shù)據(jù)（某列屬性值）按照一定的規(guī)則放進(jìn)一些箱子中，考察每一個箱子的數(shù)據(jù)，采用某種方法分別對各個箱子中的數(shù)據(jù)進(jìn)行處理。常用的方法包括等深分箱法、等寬分箱法以及自定義分箱法。完成分箱之后，就要選擇一種方法對數(shù)據(jù)進(jìn)行平滑，使得數(shù)據(jù)盡可能接近。常用的方法包括：6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理

①按平均值平滑：對同一箱值中的數(shù)據(jù)求平均值，然后用這個平均值替代該箱子中的所有數(shù)據(jù)。②按邊界值平滑：對于箱子中的每一個數(shù)據(jù)，觀察它和箱子兩個邊界值的距離，用距離較小的那個邊界值替代該數(shù)據(jù)。③按中值平滑：取箱子的中值，用來替代箱子中的所有數(shù)據(jù)。中值也稱中數(shù)，將數(shù)據(jù)排序之后，如果這些數(shù)據(jù)是奇數(shù)個，中值就是最中間位置的那個數(shù)；如果是偶數(shù)個，中值應(yīng)該是中間兩個數(shù)的平均值。6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理price的排序后數(shù)據(jù)（元）：4,8,15,21,21,24,25,28,34等深分箱（箱深為3）： 箱1：4,8,15

箱2：21,21,24

箱3：25,28,34等寬分箱（箱寬為10）： 箱1：4,8

箱2：15,21,21,24,25

箱3：28,34自定義分箱（10以下，10~20，20~30，30~40）： 箱1：4,8

箱2：15

箱3：21,21,24,25,28

箱4：346.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理price的排序等深后數(shù)據(jù)：4,8,15;21,21,24;25,28,34用平均值平滑： 箱1：9,9,9

箱2：22,22,22

箱3：29,29,29用邊界平滑： 箱1：4,4,15

箱2：21,21,24

箱3：25,25,34用中值平滑：箱1：8,8,8

箱2：21,21,21

箱3：28,28,286.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理課堂練習(xí)：假定用于分析的數(shù)據(jù)包含屬性age。數(shù)據(jù)元組中age的值如下（按遞增序）：13,15,16,16,19,20,20,21,22。1）使用按箱平均值（保留整數(shù)，四舍五入）平滑對以上數(shù)據(jù)進(jìn)行平滑，箱的深度為3。說明你的步驟。2）使用按箱邊界平滑對以上數(shù)據(jù)進(jìn)行平滑，箱的深度為3。說明你的步驟。6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理

（2）聚類方法。通過聚類分析可幫助發(fā)現(xiàn)異常數(shù)據(jù)，相似或相鄰近的數(shù)據(jù)聚合在一起形成各個聚類集合，而那些位于這些聚類集合之外的數(shù)據(jù)對象被認(rèn)為是異常數(shù)據(jù)。聚類方法不需要任何先驗知識。6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理

（3）回歸方法?？梢岳脭M合函數(shù)對數(shù)據(jù)進(jìn)行平滑。如：借助線性回歸（linearregression）方法，包括多變量回歸方法，就可以獲得的多個變量之間的一個擬合關(guān)系，從而達(dá)到利用一個（或一組）變量值來幫助預(yù)測另一個變量取值的目的。利用回歸分析方法所獲得的擬合函數(shù)，能夠幫助平滑數(shù)據(jù)及除去其中的噪聲。

6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理

（4）人機(jī)結(jié)合檢查方法。通過人與計算機(jī)檢查相結(jié)合方法，可以幫助發(fā)現(xiàn)異常數(shù)據(jù)。如：利用基于信息論方法可幫助識別用于分類識別手寫符號庫中的異常模式；所識別出的異常模式可輸出到一個列表中；然后由人對這一列表中的各異常模式進(jìn)行檢查，并最終確認(rèn)無用的模式（真正異常的模式）。這種人機(jī)結(jié)合檢查方法比單純利用手工方法手寫符號庫進(jìn)行檢查要快許多。6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理

（1）多個取名或不規(guī)范取名的清理問題。數(shù)據(jù)清理將數(shù)據(jù)值進(jìn)行一致化，即相同含義的值應(yīng)具有統(tǒng)一的形式。如人員的出生地在不同的數(shù)據(jù)源中可能分別使用“上?！?、“滬”、“上海市”、“滬市、“申”、“申城”、“Shanghai”，、“SH”等表示上海市出生的人員，應(yīng)將這類值統(tǒng)一表示。在不同的數(shù)據(jù)源中，相同類型的信息可能表現(xiàn)為不同的格式，例如，電話號碼通常定義為字符型數(shù)據(jù)，但在有些數(shù)據(jù)源中可能將其定義為數(shù)值型數(shù)據(jù)，因此應(yīng)將其一致化。6.2數(shù)據(jù)清理

6.2.3不一致數(shù)據(jù)處理

（2）錯誤數(shù)據(jù)的清理問題。數(shù)據(jù)清洗包括數(shù)據(jù)的一致性確認(rèn)，如人員的聯(lián)系信息在地址域的值為“中國石油大學(xué)（華東）”，而在相應(yīng)的郵政編碼域值為“257000”，則記錄的數(shù)據(jù)存在不一致。在本例中，假如存在一個標(biāo)準(zhǔn)的地址和郵政編碼的對應(yīng)表，則可對記錄中的郵政編碼值自動更正。當(dāng)然，這需要結(jié)合一定的業(yè)務(wù)規(guī)則，因為也有可能郵政編碼的值正確，而地址域的值不正確。6.2數(shù)據(jù)清理

6.2.3不一致數(shù)據(jù)處理

（3）失效數(shù)據(jù)或過期數(shù)據(jù)的清理問題。地址是一個經(jīng)常出現(xiàn)過時數(shù)據(jù)的典型例子。在當(dāng)今社會中，人們常常改變他們的地址，所以一年以上的住址變得不再可靠。體現(xiàn)在有的客戶概況信息已超過兩年以上，而且客戶已經(jīng)搬家，但新的地址并沒有在地址表中反映出來。郵寄清單必須經(jīng)常更新，因為人們的工作會發(fā)生變化，他們的住址也隨之改變。我們將這種不再正確的老地址稱為失效數(shù)據(jù)。6.2數(shù)據(jù)清理

6.2.3不一致數(shù)據(jù)處理

（4）印刷錯誤的清理問題。英文單詞會經(jīng)常性地被誤拼或誤打，漢語詞組也同樣如此。6.2數(shù)據(jù)清理

6.2.3不一致數(shù)據(jù)處理6.3數(shù)據(jù)集成

數(shù)據(jù)挖掘任務(wù)常常涉及數(shù)據(jù)集成操作，即將來自多個數(shù)據(jù)源的數(shù)據(jù)，如：數(shù)據(jù)庫、數(shù)據(jù)立方、普通文件等，結(jié)合在一起并形成一個統(tǒng)一數(shù)據(jù)集合，以便為數(shù)據(jù)挖掘工作的順利完成提供完整的數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)集成（dataintegration）將多數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行合并處理，解決語義模糊性并整合成一致的數(shù)據(jù)存儲。數(shù)據(jù)集成涉及模式集成、屬性冗余、數(shù)據(jù)值沖突檢測與消除這三個方面的問題。

模式集成從多個異構(gòu)數(shù)據(jù)庫、文件或遺留系統(tǒng)提取并集成數(shù)據(jù)，解決語義二義性，統(tǒng)一不同格式的數(shù)據(jù)。因此，模式集成涉及實體識別(entityidentification)，即如何表示不同數(shù)據(jù)庫中的字段是同一個實體，如何將不同信息源中的實體匹配來進(jìn)行模式集成。例如：如何確定一個數(shù)據(jù)庫中的“customer-id”與另一個數(shù)據(jù)庫中的“custom-id”是否表示同一實體。數(shù)據(jù)庫與數(shù)據(jù)倉庫通常包含元數(shù)據(jù)，所謂元數(shù)據(jù)就是關(guān)于數(shù)據(jù)的數(shù)據(jù)，這些元數(shù)據(jù)可以幫助避免在模式集成時發(fā)生錯誤。

6.3數(shù)據(jù)集成

6.3.1模式集成問題

若一個屬性可以從其它屬性中推演出來，那這個屬性就是冗余屬性。如：一個顧客數(shù)據(jù)表中的平均月收入屬性，就是冗余屬性，顯然它可以根據(jù)月收入屬性計算出來。利用相關(guān)分析可以幫助發(fā)現(xiàn)一些比較隱蔽的數(shù)據(jù)冗余情況。例如：給定兩個屬性，則根據(jù)這兩個屬性的數(shù)值分析出這兩個屬性間的相互關(guān)系。屬性A，B之間的相互關(guān)系可以根據(jù)以下計算公式分析獲得。

6.3數(shù)據(jù)集成

6.3.2冗余問題記錄行冗余同步進(jìn)行。

對于一個現(xiàn)實世界實體，其來自不同數(shù)據(jù)源的屬性值或許不同。產(chǎn)生這樣問題原因可能是表示的差異、比例尺度不同或編碼的差異等。例如：重量屬性在一個系統(tǒng)中采用公制，而在另一個系統(tǒng)中卻采用英制。同樣價格屬性在不同地點采用不同貨幣單位，而且可能涉及不同的服務(wù)（如免費早餐）或稅。這些語義的差異為數(shù)據(jù)集成提出許多問題。

6.3數(shù)據(jù)集成

6.3.3數(shù)據(jù)值沖突檢測與消除問題6.4數(shù)據(jù)變換

數(shù)據(jù)變換（datatransformation）就是將數(shù)據(jù)進(jìn)行規(guī)范化和聚集。（1）平滑。幫助除去數(shù)據(jù)中的噪聲，還可以將連續(xù)的數(shù)據(jù)離散化。主要技術(shù)方法有：分箱方法、聚類方法和回歸方法。（2）聚集。對數(shù)據(jù)進(jìn)行總結(jié)或合計操作。例如：每天銷售額（數(shù)據(jù)）可以進(jìn)行合計操作以獲得每月或每年的總額。這一操作常用于構(gòu)造數(shù)據(jù)立方或?qū)?shù)據(jù)進(jìn)行多維度的分析。6.4數(shù)據(jù)變換

（3）數(shù)據(jù)泛化（generation）。所謂泛化處理就是用更抽象（更高層次）的概念來取代低層次或數(shù)據(jù)層的數(shù)據(jù)對象。例如：街道屬性，就可以泛化到更高層次的概念，諸如：城市、國家。同樣對于數(shù)值型的屬性，如年齡屬性，就可以映射到更高層次概念，如：年輕、中年和老年。6.4數(shù)據(jù)變換

（4）規(guī)格化。規(guī)格化就是將有關(guān)屬性數(shù)據(jù)按比例投射到特定小范圍之中，如將工資收入屬性值映射到-1.0到1.0范圍內(nèi)，以消除數(shù)值型屬性因大小不一而造成挖掘結(jié)果的偏差。規(guī)格化處理常常用于神經(jīng)網(wǎng)絡(luò)、聚類挖掘的數(shù)據(jù)預(yù)處理等等。下面介紹三種規(guī)格化方法：最小-最大規(guī)范化、z-score規(guī)范化和按小數(shù)定標(biāo)規(guī)范化。6.4數(shù)據(jù)變換①最小-最大規(guī)范化假定minA和maxA分別為屬性A的最小和最大值。最小-最大規(guī)范化通過計算：例1假定屬性income的最小與最大值分別為$12,000和$98,000。我們想映射income到區(qū)間[0.0,0.1]。根據(jù)最小-最大規(guī)范化，income值$73,600將變換為：6.4數(shù)據(jù)變換②z-score規(guī)范化屬性A的值基于A的平均值和標(biāo)準(zhǔn)差規(guī)范化。A的值v被規(guī)范化為v’，由下式計算：例2假定屬性income的平均值和標(biāo)準(zhǔn)差分別為$54,000和$16,000。使用z-score規(guī)范化，值$73,600被轉(zhuǎn)換為6.4數(shù)據(jù)變換③小數(shù)定標(biāo)規(guī)范化通過移動屬性A的小數(shù)點位置進(jìn)行規(guī)范化。小數(shù)點的移動位數(shù)依賴于A的最大絕對值。A的值v被規(guī)范化為v’，由下式計算。其中j是使Max(|v’|)<1的最小整數(shù)。例3假定A的值由-986到917。A的最大絕對值為986。為使用小數(shù)定標(biāo)規(guī)范化，我們用1,000（即j=3）除每個值。這樣，-986被規(guī)范化為-0.986。6.4數(shù)據(jù)變換

注意，規(guī)范化將原來的數(shù)據(jù)改變很多，特別是上述的后兩種方法。有必要保留規(guī)范化參數(shù)（如平均值和標(biāo)準(zhǔn)差，如果使用z-score規(guī)范化），以便將來的數(shù)據(jù)可以用一致的方式規(guī)范化。6.4數(shù)據(jù)變換課堂練習(xí)：假定用于分析的數(shù)據(jù)包含屬性age。數(shù)據(jù)元組中age的值如下（按遞增序）：13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,33,35,35,35,35,36,40,45,46,52,70(a)使用min-max規(guī)范化，將age值35轉(zhuǎn)換到[0.0,1.0]區(qū)間。(b)使用z-score規(guī)范化轉(zhuǎn)換age值35，其中，age的標(biāo)準(zhǔn)偏差為12.94年。(c)使用小數(shù)定標(biāo)規(guī)范化轉(zhuǎn)換age值35。6.4數(shù)據(jù)變換

（5）屬性構(gòu)造。根據(jù)已有屬性集構(gòu)造新的屬性，以幫助數(shù)據(jù)挖掘過程。對于屬性構(gòu)造方法，它可以利用已有屬性集構(gòu)造出新的屬性，并加入到現(xiàn)有屬性集合中以幫助挖掘更深層次的模式知識，提高挖掘結(jié)果準(zhǔn)確性。例如，在客戶背景數(shù)據(jù)表中，根據(jù)客戶月收入，構(gòu)造“收入水平”屬性，取值為低、中、高；再如：根據(jù)寬、高屬性，可以構(gòu)造一個新屬性：面積。構(gòu)造合適的屬性能夠幫助減少學(xué)習(xí)構(gòu)造決策樹時所出現(xiàn)的碎塊情況。此外通過屬性結(jié)合可以幫助發(fā)現(xiàn)所遺漏的屬性間相互聯(lián)系，而這常常對于數(shù)據(jù)挖掘過程是十分重要的。6.5數(shù)據(jù)歸約

對大規(guī)模數(shù)據(jù)庫內(nèi)容進(jìn)行復(fù)雜的數(shù)據(jù)分析通常需要耗費大量的時間，這就常常使得這樣的分析變得不現(xiàn)實和不可行，尤其是需要交互式數(shù)據(jù)挖掘時。數(shù)據(jù)歸約技術(shù)正是用于幫助從原有龐大數(shù)據(jù)集中獲得一個精簡的數(shù)據(jù)集合，并使這一精簡數(shù)據(jù)集保持原有數(shù)據(jù)集的完整性，這樣在精簡數(shù)據(jù)集上進(jìn)行數(shù)據(jù)挖掘顯然效率更高，并且挖掘出來的結(jié)果與使用原有數(shù)據(jù)集所獲得結(jié)果基本相同。數(shù)據(jù)歸約的主要策略有數(shù)據(jù)立方合計、維歸約、數(shù)據(jù)壓縮、數(shù)值歸約、離散化和概念分層產(chǎn)生等。

數(shù)據(jù)立方體是數(shù)據(jù)的多維建模和表示。數(shù)據(jù)立方體的維數(shù)可以是任意的n維。在最低層次所建立的數(shù)據(jù)立方稱為基立方，而最高抽象層次的數(shù)據(jù)立方稱為頂立方。6.5數(shù)據(jù)歸約

6.5.1數(shù)據(jù)立方合計

頂立方代表整個公司三年、所有分支、所有類型商品的銷售總額。顯然每一層次的數(shù)據(jù)立方都是對其低一層數(shù)據(jù)的進(jìn)一步抽象。

6.5數(shù)據(jù)歸約

6.5.1數(shù)據(jù)立方合計

維歸約主要用于檢測和消除無關(guān)、弱相關(guān)、或冗余的屬性或維。由于數(shù)據(jù)集或許包含成百上千的屬性，這些屬性中的許多屬性是與挖掘任務(wù)無關(guān)的或冗余的。例如：挖掘顧客是否會在商場購買CD播放機(jī)的分類規(guī)則時，顧客的電話號碼很可能與挖掘任務(wù)無關(guān)。但如果利用人類專家來幫助挑選有用的屬性，則是一件困難和費時費力的工作，特別是當(dāng)數(shù)據(jù)內(nèi)涵并十分清楚的時候。6.5數(shù)據(jù)歸約

6.5.2維歸約

維歸約就是通過消除多余和無關(guān)的屬性而有效消減數(shù)據(jù)集的規(guī)模。通常采用屬性子集的選擇方法。屬性子集選擇方法的目標(biāo)就是尋找出最小的屬性子集并確保新數(shù)據(jù)子集的概率分布盡可能接近原來數(shù)據(jù)集的概率分布。利用篩選后的屬性集進(jìn)行數(shù)據(jù)挖掘所獲結(jié)果，由于使用了較少的屬性，從而使得用戶更加容易理解挖掘結(jié)果。

6.5數(shù)據(jù)歸約

6.5.2維歸約

包含d個屬性的集合共有2d個不同子集，從初始屬性集中發(fā)現(xiàn)較好的屬性子集的過程就是一個最優(yōu)窮盡搜索的過程，顯然隨著d不斷增加，搜索的可能將會增加到難以實現(xiàn)的地步。因此一般利用啟發(fā)知識來幫助有效縮小搜索空間。這類啟發(fā)式搜索通常都是基于可能獲得全局最優(yōu)的局部最優(yōu)來指導(dǎo)并幫助獲得相應(yīng)的屬性子集。構(gòu)造屬性子集的基本啟發(fā)式方法有以下幾種：逐步向前選擇、逐步向后刪除、向前選擇和向后刪除結(jié)合、決策樹歸納。6.5數(shù)據(jù)歸約

6.5.2維歸約

（1）逐步向前選擇。從一個空屬性集（作為屬性子集初始值）開始，每次從原來屬性集合中選擇一個當(dāng)前最優(yōu)的屬性添加到當(dāng)前屬性子集中。直到無法選擇出最優(yōu)屬性或滿足一定閾值約束為止。（2）逐步向后刪除。從一個全屬性集（作為屬性子集初始值）開始，每次從當(dāng)前屬性子集中選擇一個當(dāng)前最差的屬性并將其從當(dāng)前屬性子集中消去。直到無法選擇出最差屬性為止或滿足一定閾值約束為止。6.5數(shù)據(jù)歸約

6.5.2維歸約

（3）向前選擇和向后刪除相結(jié)合。將逐步向前選擇方法與逐步向后刪除結(jié)合在一起，每次從當(dāng)前屬性子集中選擇一個當(dāng)前最差的屬性并將其從當(dāng)前屬性子集中消去，以及從原來屬性集合中選擇一個當(dāng)前最優(yōu)的屬性添加到當(dāng)前屬性子集中。直到無法選擇出最優(yōu)屬性且無法選擇出最差屬性為止，或滿足一定閾值約束為止。6.5數(shù)據(jù)歸約

6.5.2維歸約

（4）決策樹歸納方法。通常用于分類的決策樹算法也可以用于構(gòu)造屬性子集。具體方法就是：利用決策樹的歸納方法對初始數(shù)據(jù)進(jìn)行分類歸納學(xué)習(xí)，獲得一個初始決策樹，所有沒有出現(xiàn)這個決策樹上的屬性均認(rèn)為是無關(guān)屬性，因此將這些屬性從初始屬性集合刪除掉，就可以獲得一個較優(yōu)的屬性子集。6.5數(shù)據(jù)歸約

6.5.2維歸約6.5數(shù)據(jù)歸約

6.5.2維歸約

數(shù)據(jù)壓縮就是利用數(shù)據(jù)編碼或數(shù)據(jù)轉(zhuǎn)換將原來的數(shù)據(jù)集合壓縮為一個較小規(guī)模的數(shù)據(jù)集合。若僅根據(jù)壓縮后的數(shù)據(jù)集就可以恢復(fù)原來的數(shù)據(jù)集，那么就認(rèn)為這一壓縮是無損的，如基于熵的編碼方法；否則就稱為有損的。在數(shù)據(jù)挖掘領(lǐng)域通常使用的三種數(shù)據(jù)壓縮方法均是有損的，分別是小波轉(zhuǎn)換、分形技術(shù)和主成分分析。6.5數(shù)據(jù)歸約

6.5.3數(shù)據(jù)壓縮

主成分分析法具有變差最優(yōu)性、信息損失最小性、相關(guān)最優(yōu)性和回歸最優(yōu)性，是數(shù)據(jù)壓縮和多元降維的重要工具。利用主成分分析法可以把多個相關(guān)的變量（指標(biāo)）變換成少數(shù)幾個互相無關(guān)的綜合變量（主成分），這些綜合變量中包含了原來所有變量的大部分信息，且每個綜合變量只反映了經(jīng)濟(jì)系統(tǒng)一個獨立方向上的信息。6.5數(shù)據(jù)歸約

6.5.3數(shù)據(jù)壓縮

數(shù)值或數(shù)據(jù)塊歸約是指通過選擇替代的、較小的數(shù)據(jù)表示形式減少數(shù)量，主要包含參數(shù)與非參數(shù)兩種基本方法。所謂參數(shù)方法就是利用一個模型來幫助通過計算獲得原來的數(shù)據(jù)，因此只需要存儲模型的參數(shù)即可（當(dāng)然異常數(shù)據(jù)也需要存儲）。例如：線性和非線性回歸模型就可以根據(jù)一組變量預(yù)測計算另一個變量。而非參數(shù)方法則是存儲利用直方圖、聚類或取樣而獲得的消減后數(shù)據(jù)集。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約（1）直方圖直方圖使用分箱近似數(shù)據(jù)分布，是一種流行的數(shù)據(jù)歸約形式。屬性A的直方圖將A的數(shù)據(jù)分布劃分為不相交的子集(buckets)，或桶。桶安放在水平軸上，而桶的高度（和面積）是該桶所代表的值的平均頻率。如果每個桶只代表單個屬性值/頻率對，則該桶稱為單桶。通常，桶表示給定屬性的一個連續(xù)區(qū)間。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約例4下面的數(shù)據(jù)是AllElectronics通常銷售的商品的單價表（按$取整）。已對數(shù)據(jù)進(jìn)行了排序：1（2）、5（5）、8（2）、10（4）、12、14（3）、15（5）、18（8）、20（7）、21（4）、25（5）、28、30（3）6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約等寬：在等寬的直方圖中，每個桶的寬度區(qū)間是一個常數(shù)。等深（或等高）：每個桶的頻率粗略地為常數(shù)。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約課堂練習(xí)：

假定用于分析的數(shù)據(jù)包含屬性age。數(shù)據(jù)元組中age的值如下（按遞增序）：13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,33,35,35,35,35,36,40,45,46,52,70。畫一個長度為10（按照年齡原本定義，最小值從0開始，一直到數(shù)據(jù)最大值70）的等寬直方圖。

6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約（2）聚類聚類技術(shù)將數(shù)據(jù)行視為對象。對于聚類分析所獲得的組或類則有性質(zhì)：同一組或類中的對象彼此相似而不同組或類中的對象彼此不相似。在數(shù)據(jù)歸約中，數(shù)據(jù)的聚類表示用于替換原來的數(shù)據(jù)。當(dāng)然這一技術(shù)的有效性依賴于實際數(shù)據(jù)內(nèi)在規(guī)律。在處理帶有較強(qiáng)噪聲數(shù)據(jù)采用數(shù)據(jù)聚類方法常常是非常有效的。

6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約（3）數(shù)據(jù)抽樣數(shù)據(jù)抽樣用數(shù)據(jù)的較小的樣本表示大的數(shù)據(jù)集。它主要利用統(tǒng)計學(xué)中的抽樣方法，如不放回簡單隨機(jī)抽樣、放回簡單隨機(jī)抽樣、聚類抽樣、分層抽樣等。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約①不放回簡單隨機(jī)抽樣：由D的N個元組中不回放抽取n個樣本（n<N）；其中，D中任何元組被抽取的概率均為1/N。即，所有元組是等可能的。

②放回簡單隨機(jī)抽樣：該方法類似于不放回簡單隨機(jī)抽樣，不同在于當(dāng)一個元組被抽取后，記錄它，然后放回去。這樣，一個元組被抽取后，它又被放回D，以便它可以再次被抽取。

6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約③聚類選樣：如果D中的元組被分組放入M個互不相交的“聚類”，則可以得到聚類的m個簡單隨機(jī)選樣；這里，m<M。例如，數(shù)據(jù)庫中元組通常一次取一頁，這樣每頁就可以視為一個聚類。

6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約④分層選樣：如果D被劃分成互不相交的部分，稱作“層”，則通過對每一層的簡單隨機(jī)選樣就可以得到D的分層選樣。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約（4）離散化和概念分層產(chǎn)生離散化技術(shù)方法可以通過將屬性（連續(xù)取值）域值范圍分為若干區(qū)間，來幫助消減一個連續(xù)（取值）屬性的取值個數(shù)?？梢杂靡粋€標(biāo)簽來表示一個區(qū)間內(nèi)的實際數(shù)據(jù)值，這樣就形成了數(shù)據(jù)集的概念分層。如對數(shù)據(jù)集D遞歸的使用等寬分箱技術(shù)，形成概念分層。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約1）數(shù)值數(shù)據(jù)的離散化與概念分層數(shù)值數(shù)據(jù)的概念分層可以通過數(shù)據(jù)分析自動產(chǎn)生，這些方法包括前面介紹過的分箱、直方圖、聚類等。它們能夠無干預(yù)的完成對屬性的概念分層，但是這些方法劃分出來的層并不考慮邊界值是否直觀或自然。通常，用戶更希望分層具有自然的，易于記憶的、符合人類思維習(xí)慣的邊界。例如人們希望看到[20-30]、[30-40]，而不愿意看到[23.333-36.97]之類的分層。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約

介紹一種通過自然劃分分段的方法進(jìn)行概念分層的過程。該方法應(yīng)用3-4-5規(guī)則，遞歸地將給定數(shù)據(jù)區(qū)域劃分為3、4、或5個等寬的區(qū)間，具體描述如下：

(1)如果待劃分的區(qū)間在最高有效位上包含3、6、7或9個不同的值，則將該區(qū)間劃分成3個區(qū)間。其中，如果是3、6或9，則劃分成等寬的3個區(qū)間，如果是7，則按2-3-2劃分成3個區(qū)間。

(2)如果待劃分區(qū)間最高有效位上包含2、4或8個不同的值，則把它劃分成4個等寬的區(qū)間。

(3)如果待劃分區(qū)間最高有效位上包含1、5或10個不同的值，則把它劃分成5個等寬的區(qū)間。在每個區(qū)間上遞歸的應(yīng)用3—4—5規(guī)則，生成數(shù)據(jù)的概念分層，直到滿足預(yù)先設(shè)定的終止條件。

6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約

如果數(shù)據(jù)集D的分布曲線呈現(xiàn)下圖所示的情況，區(qū)間兩端的值所占的比例非常少，可以根據(jù)情況設(shè)值一個置信區(qū)間(如5％-95％)，以這兩個點上的值作為初始劃分的區(qū)間，如[-9，28]，同樣在10(千元)上取整，得到區(qū)間[-10，30]，采用3-4-5規(guī)則。6.5數(shù)據(jù)歸約