數(shù)據(jù)預(yù)處理課件

數(shù)據(jù)預(yù)處理為什么要預(yù)處理數(shù)據(jù)？現(xiàn)實世界的數(shù)據(jù)是“骯臟的”——數(shù)據(jù)多了，什么問題都會出現(xiàn)不完整的：有些感興趣的屬性缺少屬性值，或僅包含聚集數(shù)據(jù)含噪聲的：包含錯誤或者“孤立點”不一致的：在編碼或者命名上存在差異沒有高質(zhì)量的數(shù)據(jù)，就沒有高質(zhì)量的挖掘結(jié)果高質(zhì)量的決策必須依賴高質(zhì)量的數(shù)據(jù)數(shù)據(jù)倉庫需要對高質(zhì)量的數(shù)據(jù)進行一致地集成2數(shù)據(jù)質(zhì)量的多維度量一個廣為認可的多維度量觀點：精確度完整度一致性合乎時機可信度附加價值可訪問性跟數(shù)據(jù)本身的含義相關(guān)的內(nèi)在的、上下文的、表象的3數(shù)據(jù)預(yù)處理的主要任務(wù)數(shù)據(jù)清理填寫空缺的值，平滑噪聲數(shù)據(jù)，識別、刪除孤立點，解決不一致性數(shù)據(jù)集成集成多個數(shù)據(jù)庫、數(shù)據(jù)立方體或文件數(shù)據(jù)變換規(guī)范化和聚集數(shù)據(jù)歸約得到數(shù)據(jù)集的壓縮表示，它小得多，但可以得到相同或相近的結(jié)果數(shù)據(jù)離散化數(shù)據(jù)歸約的一部分，通過概念分層和數(shù)據(jù)的離散化來規(guī)約數(shù)據(jù)，對數(shù)字型數(shù)據(jù)特別重要45數(shù)據(jù)清理6空缺值數(shù)據(jù)并不總是完整的例如：數(shù)據(jù)庫表中，很多條記錄的對應(yīng)字段沒有相應(yīng)值，比如銷售表中的顧客收入引起空缺值的原因設(shè)備異常與其他已有數(shù)據(jù)不一致而被刪除因為誤解而沒有被輸入的數(shù)據(jù)在輸入時，有些數(shù)據(jù)應(yīng)為得不到重視而沒有被輸入對數(shù)據(jù)的改變沒有進行日志記載空缺值要經(jīng)過推斷而補上7如何處理空缺值忽略元組：當類標號缺少時通常這么做（假定挖掘任務(wù)涉及分類或描述），當每個屬性缺少值的百分比變化很大時，它的效果非常差。人工填寫空缺值：工作量大，可行性低使用一個全局變量填充空缺值：比如使用unknown或-∞使用屬性的平均值填充空缺值使用與給定元組屬同一類的所有樣本的平均值使用最可能的值填充空缺值：使用像Bayesian公式或判定樹這樣的基于推斷的方法8噪聲數(shù)據(jù)噪聲：一個測量變量中的隨機錯誤或偏差引起噪聲數(shù)據(jù)的原因數(shù)據(jù)收集工具的問題數(shù)據(jù)輸入錯誤數(shù)據(jù)傳輸錯誤技術(shù)限制命名規(guī)則的不一致9如何處理噪聲數(shù)據(jù)分箱(binning):首先排序數(shù)據(jù)，并將他們分到等深的箱中然后可以按箱的平均值平滑、按箱中值平滑、按箱的邊界平滑等等聚類：監(jiān)測并且去除孤立點計算機和人工檢查結(jié)合計算機檢測可疑數(shù)據(jù)，然后對它們進行人工判斷回歸通過讓數(shù)據(jù)適應(yīng)回歸函數(shù)來平滑數(shù)據(jù)10數(shù)據(jù)平滑的分箱方法price的排序后數(shù)據(jù)（單位：美元）：4，8，15，21，21，24，25，28，34劃分為（等深的）箱：箱1：4，8，15箱2：21，21，24箱3：25，28，34用箱平均值平滑：箱1：9，9，9箱2：22，22，22箱3：29，29，29用箱邊界平滑：箱1：4，4，15箱2：21，21，24箱3：25，25，3411聚類通過聚類分析查找孤立點，消除噪聲12回歸xyy=x+1X1Y1Y1’13數(shù)據(jù)集成數(shù)據(jù)集成：將多個數(shù)據(jù)源中的數(shù)據(jù)整合到一個一致的存儲中模式集成：整合不同數(shù)據(jù)源中的元數(shù)據(jù)實體識別問題：匹配來自不同數(shù)據(jù)源的現(xiàn)實世界的實體，比如：A.cust-id=B.customer_no檢測并解決數(shù)據(jù)值的沖突對現(xiàn)實世界中的同一實體，來自不同數(shù)據(jù)源的屬性值可能是不同的可能的原因：不同的數(shù)據(jù)表示，不同的度量等等14處理數(shù)據(jù)集成中的冗余數(shù)據(jù)集成多個數(shù)據(jù)庫時，經(jīng)常會出現(xiàn)冗余數(shù)據(jù)同一屬性在不同的數(shù)據(jù)庫中會有不同的字段名一個屬性可以由另外一個表導(dǎo)出，如“年薪”有些冗余可以被相關(guān)分析檢測到仔細將多個數(shù)據(jù)源中的數(shù)據(jù)集成起來，能夠減少或避免結(jié)果數(shù)據(jù)中的冗余與不一致性，從而可以提高挖掘的速度和質(zhì)量。15數(shù)據(jù)變換 平滑：去除數(shù)據(jù)中的噪聲（分箱、聚類、回歸）聚集：匯總，數(shù)據(jù)立方體的構(gòu)建數(shù)據(jù)概化：沿概念分層向上概化規(guī)范化：將數(shù)據(jù)按比例縮放，使之落入一個小的特定區(qū)間最?。畲笠?guī)范化z-score規(guī)范化小數(shù)定標規(guī)范化屬性構(gòu)造通過現(xiàn)有屬性構(gòu)造新的屬性，并添加到屬性集中；以增加對高維數(shù)據(jù)的結(jié)構(gòu)的理解和精確度16數(shù)據(jù)變換——規(guī)范化最?。畲笠?guī)范化z-score規(guī)范化小數(shù)定標規(guī)范化其中，j是使Max(||)<1的最小整數(shù)17數(shù)據(jù)歸約策略數(shù)據(jù)倉庫中往往存有海量數(shù)據(jù)，在其上進行復(fù)雜的數(shù)據(jù)分析與挖掘需要很長的時間數(shù)據(jù)歸約數(shù)據(jù)歸約可以用來得到數(shù)據(jù)集的歸約表示，它小得多，但可以產(chǎn)生相同的（或幾乎相同的）分析結(jié)果數(shù)據(jù)歸約策略數(shù)據(jù)立方體聚集維歸約數(shù)據(jù)壓縮數(shù)值歸約離散化和概念分層產(chǎn)生用于數(shù)據(jù)歸約的時間不應(yīng)當超過或“抵消”在歸約后的數(shù)據(jù)上挖掘節(jié)省的時間。18數(shù)據(jù)立方體聚集最底層的方體對應(yīng)于基本方體基本方體對應(yīng)于感興趣的實體在數(shù)據(jù)立方體中存在著不同級別的匯總數(shù)據(jù)立方體可以看成方體的格每個較高層次的抽象將進一步減少結(jié)果數(shù)據(jù)數(shù)據(jù)立方體提供了對預(yù)計算的匯總數(shù)據(jù)的快速訪問使用與給定任務(wù)相關(guān)的最小方體在可能的情況下，對于匯總數(shù)據(jù)的查詢應(yīng)當使用數(shù)據(jù)立方體19維歸約通過刪除不相干的屬性或維減少數(shù)據(jù)量屬性子集選擇找出最小屬性集，使得數(shù)據(jù)類的概率分布盡可能的接近使用所有屬性的原分布減少出現(xiàn)在發(fā)現(xiàn)模式上的屬性的數(shù)目，使得模式更易于理解啟發(fā)式的（探索性的）方法逐步向前選擇逐步向后刪除向前選擇和向后刪除相結(jié)合判定歸納樹202122數(shù)據(jù)壓縮有損壓縮VS.無損壓縮字符串壓縮有廣泛的理論基礎(chǔ)和精妙的算法通常是無損壓縮在解壓縮前對字符串的操作非常有限音頻/視頻壓縮通常是有損壓縮，壓縮精度可以遞進選擇有時可以在不解壓整體數(shù)據(jù)的情況下，重構(gòu)某個片斷兩種有損數(shù)據(jù)壓縮的方法：小波變換和主要成分分析23數(shù)值歸約通過選擇替代的、較小的數(shù)據(jù)表示形式來減少數(shù)據(jù)量有參方法：使用一個參數(shù)模型估計數(shù)據(jù)，最后只要存儲參數(shù)即可。線性回歸方法：Y=α+βX多元回歸：線性回歸的擴充對數(shù)線性模型：近似離散的多維數(shù)據(jù)概率分布無參方法：直方圖聚類選樣24直方圖一種流行的數(shù)據(jù)歸約技術(shù)將某屬性的數(shù)據(jù)劃分為不相交的子集，或桶，桶中放置該值的出現(xiàn)頻率桶和屬性值的劃分規(guī)則等寬等深V-最優(yōu)MaxDiff25聚類將數(shù)據(jù)集劃分為聚類，然后通過聚類來表示數(shù)據(jù)集如果數(shù)據(jù)可以組成各種不同的聚類，則該技術(shù)非常有效，反之如果數(shù)據(jù)界線模糊，則方法無效數(shù)據(jù)可以分層聚類，并被存儲在多層索引樹中聚類的定義和算法都有很多選擇26選樣允許用數(shù)據(jù)的較小隨機樣本（子集）表示大的數(shù)據(jù)集對數(shù)據(jù)集D的樣本選擇：簡單隨機選擇n個樣本，不回放：由D的N個元組中抽取n個樣本簡單隨機選擇n個樣本，回放：過程同上，只是元組被抽取后，將被回放，可能再次被抽取聚類選樣：D中元組被分入M個互不相交的聚類中，可在其中的m個聚類上進行簡單隨機選擇（m<M）分層選樣：D被劃分為互不相交的“層”，則可通過對每一層的簡單隨機選樣得到D的分層選樣27選樣——SRSSRSWOR(簡單隨機選樣，不回放)SRSWR(簡單隨機選樣，回放)原始數(shù)據(jù)28選樣——聚類/分層選樣原始數(shù)據(jù)聚類/分層選樣29離散化三種類型的屬性值：名稱型——e.g.無序集合中的值序數(shù)——e.g.有序集合中的值連續(xù)值——e.g.實數(shù)離散化將連續(xù)屬性的范圍劃分為區(qū)間有效的規(guī)約數(shù)據(jù)基于判定樹的分類挖掘離散化的數(shù)值用于進一步分析30離散化和概念分層離散化通過將屬性域劃分為區(qū)間，減少給定連續(xù)屬性值的個數(shù)。區(qū)間的標號可以代替實際的數(shù)據(jù)值。概念分層通過使用高層的概念（比如：青年、中年、老年）來替代底層的屬性值（比如：實際的年齡數(shù)據(jù)值）來規(guī)約數(shù)據(jù)31數(shù)據(jù)數(shù)值的離散化和概念分層生成分箱（binning）分箱技術(shù)遞歸的用于結(jié)果劃分，可以產(chǎn)生概念分層。直方圖分析（histogram）直方圖分析方法遞歸的應(yīng)用于每一部分，可以自動產(chǎn)生多級概念分層。聚類分析將數(shù)據(jù)劃分成簇，每個簇形成同一個概念層上的一個節(jié)點，每個簇可再分成多個子簇，形成子節(jié)點?；陟氐碾x散化通過自然劃分分段32通過自然劃分分段將數(shù)值區(qū)域劃分為相對一致的、易于閱讀的、看上去更直觀或自然的區(qū)間。聚類分析產(chǎn)生概念分層可能會將一個工資區(qū)間劃分為：[51263.98,60872.34]通常數(shù)據(jù)分析人員希望看到劃分的形式為[50000，60000]自然劃分的3-4-5規(guī)則常被用來將數(shù)值數(shù)據(jù)劃分為相對一致，“更自然”的區(qū)間33自然劃分的3-4-5規(guī)則規(guī)則的劃分步驟：如果一個區(qū)間最高有效位上包含3，6，7或9個不同的值，就將該區(qū)間劃分為3個等寬子區(qū)間；(72,3,2)如果一個區(qū)間最高有效位上包含2，4，或8個不同的值，就將該區(qū)間劃分為4個等寬子區(qū)間；如果一個區(qū)間最高有效位上包含1，5，或10個不同的值，就將該區(qū)間劃分為5個等寬子區(qū)間；將該規(guī)則遞歸的應(yīng)用于每個子區(qū)間，產(chǎn)生給定數(shù)值屬性的概念分層；對于數(shù)據(jù)集中出現(xiàn)的最大值和最小值的極端分布，為了避免上述方法出現(xiàn)的結(jié)果扭曲，可以在頂層分段時，選用一個大部分的概率空間。e.g.5%-95%343-4-5規(guī)則——例子(-$400-$5,000)(-$400-0)(-$400--$300)(-$300--$200)(-$200--$100)(-$100-0)(0-$1,000)(0-$200)($200-$400)($400-$600)($600-$800)($800-$1,000)($2,000-$5,000)($2,000-$3,000)($3,000-$4,000)($4,000-$5,000)($1,000-$2,000)($1,000-$1,200)($1,200-$1,400)($1,400-$1,600)($1,600-$1,800)($1,800-$2,000)msd=1,000 Low=-$1,000 High=$2,000第二步第四步第一步-$351 -$159 profit $1,838 $4,700 MinLow(i.e,5%-tile) High(i.e,95%-0tile)Maxcount(-$1,000-$2,000)(-$1,000-0)(0-$1,000)第三步($1,000-$2,000)35分類數(shù)據(jù)的概念分層生成分類數(shù)據(jù)是指無序的離散數(shù)據(jù)，它有有限個值（可能很多個）。分類數(shù)據(jù)的概念分層生成方法：由用戶或?qū)＜以谀Ｊ郊夛@式的說明屬性的部分序。通過顯示數(shù)據(jù)分組說明分層結(jié)構(gòu)的一部分。說明屬性集，但不說明它們的偏序，然后系統(tǒng)根據(jù)算法自動產(chǎn)生屬性的序，構(gòu)造有意義的概念分層。對只說明部分屬性集的情況，則可根據(jù)數(shù)據(jù)庫模式中的數(shù)據(jù)語義定義對屬性的捆綁信息，來恢復(fù)