1.1 數(shù)據(jù)預處理簡介

1.1數(shù)據(jù)預處理簡介學習目標2.了解數(shù)據(jù)預處理的重要性1.了解什么是數(shù)據(jù)3.掌握數(shù)據(jù)預處理的流程1.1.1數(shù)據(jù)與數(shù)據(jù)預處理

什么是數(shù)據(jù)？聲音圖片文字

在計算機科學中，數(shù)據(jù)是指所有能輸入到計算機并被計算機程序處理的符號的介質(zhì)的總稱。1.1.1數(shù)據(jù)與數(shù)據(jù)預處理

什么是大數(shù)據(jù)？（4V）互聯(lián)網(wǎng)每分鐘產(chǎn)生的數(shù)據(jù)1）Volume：表示大數(shù)據(jù)的數(shù)據(jù)體量巨大。2）Velocity：表示大數(shù)據(jù)的數(shù)據(jù)產(chǎn)生、處理和分析的速度在持續(xù)加快。3）Variety：表示大數(shù)據(jù)的數(shù)據(jù)類型繁多。4）Value：表示大數(shù)據(jù)的數(shù)據(jù)價值密度低。1.1.1數(shù)據(jù)與數(shù)據(jù)預處理

為什么需要數(shù)據(jù)預處理？

原始數(shù)據(jù)往往存在規(guī)格或精度不一、數(shù)據(jù)缺失、屬性名稱或編碼方式不統(tǒng)一、由于受到噪聲影響而造成的數(shù)據(jù)錯誤或異常值等問題，因此原始數(shù)據(jù)往往是通常所說的“臟”數(shù)據(jù)。

數(shù)據(jù)預處理的目的就是把這些“臟”數(shù)據(jù)變成“干凈”的數(shù)據(jù)。簡單地說，數(shù)據(jù)預處理就是將原始數(shù)據(jù)變成便于進行數(shù)據(jù)分析或挖掘的形式的過程。數(shù)據(jù)預處理是進行數(shù)據(jù)分析或挖掘前一個非常必要的過程。1.1.2數(shù)據(jù)預處理的重要性在一個完整的數(shù)據(jù)分析或挖掘過程中，數(shù)據(jù)預處理往往要花費60%左右的時間，而數(shù)據(jù)質(zhì)量的好壞往往關(guān)系后續(xù)數(shù)據(jù)分析或挖掘工作的成敗。數(shù)據(jù)質(zhì)量是在指定條件下使用時，數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。1.1.2數(shù)據(jù)預處理的重要性名稱描述規(guī)范性數(shù)據(jù)符合數(shù)據(jù)標準、數(shù)據(jù)模型、業(yè)務規(guī)則、元數(shù)據(jù)或權(quán)威參考數(shù)據(jù)的程度。完整性按照數(shù)據(jù)規(guī)則要求，數(shù)據(jù)元素被賦予數(shù)值的程度。包括數(shù)據(jù)元素的完整性和數(shù)據(jù)記錄的完整性。是衡量所必須的數(shù)據(jù)的完整程度，如不能缺失的空值檢查。準確性數(shù)據(jù)準確表示其所描述的真是實體（實際對象）真實值的程度。確保數(shù)據(jù)必須反映真實的業(yè)務內(nèi)容。包括數(shù)據(jù)內(nèi)容正確性、數(shù)據(jù)格式合規(guī)性、數(shù)據(jù)重復率、數(shù)據(jù)唯一性和無效數(shù)據(jù)出現(xiàn)率等。一致性數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無矛盾的程度。要求數(shù)據(jù)元素的類型和含義必須一致和清晰。包括相同數(shù)據(jù)的一致性和關(guān)聯(lián)數(shù)據(jù)的一致性。時效性數(shù)據(jù)在時間變化中的正確程度。包括基于時間段的正確性、基于時間點的及時性和時序性?？稍L問性數(shù)據(jù)能被訪問的程度。包括數(shù)據(jù)在需要時的可獲取性和在有效生存周期內(nèi)的可使用性。

數(shù)據(jù)預處理的過程1.1.3數(shù)據(jù)預處理的過程數(shù)據(jù)獲取就是將爬蟲，儀器設備等采集的不同數(shù)據(jù)源，可能是txt、excel、csv這種文件，也可能是存儲在數(shù)據(jù)庫中的數(shù)據(jù)庫文件，通過讀取這些文件加載到內(nèi)存中，以Python特定的對象來保存，以便于進行后續(xù)的數(shù)據(jù)預處理操作。數(shù)據(jù)合并主要是將存儲在多張表中的數(shù)據(jù)合并為一張表，便于進行數(shù)據(jù)分析。通過數(shù)據(jù)合并，可以將關(guān)聯(lián)的數(shù)據(jù)信息存入一張表中。。數(shù)據(jù)清洗的主要目的是增加數(shù)據(jù)量，具體操作可能包括拼接多個數(shù)據(jù)文件等。數(shù)據(jù)變換主要是將數(shù)據(jù)變換