數(shù)據(jù)的清洗電子

數(shù)據(jù)的清洗目錄數(shù)據(jù)的質(zhì)量2數(shù)據(jù)清洗的作用數(shù)據(jù)清洗的方法一、數(shù)據(jù)的質(zhì)量數(shù)據(jù)清洗在匯聚多個(gè)維度、多個(gè)來(lái)源、多種結(jié)構(gòu)的數(shù)據(jù)之后，就可以對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和集成加載。在這個(gè)過(guò)程中，除了更正、修復(fù)系統(tǒng)中的一些錯(cuò)誤數(shù)據(jù)之外，更多的是對(duì)數(shù)據(jù)進(jìn)行歸并整理，并儲(chǔ)存到新的存儲(chǔ)介質(zhì)中。分清和掌握數(shù)據(jù)的質(zhì)量至關(guān)重要31.完整性指數(shù)據(jù)記錄和數(shù)據(jù)信息是否完整，是否存在缺失。2.完整性是對(duì)數(shù)據(jù)質(zhì)量最基本的要求。1.數(shù)據(jù)的一致性主要包括數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)邏輯的一致性。1.數(shù)據(jù)的準(zhǔn)確性關(guān)注的是記錄中存在的錯(cuò)誤，可能存在于個(gè)別記錄，也可能存在于整個(gè)數(shù)據(jù)集1.指數(shù)據(jù)刷新、修改和提取的及時(shí)性和快速性數(shù)據(jù)質(zhì)量的四大要素一、數(shù)據(jù)的質(zhì)量4二、數(shù)據(jù)清洗的作用數(shù)據(jù)清洗從名字上也看的出就是把“臟”的數(shù)據(jù)給“洗掉”，指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤，包括檢查數(shù)據(jù)一致性，處理無(wú)效值和缺失值等。數(shù)據(jù)清洗的作用就是將數(shù)據(jù)中的臟數(shù)據(jù)去掉，過(guò)濾掉不符合要求的數(shù)據(jù)，使之成為符合要求的數(shù)據(jù)源。數(shù)據(jù)清洗是影響數(shù)據(jù)分析準(zhǔn)確性的關(guān)鍵因素。5三、數(shù)據(jù)清洗的方法和過(guò)程1：手工實(shí)現(xiàn)，通過(guò)人工檢查2：通過(guò)專門(mén)編寫(xiě)的應(yīng)用程序3：針對(duì)特定應(yīng)用領(lǐng)域的數(shù)據(jù)清理4：針對(duì)與特定應(yīng)用領(lǐng)域無(wú)關(guān)的數(shù)據(jù)清理數(shù)據(jù)清洗的方法：數(shù)據(jù)清洗的過(guò)程：01數(shù)據(jù)分析，定義錯(cuò)誤類型02搜索、識(shí)別錯(cuò)誤記錄03修正錯(cuò)誤6數(shù)據(jù)清洗的實(shí)例游戲下載時(shí)長(zhǎng)數(shù)據(jù)如果直接計(jì)算其游戲平均下載時(shí)長(zhǎng)，得到的結(jié)果為23062.57秒，約6.4小時(shí)，與實(shí)際情況嚴(yán)重不符，說(shuō)明這一數(shù)據(jù)集受到顯著的噪聲數(shù)據(jù)的影響。數(shù)據(jù)集中區(qū)域?qū)?shù)據(jù)集做異常值識(shí)別及剔除，將數(shù)據(jù)集等分為240300個(gè)區(qū)間，找到數(shù)據(jù)集中域[0,3266.376],對(duì)此區(qū)間的數(shù)據(jù)做箱型圖分析，對(duì)新數(shù)據(jù)組剔除離群值，得到非離群數(shù)據(jù)組[Q_1-3IQR,Q_3+3IQR]，再取非異常數(shù)據(jù)組[Q_1-1.5IQR,Q_3+1.5IQR]最后計(jì)算目標(biāo)數(shù)據(jù)源的平均下載時(shí)長(zhǎng)為192.93秒，約3.22分，符合游戲運(yùn)營(yíng)實(shí)