電子商務(wù)數(shù)據(jù)分析 課件070.數(shù)據(jù)處理與加工清洗

數(shù)據(jù)處理與加工清洗數(shù)據(jù)處理數(shù)據(jù)處理是根據(jù)數(shù)據(jù)分析目的，將收集到的數(shù)據(jù)，用適當(dāng)?shù)奶幚矸椒ㄟM(jìn)行加工、整理，形成適合數(shù)據(jù)分析的要求樣式，它是數(shù)據(jù)分析前必不可少的工作，并且在整個(gè)數(shù)據(jù)分析工作量中占據(jù)了大部分比例。數(shù)據(jù)處理包括數(shù)據(jù)清洗、數(shù)據(jù)抽取、數(shù)據(jù)合并、數(shù)據(jù)計(jì)算、數(shù)據(jù)分組等加工操作。

數(shù)據(jù)清洗數(shù)據(jù)清洗是指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別錯(cuò)誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理重復(fù)值、無效值和缺失值、錯(cuò)誤值等。數(shù)據(jù)清洗還涉及數(shù)據(jù)脫敏處理,對(duì)涉及隱私及敏感信息的數(shù)據(jù)，要先行將隱私及敏感數(shù)據(jù)刪除或模糊轉(zhuǎn)化，再交付使用，如客戶隱私數(shù)據(jù)、生意參謀中將訂單數(shù)轉(zhuǎn)換為訂單交易指數(shù)等數(shù)據(jù)一致性處理通過統(tǒng)計(jì)調(diào)查收集上來的數(shù)據(jù)，經(jīng)常會(huì)出現(xiàn)同一字段的數(shù)據(jù)格式不一致的問題，這會(huì)直接影響后續(xù)的數(shù)據(jù)分析，所以必須對(duì)數(shù)據(jù)的格式做出一致性處理數(shù)據(jù)脫敏處理重復(fù)值查找排序、篩選條件格式比較函數(shù)等方式缺失值處理缺失值是指數(shù)據(jù)集中數(shù)據(jù)不完整或某些屬性缺失，缺失值最常見的表現(xiàn)形式就是空值或錯(cuò)誤標(biāo)識(shí)符（N/A）缺失值產(chǎn)生主要有機(jī)械原因和人為原因，機(jī)械原因是由于數(shù)據(jù)收集或保存失敗造成的數(shù)據(jù)缺失，人為原因是由于人的主觀失誤、歷史局限或有意隱瞞造成的數(shù)據(jù)缺失缺失值處理數(shù)據(jù)錯(cuò)誤數(shù)據(jù)錯(cuò)誤的兩種常見方式：被調(diào)查者輸入的選項(xiàng)不符合要求錄入錯(cuò)誤數(shù)據(jù)加工由于現(xiàn)有的數(shù)據(jù)字段不能滿足我們的數(shù)據(jù)分析要求，所以要對(duì)現(xiàn)有字段進(jìn)行抽取、計(jì)算或轉(zhuǎn)換，形成需要的一系列新數(shù)據(jù)字段數(shù)據(jù)加工類型：數(shù)據(jù)抽取、數(shù)據(jù)計(jì)算、數(shù)據(jù)分組、數(shù)據(jù)轉(zhuǎn)換等數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)抽取是指利用原數(shù)據(jù)清單中某些字段的部分信息得到一個(gè)新字段。常用的數(shù)據(jù)抽取函數(shù)有l(wèi)eft()、right()、mid()、year()、month()、day()、weekday()。數(shù)據(jù)抽取數(shù)據(jù)抽取-字段匹配字段匹配就是將原數(shù)據(jù)清單中沒有但其他數(shù)據(jù)清單中有的字段匹配過來。例如，全校名單工作表是某校2015級(jí)全體學(xué)生的基本信息，四級(jí)名單工作表是2015級(jí)學(xué)生中報(bào)考了英語四級(jí)的學(xué)生名單，先需要將身份證信息匹配到四級(jí)名單學(xué)生中全校名單工作表四級(jí)名單工作表數(shù)據(jù)抽取-字段匹配vlookup函數(shù)的參數(shù)設(shè)置

匹配結(jié)果應(yīng)用vlookup函數(shù)進(jìn)行數(shù)據(jù)匹配處理數(shù)據(jù)計(jì)算數(shù)