計(jì)算機(jī)技術(shù)與計(jì)算思維 課件 10.數(shù)據(jù)處理與圖表展示1

信息技術(shù)實(shí)踐《信息技術(shù)實(shí)踐》課程組數(shù)據(jù)處理與圖表展示課程目標(biāo)1.了解數(shù)據(jù)處理的一般步驟和過程2.掌握數(shù)據(jù)處理的常用方法3.掌握tableau數(shù)據(jù)分析軟件的基本操作內(nèi)容第一節(jié)數(shù)據(jù)清洗第二節(jié)數(shù)據(jù)加工第三節(jié)數(shù)據(jù)抽樣第七章數(shù)據(jù)處理與圖表展示4第四節(jié)tableau與圖表展示數(shù)據(jù)預(yù)處理在對(duì)數(shù)據(jù)進(jìn)行正式處理（計(jì)算）之前，根據(jù)后續(xù)數(shù)據(jù)處理（計(jì)算）的要求，對(duì)原始數(shù)據(jù)集進(jìn)行審計(jì)、清洗、變換、集成、脫敏、歸約和標(biāo)注等一系列處理活動(dòng)。數(shù)據(jù)預(yù)處理的目的是提升數(shù)據(jù)質(zhì)量，并將數(shù)據(jù)形態(tài)更加符合某一算法需求，進(jìn)而達(dá)到提升數(shù)據(jù)計(jì)算的效果和降低其復(fù)雜度的目的。對(duì)于數(shù)據(jù)挖掘和分析人員來說，數(shù)據(jù)預(yù)處理工作常常占據(jù)了整個(gè)數(shù)據(jù)分析項(xiàng)目70%左右的工作量。7.1數(shù)據(jù)清洗數(shù)據(jù)清洗就是將多余重復(fù)的數(shù)據(jù)篩選清除掉，將缺失的數(shù)據(jù)補(bǔ)充完整，將錯(cuò)誤的數(shù)據(jù)糾正或刪除。清洗數(shù)據(jù)包括三部分：清除掉不必要的重復(fù)數(shù)據(jù)、填充缺失的數(shù)據(jù)、檢測(cè)邏輯錯(cuò)誤的數(shù)據(jù)，數(shù)據(jù)清洗的目的是為后面的數(shù)據(jù)加工提供完整、簡(jiǎn)潔、正確的數(shù)據(jù)。67.1.1重復(fù)數(shù)據(jù)的處理1.數(shù)據(jù)工具法2.高級(jí)篩選法3．函數(shù)法4．條件格式法課堂實(shí)踐參見課本第三章77.1.2錯(cuò)誤數(shù)據(jù)的處理事前處理——設(shè)計(jì)數(shù)據(jù)錄入規(guī)則1.數(shù)據(jù)有效性事后處理——數(shù)據(jù)檢查和更改2.條件格式3.函數(shù)法4.查找與替換7.1.3缺失數(shù)據(jù)處理數(shù)據(jù)缺失是指數(shù)據(jù)在收集過程中某個(gè)或某些屬性的值不完整。如果缺失值太多，說明數(shù)據(jù)收集過程中存在問題，可以接受的標(biāo)準(zhǔn)是缺失值在10%以下。缺失值產(chǎn)生的原因多種多樣，如市場(chǎng)調(diào)查中被調(diào)查人拒絕回答相關(guān)問題或回答問題無效，錄入人員失誤，機(jī)器故障等都可能造成數(shù)據(jù)缺失。9處理數(shù)據(jù)缺失方法一：用一個(gè)樣本統(tǒng)計(jì)量的值代替缺失值，最典型的做法是使用該變量的樣本平均值代替缺失值。方法二：用一個(gè)統(tǒng)計(jì)模型計(jì)算出來的值去代替缺失值。方法三：將有缺失值的記錄刪除，這樣將導(dǎo)致樣本量的減少。方法四：將有缺失的記錄保留，只在相應(yīng)的分析中做必要的排除。課堂實(shí)踐107.2數(shù)據(jù)加工一、數(shù)據(jù)抽取二、字段合并三、字段匹配四、數(shù)據(jù)計(jì)算五、數(shù)據(jù)分組六、數(shù)據(jù)轉(zhuǎn)換117.2.1數(shù)據(jù)抽取1、菜單法（數(shù)據(jù)-分列）2、函數(shù)法（LEFT\RIGHT）例：right（A2,6）

課堂實(shí)踐127.2.2字段合并字段合并是將多個(gè)字段的文字或數(shù)字合并成一個(gè)單元格，最常用的是CONCATENATE()函數(shù)。CONCATENATE(A1,B1)函數(shù)的作用是將A1單元格里的內(nèi)容與B1單元格里的內(nèi)容合并到一起，如有多列合并只需在后面添加相應(yīng)的單元格名稱即可。課堂實(shí)踐=CONCATENATE()137.2.3字段匹配VLOOKUP(lookup_value,table_array,col_index_num,range_lookup)，其中參數(shù)lookup_value是要在表格或區(qū)域的第一列中查找，table_array代表查找的范圍，也就是說在哪里查找，可以跨表，也可在同一個(gè)表中查找，col_index_num為返回第二個(gè)參數(shù)table_array表中的第col_index_num列的值，range_lookup代表模糊查找還是精確查找，range_lookup值為TRUE代表模糊匹配，為FALSE代表精確匹配。課堂實(shí)踐=VLOOKUP(A2,發(fā)貨表!A:B,2,FALSE)147.2.4數(shù)據(jù)計(jì)算簡(jiǎn)單計(jì)算【=B2+C2】函數(shù)計(jì)算（自動(dòng)求和、平均數(shù)）課堂實(shí)踐157.2.5數(shù)據(jù)分組所謂數(shù)據(jù)分組，就是根據(jù)數(shù)據(jù)的類別或數(shù)值的大小進(jìn)行分組。Excel實(shí)現(xiàn)數(shù)據(jù)分組主要用If()函數(shù)或VLOOKUP()函數(shù)來實(shí)現(xiàn)。課堂實(shí)踐=IF(D2>60,"老年",IF(D2>35,"中年","青年"))167.2.6數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換分為數(shù)據(jù)表的行列互換及數(shù)據(jù)類型的互換。對(duì)于數(shù)據(jù)表的行列互換，有時(shí)我們需要根據(jù)表格及需求把數(shù)據(jù)的行列進(jìn)行互換以達(dá)到更方便的分析目的，數(shù)據(jù)表的行列互換可以采用選擇性粘貼實(shí)現(xiàn)課堂實(shí)踐177.3數(shù)據(jù)抽樣數(shù)據(jù)抽樣就是從海量的數(shù)據(jù)中抽取樣本，數(shù)據(jù)抽樣是指從數(shù)據(jù)樣本中按照隨機(jī)原則選取一部分對(duì)象作為樣本進(jìn)行分析，以此推論總體狀況的一種分析方法，在數(shù)據(jù)抽樣中，常用的是RAND函數(shù)。課堂實(shí)踐18課堂練習(xí)題1、結(jié)合企業(yè)案例數(shù)據(jù)—發(fā)貨表，清除表中所有的重復(fù)數(shù)據(jù)。2、結(jié)合企業(yè)案例數(shù)據(jù)—員工信息離職員工表，抽取出離職員工的出生年月日，并計(jì)算離職年限。3、結(jié)