Python與機(jī)器學(xué)習(xí)（第2版）（微課版） 課件 01-04-缺失值處理任務(wù)實(shí)施

主講人：陳清華缺失值處理任務(wù)實(shí)施【數(shù)據(jù)挖掘應(yīng)用】課程用餐數(shù)據(jù)異常分析會(huì)依據(jù)數(shù)據(jù)對(duì)缺失值進(jìn)行檢測(cè)會(huì)使用Pandas包處理缺失值掌握缺失值處理函數(shù)的使用方法知識(shí)與能力目標(biāo)主要內(nèi)容任務(wù)工單任務(wù)說(shuō)明引導(dǎo)問(wèn)題任務(wù)評(píng)價(jià)任務(wù)解決方案用餐數(shù)據(jù)缺失值檢測(cè)與處理任務(wù)工單用餐數(shù)據(jù)集缺失值會(huì)對(duì)數(shù)據(jù)的準(zhǔn)確性和完整性造成影響，并且在進(jìn)行數(shù)據(jù)分析和建模時(shí)會(huì)導(dǎo)致模型精度降低或計(jì)算錯(cuò)誤。因此，處理缺失值對(duì)保證數(shù)據(jù)的質(zhì)量和可靠性非常重要。任務(wù)概述

任務(wù)描述：

基于給定的用餐數(shù)據(jù)集，檢測(cè)各列是否存在缺失值，并嘗試使用不同的方法對(duì)缺失值做處理?！?10010011001101010100100110110100101110101000100001011011101001010101101010011010010檢測(cè)缺失值缺失值處理結(jié)果

任務(wù)要求：任務(wù)概述（1）數(shù)據(jù)中存在缺失值會(huì)造成什么樣的影響？（2）Pandas工具包中，哪些函數(shù)可以用來(lái)檢測(cè)缺失值？（3）處理缺失值的方法有哪些？如何選擇合適的處理方法？（4）Pandas工具包中，哪些函數(shù)可以用來(lái)處理缺失值？”

問(wèn)題引導(dǎo)：任務(wù)概述

任務(wù)評(píng)價(jià)：任務(wù)概述評(píng)價(jià)內(nèi)容評(píng)價(jià)要點(diǎn)分值分?jǐn)?shù)評(píng)定自我評(píng)價(jià)1.任務(wù)實(shí)施缺失值檢測(cè)2分能正確檢測(cè)出數(shù)據(jù)中是否含有缺失值得2分

缺失值輸出2分能正確顯示含有缺失值的記錄得2分

缺失值處理5分會(huì)使用不同方式處理缺失值，會(huì)使用1種得1分，至多5分

2.任務(wù)總結(jié)依據(jù)任務(wù)實(shí)施情況總結(jié)結(jié)論1分總結(jié)內(nèi)容切中本任務(wù)的重點(diǎn)要點(diǎn)得1分

合計(jì)10分

任務(wù)解決方案

（1）檢測(cè)是否存在缺失值df.isna().any()如果運(yùn)行結(jié)果的某一列顯示為T(mén)rue，表示該列數(shù)據(jù)中存在缺失值。以下數(shù)據(jù)中tip列中就存在缺失值顯示結(jié)果任務(wù)解決方案df[df['tip'].isna()==True]

（2）輸出

tip列為空的具體記錄。顯示結(jié)果任務(wù)解決方案df.count()re1

=

df.dropna()

（3）處理缺失值：刪除df.count()第1行：顯示去除缺失值前的記錄數(shù)第3行：顯示去除后的記錄數(shù)，結(jié)果顯示記錄數(shù)為242條第2行：在數(shù)據(jù)集中去除含有缺失值的記錄數(shù)方法一任務(wù)解決方案re2=df.fillna(0)re2.iloc[2]

（3）處理缺失值：填0第1行：將缺失值置為0，保存為re2第2行：顯示該條記錄數(shù)方法二任務(wù)解決方案re3_1=df.fillna(method='bfill’)re3_2=df.fillna(method='ffill')

（3）處理缺失值：鄰近值填充第1行：用下一個(gè)非缺失值填充該缺失值第2行：用前一個(gè)非缺失值填充該缺失值方法三任務(wù)解決方案re4=df.fillna(df['tip2'].mean())

（3）處理缺失值：均值填充第1行：用均值填充方法四顯示結(jié)果