北京租房數(shù)據(jù)統(tǒng)計(jì)分析數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理教師：亢華愛北京信息職業(yè)技術(shù)學(xué)院商務(wù)數(shù)據(jù)分析與應(yīng)用專業(yè)教學(xué)資源庫盡管從鏈家官網(wǎng)上直接爬取下來的數(shù)據(jù)大部分是比較規(guī)整的，但或多或少還是會存在一些問題，不能直接用做數(shù)據(jù)分析在使用前需要對這些數(shù)據(jù)進(jìn)行一系列的檢測與處理，包括處理重復(fù)值和缺失值、統(tǒng)一數(shù)據(jù)類型等，以保證數(shù)據(jù)具有更高的可用性目錄Contents數(shù)據(jù)轉(zhuǎn)換類型重復(fù)值和空值處理1PART重復(fù)值和空值處理重復(fù)值和空值處理通過duplicated()方法對北京租房數(shù)據(jù)進(jìn)行檢測，只要有重復(fù)的數(shù)據(jù)就會映射為True，具體代碼如下：預(yù)處理的前兩步就是檢查缺失值和重復(fù)值檢查準(zhǔn)備的數(shù)據(jù)中是否存在重復(fù)的數(shù)據(jù)，可以通過Pandas中的duplicated()方法完成。從輸出結(jié)果中仍然可以看到有多條返回結(jié)果為True的數(shù)據(jù)，這表明有重復(fù)的數(shù)據(jù)重復(fù)值和空值處理接下來，使用drop.duplicates()方法直接刪除重復(fù)的數(shù)據(jù)，具體代碼如下：與上一次輸出的行數(shù)相比，可以很明顯地看到減少了很多條數(shù)據(jù)，只剩下了5773條數(shù)據(jù)重復(fù)值和空值處理我們可以直接使用dropna()方法檢測并刪除缺失的數(shù)據(jù)，具體代碼如下：對數(shù)據(jù)重復(fù)檢測完成之后，便可以檢測數(shù)據(jù)中是否存在缺失值經(jīng)過缺失數(shù)據(jù)檢測之后，可以發(fā)現(xiàn)當(dāng)前數(shù)據(jù)的總行數(shù)與之前相比沒有發(fā)生任何變化。因此，我們斷定準(zhǔn)備好的數(shù)據(jù)中并不存在缺失的數(shù)據(jù)。2PART數(shù)據(jù)轉(zhuǎn)換類型數(shù)據(jù)轉(zhuǎn)換類型在這套租房數(shù)據(jù)中，“面積（㎡）”一列的數(shù)據(jù)里面有中文字符說明這一列數(shù)據(jù)都是字符串類型的數(shù)據(jù)轉(zhuǎn)換類型為了方便后續(xù)對面積數(shù)據(jù)進(jìn)行數(shù)學(xué)運(yùn)算，所以需要將“面積（㎡）”一列的數(shù)據(jù)類型轉(zhuǎn)換為float類型，具體代碼如下：數(shù)據(jù)轉(zhuǎn)換類型除此之外，在“戶型”一列中，大部分?jǐn)?shù)據(jù)顯示的是“*室*廳”，只有個(gè)別數(shù)據(jù)顯示的是“*房間*衛(wèi)”（比如索引8219對應(yīng)的一行）。為了方便后期的使用，需要將“房間”替換成“室”，以保證數(shù)據(jù)的一致性數(shù)據(jù)轉(zhuǎn)換類型接下來，使用Pandas的replace()方法完成替換數(shù)據(jù)的操作，具體代碼如下：通過比較處理前與處理后的數(shù)據(jù)可以發(fā)現(xiàn)，索引為8219的戶型數(shù)據(jù)已經(jīng)由“4房間2衛(wèi)”變成“4室2衛(wèi)”，說明數(shù)據(jù)替換成功參考文獻(xiàn)[1]黑馬程序員.Python數(shù)據(jù)分析與應(yīng)用:從數(shù)據(jù)獲取到可視化.中