《大數(shù)據(jù)基礎(chǔ)與實務(wù)》課件 11b.項目三 任務(wù)五“鏈家”租房數(shù)據(jù)清洗

大數(shù)據(jù)基礎(chǔ)與實務(wù)項目三大數(shù)據(jù)采集與清洗“鏈家”租房數(shù)據(jù)清洗任務(wù)五任務(wù)描述知識準備課堂研討拓展訓練目錄CONTENTSONETWOTHREEFOUR任務(wù)描述

“廣州本地寶”作為廣州地區(qū)的生活服務(wù)類公眾號，目前策劃推出為廣大“打工人”租房分析主題的推文。在對各大房源發(fā)布平臺進行分析后，選擇了“鏈家”平臺數(shù)據(jù)進行分析，對租房源數(shù)據(jù)試采集后，發(fā)現(xiàn)采集回來的數(shù)據(jù)“良莠不齊”，為了使租房圖鑒更具可信度，請作為負責此次主題推文租房數(shù)據(jù)分析的小明，對數(shù)據(jù)進行預處理，提升數(shù)據(jù)質(zhì)量。

知識準備

數(shù)據(jù)清洗的目的有兩個，第一是通過清洗讓臟數(shù)據(jù)變得可用。無論是線下人工填寫的手工表，還是線上通過工具收集到的數(shù)據(jù)，又或者是CRM系統(tǒng)中導出的數(shù)據(jù)。并非所有收集到的數(shù)據(jù)都能直接用于數(shù)據(jù)分析。數(shù)據(jù)清洗數(shù)據(jù)清洗目的一知識準備

新建項目并修改項目名稱，將“鏈家租房房源信息”數(shù)據(jù)集導入MySQL數(shù)據(jù)庫中，表名建議命名為“house_學生賬號”，為后續(xù)數(shù)據(jù)處理做好準備。注冊存儲數(shù)據(jù)表名，表名命名為“house_學生賬號”。清洗過程二新建表知識準備根據(jù)【數(shù)據(jù)向?qū)А刻崾咎顚憽霸O(shè)置儲存導入數(shù)據(jù)的數(shù)據(jù)表名”參數(shù)，填寫完成后點擊保存并執(zhí)行。清洗過程二導入數(shù)據(jù)知識準備

點擊【數(shù)據(jù)向?qū)А?，彈出關(guān)鍵詞替換彈窗，根據(jù)任務(wù)描述要求，對每一關(guān)鍵詞填入正確的參數(shù)，然后點擊【確認】，傳入?yún)?shù)數(shù)據(jù)。清洗過程二填寫參數(shù)知識準備

本案例的缺失值主要分布在“房源標題”、“地鐵”這兩個字段。由于房源標題的缺失，相應(yīng)的房子的房源上架時間、價格、租賃方式、房型、樓層、面積（m2）、朝向等字段數(shù)據(jù)也會缺失，可通過刪除房源標題為空的數(shù)據(jù)的方法對缺失值處理。清洗過程二缺失值知識準備

主要對“鏈家租房房源信息”表的重復值進行去重。由表可知，頁面網(wǎng)址是表的主鍵（即每一數(shù)值都是唯一的），首先需查詢是否有重復值，此外，對數(shù)據(jù)進行分析可知，在頁面網(wǎng)址不同的情況下，房源還是存在較多的相同數(shù)據(jù)，可能平臺的不同“管家”重復上傳了同一房源，所以需對房源標題進行查重，考慮可能存在同一小區(qū)同一棟樓的情況，加上“房型”字段作為條件，判斷房源數(shù)據(jù)是否重復。清洗過程二重復值處理知識準備

對數(shù)據(jù)進行簡單處理后，可以看到部分數(shù)據(jù)仍無法直接使用。例如“價格”字段中的數(shù)據(jù)包括了“（月付價）、分享、關(guān)注的房源請在鏈家APP中查看、關(guān)注”等無用數(shù)據(jù)，因此將價格中的金額單獨提出處理，新增“租金”字段儲存；“朝向”字段的值包括了“朝向：”這些數(shù)據(jù)，為了更改直接對朝向這一字段進行分析，需刪除此類臟數(shù)據(jù)。清洗過程二字段抽取知識準備

由于計劃給預算在3000至6000之間的“打工人”提供租房建議，將滿足該條件的房源單獨提取出來，同時，房源信息須包括地鐵站信息，才能給“打工人”進行通勤時間判斷提供支持。清洗過程二記錄抽取課堂研討小明發(fā)現(xiàn)經(jīng)過缺失值和重復值處理后的數(shù)據(jù)仍存在空格，應(yīng)該怎么做才能讓數(shù)據(jù)排列整齊呢？請完成“任務(wù)四：空格值處理”。拓