大數(shù)據(jù)采集與預(yù)處理課件：數(shù)據(jù)采集與可視化綜合案例 -3

數(shù)據(jù)采集與可視化案例 本章學(xué)習(xí)目標(biāo)●pandas讀取二手房數(shù)據(jù)●使用pandas對數(shù)據(jù)進行探索●使用pandas對數(shù)據(jù)進行轉(zhuǎn)換7.3.5數(shù)據(jù)探索與轉(zhuǎn)換這里通過pandas讀取二手房數(shù)據(jù)，并對其進行探索和轉(zhuǎn)換。（1）Python中導(dǎo)入pandas、pymysql、re和tabulate。7.3.5數(shù)據(jù)探索與轉(zhuǎn)換這里通過pandas讀取二手房數(shù)據(jù)，并對其進行探索和轉(zhuǎn)換。（2）設(shè)置主函數(shù)，里面包括了數(shù)據(jù)讀取、探索清理數(shù)據(jù)以及轉(zhuǎn)換數(shù)據(jù)。7.3.5數(shù)據(jù)探索與轉(zhuǎn)換這里通過pandas讀取二手房數(shù)據(jù)，并對其進行探索和轉(zhuǎn)換。（3）從數(shù)據(jù)庫里讀取數(shù)據(jù)。7.3.5數(shù)據(jù)探索與轉(zhuǎn)換這里通過pandas讀取二手房數(shù)據(jù)，并對其進行探索和轉(zhuǎn)換。（4）探索清理數(shù)據(jù)，查看前五行數(shù)據(jù)。7.3.5數(shù)據(jù)探索與轉(zhuǎn)換這里通過pandas讀取二手房數(shù)據(jù)，并對其進行探索和轉(zhuǎn)換。（5）查看數(shù)據(jù)的描述性信息。7.3.5數(shù)據(jù)探索與轉(zhuǎn)換這里通過pandas讀取二手房數(shù)據(jù)，并對其進行探索和轉(zhuǎn)換。（6）統(tǒng)計數(shù)據(jù)中空值的數(shù)量。7.3.5數(shù)據(jù)探索與轉(zhuǎn)換這里通過pandas讀取二手房數(shù)據(jù)，并對其進行探索和轉(zhuǎn)換。（7）查看數(shù)據(jù)類型。7.3.5數(shù)據(jù)探索與轉(zhuǎn)換這里通過pandas讀取二手房數(shù)據(jù)，并對其進行探索和轉(zhuǎn)換。（8）轉(zhuǎn)換數(shù)據(jù)，包括細化房屋類型、提取樓層數(shù)和樓層類型及統(tǒng)一價格單位，7.4小結(jié)通過本綜合案例的學(xué)習(xí)，掌握了使用CHROME瀏覽器的“開發(fā)者工具”分析鏈家二手房的網(wǎng)頁結(jié)構(gòu)和內(nèi)容，使用requests庫和BeautifulSoup庫編寫和解析自定義的爬蟲代碼獲取字段為：地區(qū)(region)、戶型(house_type)、面積(area_list)、裝修類型(decorate_type)、樓層(floor_type)、房屋類型(building_type)、售價(total_price)、單價(avg_price)的數(shù)據(jù)。最后，使用pymysql庫在MYSQL數(shù)據(jù)庫管理系統(tǒng)中創(chuàng)建指定的數(shù)據(jù)庫test和數(shù)據(jù)表lianjia，實現(xiàn)數(shù)據(jù)的持久化存儲。7.5習(xí)題1.使用requests庫和BeautifulSoup庫對二手房網(wǎng)站