大數(shù)據(jù)采集與預(yù)處理課件：數(shù)據(jù)采集與可視化案例

數(shù)據(jù)采集與可視化案例 本章學(xué)習(xí)目標(biāo)●分析鏈家二手房的網(wǎng)頁結(jié)構(gòu)和內(nèi)容●使用requests庫編寫爬蟲代碼獲取指定數(shù)據(jù)●使用BeautifulSoup實(shí)現(xiàn)數(shù)據(jù)的解析●使用pymysql庫實(shí)現(xiàn)數(shù)據(jù)的持久化●使用flask和echarts實(shí)現(xiàn)數(shù)據(jù)可視化7.1任務(wù)描述二手房房屋信息的數(shù)據(jù)采集與可視化，可以有助于多維度直觀地了解房屋的綜合價(jià)值，增強(qiáng)購房者選購房屋的精準(zhǔn)性，從而滿足購房者的合理住房需求。本綜合案例通過分析鏈家二手房的網(wǎng)頁結(jié)構(gòu)和內(nèi)容，使用requests庫和BeautifulSoup庫編寫和解析自定義的爬蟲代碼獲取字段為：地區(qū)(region)、戶型(house_type)、面積(area_list)、裝修類型(decorate_type)、樓層(floor_type)、房屋類型(building_type)、售價(jià)(total_price)、單價(jià)(avg_price)的數(shù)據(jù)。最后，使用pymysql庫在MYSQL數(shù)據(jù)庫管理系統(tǒng)中創(chuàng)建指定的數(shù)據(jù)庫test和數(shù)據(jù)表lianjia，實(shí)現(xiàn)數(shù)據(jù)的持久化存儲(chǔ)。。7.2.1Flask概述Flask是Python的API，允許我們構(gòu)建Web應(yīng)用程序。它是由阿明·羅納赫開發(fā)的。Flask的框架比Django的框架更明確，也更容易學(xué)習(xí)，因?yàn)樗鼘?shí)現(xiàn)簡(jiǎn)單Web應(yīng)用程序的基礎(chǔ)代碼更少。Web應(yīng)用程序框架或Web框架是模塊和庫的集合，可幫助開發(fā)人員編寫應(yīng)用程序，而無需編寫協(xié)議、線程管理等低級(jí)代碼。Flask基于WSGI（Web服務(wù)器網(wǎng)關(guān)接口）工具包和Jinja2模板引擎。7.2數(shù)據(jù)可視化技術(shù)WSGIWeb服務(wù)器網(wǎng)關(guān)接口(WSGI)已被采用作為PythonWeb應(yīng)用程序開發(fā)的標(biāo)準(zhǔn)。WSGI是Web服務(wù)器和Web應(yīng)用程序之間通用接口的規(guī)范。Werkzeug是一個(gè)WSGI工具包，它實(shí)現(xiàn)了請(qǐng)求、響應(yīng)對(duì)象和其他實(shí)用功能。這使得能夠在其之上構(gòu)建Web框架。jinja2是一個(gè)流行的Python模板引擎。Web模板系統(tǒng)將模板與特定數(shù)據(jù)源結(jié)合起來以呈現(xiàn)動(dòng)態(tài)網(wǎng)頁。接下來我們創(chuàng)建一個(gè)簡(jiǎn)單的Flask應(yīng)用，保存為flask_test.py，其中Flask中的route()裝飾器用于將URL綁定到hello_world函數(shù)，函數(shù)的返回值最終會(huì)顯示在網(wǎng)頁中。fromflaskimportFlask

app=Flask(__name__)@app.route('/')defhello_world():return'HelloWorld'if__name__=='__main__':app.run()在Pycharm中運(yùn)行flask_test.py，我們將得到如下輸出，如圖7-1所示。圖7-1flask_test.py輸出界面然后打開chrome瀏覽器，在地址欄輸入:5000/，將看到網(wǎng)頁上顯示helloworld，說明Flask成功運(yùn)行。如圖7-2所示。圖7-2Flask運(yùn)行成功

數(shù)據(jù)采集與可視化案例 本章學(xué)習(xí)目標(biāo)●分析鏈家二手房的網(wǎng)頁結(jié)構(gòu)和內(nèi)容●使用requests庫編寫爬蟲代碼獲取指定數(shù)據(jù)●使用BeautifulSoup實(shí)現(xiàn)數(shù)據(jù)的解析●使用pymysql庫實(shí)現(xiàn)數(shù)據(jù)的持久化●使用flask和echarts實(shí)現(xiàn)數(shù)據(jù)可視化7.2.2Echarts概述ApacheECharts是一個(gè)免費(fèi)、功能強(qiáng)大的圖表和可視化庫，提供了一種向商業(yè)產(chǎn)品添加直觀、交互式和高度可定制的圖表的簡(jiǎn)單方法。它是用純JavaScript編寫的，基于zrender，這是一個(gè)全新的輕量級(jí)畫布庫。ECharts提供了常規(guī)的折線圖，柱狀圖，散點(diǎn)圖，餅圖，K線圖，用于統(tǒng)計(jì)的盒形圖，用于地理數(shù)據(jù)可視化的地圖，熱力圖，線圖，用于關(guān)系數(shù)據(jù)可視化的關(guān)系圖，多維數(shù)據(jù)可視化的平行坐標(biāo)，還有用于BI的漏斗圖，儀表盤，并且支持圖與圖之間的混搭。7.2.2Echarts概述允許用戶對(duì)統(tǒng)計(jì)數(shù)據(jù)進(jìn)行有效的提取、整合，甚至在多個(gè)圖表間交換數(shù)據(jù)，賦予了用戶對(duì)數(shù)據(jù)進(jìn)行挖掘、整合的能力。7.2.2Echarts概述數(shù)據(jù)視圖7.2.2Echarts概述動(dòng)態(tài)類型切換7.2.2Echarts概述提供了方便快捷的多維度圖例開關(guān)，可以隨時(shí)切換到你所關(guān)心的數(shù)據(jù)系列。7.2.2Echarts概述數(shù)據(jù)可以是無限的，但顯示空間總是有限的，數(shù)據(jù)區(qū)域選擇組件提供了大數(shù)據(jù)量中漫游的能力，讓用戶選擇并呈現(xiàn)他所關(guān)心的數(shù)據(jù)區(qū)域。7.2.2Echarts概述基于坐標(biāo)的圖表（如地圖、散點(diǎn)圖）通過色彩變化表現(xiàn)數(shù)值的大小能直觀形象的展示數(shù)據(jù)分布。7.2.2Echarts概述ECharts發(fā)明了基于像素的大規(guī)模散點(diǎn)圖（專利），一個(gè)900x400的散點(diǎn)區(qū)域就能夠毫不重復(fù)的呈現(xiàn)36萬組數(shù)據(jù)，這對(duì)于常規(guī)的應(yīng)用，用