網(wǎng)絡(luò)空間安全概論 實(shí)驗(yàn)7網(wǎng)絡(luò)爬蟲 貝殼租房爬蟲及可視化

中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)學(xué)院2018級(jí)本科生課程報(bào)告課程名稱信息內(nèi)容安全報(bào)告題目貝殼租房爬蟲及可視化報(bào)告時(shí)間2021.7.6姓名徐子涵學(xué)號(hào)08182737任課教師曹天杰2020-2021(二)《信息內(nèi)容安全》課程報(bào)告評(píng)分表序號(hào)畢業(yè)要求課程教學(xué)目標(biāo)考查方式與考查點(diǎn)占比得分12.3目標(biāo)1:掌握信息內(nèi)容安全的基本概念、分類、原理和相關(guān)技術(shù)，能夠根據(jù)課程基本知識(shí)對(duì)信息內(nèi)容安全領(lǐng)域出現(xiàn)的問題進(jìn)行歸類、分析、并有初步分析和解決問題的能力。通過課堂講授和課堂研討掌握信息內(nèi)容安全概念和理論知識(shí)。40%3.2目標(biāo)2：掌握信息內(nèi)容安全處理相關(guān)的理論、技術(shù)以及健全的評(píng)價(jià)體系，能夠根據(jù)具體問題分析算法、設(shè)計(jì)算法、實(shí)現(xiàn)算法并能綜合評(píng)價(jià)算法。24.3目標(biāo)3：掌握信息內(nèi)容安全的基礎(chǔ)知識(shí)，針對(duì)具體問題和要求選擇正確的技術(shù)路線，通過在實(shí)驗(yàn)環(huán)境中進(jìn)行仿真實(shí)驗(yàn)并能根據(jù)算法特點(diǎn)進(jìn)行攻擊測(cè)試和綜合性能評(píng)價(jià)，得到具有參考價(jià)值的結(jié)論。課程報(bào)告；實(shí)現(xiàn)有關(guān)信息內(nèi)容安全的一個(gè)軟件系統(tǒng)。分析和對(duì)比各項(xiàng)技術(shù)，選擇相應(yīng)的技術(shù)進(jìn)行算法設(shè)計(jì)并在實(shí)驗(yàn)環(huán)境中進(jìn)行仿真實(shí)驗(yàn)和性能評(píng)價(jià)，得到有效結(jié)論。60%總分100%評(píng)閱人：2021年7月10日?qǐng)?bào)告摘要近年來，隨著城鎮(zhèn)化進(jìn)程的加快，房?jī)r(jià)節(jié)節(jié)攀升，購房壓力相應(yīng)增大，租房成為滿足居民居住需要的主要途徑。互聯(lián)網(wǎng)的發(fā)展給房屋租賃市場(chǎng)提供了新的交易途徑，同時(shí)也帶來了新的挑戰(zhàn)。如何在較短的時(shí)間內(nèi)，有效地獲取租房用戶所需的精準(zhǔn)信息變得越來越重要。本文設(shè)計(jì)貝殼租房信息的爬取工具，實(shí)現(xiàn)對(duì)網(wǎng)站下租房關(guān)鍵信息的爬取，過濾并存儲(chǔ)租房房源信息，建立租房房源信息數(shù)據(jù)源，用Pyecharts實(shí)現(xiàn)數(shù)據(jù)的可視化。關(guān)鍵詞：租房數(shù)據(jù);網(wǎng)絡(luò)爬蟲;Pyecharts;

報(bào)告正文1前言隨著城鎮(zhèn)化進(jìn)程的高速發(fā)展，國(guó)內(nèi)房?jī)r(jià)高漲。為了解決住房問題，越來越多的人選擇租房方式滿足他們住房需求，租房人群年齡結(jié)構(gòu)呈年輕化趨勢(shì)，以80后、90后為代表的租房人群，傳統(tǒng)的租房體驗(yàn)已經(jīng)無法滿足他們需求。隨著互聯(lián)網(wǎng)的發(fā)展，他們向網(wǎng)絡(luò)平臺(tái)遷移的意愿更強(qiáng)，給房屋租賃市場(chǎng)提供了新的交易途徑?；诰W(wǎng)絡(luò)平臺(tái)思維可以打破房源信息不對(duì)稱，用戶線上選房、線下看房，線上交易，再到租后和退租再租，整個(gè)完整流程可以很好地服務(wù)消費(fèi)者，從而大幅度改善用戶體驗(yàn)。國(guó)內(nèi)的房屋租賃發(fā)布平臺(tái)，為租房用戶提供了便捷。各房屋租賃信息網(wǎng)站通過關(guān)鍵字搜索配合條件篩選的方式為租房用戶提供房源搜索功能。面對(duì)當(dāng)前房源信息資源的迅猛增長(zhǎng)，傳統(tǒng)依賴于人工檢索信息的方式效率十分低下，已經(jīng)不能滿足年輕消費(fèi)者的精準(zhǔn)匹配的需求。因此，本文以安居客租房網(wǎng)為例，設(shè)計(jì)一個(gè)基于Python的租房數(shù)據(jù)爬取工具，用戶提供位置、租金或房型等精準(zhǔn)需求，從租房信息網(wǎng)站垂直搜索相關(guān)的數(shù)據(jù)并按規(guī)則的結(jié)構(gòu)化存儲(chǔ)，并對(duì)其進(jìn)行可視化分析。2python爬蟲設(shè)計(jì)2.1爬取對(duì)象的確定貝殼網(wǎng)是國(guó)內(nèi)主要房產(chǎn)租售服務(wù)平臺(tái)之一，本文實(shí)現(xiàn)的爬蟲將以“貝殼租房”為爬取目標(biāo)，對(duì)指定目標(biāo)房屋租房信息網(wǎng)站進(jìn)行自動(dòng)爬取，過濾并抽取所需租房信息，最終將爬取到的數(shù)據(jù)以xlsx文件存儲(chǔ)在本地項(xiàng)目根目錄下，并將可視化分析以網(wǎng)頁形式展示。2.2功能設(shè)計(jì)（1）導(dǎo)入相關(guān)包：（2）請(qǐng)求頭設(shè)置（3）設(shè)置要獲取的目標(biāo)信息（4）數(shù)據(jù)爬蟲反爬蟲設(shè)計(jì)：間隔時(shí)間2-5秒：設(shè)置多個(gè)請(qǐng)求頭：設(shè)計(jì)爬蟲2.3數(shù)據(jù)處理（1）計(jì)算各區(qū)域房源數(shù)量：（2）計(jì)算各區(qū)域房源平均價(jià)（3）計(jì)算戶型數(shù)量（4）統(tǒng)計(jì)不同面積區(qū)間占比2.4數(shù)據(jù)存儲(chǔ)為了方便用戶簡(jiǎn)潔、直觀的查看爬取數(shù)據(jù)，本文爬取的數(shù)據(jù)以存儲(chǔ)為excel格式。C方便用戶使用Excel等通用軟件直觀的查看和分析數(shù)據(jù)。本文在貝殼租房平臺(tái)上，爬取徐州地區(qū)相關(guān)區(qū)域的租房房源信息，爬取結(jié)果中的部分?jǐn)?shù)據(jù)如下圖所示：3可視化分析3.1Pyecharts模塊可視化或稱視覺化，其基本含義是將科學(xué)計(jì)算中產(chǎn)生的大量非直觀的、抽象的或者不可見的數(shù)據(jù)，借助計(jì)算機(jī)圖形學(xué)和圖像處理等技術(shù)，用幾何圖形和色彩、紋理、透明度、對(duì)比度及動(dòng)畫技術(shù)等手段，以圖形圖像信息的形式，直觀、形象地表達(dá)出來，并進(jìn)行交互處理。1987年2月美國(guó)國(guó)家科學(xué)基金會(huì)的一個(gè)研究報(bào)告提出科學(xué)計(jì)算可視化(visualizationinscientificcomputing)問題。并將可視化定義為利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換為直觀的圖像和表格進(jìn)行展示以及交互處理的理論、方法和技術(shù)。換言之，可視化技術(shù)是一種計(jì)算方法，它將符號(hào)描述轉(zhuǎn)變成幾何描述，從而使研究者能夠觀察到所期望的仿真和計(jì)算結(jié)果;可視化技術(shù)提供了將不可見轉(zhuǎn)化為可見的方法和途徑，使得科學(xué)發(fā)現(xiàn)的過程變得生動(dòng)，促進(jìn)研究者對(duì)未知事物的領(lǐng)悟。可視化分析技術(shù)是建立在可視化與分析過程的基礎(chǔ)上的，以深入刻畫數(shù)據(jù)特征和人類感知模式的能力為基礎(chǔ)，可加強(qiáng)數(shù)據(jù)挖掘分析的能力和效果?？梢暬治龅姆椒ㄖ饕袌D數(shù)據(jù)可視化、文本可視化、高維數(shù)據(jù)可視化、地理時(shí)空信息以及可視化分析過程。Echarts是一個(gè)由百度開源的數(shù)據(jù)可視化，憑借著良好的交互性，精巧的圖表設(shè)計(jì)，得到了眾多開發(fā)者的認(rèn)可。而Python是一門富有表達(dá)力的語言，很適合用于數(shù)據(jù)處理。當(dāng)數(shù)據(jù)分析遇上數(shù)據(jù)可視化時(shí)，pyecharts誕生了。3.2可視化實(shí)現(xiàn)（1）統(tǒng)計(jì)各