網(wǎng)絡(luò)空間安全概論 實驗7網(wǎng)絡(luò)爬蟲 新冠疫情爬蟲及詞云與可視化地圖

中國礦業(yè)大學計算機學院2019級本科生課程報告課程名稱信息內(nèi)容安全報告題目新冠疫情爬蟲及詞云與可視化地圖報告時間2022.6.30姓名丁文翔學號08193072任課教師曹天杰2021-2022(二)《信息內(nèi)容安全》評分表考核類別考核內(nèi)容支撐課程目標試題類型與分值比例分數(shù)結(jié)課考核課程報告（論文綜述、設(shè)計、實現(xiàn)、寫作規(guī)范）目標3：掌握信息內(nèi)容安全的基礎(chǔ)知識，針對具體問題和要求選擇正確的技術(shù)路線，通過在實驗環(huán)境中進行仿真實驗并能根據(jù)算法特點進行攻擊測試和綜合性能評價，得到具有參考價值的結(jié)論。課程報告，100%過程考核1.基本概念、原理目標1:掌握信息內(nèi)容安全的基本概念、分類、原理和相關(guān)技術(shù)，能夠根據(jù)課程基本知識對信息內(nèi)容安全領(lǐng)域出現(xiàn)的問題進行歸類、分析、并有初步分析和解決問題的能力。系統(tǒng)演示及解說，30%2.系統(tǒng)設(shè)計與分析目標2：掌握信息內(nèi)容安全處理相關(guān)的理論、技術(shù)以及健全的評價體系，能夠根據(jù)具體問題分析算法、設(shè)計算法、實現(xiàn)算法并能綜合評價算法。PPT講解與答辯，50%3.基本概念、原理目標1作業(yè)或測試，20%結(jié)課考核與過程考核比例結(jié)課考核：60%過程考核：40%評閱人：2022年7月10日報告摘要始于2019年的全球新冠疫情，是人類百年工業(yè)文明快速發(fā)展、全球化進程加快進程中突然遭遇的重大傳染性疫病，近3年來，已經(jīng)改變、還在繼續(xù)改變幾十億人類的生命、生活、生態(tài)和生產(chǎn)方式。為了更直觀的查看以及分析各地疫情，本項目將利用爬蟲技術(shù)，爬取中國各地以及世界各個國家的新冠疫情數(shù)據(jù)，生成詞云，疫情地圖等可視化圖片或網(wǎng)頁，供用戶觀看。關(guān)鍵詞：爬蟲；新冠疫情；疫情地圖 AbstractTheCOVID-19pandemic,whichstartedin2019,isamajorinfectiousdiseasesuddenlyencounteredinthecourseofrapiddevelopmentofindustrialcivilizationandacceleratedglobalization.Inthepastthreeyears,ithaschangedandcontinuestochangethewaybillionsofpeoplelive,live,andwork.Inordertoviewandanalyzetheepidemicsituationindifferentplacesmoredirectly,theprojectwillusecrawlertechnologytocrawltheCOVID-19epidemicdataofdifferentplacesinChinaandothercountriesaroundtheworld,andgeneratewordcloud,epidemicmapandothervisualpicturesorwebpagesforuserstowatch.Keyword:crawler;COVID-19;Theoutbreakmap

報告正文1、項目背景正在發(fā)生的全球新冠疫情，所造成的風險在公共化、全球化，給這個世界帶來巨大的不確定性，預(yù)示著人類文明發(fā)展存在總體性危機。全球新冠肺炎疫情的爆發(fā)，使當今世界局勢發(fā)生劇烈復(fù)雜變化，一場可能會影響全球格局的巨大變革正在發(fā)生。各國采取不同的措施應(yīng)對全球新冠肺炎疫情，美、歐、中等各經(jīng)濟圈分裂的趨勢在加強。以美國為代表的西方國家，從對外擴張轉(zhuǎn)變?yōu)橄騼?nèi)收縮或退守，體現(xiàn)在本土主義的興起、貿(mào)易保護主義的反彈以及其他一些“逆全球化”的跡象。面對突如其來的全球性新冠肺炎疫情，西方社會的內(nèi)部矛盾，包括經(jīng)濟與文化方面的問題，開始全面爆發(fā)，民眾的挫折與失望感越來越廣泛。所謂“發(fā)達社會”，也呈現(xiàn)出一副失序狀態(tài)：經(jīng)濟失調(diào)、政治失序、安全失控、制度失靈。移民和難民大量涌入，對各國的本地傳統(tǒng)價值、生活方式以及民族認同都會造成沖擊。經(jīng)濟利益的沖突與文化訴求的矛盾相互交織、彼此糾葛，造成了西方社會嚴重的政治極化現(xiàn)象。對中國這些發(fā)展中國家來說，外部環(huán)境變化的不確定性也非常明顯。西方打破了現(xiàn)有國際體系的穩(wěn)定性，并導致國際體系出現(xiàn)快速、急劇的變化，這就給中國的外部環(huán)境帶來巨大挑戰(zhàn)。如何處理與西方國家之間的問題、與國際秩序之間的問題，亦成為中國需要面對的挑戰(zhàn)。同時，新技術(shù)革命，尤其是人工智能、生物技術(shù)的迅即發(fā)展，對現(xiàn)有的生產(chǎn)、勞動和消費結(jié)構(gòu)沖擊，以及對文化變遷的深遠影響，都可能超越既有“現(xiàn)代秩序”的有效框架，蘊含著巨大的未知風險。有專家指出，新冠肺炎疫情帶來的這場全球性危機，不僅表現(xiàn)為生態(tài)和環(huán)境危機、資源和氣候危機，而且還表現(xiàn)為深重的經(jīng)濟、金融危機和社會危機。上世紀“二戰(zhàn)”之后確定的國際政治經(jīng)濟秩序在某種程度上處于內(nèi)外交困的局面。世界正在滑向各種影響深遠的沖突和戰(zhàn)爭：軍事沖突、貿(mào)易戰(zhàn)爭、政治和外交戰(zhàn)、金融戰(zhàn)爭等等，世界很可能進入了一個“巨變”的時期。2、項目介紹該項目使用了爬蟲技術(shù)，通過url獲取網(wǎng)頁html代碼，保存為json文件，在json文件中提取我們需要的數(shù)據(jù)，獲取到數(shù)據(jù)之后，使用python庫中的worldcloud制作詞云圖，pyecharts制作疫情地圖3、項目實現(xiàn)3.1、使用爬蟲獲取數(shù)據(jù)我們首先將使用requests方法獲得整個網(wǎng)頁的html代碼，并保存為txt文件，便于分析，這里我們需要注意偽造一下請求頭獲得html文件后，我們需要找到，我們需要的數(shù)據(jù)，下面藍色的部分包含著我們需要的數(shù)據(jù)，它是以字典和列表的來回穿插的形式保存的，我們通過取下標0和對應(yīng)的鍵就可以獲得全部的疫情信息然后我們使用xpath方法來解析數(shù)據(jù)獲得數(shù)據(jù)后，為了更加直觀的觀察數(shù)據(jù)和制作詞云，我們將它們保存到data.xlsx的excel文件中，下圖可以看到我們成功保存國內(nèi)各個省份的相關(guān)信息和以大州為分類的各個國家信息中國各個省份數(shù)據(jù)亞洲國家數(shù)據(jù)實現(xiàn)代碼如下我們也將解析的數(shù)據(jù)保存到j(luò)son文件中，方便以后做整個中國及每個省份地圖和世界地圖做準備json文件如下:3.2、制作詞云這里我們使用wordcloud庫來實現(xiàn)，將excel中數(shù)據(jù)中的省份或國家作為鍵，累計確診人數(shù)作為鍵值放到字典中，再根據(jù)該字典，使用wordcloud.generate_from_frequencies()方法生成云，保存為圖片即可3.3、制作疫情地圖制作地圖我們使用pyecharts官網(wǎng)，map上面使用的代碼，再將我們需要的參數(shù)添加進去就可以，網(wǎng)址如下：/#/zh-cn/geography_charts?id=map%ef%bc%9a%e5%9c%b0%e5%9b%be中國地圖Demo:廣東地圖Demo:中國地圖實現(xiàn)如下：將省份和累計人數(shù)作為元組，反應(yīng)到地圖上，其余地圖同理中國各省份地圖實現(xiàn)：世界地圖實現(xiàn)如下：世界地圖添加了三種，分別為累計確診人數(shù)，累計治愈人數(shù)和當前確診人數(shù)：最后為各個地圖添加獲取時間，獲取時間使用正則表達式在html頁面獲取4、項目成果4.1詞云展示中國詞云：世界詞云：4.