網(wǎng)絡(luò)空間安全概論 實(shí)驗(yàn)7網(wǎng)絡(luò)爬蟲(chóng) 針對(duì)知乎內(nèi)容的爬蟲(chóng)程序

中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)學(xué)院2018級(jí)本科生課程報(bào)告課程名稱信息內(nèi)容安全報(bào)告題目針對(duì)知乎內(nèi)容的爬蟲(chóng)程序報(bào)告時(shí)間2021.7.6姓名周俊杰學(xué)號(hào)08182778任課教師曹天杰2020-2021(二)《信息內(nèi)容安全》課程報(bào)告評(píng)分表序號(hào)畢業(yè)要求課程教學(xué)目標(biāo)考查方式與考查點(diǎn)占比得分12.3目標(biāo)1:掌握信息內(nèi)容安全的基本概念、分類(lèi)、原理和相關(guān)技術(shù)，能夠根據(jù)課程基本知識(shí)對(duì)信息內(nèi)容安全領(lǐng)域出現(xiàn)的問(wèn)題進(jìn)行歸類(lèi)、分析、并有初步分析和解決問(wèn)題的能力。通過(guò)課堂講授和課堂研討掌握信息內(nèi)容安全概念和理論知識(shí)。40%3.2目標(biāo)2：掌握信息內(nèi)容安全處理相關(guān)的理論、技術(shù)以及健全的評(píng)價(jià)體系，能夠根據(jù)具體問(wèn)題分析算法、設(shè)計(jì)算法、實(shí)現(xiàn)算法并能綜合評(píng)價(jià)算法。24.3目標(biāo)3：掌握信息內(nèi)容安全的基礎(chǔ)知識(shí)，針對(duì)具體問(wèn)題和要求選擇正確的技術(shù)路線，通過(guò)在實(shí)驗(yàn)環(huán)境中進(jìn)行仿真實(shí)驗(yàn)并能根據(jù)算法特點(diǎn)進(jìn)行攻擊測(cè)試和綜合性能評(píng)價(jià)，得到具有參考價(jià)值的結(jié)論。課程報(bào)告；實(shí)現(xiàn)有關(guān)信息內(nèi)容安全的一個(gè)軟件系統(tǒng)。分析和對(duì)比各項(xiàng)技術(shù)，選擇相應(yīng)的技術(shù)進(jìn)行算法設(shè)計(jì)并在實(shí)驗(yàn)環(huán)境中進(jìn)行仿真實(shí)驗(yàn)和性能評(píng)價(jià)，得到有效結(jié)論。60%總分100%評(píng)閱人：2021年7月10日?qǐng)?bào)告摘要知乎為中文互聯(lián)網(wǎng)高質(zhì)量的問(wèn)答社區(qū)和創(chuàng)作者聚集的原創(chuàng)內(nèi)容平臺(tái)，其豐富多彩的內(nèi)容有許多參考價(jià)值。然而其內(nèi)容無(wú)法直接批量獲取和存儲(chǔ)。此系統(tǒng)采用python語(yǔ)句針對(duì)知乎，以問(wèn)題、回答、用戶等不同類(lèi)別為入口，批量爬取其所有內(nèi)容并存儲(chǔ)于本地，便于整體閱讀參考。關(guān)鍵詞：知乎；爬蟲(chóng)；python;

報(bào)告正文1.1系統(tǒng)框架流程1.2目錄結(jié)構(gòu)目錄分為.idea文件腳本核心函數(shù)功能模塊zhihu腳本入口GrandConcourse.py詳細(xì)如圖所示：2.內(nèi)容摘要GrandConcourse.py這是腳本的啟動(dòng)入口.根據(jù)不同需求分為：特定用戶的回答，用戶的想法及文章，特定的文章，特定的回答，某一問(wèn)題下的回答，某收藏夾內(nèi)容將目標(biāo)id填入相應(yīng)的位置，并把不需要的目標(biāo)id設(shè)為空（''）點(diǎn)擊運(yùn)行即可啟動(dòng)運(yùn)行腳本。腳本通過(guò)檢測(cè)相應(yīng)id是否為空，從而選擇運(yùn)行對(duì)應(yīng)的模塊，所以不需要的目標(biāo)id一定要設(shè)置為空。在這里可以設(shè)置文件保存的本地路徑zhihu是功能模塊，所有要實(shí)現(xiàn)的功能（爬取專欄、文章等）都在這個(gè)模塊下實(shí)現(xiàn)。實(shí)現(xiàn)的功能：article、collection、question、topic、user其中article實(shí)現(xiàn)了單篇文章或?qū)诘呐廊?，question實(shí)現(xiàn)了單個(gè)或所有回答的爬取，user實(shí)現(xiàn)了針對(duì)用戶的所有文章和所有回答的爬取。這些模塊之間并不是完全獨(dú)立的，比如collection既有問(wèn)答又有文章，在實(shí)現(xiàn)時(shí)使用了article模塊的article和question模塊的answer。本文件實(shí)現(xiàn)了Controller和evaluate，前者用于爬取控制，控制程序的停止、爬取目標(biāo)的下一頁(yè)等，后者用于計(jì)算回答的評(píng)分，根據(jù)評(píng)分決定一個(gè)問(wèn)題的某個(gè)回答是否收錄。評(píng)分由點(diǎn)贊數(shù)、回答日期、更新日期共同決定說(shuō)明：這里實(shí)現(xiàn)了對(duì)單個(gè)回答或問(wèn)題的所有回答的爬取，其中單個(gè)回答的爬取需要的是answer_id，而問(wèn)題的所有回答需要的是question_id。通過(guò)相應(yīng)的id發(fā)起網(wǎng)絡(luò)請(qǐng)求，返回的json文件中包含的內(nèi)容的主體，通過(guò)解析json文件獲得文章的基本信息，生成一個(gè)msg對(duì)象，再將內(nèi)容主體解析成BeautifulSoup對(duì)象，連同msg一起交給document下的有關(guān)類(lèi)解析生成markdown文件。說(shuō)明：document模塊統(tǒng)一了文章、問(wèn)答的markdown生成樣式，兩者的區(qū)別僅在于：文章類(lèi)有背景大圖，問(wèn)答類(lèi)有點(diǎn)贊數(shù)。這兩個(gè)模塊接收內(nèi)容主體的基本信息和內(nèi)容主體，解析基本信息并編譯成文章頭。內(nèi)容主體由parse模塊下的Text類(lèi)解析成markdown形式并返回給這里的調(diào)用者。最后模塊將文章頭和主體合成一篇markdown文檔，由外部提供保存路徑保存到本地硬盤(pán)。對(duì)于回答的內(nèi)容劃分為各種基本類(lèi)，如文字、圖片、鏈接、視頻等圖示為視頻類(lèi)相關(guān)代碼說(shuō)明：Simple類(lèi)是基類(lèi)（接口），parse模塊下的所有類(lèi)都直接或間接繼承了Simple類(lèi)。凡是直接繼承了Simple類(lèi)的類(lèi)都是屬于基本元素類(lèi)。既內(nèi)容單一，不能再細(xì)分的元素。如圖片類(lèi)（figure）、視頻類(lèi)（Video）、代碼類(lèi)（Code），這些類(lèi)都是可以直接解析成markdown元素的基本元素。Multilevel類(lèi)是所用復(fù)合類(lèi)型的基類(lèi)，這個(gè)基類(lèi)也繼承了Simple類(lèi)。比如說(shuō)一個(gè)p標(biāo)簽就是一個(gè)Paragraph類(lèi)，p標(biāo)簽可以含有a標(biāo)簽、b標(biāo)簽等，這些都屬于是復(fù)合標(biāo)簽，也就是復(fù)合類(lèi)型。理論上復(fù)合類(lèi)型還可以相互嵌套，比較復(fù)雜，需要逐步向基本類(lèi)型分解。根據(jù)基礎(chǔ)api返回個(gè)人信息json文件，樣例如下運(yùn)行示例如選取話題