《網(wǎng)絡(luò)爬蟲項目實踐》課件-《網(wǎng)絡(luò)爬蟲項目實踐》教學(xué)大綱

《網(wǎng)絡(luò)爬蟲項目實踐》課程教學(xué)大綱（課程英文名稱）課程名稱：網(wǎng)絡(luò)爬蟲項目實踐課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時：64學(xué)時（其中理論28學(xué)時，實驗36學(xué)時）總學(xué)分：4.0學(xué)分本章學(xué)時：3學(xué)時一、課程的性質(zhì)與目標(biāo)本門課程旨在通過學(xué)習(xí)與實踐培養(yǎng)學(xué)生的爬蟲程序開發(fā)能力，為社會輸送急需人才；課程對應(yīng)的網(wǎng)頁爬蟲開發(fā)工程師崗位有著相對較高的薪酬水平和較為廣闊的發(fā)展前景，可以為參加學(xué)習(xí)的學(xué)生提供良好職業(yè)預(yù)期發(fā)展。二、教學(xué)條件要求課程設(shè)計理念：課程開發(fā)遵循的基于工作過程導(dǎo)向的現(xiàn)代職業(yè)教育指導(dǎo)思想，課程的目標(biāo)是網(wǎng)頁爬蟲程序開發(fā)職業(yè)能力培養(yǎng)。課程教學(xué)內(nèi)容的取舍和內(nèi)容排序遵循以工作需求為目標(biāo)原則，務(wù)求反映當(dāng)前網(wǎng)頁爬蟲開發(fā)的主流技術(shù)和主流開發(fā)工具，同時重視軟件工程的標(biāo)準(zhǔn)規(guī)范，重視業(yè)內(nèi)工作過程中的即成約定，努力使學(xué)生的學(xué)習(xí)內(nèi)容與目標(biāo)工作崗位能力要求無縫對接。近年來，大數(shù)據(jù)受到我國政府的高度重視和大力支持，標(biāo)志著將大數(shù)據(jù)納入國家戰(zhàn)略層面，培養(yǎng)出足夠的、合格的數(shù)據(jù)人才，對我國在未來掌握大數(shù)據(jù)的核心價值起著至關(guān)重要的作用。課程設(shè)計思想：課程中結(jié)合中國將會對數(shù)字新技術(shù)，大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)、區(qū)塊鏈、人工智能五大技術(shù)這五大技術(shù)加大研發(fā)投入，國家將發(fā)展大數(shù)據(jù)放在了戰(zhàn)略地位，大數(shù)據(jù)前景無限，大數(shù)據(jù)的發(fā)展離不開數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲，引入國家的責(zé)任即是我們的責(zé)任，鼓勵同學(xué)們學(xué)好網(wǎng)絡(luò)爬蟲技術(shù)，學(xué)好專業(yè)課,培養(yǎng)同學(xué)們的社會責(zé)任感。課程學(xué)習(xí)中進(jìn)行分組（能力強的同學(xué)和能力弱的同學(xué)相結(jié)合）共同完成一個項目，在做項目過程中，每個同學(xué)要保持謙虛謹(jǐn)慎、對人和善、助人為樂的精神，通過團(tuán)隊合作找出解決問題的方法，培養(yǎng)學(xué)生團(tuán)隊精神和探索精神，培養(yǎng)學(xué)生不畏艱難、不斷追求的科學(xué)精神。嚴(yán)格的語法規(guī)則引入“矩不正，不可為方；規(guī)不正，不可為圓”。大到社會、國家，小到學(xué)校、班級和小組都有一定的規(guī)則和紀(jì)律，只有我們每個人都遵守規(guī)則和紀(jì)律，學(xué)校、社會和國家才能夠正常運行，班級才能夠更好的發(fā)展，小組才能夠更好的發(fā)展。鼓勵學(xué)生多實踐，多敲代碼，讓學(xué)生明白用理論來推動實踐，用實踐來修正或補充理論。程序設(shè)計是將面向?qū)ο蟮乃枷胗么a來實現(xiàn)，歸根結(jié)底是要多敲代碼，多練習(xí)，告訴學(xué)生切勿復(fù)制粘貼代碼，竊取他人勞動成果，自己要獨立編寫代碼，成功是靠自己打拼的，幸福是靠自己打造的，快樂是靠自己創(chuàng)造的，未來能走多遠(yuǎn)關(guān)鍵在于平日的實際行動。操作系統(tǒng)：CenterOS7和Windows10開發(fā)工具：JDK、VMwareWorkstation、PyCharm、xshell。三、課程的主要內(nèi)容及基本要求項目一網(wǎng)頁數(shù)據(jù)爬取學(xué)習(xí)單元網(wǎng)頁數(shù)據(jù)爬取課時14課時學(xué)習(xí)目標(biāo)熟練掌握第三方庫安裝方法熟練掌握requests庫使用熟練掌握re庫使用熟練掌握json數(shù)據(jù)爬取方式熟練使用Python的多進(jìn)程爬取數(shù)據(jù)熟練掌握爬蟲結(jié)果亂碼處理方式學(xué)習(xí)內(nèi)容知識點了解熟悉掌握重點難點第三方庫安裝√√√第三方庫使用√Json數(shù)據(jù)爬取√√中文亂碼問題處理√項目開發(fā)流程√√關(guān)鍵字搜索方法√重定向網(wǎng)頁過濾方法√AJAX網(wǎng)站爬取√數(shù)據(jù)保存√信息保存至MongoDB√項目二特殊網(wǎng)頁數(shù)據(jù)獲取學(xué)習(xí)單元特殊網(wǎng)頁數(shù)據(jù)獲取課時14課時學(xué)習(xí)目標(biāo)熟練掌握通過表單登錄實現(xiàn)模擬登錄的流程熟練掌握驗證碼的識別熟練掌握使用代理處理反爬蟲掌握使用Requests庫實現(xiàn)請求掌握使用Chrome開發(fā)者工具查找模擬登錄需要的相關(guān)信息掌握表單登錄的流程掌握安裝Tesseract工具和配置環(huán)境熟悉PIL和tesseract庫掌握利用pytesseract識別簡單的圖形驗證碼學(xué)習(xí)內(nèi)容知識點了解熟悉掌握重點難點Requests庫使用√√Tesseract工具使用和環(huán)境配置√√模擬登錄流程√√驗證碼的處理√√實現(xiàn)模擬登錄√√驗證碼識別√√使用代理處理反爬蟲√√PIL和tesseract庫使用√√Flask+Redis維護(hù)代理池√√數(shù)據(jù)信息至mongoDB√√項目三scrapy框架爬蟲學(xué)習(xí)單元scrapy框架爬蟲課時14課時學(xué)習(xí)目標(biāo)掌握使用Scrapy創(chuàng)建爬蟲項目的方式掌握Scrapy創(chuàng)建爬蟲文件命令的使用掌握使用Scrapy進(jìn)行數(shù)據(jù)爬取的基本方法掌握使用Scrapy模擬登錄趕集網(wǎng)的方法掌握將爬取結(jié)果存儲到MySQL數(shù)據(jù)庫的方法掌握Ajax數(shù)據(jù)爬取方式學(xué)習(xí)內(nèi)容知識點了解熟悉掌握重點難點Scrapy創(chuàng)建爬蟲項目的方式√Scrapy常見命令的使用√√√Scrapy模擬登錄的方式√Scrapy數(shù)據(jù)存儲的方式√Scrapy程序運行√√項目四分布式爬蟲學(xué)習(xí)單元分布式爬蟲課時22課時學(xué)習(xí)目標(biāo)掌握VMWare虛擬機的安裝方法掌握在CentOS的安裝和配置方法掌握在CentOS上安裝Python的方法掌握在CentOS中安裝部署scrapy方法掌握在CentOS中安裝部署scrapy-redis方法掌握克隆虛擬機的方法掌握在Windows中安裝Redis數(shù)據(jù)庫的方法掌握scrapy-redis的編碼方式學(xué)習(xí)內(nèi)容知識點了解熟悉掌握重點難點VMWare虛擬機的安裝√√CentOS的安裝和配置√CentOS安裝Python√√CentOS安裝部署scrapy√√CentOS安裝部署scrapy-redis√√克隆虛擬機√Windows中安裝Redis數(shù)據(jù)庫√√scrapy-redis的運行方式√√√四、課時分配章目講課上機合計項目一網(wǎng)頁數(shù)據(jù)爬取6課時8課時14課時項目二特殊網(wǎng)頁數(shù)據(jù)獲取6課時8課時14課時項目三scrapy框架爬蟲6課時8課時14課時項目四分布式爬蟲10課時12課時22課時合計28課時36課時64課時五、考核模式與成績評定辦法本課程為考試課程，期末考試采用百分制的閉卷考試模式。學(xué)生的考試成績由平時成績（30%）和期末考試（70%）組成，其中，平時成績包括出勤（5%）、作業(yè)（5%）、上機成績（20%）。六、選用教材和主要參考書本大綱是根據(jù)教材《網(wǎng)絡(luò)爬蟲項目實踐》所設(shè)計的。七、大綱說明本課程的授課模式為：課堂授課+上機，其中，課堂主要采用多媒