Python網(wǎng)絡(luò)爬蟲程序技術(shù) （微課版）配套教案04

第頁項目4爬取圖書網(wǎng)站數(shù)據(jù)課時內(nèi)容授課時間課時scrapy框架爬蟲程序90分鐘講授6實踐6教學(xué)目標(biāo)教學(xué)重點學(xué)習(xí)使用scrapy爬取包含多個網(wǎng)頁的圖書網(wǎng)站的數(shù)據(jù)，實現(xiàn)爬取圖書網(wǎng)站數(shù)據(jù)的爬蟲程序。教學(xué)難點了解scrapy項目的框架結(jié)構(gòu)。學(xué)習(xí)scrapy與BeautifulSoup的混合使用方法。。了解scrapy的分布式的特性。學(xué)習(xí)在scrapy中使用XPath的方法。學(xué)習(xí)管道方法存儲數(shù)據(jù)。教學(xué)設(shè)計1.教學(xué)思路：（1）通過講解scrapy框架、分布式的特征，XPath方法、管道方法等相關(guān)知識，讓學(xué)生了解scrapy框架；（2）講解制作模擬圖書網(wǎng)站的爬取，讓學(xué)生掌握上述知識點的基本操作；（3）安排練習(xí)爬取實際圖書網(wǎng)站，鞏固學(xué)生掌握的技能。2.教學(xué)手段：（1）講解基礎(chǔ)知識，講解結(jié)束后開始實踐并進行疑難解答；（2）通過實戰(zhàn)項目，讓學(xué)生掌握爬蟲程序在實際工作中的相關(guān)應(yīng)用。3.教學(xué)要求：可對實際外匯圖書進行爬取，讓學(xué)生了解爬蟲爬取圖書網(wǎng)站應(yīng)該掌握的技能。教學(xué)內(nèi)容1.1圖書網(wǎng)站項目任務(wù)1.2scrapy創(chuàng)建爬蟲程序1.2.1創(chuàng)建網(wǎng)站服務(wù)器1.2.2安裝scrapy框架1.2.3創(chuàng)建scrapy項目1.2.4入口函數(shù)與入口地址1.2.5Python的yield語句1.3scrapy通過BeautifulSoup爬取數(shù)據(jù)1.3.1創(chuàng)建模擬圖書網(wǎng)站1.3.2解析網(wǎng)站HTML代碼1.3.3爬取圖書圖像1.3.4編寫爬蟲程序1.3.5執(zhí)行爬蟲程序1.4scrapy通過xpath查找元素1.4.1scrapy的xpath簡介1.4.2xpath查找HTML元素1.4.3使用xpath與BeautifulSoup1.5scrapy爬取關(guān)聯(lián)網(wǎng)頁數(shù)據(jù)1.5.1創(chuàng)建模擬圖書網(wǎng)站1.5.2程序爬取網(wǎng)頁的順序1.5.3理解scrapy分布式1.6scrapy通過xpath爬取數(shù)據(jù)1.6.1創(chuàng)建模擬圖書網(wǎng)站1.6.2解析網(wǎng)站HTML代碼1.6.3爬取圖書圖像1.6.4設(shè)計數(shù)據(jù)庫存儲1.6.5編寫爬蟲程序1.6.6執(zhí)行爬蟲程序1.7scrapy通過管道存儲數(shù)據(jù)1.7.1創(chuàng)建模擬圖書網(wǎng)站1.7.2編寫數(shù)據(jù)字段類1.7.3編寫爬蟲程序類1.7.4編寫數(shù)據(jù)管道類1.7.5設(shè)置scrapy的配置文件1.7.6執(zhí)行爬蟲程序1.8綜合項目爬取模擬圖書網(wǎng)站數(shù)據(jù)1.8.1創(chuàng)建模擬圖書網(wǎng)站1.8.2編寫數(shù)據(jù)字段類1.8.3編寫數(shù)據(jù)管道類1.8.4編寫爬蟲程序類1.8.5設(shè)置scrapy的配置文件1.8.6執(zhí)行爬蟲程序1.9實戰(zhàn)項目爬取實際圖書網(wǎng)站數(shù)據(jù)1.9.1解析網(wǎng)站HTML代碼1.9.2爬取網(wǎng)站圖書數(shù)據(jù)1.9.3實現(xiàn)自動翻頁1.9.4編寫爬蟲程序1.9.5執(zhí)行爬蟲程序小結(jié)掌握了使用scrapy高效爬取包含多個網(wǎng)頁的網(wǎng)站的數(shù)據(jù)，實現(xiàn)了爬取圖書網(wǎng)站數(shù)據(jù)的爬蟲程序。課程安排課程實踐環(huán)境Python3.6+vsCodeIDE教材及參考書教材《Python爬蟲項目教程》（微課版