《網(wǎng)絡(luò)爬蟲技術(shù)》課程標(biāo)準(zhǔn)（高職）

《網(wǎng)絡(luò)爬蟲技術(shù)》課程標(biāo)準(zhǔn)【課程名稱】網(wǎng)絡(luò)爬蟲技術(shù)【開課時(shí)間】第4學(xué)期【學(xué)時(shí)/學(xué)分?jǐn)?shù)】64學(xué)時(shí)/4學(xué)分【課程類型】專業(yè)核心課程【授課對(duì)象】大數(shù)據(jù)專業(yè)學(xué)生二、課程定位1、課程性質(zhì)：該課程為專業(yè)核心課程；是大數(shù)據(jù)專業(yè)的必修課；是一門理論與實(shí)踐相結(jié)合的課程。2、課程任務(wù)：本課程的主要目標(biāo)是以爬蟲工程師崗位的基本要求為指導(dǎo)，依據(jù)該崗位真實(shí)業(yè)務(wù)內(nèi)容與流程選取課程內(nèi)容、構(gòu)建學(xué)習(xí)單元，將目前爬蟲程序必備功能組件如網(wǎng)頁(yè)數(shù)據(jù)下載、數(shù)據(jù)分析、數(shù)據(jù)存儲(chǔ)、網(wǎng)頁(yè)地柜爬取等技術(shù)作為項(xiàng)目中的系列任務(wù)。課程內(nèi)容編排符合循序漸進(jìn)的認(rèn)知規(guī)律，培養(yǎng)學(xué)生的網(wǎng)頁(yè)爬蟲實(shí)際應(yīng)用能力。三、課程目標(biāo)本課程內(nèi)容涵蓋了學(xué)生在“基本理論”、“基本技能”和“實(shí)戰(zhàn)項(xiàng)目”三個(gè)層次的培養(yǎng)。以網(wǎng)頁(yè)爬蟲開發(fā)崗位必備的開發(fā)技能為重點(diǎn)并具備相應(yīng)的理論基礎(chǔ)的同時(shí)，注意實(shí)際工作中業(yè)務(wù)場(chǎng)景，從而培養(yǎng)學(xué)生的數(shù)據(jù)爬取能力。3、課程銜接：先行課程包括《web應(yīng)用開發(fā)技術(shù)》、《python基礎(chǔ)》、《數(shù)據(jù)庫(kù)基礎(chǔ)建議》等。三、課程培養(yǎng)目標(biāo)通過(guò)本課程的學(xué)習(xí)，旨在對(duì)學(xué)生的程序設(shè)計(jì)思想和技能進(jìn)行強(qiáng)化，培養(yǎng)學(xué)生利用主流scrapy框架進(jìn)行爬蟲項(xiàng)目的設(shè)計(jì)和開發(fā)的能力。（一）專業(yè)能力.具有使用ullib實(shí)現(xiàn)網(wǎng)頁(yè)下載的能力；.具有使用正則表達(dá)式獲取網(wǎng)頁(yè)數(shù)據(jù)的能力；.具有使用beautifulsoup工具選擇數(shù)據(jù)的能力；4.具有使用xpath、css選擇數(shù)據(jù)的能力；；.具有使用scrapy編寫網(wǎng)頁(yè)爬蟲程序的能力；.具有使用item、pipeline實(shí)現(xiàn)數(shù)據(jù)序列化與存儲(chǔ)的能力；7.具有使用scrapy實(shí)現(xiàn)網(wǎng)頁(yè)遞歸爬取的能力；.具有進(jìn)行網(wǎng)站爬蟲程序綜合開發(fā)通用能力；（二）方法能力.在學(xué)習(xí)過(guò)程中，學(xué)會(huì)運(yùn)用觀察、實(shí)驗(yàn)、查閱資料等多種手段獲取信息，并運(yùn)用比較、分類、歸納、概括等方法對(duì)信息進(jìn)行加工；.能對(duì)自己的學(xué)習(xí)過(guò)程進(jìn)行計(jì)劃、反思、評(píng)價(jià)和調(diào)控，提高自主學(xué)習(xí)的能力；.通過(guò)理論知識(shí)和實(shí)踐活動(dòng)相結(jié)合的一體化學(xué)習(xí)過(guò)程,深入了解實(shí)踐和理論之間的相互關(guān)系；.通過(guò)各種實(shí)踐活動(dòng)，嘗試經(jīng)過(guò)思考發(fā)表自己的見解，嘗試運(yùn)用技術(shù)知識(shí)和研究方法解決一些工程實(shí)踐問題；.具有一定的質(zhì)疑能力，分析、解決問題能力，交流、合作能力。（三）社會(huì)能力.能領(lǐng)略本領(lǐng)域科技發(fā)展的過(guò)程，激發(fā)對(duì)科學(xué)技術(shù)探究的好奇心與求知欲，能體驗(yàn)技術(shù)改革的艱辛與喜悅；.有參與科技活動(dòng)的熱情，有將科學(xué)知識(shí)應(yīng)用于生活和生產(chǎn)實(shí)踐的意識(shí)，勇于探究各種工程問題。.具有敢于堅(jiān)持真理、勇于創(chuàng)新和實(shí)事求是的科學(xué)態(tài)度和科學(xué)精神；.有主動(dòng)與他人合作的精神，有將自己的見解與他人交流的愿望，敢于堅(jiān)持正確觀點(diǎn)，勇于修正錯(cuò)誤，具有團(tuán)隊(duì)精神；.養(yǎng)成認(rèn)真細(xì)致、實(shí)事求是、積極探索的科學(xué)態(tài)度和工作作風(fēng)，形成理論聯(lián)系實(shí)際、自主學(xué)習(xí)和探索創(chuàng)新的良好習(xí)慣；.關(guān)心國(guó)內(nèi)、外科技發(fā)展現(xiàn)狀與趨勢(shì)，有振興中華的使命感與責(zé)任感，有將科學(xué)技術(shù)服務(wù)于人類的意識(shí)。四、課程內(nèi)容和要求課程內(nèi)容按照由淺入深、由易到難、循序漸進(jìn)的認(rèn)知規(guī)律，包含爬蟲概述一一前置技能準(zhǔn)備一一ullib實(shí)現(xiàn)網(wǎng)站下載一一使用正則表達(dá)式獲取網(wǎng)頁(yè)數(shù)據(jù)一一使用beautifulsoup工具選擇數(shù)據(jù)使用xpath、css選擇數(shù)據(jù)使用scrapy編寫網(wǎng)頁(yè)爬蟲程序使用item、pipeline實(shí)現(xiàn)數(shù)據(jù)序列化與存儲(chǔ)使用scrapy實(shí)現(xiàn)網(wǎng)頁(yè)遞歸爬取九大教學(xué)單元，其具體要求如下表：

序號(hào)教學(xué)單元知識(shí)要求技能要求與情感目標(biāo)思政目標(biāo)思政元素建議課時(shí)(實(shí)踐課)1爬蟲概述.能夠初步了解爬蟲的科念，了解爬蟲的歷史、發(fā)展、功能等.了解現(xiàn)有的爬蟲工具，使用爬蟲工具爬取一次數(shù)據(jù).具備信息收集和信息處理能力.具備自學(xué)能力，能適應(yīng)行業(yè)的不斷變革發(fā)展.具備一定的設(shè)計(jì)素養(yǎng)爬蟲工具的使用，簡(jiǎn)單的數(shù)據(jù)爬取項(xiàng)目用了解職業(yè)的社會(huì)價(jià)值和需求，引發(fā)學(xué)習(xí)興趣激發(fā)學(xué)生為中國(guó)信息技術(shù)發(fā)展做出貢獻(xiàn)的使命感。L愛國(guó)2.職業(yè)情感82前置技能準(zhǔn)備python語(yǔ)言回顧web開發(fā)基礎(chǔ)回顧具備一定的互聯(lián)網(wǎng)和網(wǎng)頁(yè)知識(shí)使用python編寫一個(gè)程序，使用web開發(fā)一個(gè)網(wǎng)頁(yè)激發(fā)學(xué)生好奇心與求知欲的科學(xué)興趣以及社會(huì)責(zé)任感。1.踏實(shí)、責(zé)任2.科學(xué)素養(yǎng)83ullib實(shí)炯站下載.搭建前端開發(fā)環(huán)境.搭建后端靜態(tài)網(wǎng)頁(yè).利用ur11ib下載后端網(wǎng)次.編寫程序?qū)崿F(xiàn)編碼(GBK,UTF-8)的自動(dòng)識(shí)別與轉(zhuǎn)換.存儲(chǔ)網(wǎng)頁(yè)到文件或數(shù)據(jù)庫(kù)能夠通過(guò)ullib網(wǎng)頁(yè)下載函數(shù)方法下載網(wǎng)頁(yè)，實(shí)現(xiàn)編碼的轉(zhuǎn)換形成開放的視野，勇于探索、質(zhì)疑、獨(dú)立思考、互助合作的科學(xué)精神1.哲學(xué)素養(yǎng)2.科學(xué)素養(yǎng)84使用正則表達(dá)式獲取網(wǎng)頁(yè)數(shù)據(jù)L搭建前端開發(fā)環(huán)境2,搭建后端靜態(tài)網(wǎng)頁(yè).利用urllib下載后端網(wǎng)頁(yè),使用正則表達(dá)式匹配并提取網(wǎng)頁(yè)數(shù)據(jù)能夠根據(jù)功能組件的不同實(shí)現(xiàn)需求，使用正則表達(dá)式匹配并提取網(wǎng)頁(yè)中的數(shù)據(jù)溝通、協(xié)作、主動(dòng)、堅(jiān)持的職業(yè)意識(shí)；勇于探索、質(zhì)疑、獨(dú)立思考、互助合作的科學(xué)精神1.職業(yè)意識(shí)2.科學(xué)素養(yǎng)65使用beautifulsoup工具選擇數(shù)據(jù).搭建前端開發(fā)環(huán)境.搭建后端靜態(tài)網(wǎng)頁(yè).利用urllib下載后端網(wǎng)頁(yè).使用beautifulsoup提取網(wǎng)頁(yè)的數(shù)據(jù).存儲(chǔ)提取的數(shù)據(jù)能夠使用beautifulsoup工具選擇數(shù)據(jù)，掌握f(shuō)ind.all等常用方法形成國(guó)標(biāo)意識(shí)，土吾養(yǎng)嚴(yán)謹(jǐn)、認(rèn)真的工作態(tài)度；養(yǎng)成獨(dú)立思考、互助合作的科學(xué)精神1.合作2.探究3.創(chuàng)新6

6使用xpath、css選擇數(shù)據(jù).搭建前端開發(fā)環(huán)境.搭建后端靜態(tài)網(wǎng)頁(yè).利用urllib下載后端網(wǎng)頁(yè).使用xpath>css摘又網(wǎng)頁(yè)的數(shù)據(jù).存儲(chǔ)提取的數(shù)據(jù)使用xpath>css選擇復(fù)雜的數(shù)據(jù)形成開放的視野，勇于探索、質(zhì)疑、獨(dú)立思考、互助合作的科學(xué)精神1.哲學(xué)素養(yǎng)2.科學(xué)素養(yǎng)67使用scrapy編寫網(wǎng)頁(yè)爬蟲程序.搭建scrapy開發(fā)環(huán)境.搭建web后臺(tái)網(wǎng)頁(yè).使用scrapy爬取網(wǎng)頁(yè)文件.使用xpath>css蛔^特征數(shù)據(jù)能夠使用scrapy網(wǎng)頁(yè)爬取的工作流程爬取單個(gè)網(wǎng)頁(yè)的某幾個(gè)特征數(shù)據(jù)愛崗、忠誠(chéng)、敬業(yè)、誠(chéng)信、踏實(shí)的職業(yè)態(tài)度；實(shí)事求是、勇于探索、質(zhì)疑、獨(dú)立思考、互助合作的科學(xué)精神1.愛崗敬業(yè)2.團(tuán)隊(duì)合作3.科學(xué)精神68使用item、pipeline^51數(shù)據(jù)序列化與存儲(chǔ).搭建scrapy開發(fā)環(huán)境.搭建web后臺(tái)網(wǎng)頁(yè).使用scrapy爬取1網(wǎng)頁(yè)文件4,使用item、pipeline提取與存儲(chǔ)數(shù)據(jù)能夠使用scrapy中pipeline進(jìn)行數(shù)據(jù)提取與數(shù)據(jù)存儲(chǔ)具備團(tuán)隊(duì)合作意識(shí)和能力；愛崗、忠誠(chéng)、敬業(yè)、誠(chéng)信、踏實(shí)的職業(yè)態(tài)度1.敬業(yè)2.創(chuàng)新3.團(tuán)隊(duì)合作89使用scrapy實(shí)現(xiàn)網(wǎng)頁(yè)遞歸爬取.搭建scrapy開發(fā)環(huán)境.搭建web后臺(tái)眾多關(guān)聯(lián)網(wǎng)頁(yè).使用scrapy爬取多層嵌套與關(guān)聯(lián)的網(wǎng)頁(yè)文.使用item、pipeline提取與存儲(chǔ)數(shù)據(jù)能夠使用scrapy中spider的網(wǎng)頁(yè)遞歸爬取循環(huán)，實(shí)現(xiàn)數(shù)據(jù)的提取與存儲(chǔ)激發(fā)學(xué)生好奇心與求知欲的科學(xué)興趣以及社會(huì)責(zé)任感。1.踏實(shí)、責(zé)任2.科學(xué)素養(yǎng)8五、實(shí)施建議（一）教材選用與編寫本課程教材的選用，一方面考慮教材是否能反映數(shù)據(jù)庫(kù)技術(shù)的理論和實(shí)踐發(fā)展最新成果，另一方面也考慮依據(jù)教學(xué)模式選取適應(yīng)的教材。為此，建議采用《Python網(wǎng)絡(luò)爬蟲開發(fā)從入門到精通》，劉延林主編，北京大學(xué)出版社，2019年推薦教材：《Python3網(wǎng)絡(luò)爬蟲寶典》韋世東主編電子工業(yè)出版社，2020年《Python3網(wǎng)絡(luò)爬蟲開發(fā)實(shí)戰(zhàn)》崔慶才主編人民郵電出版社，2018年（二）教學(xué)建議.教學(xué)目標(biāo)要符合學(xué)生專業(yè)發(fā)展水平和已有的經(jīng)驗(yàn)，做到精選學(xué)習(xí)內(nèi)容，使課程不斷適應(yīng)學(xué)生知識(shí)掌握和能力發(fā)展的需要；充實(shí)最新成果，堅(jiān)持以高職教育技能型人才培養(yǎng)目標(biāo)為依據(jù),遵循“以應(yīng)用為目的，以必需、夠用為度”的原則，以“髓概念、強(qiáng)化應(yīng)用、培養(yǎng)技能”為重點(diǎn)，力圖做“精選內(nèi)容、降（雌論、加強(qiáng)基礎(chǔ)、突出應(yīng)用”，緊緊圍繞“液壓氣壓傳動(dòng)系統(tǒng)的應(yīng)用”這個(gè)中心目標(biāo)組織教學(xué)。.教學(xué)方法要符合學(xué)生的發(fā)展水平和特點(diǎn)。要以案例教學(xué)、任務(wù)驅(qū)動(dòng)為主要方法，重視小組合作學(xué)習(xí)，強(qiáng)化課程實(shí)踐訓(xùn)練，關(guān)注學(xué)生主體意識(shí)培養(yǎng)，及在理論指導(dǎo)下的實(shí)踐和實(shí)踐中的理論提升，做到知識(shí)內(nèi)化。.教學(xué)中應(yīng)強(qiáng)調(diào)以學(xué)生發(fā)展為中心，幫助學(xué)生學(xué)會(huì)學(xué)習(xí)，通過(guò)詳細(xì)的學(xué)習(xí)液壓傳動(dòng)來(lái)學(xué)會(huì)氣壓傳動(dòng)。.教學(xué)手段應(yīng)采取多種手段，如教學(xué)課件、教學(xué)視頻、教學(xué)動(dòng)畫、輔助軟件、實(shí)驗(yàn)實(shí)訓(xùn)等多種方式。在課堂組織實(shí)施過(guò)程中體現(xiàn)愛國(guó)、敬業(yè)、誠(chéng)信、自控、創(chuàng)新、嚴(yán)謹(jǐn)、團(tuán)結(jié)互助等元素，使學(xué)生潛移默化形成良好的態(tài)度和習(xí)慣。.教學(xué)管理要既重視學(xué)習(xí)結(jié)果又重視學(xué)習(xí)過(guò)程的全程性管理。需要加強(qiáng)對(duì)學(xué)生學(xué)習(xí)過(guò)程管理，科學(xué)引導(dǎo)學(xué)生進(jìn)行學(xué)習(xí)，提高學(xué)習(xí)效果。（三）教學(xué)基本條件教師需具備本專業(yè)本科及其以上學(xué)歷，要有一定的網(wǎng)絡(luò)爬蟲技術(shù)理論基礎(chǔ)，了解國(guó)內(nèi)外行業(yè)發(fā)展的動(dòng)態(tài)，一定的企業(yè)實(shí)際工作經(jīng)歷，具有良好的教師職業(yè)精神；教學(xué)場(chǎng)所需要多媒體的教室；實(shí)驗(yàn)室擁有專用服務(wù)器，投影儀等。為學(xué)生網(wǎng)絡(luò)課程提供了良好的實(shí)驗(yàn)環(huán)境。（四）課程資源的開發(fā)與利用本課程研發(fā)有完整的課程標(biāo)準(zhǔn)、學(xué)習(xí)指南、授課計(jì)劃、教案、課件、教學(xué)案例等資源可供學(xué)習(xí)使用。（五）教學(xué)評(píng)價(jià)本課程注重學(xué)生的形成性評(píng)價(jià)，采用卷面閉卷考試和過(guò)程性學(xué)習(xí)相結(jié)合的辦法，出勤成績(jī)占20%,過(guò)程性評(píng)價(jià)成績(jī)占30%,期末卷面成績(jī)占50%。.出勤成績(jī)：占20%o.過(guò)程性評(píng)價(jià)：作業(yè)、課堂表現(xiàn)、平常測(cè)驗(yàn)情況占30%。3,期末考試：占50%,采用閉卷考試的形式。本課程期末考試既重視基礎(chǔ)知識(shí)、原理、基本方法的考核，也重視動(dòng)手操作等能力的考核，還重視學(xué)生對(duì)知識(shí)綜合程度和運(yùn)用的考核?？荚嚇?biāo)準(zhǔn)參照教學(xué)要求分為識(shí)記、理解、遷移與應(yīng)用、綜合四個(gè)層次。六、教學(xué)單元設(shè)計(jì)

教學(xué)單元教學(xué)要點(diǎn)理論實(shí)踐教學(xué)重點(diǎn)教學(xué)情境與教學(xué)設(shè)計(jì)建議學(xué)時(shí)爬蟲概述.課程認(rèn)知.具備信息收集和信息處理能力,具備自學(xué)能力，能適應(yīng)行業(yè)的不斷變革發(fā)展.具備一定的設(shè)計(jì)素養(yǎng)L能夠初步了解爬蟲的概念，了解爬蟲的歷史、發(fā)展、功能等2.了解現(xiàn)有的爬蟲工具，使用爬蟲工具爬取一次數(shù)據(jù)課堂講解掌握爬蟲工具的使用，簡(jiǎn)單的數(shù)據(jù)爬取項(xiàng)目用收集任務(wù)資訊，下發(fā)任務(wù)說(shuō)明書和相關(guān)參考資料；分析任務(wù)要求，制定任務(wù)工作計(jì)劃，確定工作方案；任務(wù)實(shí)施：講解相應(yīng)命令操作多媒體展示程序運(yùn)行效果，說(shuō)明標(biāo)準(zhǔn)，完整演示編程過(guò)程；組織討論和總結(jié)8前置技能準(zhǔn)備.python語(yǔ)言同顧.web開發(fā)基礎(chǔ)回顧.具備一定的互聯(lián)網(wǎng)和網(wǎng)頁(yè)知識(shí).python語(yǔ)言同顧.web開發(fā)基礎(chǔ)回顧,具備一定的互聯(lián)網(wǎng)和網(wǎng)頁(yè)知識(shí)使用python編寫一個(gè)程序，使用web開發(fā)一個(gè)網(wǎng)頁(yè)掌握使用python獨(dú)立編寫一個(gè)程序，使用web開發(fā)一個(gè)網(wǎng)頁(yè)任務(wù)資訊，下發(fā)任務(wù)說(shuō)明書和相關(guān)參考資料任務(wù)要求，制定任務(wù)工作計(jì)劃，確定工作力果。實(shí)施：講解相應(yīng)命令操作多媒體展示程序運(yùn)行效果，說(shuō)明標(biāo)準(zhǔn)，完整演示編程過(guò)程4、技能實(shí)訓(xùn)，拓展知識(shí)組織討論和總結(jié)233ullib實(shí)現(xiàn)網(wǎng)站下載.編寫程序?qū)崿F(xiàn)編碼(GBK,UTF-8)的自動(dòng)識(shí)別與轉(zhuǎn)換.存儲(chǔ)網(wǎng)頁(yè)到文件或數(shù)據(jù)庫(kù).搭建前端開發(fā)環(huán)境.搭建后端靜態(tài)網(wǎng)頁(yè).利用urllib下載后端網(wǎng)頁(yè)課堂案例ullib網(wǎng)頁(yè)下載函數(shù)方法下載網(wǎng)頁(yè)，實(shí)現(xiàn)編碼的轉(zhuǎn)換能夠通過(guò)ullib網(wǎng)頁(yè)下載函數(shù)方法卜載網(wǎng)頁(yè)，實(shí)現(xiàn)編碼的轉(zhuǎn)接提前下達(dá)任務(wù)書，讓學(xué)生收集資料，展開前期的自學(xué)。任務(wù)分析和分解，規(guī)劃任務(wù)方案。任務(wù)實(shí)施：技能實(shí)訓(xùn)和知識(shí)拓展44使用正則表達(dá)式獲取網(wǎng)頁(yè)數(shù)據(jù)1.使用正則表達(dá)式匹配并提取網(wǎng)頁(yè)數(shù)據(jù)L正則表達(dá)式概念2.正則表達(dá)式規(guī)則課堂案例使用正則表達(dá)式匹配并提取網(wǎng)頁(yè)中的掌握根據(jù)功能組件的不同實(shí)現(xiàn)需求，使用正則表達(dá)式匹配并提取網(wǎng)頁(yè)中的數(shù)據(jù)下達(dá)任務(wù)，讓學(xué)生收集資料，展開前期的自學(xué)，擺出問題。分析和分解，規(guī)劃任務(wù)方案。24使用beautifulsoupT具選擇數(shù)據(jù).使用beautifulsoup提取網(wǎng)頁(yè)的數(shù)據(jù).存儲(chǔ)提取的數(shù)據(jù)1.beautifulsoup工具的使用課堂案例beautifulsoup工具選擇數(shù)據(jù)，掌握f(shuō)ind_all等常用方法掌握使用beautifulsoup.T具選擇數(shù)據(jù)，掌握End_all等常用方法明確任務(wù)、根據(jù)用戶需求進(jìn)行分析；根據(jù)任務(wù)要求，個(gè)人站點(diǎn)頁(yè)面6使用xpath>css選擇數(shù)據(jù).使用xpathcss提取網(wǎng)頁(yè)的數(shù)據(jù).存儲(chǔ)提取的數(shù)據(jù)1.Xpath概述課堂案例xpathacss選擇復(fù)雜的數(shù)據(jù)掌握使用xpath>css選擇復(fù)雜的數(shù)據(jù)明確任務(wù)、根據(jù)用戶需求進(jìn)行分析；根據(jù)任務(wù)要求，家庭生活照片6使用scrapy編寫網(wǎng)頁(yè)爬蟲程序.揄Sscrapy開發(fā)環(huán)境.建web后臺(tái)網(wǎng)頁(yè).使用scrapyJ型取網(wǎng)頁(yè)文件.使用xpath>css獲取特征數(shù)據(jù)1.Scrapy概述課堂案例scrapy網(wǎng)頁(yè)爬取的工作流程爬取單個(gè)網(wǎng)頁(yè)的某幾個(gè)特征數(shù)掌握使用scrapy網(wǎng)頁(yè)爬取的工作流程爬取單