大數(shù)據(jù)采集與預(yù)處理-教學(xué)計(jì)劃（64版本）

PAGE1PAGE6——大學(xué)學(xué)期授課計(jì)劃表一基本信息與審批執(zhí)行時(shí)間學(xué)年第學(xué)期課程信息課程名稱學(xué)分4課程代碼開課學(xué)院課程標(biāo)準(zhǔn)制（修）訂人李俊翰最新制（修）訂時(shí)間課程類別與性質(zhì)□公共基礎(chǔ)平臺(tái)課（公共必修課）￡專業(yè)群基礎(chǔ)平臺(tái)課（專業(yè)必修課）R專業(yè)群方向課（專業(yè)必修課）□素質(zhì)拓展課（公共選修課）￡專業(yè)拓展課（專業(yè)選修課）考核方式R考試￡考查適用授課專業(yè)及班級(jí)任課教師使用教材書名《大數(shù)據(jù)采集與預(yù)處理》出版社編著者出版時(shí)間課程標(biāo)準(zhǔn)規(guī)定總課時(shí)64，其中理論教學(xué)32課時(shí)，實(shí)踐教學(xué)32課時(shí)。課程教學(xué)周數(shù)16（起止周：第2-17周）周課時(shí)數(shù)2課時(shí)分配理論教學(xué)32編制說明：1.本課程采用理實(shí)一體混合式授課教學(xué)模式，課程安排在多媒體教室，具備多媒體網(wǎng)絡(luò)教學(xué)設(shè)備等資源。2.本課程在課程標(biāo)準(zhǔn)規(guī)定的課時(shí)外，另增加的學(xué)生線上學(xué)習(xí)14學(xué)時(shí)作為學(xué)生課后自學(xué)。線上學(xué)習(xí)學(xué)時(shí)不納入總課時(shí)。實(shí)踐教學(xué)32節(jié)假日等機(jī)動(dòng)課時(shí)0合計(jì)643.課程教學(xué)網(wǎng)址：/course/online/detail?id=3345721044.授課計(jì)劃一教師一計(jì)劃。學(xué)生課外線上學(xué)習(xí)學(xué)時(shí)數(shù)14編制教師簽字制訂時(shí)間平臺(tái)/模塊主任審核簽字系（群）主任審核簽字二級(jí)學(xué)院教學(xué)院長審定簽字備注：功能性學(xué)院系（群）主任審核不簽。表二課程學(xué)期授課計(jì)劃表周次周內(nèi)課次本次課時(shí)授課方式授課內(nèi)容思政點(diǎn)課外作業(yè)課外線上學(xué)時(shí)備注第二周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)1Python環(huán)境搭建任務(wù)描述Python概述Python編程環(huán)境搭建安裝集成開發(fā)環(huán)境PyCharmPython的數(shù)據(jù)類型1.6Python語句與函數(shù)安全用電規(guī)范操作P31習(xí)題1-2022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)2實(shí)現(xiàn)簡(jiǎn)單數(shù)據(jù)采集2.1任務(wù)描述2.2網(wǎng)絡(luò)爬蟲基礎(chǔ)知識(shí)2.3網(wǎng)絡(luò)基礎(chǔ)知識(shí)2.4requests庫的安裝及使用2.5lxml庫和BeautifulSoup庫的安裝及使用自主學(xué)習(xí)規(guī)范操作0線上總第1次1線上自學(xué)1.3.2

在Linux環(huán)境下的安裝1.3.3

在MacOS環(huán)境下的安裝獨(dú)立自主的學(xué)習(xí)能力1微課PPT第三周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)3存儲(chǔ)數(shù)據(jù)3.1任務(wù)描述3.2CSV和JSON格式3.3任務(wù)實(shí)現(xiàn)法律意識(shí)珍惜環(huán)境勤奮學(xué)習(xí)022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)3存儲(chǔ)數(shù)據(jù)3.1任務(wù)描述3.3MySQL的安裝及使用3.4PyMySQL的使用3.5任務(wù)實(shí)現(xiàn)法律意識(shí)珍惜環(huán)境勤奮學(xué)習(xí)P46習(xí)題1-20線上總第2次1線上自學(xué)2.2.1

網(wǎng)絡(luò)爬蟲的概述2.2.2

爬蟲的道德和法律2.2.3Python爬蟲的工作過程總結(jié)歸納、獨(dú)立思考的能力1微課PPT第四周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)4靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)采集4.4任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站A靜態(tài)數(shù)據(jù)4.4.1頁面分析4.4.2獲取靜態(tài)數(shù)據(jù)分析方法022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)4靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)采集4.4任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站A靜態(tài)數(shù)據(jù)4.4.3數(shù)據(jù)持久化存儲(chǔ)4.4.4數(shù)據(jù)預(yù)處理分析方法0線上總第3次1線上自學(xué)3.2.1

MySQL的概述3.3.1

PyMySQL和MySQL的區(qū)別3.4.1

CSV的概述3.4.5

JSON的概述獨(dú)立自主的學(xué)習(xí)能力1微課PPT第五周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)4靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)采集4.4任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站B靜態(tài)數(shù)據(jù)4.4.1頁面分析4.4.2獲取靜態(tài)數(shù)據(jù)分析方法022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)4靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)采集4.4任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站B靜態(tài)數(shù)據(jù)4.4.3數(shù)據(jù)持久化存儲(chǔ)4.4.4數(shù)據(jù)預(yù)處理分析方法0線上總第4次1線上自學(xué)任務(wù)4靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)采集網(wǎng)站前端基礎(chǔ)知識(shí)網(wǎng)絡(luò)基礎(chǔ)知識(shí)頁面機(jī)構(gòu)分析方法總結(jié)歸納、獨(dú)立思考的能力1微課PPT第六周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)4靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)采集4.4任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站C靜態(tài)數(shù)據(jù)4.4.1頁面分析4.4.2獲取靜態(tài)數(shù)據(jù)分析方法022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)4靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)采集4.4任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站C靜態(tài)數(shù)據(jù)4.4.3數(shù)據(jù)持久化存儲(chǔ)4.4.4數(shù)據(jù)預(yù)處理分析方法0線上總第5次1線上自學(xué)任務(wù)4靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)采集靜態(tài)數(shù)據(jù)采集基本操作流程動(dòng)態(tài)數(shù)據(jù)采集基本操作流程獨(dú)立自主的學(xué)習(xí)能力1微課PPT第七周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)4靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)采集4.4任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站D靜態(tài)數(shù)據(jù)4.4.1頁面分析4.4.2獲取靜態(tài)數(shù)據(jù)分析方法022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)4靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)采集4.4任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站D靜態(tài)數(shù)據(jù)4.4.3數(shù)據(jù)持久化存儲(chǔ)4.4.4數(shù)據(jù)預(yù)處理分析方法0線上總第6次1線上自學(xué)任務(wù)4靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)采集數(shù)據(jù)類型轉(zhuǎn)換和持久化保持方法總結(jié)歸納、獨(dú)立思考的能力1微課PPT第八周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)5selenium和ChromeDriver技術(shù)應(yīng)用案例5.2.2ChromeDriver的安裝5.3.2Selenium的安裝精益求精工匠精神012講授+實(shí)訓(xùn)理實(shí)一體任務(wù)5selenium和ChromeDriver技術(shù)應(yīng)用案例5.1任務(wù)描述5.4.2數(shù)據(jù)獲取總結(jié)歸納、獨(dú)立思考的能力0線上總第7次1線上自學(xué)4.6.1業(yè)務(wù)網(wǎng)站D的概述4.6.2業(yè)務(wù)網(wǎng)站D的基本用法4.6.3WEBAPI的概述獨(dú)立自主的學(xué)習(xí)能力1微課PPT第九周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)5selenium和ChromeDriver技術(shù)應(yīng)用案例5.1任務(wù)描述5.4.3數(shù)據(jù)持久化保存積極探索012講授+實(shí)訓(xùn)理實(shí)一體任務(wù)5selenium和ChromeDriver技術(shù)應(yīng)用案例5.1任務(wù)描述5.4.4數(shù)據(jù)持預(yù)處理積極探索0線上總第8次1線上自學(xué)任務(wù)5selenium和ChromeDriver技術(shù)應(yīng)用案例5.2.1ChromeDriver的概述5.3.1Selenium的概述總結(jié)歸納、獨(dú)立思考的能力1微課PPT第十周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)6 Scrapy技術(shù)應(yīng)用案例——框架式數(shù)據(jù)采集6.1任務(wù)描述6.2Scrapy6.2.1Scrapy的概述6.2.3Scrapy的安裝友愛互助022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)6 Scrapy技術(shù)應(yīng)用案例——框架式數(shù)據(jù)采集6.2.2Scrapy的工作原理6.3Scrapy組件6.3.1Selector6.3.2Spider現(xiàn)場(chǎng)管理0線上總第9次1線上自學(xué)任務(wù)5selenium和ChromeDriver技術(shù)應(yīng)用案例5.4.1頁面分析隱私保護(hù)1微課PPT第十一周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)6 Scrapy技術(shù)應(yīng)用案例——框架式數(shù)據(jù)采集6.4.1頁面分析6.4.2數(shù)據(jù)獲取勤學(xué)苦練孜孜不倦022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)6 Scrapy技術(shù)應(yīng)用案例——框架式數(shù)據(jù)采集6.4.2數(shù)據(jù)獲取6.4.3數(shù)據(jù)持久化保存化繁為簡(jiǎn)0線上總第10次1線上自學(xué)6.3.3DownloaderMiddleware隱私保護(hù)1微課PPT第十二周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)7 數(shù)據(jù)采集與可視化案例7.1任務(wù)描述7.2數(shù)據(jù)可視化技術(shù)積極探索022講授+實(shí)訓(xùn)理實(shí)一體7.3任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站二手房數(shù)據(jù)采集與可視化7.3.1頁面分析7.3.2數(shù)據(jù)獲取化繁為簡(jiǎn)0線上總第11次1線上自學(xué)6.3.4ItemPipeline自主學(xué)習(xí)能力1微課PPT第十三周12講授+實(shí)訓(xùn)理實(shí)一體7.3任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站二手房數(shù)據(jù)采集與可視化7.3.2數(shù)據(jù)獲取7.3.3數(shù)據(jù)持久化保存規(guī)劃目標(biāo)孜孜以求022講授+實(shí)訓(xùn)理實(shí)一體7.3任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站二手房數(shù)據(jù)采集與可視化7.3.3數(shù)據(jù)持久化保存7.3.4數(shù)據(jù)預(yù)處理實(shí)踐創(chuàng)新0線上總第12次1線上自學(xué)7.2.1Flask概述7.2.2Echarts概述自主學(xué)習(xí)能力1微課PPT第十四周12講授+實(shí)訓(xùn)理實(shí)一體7.3任務(wù)實(shí)現(xiàn)-業(yè)務(wù)網(wǎng)站二手房數(shù)據(jù)采集與可視化7.3.4數(shù)據(jù)預(yù)處理7.3.5數(shù)據(jù)可視化設(shè)計(jì)應(yīng)用激發(fā)興趣探究方案022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)8 模擬登錄和數(shù)據(jù)采集案例8.2頁面分析8.3

模擬登錄原理精益求精0線上總第13次1線上自學(xué)7.2.3Flask案例7.2.4Echarts案例自主學(xué)習(xí)能力1微課PPT第十五周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)8 模擬登錄和數(shù)據(jù)采集案例8.3

模擬登錄流程8.3.1模擬登錄的總體步驟辯證發(fā)展工程素養(yǎng)022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)8 模擬登錄和數(shù)據(jù)采集案例8.3

模擬登錄流程8.3.2模擬登錄業(yè)務(wù)邏輯和代碼詳解精益求精0線上總第14次1線上自學(xué)8.1任務(wù)描述自主學(xué)習(xí)能力1微課PPT第十六周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)8 模擬登錄和數(shù)據(jù)采集案例8.4

獲取靜態(tài)數(shù)據(jù)8.4.1靜態(tài)數(shù)據(jù)獲取的總體步驟8.4.2靜態(tài)數(shù)據(jù)獲取業(yè)務(wù)邏輯和代碼詳解勤奮學(xué)習(xí)工程素養(yǎng)022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)8 模擬登錄和數(shù)據(jù)采集案例8.5

獲取動(dòng)態(tài)數(shù)據(jù)8.5.1動(dòng)態(tài)數(shù)據(jù)獲取的總體步驟8.5.2動(dòng)態(tài)數(shù)據(jù)獲取業(yè)務(wù)邏輯和代碼詳解8.6

數(shù)據(jù)持久化保存和預(yù)處理精益求精0線上總第15次1線上自學(xué)Hadoop和Flume工作原理總結(jié)歸納、獨(dú)立思考的能力1微課PPT第十七周12講授+實(shí)訓(xùn)理實(shí)一體任務(wù)9大數(shù)據(jù)環(huán)境下的數(shù)據(jù)采集9.1任務(wù)描述9.2Hadoop工作原理9.2.1Hadoop核心組件和工作原理9.2.2.Hadoop生態(tài)圈簡(jiǎn)介9.3Flume介紹9.4Flume安裝和配置9.4.1Flume的安裝自主學(xué)習(xí)能力022講授+實(shí)訓(xùn)理實(shí)一體任務(wù)9大數(shù)據(jù)環(huán)境下的數(shù)據(jù)采集9.4.2F