《數(shù)據(jù)采集與清洗》課程教學(xué)大綱

《數(shù)據(jù)采集與清洗》教學(xué)大綱課程名稱：數(shù)據(jù)采集與清洗課程編碼：F062092101英文名稱：DataCollectionandCleaning學(xué)時：48學(xué)時 學(xué)分：3學(xué)分開課學(xué)期：第2學(xué)期適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)課程類別：理論課課程性質(zhì)：專業(yè)核心課先修課程：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)導(dǎo)論；Python程序設(shè)計一、課程的性質(zhì)及任務(wù)《數(shù)據(jù)采集與清洗》課程是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的核心課，通過本課程的學(xué)習(xí)，使學(xué)生能夠了解大數(shù)據(jù)分析的工作原理和使用方法；使學(xué)生具有Python編碼實(shí)現(xiàn)數(shù)據(jù)采集的能力如對互聯(lián)網(wǎng)數(shù)據(jù)，業(yè)務(wù)系統(tǒng)數(shù)據(jù)等；使學(xué)生掌握數(shù)據(jù)預(yù)處理的步驟，并掌握數(shù)據(jù)清洗的方法；使學(xué)生學(xué)會綜合運(yùn)用大數(shù)據(jù)采集和清洗的思想解決實(shí)際問題，為將來從事大數(shù)據(jù)相關(guān)領(lǐng)域的工作打下堅實(shí)的基礎(chǔ)。依據(jù)河北工程大學(xué)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)培養(yǎng)計劃，本課程需要培養(yǎng)學(xué)生的能力是：具備能夠?qū)?shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)相關(guān)知識用于大數(shù)據(jù)工程問題解決方案的比較與綜合（畢業(yè)要求指標(biāo)1.4）能夠基于數(shù)據(jù)科學(xué)相關(guān)科學(xué)原理和數(shù)學(xué)模型方法正確表達(dá)大數(shù)據(jù)應(yīng)用領(lǐng)域的復(fù)雜工程問題（畢業(yè)要求指標(biāo)2.1）能夠?qū)Σ杉降膶?shí)驗(yàn)數(shù)據(jù)進(jìn)行整理、分析和解釋，并能通過信息綜合、算法設(shè)計得出有效結(jié)論（畢業(yè)要求指標(biāo)4.3）能夠掌握基本的大數(shù)據(jù)開發(fā)環(huán)境的配置和應(yīng)用，熟練掌握軟件開發(fā)語言(如Python、Java語言等)，并能夠運(yùn)用集成開發(fā)環(huán)境進(jìn)行復(fù)雜程序設(shè)計（畢業(yè)要求指標(biāo)5.1）具備使用大數(shù)據(jù)平臺以及軟件對復(fù)雜工程問題進(jìn)行仿真的能力，理解其使用要求、運(yùn)用范圍和局限性（畢業(yè)要求指標(biāo)5.3）二、課程目標(biāo)與要求2.1課程目標(biāo)能對大數(shù)據(jù)處理中的數(shù)據(jù)采集、清洗基本問題進(jìn)行分析，運(yùn)用數(shù)據(jù)采集和清洗的基本技術(shù)和方法制定解決方案。能使學(xué)生掌握python爬蟲和分析的基本思想和技術(shù)，培養(yǎng)學(xué)生應(yīng)用計算機(jī)解決和處理實(shí)際問題的思維方法和基本編碼能力。能運(yùn)用先修課程的理論知識，并結(jié)合該課程的方法和技術(shù)對數(shù)據(jù)采集和清洗階段中的復(fù)雜問題、現(xiàn)象和數(shù)據(jù)進(jìn)行分析、解釋。能夠針對大數(shù)據(jù)領(lǐng)域中的具體應(yīng)用問題選擇恰當(dāng)?shù)臄?shù)據(jù)采集工具，并能夠論證方法的有效性。能夠針對大數(shù)據(jù)領(lǐng)域中的具體應(yīng)用問題選擇與使用恰當(dāng)?shù)臄?shù)據(jù)清洗工具，對大數(shù)據(jù)工程問題進(jìn)行模擬和實(shí)現(xiàn)。

數(shù)據(jù)采集與清洗課程教學(xué)大綱PAGE4PAGE32.2課程目標(biāo)與畢業(yè)要求對應(yīng)關(guān)系課程目標(biāo)畢業(yè)要求二級指標(biāo)畢業(yè)要求12345678●●●●1.4能夠?qū)?shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)相關(guān)知識用于大數(shù)據(jù)工程問題解決方案的比較與綜合1.具有扎實(shí)的數(shù)學(xué)與自然科學(xué)知識和工程基礎(chǔ)，系統(tǒng)地掌握數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)領(lǐng)域的基本理論、基礎(chǔ)知識，并綜合運(yùn)用所學(xué)知識解決復(fù)雜工程問題。●2.1能夠基于數(shù)據(jù)科學(xué)相關(guān)科學(xué)原理和數(shù)學(xué)模型方法正確表達(dá)大數(shù)據(jù)應(yīng)用領(lǐng)域的復(fù)雜工程問題2.掌握統(tǒng)計與機(jī)器學(xué)習(xí)的基本方法，能夠綜合運(yùn)用數(shù)學(xué)、自然科學(xué)和數(shù)據(jù)科學(xué)的基本原理，對復(fù)雜的工程系統(tǒng)，識別問題、描述問題并通過文獻(xiàn)研究分析與大數(shù)據(jù)相關(guān)的工程問題，以獲得有效結(jié)論。●4.3掌握大數(shù)據(jù)技術(shù)類復(fù)雜工程問題解決方案的全周期、全流程，了解影響設(shè)計目標(biāo)和技術(shù)方案的各種因素4.能夠基于數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)原理并采用科學(xué)方法對大數(shù)據(jù)應(yīng)用領(lǐng)域的復(fù)雜工程問題進(jìn)行研究，包括設(shè)計實(shí)驗(yàn)、分析與解釋數(shù)據(jù)、并通過信息綜合得到合理有效的結(jié)論?！?.1能夠掌握基本的大數(shù)據(jù)開發(fā)環(huán)境的配置和應(yīng)用，熟練掌握軟件開發(fā)語言(如Python、Java語言等)，并能夠運(yùn)用集成開發(fā)環(huán)境進(jìn)行復(fù)雜程序設(shè)計5.能夠針對大數(shù)據(jù)應(yīng)用領(lǐng)域的復(fù)雜工程問題，開發(fā)、選擇與使用恰當(dāng)?shù)募夹g(shù)、資源、現(xiàn)代信息技術(shù)工具，包括對大數(shù)據(jù)應(yīng)用領(lǐng)域的復(fù)雜工程問題的預(yù)測與仿真，并能夠理解其局限性?！?.3具備使用大數(shù)據(jù)平臺以及軟件對復(fù)雜工程問題進(jìn)行仿真的能力，理解其使用要求、運(yùn)用范圍和局限2.3課程目標(biāo)與培養(yǎng)環(huán)節(jié)對應(yīng)矩陣序號課程目標(biāo)理論教學(xué)課內(nèi)實(shí)驗(yàn)課后作業(yè)1能對大數(shù)據(jù)處理中的數(shù)據(jù)采集、清洗基本問題進(jìn)行分析，運(yùn)用數(shù)據(jù)采集和清洗的基本技術(shù)和方法制定解決方案。HL2能使學(xué)生掌握python爬蟲和分析的基本思想和技術(shù)，培養(yǎng)學(xué)生應(yīng)用計算機(jī)解決和處理實(shí)際問題的思維方法和基本編碼能力。ML3能運(yùn)用先修課程的理論知識，并結(jié)合該課程的方法和技術(shù)對數(shù)據(jù)采集和清洗階段中的復(fù)雜問題、現(xiàn)象和數(shù)據(jù)進(jìn)行分析、解釋。HML4能夠針對大數(shù)據(jù)領(lǐng)域中的具體應(yīng)用問題選擇恰當(dāng)?shù)臄?shù)據(jù)采集工具，并能夠論證方法的有效性。ML5能夠針對大數(shù)據(jù)領(lǐng)域中的具體應(yīng)用問題選擇與使用恰當(dāng)?shù)臄?shù)據(jù)清洗工具，對大數(shù)據(jù)工程問題進(jìn)行模擬和實(shí)現(xiàn)。HMM注：H表示該能力的在此環(huán)節(jié)重點(diǎn)培養(yǎng)；M表示該能力在此環(huán)節(jié)有應(yīng)用要求；L表示該能力在此環(huán)節(jié)有所涉及。離散數(shù)學(xué)課程教學(xué)大綱PAGE2PAGE12.4目標(biāo)達(dá)成度的評價課程目標(biāo)1主要通過理論教學(xué)環(huán)節(jié)進(jìn)行培養(yǎng)，在課后作業(yè)中有所涉及。主要通過課堂測試和課后作業(yè)中概念性、原理性問題進(jìn)行考核。目標(biāo)達(dá)成綜合以上內(nèi)容進(jìn)行評價。課程目標(biāo)2主要通過理論教學(xué)環(huán)節(jié)、課后作業(yè)進(jìn)行培養(yǎng)，在課內(nèi)實(shí)驗(yàn)有應(yīng)用要求。主要通過學(xué)生課堂測試進(jìn)行考核，在實(shí)驗(yàn)中體現(xiàn)為能根據(jù)作業(yè)要求，編寫代碼并完成作業(yè)。目標(biāo)達(dá)成綜合以上內(nèi)容進(jìn)行評價。課程目標(biāo)3主要通過理論教學(xué)環(huán)節(jié)進(jìn)行培養(yǎng)，在課后作業(yè)和課內(nèi)實(shí)驗(yàn)中有應(yīng)用要求。主要通過課堂測試、課后作業(yè)中數(shù)據(jù)分析類題目進(jìn)行考核，在實(shí)驗(yàn)報告中體現(xiàn)為能給出符合要求的代碼及結(jié)論。目標(biāo)達(dá)成綜合以上內(nèi)容進(jìn)行評價。課程目標(biāo)4，5主要通過課內(nèi)實(shí)驗(yàn)培養(yǎng)，在課后作業(yè)和撰寫報告中涉及。在課后作業(yè)和撰寫報告中體現(xiàn)為能夠按照要求完成數(shù)據(jù)采集；在撰寫的報告中要對采集的數(shù)據(jù)進(jìn)行分析并評價實(shí)驗(yàn)結(jié)果。目標(biāo)達(dá)成綜合以上內(nèi)容進(jìn)行評價。三、教學(xué)方法及手段理論教學(xué)以課堂講授為主，面向基礎(chǔ)知識的準(zhǔn)確、扎實(shí)掌握，突出對原理的分析、對方法的總結(jié)以及理論體系的完整建立；理論教學(xué)強(qiáng)調(diào)將數(shù)據(jù)采集方法和數(shù)據(jù)清洗方法與工程實(shí)現(xiàn)的實(shí)際情況緊密聯(lián)系，面向知識的實(shí)際應(yīng)用；理論教學(xué)注重本課程與數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)導(dǎo)論、Python程序設(shè)計等先修課程的聯(lián)系，以大數(shù)據(jù)分析需求作為本課程知識的應(yīng)用背景，結(jié)合概率論和機(jī)器學(xué)習(xí)的相關(guān)理論解釋本課程的有關(guān)概念和原理，基于Python的基礎(chǔ)知識掌握數(shù)據(jù)采集和數(shù)據(jù)分析方法。理論教學(xué)與課內(nèi)相結(jié)合，進(jìn)行計算機(jī)的應(yīng)用與訓(xùn)練。課程強(qiáng)調(diào)學(xué)生的自主學(xué)習(xí)，強(qiáng)調(diào)通過自學(xué)的方式消化、吸收課程的龐大知識量，并在此基礎(chǔ)上舉一反三。四、課程的基本內(nèi)容與教學(xué)要求第1章緒論[教學(xué)目的與要求]：了解大數(shù)據(jù)的定義和大數(shù)據(jù)的戰(zhàn)略意義以及大數(shù)據(jù)的發(fā)展趨勢，掌握實(shí)用工程中對數(shù)據(jù)分析提出的主要要求，嘗試了解大數(shù)據(jù)的產(chǎn)業(yè)鏈。[本章主要內(nèi)容]：1.1講授大數(shù)據(jù)的定義、原理與發(fā)展。1.2了解大數(shù)據(jù)的國家戰(zhàn)略意義、大數(shù)據(jù)的企業(yè)意義以及我國大數(shù)據(jù)市場的預(yù)測。1.3大數(shù)據(jù)的產(chǎn)業(yè)鏈分析（技術(shù)分析和運(yùn)營分析）。[本章重點(diǎn)]：大數(shù)據(jù)的定義。大數(shù)據(jù)原理和特征。大數(shù)據(jù)的國家戰(zhàn)略意義。[本章難點(diǎn)]：大數(shù)據(jù)的原理及特征。第2章爬蟲與大數(shù)據(jù)[教學(xué)目的與要求]：了解爬蟲的定義；掌握Python開發(fā)運(yùn)行的環(huán)境；會使用Python編寫爬蟲；能夠肚子使用爬蟲進(jìn)行網(wǎng)頁內(nèi)容的抓取。[本章主要內(nèi)容]：2.1爬蟲的概述。2.2Python的開發(fā)環(huán)境、數(shù)據(jù)類型介紹。2.3爬蟲相關(guān)知識介紹（了解網(wǎng)頁結(jié)構(gòu)、基礎(chǔ)爬蟲框架和正則表達(dá)式）。2.4利用爬蟲抓取網(wǎng)頁內(nèi)容。[本章重點(diǎn)]：掌握Python的安裝和開發(fā)環(huán)境。掌握基礎(chǔ)爬蟲框架。觀察分析頁面。編寫python程序抓取網(wǎng)頁內(nèi)容。掌握python中的各種數(shù)據(jù)類型的轉(zhuǎn)換。[本章難點(diǎn)]：對爬蟲的原理理解。Python的安裝與開發(fā)環(huán)境。熟練書寫并運(yùn)行python爬蟲。第3章Scrapy爬蟲了解Scrapy爬蟲概念，掌握Scrapy爬蟲框架的安裝，了解Scrapy爬蟲的原理和流程，能夠掌握Scrapy爬蟲框架的實(shí)現(xiàn)的方式。[本章主要內(nèi)容]：3.1Scrapy爬蟲概述。3.2Scrapy原理（支撐課程目標(biāo)1、3）。3.3Scrapy的開發(fā)與實(shí)現(xiàn)（支撐課程目標(biāo)2、4、5）。3.4掌握Request對象。3.5掌握Response對象。3.6掌握Select對象。3.7掌握Spider開發(fā)流程（支撐課程目標(biāo)2、4、5）。[本章重點(diǎn)]：1.Scrapy爬蟲的安裝。2.Scrapy爬蟲的架構(gòu)。3.Scrapy爬蟲的對象的應(yīng)用。4.Spider的開發(fā)流程。[本章難點(diǎn)]：Scrapy爬蟲的安裝。Scrapy爬蟲的架構(gòu)。第4章大數(shù)據(jù)存儲與清洗[教學(xué)目的與要求]：了解數(shù)據(jù)存儲的基本概念，掌握數(shù)據(jù)清洗的注意工具，能夠應(yīng)用python對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。[本章主要內(nèi)容]：4.1大數(shù)據(jù)存儲（支撐課程目標(biāo)1）。4.2數(shù)據(jù)清洗概述、原理、流程及數(shù)據(jù)清洗工具介紹（支撐課程目標(biāo)2）。4.3數(shù)據(jù)標(biāo)準(zhǔn)化的概念、方法及實(shí)例講解（支撐課程目標(biāo)2、4、5）。[本章重點(diǎn)]：數(shù)據(jù)清洗的工具。掌握Kettle的使用。掌握Excel的使用。字符編碼。[本章難點(diǎn)]：Kettle的安裝和使用。Excel的使用。字符編碼。第5章pandas數(shù)據(jù)分析和清洗[教學(xué)目的與要求]：掌握pandas的安裝和運(yùn)行方法，掌握pandas的基本語法，能夠使用pandas讀取數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行清洗，了解pandas繪圖原理，掌握pandas繪圖方法。[本章主要內(nèi)容]：5.1認(rèn)識pandas。5.2pandas語法與使用（支撐課程目標(biāo)2、3、5）。5.3pandas讀取與數(shù)據(jù)清洗（支撐課程目標(biāo)2、5）。5.4pandas數(shù)據(jù)可視化（支撐課程目標(biāo)5）。[本章重點(diǎn)]：Pandas的使用。Pandas的數(shù)據(jù)分析。[本章難點(diǎn)]：Pandas的數(shù)據(jù)和數(shù)據(jù)清洗。Pandas的數(shù)據(jù)可視化。五、課內(nèi)實(shí)驗(yàn)5.1本課程實(shí)驗(yàn)教學(xué)的地位和作用上機(jī)實(shí)驗(yàn)是鞏固和掌握課程理論知識的必要環(huán)節(jié)。理解數(shù)據(jù)采集和數(shù)據(jù)分析的基本原理和一般設(shè)計規(guī)則。掌握使用python對網(wǎng)頁數(shù)據(jù)進(jìn)行采集的幾種方法。掌握python中爬蟲模塊的使用規(guī)則。學(xué)會使用python對不同數(shù)據(jù)格式之間進(jìn)行轉(zhuǎn)換。能夠?qū)Σ杉臄?shù)據(jù)，使用pandas進(jìn)行數(shù)據(jù)分析，并對清洗后的數(shù)據(jù)進(jìn)行可視化分析。上機(jī)實(shí)驗(yàn)課程可充分鍛煉學(xué)生分析問題能力、上機(jī)操作能力以及撰寫實(shí)驗(yàn)報告的能力。5.2教學(xué)基本要求通過學(xué)習(xí)的網(wǎng)絡(luò)爬蟲相關(guān)概念及爬蟲的實(shí)現(xiàn)原理，使用python語音編寫爬蟲（如使用Requests庫編程爬蟲，）來抓取網(wǎng)頁數(shù)據(jù)或使用Scrapy框架對網(wǎng)站數(shù)據(jù)進(jìn)行簡單的爬蟲；通過學(xué)習(xí)的大數(shù)據(jù)數(shù)據(jù)格式和編碼的特點(diǎn)，學(xué)生能夠進(jìn)行簡單的與大數(shù)據(jù)有關(guān)的數(shù)據(jù)轉(zhuǎn)換操作；通過學(xué)習(xí)pandas相關(guān)知識和案例，學(xué)生能夠使用pandas對采集得到的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗操作。結(jié)合實(shí)際應(yīng)用，學(xué)會使用python爬蟲數(shù)據(jù)并對爬蟲數(shù)據(jù)進(jìn)行清洗，得到最終需要的數(shù)據(jù)。5.3實(shí)驗(yàn)內(nèi)容及要求大綱基本內(nèi)容包括三個實(shí)驗(yàn)項目，在16個學(xué)時內(nèi)完成。實(shí)驗(yàn)一使用python編寫爬蟲本實(shí)驗(yàn)為使學(xué)生掌握爬蟲的實(shí)現(xiàn)原理，掌握使用python語音編寫爬蟲。指導(dǎo)教師應(yīng)概述實(shí)驗(yàn)的原理和目的等內(nèi)容，并對典型問題作針對性指導(dǎo)，以及監(jiān)督實(shí)驗(yàn)室安全運(yùn)轉(zhuǎn)。具體實(shí)驗(yàn)步驟和結(jié)果分析、處理由學(xué)生獨(dú)立完成。實(shí)驗(yàn)內(nèi)容要求如下：課前預(yù)習(xí)內(nèi)容：掌握爬蟲的運(yùn)行原理。掌握使用Requests庫來編寫爬蟲。掌握代碼的書寫與調(diào)試要求：使用Requests庫來編寫爬蟲爬取百度網(wǎng)頁的數(shù)據(jù)使用brllib訪問百度翻譯并輸出翻譯結(jié)果使用爬蟲程序爬取網(wǎng)頁壁紙使用python代碼編寫爬蟲實(shí)現(xiàn)下載彼岸桌面網(wǎng)址所有的壁紙圖片使用python代碼編寫爬蟲實(shí)現(xiàn)下載PDB庫2-8體蛋白質(zhì)pdb文件實(shí)驗(yàn)二Kettle及數(shù)據(jù)格式轉(zhuǎn)換本實(shí)驗(yàn)為使學(xué)生掌握大數(shù)據(jù)存儲的數(shù)據(jù)格式與編碼特征。指導(dǎo)教師應(yīng)概述實(shí)驗(yàn)的原理和目的等內(nèi)容，并對典型問題作針對性指導(dǎo)，以及監(jiān)督實(shí)驗(yàn)室安全運(yùn)轉(zhuǎn)。具體實(shí)驗(yàn)步驟和結(jié)果分析、處理由學(xué)生獨(dú)立完成。實(shí)驗(yàn)內(nèi)容要求如下：課前預(yù)習(xí)內(nèi)容大數(shù)據(jù)存儲的數(shù)據(jù)格式Kettle安裝和使用過程要求：將XLM文檔轉(zhuǎn)換為JSON文檔書寫XML文檔，內(nèi)容如下：<圖書><書名>紅樓夢<|書名><作者>曹雪芹<|作者><主要內(nèi)容>撰寫賈寶玉與林黛玉的愛情故事及大家族的沒落<|主要內(nèi)容>Unicode編碼的轉(zhuǎn)換將ASCII轉(zhuǎn)成Unicode編碼利用Python實(shí)現(xiàn)數(shù)據(jù)之間的轉(zhuǎn)換使用Kettle工具實(shí)現(xiàn)數(shù)據(jù)之間的轉(zhuǎn)換使用Python實(shí)現(xiàn)從CSV到JSON格式的轉(zhuǎn)換實(shí)驗(yàn)三Pandas庫使用本實(shí)驗(yàn)為使學(xué)生掌握pandas庫。指導(dǎo)教師應(yīng)概述實(shí)驗(yàn)的原理和目的等內(nèi)容，并對典型問題作針對性指導(dǎo)，以及監(jiān)督實(shí)驗(yàn)室安全運(yùn)轉(zhuǎn)。具體實(shí)驗(yàn)步驟和結(jié)果分析、處理由學(xué)生獨(dú)立完成。實(shí)驗(yàn)內(nèi)容要求如下：課前預(yù)習(xí)內(nèi)容Pandas庫的調(diào)用掌握Pandas常用處理數(shù)據(jù)的函數(shù)和方法掌握Series和DataFrame數(shù)據(jù)類型要求：使用pandas分析和統(tǒng)計隨機(jī)數(shù)據(jù)（統(tǒng)計總個數(shù)、最大值、最小值等）使用pandas讀取CSV文檔中的數(shù)據(jù)，并進(jìn)行分析和清洗書寫CSV文檔的內(nèi)容，并保存為animal.csv使用pandas讀取CSV文檔內(nèi)容，選擇0-2行的數(shù)據(jù)使用pandas讀取CSV文檔內(nèi)容，選擇跳過第1行和第3行數(shù)據(jù)使用pandas讀取CSV文檔內(nèi)容，選擇while大于1的數(shù)據(jù)使用pandas讀取CSV文檔中的數(shù)據(jù)，并清洗重復(fù)數(shù)據(jù)使用pandas讀取CSV文檔中的數(shù)據(jù)，并填充空值NaN數(shù)據(jù)使用pandas繪制線性圖形使用pandas繪制散布圖形5.4教學(xué)文件及教學(xué)形式教學(xué)文件：《Python爬蟲和數(shù)據(jù)清洗》。教學(xué)形式主要包括：預(yù)習(xí)、課堂指導(dǎo)與實(shí)驗(yàn)操作、撰寫實(shí)驗(yàn)報告。實(shí)驗(yàn)報告學(xué)生自擬。實(shí)驗(yàn)報告包括：描述實(shí)驗(yàn)?zāi)康?、python代碼，運(yùn)行結(jié)果及結(jié)果分析，總結(jié)實(shí)驗(yàn)中出現(xiàn)的問題及解決方法。5.5實(shí)驗(yàn)項目及學(xué)時分配序號實(shí)驗(yàn)項目實(shí)驗(yàn)學(xué)時實(shí)驗(yàn)類型實(shí)驗(yàn)類別實(shí)驗(yàn)性質(zhì)1使用python編寫爬蟲6驗(yàn)證專業(yè)必修2Kettle及數(shù)據(jù)格式轉(zhuǎn)換4驗(yàn)證專業(yè)必須3Pandas庫使用6驗(yàn)證專業(yè)必修六、課程學(xué)時分配教學(xué)課次教學(xué)內(nèi)容教學(xué)環(huán)節(jié)與計劃時數(shù)教學(xué)環(huán)節(jié)計劃時數(shù)1緒論理論課22爬蟲基礎(chǔ)（一）理論課23爬蟲基礎(chǔ)（二）理論課2４爬蟲基礎(chǔ)（三）理論課25爬蟲基礎(chǔ)（四）理論課26爬蟲基礎(chǔ)（五）理論課27Scrapy爬蟲（一）理論課28Scrapy爬蟲（二）理論課29*實(shí)驗(yàn)1使用python編寫爬蟲實(shí)驗(yàn)課210*實(shí)驗(yàn)1使用python編寫爬蟲實(shí)驗(yàn)課211*實(shí)驗(yàn)1使用python編寫爬蟲實(shí)驗(yàn)課212數(shù)據(jù)存儲理論課213Kettle抽取網(wǎng)頁數(shù)據(jù)（一）理論課214Kettle抽取網(wǎng)頁數(shù)據(jù)（二）理論課215Excel抽取網(wǎng)頁數(shù)據(jù)（三）理論課216*實(shí)驗(yàn)2Kettle及數(shù)據(jù)格式轉(zhuǎn)換實(shí)驗(yàn)課217*實(shí)驗(yàn)2Kettle及數(shù)據(jù)格式轉(zhuǎn)換實(shí)驗(yàn)課218Pandas語法與使用理論課219Pandas數(shù)據(jù)分析與清洗（一）理論課220Pandas數(shù)據(jù)分析與清洗（二）理論課221Pandas數(shù)據(jù)可視化理論課222*實(shí)驗(yàn)3Pandas庫使用實(shí)驗(yàn)課223*實(shí)驗(yàn)3Pandas庫使用實(shí)驗(yàn)課224*實(shí)驗(yàn)3Pandas庫使用實(shí)驗(yàn)課2注：實(shí)驗(yàn)課由實(shí)驗(yàn)教師負(fù)責(zé)協(xié)調(diào)安排時間，原則上安排在課堂理論教學(xué)結(jié)束后、考試之前一周以上完成。七、課程考核與成績評定7.1考核方式考核環(huán)節(jié)包括課程學(xué)習(xí)過程考核和期末考核，其中課程過程考核占總成績的40%，分別由課堂表現(xiàn)、課后作業(yè)、實(shí)驗(yàn)情況進(jìn)行評定；期末考核成績占總成績的60%，主要以完成課程大作業(yè)報告和講解情況進(jìn)行評定。各環(huán)節(jié)的比重如下?？己谁h(huán)節(jié)比重合計過程考核（平時成績）課堂表現(xiàn)20%40%作業(yè)20%期末考核（大作業(yè)）大作業(yè)的報告30%60%大作業(yè)講解30%總計100%100%7.2考核內(nèi)容及要求本課程為考察課?？己藘?nèi)容及分值分配如下?？己朔绞娇己藘?nèi)容分值課程目標(biāo)總分值期末考核60%爬蟲基礎(chǔ)15目標(biāo)1、2、5100分Scrapy爬蟲10目標(biāo)2、3Kettle抽取網(wǎng)頁數(shù)據(jù)15目標(biāo)4、5Excle抽取網(wǎng)頁數(shù)據(jù)15目標(biāo)4、5Pandas數(shù)據(jù)分析與清洗30目標(biāo)1、2、3、5Pandas數(shù)據(jù)可視化15目標(biāo)4、5過程考核40%課堂表現(xiàn)課堂測試、出勤情況15目標(biāo)1、2、515分課后作業(yè)作業(yè)完成情況15目標(biāo)2、3、410分實(shí)驗(yàn)實(shí)驗(yàn)出勤、實(shí)驗(yàn)表現(xiàn)及實(shí)驗(yàn)報告10目標(biāo)3、4、515分7.3成績評定1.課堂表現(xiàn)課堂表現(xiàn)總分15分，由課堂測試與課堂出勤情況評定。其中，課堂測試滿分10分，以展示自己作業(yè)代碼為主，每學(xué)期隨堂測試10次左右；課堂出勤滿分5分，缺勤一次扣1分，遲到或請假扣0.5分。2.課后作業(yè)課后作業(yè)總分10分，由作業(yè)完成情況評定。每學(xué)期布置作業(yè)10次，每次作業(yè)占1分，評分標(biāo)準(zhǔn)如下；評分標(biāo)準(zhǔn)分值標(biāo)準(zhǔn)描述課后作業(yè)3能夠按時認(rèn)真完成作業(yè)、作業(yè)態(tài)度認(rèn)真、書寫清楚、分析計算正確。2能夠按時完成作業(yè)、作業(yè)態(tài)度較好、書寫較清楚、分析計算基本正確1能夠按時完成作業(yè)、作業(yè)態(tài)度一般、書寫不清楚、分析計算錯誤較多0不交作業(yè)或作業(yè)態(tài)度不認(rèn)真、抄襲他人作業(yè)3.實(shí)驗(yàn)成績實(shí)驗(yàn)成績占所學(xué)課程的15%，即15分。根據(jù)學(xué)生的實(shí)驗(yàn)表現(xiàn)及實(shí)驗(yàn)報告結(jié)果，進(jìn)行綜合評定。具體評分標(biāo)準(zhǔn)如下表所示。評分標(biāo)準(zhǔn)分值標(biāo)準(zhǔn)描述實(shí)驗(yàn)表現(xiàn)（10）5無遲到、早退現(xiàn)象，態(tài)度端正，認(rèn)真完成實(shí)驗(yàn)要求，實(shí)驗(yàn)結(jié)束后，按要求整理工作臺。4有遲到、早退現(xiàn)象或?qū)嶒?yàn)過程不夠認(rèn)真。3有遲到、早退現(xiàn)象且實(shí)驗(yàn)過程不認(rèn)真。1有遲到、早退現(xiàn)象，實(shí)驗(yàn)過程不動手，渾水摸魚。0曠課實(shí)驗(yàn)報告（5）5有完整python代碼清晰合理，按要求完成