海量數(shù)據(jù)預(yù)處理綜合實(shí)訓(xùn) 課程教學(xué)大綱

字體、字號請參考范例注意：首字母大寫植物拉丁學(xué)名斜體字體、字號請參考范例注意：首字母大寫植物拉丁學(xué)名斜體一、課程簡介課程中文名海量數(shù)據(jù)預(yù)處理綜合實(shí)訓(xùn)課程英文名ComprehensiveTrainingofMassiveDataPreprocessing雙語授課￡是否課程代碼10114083課程學(xué)分2周（學(xué)時）48學(xué)時課程類別□專業(yè)認(rèn)知實(shí)習(xí)□專業(yè)見習(xí)工程實(shí)訓(xùn)□畢業(yè)實(shí)習(xí)□其他課程性質(zhì)必修□選修□其他課程形態(tài)□線上線下□線上線下混合式□社會實(shí)踐□虛擬仿真實(shí)驗(yàn)教學(xué)考核方式□閉卷□開卷□課程論文課程作品￡匯報(bào)展示報(bào)告課堂表現(xiàn)□階段性測試□平時作業(yè)□其他（可多選）開課學(xué)院大數(shù)據(jù)與智能工程學(xué)院開課系(教研室)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)面向?qū)I(yè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)開課學(xué)期第5學(xué)期先修課程數(shù)據(jù)采集與預(yù)處理后續(xù)課程無選用教材斯夸爾（MeganSquire）著、任政委譯.大數(shù)據(jù)策略.人民郵電出版社，2016.參考書目朝樂門.數(shù)據(jù)科學(xué).清華大學(xué)出版社，2016.MattCasters（馬特·卡斯特），RolandBouman（羅蘭·布曼），JosvanDongen（喬斯·凡·東恩）著，初建軍譯.PentahoKettle解決方案：使用PDI構(gòu)建開源ETL解決方案.電子工業(yè)出版社，2014.課程資源山東大學(xué)公開課：數(shù)據(jù)預(yù)處理/newview/movie/free?pid=MELPPEPSH&mid=MEMB095TG課程簡介海量數(shù)據(jù)預(yù)處理綜合實(shí)訓(xùn)是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)必修的綜合實(shí)踐課程。該課程內(nèi)容包括數(shù)據(jù)采集與預(yù)處理的基礎(chǔ)理論技術(shù)、Kettle作業(yè)的概念及其創(chuàng)建、子作業(yè)和子轉(zhuǎn)換的創(chuàng)建與運(yùn)行、數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分析等方法。使學(xué)生能夠選擇不同的數(shù)據(jù)預(yù)處理組件和技術(shù)方法，解決國內(nèi)主流的大數(shù)據(jù)應(yīng)用場景中存在的問題。二、課程目標(biāo)表2-1課程目標(biāo)序號具體課程目標(biāo)課程目標(biāo)1能夠應(yīng)用計(jì)算機(jī)科學(xué)和軟件工程、物聯(lián)網(wǎng)等領(lǐng)域的知識，在數(shù)據(jù)采集與預(yù)處理的構(gòu)思與設(shè)計(jì)階段，通過文獻(xiàn)研究、實(shí)驗(yàn)試驗(yàn)等方法，識別、表達(dá)數(shù)據(jù)導(dǎo)入與預(yù)處理的問題及其解決方法。課程目標(biāo)2能夠應(yīng)用數(shù)據(jù)采集與預(yù)處理的理論與方法，以及物聯(lián)網(wǎng)等相關(guān)領(lǐng)域的專業(yè)知識、技能與工具，發(fā)現(xiàn)數(shù)據(jù)采集與預(yù)處理過程中的問題，提出解決方案；能夠在設(shè)計(jì)環(huán)節(jié)中體現(xiàn)創(chuàng)新意識、版權(quán)保護(hù)意識、家國情懷和社會責(zé)任，堅(jiān)持自主創(chuàng)新和團(tuán)隊(duì)合作，為建設(shè)世界科技強(qiáng)國而奮斗；能夠掌握國內(nèi)大數(shù)據(jù)常用的大數(shù)據(jù)開發(fā)工具，了解數(shù)據(jù)采集技術(shù)的優(yōu)勢和局限性。課程目標(biāo)3能夠設(shè)計(jì)針對數(shù)據(jù)采集與預(yù)處理的解決方案，大數(shù)據(jù)系統(tǒng)開發(fā)過程中涉及的復(fù)雜工程問題，選擇和使用恰當(dāng)?shù)臄?shù)據(jù)采集和預(yù)處理工具，進(jìn)行信息采集、建模、設(shè)計(jì)、模擬、驗(yàn)證，并能夠在實(shí)踐中了解國內(nèi)常用的數(shù)據(jù)采集和預(yù)處理工具在不同應(yīng)用場景中的優(yōu)勢和局限性。表2-2課程目標(biāo)與畢業(yè)要求對應(yīng)關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)畢業(yè)要求5：能夠針對大數(shù)據(jù)應(yīng)用領(lǐng)域的復(fù)雜工程問題，選擇和使用恰當(dāng)?shù)募夹g(shù)、資源和現(xiàn)代工程工具，進(jìn)行信息表達(dá)、建模、設(shè)計(jì)、模擬、驗(yàn)證，并能夠在實(shí)踐中了解這些工具使用的局限性?！綧】5.1了解大數(shù)據(jù)應(yīng)用領(lǐng)域常用的軟硬件平臺、數(shù)據(jù)處理工具、現(xiàn)代工程工具和大數(shù)據(jù)框架的使用原理和方法，并理解其局限性。課程目標(biāo)3畢業(yè)要求9：具有良好的綜合素質(zhì)，能夠在多學(xué)科背景下的團(tuán)隊(duì)中理解與承擔(dān)個體、團(tuán)隊(duì)成員以及負(fù)責(zé)人角色，并發(fā)揮相應(yīng)的作用?！綧】9.2能夠適應(yīng)多學(xué)科背景的團(tuán)隊(duì)合作方式，具備一定的組織管理能力，并能綜合團(tuán)隊(duì)成員的意見，進(jìn)行合理決策。課程目標(biāo)1畢業(yè)要求11：能夠理解并掌握工程管理與經(jīng)濟(jì)決策方法，熟悉大數(shù)據(jù)應(yīng)用領(lǐng)域工程項(xiàng)目管理的基本方法和技術(shù)，并能在多學(xué)科環(huán)境中應(yīng)用?！綡】11.1理解從事大數(shù)據(jù)應(yīng)用領(lǐng)域工程實(shí)踐活動所需的管理與經(jīng)濟(jì)因素，掌握計(jì)算機(jī)工程管理和經(jīng)濟(jì)決策方法。課程目標(biāo)2三、教學(xué)內(nèi)容及要求（一）學(xué)習(xí)內(nèi)容A.通過本次課程設(shè)計(jì)，進(jìn)一步掌握和應(yīng)用數(shù)據(jù)預(yù)處理的知識，需掌握的內(nèi)容包括：1）數(shù)據(jù)屬性與度量，每一個數(shù)據(jù)對象用一組屬性描述，數(shù)據(jù)集是用結(jié)構(gòu)化數(shù)據(jù)表表示。2）數(shù)據(jù)集類型，從數(shù)據(jù)對象之間的結(jié)構(gòu)關(guān)系角度進(jìn)行劃分，比較常見的有記錄數(shù)據(jù)、有序數(shù)據(jù)、圖形數(shù)據(jù)。3）數(shù)據(jù)清洗，主要包括：測量誤差、數(shù)據(jù)收集錯誤、噪聲、離群點(diǎn)（outlier）、缺失值、不一致值、重復(fù)數(shù)據(jù)等問題。5）數(shù)據(jù)集成，將若干個分散的數(shù)據(jù)源中的數(shù)據(jù)，邏輯地或物理地集成到一個統(tǒng)一的數(shù)據(jù)集合中。5）數(shù)據(jù)規(guī)范化，數(shù)據(jù)規(guī)范化主要包括數(shù)據(jù)同趨化處理和無量綱化處理兩個方面。6）數(shù)據(jù)約簡，在盡可能保持原始數(shù)據(jù)集完整性的前堤下，最大限度地精簡數(shù)據(jù)量。7）數(shù)據(jù)離散化，要求數(shù)據(jù)屬性是標(biāo)稱類別，當(dāng)數(shù)據(jù)中包含數(shù)值屬性時，為了使用這些算法需要將數(shù)值屬性轉(zhuǎn)換成標(biāo)稱屬性。8）數(shù)據(jù)變換，將數(shù)據(jù)變換或統(tǒng)一成適合挖掘的形式。B.從下列項(xiàng)目名中選擇，或根據(jù)情況設(shè)定項(xiàng)目名稱，按表中所列步驟完成該課程：1）公司財(cái)務(wù)數(shù)據(jù)預(yù)處理2）超市銷售數(shù)據(jù)預(yù)處理3）網(wǎng)站流量數(shù)據(jù)預(yù)處理4）學(xué)生成績數(shù)據(jù)預(yù)處理5）樓盤數(shù)據(jù)分析預(yù)處理6）大數(shù)據(jù)職位數(shù)據(jù)預(yù)處理序號項(xiàng)目名稱學(xué)習(xí)目標(biāo)學(xué)習(xí)內(nèi)容主要儀器設(shè)備1數(shù)據(jù)類型認(rèn)識掌握數(shù)據(jù)屬性與度量方法及數(shù)據(jù)集的類型和常用表示方法數(shù)據(jù)屬性與度量數(shù)據(jù)集類型計(jì)算機(jī)，及以下軟件：Linux虛擬機(jī)、Hadoop及其相關(guān)組件等2數(shù)據(jù)清洗了解數(shù)據(jù)清洗常用方式方法，及具體操作。測量誤差數(shù)據(jù)收集錯誤噪聲離群點(diǎn)（outlier）缺失值不一致值重復(fù)數(shù)據(jù)計(jì)算機(jī)，及以下軟件：Linux虛擬機(jī)、Hadoop及其相關(guān)組件等3數(shù)據(jù)集成掌握將若干個分散的數(shù)據(jù)源中的數(shù)據(jù)，邏輯地或物理地集成到一個統(tǒng)一的數(shù)據(jù)集合中。整合加工形成可用的數(shù)據(jù)將數(shù)據(jù)以符合規(guī)范的方式發(fā)布計(jì)算機(jī)，及以下軟件：Linux虛擬機(jī)、Hadoop及其相關(guān)組件等4數(shù)據(jù)規(guī)范化了解數(shù)據(jù)同趨化處理和無量綱化處理兩個方面的方法。數(shù)據(jù)同趨化處理數(shù)據(jù)無量綱化處理計(jì)算機(jī)，及以下軟件：Linux虛擬機(jī)、Hadoop及其相關(guān)組件等5數(shù)據(jù)變換掌握精簡數(shù)據(jù)量方法，了解數(shù)據(jù)數(shù)據(jù)屬性轉(zhuǎn)換。精簡數(shù)據(jù)量方法數(shù)據(jù)屬性轉(zhuǎn)換計(jì)算機(jī)，及以下軟件：Linux虛擬機(jī)、Hadoop及其相關(guān)組件等6數(shù)據(jù)預(yù)處理分析掌握不同的數(shù)據(jù)分析方法探索性數(shù)據(jù)分析模型選定分析推斷分析計(jì)算機(jī)，及以下軟件：Linux虛擬機(jī)、Hadoop及其相關(guān)組件等（二）時間安排上午下午周一教師講解認(rèn)識數(shù)據(jù)集類型周二數(shù)據(jù)清洗（測量誤差、數(shù)據(jù)收集錯誤）數(shù)據(jù)清洗（噪聲、離群點(diǎn)（outlier））周三數(shù)據(jù)清洗（缺失值、不一致值）數(shù)據(jù)清洗（重復(fù)數(shù)據(jù)）周四教師講解整合加工形成可用的數(shù)據(jù)周五教師講解將數(shù)據(jù)以符合規(guī)范的方式發(fā)布周一教師講解數(shù)據(jù)同趨化處理周二教師講解數(shù)據(jù)無量綱化處理周三教師講解精簡數(shù)據(jù)量方法周四數(shù)據(jù)屬性轉(zhuǎn)換探索性數(shù)據(jù)分析周五模型選定分析推斷分析（三）工作流程1)技術(shù)講解：教師應(yīng)用講授法、演示法、實(shí)驗(yàn)法、任務(wù)驅(qū)動法、討論法、自主學(xué)習(xí)法，講解綜合實(shí)訓(xùn)應(yīng)用的知識點(diǎn),及各個軟件的使用要點(diǎn)。2)問題分析：通過對項(xiàng)目需要解決的問題進(jìn)行分析，確定各個步驟的技術(shù)方案，書寫對問題分析的文檔。3）技術(shù)方案設(shè)計(jì)：對項(xiàng)目所需要的總體技術(shù)方案進(jìn)行設(shè)計(jì)。4)工具使用：通過VT完成對二維數(shù)據(jù)、三維數(shù)據(jù)的可視化操作；通過mongoshell、Robomongo完成對數(shù)據(jù)的可視化操作；利用excel的api完成各種類型圖形的開發(fā)；利用ECharts完成對數(shù)據(jù)的可視化及挖掘。5)數(shù)據(jù)挖掘：通過對可視化工具的使用完成對數(shù)據(jù)的挖掘。6)撰寫總結(jié)材料：總結(jié)實(shí)驗(yàn)過程，并形成實(shí)驗(yàn)報(bào)告，分析收獲和不足。7)評分：根據(jù)評分標(biāo)準(zhǔn)對每個同學(xué)的項(xiàng)目的設(shè)計(jì)、完成度、項(xiàng)目演示、文檔撰寫等結(jié)果進(jìn)行綜合評分。（四）業(yè)務(wù)指導(dǎo)在綜合課程設(shè)計(jì)期間，由校內(nèi)老師1名和企業(yè)老師1名，每天深入機(jī)房，隨時指導(dǎo)解答問題。四、課程考核（一）考核內(nèi)容與考核方式表4-1課程目標(biāo)、考核內(nèi)容與考核方式對應(yīng)關(guān)系課程目標(biāo)考核內(nèi)容所屬環(huán)節(jié)考核占比考核方式課程目標(biāo)1認(rèn)識數(shù)據(jù)集類型數(shù)據(jù)屬性與度量方法及數(shù)據(jù)集的類型46%課堂表現(xiàn)實(shí)驗(yàn)報(bào)告團(tuán)隊(duì)協(xié)作期末考核數(shù)據(jù)清洗（測量誤差、數(shù)據(jù)收集錯誤）數(shù)據(jù)清洗方法數(shù)據(jù)清洗（缺失值、不一致值）數(shù)據(jù)清洗方法數(shù)據(jù)清洗（噪聲、離群點(diǎn)（outlier））數(shù)據(jù)清洗方法數(shù)據(jù)清洗（重復(fù)數(shù)據(jù)）數(shù)據(jù)清洗方法課程目標(biāo)2探索性數(shù)據(jù)分析數(shù)據(jù)預(yù)處理分析35%課堂表現(xiàn)實(shí)驗(yàn)報(bào)告團(tuán)隊(duì)協(xié)作期末考核推斷分析數(shù)據(jù)預(yù)處理分析模型選定分析數(shù)據(jù)預(yù)處理分析課程目標(biāo)3整合加工形成可用的數(shù)據(jù)數(shù)據(jù)集成19%課堂表現(xiàn)實(shí)驗(yàn)報(bào)告團(tuán)隊(duì)協(xié)作期末考核將數(shù)據(jù)以符合規(guī)范的方式發(fā)布數(shù)據(jù)集成數(shù)據(jù)同趨化處理數(shù)據(jù)規(guī)范化數(shù)據(jù)無量綱化處理數(shù)據(jù)規(guī)范化精簡數(shù)據(jù)量方法數(shù)據(jù)變換數(shù)據(jù)屬性轉(zhuǎn)換數(shù)據(jù)變換表4-2課程目標(biāo)與考核方式矩陣關(guān)系課程目標(biāo)考核方式考核占比平時考核（40%）期末考核（60%）課堂表現(xiàn)（10%）實(shí)驗(yàn)報(bào)告（20%）團(tuán)隊(duì)協(xié)作（10%）課程目標(biāo)160%60%40%40%46%=10%*60%+20%*60%+10%*40%+60%*40%課程目標(biāo)230%20%40%40%35%=10%*30%+20%*20%+10%*40%+60%*40%課程目標(biāo)310%20%20%20%19%=10%*10%+20%*20%+10%*20%+60%*20%（二）成績評定1.平時成績評定1.平時成績評定1）課堂表現(xiàn)（25分）：通過學(xué)生在課堂上的表現(xiàn)情況、提問與回答、與教師互動情況，評價(jià)學(xué)生相關(guān)的能力。（包括理想信念、家國情懷、社會責(zé)任、學(xué)習(xí)態(tài)度、學(xué)習(xí)興趣、團(tuán)隊(duì)合作與終身學(xué)習(xí)意識等）2）實(shí)驗(yàn)報(bào)告（50分）：學(xué)生在實(shí)訓(xùn)過程中協(xié)調(diào)、溝通等的情況。3）團(tuán)隊(duì)協(xié)作（25分）：學(xué)生在實(shí)訓(xùn)過程中相關(guān)任務(wù)的完成情況。2.期末成績評定期末成績的評定為作品設(shè)計(jì)成績，即系統(tǒng)代碼實(shí)現(xiàn)和作業(yè)報(bào)告。3.總成績評定總成績（100%）=平時成績（40%）+期末成績（60%）（三）評分標(biāo)準(zhǔn)1)優(yōu)秀（90-100分）按設(shè)計(jì)任務(wù)書要求圓滿完成規(guī)定任務(wù)；綜合運(yùn)用知識能力和實(shí)踐動手能力強(qiáng)，軟件設(shè)計(jì)方案合理，實(shí)驗(yàn)效果好；設(shè)計(jì)態(tài)度認(rèn)真，獨(dú)立工作能力強(qiáng)，并具有良好的團(tuán)隊(duì)協(xié)作精神。設(shè)計(jì)報(bào)告條理清晰、論述充分、圖表規(guī)范、符合設(shè)計(jì)報(bào)告文本格式要求。答辯過程中，思路清晰、論點(diǎn)正確、對設(shè)計(jì)方案理解深入，問題回答正確。2)良好（80-89分）按設(shè)計(jì)任務(wù)書要求完成規(guī)定設(shè)計(jì)任務(wù)；綜合運(yùn)用知識能力和實(shí)踐動手能力較強(qiáng)，軟件設(shè)計(jì)方案較合理，實(shí)驗(yàn)效果較好；設(shè)計(jì)成果質(zhì)量較高；設(shè)計(jì)態(tài)度認(rèn)真，有一定的獨(dú)立工作能力，并具有較好的團(tuán)隊(duì)協(xié)作精神。設(shè)計(jì)報(bào)告條理清晰、論述正確、圖表較為規(guī)范、符合設(shè)計(jì)報(bào)告文本格式要求。答辯過程中，思路清晰、論點(diǎn)基本正確、對設(shè)計(jì)方案理解較深入，主要問題回答基本正確。3)中等（70-79分）按設(shè)計(jì)任務(wù)書要求完成規(guī)定設(shè)計(jì)任務(wù)；能夠一定程度的綜合運(yùn)用所學(xué)知識，軟件設(shè)計(jì)基本合理，有一定的實(shí)踐動手能力，設(shè)計(jì)成果質(zhì)量一般；設(shè)計(jì)態(tài)度較為認(rèn)真，設(shè)計(jì)報(bào)告條理基本清晰、論述基本正確、文字通順、圖表基本規(guī)范、符合設(shè)計(jì)報(bào)告文本格式要求，但獨(dú)立工作能力較差；答辯過程中，思路比較清晰、論點(diǎn)有個別錯誤，分析不夠深入。4)及格（60-69分）在指導(dǎo)教師及同學(xué)的幫助下，能按期完成規(guī)定設(shè)計(jì)任務(wù)；綜合運(yùn)用所學(xué)知識能力及實(shí)踐動手能力較差，設(shè)計(jì)方案基本合理，設(shè)計(jì)成果質(zhì)量一般；獨(dú)立工作能力差；或設(shè)計(jì)報(bào)告條理不夠清晰、論述不夠充分但沒有原則性錯誤、文字基本通順、圖表不夠規(guī)范、符合設(shè)計(jì)報(bào)告文本格式要求；或答辯過程中，主要問題經(jīng)啟發(fā)能回答，但分析較為膚淺。5)不及格（60分以下）未能按期完成規(guī)定設(shè)計(jì)任務(wù)。不能綜合運(yùn)用所學(xué)知識，實(shí)踐動手能力差，設(shè)計(jì)方案存在原則性錯誤，計(jì)算、分析錯誤較多；或設(shè)計(jì)報(bào)告條理不清、論述有原則性錯誤、圖表不規(guī)范、質(zhì)量很差