《Hadoop大數(shù)據(jù)分析基礎(chǔ)》教學(xué)大綱

《Hadoop大數(shù)據(jù)分析基礎(chǔ)》教學(xué)大綱課程英文名AnalysisBasisofBigDataonHadoop課程代碼J0701Z03學(xué)分3總學(xué)時(shí)48理論學(xué)時(shí)24實(shí)驗(yàn)/實(shí)踐學(xué)時(shí)24課程類別專業(yè)課課程性質(zhì)任選先修課程Hadoop分布式系統(tǒng)適用專業(yè)信息與計(jì)算科學(xué)、數(shù)學(xué)與應(yīng)用數(shù)學(xué)開課學(xué)院理學(xué)院一、課程地位與課程目標(biāo)（一）課程地位《Hadoop大數(shù)據(jù)分析基礎(chǔ)》是數(shù)據(jù)科學(xué)與技術(shù)方向一門重要的專業(yè)課程，它是在Hadoop大數(shù)據(jù)平臺基礎(chǔ)上，利用Spark系統(tǒng)進(jìn)行大數(shù)據(jù)分析，利用Storm系統(tǒng)進(jìn)行流式分析。本課程在專業(yè)培養(yǎng)體系中具有重要的地位，對培養(yǎng)學(xué)生進(jìn)行大數(shù)據(jù)計(jì)算和分析能力的起到重要的作用。（二）課程目標(biāo)1.掌握大數(shù)據(jù)分析基本原理和方法；2.熟悉Hadoop生態(tài)環(huán)境下的Spark系統(tǒng)配置、常用分析工具及其程序設(shè)計(jì)實(shí)現(xiàn)；3.熟悉Hadoop生態(tài)環(huán)境下的Storm系統(tǒng)配置、常用分析工具及其程序設(shè)計(jì)實(shí)現(xiàn)；4.掌握大數(shù)據(jù)分析程序設(shè)計(jì)方法。二、課程目標(biāo)達(dá)成的途徑與方法以課堂教學(xué)為主，結(jié)合自學(xué)、課堂討論、課外作業(yè)、實(shí)驗(yàn)驗(yàn)證等。課堂教學(xué)，采用ppt和板書結(jié)合講解，并通過程序演示課堂討論，圍繞一個(gè)關(guān)鍵問題，分組討論，并選派學(xué)生闡述自己的觀點(diǎn)課外作業(yè)，在教材每個(gè)章節(jié)后面的練習(xí)中選擇有代表性的問題作為學(xué)生課后的書面作業(yè)，檢查學(xué)生對知識的掌握程度實(shí)驗(yàn)驗(yàn)證，選擇適當(dāng)?shù)陌咐ㄟ^仿照例子編寫一定的程序代碼，驗(yàn)證理論，提高能力三、課程目標(biāo)與相關(guān)畢業(yè)要求的對應(yīng)關(guān)系課程目標(biāo)課程目標(biāo)對畢業(yè)要求的支撐程度（H、M、L）畢業(yè)要求4畢業(yè)要求6畢業(yè)要求10課程目標(biāo)1HMM課程目標(biāo)2HMM課程目標(biāo)3HMM課程目標(biāo)4HMM注：1.支撐強(qiáng)度分別填寫H、M或L（其中H表示支撐程度高、M為中等、L為低）。四、課程主要內(nèi)容與基本要求第1章緒論

內(nèi)容：大數(shù)據(jù)的概念；大數(shù)據(jù)分析的過程、技術(shù)與難點(diǎn)要求：了解大數(shù)據(jù)的概念；了解大數(shù)據(jù)分析的過程、技術(shù)與難點(diǎn)

第2章大數(shù)據(jù)分析模型

內(nèi)容：大數(shù)據(jù)分析模型建立方法，基本統(tǒng)計(jì)量，推斷統(tǒng)計(jì)；關(guān)聯(lián)分析模型；分類分析模型；聚類分析模型；結(jié)構(gòu)分析模型；文本分析模型要求：了解大數(shù)據(jù)分析模型的建立方法；掌握關(guān)聯(lián)分析模型，分類分析模型，聚類分析模型；了解結(jié)構(gòu)分析模型，文本分析模型大數(shù)據(jù)分析的數(shù)據(jù)預(yù)處理內(nèi)容：數(shù)據(jù)抽樣和過濾；數(shù)據(jù)標(biāo)準(zhǔn)化與歸一化；數(shù)據(jù)清洗；降維要求：掌握數(shù)據(jù)抽樣和過濾，數(shù)據(jù)標(biāo)準(zhǔn)化與歸一化，數(shù)據(jù)清洗；了解降維方法面向大數(shù)據(jù)的數(shù)據(jù)倉庫系統(tǒng)

內(nèi)容：數(shù)據(jù)倉庫；分布式數(shù)據(jù)倉庫系統(tǒng)；基于Hadoop的數(shù)據(jù)倉庫系統(tǒng)要求：了解數(shù)據(jù)倉庫概念；掌握基于Hadoop的數(shù)據(jù)倉庫系統(tǒng)大數(shù)據(jù)分析算法

內(nèi)容：回歸算法；關(guān)聯(lián)規(guī)則挖掘算法；分類算法；聚類算法要求：掌握回歸算法；關(guān)聯(lián)規(guī)則挖掘算法；分類算法；聚類算法大數(shù)據(jù)計(jì)算平臺

內(nèi)容：基于Spark的大數(shù)據(jù)分析要求：掌握Spark計(jì)算平臺的基本使用第7章流式計(jì)算平臺

內(nèi)容：流式計(jì)算概述；基于Storm的大數(shù)據(jù)分析實(shí)例326

要求：掌握基于Storm計(jì)算平臺的基本使用五、課程學(xué)時(shí)安排章節(jié)號教學(xué)內(nèi)容學(xué)時(shí)數(shù)學(xué)生任務(wù)對應(yīng)課程目標(biāo)第1章緒論21.完成本章練習(xí)2.預(yù)習(xí)下一章內(nèi)容課程目標(biāo)1第2章大數(shù)據(jù)分析模型121.完成本章練習(xí)2.預(yù)習(xí)下一章內(nèi)容課程目標(biāo)1第3章大數(shù)據(jù)分析的數(shù)據(jù)預(yù)處理41.完成本章練習(xí)2.預(yù)習(xí)下一章內(nèi)容課程目標(biāo)1第4章面向大數(shù)據(jù)的數(shù)據(jù)倉庫系統(tǒng)41.完成本章練習(xí)2.預(yù)習(xí)下一章內(nèi)容課程目標(biāo)1第5章大數(shù)據(jù)分析算法81.完成本章編程練習(xí)2.預(yù)習(xí)下一章內(nèi)容課程目標(biāo)1課程目標(biāo)4第6章大數(shù)據(jù)計(jì)算平臺101.完成本章編程練習(xí)2.預(yù)習(xí)下一章內(nèi)容課程目標(biāo)1課程目標(biāo)2課程目標(biāo)3課程目標(biāo)4第7章流式計(jì)算平臺81.完成本章編程練習(xí)2.預(yù)習(xí)下一章內(nèi)容課程目標(biāo)1課程目標(biāo)2課程目標(biāo)3課程目標(biāo)4六、實(shí)踐環(huán)節(jié)及基本要求序號實(shí)驗(yàn)項(xiàng)目名稱學(xué)時(shí)基本要求學(xué)生任務(wù)實(shí)驗(yàn)性質(zhì)實(shí)驗(yàn)類別1大數(shù)據(jù)分析模型6驗(yàn)證模型完成編程驗(yàn)證驗(yàn)證必做2數(shù)據(jù)預(yù)處理2驗(yàn)證預(yù)處理方法完成編程驗(yàn)證驗(yàn)證必做3數(shù)據(jù)倉庫2驗(yàn)證數(shù)據(jù)倉庫管理完成編程驗(yàn)證驗(yàn)證必做4大數(shù)據(jù)分析算法4驗(yàn)證分析算法實(shí)例完成編程驗(yàn)證驗(yàn)證必做5大數(shù)據(jù)計(jì)算平臺6驗(yàn)證計(jì)算實(shí)例完成編程驗(yàn)證驗(yàn)證必做6流式計(jì)算平臺4驗(yàn)證流式計(jì)算實(shí)例完成編程驗(yàn)證驗(yàn)證必做注：1.實(shí)驗(yàn)性質(zhì)指演示性、驗(yàn)證性、設(shè)計(jì)性、綜合性等；2.實(shí)驗(yàn)類別指必做、選做等。七、考核方式及成績評定考核內(nèi)容考核方式評定標(biāo)準(zhǔn)（依據(jù)）占總成績比例過程考核含到課率、課堂討論發(fā)言、平時(shí)作業(yè)等平時(shí)成績記錄40%期末考核開卷卷面評閱成績60%考核類別考試成績登記方式百分制八、推薦教材與主要參考書（一）推薦教材：1.大數(shù)據(jù)分析原理與實(shí)踐，王宏志著，機(jī)械工業(yè)出版社，2017.7，第1版。2.實(shí)時(shí)大數(shù)據(jù)分析:基于Storm、Spark技術(shù)的實(shí)時(shí)應(yīng)用，SumitGupta，ShilpiSaxena著,張廣駿譯，清華大學(xué)出版社，2018.1（二）主要參考書：1.Spa