《Hadoop核心技術(shù)》教學(xué)大綱

《Hadoop核心技術(shù)》教學(xué)大綱課程編號：13210717英文名稱：HadoopCoreTechnology學(xué)分：3學(xué)時：總學(xué)時64學(xué)時，其中理論32學(xué)時，實踐32學(xué)時先修課程：高級語言、面向?qū)ο蟪绦蛟O(shè)計課程類別：專業(yè)方向課程授課對象：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)學(xué)生教學(xué)單位：機(jī)械與電氣工程學(xué)院修讀學(xué)期：第5學(xué)期一、課程描述和目標(biāo)簡要說明課程在實現(xiàn)專業(yè)人才培養(yǎng)目標(biāo)中的地位、作用，以及課程基本內(nèi)容等。本課程擬達(dá)到的課程目標(biāo):闡明本課程在人才培養(yǎng)過程中的地位及作用，明確學(xué)生學(xué)習(xí)本課程后在知識、能力及素質(zhì)發(fā)展等方面應(yīng)達(dá)到的目標(biāo)。課程目標(biāo)1：明確本課程對用計算機(jī)相關(guān)領(lǐng)域的復(fù)雜工程問題的作用；掌握大數(shù)據(jù)分析的主要思想和基本步驟，并通過編程練習(xí)和典型應(yīng)用實例加深了解。課程目標(biāo)2：能對復(fù)雜工程問題進(jìn)行深入研究的能力，根據(jù)實際復(fù)雜工程問題能選擇合適的Hadoop工具，并在此基礎(chǔ)上掌握對這些Hadoop工具的操作技術(shù)。對Hadoop平臺應(yīng)用與開發(fā)的一般理論有所了解，如分布式數(shù)據(jù)收集、分布式數(shù)據(jù)存儲、分布式數(shù)據(jù)計算、分布式數(shù)據(jù)展示。二、課程目標(biāo)對畢業(yè)要求的支撐關(guān)系畢業(yè)要求指標(biāo)點課程目標(biāo)權(quán)重3-1：能夠設(shè)計針對大數(shù)據(jù)系統(tǒng)工程問題的解決方案，包括滿足特定需求的系統(tǒng)架構(gòu)、數(shù)據(jù)庫設(shè)計、數(shù)據(jù)挖掘方法、系統(tǒng)實現(xiàn)、測試與驗證等，并在設(shè)計環(huán)節(jié)中體現(xiàn)創(chuàng)新意識。課程目標(biāo)1H3-3：針對大數(shù)據(jù)系統(tǒng)工程問題，能夠在理解復(fù)雜工程問題的基礎(chǔ)上定義功能、目標(biāo)和限制，并設(shè)計開發(fā)復(fù)雜工程問題的解決方案。課程目標(biāo)2M三、教學(xué)內(nèi)容、基本要求與學(xué)時分配序號教學(xué)內(nèi)容基本要求及重、難點（含德育要求）學(xué)時教學(xué)方式對應(yīng)課程目標(biāo)1初識Hadoop了解什么是大數(shù)據(jù)及其特征、熟悉大數(shù)據(jù)的典型應(yīng)用、了解Hadoop的發(fā)展歷史及其版本、掌握Hadoop的生態(tài)體系。2講授式討論式課程目標(biāo)12構(gòu)建Hadoop集群了解虛擬機(jī)的安裝和克隆、熟悉Linux系統(tǒng)的網(wǎng)絡(luò)配置和SSH配置、掌握Hadoop集群的搭建和配置、掌握Hadoop集群測試、熟悉Hadoop集群初體驗的操作。2講授式啟發(fā)式探究式討論式練習(xí)式課程目標(biāo)13HDFS分布式文件系統(tǒng)了解HDFS演變、掌握HDFS特點、掌握HDFS的架構(gòu)和原理、掌握HDFS的Shell和JavaApi操作。2講授式啟發(fā)式探究式討論式練習(xí)式課程目標(biāo)14MapReduce分布式計算系統(tǒng)理解MapReduce的核心思想、掌握MapReduce的編程模型、掌握MapReduce的工作原理、掌握MapReduce常見編程組件的使用。2講授式討論式練習(xí)式課程目標(biāo)15Zookeeper分布式協(xié)調(diào)服務(wù)了解Zookeeper的概念和特性、理解Zookeeper數(shù)據(jù)模型、掌握Zookeeper的Watch機(jī)制和選舉機(jī)制、掌握Zookeeper的集群部署、掌握Zookeeper的Shell操作和JavaAPI操作、熟悉Zookeeper的應(yīng)用場景。4講授式啟發(fā)式探究式討論式練習(xí)式課程目標(biāo)26Hadoop2.0新特性掌握YARN的體系結(jié)構(gòu)和工作流程、掌握HDFS的高可用架構(gòu)、會搭建Hadoop高可用集群。4講授式啟發(fā)式探究式討論式練習(xí)式課程目標(biāo)27Hive數(shù)據(jù)倉庫了解Hive的相關(guān)功能和特點、熟悉Hive的簡單安裝和配置、掌握HiveQL的相關(guān)操作。4講授式啟發(fā)式探究式討論式練習(xí)式課程目標(biāo)28Flume日志采集系統(tǒng)了解Flume的作用、熟悉Flume的運行機(jī)制、掌握Flume的安裝部署、熟悉Flume的可靠性保證。4講授式啟發(fā)式探究式討論式練習(xí)式課程目標(biāo)29Azkaban工作流管理器了解Azkaban的結(jié)構(gòu)、掌握Azkaban的部署、熟悉Azkaban的基本使用。4講授式啟發(fā)式探究式討論式練習(xí)式課程目標(biāo)210Sqoop數(shù)據(jù)遷移了解Sqoop基本概念、掌握Sqoop安裝配置、熟悉Sqoop常用的相關(guān)指令、掌握使用Sqoop進(jìn)行導(dǎo)入導(dǎo)出。4講授式啟發(fā)式探究式討論式練習(xí)式課程目標(biāo)2合計32序號實驗項目實驗內(nèi)容與要求學(xué)時類型對應(yīng)課程目標(biāo)1MapReduce經(jīng)典案例——倒排索引介紹倒排索引的定義和作用、分析案例的需求、通過代碼實現(xiàn)倒排索引功能。（必修）10設(shè)計課程目標(biāo)12Flume日志采集的編寫服務(wù)系統(tǒng)的搭建與配置、配置采集方案、日東日志收集系統(tǒng)、日志采集系統(tǒng)的測試與驗證。（必修）10設(shè)計課程目標(biāo)23綜合項目——網(wǎng)站流量日志數(shù)據(jù)分析系統(tǒng)掌握網(wǎng)站流量日志數(shù)據(jù)分析系統(tǒng)的業(yè)務(wù)流程的前提下，具備獨立分析日志數(shù)據(jù)，并利用MapReduce技術(shù)將數(shù)據(jù)提取出易于分析的數(shù)據(jù)結(jié)構(gòu)，以及使用Hive完成數(shù)據(jù)分析，計算出需求結(jié)果的能力。（必修）12設(shè)計課程目標(biāo)2合計32注：實驗要求包括必修、選修；實驗類型包括演示、驗證、綜合、設(shè)計等，后兩類占比大于80%。四、課程教學(xué)方法線上教學(xué)與線下教學(xué)相結(jié)合；集中講授與探究式教學(xué)及翻轉(zhuǎn)課堂相結(jié)合；采用講授式、啟發(fā)式、探究式、討論式和練習(xí)式等教學(xué)方式。五、學(xué)業(yè)評價和課程考核推行多元評價，對本課程所采用的評價和考核方式作具體說明，若采用多種考核方法請分別列出考核評價的方法、內(nèi)容、考核標(biāo)準(zhǔn)、成績占比等，考核方法、內(nèi)容應(yīng)突出“學(xué)生中心、產(chǎn)出導(dǎo)向”。（以下以工科某課程為例，僅供參考。各課程要按課程實際情況設(shè)計填寫）（一）考核方式及具體要求1.課程成績構(gòu)成與要求課程考核注重形成性和終結(jié)性評價相結(jié)合，考核內(nèi)容主要由平時作業(yè)、課程實驗、課程論文、線下表現(xiàn)、期末考核組成，均按百分制計分，其中期末考核成績占50%、平時作業(yè)成績占10%、課程實驗成績占10%、課程論文成績占20%、線下表現(xiàn)成績占10%。2.課程目標(biāo)達(dá)成考核與評價序號教學(xué)環(huán)節(jié)課程目標(biāo)1（分值）課程目標(biāo)2（分值）合計1平時作業(yè)55102課程實驗55103課程論文1010204線下表現(xiàn)55105期末大作業(yè)252550課程目標(biāo)對應(yīng)分值5050100（二）考核與評價標(biāo)準(zhǔn)1.平時作業(yè)考核與評價標(biāo)準(zhǔn)分值觀測點90-100分70-89分60-69分0-59分平時作業(yè)按時完成，90%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握到位。能夠利用理論知識編程求解具體問題。按時完成，70%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握得較為到位。能夠較好地利用理論知識編程求解具體問題。延時完成，60%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握得基本到位?；灸軌蚶美碚撝R編程求解具體問題。不交和補交，50%以下的作業(yè)內(nèi)容齊全，基本知識點理解、掌握有偏差?；静荒芾美碚撝R編程求解具體問題。2.課程實驗考核與評價標(biāo)準(zhǔn)分值觀測點90-100分70-89分60-69分0-59分課程實驗?zāi)芨鶕?jù)實驗要求自主設(shè)計實驗方案，有自己的設(shè)計理念，實驗完成度高，效果好。實驗報告內(nèi)容完整。能根據(jù)實驗要求自主設(shè)計實驗方案，有自己的設(shè)計理念，實驗完成度較高，效果較好。實驗報告比較完整。能根據(jù)實驗要求自主設(shè)計實驗方案，實驗完成度一般，效果一般。實驗報告基本完整。基本能根據(jù)實驗要求自主設(shè)計實驗方案，實驗完成度較差，效果較差。實驗報告不完整。3.課程論文考核與評價標(biāo)準(zhǔn)分值觀測點90-100分70-89分60-69分0-59分課程論文格式規(guī)范，符合課程論文寫作要求；內(nèi)容主題明確，符合課程教學(xué)內(nèi)容，有明確的綜合分析論點。參考文獻(xiàn)充分、正文引用恰當(dāng)，文獻(xiàn)引文格式符合文獻(xiàn)標(biāo)準(zhǔn)；無摘錄摘抄痕跡，能恰當(dāng)運用自己的語言組織素材，論點正確。格式符合課程論文寫作要求；主題明確，符合課程教學(xué)內(nèi)容，具較好的綜合分析論點。參考文獻(xiàn)充分、正文能夠較好對文獻(xiàn)進(jìn)行引用，文獻(xiàn)引文格式基本符合科技期刊論文文獻(xiàn)標(biāo)準(zhǔn)；正文主題大部分運用自己的語言組織素材，論點正確。格式符合課程論文寫作要求；主題基本明確，較符合課程教學(xué)內(nèi)容，具較好的綜合分析論點。參考文獻(xiàn)有，文獻(xiàn)引文格式基本符合科技期刊論文文獻(xiàn)標(biāo)準(zhǔn)；正文有部分摘抄，論點分析較清晰。論文格式不符合課程論文要求，能反映部分主題內(nèi)容，論文結(jié)構(gòu)不完整，論點分析不清晰，參考文獻(xiàn)少，正文沒有引用，格式不完全符合科技論文文獻(xiàn)標(biāo)準(zhǔn)。4.線下表現(xiàn)與評價標(biāo)準(zhǔn)根據(jù)回答問題、課堂表現(xiàn)及團(tuán)隊合作等情況及評分標(biāo)準(zhǔn)評分（百分制）。5.期末大作業(yè)考核與評價標(biāo)準(zhǔn)分值觀測點90-100分70-89分60-69分0-59分期末大作業(yè)格式規(guī)范，符合課程論文寫作要求；內(nèi)容主題明確，符合課程教學(xué)內(nèi)容，有明確的綜合分析論點。參考文獻(xiàn)充分、正文引用恰當(dāng)，文獻(xiàn)引文格式符合文獻(xiàn)標(biāo)準(zhǔn)；無摘錄摘抄痕跡，能恰當(dāng)運用自己的語言組織素材，論點正確。格式符合課程論文寫作要求；主題明確，符合課程教學(xué)內(nèi)容，具較好的綜合分析論點。參考文獻(xiàn)充分、正文能夠較好對文獻(xiàn)進(jìn)行引用，文獻(xiàn)引文格式基本符合科技期刊論文文獻(xiàn)標(biāo)準(zhǔn)；正文主題大部分運用自己的語言組織素材，論點正確。格式符合課程論文寫作要求；主題基本明確，較符合課程教學(xué)內(nèi)容，具較好的綜合分析論點。參考文獻(xiàn)有，文獻(xiàn)引文格式基本符合科技期刊論文文獻(xiàn)標(biāo)準(zhǔn)；正文有部分摘抄，論點分析較清晰。論文格式不符合課程論文要求，能反映部分主題內(nèi)容，論文結(jié)構(gòu)不完整，論點分析不清晰，參考文獻(xiàn)少，正文沒有