《Hadoop大數(shù)據(jù)開(kāi)發(fā)》教學(xué)大綱

第頁(yè)《Hadoop大數(shù)據(jù)開(kāi)發(fā)》教學(xué)大綱課程編號(hào)：13180526英文名稱：Hadoop大數(shù)據(jù)開(kāi)發(fā)學(xué)分：3學(xué)時(shí)：總學(xué)時(shí)64學(xué)時(shí)，其中理論32學(xué)時(shí)，實(shí)踐32學(xué)時(shí)先修課程：操作系統(tǒng)、人工智能基礎(chǔ)課程類(lèi)別：選修授課對(duì)象：計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)學(xué)生教學(xué)單位：機(jī)械與電氣工程學(xué)院修讀學(xué)期：第6學(xué)期一、課程描述和目標(biāo)大數(shù)據(jù)是當(dāng)前計(jì)算機(jī)研究的最熱點(diǎn)的方向之一。本課程Hadoop大數(shù)據(jù)開(kāi)發(fā)，為學(xué)生了解大數(shù)據(jù)，構(gòu)建大數(shù)據(jù)知識(shí)體系、闡明基本原理、引導(dǎo)初級(jí)實(shí)踐打下基礎(chǔ)，為學(xué)生在Hadoop平臺(tái)下大數(shù)據(jù)領(lǐng)域指明方向。課程將系統(tǒng)講授大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫(kù)HBase、分布式并行編程模型MapReduce、大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個(gè)領(lǐng)域的應(yīng)用。課程目標(biāo)1：了解分布式文件系統(tǒng)的基本概念、結(jié)構(gòu)和設(shè)計(jì)需求，掌握Hadoop分布式文件系統(tǒng)HDFS的重要概念、體系結(jié)構(gòu)、存儲(chǔ)原理和讀寫(xiě)過(guò)程，并熟練掌握分布式文件系統(tǒng)HDFS的使用方法；理解Hadoop平臺(tái)在解決復(fù)雜工程問(wèn)題中的局限性課程目標(biāo)2：能夠了解分布式數(shù)據(jù)庫(kù)HBase的訪問(wèn)接口、數(shù)據(jù)模型、實(shí)現(xiàn)原理和運(yùn)行機(jī)制，并熟練掌握HBase的使用方法，能夠在Hadoop平臺(tái)下，具備使用大數(shù)據(jù)的復(fù)雜工程問(wèn)題進(jìn)行深入研究的能力。課程目標(biāo)3：具有平臺(tái)架構(gòu)能力，了解大數(shù)據(jù)的實(shí)際應(yīng)用，為確定設(shè)計(jì)大數(shù)據(jù)的使用打下良好基礎(chǔ)。二、課程目標(biāo)對(duì)畢業(yè)要求的支撐關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)權(quán)重指標(biāo)點(diǎn)4-2掌握大數(shù)據(jù)平臺(tái)下分布式數(shù)據(jù)實(shí)現(xiàn)原理及架構(gòu)方法課程目標(biāo)10.5課程目標(biāo)20.5指標(biāo)點(diǎn)5-2能夠了解大數(shù)據(jù)在互聯(lián)網(wǎng)等領(lǐng)域的典型應(yīng)用課程目標(biāo)20.4課程目標(biāo)30.6三、教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配序號(hào)教學(xué)內(nèi)容基本要求學(xué)時(shí)教學(xué)方式對(duì)應(yīng)課程目標(biāo)1大數(shù)據(jù)概述介紹大數(shù)據(jù)的基本概念和應(yīng)用領(lǐng)域，并闡述大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的相互關(guān)系2講授式啟發(fā)式課程目標(biāo)12大數(shù)據(jù)處理架構(gòu)Hadoop介紹大數(shù)據(jù)處理架構(gòu)Hadoop6講授式練習(xí)式課程目標(biāo)1課程目標(biāo)23分布式文件系統(tǒng)HDFSHDFS簡(jiǎn)介、相關(guān)概念、體系結(jié)構(gòu)、存儲(chǔ)原理、讀寫(xiě)過(guò)程6講授式練習(xí)式課程目標(biāo)1課程目標(biāo)24分布式數(shù)據(jù)庫(kù)HBaseHBase概述、訪問(wèn)接口、數(shù)據(jù)模型、實(shí)現(xiàn)原理、運(yùn)行機(jī)制4講授式練習(xí)式課程目標(biāo)1課程目標(biāo)25云數(shù)據(jù)庫(kù)云數(shù)據(jù)庫(kù)概念、產(chǎn)品、系統(tǒng)架構(gòu)、阿里云RDS實(shí)踐操作2講授式啟發(fā)式課程目標(biāo)1課程目標(biāo)26MapReduce概述、工作流程、實(shí)例分析、具體應(yīng)用4講授式練習(xí)式課程目標(biāo)1課程目標(biāo)27Hadoop架構(gòu)再探討Hadoop的優(yōu)化與發(fā)展、HDFS2.0新特性、新一代資源調(diào)度管理框架YARN、Hadoop生態(tài)系統(tǒng)中具有代表性的功能組件2講授式練習(xí)式課程目標(biāo)1課程目標(biāo)2課程目標(biāo)38SparkSpark概述、生態(tài)系統(tǒng)、運(yùn)行架構(gòu)、部署方式2講授式練習(xí)式課程目標(biāo)1課程目標(biāo)2課程目標(biāo)39流計(jì)算、圖計(jì)算長(zhǎng)尾理論、推薦方法、協(xié)同過(guò)濾4講授式啟發(fā)式課程目標(biāo)2課程目標(biāo)3合計(jì)32序號(hào)實(shí)驗(yàn)項(xiàng)目實(shí)驗(yàn)內(nèi)容與要求學(xué)時(shí)類(lèi)型對(duì)應(yīng)課程目標(biāo)1Windows系統(tǒng)下Linux虛擬機(jī)安裝及使用虛擬一個(gè)Linux運(yùn)行環(huán)境4演示課程目標(biāo)12Hadoop安裝單機(jī)/偽分布式配置（CentOS6.4）順利安裝并運(yùn)行Hadoop6演示課程目標(biāo)13Hadoop集群安裝配置集群安裝配置4演示課程目標(biāo)14Hadoop自定義實(shí)現(xiàn)類(lèi)以及編譯運(yùn)行編寫(xiě)實(shí)現(xiàn)類(lèi)以及編譯運(yùn)行實(shí)現(xiàn)類(lèi)4演示課程目標(biāo)15HBase的安裝與運(yùn)行HBase的基本安裝和使用方法4演示課程目標(biāo)1課程目標(biāo)26使用命令行編譯打包運(yùn)行自己的MapReduce程序編輯自己的MapReduce程序4演示課程目標(biāo)1課程目標(biāo)27使用Eclipse編譯運(yùn)行MapReduce程序在Eclipse上編譯和運(yùn)行MapReduce程序6綜合課程目標(biāo)1課程目標(biāo)2課程目標(biāo)3合計(jì)32注：實(shí)驗(yàn)要求包括必修、選修；實(shí)驗(yàn)類(lèi)型包括演示、驗(yàn)證、綜合、設(shè)計(jì)等。四、課程教學(xué)方法采用集中講授、小組討論等教學(xué)方式五、學(xué)業(yè)評(píng)價(jià)和課程考核對(duì)本課程所采用的評(píng)價(jià)和考核方式作具體說(shuō)明，若并用多種考核方法請(qǐng)列出各項(xiàng)分值的比例。平時(shí)作業(yè)、期中、期末考核等的方法、內(nèi)容、比例等均應(yīng)有明確規(guī)定?？己艘罁?jù)建議分值考核/評(píng)價(jià)細(xì)則對(duì)應(yīng)課程目標(biāo)平時(shí)成績(jī)30出勤5“全勤”為5分，曠課遲到根據(jù)具體情況酌情扣分。課程目標(biāo)1作業(yè)10“完成很好”為10分、“完成較好”為8分、“基本完成”為6分，“完成很差或不完成作業(yè)”<6分課程目標(biāo)1課程目標(biāo)2課程目標(biāo)3課堂表現(xiàn)5課堂表現(xiàn)包括課堂提問(wèn)，課堂討論等，“課堂表現(xiàn)優(yōu)秀”為5分，“課堂表現(xiàn)良好”為5分，

“課堂表現(xiàn)一般”為4分，“課堂表現(xiàn)差”<3分；課程目標(biāo)1課程目標(biāo)2實(shí)驗(yàn)成績(jī)10“完成很好”為10分、“完成較好”為8分、“基本完成”為6分，“完成很差或不完成作業(yè)”<6分課程目標(biāo)1課程目標(biāo)2課程目標(biāo)3期末考試70考試類(lèi)型：閉卷；考試分制：百分制；

考試題型：命題方式由該任課老師確定；考試時(shí)間：由教學(xué)管理部門(mén)統(tǒng)一安排；5、評(píng)價(jià)標(biāo)準(zhǔn)：由命題教師提供。課程目標(biāo)1課程目標(biāo)2課程目標(biāo)3六、達(dá)成度評(píng)價(jià)（一）教學(xué)目標(biāo)達(dá)成度教學(xué)目標(biāo)i的達(dá)成度=(期末相關(guān)試題得分×期末考試占比+平時(shí)成績(jī)得分×平時(shí)成績(jī)占比+實(shí)驗(yàn)成績(jī)得分×實(shí)驗(yàn)成績(jī)占比)/(期末相關(guān)試題總分×期末考試占比+平時(shí)成績(jī)總分×平時(shí)成績(jī)占比+實(shí)驗(yàn)成績(jī)總分×實(shí)驗(yàn)成績(jī)占比)注：可根據(jù)成績(jī)構(gòu)成元素對(duì)上述公式進(jìn)行修改或設(shè)計(jì)更加科學(xué)的計(jì)算公式。（二）畢業(yè)要求指標(biāo)點(diǎn)達(dá)成度畢業(yè)要求指標(biāo)點(diǎn)的達(dá)成度=∑相關(guān)教學(xué)目標(biāo)×權(quán)重七、教材與參考書(shū)（一）推薦教材1．《大數(shù)據(jù)技術(shù)原理與應(yīng)用(第2版)》，林子雨主編，人民郵電出版社，2017年02月版；（二）參考資料1．《Hadoop實(shí)戰(zhàn)》，陸嘉恒主編，機(jī)械工業(yè)出版社出版社，2012年11月版；