《Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用》課程標(biāo)準(zhǔn)

《Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用》課程標(biāo)準(zhǔn)課程名稱：Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用總學(xué)時(shí)數(shù)/學(xué)分?jǐn)?shù)：64/4課程類型：職業(yè)技能課課程所屬：適用專業(yè)：大數(shù)據(jù)技術(shù)專業(yè)發(fā)布日期：年月一、課程基本情況1、課程歸屬：信息工程學(xué)院2、課程類型：職業(yè)技能課3、課程類別：必修課4、適應(yīng)專業(yè)：大數(shù)據(jù)技術(shù)5、學(xué)時(shí)標(biāo)準(zhǔn)：64學(xué)時(shí)6、學(xué)分標(biāo)準(zhǔn)：4學(xué)分7、前修課程：大數(shù)據(jù)技術(shù)概論、編程基礎(chǔ)、Linux操作系統(tǒng)、數(shù)據(jù)庫(kù)設(shè)計(jì)與實(shí)現(xiàn)8、后續(xù)課程：大數(shù)據(jù)處理與分析二、制定依據(jù)本課程標(biāo)準(zhǔn)依據(jù)天津?yàn)I海汽車工程職業(yè)學(xué)院信息工程學(xué)院《大數(shù)據(jù)技術(shù)專業(yè)人才培養(yǎng)方案》、結(jié)合就業(yè)市場(chǎng)對(duì)應(yīng)崗位職能要求和需求標(biāo)準(zhǔn)等制定。三、課程定位及作用《大數(shù)據(jù)平臺(tái)運(yùn)維》本課程是大數(shù)據(jù)技術(shù)專業(yè)核心課程，大數(shù)據(jù)技術(shù)入門課程。通過(guò)學(xué)習(xí)課程使得學(xué)生掌握大數(shù)據(jù)分析的主要思想和基本步驟，并通過(guò)編程練習(xí)和典型應(yīng)用實(shí)例加深了解；同時(shí)對(duì)Hadoop平臺(tái)應(yīng)用與開(kāi)發(fā)的一般理論有所了解，如分布式數(shù)據(jù)收集、分布式數(shù)據(jù)存儲(chǔ)、分布式數(shù)據(jù)計(jì)算、分布式數(shù)據(jù)展示。開(kāi)設(shè)本學(xué)科的目的是讓學(xué)生掌握如何使用大數(shù)據(jù)分析技術(shù)解決特定業(yè)務(wù)領(lǐng)域的問(wèn)題。完成本課程學(xué)習(xí)后能夠熟練的應(yīng)用大數(shù)據(jù)技術(shù)解決企業(yè)中的實(shí)際生產(chǎn)問(wèn)題。四、課程設(shè)計(jì)理念及思路（一）課程理念本課程遵循高等職業(yè)教育規(guī)律，以大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)際工作崗位需求為導(dǎo)向選取課程內(nèi)容，課程目標(biāo)是培養(yǎng)學(xué)生具備“大數(shù)據(jù)分析”應(yīng)用項(xiàng)目所需系統(tǒng)環(huán)境的搭建與測(cè)試綜合職業(yè)能力；堅(jiān)持開(kāi)放性設(shè)計(jì)原則，吸收企業(yè)專家參與，建立基于Hadoop的生態(tài)環(huán)境，以“工作任務(wù)”為載體的“項(xiàng)目化”課程結(jié)構(gòu)；課程教學(xué)實(shí)施教、學(xué)、做一體，堅(jiān)持理論為實(shí)踐服務(wù)的教學(xué)原則，通過(guò)模擬企業(yè)“大數(shù)據(jù)分析”環(huán)境進(jìn)行組織，鍛煉學(xué)生的實(shí)踐操作能力。（二）程設(shè)計(jì)整體思路通過(guò)崗位技能的項(xiàng)目化以及系統(tǒng)搭建與應(yīng)用任務(wù)的序列化，對(duì)內(nèi)容體系結(jié)構(gòu)進(jìn)行了適當(dāng)調(diào)整與重構(gòu)，以適應(yīng)教學(xué)課程安排。以項(xiàng)目案例及其任務(wù)實(shí)現(xiàn)為驅(qū)動(dòng)，憑借翔實(shí)的操作步驟和準(zhǔn)確的說(shuō)明，幫助學(xué)生迅速掌握Hadoop生態(tài)系統(tǒng)環(huán)境構(gòu)建與應(yīng)用，并且充分考慮學(xué)習(xí)操作時(shí)可能發(fā)生的問(wèn)題，并提供了詳細(xì)的解決方案，突出崗位技能訓(xùn)練。五、課程目標(biāo)通過(guò)崗位技能的項(xiàng)目化以及系統(tǒng)搭建與應(yīng)用任務(wù)的序列化，對(duì)內(nèi)容體系結(jié)構(gòu)進(jìn)行了適當(dāng)調(diào)整與重構(gòu)，以適應(yīng)教學(xué)課程安排。以項(xiàng)目案例及其任務(wù)實(shí)現(xiàn)為驅(qū)動(dòng)，憑借翔實(shí)的操作步驟和準(zhǔn)確的說(shuō)明，幫助學(xué)生迅速掌握Hadoop生態(tài)系統(tǒng)環(huán)境構(gòu)建與應(yīng)用，并且充分考慮學(xué)習(xí)操作時(shí)可能發(fā)生的問(wèn)題，并提供了詳細(xì)的解決方案，突出崗位技能訓(xùn)練。（一）知識(shí)目標(biāo)通過(guò)本課程的學(xué)習(xí)，使學(xué)生能夠：1、理解什么是Hadoop、Hadoop的發(fā)展歷史、Hadoop的特點(diǎn)、分布式文件系統(tǒng)——HDFS、分布式計(jì)算框架——MapReduce、集群資源管理器——YARN、Hadoop生態(tài)系統(tǒng)、Hadoop應(yīng)用場(chǎng)景2、掌握Hadoop的安全模式、MapReduce工作原理及核心組成、了解MapReduce實(shí)現(xiàn)詞頻統(tǒng)計(jì)的執(zhí)行流程3、掌握什么是Hive、Hive與傳統(tǒng)數(shù)據(jù)的對(duì)比、Hive系統(tǒng)架構(gòu)、Hive數(shù)據(jù)模型、Hive執(zhí)行流程、Hive數(shù)據(jù)操作語(yǔ)言的基本語(yǔ)法4、掌握什么是HBase、HBase系統(tǒng)架構(gòu)、HBase數(shù)據(jù)模型、HBase讀寫流程（二）能力目標(biāo)通過(guò)本課程的學(xué)習(xí)，使學(xué)生能夠：1、掌握創(chuàng)建Linux虛擬機(jī)的方法、如何設(shè)置固定IP地址、如果遠(yuǎn)程連接虛擬機(jī)、如何配置本地YUM源及安裝常用軟件、如何啟動(dòng)和關(guān)閉Hadoop集群2、掌握HDFS的基本操作、如何創(chuàng)建MapReduce工程、如何使用FileSystemAPI操作3、掌握Hive如何創(chuàng)建表、修改表，如何完成Top20基站統(tǒng)計(jì)4、掌握HBase如何創(chuàng)建表、修改表、刪除表，如何向表中插入數(shù)據(jù)，如何分析通話記錄數(shù)5、掌握大數(shù)據(jù)日志分析綜合項(xiàng)目案例（三）素質(zhì)目標(biāo)通過(guò)本門課程的學(xué)習(xí)，使學(xué)生在大數(shù)據(jù)技術(shù)技能上不但具有深厚的理論功底，而且具有熟練的項(xiàng)目實(shí)戰(zhàn)操作技能，達(dá)到相關(guān)大數(shù)據(jù)技術(shù)崗位人員的知識(shí)儲(chǔ)備和能力要求，最終能夠適應(yīng)社會(huì)對(duì)大數(shù)據(jù)技術(shù)人才的需要。1、通過(guò)對(duì)數(shù)據(jù)分析的了解，增強(qiáng)探索意識(shí)2、樹(shù)立大數(shù)據(jù)思維和時(shí)代意識(shí)，自覺(jué)遵守職業(yè)道德和法律法規(guī)3、提高選擇合適方法解決不同問(wèn)題的能力4、養(yǎng)成分析問(wèn)題、事前做好準(zhǔn)備的良好習(xí)慣5、提高分析問(wèn)題、針對(duì)不同問(wèn)題選擇合適方法的能力6、強(qiáng)化數(shù)據(jù)安全意識(shí)，提高信息技術(shù)應(yīng)用能力7、理解國(guó)家大數(shù)據(jù)戰(zhàn)略，構(gòu)建大數(shù)據(jù)思維和時(shí)代意識(shí)8、鍛煉具體問(wèn)題具體分析的思維方法，培養(yǎng)一絲不茍的工作態(tài)度，增強(qiáng)積極主動(dòng)尋求解決方法的意識(shí)六、課程教學(xué)內(nèi)容與學(xué)時(shí)分配（一）學(xué)時(shí)安排大數(shù)據(jù)平臺(tái)運(yùn)維課程分為七章，章節(jié)課程之間聯(lián)系緊密，通過(guò)每章項(xiàng)目案例驅(qū)動(dòng)為導(dǎo)向，結(jié)合每章課程知識(shí)細(xì)節(jié)，融會(huì)貫通。全課程采用階梯式教學(xué)，由淺入深、循序漸進(jìn)。夯實(shí)基礎(chǔ)，實(shí)出重點(diǎn)，解析難點(diǎn)，并注重新知識(shí)的拓展。下面是關(guān)于本課程知識(shí)的簡(jiǎn)述：序號(hào)教學(xué)內(nèi)容教學(xué)要點(diǎn)學(xué)時(shí)1大數(shù)據(jù)基礎(chǔ)概述應(yīng)知應(yīng)會(huì)：（1）掌握大數(shù)據(jù)的概念和價(jià)值（2）掌握大數(shù)據(jù)的來(lái)源（3）了解大數(shù)據(jù)的應(yīng)用場(chǎng)景（4）了解大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)（5）掌握Hadoop及其生態(tài)系統(tǒng)簡(jiǎn)介（6）了解大數(shù)據(jù)行業(yè)的人才需求狀況42Hadoop分布式文件系統(tǒng)HDFS應(yīng)知應(yīng)會(huì)：（1）了解HDFS基本概念（2）了解HDFS的系統(tǒng)架構(gòu)與適用場(chǎng)景（3）掌握HDFS的操作方式（4）掌握HDFS的關(guān)鍵特性（5）掌握HDFS的安裝部署與配置方法（6）掌握HDFS的讀寫API操作方法123分布式計(jì)算框架MapReduce和分布式資源管理器YARN應(yīng)知應(yīng)會(huì)：（1）了解MapReduce和YARN的概念（2）掌握MapReduce和YARN的工作過(guò)程與架構(gòu)（3）掌握YARN的資源管理和任務(wù)調(diào)度（4）掌握部署YARN集群的方法（5）掌握編寫單詞計(jì)數(shù)WordCount程序84HBase分布式NoSQL數(shù)據(jù)庫(kù)應(yīng)知應(yīng)會(huì)：（1）了解HBase的概念（2）了解HBase的架構(gòu)（3）掌握HBase的關(guān)鍵流程（4）掌握HBase的安裝與配置（5）掌握HBase的Shell操作方法（6）掌握HBase的API操作方法85Hive分布式數(shù)據(jù)倉(cāng)庫(kù)應(yīng)知應(yīng)會(huì)：（1）了解Hive的概念（2）了解Hive的架構(gòu)原理（3）掌握Hive的基本操作（4）了解HiveQL的應(yīng)用（5）掌握Hive的安裝與部署（6）掌握Hive數(shù)據(jù)定義操作的具體實(shí)現(xiàn)方法（7）掌握Hive數(shù)據(jù)操縱操作的具體實(shí)現(xiàn)方法（8）掌握Hive查詢操作的具體實(shí)現(xiàn)方法（9）掌握Hive數(shù)據(jù)操縱操作的具體實(shí)現(xiàn)方法86Hadoop其他大數(shù)據(jù)生態(tài)組件應(yīng)知應(yīng)會(huì)：（1）了解海量日志聚合Flume相關(guān)概念（2）了解分布式消息訂閱系統(tǒng)Kafka相關(guān)概念（3）掌握Flume的安裝與部署（4）掌握如何使用Flume采集數(shù)據(jù)到HDFS（5）掌握Kafka集群部署（6）掌握Kafka的使用方式87大數(shù)據(jù)日志分析綜合項(xiàng)目案例應(yīng)知應(yīng)會(huì)：（1）了解項(xiàng)目目的、意義、背景、架構(gòu)、需求等基本項(xiàng)目信息（2）掌握項(xiàng)目實(shí)施過(guò)程（3）能夠會(huì)書寫項(xiàng)目報(bào)告16（二）課程內(nèi)容1．大數(shù)據(jù)基礎(chǔ)概述重點(diǎn)：大數(shù)據(jù)的概念難點(diǎn)：Hadoop及其生態(tài)系統(tǒng)【內(nèi)容要求】1）掌握大數(shù)據(jù)的概念和價(jià)值2）掌握大數(shù)據(jù)的來(lái)源3）了解大數(shù)據(jù)的應(yīng)用場(chǎng)景4）了解大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)5）掌握Hadoop及其生態(tài)系統(tǒng)簡(jiǎn)介6）了解大數(shù)據(jù)行業(yè)的人才需求狀況2.Hadoop分布式文件系統(tǒng)HDFS重點(diǎn)：HDFS的基本概念、HDFS的安裝部署與配置方法難點(diǎn)：HDFS關(guān)鍵特性【內(nèi)容要求】1）了解HDFS基本概念2）了解HDFS的系統(tǒng)架構(gòu)與適用場(chǎng)景3）掌握HDFS的操作方式4）掌握HDFS的關(guān)鍵特性5）掌握HDFS的安裝部署與配置方法6）掌握HDFS的讀寫API操作方法3.分布式計(jì)算框架MapReduce和分布式資源管理器YARN重點(diǎn)：MapReduce和YARN的工作過(guò)程與架構(gòu)、部署YARN集群的方法難點(diǎn)：編寫單詞計(jì)數(shù)WordCount程序【內(nèi)容要求】1）了解MapReduce和YARN概念2）掌握MapReduce和YARN的工作過(guò)程與架構(gòu)3）掌握YARN的資源管理和任務(wù)調(diào)度4）掌握部署YARN集群的方法5）掌握編寫單詞計(jì)數(shù)WordCount程序4.HBase分布式NoSQL數(shù)據(jù)庫(kù)重點(diǎn)：HBase的關(guān)鍵流程、HBase的安裝與配置難點(diǎn)：HBase的API操作方法【內(nèi)容要求】1）了解HBase的概念2）了解HBase的架構(gòu)3）掌握HBase的關(guān)鍵流程4）掌握HBase的安裝與配置5）掌握HBase的Shell操作方法6）掌握HBase的API操作方法5.Hive分布式數(shù)據(jù)倉(cāng)庫(kù)重點(diǎn)：Hive的基本操作、Hive的安裝與部署難點(diǎn)：Hive數(shù)據(jù)定義操作、數(shù)據(jù)操縱操作、查詢操作、數(shù)據(jù)操縱操作的具體實(shí)現(xiàn)方法【內(nèi)容要求】1）了解Hive的概念2）了解Hive的架構(gòu)原理3）掌握Hive的基本操作4）了解HiveQL的應(yīng)用5）掌握Hive的安裝與部署6）掌握Hive數(shù)據(jù)定義操作的具體實(shí)現(xiàn)方法7）掌握Hive數(shù)據(jù)操縱操作的具體實(shí)現(xiàn)方法8）掌握Hive查詢操作的具體實(shí)現(xiàn)方法9）掌握Hive數(shù)據(jù)操縱操作的具體實(shí)現(xiàn)方法6.Hadoop其他大數(shù)據(jù)生態(tài)組件重點(diǎn)：Flume的安裝與部署、Kafka集群部署難點(diǎn)：使用Flume采集數(shù)據(jù)到HDFS【內(nèi)容要求】1）了解海量日志聚合Flume相關(guān)概念2）了解分布式消息訂閱系統(tǒng)Kafka相關(guān)概念3）掌握Flume的安裝與部署4）掌握如何使用Flume采集數(shù)據(jù)到HDFS5）掌握Kafka集群部署6）掌握Kafka的使用方式7.大數(shù)據(jù)日志分析綜合項(xiàng)目案例重點(diǎn)：項(xiàng)目實(shí)施過(guò)程難點(diǎn)：項(xiàng)目實(shí)施過(guò)程、書寫項(xiàng)目報(bào)告【內(nèi)容要求】1）了解項(xiàng)目目的、意義、背景、架構(gòu)、需求等基本項(xiàng)目信息2）掌握項(xiàng)目實(shí)施過(guò)程3）能夠會(huì)書寫項(xiàng)目報(bào)告七、課程考核與評(píng)價(jià)結(jié)合案例教學(xué)的特點(diǎn)，對(duì)學(xué)生的考核采用平時(shí)情況結(jié)合期末總評(píng)情況綜合評(píng)價(jià)。學(xué)生在每次項(xiàng)目完成后，每組學(xué)生在項(xiàng)目組內(nèi)自評(píng)，教師給每組一個(gè)總評(píng)，將學(xué)生自評(píng)成績(jī)和教師總評(píng)成績(jī)按比例結(jié)合為一次項(xiàng)目的成績(jī)。多次項(xiàng)目成績(jī)組成了學(xué)生此課程的平時(shí)實(shí)踐操作部分的成績(jī)。另外學(xué)生在每部分學(xué)習(xí)后完成的其它任務(wù)（如課后作業(yè)），此又作為學(xué)生平時(shí)成績(jī)的一部分。在期末課程結(jié)束后，按實(shí)際情況可布置每個(gè)學(xué)生獨(dú)立完成一個(gè)較綜合的項(xiàng)目實(shí)踐，以此作為期末考核成績(jī)；考慮到部分學(xué)生非獨(dú)立完成的作弊行為，亦可組織學(xué)生統(tǒng)一卷面考試，以此成績(jī)作為期末考核成績(jī)。最后將每個(gè)學(xué)生的平時(shí)實(shí)踐成績(jī)、其它成績(jī)（課后作業(yè)、課堂表現(xiàn)等）、學(xué)習(xí)表現(xiàn)、期末考核成績(jī)根據(jù)實(shí)際情況按一定比例綜合得出學(xué)生此門課程的最終評(píng)價(jià)。

對(duì)學(xué)生學(xué)習(xí)過(guò)程的評(píng)價(jià)，包括參與討論的積極態(tài)度、自信心、實(shí)際操作技能、合作交流意識(shí)，以及獨(dú)立思考的能力、創(chuàng)新思維能力等方面，如：

1、是否積極主動(dòng)地參與討論和分析2、是否敢于表述自己的想法，對(duì)自己的觀點(diǎn)有充分的自信3、是否積極認(rèn)真地參與模擬實(shí)踐和應(yīng)用實(shí)踐

4、是否敢于嘗試從不同角度思考問(wèn)題，有獨(dú)到的見(jiàn)解

5、能否理解他人的思路，并在與小組成員合作交流中得到啟發(fā)與進(jìn)步6、是否有認(rèn)真反思自己思考過(guò)程的意識(shí)?；蛘呤且寐殘?chǎng)鑒定來(lái)考核學(xué)生實(shí)際操作技能（一）課程考核形式本課程考核評(píng)價(jià)采用過(guò)程性考核與終結(jié)性考核相結(jié)合的方式，過(guò)程性考核由作業(yè)成績(jī)、課堂上機(jī)操作表現(xiàn)、出勤情況、小組互動(dòng)等因素綜合給出，終結(jié)性考核采用期末考試形式進(jìn)行。（二）考核方式與成績(jī)?cè)u(píng)定學(xué)生成績(jī)=過(guò)程性考核*50%+終結(jié)性考核成績(jī)*50%過(guò)程性考核成績(jī)=作業(yè)成績(jī)*30%+綜合訓(xùn)練項(xiàng)目成績(jī)*30%+課堂表現(xiàn)*40%作業(yè)成績(jī)=單元作業(yè)或測(cè)試（不少于6次）成績(jī)加總平均；綜合訓(xùn)練項(xiàng)目成績(jī)=課程綜合作業(yè)或綜合實(shí)訓(xùn)項(xiàng)目（綜合作業(yè)）成績(jī)（不少于4次）加總平均；課堂表現(xiàn)成績(jī)=考勤50%+課堂互動(dòng)20%+團(tuán)隊(duì)合作30%終結(jié)性考核成績(jī)=本課程設(shè)計(jì)學(xué)習(xí)目標(biāo)的“了解”*30%+本課程設(shè)計(jì)學(xué)習(xí)目標(biāo)的“掌握”*60%+本課程額外擴(kuò)展知識(shí)*10%八、課程實(shí)施建議（一）課程教學(xué)團(tuán)隊(duì)建議結(jié)合國(guó)家正在推進(jìn)的1+X證書制度，高職院校應(yīng)在培養(yǎng)高素質(zhì)“雙師”基礎(chǔ)上，對(duì)專業(yè)骨干教師增加勝任“培訓(xùn)師”的能力要求，讓教師既能在學(xué)校授課，又能攻關(guān)企業(yè)技術(shù)難題，還能在培訓(xùn)機(jī)構(gòu)開(kāi)展職業(yè)資格培訓(xùn)，探索按照“三師”素質(zhì)要求完善職教教師的專業(yè)能力標(biāo)準(zhǔn)。教師團(tuán)隊(duì)主要由學(xué)校專任教師和來(lái)自行業(yè)企業(yè)的兼職教師組成，以校企合作作為專業(yè)建設(shè)的工作平臺(tái)，開(kāi)發(fā)設(shè)計(jì)和實(shí)施專業(yè)人才培養(yǎng)方案、課程標(biāo)準(zhǔn)、教學(xué)資源、課程設(shè)計(jì)。專任教師建議由學(xué)校專業(yè)功底扎實(shí)、教學(xué)經(jīng)驗(yàn)豐富的教授或副教授擔(dān)任，兼職教師建議聘用從事軟件開(kāi)發(fā)行業(yè)相關(guān)職位、具有豐富的專業(yè)知識(shí)和從業(yè)驗(yàn)證的人員擔(dān)任。（二）課程教材建議教材是教學(xué)改革的重要載體和體現(xiàn)形式，教材建設(shè)涉及教學(xué)內(nèi)容、教學(xué)方法與手段、教學(xué)媒體等，既是對(duì)教學(xué)內(nèi)容體系的重構(gòu)，也是一套完整的教學(xué)解決方案。本課程面向大數(shù)據(jù)技術(shù)專業(yè)的專業(yè)核心課程，建議選用鄧永生