Hadoop大數(shù)據(jù)開發(fā)基礎與案例實戰(zhàn)（微課版）-教學大綱

PAGE1PAGE教學大綱一、課程說明（宋體、小四、加粗）課程名稱：課程編號：總學時：總學分：學時分配：課程性質(zhì)：必修課先修課程：Linux操作系統(tǒng)、Java程序設計適用專業(yè)：大數(shù)據(jù)技術(shù)開課學期：第三學期二、教學目標與要求教學目標：本課程是大數(shù)據(jù)技術(shù)專業(yè)的一門必修專業(yè)課程。主要學習當前廣泛使用的大數(shù)據(jù)Hadoop平臺及其主要組件的作用及使用。通過學習Hadoop平臺框架，學會手動搭建Hadoop環(huán)境，掌握Hadoop平臺上存儲及計算的原理、結(jié)構(gòu)、工作流程，掌握基礎的MapReduce編程，掌握Hadoop生態(tài)圈常用組件的作用、結(jié)構(gòu)、配置和工作流程，并具備大數(shù)據(jù)的動手及問題分析能力，使用掌握的知識應用到實際的項目實踐中。通過本課程的學習，使學生掌握Hadoop生態(tài)圈的工作原理和搭建步驟，培養(yǎng)學生的綜合能力，活躍學生的思維，激發(fā)學生的創(chuàng)造力和想象力，以適應日新月異的就業(yè)形勢和社會的人才需求。教學要求:一、在保證該課程教學的科學性和系統(tǒng)性的前提下，著重突出Hadoop的實用性。有關(guān)本課程的基本概念、基本知識和基本技能，作為教學的重點內(nèi)容，要求學生牢固掌握并熟練運用。二、堅持理論密切聯(lián)系實際，講授時，盡可能借助Hadoop應用程序中的一些典型實例，深入淺出地闡明其基本思想，旨在拓開學生的思路，并積極引導學生將主要精力放在算法設計和功能實現(xiàn)的具體應用上。三、課堂講授實行啟發(fā)式，力求做到少而精，突出重點，并注意將培養(yǎng)和提高學生的分析問題和解決問題的能力放在重要位置。四、堅持課后練習是教好、學好本門課程的關(guān)鍵。在整個教學過程中，將根據(jù)正常教學進度布置一定量的課后作業(yè)，要求學生按時完成。為避免學生將過多的精力和時間耗費在冗繁的敲代碼中，將結(jié)合有關(guān)內(nèi)容，適時介紹功能是現(xiàn)實的常用算法和技巧。教學重點：Hadoop分布式平臺搭建、HDFS分布式文件系統(tǒng)操作、Mapreduce分布式編程、Hive歷史數(shù)據(jù)查詢。教學難點：Hadoop分布式平臺安裝、配置與啟動；MapReduce分布式編程模型；Hive工作原理，Hive窗口分析函數(shù)。教學內(nèi)容與目的項目一大數(shù)據(jù)概述及Hadoop基礎知識（2學時）教學目的：了解大數(shù)據(jù)的特點和發(fā)展歷史，掌握大數(shù)據(jù)的概念及需要解決的問題；了解大數(shù)據(jù)的特點；了解大數(shù)據(jù)的應用領域；了解Hadoop的產(chǎn)生于發(fā)展；了解Hadoop的基本特性；理解Hadoop的生態(tài)系統(tǒng)；了解Hadoop的應用場景。教學重點：大數(shù)據(jù)的概念；大數(shù)據(jù)需要解決的問題；Hadoop的生態(tài)系統(tǒng)。教學難點：Hadoop的生態(tài)系統(tǒng)。教學方法與手段：演示法，啟發(fā)式教學，提問法，任務驅(qū)動式教學手段作業(yè)形式：完成項目對應任務的操作練習項目二Hadoop平臺搭建（10學時）教學目的：掌握設置固定IP的方法；掌握SSH免密登錄配置；掌握在Linux下安裝JDK；掌握時間同步服務配置；掌握Hadoop的安裝；掌握Hadoop集群的搭建；掌握Hadoop集群的啟動及停止；掌握Hadoop集群狀態(tài)的查看。教學重點：JDK的安裝；Hadoop的安裝；Hadoop集群的搭建；Hadoop集群的初始化；Hadoop集群的啟動和停止。教學難點：Hadoop集群的搭建；Hadoop集群的初始化；Hadoop集群的啟動和停止。教學方法與手段：演示法，啟發(fā)式教學，提問法，任務驅(qū)動式教學手段作業(yè)形式：完成項目對應任務的操作練習項目三HDFS操作（4學時）教學目的：理解HDFS的設計目標；掌握HDFS的系統(tǒng)結(jié)構(gòu)；掌握HDFS的運行機制；掌握HDFS的工作流程；掌握HDFS的命令行操作；掌握HDFS的JavaAPI操作。教學重點：HDFS的運行機制；HDFS的命令行操作；HDFS的JavaAPI操作。教學難點：HDFS的命令行操作；HDFS的JavaAPI操作。教學方法與手段：演示法，啟發(fā)式教學，提問法，任務驅(qū)動式教學手段作業(yè)形式：完成項目對應任務的操作練習項目四MapRedcue基礎與編程（8學時）教學目的：理解分布式并行計算；理解MapReduce的含義和特點；掌握MapReduce的工作流程；掌握使用MapReduce編程。教學重點：MapReduce的工作流程；使用MapReduce編程。教學難點：使用MapReduce編程。教學方法與手段：演示法，啟發(fā)式教學，提問法，任務驅(qū)動式教學手段作業(yè)形式：完成項目對應任務的操作練習項目五Hive（8學時）教學目的：理解Hive的文件存儲格式；理解Hive支持的數(shù)據(jù)類型；掌握MySQL的安裝步驟；掌握Hive的安裝、配置和驗證；掌握Hive的復合數(shù)據(jù)類型；掌握Hive的內(nèi)置函數(shù)；掌握Hive的窗口分析函數(shù)。教學重點：Hive的安裝、配置和驗證；Hive的內(nèi)置函數(shù)；Hive的窗口分析函數(shù)。教學難點：Hive的窗口分析函數(shù)。教學方法與手段：演示法，啟發(fā)式教學，提問法，任務驅(qū)動式教學手段作業(yè)形式：完成項目對應任務的操作練習項目六Sqoop（4學時）教學目的：了解Sqoop的工作原理及特點，掌握Sqoop的安裝與驗證；掌握將關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)導入到Hadoop及其相關(guān)的系統(tǒng)中，如Hive和HBase；將數(shù)據(jù)從Hadoop系統(tǒng)里抽取并導出到關(guān)系型數(shù)據(jù)庫。教學重點：Sqoop的安裝與驗證；Hive與MySQL數(shù)據(jù)導入導出。教學難點：Hive與MySQL數(shù)據(jù)導入導出教學方法與手段：演示法，啟發(fā)式教學，提問法，任務驅(qū)動式教學手段作業(yè)形式：完成項目對應任務的操作練習教學方法與手段本課程理論知識講授環(huán)節(jié)，不僅要注重對Hadoop基礎理論知識的講解，更要注重大數(shù)據(jù)計算思維的培養(yǎng)。針對案例運行過程中出現(xiàn)的錯誤問題，指導學生能獨立查找與解決，使學生掌握解決大數(shù)據(jù)領域所需的基本理論和工程方法；通過適當?shù)恼n后作業(yè)鍛煉來檢驗學生處理大數(shù)據(jù)問題的能力。本課程以“學生主體、教師主導”為教學思想，采用“互動、開放”的課堂教學形式，具體以課堂教學為主，結(jié)合自學、課后作業(yè)和實驗教學，采用啟發(fā)式、探究式的教學方法，基于項目的實際問題，提高學生解決問題的能力，達到課程目標的要求。課堂教學