大數(shù)據(jù)實訓(xùn)方案

1、大數(shù)據(jù)實訓(xùn)教學(xué)大綱、實訓(xùn)目標基于Hadoop為核心,通過實訓(xùn),達成以下目的：熟悉大數(shù)據(jù),熟悉大數(shù)據(jù)技術(shù)在新時代對企業(yè)的重要性.掌握Linux的根底知識和應(yīng)用掌握hadoop集群環(huán)境的搭建.熟悉HDFS分布式文件系統(tǒng)的原理,掌握 HDFS的API的開發(fā).通過實際案例的開發(fā),了解MapReduce原理,掌握 MapReduce的開發(fā)技術(shù).了解Hive ,學(xué)習(xí)Hive集群的搭建.掌握 Hive的DML和DDL相關(guān)技術(shù).熟悉 ZooKeeper ,學(xué)些 ZooKeeper 集群的搭建,了解 ZooKeeper 在 Hadoop 集群中的作用.了解HBase原理和架構(gòu),掌握 HBase API編程,掌握

2、HBase數(shù)據(jù)的導(dǎo)入和 導(dǎo)出.通過綜合案例實踐,掌握 Hadoop以及相關(guān)框架的開發(fā)和應(yīng)用.二、實訓(xùn)課程內(nèi)容介紹1、 課程大綱工程實戰(zhàn)技能培訓(xùn)工程階段任務(wù)分解說明任務(wù)說明工程啟動實習(xí)總發(fā)動工程治理培 訓(xùn)1、學(xué)生分組2、通過案例初步熟悉大數(shù)據(jù)技術(shù)速成Linux入門Hadoop入門技術(shù)培訓(xùn)1、Linux簡介、安裝2、常用命令3、文件權(quán)限及操作4、用戶及權(quán)限治理5、Linux下搭建Java開發(fā)環(huán)境1、Hadoop 介紹2、Hadoop安裝配置3、hadoop初始化和測試4、配置ssh免密碼登陸配置和 ssh原理1、HDFS原理2、HDFS 的 shell 操作HDFS3、HDFS原理4、HDFS 的

3、 java 接口5、Hadoop RPC6、 HDFS讀取數(shù)據(jù)過程1、MR介紹Map-Reduce2、WordCount執(zhí)行流程和代碼編寫3、MR排序4、Combiner 編程5、shuffle 過程1、Hive入門安裝2、DDL數(shù)據(jù)定義語言3、DML數(shù)據(jù)操作語言4、Hive 安裝 mysql metastoreHive5、Hive分區(qū)表6、 Hive 的 UDF7、倒排索引1、ZooKeeper 介紹2、ZooKeeper客戶端使用ZooKeeper3、hadoop集群搭建4、Hadoop集群測試1、HBase 入門2、HBaseJava 編程Hbase3、Hbase架構(gòu)講解4、MR on Hbase5、Hive on Hbase6、Hbase集群治理7、Hbase數(shù)據(jù)導(dǎo)入8、Hbase備份與恢復(fù)1、制定驗收規(guī)那么工程驗收準備2、 如何制作PPT3、如何演說工程驗收、1、 工程驗收與評分發(fā)布總結(jié)工程驗收關(guān)閉2、工程關(guān)閉：總結(jié)工程經(jīng)驗與教訓(xùn)經(jīng)驗總結(jié)3、 職業(yè)規(guī)劃THANKS