《Hadoop大數(shù)據(jù)原理與應(yīng)用》實(shí)驗(yàn)指導(dǎo)書

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程

實(shí)驗(yàn)（實(shí)訓(xùn)）指導(dǎo)書

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實(shí)驗(yàn)指導(dǎo)書

一、課程基本信息

課程名稱：大數(shù)據(jù)技術(shù)原理及應(yīng)用課程編碼：

課程類別：

口公共必修課程□公共選修課程口數(shù)學(xué)與自然科學(xué)類課程

□工程基礎(chǔ)類課程□專業(yè)基礎(chǔ)類課程團(tuán)專業(yè)必修課程

□專業(yè)方向課程口專業(yè)選修課程□專業(yè)實(shí)踐環(huán)節(jié)

適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技

課程學(xué)分：3學(xué)分計(jì)劃課時(shí)：48（理論32,實(shí)驗(yàn)16）

術(shù)，計(jì)算機(jī)科學(xué)與技術(shù)

先修課程：面向?qū)ο蟪绦蛟O(shè)計(jì)、Python語言程序設(shè)計(jì)、操作系統(tǒng)、數(shù)據(jù)庫原理

后繼課程：數(shù)據(jù)采集與預(yù)處理、大數(shù)據(jù)存儲(chǔ)與管理技術(shù)、數(shù)據(jù)挖掘、大數(shù)據(jù)開發(fā)技術(shù)、大

數(shù)據(jù)高級(jí)編程、數(shù)據(jù)可視化技術(shù)

制定人：徐魯輝審核人：批準(zhǔn)人：

二、課程任務(wù)、目的

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》圍繞“構(gòu)建知識(shí)體系、闡明基本原理、引導(dǎo)初級(jí)實(shí)踐、了解

相關(guān)應(yīng)用”的指導(dǎo)思想，著重講述大數(shù)據(jù)技術(shù)的基本原理、基本方法、技術(shù)工具和相關(guān)應(yīng)用，

幫助學(xué)生構(gòu)建完整的大數(shù)據(jù)技術(shù)知識(shí)體系，使學(xué)生了解大數(shù)據(jù)技術(shù)在行業(yè)領(lǐng)域中的最新發(fā)展

趨勢(shì)和前沿知識(shí)，熟悉大數(shù)據(jù)應(yīng)用的整個(gè)生命周期，能夠熟練使用Hadoop、Spark等主流大

數(shù)據(jù)平臺(tái)及其生態(tài)系統(tǒng)中的技術(shù)工具完成基本的大數(shù)據(jù)應(yīng)用閉環(huán)操作，達(dá)到知行合一、以用

促學(xué)的目的。

知識(shí)目標(biāo)：

1.理解大數(shù)據(jù)基本概念，了解大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能的關(guān)系，了解當(dāng)前大

數(shù)據(jù)的崗位及需求、學(xué)習(xí)路線：

2.認(rèn)識(shí)大數(shù)據(jù)處理平臺(tái)Hadoop,熟練掌握全分布模式Hadoop集群的部署基本過程；

3.理解分布式文件系統(tǒng)HDFS的體系架構(gòu)、文件存儲(chǔ)機(jī)制和數(shù)據(jù)讀寫過程，熟練掌握

HDFSWebUI的使用、HDFSShell常用命令的使用和HDFS編程；

4.理解分布式計(jì)算框架MapReduce的編程思想和作業(yè)執(zhí)行流程，掌握MapReduce簡單

編程，了解當(dāng)前其他主流的大數(shù)據(jù)計(jì)算框架如Spark、Storm；

5.理解YARN體系架構(gòu)和工作原理，掌握YARNWebUhYARNShell的基本使用，了解

ResourceManager高可用機(jī)制的原理與配置，了解HDFSNameNode高可用機(jī)制、HDFS

NameNodeFederation>HDFSSnapshots；

6.理解分布式協(xié)調(diào)框架ZooKeeper的執(zhí)行原理和應(yīng)用場景，掌握ZooKeeper集群的部

署和ZooKeeperShell常用命令的使用；

7.理解NoSQL數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫的區(qū)別、分布式數(shù)據(jù)庫HBase的數(shù)據(jù)模型、體系架

構(gòu)和運(yùn)行機(jī)制，熟練掌握HBase集群的部署、HBaseShell常用命令的使用；

8.理解Hive的體系架構(gòu)和執(zhí)行流程，掌握Hive的部署和連接方式，熟練掌握Hive基

本操作包括HiveDDL>HiveDML的書寫和HiveShell命令的使用;

9.理解數(shù)據(jù)遷移框架Sqoop、日志采集系統(tǒng)Flume、分布式發(fā)布/訂閱消息系統(tǒng)Kafka的

作用、架構(gòu)和工作原理，掌握Sqoop、Flume、Kafka的部署和使用；

10.了解數(shù)據(jù)可視化的概念、作用和過程，理解常用的數(shù)據(jù)可視化圖形，了解當(dāng)前主流

的數(shù)據(jù)可視化工具。

能力目標(biāo)：培養(yǎng)學(xué)生學(xué)以致用，能夠綜合利用Hadoop大數(shù)據(jù)平臺(tái)及其生態(tài)中各個(gè)工具

解決實(shí)際大數(shù)據(jù)應(yīng)用方面的基本問題，提高學(xué)生閱讀外文科技文獻(xiàn)能力，增強(qiáng)學(xué)生發(fā)現(xiàn)問題、

分析問題、解決問題能力，與學(xué)科競賽和項(xiàng)目緊密結(jié)合，穩(wěn)步培養(yǎng)和提高學(xué)生的動(dòng)手實(shí)踐能

力、自主創(chuàng)新能力、團(tuán)隊(duì)協(xié)作能力、寫作表達(dá)能力。

情感目標(biāo)：通過對(duì)我國大數(shù)據(jù)技術(shù)、傳統(tǒng)優(yōu)秀文化的介紹，增強(qiáng)學(xué)生的民族自豪感，提

升學(xué)生的愛國主義精神，增強(qiáng)文化自信；將專業(yè)知識(shí)與服務(wù)社會(huì)相結(jié)合，培養(yǎng)學(xué)生的社會(huì)責(zé)

任感，樹立正確三觀，使學(xué)生更為深刻的理解專業(yè)內(nèi)涵，提高學(xué)習(xí)內(nèi)驅(qū)力，培養(yǎng)科學(xué)素養(yǎng)，

內(nèi)化為道德準(zhǔn)則、科學(xué)思維和行為規(guī)范。

三、實(shí)驗(yàn)項(xiàng)目內(nèi)容與學(xué)時(shí)分配

序?qū)嶒?yàn)實(shí)驗(yàn)

實(shí)驗(yàn)名稱實(shí)驗(yàn)內(nèi)容學(xué)時(shí)

號(hào)類型要求

1.規(guī)劃部署。

2.準(zhǔn)備機(jī)器。

3.準(zhǔn)備軟件環(huán)境：配置靜態(tài)IP；修改

主機(jī)名；編輯域名映射；安裝和配置

實(shí)驗(yàn)1部署全分Java；安裝和配置SSH免密登錄。

1布模式Hadoop集4.獲取和安裝Hadoop。2綜合型必修

群5.配置全分布模式Hadoop集群。

6.關(guān)閉防火墻。

7.格式化文件系統(tǒng)。

8.啟動(dòng)和驗(yàn)證Hadoopo

9.關(guān)閉Hadoop,,

1.啟動(dòng)全分布模式Hadoop集群，守

護(hù)進(jìn)程包括NameNode、DataNode、

SecondaryNameNode、

ResourceManager、NodeManager和

JobHistoryServer?

2.查看HDFSWeb界面。

3.練習(xí)HDFSShell文件系統(tǒng)命令和系

統(tǒng)管理命令。

4.在Hadoop集群主節(jié)點(diǎn)上搭建

2實(shí)驗(yàn)2實(shí)戰(zhàn)HDFS2設(shè)計(jì)型必修

HDFS開發(fā)環(huán)境Eclipseo

5.使用HDFSJavaAPI編寫HDFS文件

操作程序,實(shí)現(xiàn)上傳本地文件到HDFS

的功能，采用本地執(zhí)行和集群執(zhí)行的

兩種執(zhí)行方式測(cè)試，觀察結(jié)果。

6.使用HDFSJavaAPI編寫HDFS文件

操作程序,實(shí)現(xiàn)查看上傳文件在HDFS

集群中位置的功能，采用本地執(zhí)行和

集群執(zhí)行的兩種執(zhí)行方式測(cè)試，觀察

結(jié)果“

7.關(guān)閉全分布模式Hadoop集群。

1.啟動(dòng)全分布模式Hadoop集群，守

護(hù)進(jìn)程包括NameNode、DataNode、

SecondaryNameNode、

ResourceManager^NodeManager和

JobHistoryServero

2.在Hadoop集群主節(jié)點(diǎn)上搭建

MapReduce開發(fā)環(huán)境Eclipse。

3.查看Hadoop自帶的MR-App單詞

計(jì)數(shù)源代碼WordCount.java,在

Eclipse項(xiàng)目MapReduceExample下建

實(shí)驗(yàn)3立新包c(diǎn)om.xijing.mapreduce,模仿內(nèi)

32設(shè)計(jì)型必修

MapReduce編程(1)置的WordCount示例，自己編寫一個(gè)

WordCount程序，最后打包成JAR形

式并在Hadoop集群上運(yùn)行該MR-

App,查看運(yùn)行結(jié)果。

4.分別在自編MapReduce程序

WordCount運(yùn)行過程中和運(yùn)行結(jié)束

后查看MapReduceWebUI界面。

5.分別在自編MapReduce程序

WordCount運(yùn)行過程中和運(yùn)行結(jié)束

后練習(xí)MapReduceShell常用命令。

6.關(guān)閉Hadoop集群。

1.啟動(dòng)全分布模式Hadoop集群，守

護(hù)進(jìn)程包括NameNode>DataNode、

實(shí)驗(yàn)4

4SecondaryNameNode、2設(shè)計(jì)型必修

MapReduce編程(2)

ResourceManager>NodeManager和

JobHistoryServero

2.在Eclipse項(xiàng)目MapReduceExample

下建立新包c(diǎn)om.xijing.mapreduce,編

寫MapReduce程序，已知某個(gè)超市的

結(jié)算記錄，從左往右各字段的含義依

次是會(huì)員編號(hào)、結(jié)算時(shí)間、消費(fèi)金額

和用戶身份，要求計(jì)算出會(huì)員和非會(huì)

員的平均消費(fèi)金額。最后打包成JAR

形式并在Hadoop集群上運(yùn)行該MR-

App,查看運(yùn)行結(jié)果。

3.分別在自編MapReduce程序運(yùn)行

過程中和運(yùn)行結(jié)束后查看YARNWeb

UI界面。

4.分別在自編MapReduce程序運(yùn)行

過程中和運(yùn)行結(jié)束后練習(xí)YARNShell

常用命令。

5.關(guān)閉Hadoop集群。

1.規(guī)劃ZooKeeper集群。

2.部署ZooKeeper集群。

實(shí)驗(yàn)5部署3.啟動(dòng)ZooKeeper集群。

5ZooKeeper集群和4.驗(yàn)證ZooKeeper集群。2綜合型必修

實(shí)戰(zhàn)ZooKeeper5.使用ZooKeeper四字命令。

6.使用ZooKeeperShell常用命令。

7.關(guān)閉ZooKeeper集群。

1.規(guī)劃全分布模式HBase集群。

2.部署全分布模式HBase集群。

實(shí)驗(yàn)6部署全分

3.啟動(dòng)全分布模式HBase集群。

6布模式HBase集群2綜合型必修

4.驗(yàn)證全分布模式HBase集群。

和實(shí)戰(zhàn)HBase

5.使用HBaseWebUL

6.使用HBaseShell常用命令。

7.關(guān)閉全分布模式HBase集群。

1.規(guī)劃Hive。

2.部署本地模式Hive。

實(shí)驗(yàn)7部署本地3.啟動(dòng)Hive。

7模式Hive和實(shí)戰(zhàn)4.驗(yàn)證Hive。2綜合型必修

Hive5.配置和使用HiveWebUI?

6.使用HiveShell常用命令。

7.關(guān)閉Hive。

1.規(guī)劃安裝。

2.安裝和配置Sqoop。

3.驗(yàn)證Sqoop。

8實(shí)驗(yàn)8實(shí)戰(zhàn)Sqoop4.使用SqoopShell完成數(shù)據(jù)從關(guān)系2綜合型必修

數(shù)據(jù)庫(Oracle、MySQL、PostgreSQL

等)到Hadoop(HDFS/Hive/HBase)

的導(dǎo)入和導(dǎo)出。

合計(jì)學(xué)時(shí)16

說明：

1.實(shí)驗(yàn)設(shè)置要注意內(nèi)容更新，體系設(shè)計(jì)科學(xué)合理，實(shí)驗(yàn)項(xiàng)目名稱要準(zhǔn)確規(guī)范。

2.實(shí)驗(yàn)要求為：必修、選修。

3.實(shí)驗(yàn)類型為：演示型、驗(yàn)證型、綜合型、設(shè)計(jì)型。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實(shí)驗(yàn)指導(dǎo)書

目錄

一'課程基本信息...................................................II

二'課程任務(wù)、目的.................................................II

三、實(shí)驗(yàn)項(xiàng)目內(nèi)容與學(xué)時(shí)分配........................................Ill

實(shí)驗(yàn)1部署全分布模式Hadoop集群...................................1

一'實(shí)驗(yàn)?zāi)康?...................................................1

二、實(shí)驗(yàn)環(huán)境....................................................2

三'實(shí)驗(yàn)內(nèi)容...................................................2

四、實(shí)驗(yàn)原理....................................................2

（一）Linux基本命令.........................................2

（―）vim編輯器.............................................6

（三）Java基本命令..........................................7

（四）SSH安全通信協(xié)議.......................................8

（五）Hadoop.................................................9

五、實(shí)驗(yàn)步驟...................................................13

（-）規(guī)劃部署..............................................13

（-）準(zhǔn)備機(jī)器..............................................16

（三）準(zhǔn)備軟件環(huán)境..........................................17

（四）獲取和安裝Hadoop.....................................27

（五）配置全分布模式Hadoop集群.............................28

（六）關(guān)閉防火墻............................................38

（七）格式化文件系統(tǒng)........................................39

（八）啟動(dòng)和驗(yàn)證Hadoop.....................................40

（九）關(guān)閉Hadoop...........................................53

六、實(shí)驗(yàn)報(bào)告要求...............................................54

七、拓展訓(xùn)練——部署偽分布模式Hadoop集群......................55

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實(shí)驗(yàn)指導(dǎo)書

（-）部署偽分布模式Hadoop集群之規(guī)劃部署...................55

（二）部署偽分布模式Hadoop集群之準(zhǔn)備機(jī)器...................55

（三）部署偽分布模式Hadoop集群之準(zhǔn)備軟件環(huán)境...............56

（四）部署偽分布模式Hadoop集群之獲取和安裝Hadoop..........60

（五）部署偽分布模式Hadoop集群之配置Hadoop................60

（六）格式化文件系統(tǒng)........................................63

（七）啟動(dòng)和驗(yàn)證偽分布模式Hadoop集群.......................64

（八）關(guān)閉偽分布模式Hadoop集群.............................71

思考與練習(xí)題................................................72

參考文獻(xiàn)....................................................72

實(shí)驗(yàn)2實(shí)戰(zhàn)HDFS...................................................74

一、實(shí)驗(yàn)?zāi)康?..................................................74

二、實(shí)驗(yàn)環(huán)境...................................................75

三、實(shí)驗(yàn)內(nèi)容...................................................75

四、實(shí)驗(yàn)原理...................................................75

（―）初識(shí)HDFS.............................................75

（二）HDFS體系架構(gòu).........................................76

（三）HDFS文件存儲(chǔ)原理.....................................78

（四）HDFS接口.............................................84

五、實(shí)驗(yàn)步驟...................................................91

（―）啟動(dòng)Hadoop集群.......................................91

（二）使用HDFSShell.......................................92

（三）使用HDFSWebUI......................................94

（四）搭建HDFS開發(fā)環(huán)境EcIipse.............................96

（五）使用HDFSJavaAPI編程..............................97

（六）關(guān)閉Hadoop集群......................................115

六'實(shí)驗(yàn)報(bào)告要求..............................................115

七'拓展訓(xùn)練——搭建HDFSNameNodeHA..........................115

思考與練習(xí)題..................................................121

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實(shí)驗(yàn)指導(dǎo)書

參考文獻(xiàn)......................................................121

實(shí)驗(yàn)3MapReduce編程（1）..........................................123

一、實(shí)驗(yàn)?zāi)康?.................................................123

二、實(shí)驗(yàn)環(huán)境..................................................123

三'實(shí)驗(yàn)內(nèi)容.................................................124

四、實(shí)驗(yàn)原理..................................................124

（一）MapReduce編程思想...................................124

（二）MapReduce作業(yè)執(zhí)行流程...............................126

（三）MapReduceWebUI.....................................128

（四）MapReduceSheI1......................................128

（五）MapReduceJavaAPI..................................130

五、實(shí)驗(yàn)步驟..................................................132

（―）啟動(dòng)Hadoop集群......................................132

（二）搭建MapReduce開發(fā)環(huán)境EcIipse.....................132

（三）編寫并運(yùn)行MapReduce程序WordCount..................132

（四）練習(xí)使用MapReduceShell命令.........................148

（五）練習(xí)使用MapReduceWebUI界面.......................149

（六）關(guān)閉Hadoop集群......................................150

六'實(shí)驗(yàn)報(bào)告要求..............................................150

思考與練習(xí)題..................................................150

參考文獻(xiàn)......................................................151

實(shí)驗(yàn)4MapReduce編程⑵.........................................152

一、實(shí)驗(yàn)?zāi)康?.................................................152

二、實(shí)驗(yàn)環(huán)境..................................................152

三'實(shí)驗(yàn)內(nèi)容.................................................153

四、實(shí)驗(yàn)原理..................................................153

（―）YARN簡介...........................................153

（二）YARN體系架構(gòu)........................................155

（三）YARNWebUI..........................................157

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實(shí)驗(yàn)指導(dǎo)書

（四）YARNShell...........................................158

（五）YARNJavaAPI編程...................................160

五、實(shí)驗(yàn)步驟..................................................161

（―）啟動(dòng)Hadoop集群......................................161

（二）編寫并運(yùn)行MapReduce程序.............................162

（三）練習(xí)使用YARNShelI命令..............................169

（四）練習(xí)使用YARNWebUI界面.............................169

（五）關(guān)閉Hadoop集群......................................170

六、實(shí)驗(yàn)報(bào)告要求..............................................170

思考與練習(xí)題..................................................170

參考文獻(xiàn)......................................................171

實(shí)驗(yàn)5部署ZooKeeper集群和實(shí)戰(zhàn)ZooKeeper..........錯(cuò)誤!未定義書簽。

一、實(shí)驗(yàn)?zāi)康?...................................錯(cuò)誤!未定義書簽。

二、實(shí)驗(yàn)環(huán)境...................................錯(cuò)誤!未定義書簽。

三、實(shí)驗(yàn)內(nèi)容....................................錯(cuò)誤!未定義書簽。

四、實(shí)驗(yàn)原理....................................錯(cuò)誤!未定義書簽。

（-）ZooKeeper系統(tǒng)模型.....................錯(cuò)誤!未定義書簽。

（-）ZooKeeper工作原理....................錯(cuò)誤!未定義書簽。

（三）部署ZooKeeper.........................錯(cuò)誤!未定義書簽。

（四）ZooKeeper四字命令.....................錯(cuò)誤!未定義書簽。

（五）ZooKeeperSheII.......................錯(cuò)誤!未定義書簽。

（六）ZooKeeperJavaAPI....................錯(cuò)誤!未定義書簽。

五、實(shí)驗(yàn)步驟...................................錯(cuò)誤!未定義書簽。

（-）規(guī)劃ZooKeeper集群.....................錯(cuò)誤!未定義書簽。

（二）部署ZooKeeper集群.....................錯(cuò)誤!未定義書簽。

（三）啟動(dòng)ZooKeeper集群....................錯(cuò)誤!未定義書簽。

（四）驗(yàn)證ZooKeeper集群....................錯(cuò)誤!未定義書簽。

（五）使用ZooKeeper四字命令................錯(cuò)誤!未定義書簽。

（六）使用ZooKeeperShell常用命令..........錯(cuò)誤!未定義書簽。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實(shí)驗(yàn)指導(dǎo)書

（七）關(guān)閉ZooKeeper集群.....................錯(cuò)誤!未定義書簽。

六'實(shí)驗(yàn)報(bào)告要求...............................錯(cuò)誤!未定義書簽。

七、拓展訓(xùn)練...................................錯(cuò)誤!未定義書簽。

（―）搭建ZooKeeper開發(fā)環(huán)境Eelipse........錯(cuò)誤!未定義書簽。

（二）ZooKeeper編程實(shí)踐：ZooKeeper文件系統(tǒng)的增刪改查錯(cuò)誤！未定

義書簽。

（三）ZooKeeper編程實(shí)踐：循環(huán)監(jiān)聽...........錯(cuò)誤!未定義書簽。

思考與練習(xí)題...................................錯(cuò)誤!未定義書簽。

參考文獻(xiàn)........................................錯(cuò)誤!未定義書簽。

實(shí)驗(yàn)6部署全分布模式HBase集群和實(shí)戰(zhàn)HBase........錯(cuò)誤!未定義書簽。

一'實(shí)驗(yàn)?zāi)康?..................................錯(cuò)誤!未定義書簽。

二、實(shí)驗(yàn)環(huán)境...................................錯(cuò)誤!未定義書簽。

三、實(shí)驗(yàn)內(nèi)容....................................錯(cuò)誤!未定義書簽。

四、實(shí)驗(yàn)原理...................................錯(cuò)誤!未定義書簽。

（-）初識(shí)HBase.............................錯(cuò)誤!未定義書簽。

（二）HBase數(shù)據(jù)模型.........................錯(cuò)誤!未定義書簽。

（三）HBase體系架構(gòu).........................錯(cuò)誤!未定義書簽。

（四）部署HBase............................錯(cuò)誤!未定義書簽。

（五）HBase接口.............................錯(cuò)誤!未定義書簽。

五、實(shí)驗(yàn)步驟....................................錯(cuò)誤!未定義書簽。

（-）規(guī)劃全分布模式HBase集群...............錯(cuò)誤!未定義書簽。

（二）部署全分布模式HBase集群..............錯(cuò)誤!未定義書簽。

（三）啟動(dòng)全分布模式HBase集群..............錯(cuò)誤!未定義書簽。

（四）驗(yàn)證全分布模式HBase集群...............錯(cuò)誤!未定義書簽。

（五）使用HBaseShell和HBaseWebUI.......錯(cuò)誤!未定義書簽。

（六）關(guān)閉全分布模式HBase集群..............錯(cuò)誤!未定義書簽。

六'實(shí)驗(yàn)報(bào)告要求...............................錯(cuò)誤!未定義書簽。

七、拓展訓(xùn)練...................................錯(cuò)誤!未定義書簽。

（―）搭建HBase開發(fā)環(huán)境Eelipse............錯(cuò)誤!未定義書簽。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實(shí)驗(yàn)指導(dǎo)書

（-）HBase編程實(shí)踐：HBase表的增刪改........錯(cuò)誤!未定義書簽。

思考與練習(xí)題...................................錯(cuò)誤!未定義書簽。

參考文獻(xiàn).......................................錯(cuò)誤!未定義書簽。

實(shí)驗(yàn)7部署本地模式Hive和實(shí)戰(zhàn)Hive................錯(cuò)誤!未定義書簽。

一、實(shí)驗(yàn)?zāi)康?...................................錯(cuò)誤!未定義書簽。

二、實(shí)驗(yàn)環(huán)境...................................錯(cuò)誤!未定義書簽。

三、實(shí)驗(yàn)內(nèi)容....................................錯(cuò)誤!未定義書簽。

四、實(shí)驗(yàn)原理...................................錯(cuò)誤!未定義書簽。

（-）初識(shí)Hive..............................錯(cuò)誤!未定義書簽。

（-）Hive體系架構(gòu)..........................錯(cuò)誤!未定義書簽。

（三）Hive數(shù)據(jù)類型..........................錯(cuò)誤!未定義書簽。

（四）Hive文件格式.........................錯(cuò)誤!未定義書簽。

（五）Hive數(shù)據(jù)模型..........................錯(cuò)誤!未定義書簽。

（六）Hive函數(shù)..............................錯(cuò)誤!未定義書簽。

（七）部署Hive..............................錯(cuò)誤!未定義書簽。

（八）Hive接口..............................錯(cuò)誤!未定義書簽。

五'實(shí)驗(yàn)步驟....................................錯(cuò)誤!未定義書簽。

（一）規(guī)劃Hive..............................錯(cuò)誤!未定義書簽。

（二）部署本地模式Hive......................錯(cuò)誤!未定義書簽。

（三）驗(yàn)證Hive..............................錯(cuò)誤!未定義書簽。

（四）使用HiveShell........................錯(cuò)誤!未定義書簽。

六'實(shí)驗(yàn)報(bào)告要求...............................錯(cuò)誤!未定義書簽。

七、拓展訓(xùn)練...................................錯(cuò)誤!未定義書簽。

（―）搭建HBase開發(fā)環(huán)境Eelipse.............錯(cuò)誤!未定義書簽。

（二）Hive編程實(shí)踐：操縱Hive數(shù)據(jù)庫和表...一錯(cuò)誤!未定義書簽。

思考與練習(xí)題...................................錯(cuò)誤!未定義書簽。

參考文獻(xiàn).......................................錯(cuò)誤!未定義書簽。

實(shí)驗(yàn)8實(shí)戰(zhàn)Sqoop..................................錯(cuò)誤!未定義書簽。

一、實(shí)驗(yàn)?zāi)康?..................................錯(cuò)誤!未定義書簽。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》課程實(shí)驗(yàn)指導(dǎo)書

二、實(shí)驗(yàn)環(huán)境...................................錯(cuò)誤!未定義書簽。

三、實(shí)驗(yàn)內(nèi)容...................................錯(cuò)誤!未定義書簽。

四、實(shí)驗(yàn)原理...................................錯(cuò)誤!未定義書簽。

（―）初識(shí)Sqoop............................錯(cuò)誤!未定義書簽。

（二）Sqoop體系架構(gòu).........................錯(cuò)誤!未定義書簽。

（三）安裝Sqoop............................錯(cuò)誤!未定義書簽。

（四）SqoopShelI............................錯(cuò)誤!未定義書簽。

（五）SqoopAPI..............................錯(cuò)誤!未定義書簽。

（五）實(shí)驗(yàn)步驟..................................錯(cuò)誤!未定義書簽。

（-）規(guī)劃安裝..............................錯(cuò)誤!未定義書簽。

（二）安裝和配置Sqoop......................錯(cuò)誤!未定義書簽。

（三）驗(yàn)證Sqoop............................錯(cuò)誤!未定義書簽。

（四）使用SqoopSheII.......................錯(cuò)誤!未定義書簽。

思考與練習(xí)題...................................錯(cuò)誤!未定義書簽。

參考文獻(xiàn).......................................錯(cuò)誤!未定義書簽。

附件：實(shí)驗(yàn)報(bào)告樣式及評(píng)分標(biāo)準(zhǔn).......................錯(cuò)誤!未定義書簽。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》實(shí)驗(yàn)指導(dǎo)書實(shí)驗(yàn)1部署全分布模式Hadoop集群

實(shí)驗(yàn)1部署全分布模式Had。叩集群

本實(shí)驗(yàn)的知識(shí)地圖如圖1-1所示（?表示重點(diǎn)?表示難點(diǎn)）。

1.熟維拿握Linux基本命令

2.解象?握J(rèn)ava基本命令

，先修技能，3.理解SSH安全通信協(xié)議

4.理解Hadoop基礎(chǔ)知識(shí)：運(yùn)行環(huán)境、運(yùn)行模式、生態(tài)系統(tǒng)、體系

架構(gòu)'配M文件等

桀群架構(gòu)規(guī)劃：主節(jié)點(diǎn)、從節(jié)點(diǎn)、1團(tuán)坦址、運(yùn)行服務(wù)、軟硬件配置

1.砌曲-----------------------------------------------------------

------------軟件選擇：虛擬機(jī)工具、Linux捍作口統(tǒng)、Java、SSH、Hadoop

2.準(zhǔn)備機(jī)器

配酋靜態(tài)IP

修改主機(jī)€

3.準(zhǔn)省軟件環(huán)境，編巖域名映射

,安裝和配意Java

/安裝和配置SSH免密登錄

4下我和安裝Hadoop

新建hadoop.sh:添j?HADOOP_HOME到系統(tǒng)變量PATH

SBHhadoop-env.sh:JAVA_HOME,HADOOP_SSH_OPTS,

HADOOP_PID_DIRW

figmapred-env.sh:JAVAHOME,

HADOOP.MAPRED.PID.DIR^

配JSyarnenv.sh:JAVA_HOME.YARN_PID_DIR^

gyicofe-$ite.xml：fs.defaultFS,io.file.buffer.size,

*5.配工全分布慢式Hadoop集群hadoop.tmp.d懵

部署全分布模式實(shí)驗(yàn)步驟|

fiBBhdfs-sitejtml:.dir,

Hadoop集群dfs.datanode.data.dir,node.checkpointdir,

dfs.replication等

配BSmapred-site/ml:mapreduce.framework.nam礴

配置yam-site.xml:yarn.re$ourcemanager.hostname.

yam.nodemanager.aux-services等

Sfislaves

6.關(guān)閉防火墻

7.格式化文件系統(tǒng)

start-dfs.sh

start-yam.sh

啟動(dòng)Hadoopmr-jobhistory-daemon.shstarthistoryserver

8.啟動(dòng)和驗(yàn)證Hadoop方法1：jps查看進(jìn)程

甄證Hadoop;方法2:WebUI百看界面

方法3:向Hadoop集群提交MapReduce應(yīng)用?J?!WordCount

mr-jobhistory-daemon.shstophistoryserver

stop-yam.sh

9.關(guān)閉Hadoopstop-dfs.sh

*BL點(diǎn)：配告全分布-Hadoop集群

實(shí)驗(yàn)重點(diǎn)難點(diǎn);廣疑點(diǎn)：配宜SSH免密登錄

部著偽分布梗式Hadoop集群

拓展訓(xùn)練

圖1-1實(shí)驗(yàn)1部署全分布模式Hadoop集群知識(shí)地圖

一、實(shí)驗(yàn)?zāi)康?/p>

1.熟練掌握Linux基本命令。

2.掌握靜態(tài)IP地址的配置、主機(jī)名和域名映射的修改。

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》實(shí)驗(yàn)指導(dǎo)書實(shí)驗(yàn)1部署全分布模式Hadoop集群

3.掌握Linux環(huán)境下Java的安裝、環(huán)境變量的配置、Java基本命令的使用。

4.理解為何需要配置SSH免密登錄，掌握Linux環(huán)境下SSH的安裝、免密登錄的配置。

5.熟練掌握在Linux環(huán)境下如何部署全分布模式Hadoop集群。

二、實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)所需的軟硬件環(huán)境包括PC、VMwareWorkstationPro>CentOS安裝包、OracleJDK

安裝包、Hadoop安裝包。

三、實(shí)驗(yàn)內(nèi)容

1.規(guī)劃部署。

2.準(zhǔn)備機(jī)器。

3.準(zhǔn)備軟件環(huán)境：配置靜態(tài)IP；修改主機(jī)名；編輯域名映射；安裝和配置Java；安裝和

配置SSH免密登錄。

4.獲取和安裝Hadoopo

5.配置全分布模式Hadoop集群。

6.關(guān)閉防火墻。

7.格式化文件系統(tǒng)。

8.啟動(dòng)和驗(yàn)證Hadoop。

9.關(guān)閉Hadoopo

四'實(shí)驗(yàn)原理

（一）Linux基本命令

Linux是一套免費(fèi)使用和自由傳播的類Unix操作系統(tǒng)，是一個(gè)基于POSIX和UNIX的多

用戶、多任務(wù)、支持多線程和多CPU的操作系統(tǒng)。它能運(yùn)行主要的UNIX工具軟件、應(yīng)用程

序和網(wǎng)絡(luò)協(xié)議，它支持32位和64位硬件。Linux繼承了Unix以網(wǎng)絡(luò)為核心的設(shè)計(jì)思想，是

一個(gè)性能穩(wěn)定的多用戶網(wǎng)絡(luò)操作系統(tǒng)。

Linux操作系統(tǒng)誕生于1991年10月5日。Linux存在著許多不同的版本，但它們都使用

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》實(shí)驗(yàn)指導(dǎo)書實(shí)驗(yàn)1部署全分布模式Hadoop集群

了Linux內(nèi)核。Linux可安裝在各種計(jì)算機(jī)硬件設(shè)備中，比如手機(jī)、平板電腦、路由器、視頻

游戲控制臺(tái)、臺(tái)式計(jì)算機(jī)、大型機(jī)和超級(jí)計(jì)算機(jī)。

嚴(yán)格來講，Linux這個(gè)詞本身只表示Linux內(nèi)核，但實(shí)際上人們已經(jīng)習(xí)慣用Linux來形容

整個(gè)基于Linux內(nèi)核且使用GNU工程各種工具和數(shù)據(jù)庫的操作系統(tǒng)。

此處將介紹實(shí)驗(yàn)中涉及到的一些Linux操作系統(tǒng)的基本命令。

1）查看當(dāng)前目錄

pwd命令用于顯示當(dāng)前目錄，效果如下所示。

[xuluhui@localhost~]$pwd

/home/xuluhui

2）切換目錄

cd命令用來切換目錄，效果如下所示。

[xuluhui@localhost~]$cd/usr/local

[xuluhui@localhostlocal]$pwd

/usr/local

3）羅列文件

Is命令用于查看文件與目錄，效果如下所示。

[xuluhui@localhost~]$Is

DesktopDocumentsDownloadsMusicPicturesPublicTemplatesVideos

4）創(chuàng)建目錄

mkdir命令用于創(chuàng)建目錄，效果如下所示。

[xuluhui@localho