《大數(shù)據(jù)處理與云計(jì)算》教學(xué)大綱

《大數(shù)據(jù)處理與云計(jì)算》教學(xué)大綱《大數(shù)據(jù)處理與云計(jì)算》教學(xué)大綱課程類別：專業(yè)訓(xùn)練課課程名稱：大數(shù)據(jù)處理與云計(jì)算

開課單位：信息與通信工程學(xué)院課程編號：N03050703

總學(xué)時(shí)：40學(xué)分：2.5

適用專業(yè)：信息工程專業(yè)

先修課程：無

一、課程在教學(xué)方案中的地位、作用

大數(shù)據(jù)處理與云計(jì)算是信息工程專業(yè)高班級同學(xué)開設(shè)的一門專業(yè)訓(xùn)練課。本課程主要學(xué)習(xí)大數(shù)據(jù)處理和云計(jì)算的相關(guān)原理和技術(shù)，依據(jù)實(shí)際需求，構(gòu)建相應(yīng)的大數(shù)據(jù)處理和云計(jì)算平臺框架。

通過本課程學(xué)習(xí)，使同學(xué)把握大數(shù)據(jù)的采集、傳輸、處理和應(yīng)用的技術(shù)，了解Hadoop分布式系統(tǒng)基礎(chǔ)架構(gòu)，把握HDFS和MapReduce技術(shù)。了解HBase、Hive、Zookeeper、Avro、Pig等相關(guān)大數(shù)據(jù)技術(shù)，與實(shí)際工程應(yīng)用相結(jié)合，構(gòu)建相應(yīng)的云計(jì)算平臺。教學(xué)應(yīng)當(dāng)結(jié)合實(shí)際試驗(yàn)條件，培育同學(xué)實(shí)踐動(dòng)手力量，了解大數(shù)據(jù)技術(shù)進(jìn)展現(xiàn)狀，促進(jìn)大數(shù)據(jù)相關(guān)教學(xué)改革。

二、課程教學(xué)內(nèi)容、要求及學(xué)時(shí)安排

第一章大數(shù)據(jù)與云計(jì)算概況

1、了解大數(shù)據(jù)概念

2、了解大數(shù)據(jù)的產(chǎn)生、應(yīng)用和作用

3、了解云計(jì)算技術(shù)的概述

4、了解云計(jì)算的特點(diǎn)及技術(shù)分類

5、了解大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)之間的關(guān)系

其次章大數(shù)據(jù)處理與云計(jì)算的關(guān)鍵技術(shù)

1、理解大數(shù)據(jù)處理的基本流程

2、把握大數(shù)據(jù)的關(guān)鍵技術(shù)

3、理解大數(shù)據(jù)的處理工具

4、了解大數(shù)據(jù)面臨的挑戰(zhàn)

5、理解云計(jì)算及關(guān)系型數(shù)據(jù)庫

第三章Hadoop

1、了解Hadoop概述

2、了解Hadoop進(jìn)展簡史

3、理解Hadoop的功能與作用

4、了解Hadoop的優(yōu)缺點(diǎn)

5、了解Hadoop的應(yīng)用現(xiàn)狀和進(jìn)展趨勢

6、把握Hadoop項(xiàng)目及其結(jié)構(gòu)

7、把握Hadoop的體系結(jié)構(gòu)

8、把握HDFS的體系結(jié)構(gòu)

第四章MaReduce

1、理解分布式并行編程

2、理解MapReduce模型概述

3、把握Map和Reduce函數(shù)

4、把握MapReduce工作流程

5、把握并行計(jì)算的實(shí)現(xiàn)

6、把握新的MapReduce框架：Yarn

7、理解新舊HadoopMapReduce框架的對比第五章HDFS

1、理解HDFS的假設(shè)與目標(biāo)

2、理解HDFS的相關(guān)概念

3、把握HDFS體系結(jié)構(gòu)

4、把握HDFS命名空間

5、把握HDFS存儲(chǔ)原理

6、把握通訊協(xié)議

7、理解數(shù)據(jù)錯(cuò)誤和特別

8、理解從HDFS看分布式文件系統(tǒng)的設(shè)計(jì)需求第六章Zookeeper

1、了解Zookeeper簡介

2、把握Zookeeper的工作原理

3、理解Zookeeper的數(shù)據(jù)模型

第七章HBase海量實(shí)時(shí)處理實(shí)戰(zhàn)技巧

1、理解HBase簡介和架構(gòu)

2、把握HBase核心學(xué)問點(diǎn)

3、把握HBase高級應(yīng)用

4、理解HBase應(yīng)用場景

5、理解HBase常用接口和SQL引擎層實(shí)戰(zhàn)

6、理解基于HadoopV1和V2使用HBase的異同

第八章基于HadoopV2的Hive/Pig開發(fā)技巧

1、理解Hive和Pig架構(gòu)和理論基礎(chǔ)

2、理解Hive的作用和原理說明

3、把握Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系

4、理解Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流

5、理解基于HadoopV1和V2使用Hive和Pig等工具的異同

6、HQL基本語法

第九章實(shí)時(shí)流框架StormonYARN（HadoopV2）實(shí)戰(zhàn)技巧

1、理解實(shí)時(shí)流計(jì)算的概念

2、理解Storm的概念、核心組件、特性

3、理解Storm核心概念和數(shù)據(jù)流模型

4、了解運(yùn)行基于Storm的編程實(shí)例

第十章內(nèi)存計(jì)算框架SparkonYARN（HadoopV2）實(shí)戰(zhàn)技巧

1、理解Spark核心架構(gòu)

2、把握在YARN上安裝Spark

3、理解Spark集群配置介紹

4、理解Spark多語言編程

第11章云數(shù)據(jù)庫

1、了解云數(shù)據(jù)庫概述

2、了解云數(shù)據(jù)庫的特性及其需求