《Hadoop》實(shí)驗(yàn)教學(xué)大綱（大數(shù)據(jù)）

《Hadoop》實(shí)驗(yàn)教學(xué)大綱課程代碼：實(shí)驗(yàn)學(xué)時(shí)：16先修課程：《大數(shù)據(jù)導(dǎo)論》一、目的要求目的：使學(xué)生能夠掌握大數(shù)據(jù)平臺(tái)Hadoop的基本概念，并根據(jù)Hadoop處理大批量數(shù)據(jù)集的存儲(chǔ)與分析計(jì)算，掌握調(diào)試程序的基本技巧，初步了解大數(shù)據(jù)開發(fā)所要經(jīng)歷的階段，為學(xué)生從事大數(shù)據(jù)開發(fā)和數(shù)據(jù)處理工作打下堅(jiān)實(shí)的基礎(chǔ)。要求：熟悉Linux系統(tǒng)和Javase編程，根據(jù)實(shí)驗(yàn)內(nèi)容和要求，認(rèn)真完成程序編寫、上機(jī)調(diào)試、運(yùn)行結(jié)果分析，書寫實(shí)驗(yàn)報(bào)告。二、實(shí)驗(yàn)項(xiàng)目內(nèi)容及學(xué)時(shí)分配實(shí)驗(yàn)一、Linux及虛擬機(jī)安裝搭建（3學(xué)時(shí)）實(shí)驗(yàn)?zāi)康囊螅?）安裝VMware虛擬機(jī)；（2）通過VMware虛擬機(jī)編譯、安裝LinuxCentOS系統(tǒng)。實(shí)驗(yàn)主要內(nèi)容通過在計(jì)算機(jī)系統(tǒng)上編譯和安裝Linux系統(tǒng)環(huán)境，為Hadoop軟件安裝和搭建提供工作環(huán)境。實(shí)驗(yàn)類別：基礎(chǔ)實(shí)驗(yàn)類型：驗(yàn)證實(shí)驗(yàn)要求：必做主要儀器：微型計(jì)算機(jī)實(shí)驗(yàn)二、Hadoop的安裝搭建（3學(xué)時(shí)）1.實(shí)驗(yàn)?zāi)康囊笳莆沾髷?shù)據(jù)核心框架Hadoop的安裝和部署，包括偽分布式集群的安裝部署和完全分布式的安裝和部署。2.實(shí)驗(yàn)主要內(nèi)容通過上機(jī)在Linux系統(tǒng)環(huán)境進(jìn)行Hadoop平臺(tái)的安裝和部署，完成大數(shù)據(jù)分布式處理平臺(tái)的搭建。3.實(shí)驗(yàn)類別：基礎(chǔ)4.實(shí)驗(yàn)類型：驗(yàn)證5.實(shí)驗(yàn)要求：必做6.主要儀器：微型計(jì)算機(jī)實(shí)驗(yàn)三、HDFSShell應(yīng)用（3學(xué)時(shí)）1.實(shí)驗(yàn)?zāi)康囊螅?）掌握分布式文件存儲(chǔ)與管理系統(tǒng)hdfs的數(shù)據(jù)上傳與下載命令；（2）掌握hdfs文件增刪改查等操作命令；（3）掌握分布式系統(tǒng)hdfs的運(yùn)行原理。2.實(shí)驗(yàn)主要內(nèi)容（1）hdfshadoopputgetmkdirls等命令的使用（2）NameNodedatanode的作用及原理3.實(shí)驗(yàn)類別：基礎(chǔ)4.實(shí)驗(yàn)類型：設(shè)計(jì)5.實(shí)驗(yàn)要求：必做6.主要儀器：微型計(jì)算機(jī)實(shí)驗(yàn)四、MapReduce編程（3學(xué)時(shí)）1.實(shí)驗(yàn)?zāi)康囊螅?）正確使用MapReduce編程；（2）MapReduce編程的編程格式；（3）“WC”編程；2.實(shí)驗(yàn)主要內(nèi)容（1）MapReduce固定格式語法編程，map編程、reduce編程（2）自定義函數(shù)編程，UDF、UDAF等函數(shù)編程3.實(shí)驗(yàn)類別：專業(yè)基礎(chǔ)4.實(shí)驗(yàn)類型：設(shè)計(jì)5.實(shí)驗(yàn)要求：必做6.主要儀器：微型計(jì)算機(jī)實(shí)驗(yàn)五、MapReduce數(shù)據(jù)傾斜等優(yōu)化（4學(xué)時(shí)）1.實(shí)驗(yàn)?zāi)康囊螅?）掌握MapReduce編程的優(yōu)化；（2）熟練掌握數(shù)據(jù)傾斜等MapReduce任務(wù)問題的優(yōu)化。2.實(shí)驗(yàn)主要內(nèi)容（1）數(shù)據(jù)集特殊值問題的處理（2）數(shù)據(jù)清洗的原則、MapReduce編程規(guī)范3.實(shí)驗(yàn)類別：專業(yè)基礎(chǔ)4.實(shí)驗(yàn)類型：設(shè)計(jì)5.實(shí)驗(yàn)要求：必做6.主要儀器：微型計(jì)算機(jī)三、考核方式1、實(shí)驗(yàn)成績：預(yù)習(xí)10%、操作過程40%、實(shí)驗(yàn)報(bào)告40%、實(shí)驗(yàn)記錄10%2、無期中抽考、有實(shí)驗(yàn)的課程最終成績=平時(shí)成績×0.1+實(shí)驗(yàn)成績×0.2+期末考試成績×0.7。3、有期中抽考、有實(shí)驗(yàn)