大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)教學(xué)大綱

《大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)》課程教學(xué)大綱（課程英文名稱）課程編號(hào)：201800522062學(xué)分：5學(xué)分學(xué)時(shí)：46學(xué)時(shí)（其中：講課學(xué)時(shí)24上機(jī)學(xué)時(shí)：22）先修課程：Hadoop后續(xù)課程：Spark適用專業(yè)：大數(shù)據(jù)應(yīng)用技術(shù)開(kāi)課部門(mén)：一、課程的性質(zhì)與目標(biāo)《Hadoop項(xiàng)目實(shí)戰(zhàn)》是互聯(lián)網(wǎng)+創(chuàng)業(yè)教育學(xué)院軟件工程（大數(shù)據(jù)、人工智能）專業(yè)的一門(mén)校定必修專業(yè)課。通過(guò)學(xué)習(xí)課程有助于學(xué)生綜合運(yùn)用大數(shù)據(jù)課程知識(shí)以及各種工具軟件實(shí)現(xiàn)大數(shù)據(jù)分析全流程操作，并通過(guò)編寫(xiě)程序與理論講解相結(jié)合的形式加深了解；同時(shí)對(duì)Hadoop離線數(shù)據(jù)分析項(xiàng)目的開(kāi)發(fā)過(guò)程有所了解，如數(shù)據(jù)的采集、數(shù)據(jù)的預(yù)處理、數(shù)據(jù)的分析以及最終達(dá)到數(shù)據(jù)可視化的目的。開(kāi)設(shè)本學(xué)科的目的是讓學(xué)生掌握如何使用大數(shù)據(jù)分析技術(shù)解決特定業(yè)務(wù)領(lǐng)域的問(wèn)題。完成本課程學(xué)習(xí)后能夠熟練的應(yīng)用大數(shù)據(jù)技術(shù)解決企業(yè)中的實(shí)際生產(chǎn)問(wèn)題。二、教學(xué)條件要求操作系統(tǒng)：CenterOSHadoop版本：Hadoop2.7.4Hive版本：Hive1.2.1Sqoop版本：Sqoop1.4.6Mysql版本：Mysql5.7.25虛擬化工具：VMwareWorkstation開(kāi)發(fā)工具：Eclipse三、課程的主要內(nèi)容及基本要求第1章項(xiàng)目概述章名項(xiàng)目概述學(xué)時(shí)2學(xué)習(xí)目標(biāo)掌握項(xiàng)目需求和目標(biāo)了解項(xiàng)目架構(gòu)設(shè)計(jì)和技術(shù)選型了解項(xiàng)目環(huán)境和相關(guān)開(kāi)發(fā)工具理解項(xiàng)目開(kāi)發(fā)流程知識(shí)點(diǎn)了解掌握重點(diǎn)難點(diǎn)項(xiàng)目需求和目標(biāo)√預(yù)備知識(shí)√項(xiàng)目架構(gòu)設(shè)計(jì)及技術(shù)選取√開(kāi)發(fā)環(huán)境和開(kāi)發(fā)工具介紹√項(xiàng)目開(kāi)發(fā)流程√√第2章搭建大數(shù)據(jù)集群環(huán)境章名搭建大數(shù)據(jù)集群環(huán)境學(xué)時(shí)10學(xué)習(xí)目標(biāo)了解虛擬機(jī)的安裝和克隆熟悉虛擬機(jī)網(wǎng)絡(luò)配置和SSH服務(wù)配置掌握Hadoop集群的搭建掌握Hive的安裝掌握Sqoop的安裝知識(shí)點(diǎn)了解掌握重點(diǎn)難點(diǎn)虛擬機(jī)安裝與克隆√虛擬機(jī)網(wǎng)絡(luò)配置√SSH服務(wù)配置√JDK安裝√Hadoop安裝√Hadoop集群配置√√√Hadoop集群測(cè)試√√通過(guò)UI界面查看Hadoop運(yùn)行狀態(tài)√√Hive的安裝模式√Hive安裝√√√Sqoop安裝√√√第3章數(shù)據(jù)采集章名數(shù)據(jù)采集學(xué)時(shí)7學(xué)習(xí)目標(biāo)了解HTTP協(xié)議了解爬蟲(chóng)的基本原理掌握HDFSAPI的基本使用熟悉HttpClient爬蟲(chóng)的使用方法知識(shí)點(diǎn)了解掌握重點(diǎn)難點(diǎn)數(shù)據(jù)源分類√HTTP請(qǐng)求過(guò)程√認(rèn)識(shí)HttpClient√分析網(wǎng)頁(yè)數(shù)據(jù)結(jié)構(gòu)√數(shù)據(jù)采集環(huán)境準(zhǔn)備√創(chuàng)建響應(yīng)結(jié)果JavaBean類√封裝HTTP請(qǐng)求的工具類√√√封裝儲(chǔ)存在HDFS數(shù)據(jù)工具類√√√實(shí)現(xiàn)網(wǎng)頁(yè)數(shù)據(jù)采集√√√第4章數(shù)據(jù)預(yù)處理章名數(shù)據(jù)預(yù)處理學(xué)時(shí)8學(xué)習(xí)目標(biāo)了解數(shù)據(jù)預(yù)處理流程掌握編寫(xiě)MapReduce程序熟悉HDFSShell的基本使用掌握MapReduce程序的兩種運(yùn)行模式知識(shí)點(diǎn)了解掌握重點(diǎn)難點(diǎn)分析預(yù)處理數(shù)據(jù)√設(shè)計(jì)數(shù)據(jù)預(yù)處理方案√數(shù)據(jù)預(yù)處理環(huán)境準(zhǔn)備√創(chuàng)建數(shù)據(jù)轉(zhuǎn)換類√√創(chuàng)建實(shí)現(xiàn)Map任務(wù)的Mapper類√√創(chuàng)建MapReduce主程序并執(zhí)行程序√√將數(shù)據(jù)預(yù)處理程序提交到集群中運(yùn)行√√√第5章數(shù)據(jù)分析章名數(shù)據(jù)分析學(xué)時(shí)7學(xué)習(xí)目標(biāo)了解數(shù)據(jù)分析了解數(shù)據(jù)倉(cāng)庫(kù)掌握Hive的操作掌握HQL語(yǔ)句的使用知識(shí)點(diǎn)了解掌握重點(diǎn)難點(diǎn)數(shù)據(jù)分析概述√什么是Hive√設(shè)計(jì)Hive數(shù)據(jù)倉(cāng)庫(kù)√實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)√√√職位區(qū)域分析√√職位薪資分析√√公司福利分析√√職位技能要求分析√√第6章數(shù)據(jù)可視化章名數(shù)據(jù)可視化學(xué)時(shí)15學(xué)習(xí)目標(biāo)掌握Sqoop數(shù)據(jù)遷移工具的使用熟悉關(guān)系型數(shù)據(jù)庫(kù)MySQL掌握SSMJAVAEE開(kāi)發(fā)框架的整合及應(yīng)用掌握Echarts前端框架的使用知識(shí)點(diǎn)了解掌握重點(diǎn)難點(diǎn)系統(tǒng)介紹√系統(tǒng)架構(gòu)√創(chuàng)建關(guān)系型數(shù)據(jù)庫(kù)√√通過(guò)Sqoop實(shí)現(xiàn)數(shù)據(jù)遷移√√平臺(tái)環(huán)境搭建√√√實(shí)現(xiàn)職位區(qū)域分布展示√√√實(shí)現(xiàn)薪資分布展示√√√實(shí)現(xiàn)福利標(biāo)簽詞云圖√√√實(shí)現(xiàn)技能標(biāo)簽詞云圖√√√平臺(tái)可視化展示√四、學(xué)時(shí)分配章目講課上機(jī)合計(jì)第1章項(xiàng)目概述2學(xué)時(shí)0學(xué)時(shí)2學(xué)時(shí)第2章搭建大數(shù)據(jù)集群環(huán)境4學(xué)時(shí)6學(xué)時(shí)10學(xué)時(shí)第3章數(shù)據(jù)采集4學(xué)時(shí)3學(xué)時(shí)7學(xué)時(shí)第4章數(shù)據(jù)預(yù)處理3學(xué)時(shí)3學(xué)時(shí)6學(xué)時(shí)第5章數(shù)據(jù)分析3學(xué)時(shí)2學(xué)時(shí)5學(xué)時(shí)第6章數(shù)據(jù)可視化8學(xué)時(shí)8學(xué)時(shí)16學(xué)時(shí)合計(jì)24學(xué)時(shí)22學(xué)時(shí)46學(xué)時(shí)五、考核模式與成績(jī)?cè)u(píng)定辦法本課程為考試課程，期末考試采用百分制的閉卷考試模式。學(xué)生的考試成績(jī)由平時(shí)成績(jī)（30%）和期末考試（70%）組成，其中，平時(shí)成績(jī)包括出勤（5%）、作業(yè)（5%）、上機(jī)成績(jī)（20%）。 六、選用教材和主要參考書(shū) 本大綱是根據(jù)教材《Hadoop項(xiàng)目實(shí)戰(zhàn)》所設(shè)計(jì)的。七、大綱說(shuō)明本課程的授課模式為：課堂授課+上機(jī)，其中，課堂主要采用多媒體的方式進(jìn)行授課，要求學(xué)生掌握項(xiàng)目?jī)?nèi)容及程序設(shè)計(jì)思想