Hadoop大數(shù)據(jù)技術與項目實戰(zhàn) 課程標準

《Hadoop大數(shù)據(jù)技術與項目實戰(zhàn)》課程標準一、課程基本信息課程名稱Hadoop大數(shù)據(jù)技術與項目實戰(zhàn)課程代碼0917005學時108學分5.5授課時間第二學期適用專業(yè)大數(shù)據(jù)技術課程性質專業(yè)核心課程先修課程Linux操作系統(tǒng)、Java程序設計、MySQL數(shù)據(jù)庫后續(xù)課程Spark大數(shù)據(jù)技術與應用、數(shù)據(jù)可視化技術二、課程定位本課程是大數(shù)據(jù)技術專業(yè)的專業(yè)核心課程，目的是通過課堂教學和實踐教學相結合，滿足大數(shù)據(jù)相關崗位的人才需求。我們結合學生實際情況，選擇企業(yè)真實項目，并進行了教學化處理，以項目實施過程為主線，貫穿Hadoop大數(shù)據(jù)技術的核心內(nèi)容，挖掘思政元素，融入大數(shù)據(jù)平臺運維“1+x”證書、華為大數(shù)據(jù)工程師認證、相關技能比賽內(nèi)容等，使學生在學習本課程后具有畢業(yè)直接上崗能力，并且畢業(yè)時已具備初級大數(shù)據(jù)平臺部署實施，監(jiān)控、管理、運行維護的經(jīng)驗。三、課程設計思路本課程基于大數(shù)據(jù)平臺運維、大數(shù)據(jù)分析、數(shù)據(jù)采集師等對應崗位，基于大數(shù)據(jù)平臺運維等“1+x”職業(yè)技能等級、華為等行業(yè)企業(yè)認證、技能大賽等能力要求，由課程組教師通過充分調(diào)研，最終選取了當下熱點應用—電商平臺的用戶行為數(shù)據(jù)分析作為項目載體，對電商平臺運營的幾個關鍵指標進行統(tǒng)計分析。課程團隊認真梳理選定項目的知識點和技能點，崗課賽證”一體化設計課程內(nèi)容，梳理確定了課程的內(nèi)容脈絡體系。課程以企業(yè)真實項目“電商平臺的用戶行為數(shù)據(jù)分析”的實施過程為主線貫穿所有知識點，課程結構主線為：緒論→項目需求→大數(shù)據(jù)平臺部署→數(shù)據(jù)采集→離線數(shù)據(jù)倉庫的設計與開發(fā)→數(shù)據(jù)可視化展示。全課程分五章、22節(jié)，70個知識點，旨在使學生實施項目的過程中，掌握Hadoop平臺的結構、部署過程、各組件的工作原理及應用，為提升數(shù)據(jù)分析能力打下良好的基礎。四、課程目標（一）職業(yè)知識目標1.了解項目業(yè)務背景、項目實施計劃、項目字典2.掌握大數(shù)據(jù)相關開發(fā)軟件安裝方法3.了解Linux操作系統(tǒng)環(huán)境配置4.掌握Hadoop分布式集群環(huán)境搭建方法5.了解HDFSShell基本命令6.掌握HDFS客戶端開發(fā)環(huán)境配置及測試方法7.掌握HDFSAPI基本操作流程8.了解MapReduce工作原理9.掌握MySQL環(huán)境配置過程10.掌握Hive數(shù)據(jù)倉庫配置過程11.了解Flume原理及安裝部署流程12.了解Sqoop原理及應用13.掌握Zookeeper集群環(huán)境搭建方法14.掌握Kafka集群環(huán)境搭建方法15.掌握Flume數(shù)據(jù)采集與消費原理及工作流程16.了解數(shù)據(jù)倉庫各個數(shù)據(jù)層的定義17.掌握Pyechars數(shù)據(jù)可視化方法18.掌握項目開發(fā)流程（二）職業(yè)能力目標1.會安裝VMware、Xshell、Xftp、IDEA等大數(shù)據(jù)開發(fā)相關軟件2.能正確搭建Hadoop分布式集群環(huán)境3.能正確安裝部署Hive、Flume、Sqoop、Zookeeper、Kafka等Hadoop生態(tài)組建4.會使用Flume-Kafka-Flume的架構實現(xiàn)數(shù)據(jù)采集5.能設計與開發(fā)離線數(shù)據(jù)倉庫6.能使用pyecharts工具進行數(shù)據(jù)可視化7.具備基本項目開發(fā)能力（三）職業(yè)素質目標1.具備家國情懷2.具備工匠精神3.具備專業(yè)使命感與責任感4.具備團隊協(xié)作操作能力和良好的溝通能力5.具備終身學習能力五、課程內(nèi)容及要求序號教學內(nèi)容能力目標知識目標教學方法及手段學時1項目業(yè)務背景介紹、項目實施計劃、項目字典介紹。掌握開發(fā)Hadoop離線數(shù)據(jù)倉庫的設計思想，掌握項目實施流程規(guī)劃，掌握技術選型及版本要求，掌握項目實施的教學路徑1.了解數(shù)據(jù)倉庫設計與開發(fā)的原因2.了解項目實施的規(guī)劃路徑3.了解數(shù)據(jù)倉庫的分層架構4.了解數(shù)據(jù)源以及數(shù)據(jù)表的字段要求由教師講解、指導學生小組學習項目實施計劃以及項目數(shù)據(jù)字典22大數(shù)據(jù)相關開發(fā)軟件安裝，VMware.Xshell.Xftp.IDEA軟件安裝能夠正確安裝VMware、Xshell、Xftp、IDEA軟件1.了解VMware軟件的基本功能2.掌握Xshell、Xftp軟件的基本功能由教師示范、指導學生小組學習安裝大數(shù)據(jù)各個軟件43Linux操作系統(tǒng)環(huán)境配置：安裝虛擬機，配置虛擬機運行環(huán)境掌握虛擬機，CentOS7,主機的網(wǎng)絡屬性配置集群的網(wǎng)絡連通配置集群主機之間SSH免密登錄1.了解虛擬機概述2.掌握虛擬機的安裝方式，掌握CentOS系統(tǒng)的安裝方式3.能熟練配置主機網(wǎng)絡環(huán)境4.能配置集群局域網(wǎng)絡連通由教師示范、指導學生小組學習安裝虛擬機，熟悉網(wǎng)絡環(huán)境的配置84Hadoop分布式集群環(huán)境搭建：JDK安裝，HDFS集群配置，YARN集群配置能正確配置Java環(huán)境能正確安裝配置Hadoop集群能正確安裝配置YARN集群1.能正確配置JDK、Hadoop、YRAN的環(huán)境變量2.能正確配置Hadoop及YARN的各項文件參數(shù)3.能正確啟停Hadoop、YARN集群，會查看集群進程由教師示范、指導、學生獨立安裝部署Java環(huán)境、Hadoop集群以及YARN集群85HDFSShell命令行操作、HDFS客戶端開發(fā)環(huán)境配置及測試能夠熟練的通過Shell命令行和HDFS進行交互，會配置HDFS客戶端開發(fā)的環(huán)境1.能夠熟練使用HDFS的Shell命令2.會配置Hadoop及Java的Windows環(huán)境變量3.能正確將Windows系統(tǒng)中的文件上傳至HDFS由教師示范、指導、學生完成HDFSShell命令的操作，實現(xiàn)訪問Hadoop集群，最終把Windows系統(tǒng)中的文件上傳到HDFS86HDFSAPI基本操作MapReduce原理MapReduce案例能實現(xiàn)HdfsClientAPI類中各個方法的功能，能理解MapReduce原理，會編寫MapReduce程序1.掌握以封裝的方式以及流的方式，將文件從Winodws系統(tǒng)中上傳至HDFS2.掌握以封裝的方式以及以流的方式將文件從HDFS下載到Windows系統(tǒng)中3.會編寫MapReduce詞頻統(tǒng)計代碼由教師示范、指導、學生小組協(xié)作完成HDFSAPI代碼以及MapReduce代碼的編寫及測試87MySQL環(huán)境配置Hive數(shù)據(jù)倉庫配置HQL語句基本操作HQL統(tǒng)計分析案例掌握MySQL的安裝配置掌握Hive的三種安裝模式熟悉Hive的SQL語句數(shù)據(jù)操作1.掌握MySQL的安裝與配置2.熟悉Hive結構體系及數(shù)據(jù)模型3.掌握Hive數(shù)據(jù)倉庫的安裝與配置4.掌握Hive與MySQL整合及Hive服務啟動5.熟悉Hive的SQL命令由教師示范、指導、學生自獨立安裝MySQL環(huán)境以及Hive環(huán)境，啟動Hive命令行完成HQL操作88Flume原理及安裝部署Sqoop原理及應用Zookeeper集群環(huán)境搭建能正確搭建Flume環(huán)境能正確安裝部署Sqoop環(huán)境能正確搭建Zookeeper集群1.掌握配置Flume的文件參數(shù)2.掌握配置Sqoop環(huán)境變量，修改配置文件，遠程連接到MySQL3.能理解Zookeeper集群選舉機制4.能正確啟動和停止Zookeeper服務由教師示范、講解、學生自主完成Flume搭建、Sqoop環(huán)境部署、Zookeeper集群搭建69Kafka環(huán)境搭建及應用能正確搭建Kafka集群，熟練掌握Kafka基本命令1.掌握配置Kafka環(huán)境變量，相關配置文件2.掌握Kafka的常用命令由教師示范、指導、學生自主學習完成搭建Kafka集群、練習Kafka常用命令410項目數(shù)據(jù)源及產(chǎn)生方法Flume數(shù)據(jù)采集腳本設計能正確產(chǎn)生模擬數(shù)據(jù)，能正確編寫Flume采集腳本的配置文件1.掌握執(zhí)行Java程序的命令2.掌握修改集群時間的命令3.能夠按照數(shù)據(jù)源產(chǎn)生方法生成一天的模擬數(shù)據(jù)4.理解Flume采集腳本配置文件中各項參數(shù)意義由教師示范、指導、學生自主學習項目數(shù)據(jù)源產(chǎn)生的方法，編寫Flume采集腳本配置文件。811攔截器創(chuàng)建流程ETL攔截器業(yè)務邏輯分析分流標記攔截器業(yè)務邏輯分析理解Flume攔截器的作用，會編寫Flume攔截器程序1.創(chuàng)建ETL攔截器LogETLInterceptor類2.創(chuàng)建ETL攔截器LogETLInterceptor類3.LogUtils工具類由教師示范、指導學生小組學習了解Flume攔截器，了解代碼中的方法。612Flume數(shù)據(jù)采集執(zhí)行腳本及實現(xiàn)Flume數(shù)據(jù)消費腳本設計Flume數(shù)據(jù)消費執(zhí)行腳本及實現(xiàn)熟悉Shell命令，會編寫數(shù)據(jù)采集腳本掌握數(shù)據(jù)采集及消費流程會編寫Flume消費配置文件能正確啟動Flume數(shù)據(jù)消費腳本1.會編寫數(shù)據(jù)采集啟動及停止的腳本2.理解Flume消費腳本配置文件中各項參數(shù)意義3.會編寫數(shù)據(jù)消費啟動及停止的腳本4.了解Hadoop及Flume中guava版本沖突問題由教師示范、指導學生小組學習Flume數(shù)據(jù)采集執(zhí)行腳本，編寫數(shù)據(jù)消費腳本配置文件及執(zhí)行腳本613離線數(shù)據(jù)倉庫概述ODS層設計與開發(fā)DWD層設計與開發(fā)DWS層設計與開發(fā)掌握離線數(shù)據(jù)倉庫的架構理解ODS層開發(fā)的設計思想理解DWD層開發(fā)的設計思想理解DWS層開發(fā)的設計思想1.掌握ODS層啟動日志表、事件日志表設計及數(shù)據(jù)加載2.熟悉項目JSON解析函數(shù)及應用3.掌握DWD層啟動日志表設計及數(shù)據(jù)加載4.掌握每日設備行為表設計及數(shù)據(jù)加載由教師示范、指導學生小組學習完成數(shù)據(jù)倉庫的建設，完成ODS層、DWD層、DWS層數(shù)據(jù)表的創(chuàng)建及數(shù)據(jù)加載。814DWT層設計與開發(fā)ADS層設計與開發(fā)理解DWT層開發(fā)的設計思想理解ADS層開發(fā)的設計思想1.掌握HQL語句的關聯(lián)查詢2.掌握設備主題表設計及數(shù)據(jù)加載3.掌握活躍用戶數(shù)據(jù)表設計及數(shù)據(jù)加載4.掌握每日新增用戶數(shù)據(jù)表設計及數(shù)據(jù)加載5.掌握沉默用戶數(shù)據(jù)表設計及數(shù)據(jù)加載6.掌握本周回流用戶數(shù)據(jù)表設計及數(shù)據(jù)加載7.掌握用戶留存率數(shù)據(jù)表設計及數(shù)據(jù)加載由教師示范、指導學生小組學習，完成DWT層、ADS層數(shù)據(jù)表的創(chuàng)建及數(shù)據(jù)加載。815構建MySQL數(shù)據(jù)表Sqoop數(shù)據(jù)遷移會根據(jù)需求使用SQL命令建表能根據(jù)Sqoop命令完成數(shù)據(jù)遷移1.熟練掌握SQL建表語句2.能將HDFS上的數(shù)據(jù)導入到MySQL數(shù)據(jù)庫由教師示范、指導學生小組學習，完成MySQL數(shù)據(jù)庫中的表創(chuàng)建。能將數(shù)據(jù)HDFS的數(shù)據(jù)導入到MySQL數(shù)據(jù)庫。416數(shù)據(jù)可視化掌握安裝python環(huán)境的流程熟悉Pyecharts第三方庫熟悉如何將數(shù)據(jù)庫文件導入到MySQL數(shù)據(jù)庫中熟悉使用pyechars繪制各類型圖表1.了解Pyecharts可視化工具2.能在Python環(huán)境中導入數(shù)據(jù)、繪制大屏標題繪制柱狀圖、象形柱狀圖、水球圖、柱狀圖與折線圖的疊加圖、輪播圖3.掌握使用Page的add方法實現(xiàn)圖表的組合由教師示范、指導學生小組學習，完成python可視化環(huán)境的部署，通過學習各類型圖表實現(xiàn)數(shù)據(jù)大屏展示。12六、課程實施建議（一）教學建議1.教學團隊基本要求課程教學團隊專兼職師資團隊成員不少于5人。其中,行業(yè)企業(yè)授課教師不低于40%,“雙師型”授課教師中60%應具有中級或高級職稱,技術服務團隊成員不少于1人。2.教學條件硬件要求：微機、運行內(nèi)存8G以上、廣域網(wǎng)絡。軟件要求：VMwareWorkstation16、Xshell7、Xftp7、IntelliJIDEA2021.1x64等軟件。3.教學方法與手段線上線下混合式教學,理論加實踐項目型實戰(zhàn)操作。4.課程資源的開發(fā)與利用課程資源開發(fā)：（1）提供課程所需軟件（2）結合課程內(nèi)容開發(fā)視頻，供線上教學。（3）與企業(yè)專家合作編寫符合課程內(nèi)容的實訓指導書。（4）提供網(wǎng)絡資源學習平臺，使學生不拘泥于固定的時間、地點學習，提高學生學習的靈活性。（5）配備拓展學習資源，如圖片、視頻、音頻、動畫等。（6）挖掘課程思政元素，制作思政微課課程資源使用：（1）線上教學部分，課程團隊教師有效利用課程資源、智慧樹網(wǎng)絡資源、課程互動交流平臺。其中課程資源中包含的實訓指導書、開源技術安裝包及依賴包、基礎開發(fā)軟件等資源實行高效分類管理；課程資源中的拓展資源，可以滿足學生在學習時的困惑。充分利用網(wǎng)絡資源，了解最新的技術策略和實施方法；在課程互動交流平臺上，學生可以發(fā)布疑難問題，會有專業(yè)的老師進行解答。讓教學資源的傳輸能克服地域上的局限、從而讓網(wǎng)絡教學形式具有和新的內(nèi)涵。（2）線下教學部分，建立翻轉課堂，教師引導學生對知識主動探索、主動發(fā)現(xiàn)，并實現(xiàn)對所學知識的自主構建，利用與華為合作共建的華為鯤鵬大數(shù)據(jù)實訓室組織實踐教學。實訓室計算機操作環(huán)境與課程要求契合，網(wǎng)絡環(huán)境能達到日常教學要求。通過以上方式，開展線上線下混合式教學，進行課堂革命，改革評價方式等。5.教材選用選用的教材必須經(jīng)過教學指導委員會審核，必須符合《職業(yè)院校教材管理辦法》等有關要求，必須堅持以質量為標準，在同類教材中優(yōu)先選用近三年出版的國家級、省部級規(guī)劃及重點教材和獲獎教材，教育主管部門或教學指導委員會推薦的教材。必須符合本校人才培養(yǎng)方案、教學計劃和課程標準要。求，符合教育教學的基本規(guī)律。必須結合國家人才培養(yǎng)要求及山西區(qū)域經(jīng)濟發(fā)展需求，教材內(nèi)容科學先進、針對性強、體現(xiàn)學科特點、突出職業(yè)教育特色，對接科技發(fā)展趨勢和市場需求。建議選用教材：書名：Hadoop大數(shù)據(jù)平臺構建與應用（第2版）（“十四五”職業(yè)教育國家規(guī)劃教材）書號：9787040596915作者：米洪陳永出版社：高等教育出版社出版時間：2023年5月書名：《Hadoop大數(shù)據(jù)技術與項目實戰(zhàn)》書號：978-7-121-45896-5作者：王小潔豐澤陳炯出版社：電子工業(yè)出版社出版時間：2023年8月推薦參考資料：（1）《Hadoop實戰(zhàn)2》（2）《Hadoop權威指南》（3）《Hive編程指南》（4）《大數(shù)據(jù)平臺運維（中級）》（二）考核建議學生的考核方式，教師可以根據(jù)學情制定合適的成績比例規(guī)則，以引導激勵學生的學習方向和學習側重點，采用線上和線下融合、過程性評價、增值