2022高職 大數(shù)據(jù)技術(shù)與應(yīng)用 任務(wù)書8（賽項賽題）

2022年全國職業(yè)院校技能大賽

高職組

“大數(shù)據(jù)技術(shù)與應(yīng)用”

賽項賽卷（8卷）

任

務(wù)

書

參賽隊編號：

背景描述

工業(yè)互聯(lián)網(wǎng)是工業(yè)全要素、全產(chǎn)業(yè)鏈、全價值鏈的全面連接，是

人、機、物、工廠互聯(lián)互通的新型工業(yè)生產(chǎn)制造服務(wù)體系，是互聯(lián)網(wǎng)

從消費領(lǐng)域向生產(chǎn)領(lǐng)域、從虛擬經(jīng)濟向?qū)嶓w經(jīng)濟拓展的核心載體，是

建設(shè)現(xiàn)代化經(jīng)濟體系、實現(xiàn)高質(zhì)量發(fā)展和塑造全球產(chǎn)業(yè)競爭力的關(guān)鍵

支撐。黨中央、國務(wù)院高度重視工業(yè)互聯(lián)網(wǎng)發(fā)展，習(xí)近平總書記連續(xù)

四年對推動工業(yè)互聯(lián)網(wǎng)發(fā)展做出重要指示。加快發(fā)展工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè),

不僅是各國順應(yīng)產(chǎn)業(yè)發(fā)展大勢，搶占產(chǎn)業(yè)未來制高點的戰(zhàn)略選擇，也

是我國推動制造業(yè)質(zhì)量變革、效率變革和動力變革，實現(xiàn)高質(zhì)量發(fā)展

的客觀要求。

為完成工業(yè)大數(shù)據(jù)分析工作，你所在的小組將應(yīng)用大數(shù)據(jù)技術(shù)，

以Scala作為整個項目的基礎(chǔ)開發(fā)語言，基于大數(shù)據(jù)平臺綜合利用

Hive,Spark,Flink,Vue.js等技術(shù)，對數(shù)據(jù)進行處理、分析及可

視化呈現(xiàn)，你們作為該小組的技術(shù)人員，請按照下面任務(wù)完成本次工

作。

模塊A：大數(shù)據(jù)平臺搭建（容器環(huán)境）（15分）

環(huán)境說明：

服務(wù)端登錄地址詳見各模塊服務(wù)端說明。

補充說明：宿主機可通過Asbru工具或SSH客戶端進行SSH訪問；

相關(guān)軟件安裝包在宿主機的/opt目錄下，請選擇對應(yīng)的安裝包進行

安裝，用不到的可忽略；

所有模塊中應(yīng)用命令必須采用絕對路徑；

從本地倉庫中拉取鏡像，并啟動3個容器

進入Master節(jié)點的方式為

dockerexec-itmaster/bin/bash

進入Slavel節(jié)點的方式為

dockerexec-itslavel/bin/bash

進入Slave2節(jié)點的方式為

dockerexec-itslave2/bin/bash

同時將/opt目錄下的所有安裝包移動到3個容器節(jié)點中。

任務(wù)一：Hadoop完全分布式安裝配置

本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，安裝Hadoop需要配置前置環(huán)境。

命令中要求使用絕對路徑，具體要求如下：

1、將Master節(jié)點JDK安裝包解壓并移動到/usr/java路徑（若路徑不存在，則

需新建），將命令復(fù)制并粘貼至對應(yīng)報告中；

2、修改/root/profile文件，設(shè)置JDK環(huán)境變量，配置完畢后在Master節(jié)點分

別執(zhí)行“java”和“javac”命令，將命令行執(zhí)行結(jié)果分別截圖并粘貼至對

應(yīng)報告中；

3、請完成host相關(guān)配置，將三個節(jié)點分別命名為master、slavel、slave2,

并做免密登錄，使用絕對路徑從Master節(jié)點復(fù)制JDK解壓后的安裝文件到

SlavedSlave2節(jié)點，并配置相關(guān)環(huán)境變量，將全部復(fù)制命令復(fù)制并粘貼至

對應(yīng)報告中；

4、在Master節(jié)點將Hadoop解壓到/opt目錄下，并將解壓包分發(fā)至Slavel、

Slave2中，配置好相關(guān)環(huán)境，初始化Hadoop環(huán)境namenode,將初始化命令

及初始化結(jié)果復(fù)制粘貼至對應(yīng)報告中；

5、啟動Hadoop集群，查看Master節(jié)點jps進程，將查看結(jié)果復(fù)制粘貼至對應(yīng)

報告中。

任務(wù)二：Kafka安裝配置

本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，已安裝Hadoop及需要配置前置環(huán)

境，具體要求如下：

1、將ZooKeeper配置完畢后，在各節(jié)點啟動Zookeeper,查看Master節(jié)點的

zkServer服務(wù)狀態(tài)，將查看命令及結(jié)果復(fù)制粘貼至對應(yīng)報告中；

2、修改Kafka的server,properties文件，并將修改的內(nèi)容復(fù)制粘貼至對應(yīng)報

告中；

3、完善其他配置并在每個節(jié)點啟動Kafka,將Master節(jié)點的Kafka啟動命令復(fù)

制粘貼至對應(yīng)報告中。

任務(wù)三：Hive安裝配置

本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，已安裝Hadoop及需要配置前置環(huán)

境，具體要求如下：

1、將Master節(jié)點Hive安裝包解壓到/opt目錄下，將完整命令復(fù)制粘貼至對應(yīng)

報告中；

2、把解壓后的apache-hiveT.2.2-bin文件夾更名為hive；進入hive文件夾

使用Is進行查看，將完整命令復(fù)制粘貼至對應(yīng)報告中;

3、設(shè)置Hive環(huán)境變量，并使環(huán)境變量只對當(dāng)前root用戶生效；并將環(huán)境變量

配置內(nèi)容復(fù)制并粘貼至對應(yīng)報告中；

4、將Hive安裝目錄里hive-default.xml.template文件更名為hive-site.xml；

將完整命令復(fù)制粘貼至對應(yīng)報告中；

5、修改hive-site,xml配置文件，將MySQL數(shù)據(jù)庫作為Hive元數(shù)據(jù)庫。將配置

文件中配置Hive元存儲的相關(guān)內(nèi)容復(fù)制并粘貼至對應(yīng)報告中；

6、初始化Hive元數(shù)據(jù)，將MySQL數(shù)據(jù)庫JDBC驅(qū)動拷貝到Hive安裝目錄的lib

文件夾下；并通過schematool相關(guān)命令執(zhí)行初始化，將初始化結(jié)果復(fù)制粘貼

至對應(yīng)報告中；

7、完善其他配置并啟動Hive,將命令行輸出結(jié)果復(fù)制粘貼至對應(yīng)報告中。

模塊B：離線數(shù)據(jù)處理（25分）

環(huán)境說明：

服務(wù)端登錄地址詳見各模塊服務(wù)端說明。

補充說明：各主機可通過Asbru工具或SSH客戶端進行SSH訪問；

Master節(jié)點MySQL數(shù)據(jù)庫用戶名/密碼:root/123456（已配置遠程

連接）；

Hive的元數(shù)據(jù)啟動命令為：

nohuphive-servicemetastore&

Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/

Spark任務(wù)在Yarn上用Client運行，方便觀察日志。

任務(wù)一：數(shù)據(jù)抽取

編寫Scala工程代碼，將MySQL庫中表EnvironmentData,ChangeRecord,

Basemachine,MachineData,ProduceRecord全量抽取到Hive的ods庫中對應(yīng)

表EnvironmentData,ChangeRecord,Basemachine,MachineData,

ProduceRecord中。

1、抽取MySQL的shtd_store庫中EnvironmentData表的全量數(shù)據(jù)進入Hive的

ods庫中表EnvironmentData,字段排序、類型不變，同時添加靜態(tài)分區(qū)，

分區(qū)字段類型為String,且值為當(dāng)前比賽日的前一天日期（分區(qū)字段格式為

yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.EnvironmentData命

令，將結(jié)果截圖復(fù)制粘貼至對應(yīng)報告中；

2、抽取MySQL的shtd_store庫中ChangeRecord表的全量數(shù)據(jù)進入Hive的ods

庫中表ChangeRecord,字段排序、類型不變，同時添加靜態(tài)分區(qū)，分區(qū)字段

類型為String,且值為當(dāng)前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。

并在hivecli執(zhí)行showpartitionsods.ChangeRecord命令，將結(jié)果截圖

復(fù)制粘貼至對應(yīng)報告中；

3、抽取MySQL的shtdstore庫中Basemachine表的全量數(shù)據(jù)進入Hive的ods

庫中表Basemachine,字段排序、類型不變，同時添加靜態(tài)分區(qū)，分區(qū)字段

類型為String,且值為當(dāng)前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。

并在hivecli執(zhí)行showpartitionsods.Basemachine命令，將結(jié)果截圖

復(fù)制粘貼至對應(yīng)報告中；

4、抽取MySQL的shtdstore庫中ProduceRecord表的全量數(shù)據(jù)進入Hive的ods

庫中表ProduceRecord,字段排序、類型不變，同時添加靜態(tài)分區(qū)，分區(qū)字

段類型為String,且值為當(dāng)前比賽日的前一天日期（分區(qū)字段格式為

yyyyMMdd）o并在hivecli執(zhí)行showpartitionsods.ProduceRecord命令，

將結(jié)果截圖復(fù)制粘貼至對應(yīng)報告中；

5、抽取MySQL的shtd_store庫中MachineData表的全量數(shù)據(jù)進入Hive的ods

庫中表MachineData,字段排序、類型不變，同時添加靜態(tài)分區(qū)，分區(qū)字段

類型為String,且值為當(dāng)前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。

并在hivecli執(zhí)行showpartitionsods.ProduceRecord命令，將結(jié)果截

圖復(fù)制粘貼至對應(yīng)報告中；

任務(wù)二：數(shù)據(jù)清洗

編寫HiveSQL代碼，將ods庫中相應(yīng)表數(shù)據(jù)全量抽取到Hive的dwd庫中對

應(yīng)表中。表中有涉及到timestamp類型的，均要求按照yyyy-MM-ddss,

不記錄毫秒數(shù)，若原數(shù)據(jù)中只有年月日，則在時分秒的位置添加00:00:00,添

加之后使其符合yyyy-MM-ddsso

1、抽取ods庫中EnvironmentData的全量數(shù)據(jù)進入Hive的dwd庫中表

factenvironment_data,分區(qū)字段為etldate且值與ods庫的相對應(yīng)表該

值相等，并添加dwd_insertuser.dwd_insert_time^dwd_modify_user.

dwd_modifytime四列，其中dwd_insert_userdwd_modifyuser均填寫

“userl”,dwd_insert_time>dwd_modify_time均填寫操作時間,并進行數(shù)

據(jù)類型轉(zhuǎn)換。并在hivecli執(zhí)行descdwd.fact_environment_data命令,

將結(jié)果內(nèi)容復(fù)制粘貼至對應(yīng)報告中；

2、抽取ods庫中ChangeRecord的全量數(shù)據(jù)進入Hive的dwd庫中表

factchange_record,分區(qū)字段為etldate且值與ods庫的相對應(yīng)表該值相

等，并添力口dwd_insert_user、dwd_insert_time、dwd_modify_user、

dwd_modify_time四列，其中dwd_insert_userdwd_modify_user均填寫

“userl"，dwd_insert_time>dwd_modify_time均填寫操作時間，并進行數(shù)

據(jù)類型轉(zhuǎn)換。并在hivecli執(zhí)行descdwd.fact_change_record命令，將

結(jié)果內(nèi)容復(fù)制粘貼至對應(yīng)報告中；

3、抽取ods庫中Basemachine的全量數(shù)據(jù)進入Hive的dwd庫中表dim_machine,

抽取數(shù)據(jù)之前需要對數(shù)據(jù)根據(jù)BaseMachinelD進行去重處理。分區(qū)字段為

etldate且值與ods庫的相對應(yīng)表該值相等，并添加dwdinsert_user

dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中

dwd_insert_user>dwd_modify_user均填寫“userl"，dwd_insert_time>

dwd_modify_time均填寫操作時間，并進行數(shù)據(jù)類型轉(zhuǎn)換。在hivecli中按

照Base_machine順序排序，查詢dim_machine前2條數(shù)據(jù)，將結(jié)果內(nèi)容復(fù)

制粘貼至對應(yīng)報告中；

4、抽取ods庫中ProduceRecord的全量數(shù)據(jù)進入Hive的dwd庫中表

fact_produce_record,分區(qū)字段為etldate且值與ods庫的相對應(yīng)表該值相

等，并添力口dwd_insert_user、dwd_insert_time、dwd_modify_user、

dwd_modify_time四列，其中dwd_insert_user>dwd_modifyuser均填寫

“userl”，dwd_insert_time>dwd_modify_time均填寫操作時間,并進行數(shù)

據(jù)類型轉(zhuǎn)換。在hivecli中按照produce_machine_id順序排序，查詢

fact_produce_record前2條數(shù)據(jù)，將結(jié)果內(nèi)容復(fù)制粘貼至對應(yīng)報告中；

5、抽取ods庫中MachineData的全量數(shù)據(jù)進入Hive的dwd庫中表

fact_machine_datao分區(qū)字段為etldate且值與ods庫的相對應(yīng)表該值相

等，并添力口dwd_insert_user、dwd_insert_time、dwd_modify_user、

dwd_modify_time四列，其中dwd_insert_userdwd_modify_user均填寫

“userl”,dwd_insert_time>dwd_modifytime均填寫操作時間，并進行數(shù)

據(jù)類型轉(zhuǎn)換。并在hivecli執(zhí)行showpartitionsdwd.fact_machine_data

命令，將結(jié)果內(nèi)容復(fù)制粘貼至對應(yīng)報告中；

任務(wù)三：指標(biāo)計算

1、編寫Scala工程代碼，根據(jù)dwd層dwd.fact_environment_data表，統(tǒng)計檢

測設(shè)備（BaselD）每日的PM10的檢測平均濃度，然后將每個設(shè)備的平均濃

度與廠內(nèi)所有檢測設(shè)備每日檢測結(jié)果的平均濃度做比較（結(jié)果值為：高/低/

相同）存入MySQL數(shù)據(jù)庫shtdstore的表MachineRunningCompare（表結(jié)構(gòu)

如下）中，然后在Linux的MySQL命令行中根據(jù)檢測設(shè)備ID倒序排序，查

詢出前5條，將SQL語句與執(zhí)行結(jié)果截圖粘貼至對應(yīng)報告中。

字段類型中文含義備注

BaselDint檢測設(shè)備ID

MachineAvgdecimal單設(shè)備檢測平

均值

FactoryAvgdecimal廠內(nèi)所有設(shè)備

平均值

Comparisonstring比較結(jié)果高/低/相同

EnvDatestring檢測日期如:2021-12-12

2、編寫Scala工程代碼，根據(jù)dwd層dwd.fact_machine_data關(guān)聯(lián)

dwd.dim_machine表統(tǒng)計每個月、每個車間、每種狀態(tài)的時長，存入MySQL

數(shù)據(jù)庫shtd_store的表（表結(jié)構(gòu)如下）中，然后在Linux的MySQL命令行

中根據(jù)設(shè)備id、狀態(tài)持續(xù)時長均為逆序排序，查詢出前5條，將SQL語句與

執(zhí)行結(jié)果截圖粘貼至對應(yīng)報告中；

字段類型中文含義備注

MachinelDint車間id

ChangeRecordStatestring狀態(tài)

duration_tirnestring持續(xù)時長當(dāng)月該狀態(tài)的時長和

Yearint年狀態(tài)產(chǎn)生的年

Monthint月狀態(tài)產(chǎn)生的月

3、編寫Scala工程代碼，根據(jù)dwd層dwd.fact_change_record表聯(lián)合

dimjnachine表，統(tǒng)計每個車間中設(shè)備運行時長（即設(shè)備狀態(tài)為“運行”）的

中位數(shù)，存入MySQL數(shù)據(jù)庫shtd_store的表MachineRunningMedian（表結(jié)

構(gòu)如下）中，然后在Linux的MySQL命令行中根據(jù)所屬車間、設(shè)備id均為

倒序排序，查詢出前5條數(shù)據(jù)，將SQL語句與執(zhí)行結(jié)果截圖粘貼至對應(yīng)報告

中；

字段類型中文含義備注

MachinelDint設(shè)備id

MachineFactoryint所屬車間

TotalRunningTimeint運行總時長結(jié)果以秒為單位

模塊C：數(shù)據(jù)挖掘（10分）

環(huán)境說明：

服務(wù)端登錄地址詳見各模塊服務(wù)端說明。

補充說明：各主機可通過Asbru工具或SSH客戶端進行SSH訪問；

Master節(jié)點MySQL數(shù)據(jù)庫用戶名/密碼：root/123456（已配置遠程

連接）;

Hive的元數(shù)據(jù)啟動命令為：

nohuphive-servicemetastore&

Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/

Spark任務(wù)在Yarn上用Client運行，方便觀察日志。

該模塊均使用Scala編寫，利用Spark相關(guān)庫完成。

任務(wù)一：特征工程

1、根據(jù)dwd庫中fact_machine_data表，根據(jù)以下要求轉(zhuǎn)換：獲取最大分區(qū)

的數(shù)據(jù)后，首先解析列g(shù)et_xmldata中的數(shù)據(jù)（數(shù)據(jù)格式為xml,采用dom4j

解析，會給出解析demo）,并獲取主軸轉(zhuǎn)速，主軸倍率，主軸負載，進給倍

率，進給速度，PMC程序號，循環(huán)時間，運行時間，有效軸數(shù)，總加工個數(shù)，

已使用內(nèi)存，未使用內(nèi)存，可用程序量，注冊程序量等相關(guān)的值，同時轉(zhuǎn)換

machine_record_stat字段的值，若值為報警，則填寫1,否則填寫0,以下

為表結(jié)構(gòu)，將數(shù)據(jù)保存在dwd.factmachine_learning_data,在hivecli

中按照machine_record_id順序排序，查詢

dwd.fact_machine_learning_data前1條數(shù)據(jù)，將結(jié)果內(nèi)容復(fù)制粘貼至對應(yīng)

報告中；

dwd.factmachinelearningdata表結(jié)構(gòu)：

字段類型中文含義備注

machine_record_idint自增長id

machine_iddouble機器id

machine_record_mainshaft_speeddouble主軸轉(zhuǎn)速默認0.0

machine_record_mainshaft_multipleratedouble主軸倍率默認0.0

machine_record_mainshaft_loaddouble主軸負載默認0.0

machine_record_feed_speeddouble進給倍率默認0.0

machine_record_feed_muItipleratedouble進給速度默認0.0

machine_record_pmc_codedoublePMC程序號默認0.0

machine_record_cricle_timedouble循環(huán)時間默認0.0

machine_record_run_timedouble運行時間默認0.0

machine_recordefficive_shaftdouble有效軸數(shù)默認0.0

machine_record_amount_processdouble總加工個數(shù)默認0.0

machine_record_use_memorydouble已使用內(nèi)存默認0.0

machine_record_free_memorydouble未使用內(nèi)存默認0.0

machine_record_amount_use_codedouble可用程序量默認0.0

machine_record_amount_free_codedouble注冊程序量默認0.0

machine_record_statedouble機器狀態(tài)默認0.0

任務(wù)二：報警預(yù)測

1、根據(jù)任務(wù)一的結(jié)果，建立隨機森林（隨機森林相關(guān)參數(shù)考生可自定義，不做

限制），使用任務(wù)一的結(jié)果訓(xùn)練隨機森林模型，然后再將hive中

dwd.fact_machine_learning_data_test（表結(jié)構(gòu)與

dwd.fact_machine_learning_data一致，但machine_record_state列值為

空）轉(zhuǎn)成向量，預(yù)測其是否報警將結(jié)果輸出到mysql庫shtd_industry中的

ml_result表中。在Linux的MySQL命令行中查詢出所有數(shù)據(jù)并按照

machine_record_id順序排序，將SQL語句與執(zhí)行結(jié)果截圖粘貼至對應(yīng)報告

中。

ml_result表結(jié)構(gòu):

字段類型中文含義備注

machine_record_idint自增長id

machine_record_statedouble機器狀態(tài)報警為1,其他

狀態(tài)則為0

模塊D：數(shù)據(jù)采集與實時計算（20分）

環(huán)境說明：

服務(wù)端登錄地址詳見各模塊服務(wù)端說明。

補充說明：各主機可通過Asbru工具或SSH客戶端進行SSH訪問；

請先檢查ZooKeeper、Kafka、Redis端口看是否已啟動，若未啟動

則各啟動命令如下：

ZK啟動（netstat-ntlp查看2181端口是否打開）

/usr/zk/zookeeper-3.4.6/bin/zkServer.shstart

Redis啟動（netstat-ntlp查看6379端口是否打開）

/usr/redis/bin/redis-server/usr/redis/bin/redis.conf

Kafka啟動（netstat-ntlp查看9092端口是否打開）

/opt/kafka/kafka_2.11-2.0.O/bin/kafka-server-start.sh-daemon（空格連接下一行）

/opt/kafka/kafka_2.11-2.0.0/config/server.properties

Flink任務(wù)在Yarn上用perjob模式（即Job分離模式，不采用

Session模式），方便Yarn回收資源。

任務(wù)一：實時數(shù)據(jù)采集

1、在Master節(jié)點使用Flume采集/data_log目錄下實時日志文件中的數(shù)據(jù)，將

數(shù)據(jù)存入到Kafka的Topic中（topic名稱分別為ChangeRecord和

EnvironmentData,分區(qū)數(shù)為4）,將Flume的配置截圖粘貼至對應(yīng)報告中；

2、Flume接收數(shù)據(jù)注入kafka的同時，將數(shù)據(jù)備份到HDFS目錄

/user/test/flumebackup下，將備份結(jié)果截圖粘貼至對應(yīng)報告中。

任務(wù)二：使用Flink處理Kafka中的數(shù)據(jù)

編寫Scala工程代碼，使用Flink消費Kafka中Topic為ChangeRecord的

數(shù)據(jù)并進行相應(yīng)的數(shù)據(jù)統(tǒng)計計算。

1、使用Flink消費Kafka中EnvironmentData主題的數(shù)據(jù)，監(jiān)控各環(huán)境檢測設(shè)

備數(shù)據(jù)，當(dāng)溫度（Temperature字段）持續(xù)10分鐘高于39度時記錄為預(yù)警

數(shù)據(jù)（設(shè)備id,溫度，預(yù)警時間），將該環(huán)境檢測設(shè)備的預(yù)警數(shù)據(jù)寫入Mysql

表envtemperaturealarm中，然后在Linux的MySQL命令行中根據(jù)Machine1D

逆序排序，查詢出前3條，將SQL語句與執(zhí)行結(jié)果截圖粘貼至對應(yīng)報告中；

2^使用Flink消費Kafka中ChangeRecord主題的數(shù)據(jù)，統(tǒng)計每個設(shè)備從其他

狀態(tài)轉(zhuǎn)變?yōu)?運行”狀態(tài)的總次數(shù)，將key設(shè)置成totalswitch存入Redis

中（再使用hash數(shù)據(jù)格式，key存放為設(shè)備id,value存放為該設(shè)備切換為

"運行"的總次數(shù)）,使用rediscli以getkey方式獲取to