第十五屆山東省職業(yè)院校技能大賽高職組“大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)競(jìng)賽試題

-1-競(jìng)賽時(shí)間、內(nèi)容及總成績(jī)（一）競(jìng)賽時(shí)間競(jìng)賽時(shí)間共為6小時(shí)，參賽隊(duì)自行安排任務(wù)進(jìn)度，休息、飲水、如廁等不設(shè)專(zhuān)門(mén)用時(shí)，統(tǒng)一含在競(jìng)賽時(shí)間內(nèi)。（二）競(jìng)賽內(nèi)容概述序號(hào)任務(wù)名稱具體內(nèi)容任務(wù)一大數(shù)據(jù)平臺(tái)環(huán)境搭建按照任務(wù)書(shū)要求，需要基于Docker環(huán)境完成Hadoop完全分布式、Spark安裝配置、Flink安裝配置、Hive安裝配置、Kafka安裝配置、Flume安裝配置、ClickHouse安裝配置、HBase安裝配置等中的任意三個(gè)組件的安裝配置任務(wù)二數(shù)據(jù)采集按照任務(wù)書(shū)要求基于Scala語(yǔ)言基于Spark完成離線數(shù)據(jù)采集，將數(shù)據(jù)存入Hive的ods層中；按照要求使用Linux命令，利用Flume、Maxwell、Kafka等工具完成實(shí)時(shí)數(shù)據(jù)采集任務(wù)三實(shí)時(shí)數(shù)據(jù)處理按照任務(wù)書(shū)要求使用Scala語(yǔ)言基于Flink完成Kafka中的數(shù)據(jù)消費(fèi)，將數(shù)據(jù)分發(fā)至Kafka的dwd層中，并在HBase中進(jìn)行備份同時(shí)建立Hive外表，基于Flink完成相關(guān)的數(shù)據(jù)指標(biāo)計(jì)算并將計(jì)算結(jié)果存入Redis、ClickHouse中任務(wù)四離線數(shù)據(jù)處理按照任務(wù)書(shū)要求使用Scala語(yǔ)言基于Spark完成離線數(shù)據(jù)清洗、處理、計(jì)算，包括數(shù)據(jù)的合并、去重、排序、數(shù)據(jù)類(lèi)型轉(zhuǎn)換等并將計(jì)算結(jié)果存入MySQL、HBase、ClickHouse中任務(wù)五數(shù)據(jù)可視化按照任務(wù)書(shū)要求編寫(xiě)前端代碼，調(diào)用后臺(tái)數(shù)據(jù)接口，使用Vue.js、ECharts完成數(shù)據(jù)可視化任務(wù)六綜合分析報(bào)告根據(jù)要求編寫(xiě)綜合分析報(bào)告（三）競(jìng)賽總成績(jī)“大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)競(jìng)賽總成績(jī)?yōu)?00分，其中包含賽場(chǎng)職業(yè)素養(yǎng)5分。任務(wù)須知每組參賽隊(duì)分配一臺(tái)競(jìng)賽服務(wù)器、三臺(tái)客戶機(jī)，擁有獨(dú)立IP組。本次比賽采用統(tǒng)一網(wǎng)絡(luò)環(huán)境比賽，請(qǐng)不要隨意更改客戶端的網(wǎng)絡(luò)地址信息，對(duì)于更改客戶端信息造成的問(wèn)題，由參賽選手自行承擔(dān)比賽損失；請(qǐng)不要惡意破壞競(jìng)賽環(huán)境，對(duì)于惡意破壞競(jìng)賽環(huán)境的參賽者，組委會(huì)根據(jù)其行為予以處罰直至取消比賽資格。比賽過(guò)程中及時(shí)保存相關(guān)文檔。比賽相關(guān)文檔中不能出現(xiàn)參賽學(xué)校名稱和參賽選手名稱，以賽位號(hào)（工位號(hào)）代替。參賽選手請(qǐng)勿刪除模板內(nèi)容，若因刪除導(dǎo)致任何問(wèn)題后果自負(fù)。若同一文檔由不同選手完成，須將文檔合并后作為最終結(jié)果提交到U盤(pán)中。比賽中出現(xiàn)各種問(wèn)題及時(shí)向現(xiàn)場(chǎng)裁判舉手示意，不要影響其他參賽隊(duì)比賽。任務(wù)說(shuō)明本項(xiàng)目要求完成離線電商數(shù)據(jù)統(tǒng)計(jì)分析，完成大數(shù)據(jù)平臺(tái)環(huán)境搭建、數(shù)據(jù)采集、實(shí)時(shí)數(shù)據(jù)處理、離線數(shù)據(jù)處理、數(shù)據(jù)可視化及綜合分析報(bào)告編寫(xiě)等工作。提供的相關(guān)資源包括：大數(shù)據(jù)環(huán)境搭建中需要用到的組件安裝包電商相關(guān)脫敏業(yè)務(wù)數(shù)據(jù)大數(shù)據(jù)分析集群環(huán)境數(shù)據(jù)采集開(kāi)發(fā)環(huán)境實(shí)時(shí)數(shù)據(jù)處理開(kāi)發(fā)環(huán)境離線數(shù)據(jù)處理開(kāi)發(fā)環(huán)境數(shù)據(jù)可視化開(kāi)發(fā)環(huán)境綜合分析報(bào)告文檔模板任務(wù)一：大數(shù)據(jù)平臺(tái)環(huán)境搭建按照任務(wù)書(shū)要求，需要基于Docker環(huán)境完成Hadoop完全分布式、Spark安裝配置、Flink安裝配置、Hive安裝配置、Kafka安裝配置、Flume安裝配置、ClickHouse安裝配置、HBase安裝配置等中的任意三個(gè)組件的安裝配置。任務(wù)二：數(shù)據(jù)采集按照任務(wù)書(shū)要求基于Scala語(yǔ)言基于Spark完成離線數(shù)據(jù)采集，將數(shù)據(jù)存入Hive的ods層中；按照任務(wù)書(shū)要求使用Linux命令，利用Flume、Maxwell等工具完成實(shí)時(shí)數(shù)據(jù)采集，將數(shù)據(jù)存入Kafka指定的Topic中。任務(wù)三：實(shí)時(shí)數(shù)據(jù)處理按照任務(wù)書(shū)要求使用Scala語(yǔ)言基于Flink完成Kafka中的數(shù)據(jù)消費(fèi)，將數(shù)據(jù)分發(fā)至Kafka的dwd層中，并在HBase中進(jìn)行備份同時(shí)建立Hive外表，基于Flink完成相關(guān)的數(shù)據(jù)指標(biāo)計(jì)算并將計(jì)算結(jié)果存入Redis、ClickHouse中。任務(wù)四：離線數(shù)據(jù)處理按照任務(wù)書(shū)要求使用Scala語(yǔ)言基于Spark完成離線數(shù)據(jù)清洗、處理、計(jì)算，包括數(shù)據(jù)的合并、去重、排序、數(shù)據(jù)類(lèi)型轉(zhuǎn)換等并將計(jì)算結(jié)果存入MySQL、HBase、ClickHouse中。任務(wù)五：數(shù)據(jù)可視化按照任務(wù)書(shū)要求編寫(xiě)前端代碼，調(diào)用后臺(tái)數(shù)據(jù)接口，使用Vue.js、ECharts完成數(shù)據(jù)可視化。任務(wù)六：綜合分析報(bào)告按照任務(wù)書(shū)要求，完成綜合分析報(bào)告編寫(xiě)。四、競(jìng)賽結(jié)果提交要求（一）提交方式任務(wù)成果需拷貝至提供的U盤(pán)中。在U盤(pán)中以XX工位號(hào)建一個(gè)文件夾（例如01），將所有任務(wù)成果文檔保存至該文件夾中。（二）文檔要求競(jìng)賽提交的所有文檔中不能出現(xiàn)參賽隊(duì)信息和參賽選手信息，競(jìng)賽文