2021年山東省職業(yè)院校技能大賽高職組“大數(shù)據(jù)技術(shù)與應用”賽項任務書

背景描述大數(shù)據(jù)時代背景下，電商經(jīng)營模式發(fā)生很大改變。在傳統(tǒng)運營模式中，缺乏數(shù)據(jù)積累，人們在做出一些決策行為過程中，更多是憑借個人經(jīng)驗和直覺，發(fā)展路徑比較自我封閉。而大數(shù)據(jù)時代，為人們提供一種全新的思路，通過大量的數(shù)據(jù)分析得出的結(jié)果將更加現(xiàn)實和準確。商家可以對客戶的消費行為信息數(shù)據(jù)進行收集和整理，比如消費者購買產(chǎn)品的花費、選擇產(chǎn)品的渠道、偏好產(chǎn)品的類型、產(chǎn)品回購周期、購買產(chǎn)品的目的、消費者家庭背景、工作和生活環(huán)境、個人消費觀和價值觀等。通過數(shù)據(jù)追蹤，知道顧客從哪兒來，是看了某網(wǎng)站投放的廣告還是通過朋友推薦鏈接，是新訪客還是老用戶，喜歡瀏覽什么產(chǎn)品，購物車有無商品，是否清空，還有每一筆交易記錄，精準鎖定一定年齡、收入、對產(chǎn)品有興趣的顧客，對顧客進行分組、標簽化，通過不同標簽組合運用，獲得不同目標群體，以此開展精準推送。因數(shù)據(jù)驅(qū)動的零售新時代已經(jīng)到來，沒有大數(shù)據(jù)，我們無法為消費者提供這些體驗，為完成電商的大數(shù)據(jù)分析工作，你所在的小組將應用大數(shù)據(jù)技術(shù)，以Scala作為整個項目的基礎開發(fā)語言，基于大數(shù)據(jù)平臺綜合利用Spark、Flink、Vue.js等技術(shù)，對數(shù)據(jù)進行處理、分析及可視化呈現(xiàn)，你們作為該小組的技術(shù)人員，請按照下面任務完成本次工作。

模塊A：大數(shù)據(jù)平臺及組件的部署管理（10分）環(huán)境說明：服務端登錄地址詳見各模塊服務端說明。補充說明：各主機可通過Asbru工具進行SSH訪問；Master節(jié)點MySQL數(shù)據(jù)庫用戶名/密碼：root/123456；相關(guān)軟件安裝包在主節(jié)點的/opt目錄下，請選擇對應的安裝包進行安裝，用不到的可忽略；所有模塊中應用命令必須采用絕對路徑。任務一：Hadoop完全分布式安裝部署本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，安裝Hadoop需要配置前置環(huán)境。命令中要求使用絕對路徑，具體部署要求如下:將Master節(jié)點JDK安裝包解壓并移動到/usr/java路徑(若路徑不存在，則需新建)，將命令復制并粘貼至客戶端桌面【Release\模塊A提交結(jié)果.docx】中對應的任務序號下;修改/root/profile文件，設置JDK環(huán)境變量，配置完畢后在master節(jié)點分別執(zhí)行“java”和“javac”命令，將命令行執(zhí)行結(jié)果分別截圖并粘貼至客戶端桌面【Release\模塊A提交結(jié)果.docx】中對應的任務序號下;請完成host相關(guān)配置，將三個節(jié)點分別命名為master、slave1、slave2，并做免密登錄，使用絕對路徑從master復制JDK解壓后的安裝文件到slave1、slave2節(jié)點，并配置相關(guān)環(huán)境變量，將全部復制命令復制并粘貼至客戶端桌面【Release\模塊A提交結(jié)果.docx】中對應的任務序號下;在Master將Hadoop解壓到/opt目錄下，并將解壓包分發(fā)至slave1.slave2中,配置好相關(guān)環(huán)境，初始化Hadoop環(huán)境namenode，將初始化命令及初始化結(jié)果復制粘貼至客戶端桌面【Release\模塊A提交結(jié)果.docx】中對應的任務序號下；啟動hadoop集群，查看master節(jié)點jps進程，將查看結(jié)果復制粘貼至客戶端桌面【Release\模塊A提交結(jié)果.docx】中對應的任務序號下。任務二：Hive安裝部署本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，已安裝Hadoop及需要配置前置環(huán)境，具體部署要求如下：將Master節(jié)點Hive安裝包解壓到/opt目錄下，將命令復制并粘貼至客戶端桌面【Release\模塊A提交結(jié)果.docx】中對應的任務序號下；設置Hive環(huán)境變量，并使環(huán)境變量生效，并將環(huán)境變量配置內(nèi)容復制并粘貼至客戶端桌面【Release\模塊A提交結(jié)果.docx】中對應的任務序號下；完成相關(guān)配置并添加所依賴包，將MySQL數(shù)據(jù)庫作為Hive元數(shù)據(jù)庫。初始化Hive元數(shù)據(jù)，并通過schematool相關(guān)命令執(zhí)行初始化，將初始化結(jié)果復制粘貼至客戶端桌面【Release\模塊A提交結(jié)果.docx】中對應的任務序號下。任務三：FlinkonYarn安裝部署本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，已安裝Hadoop及需要配置前置環(huán)境，具體部署要求如下：將Flink包解壓到路徑/opt目錄下，將完整命令復制粘貼至客戶端桌面【Release\模塊A提交結(jié)果.docx】中對應的任務序號下;修改/root/profile文件，設置Flink環(huán)境變量，并使環(huán)境變量生效將環(huán)境變量配置內(nèi)容復制粘貼至客戶端桌面【Release\模塊A提交結(jié)果.docx】中對應的任務序號下;開啟Hadoop集群，在yarn上以perjob模式（即Job分離模式，不采用Session模式）運行$FLINK_HOME/examples/batch/WordCount.jar，將運行結(jié)果最后10行復制粘貼至客戶端桌面【Release\模塊A提交結(jié)果.docx】中對應的任務序號下。示例：flinkrun-myarn-cluster-p2-yjm2G-ytm2G$FLINK_HOME/examples/batch/WordCount.jar模塊B：離線數(shù)據(jù)抽?。?5分）環(huán)境說明：服務端登錄地址詳見各模塊服務端說明。補充說明：各主機可通過Asbru工具進行SSH訪問；Master節(jié)點MySQL數(shù)據(jù)庫用戶名/密碼：root/123456（已配置遠程連接）；Hive的元數(shù)據(jù)啟動命令為:nohuphive--servicemetastore&Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/Spark任務在Yarn上用Client運行，方便觀察日志。任務一：全量數(shù)據(jù)抽取編寫Scala工程代碼，將MySQL的shtd_store庫中表CUSTOMER、NATION、PART、PARTSUPP、REGION、SUPPLIER的數(shù)據(jù)全量抽取到Hive的ods庫中對應表customer，nation，part，partsupp，region，supplier中。抽取shtd_store庫中CUSTOMER的全量數(shù)據(jù)進入Hive的ods庫中表customer。字段排序，類型不變，同時添加靜態(tài)分區(qū)，分區(qū)字段類型為String，且值為當前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.customer命令，將結(jié)果截圖復制粘貼至客戶端桌面【Release\模塊B提交結(jié)果.docx】中對應的任務序號下；抽取shtd_store庫中NATION的全量數(shù)據(jù)進入Hive的ods庫中表nation。字段排序，類型不變，同時添加靜態(tài)分區(qū)，分區(qū)字段類型為String，且值為當前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.nation命令，將結(jié)果截圖復制粘貼至客戶端桌面【Release\模塊B提交結(jié)果.docx】中對應的任務序號下；抽取shtd_store庫中PART的全量數(shù)據(jù)進入Hive的ods庫中表part。字段排序，類型不變，同時添加靜態(tài)分區(qū)，分區(qū)字段類型為String，且值為當前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.part命令，將結(jié)果截圖復制粘貼至客戶端桌面【Release\模塊B提交結(jié)果.docx】中對應的任務序號下；抽取shtd_store庫中PARTSUPP的全量數(shù)據(jù)進入Hive的ods庫中表partsupp。字段排序，類型不變，同時添加靜態(tài)分區(qū)，分區(qū)字段類型為String，且值為當前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.partsupp命令，將結(jié)果截圖復制粘貼至客戶端桌面【Release\模塊B提交結(jié)果.docx】中對應的任務序號下；抽取shtd_store庫中REGION的全量數(shù)據(jù)進入Hive的ods庫中表region。字段排序，類型不變，同時添加靜態(tài)分區(qū)，分區(qū)字段類型為String，且值為當前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.region命令，將結(jié)果截圖復制粘貼至客戶端桌面【Release\模塊B提交結(jié)果.docx】中對應的任務序號下；抽取shtd_store庫中SUPPLIER的全量數(shù)據(jù)進入Hive的ods庫中表supplier。字段排序，類型不變，同時添加靜態(tài)分區(qū)，分區(qū)字段類型為String，且值為當前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.supplier命令，將結(jié)果截圖復制粘貼至客戶端桌面【Release\模塊B提交結(jié)果.docx】中對應的任務序號下。任務二：增量數(shù)據(jù)抽取編寫Scala工程代碼，將MySQL的shtd_store庫中表ORDERS、LINEITEM增量抽取到Hive的ods庫中對應表ORDERS，LINEITEM中。抽取shtd_store庫中ORDERS的增量數(shù)據(jù)進入Hive的ods庫中表orders，要求只取1997年12月1號及之后的數(shù)據(jù)（包括1997年12月1號），根據(jù)ORDERS表中ORDERKEY作為增量字段（提示：對比MySQL和Hive中的表的ORDERKEY大?。?，只將新增的數(shù)據(jù)抽入，字段類型不變，同時添加動態(tài)分區(qū)，分區(qū)字段類型為String，且值為ORDERDATE字段的內(nèi)容（ORDERDATE的格式為yyyy-MM-dd，分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行selectcount(distinct(dealdate))fromods.orders命令，將結(jié)果截圖復制粘貼至客戶端桌面【Release\模塊B提交結(jié)果.docx】中對應的任務序號下；抽取shtd_store庫中LINEITEM的增量數(shù)據(jù)進入Hive的ods庫中表lineitem，根據(jù)LINEITEM表中orderkey作為增量字段，只將新增的數(shù)據(jù)抽入，字段類型不變，同時添加靜態(tài)分區(qū)，分區(qū)字段類型為String，且值為當前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。并在hivecli執(zhí)行showpartitionsods.lineitem命令，將結(jié)果截圖復制粘貼至客戶端桌面【Release\模塊B提交結(jié)果.docx】中對應的任務序號下。模塊C：離線數(shù)據(jù)統(tǒng)計（20分）環(huán)境說明：服務端登錄地址詳見各模塊服務端說明。補充說明：各主機可通過Asbru工具進行SSH訪問；Master節(jié)點MySQL數(shù)據(jù)庫用戶名/密碼：root/123456（已配置遠程連接）；Hive的元數(shù)據(jù)啟動命令為:nohuphive--servicemetastore&Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/Spark任務在Yarn上用Client運行，方便觀察日志。任務一：數(shù)據(jù)清洗編寫Scala工程代碼，將ods庫中表customer，nation，region，supplier全量抽取到Hive的dwd庫中對應表中。表中有涉及到timestamp類型的，均要求按照yyyy-MM-ddHH:mm:ss，不記錄毫秒數(shù)，若原數(shù)據(jù)中只有年月日，則在時分秒的位置添加00:00:00，添加之后使其符合yyyy-MM-ddHH:mm:ss。將ods庫中customer表數(shù)據(jù)抽取到dwd庫中dim_customer的分區(qū)表，分區(qū)字段為etldate且值與ods庫的相對應表該值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填寫“user1”，dwd_insert_time、dwd_modify_time均填寫當前操作時間（年月日必須是今天，時分秒只需在比賽時間范圍內(nèi)即可），并進行數(shù)據(jù)類型轉(zhuǎn)換。在hivecli中按照cust_key順序排序，查詢dim_customer前1條數(shù)據(jù)，將結(jié)果內(nèi)容復制粘貼至客戶端桌面【Release\模塊C提交結(jié)果.docx】中對應的任務序號下；將ods庫中nation表數(shù)據(jù)抽取到dwd庫中dim_nation的分區(qū)表，分區(qū)字段為etldate且值與ods庫的相對應表該值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填寫“user1”，dwd_insert_time、dwd_modify_time均填寫當前操作時間（年月日必須是今天，時分秒只需在比賽時間范圍內(nèi)即可），并進行數(shù)據(jù)類型轉(zhuǎn)換。在hivecli中按照nation_key順序排序，查詢dim_nation前1條數(shù)據(jù)，將結(jié)果內(nèi)容復制粘貼至客戶端桌面【Release\模塊C提交結(jié)果.docx】中對應的任務序號下；將ods庫中region表數(shù)據(jù)抽取到dwd庫中dim_region的分區(qū)表，分區(qū)字段為etldate且值與ods庫的相對應表該值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填寫“user1”，dwd_insert_time、dwd_modify_time均填寫當前操作時間（年月日必須是今天，時分秒只需在比賽時間范圍內(nèi)即可），并進行數(shù)據(jù)類型轉(zhuǎn)換。在hivecli中按照region_key順序排序，查詢dim_region表前1條數(shù)據(jù)，將結(jié)果內(nèi)容復制粘貼至客戶端桌面【Release\模塊C提交結(jié)果.docx】中對應的任務序號下；將ods庫中orders表數(shù)據(jù)抽取到dwd庫中fact_orders的分區(qū)表，分區(qū)字段為etldate且值與ods庫的相對應表該值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填寫“user1”，dwd_insert_time、dwd_modify_time均填寫當前操作時間（年月日必須是今天，時分秒只需在比賽時間范圍內(nèi)即可），并進行數(shù)據(jù)類型轉(zhuǎn)換。在執(zhí)行hivecli執(zhí)行selectcount(distinct(dealdate))fromdwd.fact_orders命令，將結(jié)果內(nèi)容復制粘貼至客戶端桌面【Release\模塊C提交結(jié)果.docx】中對應的任務序號下；待任務4完成以后，需刪除ods.orders中的分區(qū)，僅保留最近的三個分區(qū)。并在hivecli執(zhí)行showpartitionsods.orders命令，將結(jié)果截圖粘貼至客戶端桌面【Release\模塊C提交結(jié)果.docx】中對應的任務序號下；將ods庫中l(wèi)ineitem表數(shù)據(jù)抽取到dwd庫中fact_lineitem的分區(qū)表，分區(qū)字段為etldate且值與ods庫的相對應表該值相等，抽取的條件為根據(jù)orderkey和partkey進行去重，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填寫“user1”，dwd_insert_time、dwd_modify_time均填寫當前操作時間（年月日必須是今天，時分秒只需在比賽時間范圍內(nèi)即可），并進行數(shù)據(jù)類型轉(zhuǎn)換。在hivecli執(zhí)行showpartitionsdwd.fact_lineitem命令，將結(jié)果截圖粘貼至客戶端桌面【Release\模塊C提交結(jié)果.docx】中對應的任務序號下。任務二：指標計算編寫Scala工程代碼，根據(jù)dwd層表統(tǒng)計每個地區(qū)、每個國家、每個月下單的數(shù)量和下單的總金額，存入MySQL數(shù)據(jù)庫shtd_store的nationeverymonth表中，然后在Linux的MySQL命令行中根據(jù)訂單總數(shù)、消費總額、國家表主鍵均為逆序排序，查詢出前5條，將SQL語句與執(zhí)行結(jié)果截圖粘貼至客戶端桌面【Release\模塊C提交結(jié)果.docx】中對應的任務序號下;字段類型中文含義備注nationkeyint國家表主鍵nationnametext國家名稱reginkeyint地區(qū)表主鍵reginnametext地區(qū)名稱totalconsumptiondouble消費總額當月消費訂單總額totalorderint訂單總數(shù)當月訂單總額yearint年訂單產(chǎn)生的年monthint月訂單產(chǎn)生的月編寫Scala工程代碼，根據(jù)dwd層表統(tǒng)計連續(xù)兩個月下單并且下單金額保持增長的用戶，訂單發(fā)生時間限制為大于等于1998年之后的數(shù)據(jù)（若某用戶在9、10、11三個月消費額連續(xù)增長，則該用戶在表中存在兩條記錄，分別記錄該用戶9月到10月與10月到11月，若連續(xù)四個月都增長則以此方式類推），存入MySQL數(shù)據(jù)庫shtd_store的usercontinueorder表中。然后在Linux的MySQL命令行中根據(jù)訂單總數(shù)、消費總額、客戶主鍵逆序排序，查詢出前5條，將SQL語句與執(zhí)行結(jié)果截圖粘貼至客戶端桌面【Release\模塊C提交結(jié)果.docx】中對應的任務序號下。字段類型中文含義備注custkeyint客戶主鍵custnametext客戶名稱monthtext月記錄當前月和下月，用下劃線‘_’相連例如：199801_199802表示98年1月到2月用戶連續(xù)下單。totalconsumptiondouble消費總額連續(xù)兩月的訂單總額totalorderint訂單總數(shù)連續(xù)兩月的訂單總數(shù)模塊D：數(shù)據(jù)采集與實時計算（20分）環(huán)境說明：服務端登錄地址詳見各模塊服務端說明。補充說明：各主機可通過Asbru工具進行SSH訪問；請先檢查ZooKeeper、Kafka、Redis端口，查看是否已啟動，若未啟動則各組件啟動命令如下：ZK啟動（netstat-ntlp查看2181端口是否打開）/usr/zk/zookeeper-3.4.6/bin/zkServer.shstartRedis啟動（netstat-ntlp查看6379端口是否打開）/usr/redis/bin/redis-server/usr/redis/bin/redis.confKafka啟動（netstat-ntlp查看9092端口是否打開）/opt/kafka/kafka_2.11-2.0.0/bin/kafka-server-start.sh-daemon/opt/kafka/kafka_2.11-2.0.0/config/pertiesFlink任務在Yarn上用perjob模式（即Job分離模式，不采用Session模式），方便Yarn回收資源。任務一：實時數(shù)據(jù)采集在Master節(jié)點使用Flume采集實時數(shù)據(jù)生成器26001端口的socket數(shù)據(jù)（實時數(shù)據(jù)生成器腳本為Master節(jié)點/opt目錄下的gen_socket_data腳本），將數(shù)據(jù)存入到Kafka的Topic中（topic名稱為order，分區(qū)數(shù)為4），將Flume的配置截圖粘貼至客戶端桌面【Release\模塊D提交結(jié)果.docx】中對應的任務序號下。注：考生需先啟動已配置好的Flume，再啟動腳本，啟動方式為進入/opt目錄執(zhí)行./gen_socket_data(如果沒有權(quán)限，請授權(quán)chmod777/opt/gen_socket_data)任務二：使用Flink處理Kafka中的數(shù)據(jù)編寫Scala工程代碼，使用Flink消費Kafka中Topic為order的數(shù)據(jù),在實時數(shù)據(jù)中使用以O開頭的數(shù)據(jù)，其字段結(jié)構(gòu)為附錄說明中ORDERS表的字段。使用Flink消費kafka中的數(shù)據(jù)，統(tǒng)計實時訂單總額，將key設置成totalprice存入redis中（value為字符串格式，僅存實時訂單總金額）。使用rediscli以getkey方式獲取totalprice值，將結(jié)果截圖粘貼至客戶端桌面【Release\模塊D提交結(jié)果.docx】中對應的任務序號下，需兩次截圖，第一次截圖和第二次截圖間隔一分鐘以上，第一次截圖放前面，第二次放后面。使用Flink消費kafka中的數(shù)據(jù)，統(tǒng)計每分鐘下單的數(shù)量，將key設置成totalorder存入redis中（value為字符串格式，僅存下單數(shù)量）。使用rediscli以getkey方式獲取totalorder值，將結(jié)果粘貼至客戶端桌面【Release\模塊D提交結(jié)果.docx】中對應的任務序號下，需兩次截圖，第一次截圖（應該在job啟動2分鐘數(shù)據(jù)穩(wěn)定后再截圖）和第二次截圖時間間隔應達一分鐘以上，第一次截圖放前面，第二次放后面。（注：流數(shù)據(jù)中，時間未精確到時分秒，建議StreamTimeCharacteristic設置成ProcessingTime（默認）或IngestionTime。）模塊E：數(shù)據(jù)可視化（20分）環(huán)境說明：數(shù)據(jù)接口地址及接口描述詳見各模塊服務端說明。任務一：用柱狀圖展示消費額最高的國家編寫Vue工程代碼，根據(jù)接口，用柱狀圖展示1997年12月消費額最高的5個國家，同時將用于圖表展示的數(shù)據(jù)結(jié)構(gòu)在瀏覽器的console中進行打印輸出，將圖表可視化結(jié)果和瀏覽器console打印結(jié)果分別截圖并粘貼至客戶端桌面【Release\模塊E提交結(jié)果.docx】中對應的任務序號下。任務二：用餅狀圖展示各地區(qū)（即大洲）消費能力編寫Vue工程代碼，根據(jù)接口，用餅狀圖展示1998年第一季度（包含1月，2月，3月）各大洲的消費總額占比，同時將用于圖表展示的數(shù)據(jù)結(jié)構(gòu)在瀏覽器的console中進行打印輸出，將圖表可視化結(jié)果和瀏覽器console打印結(jié)果分別截圖并粘貼至客戶端桌面【Release\模塊E提交結(jié)果.docx】中對應的任務序號下。任務三：折線圖展示總消費額變化編寫Vue工程代碼，根據(jù)接口，用折線圖展示1998年上半年（從1月到6月）商城總消費額的變化情況，同時將用于圖表展示的數(shù)據(jù)結(jié)構(gòu)在瀏覽器的console中進行打印輸出，將圖表可視化結(jié)果和瀏覽器console打印結(jié)果分別截圖并粘貼至客戶端桌面【Release\模塊E提交結(jié)果.docx】中對應的任務序號下。

模塊F：綜合分析（10分）任務一：如何解決Job運行效率低的問題在模塊B、C中出現(xiàn)某些Job運行時間較長，你認為可能是哪些情況造成？有什么相關(guān)的方法嗎？將內(nèi)容編寫至客戶端桌面【Release\模塊F提交結(jié)果.docx】中對應的任務序號下。任務二：簡要描述任務過程中的問題并進行總結(jié)將內(nèi)容編寫至客戶端桌面【Release