（高職）GZ033大數(shù)據(jù)應(yīng)用開發(fā)賽項規(guī)程（師生同賽）

全國職業(yè)院校技能大賽賽項規(guī)程賽項名稱：大數(shù)據(jù)應(yīng)用開發(fā)賽項組別：高等職業(yè)教育（師生同賽）1?每年賽隔年賽（單數(shù)年/雙數(shù)年）□學生賽(□個人/□團體）□教師賽（試點）?師生同賽（試點）（對應(yīng)每個專業(yè)，明確涉及的專業(yè)核心課程）類術(shù)2對接產(chǎn)業(yè)行業(yè)、對應(yīng)崗位（群）及核心能力（對應(yīng)每個崗位（群），明確核心能力要求）3）：adoop完全分布式安裝配置、HadoopHA安裝配置、SparkonYarn4（二）離線數(shù)據(jù)處理：Scala應(yīng)用開發(fā)、Pom文件配置、Maven（三）數(shù)據(jù)挖掘：特征工程應(yīng)用、SparkML機器學習庫應(yīng)用開aven本地倉庫配置使用、基于Flume及Kafka的數(shù)據(jù)采集方法、基（七）職業(yè)素養(yǎng)：團隊分工明確合理、操作規(guī)范、文明競賽。51選手在容器環(huán)境下對大數(shù)據(jù)平臺及相關(guān)組件23選手運用常用的機器學習方法對數(shù)據(jù)進行數(shù)4成實時數(shù)據(jù)流相關(guān)數(shù)據(jù)指標的分析、計算等56選手對大數(shù)據(jù)技術(shù)的業(yè)務(wù)分析、技術(shù)分析及76模塊一據(jù)清洗、數(shù)據(jù)指標統(tǒng)計等操作，并789選手遲到10分鐘取消比賽資格。嚴禁參賽選手、賽項裁（七）其它未盡事宜，將在賽前向各領(lǐng)隊做詳細說明。七、技術(shù)規(guī)范信息技術(shù)大數(shù)據(jù)面向分析的數(shù)據(jù)存儲與檢索技八、技術(shù)環(huán)境1234（CommunityEdition）據(jù)平臺綜合利用Hive、Spark、Flink、Vue.js等服務(wù)端登錄地址詳見各任務(wù)服務(wù)端說明。/opt/module路徑中(若路徑不存在，則需新建)，將JDK解壓命c”命令，將命令行執(zhí)行結(jié)果分別截圖并粘貼至客戶端桌面【Rel），初始化Hadoop環(huán)境namenode，將初始化命令及初始化結(jié)果截圖（截取初始化結(jié)果日志最后20行即可）粘貼至客戶端桌面【Rel令與結(jié)果截圖粘貼至客戶端桌面【Release\任務(wù)A提交結(jié)果.doc_HOME/examples/jars/spark-examples_2.12-3.1.1.jar運行的主類為org.apache.spark.examples.SparkPi，將運行結(jié)果截圖（運行命令為：spark-submit--masteryarn--classorg.apache.spark.examples.SparkPi$SPARK_HOME/examples/jars/spark-examples_2.12-3.1.1.jar）ware路徑中（若路徑不存在，則需新建），將zookeepseversion，將全部復(fù)制命令復(fù)制并將hbaseversion命令的結(jié)3、啟動HBase后在三個節(jié)點分別使用jps命令查看，并將結(jié)果分別查看命名空間的結(jié)果截圖粘貼至客戶端桌面【Release\任務(wù)A提服務(wù)端登錄地址詳見各任務(wù)服務(wù)端說明。sku_info、base_province、base_region、order_info、order_detate_time作為增量字段(即MySQL中每條數(shù)據(jù)取這兩個時間中較前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。使用hivecli執(zhí)行showpartitionsods.user_info命令，將結(jié)果截圖表sku_info。根據(jù)ods.sku_in段，只將新增的數(shù)據(jù)抽入，字段名稱、類型不變，同時添加靜態(tài)的前一天日期（分區(qū)字段格式為yyyyMMdd）。使用hivecli執(zhí)增量字段，只將新增的數(shù)據(jù)抽入，字段名稱、類型不變并添加字_region命令，將結(jié)果截圖粘貼至客戶端桌面【Release\任務(wù)Breate_time作為增量字段(即MySQL中每條數(shù)據(jù)取這兩個時間中當前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。使用he作為增量字段，只將新增的數(shù)據(jù)抽入，字段名稱、類型不變，為當前比賽日的前一天日期（分區(qū)字段格式為yyyyMMdd）。使用hivecli執(zhí)行showpartitionsods.order_detail命令，將結(jié)日，則在時分秒的位置添加00:00:00，添加之后使其符），e_time填充，并添加dwd_insert_user、d則dwd_insert_time時間不變，dwd_modify_time存當前操作時），r、dwd_modify_user均填寫“user1”。若該條數(shù)據(jù)第一次進入作時間，并進行數(shù)據(jù)類型轉(zhuǎn)換。若該數(shù)據(jù)在合并修改，則dwd_insert_time時間不變，dwd_modify_time存time、etl_date，條件為最新分區(qū)的數(shù)據(jù)，id大于等于15且小于等于20，并且按照id升序排序，將結(jié)果截圖粘貼至客戶端桌），s庫的相對應(yīng)表該值相等，并添加dwd_insert_sert_user、dwd_modify_user均填寫“user1”。若該條數(shù)據(jù)第修改，則dwd_insert_time時間不變，dwd_modify_time存當前ion最新分區(qū)中，查詢該分區(qū)中數(shù)據(jù)的條數(shù)，將結(jié)果截圖粘貼至etl_date，類型為String，取yyyMMdd，同時若operate_time為空，則用create_time填充，ify_time均填寫當前操作時間，并進行數(shù)據(jù)類型轉(zhuǎn)換。使用hivecli執(zhí)行showpartitionsdwd.fact_order_detail命令，將4題任務(wù)代碼的調(diào)度。工作流要求，使用shell），度完成后的工作流截圖，將截圖粘貼至客戶端桌面【Release\任年月），訂單總數(shù)、訂單總金額、省份表主鍵均為降序排序，查詢出前5條，將SQL語句復(fù)制粘貼至客戶端桌面【R將執(zhí)行結(jié)果截圖粘貼至客戶端桌面【Release\任務(wù)B提交結(jié)果.該省平均訂所有省平均該省平均訂單金額和所有省平均訂單金額比較的任務(wù)序號下，將執(zhí)行結(jié)果截圖粘貼至客戶端桌面【Release\任日服務(wù)端登錄地址詳見各任務(wù)服務(wù)端說明。），行輸出，若與多個用戶購買的商品種類相同，則輸出結(jié)果按照用），.....……12……--------------------第一條數(shù)據(jù)前10列結(jié)果展示為：-----------1.0,0.892346,1.7256同商品種類最多的前10位用戶id（只考慮他倆購買過多少種相），用戶6708已購買的商品數(shù)據(jù)集中商品的余弦相似度累加再求均------------------------推薦Top5結(jié)果如下------------------------服務(wù)端登錄地址詳見各任務(wù)服務(wù)端說明。），），備份到HDFS目錄/user/test/flumebac下的第一個文件的前2條數(shù)據(jù)的命令與結(jié)果截key方式獲取totalprice值，將結(jié)果截圖粘貼至客戶端桌面【R查詢列id、consignee、consignee_tel、final_total_數(shù)據(jù)接口地址及接口描述詳見各任務(wù)服務(wù)端說明。并粘貼至客戶端桌面【Release\任務(wù)E提交結(jié)果.docx】中對應(yīng)的任并粘貼至客戶端桌面【Release\任務(wù)E提交結(jié)果.docx】中對應(yīng)的任粘貼至客戶端桌面【Release\任務(wù)E提交結(jié)果.docx】中對應(yīng)的任務(wù)結(jié)果和瀏覽器console打印結(jié)果分別截圖并粘貼至客戶端桌面【Rel文）？分別怎么配置這些重啟策略？將內(nèi)容編寫至客戶端桌面【Rel容編寫至客戶端桌面【Release\任務(wù)F提交結(jié)果.docx】中對應(yīng)的任十一、成績評定74466在dwd、dws層進行任務(wù)調(diào)度，對數(shù)據(jù)進行相關(guān)數(shù)據(jù)指標的統(tǒng)計、計算等操作,將對推薦系統(tǒng)的數(shù)據(jù)集進行特征提取及數(shù)55集作8正確使用Vue.js框架，結(jié)合ECharts繪3正確使用Vue.js框架，結(jié)合ECharts繪3正確使用Vue.js框架，結(jié)合ECharts繪2化份正確使用Vue.js框架，結(jié)合ECharts繪3正確使用Vue.js框架，結(jié)合ECharts繪4433551無無無330%的所有參賽隊的成績進行復(fù)核；對其余成績進行抽檢復(fù)核，抽檢覆蓋率不得低于15%。如發(fā)現(xiàn)成績錯誤以書面方式及時告知裁判十二、獎項設(shè)置如出現(xiàn)參賽隊總分相同情況，按照任務(wù)分值權(quán)重順序的得分的排序。如果所有任務(wù)分值相同，則查看文檔撰寫規(guī)范、職業(yè)素十三、賽項預(yù)案（1）服務(wù)器問題預(yù)案（2）交換機問題預(yù)案參賽選手舉手示意裁判，在裁判與技術(shù)支持人員確定情況后，可），十四、競賽須知重，按照《全國職業(yè)院校技能大賽獎懲辦法》給予賽成績、通報批評等處理。其中，對于比賽過程及重大影響的，以適當方式通告參賽院?；蚱渌鶎俚刂鞴懿块T依據(jù)有關(guān)規(guī)定給予行政或紀律處分，同時（三）參賽選手須知），件，裁判員在比賽結(jié)果的規(guī)定位置做標記，并（四）工作人員須知果仍有異議，可由領(lǐng)隊向賽區(qū)仲裁委員會提