2024-2025年度安徽省職業(yè)院校技能大賽(中職組)競賽規(guī)程-大數(shù)據(jù)應用與服務(教師賽)_第1頁
2024-2025年度安徽省職業(yè)院校技能大賽(中職組)競賽規(guī)程-大數(shù)據(jù)應用與服務(教師賽)_第2頁
2024-2025年度安徽省職業(yè)院校技能大賽(中職組)競賽規(guī)程-大數(shù)據(jù)應用與服務(教師賽)_第3頁
2024-2025年度安徽省職業(yè)院校技能大賽(中職組)競賽規(guī)程-大數(shù)據(jù)應用與服務(教師賽)_第4頁
2024-2025年度安徽省職業(yè)院校技能大賽(中職組)競賽規(guī)程-大數(shù)據(jù)應用與服務(教師賽)_第5頁
已閱讀5頁,還剩40頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

安徽省職業(yè)院校技能大賽1賽項類別?每年賽口隔年賽(□奇數(shù)年/口偶數(shù)年)賽項組別(對應每個專業(yè),明確涉及的專業(yè)核心課程)71電子與7102計算機類710201計算機應用圖形圖像處理、數(shù)字媒體技術應用、網(wǎng)頁序設計基礎、信息技術設備組裝與維護。對接真實職業(yè)場景或工作情境,在校內外進行辦公自動化應用、計算機設備維護與進行崗位實習。710203軟件與常用工具軟件、計算機程序設計、數(shù)據(jù)庫應用、軟件工程基礎、圖形圖像處理、網(wǎng)頁設計與制作、工程制圖軟件應用、Web設計與測試、數(shù)據(jù)庫應用技術、信息服務企業(yè)、生產(chǎn)性實訓基地等場所進行崗位實習,積累實際工作經(jīng)驗。就業(yè)崗位包括但不限于計算機操作員、制圖員、計算機軟機軟件技術人員等。2710205大數(shù)據(jù)技術應用大數(shù)據(jù)技術應用基礎、數(shù)據(jù)庫應用與數(shù)據(jù)視化技術應用、Web前端開發(fā)技術基礎、大數(shù)據(jù)編程基礎、計算機網(wǎng)絡基礎、操作學生在校內外進行數(shù)據(jù)采集與標注、數(shù)據(jù)處理與可視化等實訓,通過項目驅動的方式,提升實踐能力和團隊協(xié)作能力。在大數(shù)據(jù)應用與服務相關企業(yè)、生產(chǎn)性實訓基地等單位進行崗位實習,深入了解大數(shù)據(jù)技術在各行業(yè)的應用,如數(shù)據(jù)分析師、大數(shù)據(jù)工程師、數(shù)據(jù)挖掘工程師等崗位,積累實際工作經(jīng)驗。核心能力(對應每個崗位(群),明確核心能力要求)戰(zhàn)略性新興產(chǎn)業(yè)-新一代信息技術大數(shù)據(jù)平臺搭建、部署與管理,Linux操作系統(tǒng)管理效果的開發(fā)計算機軟硬件操作熟練操作計算機和應用辦公軟件,常用軟件工具的使用習近平總書記強調“數(shù)字經(jīng)濟已成為驅動經(jīng)濟發(fā)展的新引擎”,而應安徽乃至全國大數(shù)據(jù)產(chǎn)業(yè)需求的高素質人才。3教師風采,提升中職院校教師的專業(yè)技能與職業(yè)素養(yǎng),弘揚工匠精神。三、參賽對象參賽選手須為職業(yè)院校教齡2年以上(含)的在職教師。抽取(Extract)、轉換(Transform)以及加載(Loading)的全流程ETL理解業(yè)務需求,根據(jù)業(yè)務邏輯抽象出實體關系模型(ER圖),定義據(jù)在邏輯層面上的完整性、一致性和可擴展性。選擇合適的索引策略、分區(qū)方案和數(shù)據(jù)分布策略,將邏輯模型落實到具體的數(shù)據(jù)庫管理系統(tǒng)二、業(yè)務場景應用與開發(fā)4利用諸如微服務架構、容器化技術、大數(shù)據(jù)分析以及人工智能(如機器學習和深度學習)等前沿技術,針對不同行業(yè)的具體業(yè)務場景,精心設計并高效實現(xiàn)定制化的應用程序及解決方案。精深把握各行業(yè)業(yè)務邏輯,巧妙嫁接各類領先技術,深度發(fā)掘數(shù)據(jù)潛力,以技術創(chuàng)新引領業(yè)務實踐,不斷催生適應市場需求、助力業(yè)務躍遷的高性能應用場景?;谀P蛻门c優(yōu)化的業(yè)務場景深化,是對前期業(yè)務場景應用與開發(fā)成果的再升級和精細化管理。以模型為核心,通過模擬仿真、訓練優(yōu)化和持續(xù)迭代的方式,讓技術更好地服務于業(yè)務,挖掘深層價值,驅動業(yè)務效能持續(xù)提升和創(chuàng)新突破。四、工作任務展示參賽選手圍繞“技能水平、職業(yè)素養(yǎng)、應用價值、團隊合作、創(chuàng)新創(chuàng)意”要素,自主進行內容設計,假定在1小時內2-4人團隊可以完成的工作任務,主要介紹技能要點、主要成果、項目創(chuàng)新等方面,介紹可以通過PPT、視頻等形式展示(不局限以上形式)。逐項說明賽項模塊、比賽時長及分值配比:比例數(shù)據(jù)建模與應用系統(tǒng)評分系統(tǒng)評分系統(tǒng)評分100分5本賽項為個人賽。組隊方式1.競賽以院校為單位組隊參賽2.各參賽隊競賽使用臺位在比賽當天抽簽確定。(三)報名資格參賽選手須為職業(yè)院校教齡2年以上(含)的在職教師。競賽日程規(guī)劃比賽限定在1天內進行,比賽場次為1場,競賽時間為3小時,具體時間內容賽前一天報到(全天)參賽隊報到參賽報到賽中競賽當天上午正式競賽抽簽入場下半正式競賽檢錄入場賽后閉幕式61、參賽隊伍(選手)使用報到時抽簽的賽位號,入場時依據(jù)賽位號(賽位號由1位字母和2位數(shù)字組成)進行檢錄、查詢賽場的位置,2、參賽選手須提前15分鐘入場,入場必須佩戴參賽證并出示身份證等證件。不得私自攜帶任何軟硬件工具(各種便攜式電腦、各種移動存儲設備等)、技術資源、通信工具。按賽位號入座,檢查比賽所需競始后,各參賽隊伍(選手)通過賽位號找到比賽位,進行競賽,按照競長確認后,在工作人員的幫助下進行處理。(注:競賽過程中如果出現(xiàn)時間酌情增補);如非設備自身故障,則不予考慮,并扣除該部分功能分。競賽結束(或提前完成)后,參賽隊要確認成功提交競賽要求的文件,裁判員簽字確認,參賽隊在確認后不得再進行任何操作。74、本次大賽參賽作品的知識產(chǎn)權歸參賽團隊所有,大賽組委會有權將參賽作品、作品相關、參賽團隊信息用于宣傳品、相關出版物、指定及授權媒體發(fā)布、官方網(wǎng)站瀏覽及下載、展覽。(一)技術規(guī)范本賽項以專業(yè)技術標準、行業(yè)技能標準、軟件開發(fā)標準為準則:專業(yè)技術標準12計算機軟件開發(fā)規(guī)范345關系數(shù)據(jù)管理系統(tǒng)技術要求大數(shù)據(jù)相關標準123456788軟件開發(fā)標準123軟件維護指南4(二)設備使用與操作規(guī)范1.計算機電源應保持良好,插座不得松動,發(fā)現(xiàn)有漏電現(xiàn)象應立即2.開機前應檢查有無異常情況。3.開機前先接電源、開外設,最后開主機。4.不能帶電插拔外設及主機。5.如發(fā)現(xiàn)計算機有不正?,F(xiàn)象時應立即停止操作,請裁判員檢查后6.做好數(shù)據(jù)資料的保密工作。(三)操控人員應具備的專業(yè)知識操控人員應具備數(shù)據(jù)采集與處理、數(shù)據(jù)分析與可視化、數(shù)據(jù)標注、大數(shù)據(jù)業(yè)務分析方法和方案架構、運行維護數(shù)據(jù)庫系統(tǒng)等專業(yè)知識。(四)操控人員應具備的技術技能操控人員應具備分析系統(tǒng)數(shù)據(jù)來源、分析數(shù)據(jù)應用需求、設計數(shù)據(jù)資源整合解決方案、數(shù)據(jù)可視化、運行維護數(shù)據(jù)庫系統(tǒng)、數(shù)據(jù)和信息處理等技術技能。(一)競賽環(huán)境9支持區(qū)、服務保障區(qū)、加密裁判封閉區(qū)、配件倉庫、保密室等。2.選手休息區(qū):選手檢錄前及競賽離場休息、指導教師休息區(qū)域。3.競賽區(qū):每個參賽隊伍的比賽占地面積平均不少于9平方米。每照度大于500lux。賽項賽場整體平面布局如圖所示。(1)整個比賽場地應保持通暢和開放,并配備防火防爆及其他安(2)賽場周邊設有衛(wèi)生間、維修服務、醫(yī)療、生活補給站等公共(3)設立賽場開放區(qū)和安全通道,賽場走廊安裝玻璃墻,透明、(4)場地配套提供穩(wěn)定的水、電、氣源和供電應急設備,并有保安、公安、消防、設備維修和電力搶險人員待命,以防突發(fā)事件。(5)學生組、教師組技能競賽在多工位進行。(6)場內設施及布局。6.服務保障服務區(qū):提供醫(yī)療等服務保障,以及競賽期間備餐點,當?shù)蒯t(yī)療機構要選派2名醫(yī)務人員到賽場醫(yī)療點值班,處理比賽中突8.配件倉庫區(qū):賽場所有實操易損配件(鍵盤、鼠標、網(wǎng)線等)、文具備貨點,備件數(shù)量應達到賽場所需配件10%,配件倉庫嚴禁外人進(二)技術平臺(1)硬件平臺11臺/每5支隊伍1.CPU:不少于2路20核心,40線程,主頻不低于2.0GHz;2.內存:不少于256GB;3.硬盤:不少于1TBNVMESSD;4.網(wǎng)卡:至少雙千兆網(wǎng)口;23臺/每支隊伍1.CPU:i5及以上;2.內存:不少于16GB;3.硬盤:不少于500GBSSD;4.顯示器:1920*1080及以上;3交換機1臺/每10臺服務器(2)軟件系統(tǒng)軟件類別件提示操作環(huán)境、得分分值、總分值等信息;1持密碼隱藏、復制的功能;3.選手端實操賽題支持自主檢測功能,系統(tǒng)內條件匹配,系統(tǒng)自動對比正確性,評判出相應的分數(shù);查命令執(zhí)行結果不包含某個關鍵詞、判斷文件詞、判斷文件是否存在關鍵字等;態(tài)勢圖、步驟完成度、得分排行榜等模塊;6.支持實時展示每個賽題、每個考核點的詳細7.支持記錄每支隊伍的每道賽題、每個得分點的答題日志,支持記錄答題時間、答題次數(shù);2大數(shù)據(jù)集群操套13件Hadoop2.7.7以上套14套15ZooKeeper3.4.14以上套16套17套18套19套1套1Kafka2.1以上套1套1套1套1套1套1關系型數(shù)據(jù)庫MySQL5.7及以上套1開發(fā)語言套1套1套1套1開發(fā)庫套1套1套1套1ECharts5.1以上套1套1套1套1套1套1開發(fā)工具套1套1套1套1數(shù)據(jù)庫工具套1套1Xshell或MobaXterm或系統(tǒng)自帶終端工具套1套1套1套1套1(一)比賽環(huán)境發(fā)現(xiàn)可能出現(xiàn)的問題。承辦單位賽前須按照執(zhí)委會要求排2.賽場周圍要設立警戒線,防止無關人員進入發(fā)生意外事件。比賽現(xiàn)場內應參照相關職業(yè)崗位的要求為選手提供必要的勞動保護。在具有危險性的操作環(huán)節(jié),裁判員要嚴防選手出現(xiàn)錯誤操作。(二)生活條件比賽期間,原則上由執(zhí)委會統(tǒng)一安排參賽選手和指導教師食宿。承辦單位須尊重少數(shù)民族的信仰及文化習俗,根據(jù)國家相關的民族政策,安排好少數(shù)民族選手和教師的飲食起居。(三)組隊責任1.各學校組織代表隊時,須安排為參賽選手購買大賽期間的人身意外傷害保險。2.各學校代表隊組成后,須制定相關管理制度,并對所有選手、指導教師進行安全教育。(四)應急處理比賽期間發(fā)生意外事故,發(fā)現(xiàn)者應第一時間報告賽項執(zhí)委會,同時采取措施避免事態(tài)擴大。執(zhí)委會應立即啟動預案予以解決并報告組委會。賽項出現(xiàn)重大安全問題可以停賽,是否停賽由賽項執(zhí)委會決定。事后,執(zhí)委會應向組委會報告詳細情況。(一)評分標準制定原則競賽評分制定嚴格遵守公平、公正的原則,大數(shù)據(jù)應用與服務賽項評分采用賽項結果評分方法,始終貫徹落實競賽一貫堅持的公平、公正和公開原則。1.參與競賽成績管理的組織機構包括裁判組、監(jiān)督仲裁組等,裁判組實行“裁判長負責制”。2.裁判評分方法,根據(jù)評分標準,各項目評分裁判根據(jù)選手操作過程和操作結果進行評分,獨立評分。在裁判員的評分中,取兩個評分裁判平均分作為選手技能得分。4.成績審核方法為各裁判員首先審核自身對選手的原始打分成績,并簽名,裁判長對所有裁判員的打分成績進行審核,并簽名,再由監(jiān)(二)評分方法閱卷并評分;結果評分的任務,將完成結果拷貝至U盤中,由參賽選手隊長簽字確認(簽工位號)。評分采取分步得分、累計總分的計分裁判長按照規(guī)定扣減相應分數(shù)并且給予警告,情節(jié)嚴重的取消競賽資格,競賽成績記0分,隊員退出比賽現(xiàn)場。(三)評分細則數(shù)據(jù)建模與應用大規(guī)模數(shù)據(jù)獲取與存儲數(shù)據(jù)清洗與預處理技術業(yè)務場景應用與數(shù)據(jù)分析技術應用自然語言處理技術工作任務展示1.熟練掌握本專業(yè)或工作崗位的技能。2.技能操作規(guī)范,符合行業(yè)和崗位標準。3.具備較高的技能操作水平及解決復雜問題的綜合能力。2.展現(xiàn)學校對學生全面培養(yǎng)、基本素養(yǎng)培育和成長3.展現(xiàn)職業(yè)教育育人成果,體現(xiàn)產(chǎn)教融合、科教融4.具備良好的職業(yè)道德、職業(yè)精神、職業(yè)素養(yǎng)。21.有助于解決生產(chǎn)一線實際問題或現(xiàn)實困難。2.能夠促進職業(yè)學校學生高質量就業(yè),包括直接、間接推動擴大就業(yè)規(guī)模等。善人民生活、提升人民生活質量。2團隊合作1.團隊成員能夠準確理解共同目標和任務,清楚自2.團隊成員在比賽中能夠有效溝通、緊密協(xié)作。3.團隊成員能夠相互補臺,共同應對突發(fā)情況。4.團隊成員相互尊重、信任和支持,擁有良好的團2創(chuàng)新創(chuàng)意1.體現(xiàn)原始創(chuàng)意、創(chuàng)新。2.體現(xiàn)面向職業(yè)和崗位的創(chuàng)意及創(chuàng)新,側重于工作3.體現(xiàn)團隊成員創(chuàng)新精神和創(chuàng)新能力2本賽項獎項設單人獎。設獎比例為:以賽項實際參賽選手總數(shù)為基數(shù),一、二、三等獎獲獎比例分別為10%、20%、30%(小數(shù)點后四舍五如出現(xiàn)參賽選手總分相同情況,依序按照模塊二、模塊一、模塊三得分高低進行排名,在前序模塊得分相同的情況下,按照后續(xù)模塊得分排名。如果所有任務分值相同,則查看文檔撰寫規(guī)范、職業(yè)素養(yǎng)的分值進行排序。1.競賽軟硬件環(huán)境和電腦在比賽前進行壓力測試,驗證功能正常。競賽現(xiàn)場準備有2-4套完整的競賽平臺設備用于備份。每組配備一臺備用PC機保證在出現(xiàn)非選手原因的損壞時,經(jīng)現(xiàn)場裁判認定,裁判長確認后,由賽場技術支持人員予以及時更換。2.競賽過程中出現(xiàn)設備掉電、故障等意外時,現(xiàn)場裁判需及時確認情況,安排賽場技術支持人員進行處理,現(xiàn)場裁判登記詳細情況,填寫補時登記表,報裁判長批準后,可安排延長補足相應選手的比賽時間。3.本賽項競賽過程中各個競賽工位為獨立供電且各個參賽隊均采用獨立網(wǎng)絡進行競賽,如在競賽時某參賽隊出現(xiàn)意外境況不會影響其它隊伍正常比賽。4.競賽平臺采用分布式高可用型部署方式,所有平臺關鍵組件均有至少三套環(huán)境進行支撐,且整套平臺采用異地災備模式,在主競賽平臺所在區(qū)域外(承辦院校內),設置異地災備模式的從競賽平臺,主從競賽平臺間實現(xiàn)設備、數(shù)據(jù)、應用組件間的實時同步。5.競賽平臺數(shù)據(jù)庫采用分布式高可用型部署方式,數(shù)據(jù)均保存三個備份,三個備份實時進行同步,從而保障競賽數(shù)據(jù)、選手答題過程、競賽成績等內容的數(shù)據(jù)安全。所有區(qū)域間均采用雙網(wǎng)絡鏈路設計,實現(xiàn)網(wǎng)絡的高可用性。(一)參賽隊須知1.參賽隊名稱統(tǒng)一使用規(guī)定的代表隊名稱。2.參賽隊員在報名獲得審核確認后,原則上不再更換,如籌備過程中,選手因故不能參賽,所在學校需出具書面說明并按相關規(guī)定補充人員并接受審核;開賽前10日以內,參賽隊不得更換參賽隊員,允許缺3.參賽隊按照大賽賽程安排憑大賽組委會頒發(fā)的參賽證和有效身份證件參加比賽及相關活動。4.參賽隊統(tǒng)一安排參加比賽前熟悉場地環(huán)境的活動。5.各參賽隊準時參加賽前領隊會,領隊會上舉行抽簽儀式抽取場次6.各參賽隊要注意飲食衛(wèi)生,防止食物中毒。7.各參賽隊要發(fā)揚良好道德風尚,聽從指揮,服從裁判,不弄虛作假。(二)參賽選手須知1.參賽選手應遵守比賽規(guī)則,尊重裁判和賽場工作人員,自覺遵守賽場秩序,服從裁判的管理。2.參賽選手應佩戴參賽證,帶齊身份證、注冊的學生證。在賽場的著裝,應符合職業(yè)要求。在賽場的表現(xiàn),應體現(xiàn)自己良好的職業(yè)習慣和職業(yè)素養(yǎng)。3.進入賽場前須將手機等通訊工具交賽場相關人員保管,不能帶入賽場。未經(jīng)檢驗的工具、電子儲存器件和其他不允許帶入賽場物品,一律不能進入賽場。4.比賽過程中不準互相交談,不得大聲喧嘩;不得有影響其他選手比賽的行為,不準有旁窺、夾帶等作弊行為。5.參賽選手在比賽的過程中,應遵守安全操作規(guī)程,文明的操作。通電調試設備時,應經(jīng)現(xiàn)場裁判許可,在技術人員監(jiān)護下進行。6.比賽過程中需要去洗手間,應報告現(xiàn)場裁判,由裁判或賽場工作人員陪同離開賽場。7.完成比賽任務后,需要在比賽結束前離開賽場,需向現(xiàn)場裁判示意,在賽場記錄上填寫離場時間并簽工位號確認后,方可離開賽場到指定區(qū)域等候評分,離開賽場后不可再次進入。未完成比賽任務,因病或其他原因需要終止比賽離開賽場,需經(jīng)裁判長同意,在賽場記錄表的相應欄目填寫離場原因、離場時間并簽工位號確認后,方可離開;離開后,不能再次進入賽場。8.裁判長發(fā)出停止比賽的指令,選手(包括需要補時的選手)應立即停止操作進入通道,在現(xiàn)場裁判的指揮下離開賽場到達指定的區(qū)域等候評分。需要補時的選手在離場后,由現(xiàn)場裁判召喚進場補時或比賽結束后自然延時補時。9.賽場工作人員叫到工位號、在等待評分的選手,應迅速進入賽場,與評分裁判一道完成比賽成績評定。在評分過程中,選手應配合評分裁判,按要求進行設備的操作;可與裁判溝通,解釋設備運行中的問題;不可與裁判爭辯、爭分,影響評分。10.遇突發(fā)事件,立即報告裁判和賽場工作人員,按賽場裁判和工作人員的指令行動。(三)工作人員須知場地。如需進場,需經(jīng)過裁判長同意,核準證件,有裁判跟隨入場。通報批評或停止工作,并通知其所在單位做出相應處理。和工作人員公示,確保信息暢通并同時接受大眾監(jiān)督。3.申訴啟動時,由參賽隊領隊向賽項仲裁工作組遞交親筆簽字同4.提出申訴應在賽項比賽結束后2小時內提出。超過2小時不予受5.賽項仲裁組在接到申訴報告后的2小時內組織復議,并及時將復向大賽仲裁工作組提出申訴。大賽仲裁工作組的仲裁結6.申訴方不得以任何理由拒絕接收仲裁結果;不得以任何理由采取過激行為擾亂賽場秩序。仲裁結果由申訴人簽收,不能代收;如在約定時間和地點申訴人離開,視為自行放棄申訴。7.申訴方可隨時提出放棄申訴。1.賽程安排注重觀賞性與開放性。為了進一步增強職業(yè)教育吸引力,宣傳職業(yè)教育的地位和作用,展示職業(yè)教育發(fā)展成果,形成全社會關心、重視和支持職業(yè)教育的良好氛圍,提高職業(yè)院校技能大賽的觀賞性,本賽項為業(yè)內提供了觀摩體驗場所。2.通過休息室大屏幕的直播觀摩比賽現(xiàn)場全過程。觀摩人員需遵守場地規(guī)則,服從工作人員管理。當觀摩人數(shù)超出賽場容量時,賽項執(zhí)委會將根據(jù)現(xiàn)場情況控制觀摩人員進入賽場。1.賽場內部署無盲點錄像設備,能實時錄制并播送賽場情況,本賽項競賽時采用全過程錄像;賽場外指導教師休息區(qū)有大屏幕或投影,同步顯示賽場內競賽狀況;2.在不影響比賽的前提下,全過程、全方位安排現(xiàn)場直播,并設直播觀摩區(qū),讓所有參賽教師和社會人員等觀看比賽。賽后邀請媒體采訪優(yōu)秀選手、裁判專家或企業(yè)人士,突出賽項的技能重點與優(yōu)勢特色,為大賽宣傳、資源轉化提供全面的信息資料。視頻資料也作為競賽成果提交賽項執(zhí)委會,作為競賽歷史材料供后續(xù)賽項提高進行參考,競賽過程可作為教學資料進行資源轉換,促進相關專業(yè)教學發(fā)展。大數(shù)據(jù)應用與服務資源轉化工作由賽項執(zhí)委會負責,依照有關要求,通過多手段、全方位對賽項資源優(yōu)秀成果進行轉換,賽后三個月內完成資源轉化工作,并向大賽執(zhí)委會辦公室提交大賽成果資源轉化方案如下表,三個月內完成資源轉化工作。資源項資源項賽項宣傳片介紹大賽主題、目采15分鐘視頻賽后1個月1.承辦校比賽當天全程攝2.承辦校拍攝教師休息區(qū)展示片習、備賽、參賽、獲獎等環(huán)節(jié)的感受10分鐘視頻賽后2個月拍攝大賽一等獎參賽隊2.賽項執(zhí)委會通知各個參賽隊留存日常訓練視頻,比賽當天提供給承辦單位用推廣訓練大綱程要點形成集訓賽后3個月模塊一:數(shù)據(jù)建模與應用任務1:數(shù)據(jù)清洗與預處理壓縮等操作。子任務1:IP數(shù)據(jù)清洗與預處理壓縮等操作。(1)請編寫MapReduce程序,將原始數(shù)據(jù)中的各個字段使用制表符“\t”分隔,且處理后的數(shù)據(jù)應保證行序不變子任務2:Log數(shù)據(jù)清洗與預處理部分數(shù)據(jù)(log.txt)展示如下:HTTP/1.1"3010"-""Mozilla/5.0(compatible;MSIE2、6--[2HTTP/1.1"3010"-""Mozilla/5.0(compatible;MS3、8--[21/Aug/2017:23:59:12/shop/updateDurationVideoHTTP/1.1"200"/shop/initplayChrome/51.0.2704.106Safari(1)請編寫MapReduce程序,提取文本中的字段(2)查看“l(fā)og_processed.txt”文件的第500至505行數(shù)據(jù)任務2:數(shù)據(jù)倉庫模型建設任務說明:子任務1:基于Hive數(shù)據(jù)倉庫,針對特定問題場景完成數(shù)據(jù)統(tǒng)計分析(1)在Hadoop上,啟動Hive服務,創(chuàng)建“web”數(shù)據(jù)庫,執(zhí)行指令(2)創(chuàng)建庫表并查看輸出相應字段信息(3)導入數(shù)據(jù)到Hive表中(4)統(tǒng)計“該網(wǎng)站用戶訪問次數(shù)最多的10個頁面”(5)統(tǒng)計“該網(wǎng)站的跳轉來源類型”(6)針對“l(fā)og”數(shù)據(jù)表,統(tǒng)計該網(wǎng)站在“2017年8月22日”內,各每小時的瀏覽量(PageViews,PV)和訪客量(UniqueVisitors,(7)構建企業(yè)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論