2021高職 大數(shù)據(jù)技術(shù)與應(yīng)用 任務(wù)書9（賽項(xiàng)賽題）

2021年全國職業(yè)院校技能大賽

高職組

“大數(shù)據(jù)技術(shù)與應(yīng)用”

賽項(xiàng)賽卷（GZ-xxxxxxx-X卷）

任

務(wù)

書

參賽隊(duì)編號(hào)：

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

背景描述

企業(yè)消費(fèi)服務(wù)平臺(tái)，為大中小型企業(yè)提供基于云化的消費(fèi)場(chǎng)景一

站式智能消費(fèi)、智能管控，幫助企業(yè)獲得更高效、簡(jiǎn)單、美好的消費(fèi)

管理。從''費(fèi)控+支付”出發(fā)，到覆蓋全場(chǎng)景支出的創(chuàng)新模式，讓員工

在數(shù)字化平臺(tái)上直接完成所有消費(fèi)，從員工下單、到財(cái)務(wù)入賬，全流

程實(shí)現(xiàn)自動(dòng)化統(tǒng)一結(jié)算、統(tǒng)一數(shù)據(jù)分析。解決傳統(tǒng)差旅系統(tǒng)面臨的場(chǎng)

景覆蓋不全、員工體驗(yàn)差、消費(fèi)體驗(yàn)割裂等情況，真正做成一套讓企

業(yè)節(jié)省支出，讓員工滿意的差旅平臺(tái)。

企業(yè)消費(fèi)服務(wù)平臺(tái)的出現(xiàn)將原來傳統(tǒng)的差旅行程放到網(wǎng)絡(luò)平臺(tái)上,

更廣泛的傳遞差旅信息，互動(dòng)式的交流更方便客人的咨詢和訂購，越

來越多的人在出行的時(shí)候使用企業(yè)消費(fèi)服務(wù)平臺(tái)預(yù)訂機(jī)票、火車票、

住宿等，使得更多的商家愿意與企業(yè)消費(fèi)服務(wù)平臺(tái)建立合作，提升住

宿場(chǎng)所的營業(yè)額，這也為企業(yè)消費(fèi)服務(wù)平臺(tái)的發(fā)展帶來新的機(jī)遇，為

了抓住這個(gè)機(jī)會(huì)，“企業(yè)消費(fèi)服務(wù)平臺(tái)”需要從地域、訂單來源等多

種維度進(jìn)行分析，明確未來重點(diǎn)拓展合作商家的方向。公司要求多個(gè)

小組進(jìn)行分析，并提出相應(yīng)建議，你所在的小組也在其中，需要通過

數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)分析和數(shù)據(jù)可視化獲得相關(guān)論據(jù)，提出未

來重點(diǎn)拓展合作住宿場(chǎng)所的方向。

你們作為該小組的技術(shù)人員，是這次技術(shù)方案的核心成員，請(qǐng)按

照下面步驟完成本次技術(shù)展示任務(wù)，并提交分析報(bào)告，祝你們成功?。?！

第1頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

模塊A：Hadoop平臺(tái)及組件的部署管理（15分）

環(huán)境要求：

編號(hào)主機(jī)名類型用戶密碼

1master主節(jié)點(diǎn)rootpasswd

2slavel從節(jié)點(diǎn)rootpasswd

3slave2從節(jié)點(diǎn)rootpasswd

masterOl-1主機(jī)上MySQL數(shù)據(jù)庫用戶名密碼是root/Passwordl23$

相關(guān)軟件安裝包在/chinaskills目錄下

任務(wù)一：HadoopHA部署管理

本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，安裝Hadoop需要配置

前置環(huán)境，具體部署要求如下：

1、將/chinaskills下的JDK包解壓到/usr/local/src路徑下,將

命令復(fù)制并粘貼至對(duì)應(yīng)報(bào)告中；

2、設(shè)置JDK環(huán)境變量，并使環(huán)境變量只對(duì)當(dāng)前root用戶生效；將

環(huán)境變量配置內(nèi)容復(fù)制并粘貼至對(duì)應(yīng)報(bào)告中；

3、從master節(jié)點(diǎn)復(fù)制JDK環(huán)境變量文件到slavel、slave2節(jié)點(diǎn),

將命令和結(jié)果復(fù)制并粘貼至對(duì)應(yīng)報(bào)告中；

4、配置SSH密鑰登錄，實(shí)現(xiàn)從master登錄到slavel、slave2,將

命令和結(jié)果復(fù)制并粘貼至對(duì)應(yīng)報(bào)告中；

5、配置Zookeeper,在slave2節(jié)點(diǎn)啟動(dòng)Zookeeper,并查看

Zookeeper運(yùn)行狀態(tài)，將命令和結(jié)果復(fù)制并粘貼至對(duì)應(yīng)報(bào)告中；

6、Zookeeper.HadoopHA配置完畢后，在master、slavel節(jié)點(diǎn)啟

第2頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

動(dòng)Hadoop,并查看服務(wù)進(jìn)程狀態(tài)，并將結(jié)果復(fù)制并粘貼至對(duì)應(yīng)

報(bào)告中。

任務(wù)二：Hive組件部署管理

本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，已安裝Hadoop及需要

配置前置環(huán)境，具體部署要求如下：

1、解壓Hive安裝包到“/usr/local/src”路徑，并使用相關(guān)命

令，修改解壓后文件夾名為Hive,進(jìn)入Hive文件夾，并將查看

內(nèi)容復(fù)制并粘貼至對(duì)應(yīng)報(bào)告中；

2、設(shè)置Hive環(huán)境變量，并使環(huán)境變量只對(duì)當(dāng)前用戶生效，將命令和

內(nèi)容復(fù)制并粘貼至對(duì)應(yīng)報(bào)告中

3、新建并配置hive-site.xml文件，實(shí)現(xiàn)“Hive元存儲(chǔ)”的存儲(chǔ)

位置為MySQL數(shù)據(jù)庫，并將hive-site,xml配置文件內(nèi)容復(fù)制粘

貼至對(duì)應(yīng)報(bào)告中；

4、初始化Hive元數(shù)據(jù)（將MySQL數(shù)據(jù)庫JDBC驅(qū)動(dòng)拷貝到Hive安

裝目錄的lib下），并將初始化結(jié)果復(fù)制并粘貼至對(duì)應(yīng)報(bào)告中；

5、啟動(dòng)Hive,檢查是否安裝成功，并將結(jié)果復(fù)制并粘貼至對(duì)應(yīng)報(bào)

告中。

任務(wù)三、Kafka組件部署管理

本環(huán)節(jié)需要使用root用戶完成相關(guān)配置，已安裝Hadoop及需要

配置前置環(huán)境，具體部署要求如下：

第3頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

1、配置Zookeeper集群，在master、slavel節(jié)點(diǎn)啟動(dòng)

Zookeeper,查看Zookeeper狀態(tài)，并將命令和Zookeeper運(yùn)行

狀態(tài)結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中；

2、修改Kafkaserver.properties文件，并將修改的內(nèi)容復(fù)制粘貼

至對(duì)應(yīng)報(bào)告中；

3、啟動(dòng)Kafka,并將Kafka啟動(dòng)命令和輸出結(jié)果前10行復(fù)制粘貼

至報(bào)告中。

第4頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

模塊B：數(shù)據(jù)采集與處理（20分）

1、網(wǎng)站解析，利用Chrome查看網(wǎng)頁源碼，分析企業(yè)消費(fèi)平臺(tái)網(wǎng)站

網(wǎng)頁結(jié)構(gòu)。

1）打開企業(yè)消費(fèi)平臺(tái)網(wǎng)站，在網(wǎng)頁中右鍵點(diǎn)擊檢查，或者F12快

捷鍵，查看元素頁面；

2）檢查網(wǎng)站：瀏覽網(wǎng)站源碼查看所需內(nèi)容。

2、從企業(yè)消費(fèi)平臺(tái)網(wǎng)站中爬取需要數(shù)據(jù)，按照要求使用Python語

言編寫爬蟲代碼，爬取指定數(shù)據(jù)項(xiàng)，并對(duì)結(jié)果數(shù)據(jù)集進(jìn)行數(shù)據(jù)探

索、以及必要的數(shù)據(jù)處理操作。請(qǐng)將符合題目要求的代碼答案復(fù)

制粘貼至對(duì)應(yīng)報(bào)告中。

具體步驟如下：

1）創(chuàng)建爬蟲項(xiàng)目

2）構(gòu)建爬蟲請(qǐng)求

3）按要求定義相關(guān)字段

4）獲取有效數(shù)據(jù)

5）將爬取到的數(shù)據(jù)保存到指定位置

至此已從企業(yè)消費(fèi)平臺(tái)網(wǎng)站中爬取了所需數(shù)據(jù)，下一步我們要將

爬取結(jié)果進(jìn)一步進(jìn)行相關(guān)數(shù)據(jù)操作。

詳細(xì)數(shù)據(jù)描述：

1）請(qǐng)創(chuàng)建Scrapy項(xiàng)目chinaskills_accommodation（C：\

chinaskills_accommodation）,從網(wǎng)站（網(wǎng)站地址在競(jìng)賽平

臺(tái)模塊B中給出）中爬取頁面相關(guān)字段（包括name,seq,業(yè)

第5頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

務(wù)部門，住宿場(chǎng)所星級(jí)，住宿場(chǎng)所直銷實(shí)住訂單，住宿場(chǎng)所

直銷實(shí)住間夜，住宿場(chǎng)所直銷拒單，住宿場(chǎng)所直銷拒單率，

住宿場(chǎng)所直銷訂單，住宿場(chǎng)所直銷間夜，住宿場(chǎng)所評(píng)分）；將

抓取結(jié)果保存為json格式文件，并命名為

accommodations.jsono每條信息請(qǐng)以Key：Value格式單獨(dú)保

存為一行數(shù)據(jù)。

例如：

{“name"："***”，"seq"："***"，…….）

任務(wù)中要求將“以下內(nèi)容及答案完整復(fù)制粘貼至對(duì)應(yīng)報(bào)告中”,

粘貼到對(duì)應(yīng)報(bào)告中的內(nèi)容舉例如下：

“中國”網(wǎng)頁源碼對(duì)應(yīng)字段為：Country

“四川”網(wǎng)頁源碼對(duì)應(yīng)字段為：Province

2）爬取數(shù)據(jù)量不少于28萬條。

具體任務(wù)要求：

任務(wù)一：網(wǎng)頁源碼對(duì)應(yīng)字段

使用Chrome瀏覽器，查找網(wǎng)站異步請(qǐng)求的數(shù)據(jù)，并將以下內(nèi)容

及答案完整復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

“住宿場(chǎng)所直銷拒單率”網(wǎng)頁源碼對(duì)應(yīng)字段為：

“住宿場(chǎng)所直銷訂單”網(wǎng)頁源碼對(duì)應(yīng)字段為：

“住宿場(chǎng)所直銷間夜”網(wǎng)頁源碼對(duì)應(yīng)字段為：

“評(píng)分”網(wǎng)頁源碼對(duì)應(yīng)字段為：

第6頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

任務(wù)二、自行創(chuàng)建Scrapy工程

自行創(chuàng)建Scrapy工程編寫爬蟲代碼，爬取"name、seq、業(yè)務(wù)部

門有效數(shù)據(jù)項(xiàng)包括：業(yè)務(wù)部門，住宿場(chǎng)所星級(jí)，住宿場(chǎng)所直銷實(shí)住訂

單，住宿場(chǎng)所直銷實(shí)住間夜，住宿場(chǎng)所直銷拒單，住宿場(chǎng)所直銷拒

單率，住宿場(chǎng)所直銷訂單，住宿場(chǎng)所直銷間夜，住宿場(chǎng)所評(píng)分“頁

面相關(guān)數(shù)據(jù)，通過爬蟲代碼分頁爬取，以合理的程序邏輯判斷相關(guān)數(shù)

據(jù)包含的頁數(shù)并將程序代碼復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

任務(wù)三：在MySQL中創(chuàng)建數(shù)據(jù)庫表

根據(jù)爬取字段，在MySQL中創(chuàng)建crawl數(shù)據(jù)庫，在該數(shù)據(jù)庫中創(chuàng)

建accommodations1.表（包含name,seq,業(yè)務(wù)部門，住宿場(chǎng)所星級(jí)，

住宿場(chǎng)所直銷實(shí)住訂單，住宿場(chǎng)所直銷實(shí)住間夜，住宿場(chǎng)所直銷拒

單），創(chuàng)建accommodations2表（包含name,seq,業(yè)務(wù)部門，住宿

場(chǎng)所直銷拒單率，住宿場(chǎng)所直銷訂單，住宿場(chǎng)所直銷間夜，住宿場(chǎng)

所評(píng)分），將爬取數(shù)據(jù)寫入相應(yīng)數(shù)據(jù)表中，并分別統(tǒng)計(jì)

accommodations!表和accommodations2表的總行數(shù)，將統(tǒng)計(jì)結(jié)果復(fù)

制粘貼至對(duì)應(yīng)報(bào)告中。

任務(wù)四：對(duì)數(shù)據(jù)庫表排序

爬蟲程序運(yùn)行結(jié)束后查看MySQL數(shù)據(jù)庫acommodations2表，按

seq字段倒序排序，返回前100行數(shù)據(jù)，將命令與查看結(jié)果復(fù)制粘貼

至對(duì)應(yīng)報(bào)告中。

第7頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

任務(wù)五：對(duì)數(shù)據(jù)表填充處理

請(qǐng)根據(jù)步驟3中accommodations!表中的數(shù)據(jù)，對(duì)數(shù)據(jù)集中“房

間價(jià)格”字段的缺失值，使用平均值進(jìn)行填充。查看填充后的數(shù)據(jù)集

前15條記錄，將查看結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

任務(wù)六：對(duì)數(shù)據(jù)表刪除處理

請(qǐng)根據(jù)步驟3中accommodations2表中的數(shù)據(jù)，對(duì)數(shù)據(jù)集中存在

空值的記錄進(jìn)行刪除。查看刪除后的數(shù)據(jù)集條數(shù)，將查看結(jié)果復(fù)制粘

貼至對(duì)應(yīng)報(bào)告中。

accommodations?表刪除后條數(shù)為：

第8頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

模塊C：數(shù)據(jù)清洗與挖掘分析（25分）

現(xiàn)已從相關(guān)網(wǎng)站及平臺(tái)獲取到原始數(shù)據(jù)集，為保障用戶隱私和行

業(yè)敏感信息，已進(jìn)行數(shù)據(jù)脫敏。數(shù)據(jù)脫敏是指對(duì)某些敏感信息通過

脫敏規(guī)則進(jìn)行數(shù)據(jù)的變形，實(shí)現(xiàn)敏感隱私數(shù)據(jù)的可靠保護(hù)。在涉及

客戶安全數(shù)據(jù)或者一些商業(yè)性敏感數(shù)據(jù)的情況、不違反系統(tǒng)規(guī)則條

件下，對(duì)真實(shí)數(shù)據(jù)進(jìn)行改造并提供測(cè)試使用，如身份證號(hào)、手機(jī)號(hào)

等個(gè)人信息都需要進(jìn)行數(shù)據(jù)脫敏。

相關(guān)數(shù)據(jù)文件中已經(jīng)包含了數(shù)據(jù)采集階段從企業(yè)消費(fèi)平臺(tái)網(wǎng)站上

爬取的數(shù)據(jù)集，其中包含了來自不同城市的多家住宿場(chǎng)所的銷售信

息，你的小組需要通過編寫代碼或腳本完成對(duì)相關(guān)數(shù)據(jù)文件中住宿

場(chǎng)所銷售管理數(shù)據(jù)的清洗和整理，并完成數(shù)據(jù)計(jì)算和分析任務(wù)。綜

合利用MapReduce、Spark,Storm分布式存儲(chǔ)系統(tǒng)、數(shù)據(jù)倉庫

Hive、數(shù)據(jù)推送工具等技術(shù)，使用Java、Python、Scala等開發(fā)語

言，完成本階段數(shù)據(jù)清洗、處理、分析及數(shù)據(jù)挖掘等任務(wù)。通過多

個(gè)維度分析住宿場(chǎng)所的銷售信息，并以此評(píng)價(jià)住宿場(chǎng)所銷售業(yè)績、

區(qū)域的商旅住宿接納能力、接納質(zhì)量等指標(biāo)。

初始數(shù)據(jù)集來自多個(gè)網(wǎng)站及平臺(tái)系統(tǒng)，且為多次采集匯總結(jié)果，

因此數(shù)據(jù)集中不可避免地存在一些臟數(shù)據(jù)，即源數(shù)據(jù)不在給定的范

圍內(nèi)或?qū)τ趯?shí)際業(yè)務(wù)毫無意義，或是數(shù)據(jù)格式非法，以及在源系統(tǒng)

中存在不規(guī)范的編碼和含糊的業(yè)務(wù)邏輯。

請(qǐng)分析相關(guān)數(shù)據(jù)集，根據(jù)題目規(guī)定要求實(shí)現(xiàn)數(shù)據(jù)清洗及分析。

第9頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

任務(wù)一、數(shù)據(jù)清洗

住宿場(chǎng)所銷售數(shù)據(jù)涉及到多個(gè)平臺(tái)及數(shù)據(jù)庫對(duì)接，個(gè)別信息由于

人為操作失誤或計(jì)算機(jī)故障等原因產(chǎn)生了數(shù)據(jù)缺失值。缺失值是一

種常見的臟數(shù)據(jù)情況，由于粗糙數(shù)據(jù)中缺少信息而造成的數(shù)據(jù)缺失

或截?cái)唷，F(xiàn)有數(shù)據(jù)集中某個(gè)或某些屬性的值是不完全的。對(duì)于缺失

值的處理，從總體上來說分為缺失值刪除和缺失值插補(bǔ)。當(dāng)缺失值

過多時(shí)，信息條目本身的價(jià)值也會(huì)隨之降低，此時(shí)需要對(duì)缺失值進(jìn)

行人為干預(yù)。結(jié)合行業(yè)數(shù)據(jù)本身特點(diǎn)及上述考慮，請(qǐng)你根據(jù)題目具

體要求實(shí)現(xiàn)以下功能：將缺失值大于n個(gè)的數(shù)據(jù)條目從原始數(shù)據(jù)集

中剔除，并輸出剔除的條目數(shù)量。

詳細(xì)描述：

數(shù)據(jù)源文件存放路徑為/chinaski11s/accommodationdata,csv,

請(qǐng)編寫MapReduce程序，按照如下要求實(shí)現(xiàn)對(duì)數(shù)據(jù)的清洗，并將結(jié)果

輸出至HDFS文件系統(tǒng)中/accommodationoutput1：

1）解析該文件；

2）按照題目要求剔除缺失數(shù)據(jù)信息大于n（n=3）的數(shù)據(jù)記錄，

并以打印語句輸出刪除條目數(shù)；

3）程序打包并在Hadoop平臺(tái)運(yùn)行，結(jié)果輸出至HDFS文件系統(tǒng)

中/accommodationoutput1。

具體任務(wù)要求：

1、將accommodationdata.csv文件上傳至HDFS新建目錄/file3_l

中；運(yùn)行代碼，刪除數(shù)據(jù)源中缺失值大于3個(gè)字段的數(shù)據(jù)，打印

第10頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

輸出刪除條目數(shù)，將運(yùn)行結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中；

2、查看清洗后輸出的結(jié)果文件總行數(shù)（/accommodationoutput1）,

將運(yùn)行結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

原始數(shù)據(jù)集來自于多個(gè)平臺(tái)及網(wǎng)站，且為多次采集匯總，因此數(shù)

據(jù)集中的某些字段有可能會(huì)出現(xiàn)一些重復(fù)或非法格式，例如多次采

集過程中產(chǎn)生的重復(fù)信息，或來自于某網(wǎng)站的不合規(guī)數(shù)據(jù)。這些信

息的存在既無實(shí)際的業(yè)務(wù)分析意義，甚至還會(huì)影響最終分析結(jié)果。

請(qǐng)根據(jù)題目具體參數(shù)要求處理不合規(guī)數(shù)據(jù)，截圖并保存結(jié)果。

詳細(xì)描述：

請(qǐng)以上述1、（題目數(shù)字編號(hào)）任務(wù)結(jié)果數(shù)據(jù)集作為輸入數(shù)據(jù)源

/accommodationsparktask1,編寫Spark程序，按照如下要求實(shí)現(xiàn)對(duì)

數(shù)據(jù)的清洗，并將結(jié)果輸出至HDFS文件系統(tǒng)中/

accommodationsparktask3o

1）解析/accommodationsparktaskl中的文件；

2）剔除數(shù)據(jù)集中評(píng)分和星級(jí)字段的非法數(shù)據(jù)，合法數(shù)據(jù)是評(píng)分［0,

5］的實(shí)數(shù)，星級(jí)是指星級(jí)字段內(nèi)容中包含NULL、二星、三星、

四星、五星的數(shù)據(jù)；

3）剔除數(shù)據(jù)集中的重復(fù)數(shù)據(jù)；

4）打印語句分別輸出刪除含有非法評(píng)分、星級(jí)以及重復(fù)的數(shù)據(jù)條

目數(shù)；

5）程序打包并在Spark上運(yùn)行，結(jié)果輸出至HDFS文件系統(tǒng)中

第11頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

/accommodationsparktask3。

具體任務(wù)要求：

3、運(yùn)行代碼，剔除數(shù)據(jù)集中評(píng)分、星級(jí)字段的非法數(shù)據(jù)和數(shù)據(jù)集中

的重復(fù)數(shù)據(jù)，并打印輸出各個(gè)字段刪除的條目數(shù)，將打印輸出結(jié)

果截圖并保存（截圖需包含打印語句輸出結(jié)果的上下各5行運(yùn)行

日志）；

4、使用Hadoopshell命令查看清洗后輸出的結(jié)果

/accommodationsparktask3總行數(shù)，將運(yùn)行結(jié)果截圖并保存。

任務(wù)二、數(shù)據(jù)挖掘分析

城市游客接納能力是城市規(guī)劃建設(shè)中的重要指標(biāo)，其中城市的住

宿場(chǎng)所數(shù)量和房間數(shù)量是城市游客接納能力的關(guān)鍵要素。請(qǐng)編寫程

序或腳本根據(jù)住宿場(chǎng)所管理網(wǎng)站中的數(shù)據(jù)統(tǒng)計(jì)各城市的相關(guān)信息，

并寫入指定的數(shù)據(jù)庫或數(shù)據(jù)文件。

詳細(xì)描述：

請(qǐng)根據(jù)數(shù)據(jù)清洗的輸出數(shù)據(jù)集，編寫HQL語句統(tǒng)計(jì)各城市的住宿

場(chǎng)所出租率，以各城市住宿場(chǎng)所出租率降序排列并輸出前10條統(tǒng)計(jì)

結(jié)果，同時(shí)創(chuàng)建并寫入數(shù)據(jù)表a_4。要求輸出字段包含：省份、城

市、住宿場(chǎng)所出租率。

數(shù)據(jù)定義如下：

數(shù)據(jù)項(xiàng)字段名備注

省份province

城市city

住宿場(chǎng)所出租率lease要求保留6位小數(shù)

第12頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

數(shù)據(jù)樣式如下:

provincecitylease

貴州貴陽0.123456

具體任務(wù)要求：

1、創(chuàng)建表table3_4,

2、統(tǒng)計(jì)各城市住宿場(chǎng)所出租率，將出租率前10的數(shù)據(jù)降序排列并

寫入數(shù)據(jù)表table3_4中，將命令復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

企業(yè)消費(fèi)平臺(tái)是住宿場(chǎng)所營銷的主要途徑之一，不僅降低銷售成

本，同時(shí)也提高了顧客體驗(yàn)滿意度。當(dāng)顧客通過企業(yè)消費(fèi)平臺(tái)進(jìn)行

住宿場(chǎng)所預(yù)訂時(shí)，住宿場(chǎng)所就擁有了用戶的相關(guān)數(shù)據(jù)。通過這些數(shù)

據(jù)，能夠更好地收集用戶需求，從而可以提供更有針對(duì)性和個(gè)性化

的服務(wù)，最終能夠產(chǎn)生更多的忠誠會(huì)員并帶來更多訂單。但企業(yè)消

費(fèi)平臺(tái)銷售也存在用戶拒單等情況，拒單原因有很多：例如，平臺(tái)

信息不同步，信息更新不及時(shí)；分銷層次過多，導(dǎo)致無法及時(shí)查證

訂單；住宿場(chǎng)所違反企業(yè)消費(fèi)規(guī)則擅自以低價(jià)讓客戶取消訂單，這

種情況又叫做“切單企業(yè)消費(fèi)平臺(tái)需要統(tǒng)計(jì)用戶訂單的分布情

況，以此發(fā)現(xiàn)平臺(tái)缺陷及用戶、商家的行為模式，企業(yè)消費(fèi)平臺(tái)據(jù)

此調(diào)整營銷策略。根據(jù)現(xiàn)有數(shù)據(jù)及給定參數(shù)完成訂單數(shù)據(jù)統(tǒng)計(jì)，并

寫入指定的數(shù)據(jù)庫或數(shù)據(jù)文件，復(fù)制粘貼至對(duì)應(yīng)報(bào)告中結(jié)果。

詳細(xì)描述：

1）請(qǐng)根據(jù)數(shù)據(jù)清洗的輸出數(shù)據(jù)集，編寫HQL語句統(tǒng)計(jì)各省直銷

拒單率，以直銷拒單率升序排列并輸出前10條統(tǒng)計(jì)結(jié)果，同

第13頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

時(shí)創(chuàng)建并寫入數(shù)據(jù)表table3_5。要求輸出字段包含：省份、

直銷拒單率。

數(shù)據(jù)定義如下：

數(shù)據(jù)項(xiàng)字段名備注

省份province

直銷拒單率norate要求保留6位小數(shù)

數(shù)據(jù)樣式如下:

provincenorate

貴州0.123456

具體任務(wù)要求：

3、創(chuàng)建表table3_5,將命令復(fù)制粘貼至對(duì)應(yīng)報(bào)告中；

4、統(tǒng)計(jì)各省拒單率，將統(tǒng)計(jì)的拒單率升序排列并將前20條統(tǒng)計(jì)結(jié)

果寫入數(shù)據(jù)表table3_5中，將命令復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

第14頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

模塊D：數(shù)據(jù)可視化（20分）

MySQL數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)集包含了城市、省份、評(píng)分、評(píng)論數(shù)

等多項(xiàng)基礎(chǔ)信息字段。請(qǐng)使用Flask框架，結(jié)合Echarts完成下列

題目。

數(shù)據(jù)庫賬號(hào)：takeout密碼:takeout

自行創(chuàng)建代碼工程路徑為:C：\chinaskills_hotel

每個(gè)可視化圖中需要添加圖片作為背景水印。

任務(wù)一：全國地圖熱力圖呈現(xiàn)各省訂單數(shù)量

住宿場(chǎng)所訂單量是反映住宿場(chǎng)所入住數(shù)量的重要指標(biāo)之一，某省

訂單數(shù)量一定程度上可以反應(yīng)出該省住宿場(chǎng)所入住情況，為了更好

地分析全國各省住宿場(chǎng)所訂單量，請(qǐng)根據(jù)指定表中數(shù)據(jù)統(tǒng)計(jì)出全國

各省住宿場(chǎng)所訂單量的情況，并以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請(qǐng)以數(shù)據(jù)庫中相關(guān)表格為數(shù)據(jù)源，分析并統(tǒng)計(jì)各省訂單數(shù)量，繪

制全國地圖熱力圖表達(dá)。

具體任務(wù)要求：

1）提取表格相關(guān)字段，分別統(tǒng)計(jì)各省的訂單數(shù)量，在控制臺(tái)按

照“訂單數(shù)量”降序排列，打印輸出各省份的訂單數(shù)量；

打印語句格式如下：

==省份：***=訂單數(shù)量：**個(gè)==

第15頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

2）使用Flask框架，結(jié)合Echarts繪制"訂單數(shù)量"的全國地

圖熱力圖，標(biāo)題為“各省訂單數(shù)量”（字體顏色：紅色，加

粗），并將可視化結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。

任務(wù)二：多個(gè)餅圖呈現(xiàn)各省份不同等級(jí)住宿場(chǎng)所占比

企業(yè)消費(fèi)平臺(tái)為了更好地發(fā)展企業(yè)業(yè)務(wù)，向企業(yè)客戶推薦符合其

預(yù)定的協(xié)議住宿場(chǎng)所，需要分析上題中Top5省份的“三星級(jí)/舒

適，，、“四星級(jí)/高檔”和“五星級(jí)/豪華”住宿場(chǎng)所以及“其它類

別”住宿場(chǎng)所（除上述三類外，其余類型住宿場(chǎng)所均歸為“其它類

別“）的占比情況。請(qǐng)根據(jù)指定表中數(shù)據(jù)，以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請(qǐng)根據(jù)數(shù)據(jù)庫中相關(guān)數(shù)據(jù)集中省份、星級(jí)等相關(guān)字段統(tǒng)計(jì)各省份

不同等級(jí)住宿場(chǎng)所的占比，繪制多個(gè)餅圖。

具體任務(wù)要求：

1）根據(jù)表格相關(guān)字段分別統(tǒng)計(jì)上題Top5省份不同星級(jí)住宿場(chǎng)所

的占比，打印輸出各省份名稱以及各類型住宿場(chǎng)所的占比情

況；

打印語句格式如下：

==省份：A=舒適型住宿占比：**===

==省份：A=高檔型住宿占比：**===

==省份：A=豪華型住宿占比：**===

==省份：B=舒適型住宿占比：**===

第16頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

==省份：B=高檔型住宿占比：**===

==省份：B=豪華型住宿占比：**===

2）使用Flask框架，結(jié)合Echarts在組合圖中繪制多個(gè)餅圖，

每個(gè)城市各星級(jí)住宿場(chǎng)所占比情況分別用一個(gè)餅圖進(jìn)行呈

現(xiàn)，將可視化結(jié)果截圖并保存。

任務(wù)三：折線圖呈現(xiàn)連鎖住宿場(chǎng)所出租率

連鎖住宿場(chǎng)所一般都具有全國統(tǒng)一的品牌形象識(shí)別系統(tǒng)、全國統(tǒng)

一的會(huì)員體系和營銷體系、價(jià)格相比較很有優(yōu)勢(shì)，更適合大眾化消

費(fèi)。連鎖住宿場(chǎng)所無論在裝修、服務(wù)還是信譽(yù)上都有較大的競(jìng)爭(zhēng)優(yōu)

勢(shì)，所以連鎖住宿場(chǎng)所是出差、旅游住宿的首選。但是由于三線城

市會(huì)員流動(dòng)差、高素質(zhì)管理人員相對(duì)短缺、營銷環(huán)境與消費(fèi)特點(diǎn)存

在差異等問題，一些已經(jīng)成熟住宿場(chǎng)所管理模式在三線城市可能并

不受用，甚至?xí)霈F(xiàn)水土不服的現(xiàn)象。請(qǐng)根據(jù)現(xiàn)有數(shù)據(jù)及給定參

數(shù)，統(tǒng)計(jì)指定連鎖住宿場(chǎng)所的經(jīng)營狀況，并以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

1）數(shù)據(jù)庫中相關(guān)表格已保存了指定地區(qū)的某連鎖住宿場(chǎng)所銷售

信息。請(qǐng)根據(jù)地區(qū)劃分，統(tǒng)計(jì)題中某連鎖住宿場(chǎng)所的出租率

（保留6位小數(shù)），并以折線圖呈現(xiàn)；

2）要求統(tǒng)計(jì)以下指定地區(qū)住宿場(chǎng)所相關(guān)信息，指定地區(qū)包括：

東北、華北、華東、華中、西北、西南、華南；

第17頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

3）指定地區(qū)省份映射表，如表1。

表1：地區(qū)省份映射表

地區(qū)省份

華東地區(qū)山東、江蘇、安徽、浙江、江西、福建、上海

華南地區(qū)廣東、廣西、海南

華中地區(qū)湖北、湖南、河南

華北地區(qū)北京、天津、河北、山西、內(nèi)蒙古

西北地區(qū)寧夏、新疆、青海、陜西、甘肅

西南地區(qū)四川、云南、貴州、西藏、重慶

東北地區(qū)遼寧、吉林、黑龍江

具體任務(wù)要求:

1）根據(jù)表格相關(guān)字段分別統(tǒng)計(jì)某連鎖住宿場(chǎng)所在各地區(qū)的出租

率（保留6位小數(shù)），在控制臺(tái)按照“出租率”降序排列，打

印輸出各地區(qū)名稱以及出租率；

打印語句格式如下：

==1.***地區(qū)，出租率為***===

==2.***地區(qū)，出租率為***===

2）使用Flask框架，結(jié)合Echarts繪制折線圖，主標(biāo)題為“指

定地區(qū)的住宿場(chǎng)所出租率”（字體要求：紅色、加粗、斜

體），副標(biāo)題為“某連鎖住宿場(chǎng)所的出租率”，縱坐標(biāo)為出租

率，橫坐標(biāo)為地區(qū)；輸出折線圖，將可視化結(jié)果復(fù)制粘貼至

對(duì)應(yīng)報(bào)告中。

任務(wù)四：散點(diǎn)地圖呈現(xiàn)各城市住宿場(chǎng)所間夜數(shù)

1、住宿場(chǎng)所的間夜量也叫間夜數(shù)，是住宿場(chǎng)所在某個(gè)時(shí)間段內(nèi)，房

第18頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

間出租率的計(jì)算單位，關(guān)于住宿場(chǎng)所間夜量的計(jì)算公式為間夜量

=入住房間數(shù)*入住天數(shù)。例如某住宿場(chǎng)所今天入住的房間數(shù)為

500,則今天的間夜量=500*1=500,而又比如某住宿場(chǎng)所這個(gè)月

（30天）的平均每天入住房間數(shù)為400,則這個(gè)月的間夜量

=400*1*30=12000。請(qǐng)根據(jù)指定表中數(shù)據(jù)統(tǒng)計(jì)住宿場(chǎng)所間夜數(shù)相

關(guān)數(shù)據(jù)，并以指定圖例進(jìn)行呈現(xiàn)。

詳細(xì)描述：

請(qǐng)以數(shù)據(jù)庫相關(guān)表格中相關(guān)表作為數(shù)據(jù)源，各城市住宿場(chǎng)所間夜

數(shù)散點(diǎn)地圖。

具體任務(wù)要求：

1）根據(jù)表格相關(guān)字段分別統(tǒng)計(jì)各城市住宿場(chǎng)所間夜數(shù)，打印輸出

各城市的間夜數(shù)，在控制臺(tái)按照“間夜數(shù)”降序排列，打印輸

出各地區(qū)名稱以及間夜數(shù)；

打印語句格式如下：

二二***市：間夜數(shù)為***二二二

=二***市：間夜數(shù)為***二二二

2）使用Flask框架，結(jié)合Echarts繪制散點(diǎn)地圖，主標(biāo)題為各城

市住宿場(chǎng)所間夜數(shù)（字體要求：紅色、加粗、斜體）；輸出各城

市住宿場(chǎng)所間夜數(shù)散點(diǎn)地圖，將可視化結(jié)果復(fù)制粘貼至對(duì)應(yīng)報(bào)

告中。

第19頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

任務(wù)五：條形統(tǒng)計(jì)圖呈現(xiàn)各省直銷拒單率

企業(yè)消費(fèi)平臺(tái)是住宿場(chǎng)所營銷的主要途徑之一，不僅降低銷售成

本，同時(shí)也提高了顧客體驗(yàn)滿意度。當(dāng)顧客通過企業(yè)消費(fèi)平臺(tái)進(jìn)行

住宿場(chǎng)所預(yù)訂時(shí)，住宿場(chǎng)所就擁有了用戶的相關(guān)數(shù)據(jù)。通過這些數(shù)

據(jù)，能夠更好地收集用戶需求，從而可以提供更有針對(duì)性和個(gè)性化

的服務(wù)，最終能夠產(chǎn)生更多的忠誠會(huì)員并帶來更多訂單。但企業(yè)消

費(fèi)平臺(tái)銷售也存在用戶拒單等情況，拒單原因有很多：例如，平臺(tái)

信息不同步，信息更新不及時(shí)；分銷層次過多，導(dǎo)致無法及時(shí)查證

訂單；住宿場(chǎng)所違反企業(yè)消費(fèi)規(guī)則擅自以低價(jià)讓客戶取消訂單，這

種情況又叫做“切單企業(yè)消費(fèi)平臺(tái)需要統(tǒng)計(jì)用戶訂單的分布情

況，以此發(fā)現(xiàn)平臺(tái)缺陷及用戶、商家的行為模式，企業(yè)消費(fèi)平臺(tái)據(jù)

此調(diào)整營銷策略。根據(jù)現(xiàn)有數(shù)據(jù)統(tǒng)計(jì)訂單數(shù)據(jù)，并以指定圖例進(jìn)行

呈現(xiàn)。

詳細(xì)描述：

請(qǐng)根據(jù)數(shù)據(jù)庫中相關(guān)數(shù)據(jù)集中統(tǒng)計(jì)各省直銷拒單率，以直銷拒單

率降序排列，并繪制條形統(tǒng)計(jì)圖。

具體任務(wù)要求：

1）根據(jù)表格相關(guān)字段分別統(tǒng)計(jì)各省份的直銷拒單率（保留6位

小數(shù)），在控制臺(tái)按照“直銷拒單率”降序排列，打印輸出各

省名稱以及直銷拒單率；

打印語句格式如下：

==1.***省，直銷拒單率為***===

第20頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

==2.***省，直銷拒單率為***===

2）使用Flask框架，結(jié)合Echarts繪制直銷拒單率最高的5個(gè)

省份條形圖，主標(biāo)題為“直銷拒單率最高的5個(gè)省份”（字體

要求：紅色、加粗、斜體），縱坐標(biāo)為省份名稱，橫坐標(biāo)直銷

拒單率；輸出條形圖，將可視化結(jié)果截圖并保存。

任務(wù)六：使用sklearn庫中方法構(gòu)建線性回歸模型

企業(yè)消費(fèi)平臺(tái)為了能在更多省份擴(kuò)展業(yè)務(wù)，與更多住宿場(chǎng)所建立

合作關(guān)系，為了贏得更多住宿場(chǎng)所的合作，在合作談判過程中會(huì)通過

同區(qū)域、同等級(jí)銷售情況對(duì)比，需要提供同類住宿場(chǎng)所相關(guān)經(jīng)營數(shù)據(jù)。

請(qǐng)根據(jù)指定表中數(shù)據(jù)，以指定圖例進(jìn)行呈現(xiàn)。企業(yè)消費(fèi)平臺(tái)希望與住

宿場(chǎng)所A進(jìn)行線上銷售合作，需要制作一份銷售預(yù)測(cè)報(bào)告來說明住宿

場(chǎng)所將在平臺(tái)收獲的間夜預(yù)期。住宿場(chǎng)所A信息{廣東省、廣州市、

北京路商圈、非客棧，評(píng)論數(shù)100,房間數(shù)200}

詳細(xì)描述：

請(qǐng)以根據(jù)表格相關(guān)字段：是否客棧、評(píng)論數(shù)、房間數(shù)為特征變

量，構(gòu)建線性回歸模型，給出明年同期住宿場(chǎng)所A在本平臺(tái)總間夜

數(shù)的預(yù)期值。輸出預(yù)測(cè)模型相關(guān)指標(biāo)，同時(shí)給出預(yù)期結(jié)果。

具體任務(wù)要求：

1）請(qǐng)使用sklearn庫中方法構(gòu)建線性回歸模型，并在控制臺(tái)輸

出住宿場(chǎng)所A總間夜的預(yù)測(cè)值；

第21頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

打印語句格式如下：

=="住宿場(chǎng)所A明年同期總間夜數(shù)預(yù)期值為：***"===

2）使用Flask框架,結(jié)合Echarts繪制散點(diǎn)線性回歸圖，標(biāo)題

為“住宿場(chǎng)所A總間夜數(shù)預(yù)測(cè)”（字體要求：紅色、加粗、斜

體），橫坐標(biāo)為時(shí)間，縱坐標(biāo)為總間夜數(shù)，將可視化結(jié)果截圖

并保存。

第22頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

模塊E：綜合分析（20分）

假定你為企業(yè)消費(fèi)平臺(tái)的管理者，在綜合理解住宿場(chǎng)所業(yè)務(wù)數(shù)據(jù)

的基礎(chǔ)上，通過以上模塊A、B、C、D的相關(guān)結(jié)論，對(duì)未來拓展合作

住宿場(chǎng)所方向做出預(yù)測(cè)，根據(jù)題目要求進(jìn)行分析，并編寫輸出分析

報(bào)告。

根據(jù)上述任務(wù)中的結(jié)論，分析以下內(nèi)容，并編寫分析報(bào)告。從住

宿場(chǎng)所分布維度，結(jié)合多省份住宿場(chǎng)所綜合運(yùn)營情況，對(duì)企業(yè)消費(fèi)

平臺(tái)未來拓展合作住宿場(chǎng)所的方向提出建議。

分析報(bào)告要求：

任務(wù)一：通過數(shù)據(jù)及圖示分析原因

結(jié)合平臺(tái)相關(guān)數(shù)據(jù)文件，以各省住宿場(chǎng)所“出租率”、“平均分?jǐn)?shù)”、

“住宿場(chǎng)所間夜數(shù)”和“住宿場(chǎng)所直銷拒單率”的雷達(dá)圖對(duì)住宿場(chǎng)所

運(yùn)營情況進(jìn)行分析，分別以文字描述和圖例進(jìn)行說明；

任務(wù)二：通過圖示和計(jì)算業(yè)務(wù)分析原因

結(jié)合模塊D數(shù)據(jù)可視化中對(duì)各省不同級(jí)別住宿場(chǎng)所的占比分析，

說明企業(yè)消費(fèi)平臺(tái)在向客戶進(jìn)行推薦時(shí)可以采取哪些策略，以提高平

臺(tái)中住宿場(chǎng)所的訂單量。分別以文字描述和圖例進(jìn)行說明；

任務(wù)三：分析企業(yè)消費(fèi)平臺(tái)在未來是否應(yīng)繼續(xù)與住宿場(chǎng)所A

合作

根據(jù)對(duì)住宿場(chǎng)所A明年同期間夜數(shù)的預(yù)測(cè)結(jié)果，分析企業(yè)消費(fèi)平

第23頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

臺(tái)在未來是否應(yīng)繼續(xù)與其合作，并在報(bào)告中說明理由（不少于3條理

由）o

第24頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

附錄：補(bǔ)充說明

一、json數(shù)據(jù)格式樣例

{"name"："南京國美家庭旅社公寓南林店"，"detail"：{"SEQ"：

"nanjing」O16","國家"："中國"，"省份"："江蘇"，"城市"："南京"，"處

于商圈"："鎖金村地區(qū)玄武湖地區(qū)中山陵景區(qū)"，"是否為客棧"：0,"住宿場(chǎng)

所星級(jí)"："二星及其他"，"業(yè)務(wù)部門"："低星"，"剩余房間"：8,"圖片數(shù)"：0,

"住宿場(chǎng)所評(píng)分"："1","用戶點(diǎn)評(píng)數(shù)"：1,"城市平均實(shí)住間夜"：

"51.701686747","住宿場(chǎng)所總訂單"：0,"住宿場(chǎng)所總間夜"：0,"住宿場(chǎng)所實(shí)

住訂單"：0,"住宿場(chǎng)所實(shí)住間夜"：0,"住宿場(chǎng)所直銷訂單"：0,"住宿場(chǎng)所直

銷間夜"：0,"住宿場(chǎng)所直銷實(shí)住訂單"：0,"住宿場(chǎng)所直銷實(shí)住間夜"：0,"住宿

場(chǎng)所直銷拒單"：0,"住宿場(chǎng)所直銷拒單率"：null,"城市直銷拒單率"：

"0.0282838180927","拒單率是否小于等于直銷城市均值"：0,"最低房間價(jià)格":

"306"})

二、fastjson-1.2.41.jar常用API(java)

1、實(shí)例化

JSONObject()；

2、JSON解析包

com.alibaba.fastjson.JSON；

com.alibaba.fastjson.JSONObject；

com.alibaba.fastjson.JSONArray；

com.alibaba.fastjson.JSONException；

3、常用API方法：

1)publicstaticfinalObjectparse(Stringtext)；//把JSON文本

parse為JSONObject或者JSONArray

2)publicstaticfinalJSONObjectparseObject(Stringtext)；//

把JSON文本parse成JSONObject

第25頁/共31頁

2021年全國職業(yè)院校技能大賽高職組“大數(shù)據(jù)技術(shù)與應(yīng)用〃賽項(xiàng)任務(wù)書

3)publicstaticfinalTparseObject(Stringtext,Classclazz)；

//把JSON文本parse為JavaBean

4)publicstaticfinalJSONArrayparseArray(Stringtext)；//把

JSON文本parse成JSONArray

5)publicstaticfinalListparseArray(Stringtext,Classclazz)；

〃把JSON文本parse成JavaBean集合

6)publicstaticfinalStringtoJSONString(Objectobject)；//將

JavaBean序列化為JSON文本

7)publicstaticfinalStringtoJSONString(Objectobject,boolean

prettyFormat)；//將JavaBean序列化為帶格式的JSON文本

8)publicstaticfinalObjecttoJSON(ObjectjavaObject)；將

JavaBean轉(zhuǎn)換為JSONObject或者JSONArrayo

三、fastjsonT.2.41.jar常用API[Spark(scala)l

1、json解析包

com.alibaba.fastjson.JSON

2、常用API

1)實(shí)例化：

JSON.parseObject(x)

2)默認(rèn)值：如果該key沒有值默認(rèn)為null：

jsonObject.getOrDefault(key,默認(rèn)值)

jsonObject.getOrDefault("name",

3)獲取該key的value值

jsonObject.get(json的key)

jsonObject.get(“name”)

4)判斷key是否存在

jsonObject.containsKey(key)

5)添加kv鍵值對(duì)

jsonObject.put(key,value)

第26頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

四、控制臺(tái)輸出運(yùn)行日志樣例

19/060308:04:21IXFOhandlerContextHandlor:Stoppeds.ServIetContextHandler?10f<ie30aiz.null,UNAVAILABLE)

19/06/0308:01:21INFOhandlerContcxtHuiKiicr:Stoppeds.Sen*letContcxlllandlcr<33836Westatic,nuiUNAVAILABLE;

19/060308:04:21IXFOhandlerConlciilLuxilrr:Stoppeds.Serv1otCentextHand1er#533377bi?rsthreadDuop/jsan,nulI.IAAVAIIABII

197060308:0-1:21INFOhandlerContcxtHandlcr:Stoppeds.Sen,letContcxtHandlcr<J119a20u6executors11hreadDu^j,null.IXAVAlLABLEl

19/060308:04:21INFOhandlerGxitcxtlhndler:Stoppeds.ScrvletContcxtHandlcr<67389cb8executors'.ison,null.VNAVAILABLE)

⑼06,0308:01:21INFOhandierCentextflandier:Sloppeds.Scrv!ctContextlhndlcrt65aa6596executors,null,I^AVAIIABIJr

19/06/0308:04:21INFOhandlerContextHandler:Stoppeds.ScrvlctContcxUhndlcrt2c7d121c：environnent/json.null,UNAVAILABLE;

19/06.0308:04:21ISFOhandlerContext(landIer;Sloppeds.SeivIrtGMItrxillmxiIert34625ccd；,/cnvironnrnt.null.(NAVAILABIE)

19/06,0308:04:21INFOhandlerContextHiindler:Stoppeds.SenletContextliiindier#7e3f95fe-storage-rdd/json.null,UNAVAILABLE)

19,06/0308:04:21INFOhandlerContcxtHandlcr:Slurpeds.Serv1clContextHandIcr*24bdb479!/storaKc/rdd.nullUNAVAILABLE：

19/060308:04:21INFOhandlerContextlldiNller:Stoppeds.ServIetCi>ntexiH.trjdIer27b5f92；orage/jsan.null.CNAVAUJUil.E

19/06/0308:04:21INFOhandierConlextHiindlcr:Stoppeds.ServletContextlhndlcrtlddac9b5stor?Rc,null.VNAVAIUBLEf

19,060308:04:21IXFOiwndlerContextlhiKlIvr:Stoppeds.ServletC(Mitextll??ndier€42f3l56d;st8ses/p?MU/null.^AVAILABLE)

19/06/0308:04:21IMPhandlerConlexIHandIer:Stoppeds.SenletContextHiindlertld7f7be7Vstages/pool.nulI.lWA

⑼060308:04:2!INFOhandierCootexlHindIer:Sloppeds.Sen'Iet('<>nte11ILindIcr0586013d7stnges/stage,json,nulI.UNAVAILABLE)

⑼06/0308:04:21IXFOhandlerContext而ndier:Stoppeds.ServlelContextlhndler06a66a2O4st?ses/stage.null,15AVAHABLE}

19/06/0308:04:21IXFOhandlerCentextHandior：StoppedO.S.3?s.Scn,letContcxtilandlcrtllcSTbOb；/stagesjson,null.INAVAILWLE

19.Wk0308:04:21IXFOhandlerfontex(Handier:SloppedQ.&s.ServletContextHanciJcr<Me5l7l651/stages,null,INAVA1I.ABLE.)

19/06/0308:04:21IXFOhandlerCentex【Hand!er:Stoppeds.ScnIeiCa)textHiindlert2cb3d0f7:jobs,/job/json,nulI.LKAVAILABLE

19/06/0308:04:21INFOhandlerConlcxtllandlcr:Sloppeds.Sen11etContcxlIlandlcrt2c10177-1'/jobs/job,null,I'NAVAll^BU：

19/06/0308:04:2!IXFOhandlerContextILudler:Stoppeds.ServletContextILindlcr96f0ca692,jobs/json,null,mVAIUBlf1

19/06.0308:04:21IXFOhandlerContextHandhr:s.ScrvlctContcxtHandlcrtMba534bOjobs,nuH.lNAYAILABLE}

五、方差、均方根差的定義

1、方差MSE：概率論中方差用來度量隨機(jī)變量和其數(shù)學(xué)期望（即均值）之間的

偏離程度。統(tǒng)計(jì)中的方差（樣本方差）是每個(gè)樣本值與全體樣本值的平均

數(shù)之差的平方值的平均數(shù)。

2、均方根差RMSE：均方根誤差，是觀測(cè)值與真值偏差的平方和觀測(cè)次數(shù)n比值

的平方根。RMSE是計(jì)算觀測(cè)值與其真值，或者觀測(cè)值與其模擬值之間的偏

差。

六、間夜定義

間夜又稱間夜數(shù)，是住宿場(chǎng)所在某個(gè)時(shí)間段內(nèi)，房間出租率的計(jì)算單位。例

如20間房入住2晚，為40間夜數(shù)。

七、出租率計(jì)算公式

出租率=當(dāng)月發(fā)生的總間夜數(shù)/當(dāng)月所能提供的總房間數(shù)

八、線性回歸預(yù)測(cè)數(shù)據(jù)源data_accommodation_mult.csv

字段名

SEQ、省份、城市、商圈、是否為客棧、星級(jí)、房間數(shù)、評(píng)論數(shù)、平均評(píng)分?jǐn)?shù)、

城市平均間夜、住宿場(chǎng)所總訂單、住宿場(chǎng)所總間夜、住宿場(chǎng)所實(shí)住訂單、住宿場(chǎng)

第27頁/共31頁

2021年全國職業(yè)院校技能大賽高職組"大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書

所實(shí)住間夜、住宿場(chǎng)所直銷訂單、住宿場(chǎng)所直銷實(shí)住訂單、住宿場(chǎng)所直銷間夜、

住宿場(chǎng)所直銷實(shí)住間夜、城市直銷拒單、城市直銷拒單率、住宿場(chǎng)所企業(yè)消費(fèi)平

臺(tái)實(shí)住訂單

九、數(shù)據(jù)可視化表字段說明

表radar_lines

province省份

accommodation_num住宿場(chǎng)所數(shù)

avg_score平均分

comment_num評(píng)論數(shù)

lease_rate出租率

direno_rate直銷率

表platformrate