Spark大數(shù)據(jù)技術(shù)與應(yīng)用教案（人郵）第4、5章Spark編程進(jìn)階、SparkSQL：結(jié)構(gòu)化數(shù)據(jù)文件處理

Word-8-Spark大數(shù)據(jù)技術(shù)與應(yīng)用教案（人郵）第4、5章Spark編程進(jìn)階、SparkSQL：結(jié)構(gòu)化數(shù)據(jù)文件處理

第4章Spark編程進(jìn)階教案課程名稱Spark大數(shù)據(jù)技術(shù)與應(yīng)用課程類別必修適用專業(yè)大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)64學(xué)時(shí)（其中理論40學(xué)時(shí)，試驗(yàn)24學(xué)時(shí)）總學(xué)分

4.0學(xué)分本章學(xué)時(shí)6學(xué)時(shí)

一、材料清單

（1）《Spark大數(shù)據(jù)技術(shù)與應(yīng)用》教材

（2）配套PPT

（3）引領(lǐng)性提問

（4）探索性問題

（5）拓展性問題

二、教學(xué)任務(wù)與基本要求

1.教學(xué)任務(wù)主要介紹如何使用IntelliJIDEA搭建Spark開發(fā)環(huán)境，以及如何在開發(fā)環(huán)境中編程和運(yùn)行程序運(yùn)行程序主要介紹兩種辦法一種是在IntelliJIDEA中設(shè)置masterURL運(yùn)行，一種是打包程序在集群中運(yùn)行對(duì)spark-submit提交集群運(yùn)行的辦法著重描述，并且分析常用的參數(shù)設(shè)置為了提升運(yùn)行效率，介紹數(shù)據(jù)持久化以及數(shù)據(jù)分區(qū)辦法最后再以比賽網(wǎng)站用戶拜訪目標(biāo)為例，對(duì)所學(xué)學(xué)問舉行實(shí)踐操作

2.基本要求

（1）掌控配置Spark開發(fā)環(huán)境

（2）掌控如何新建工程和運(yùn)行工程

（3）掌控運(yùn)行Spark程序的辦法

（4）了解數(shù)據(jù)分區(qū)與持久化的辦法

一、問題L引領(lǐng)性提問引領(lǐng)性提問需要老師按照教材內(nèi)容和同學(xué)實(shí)際水平，提出問題，引發(fā)引領(lǐng)同學(xué)去解決問題，提問，從而達(dá)到理解?、掌控學(xué)問，進(jìn)展各種本事和提升思想覺悟的目的

（1）之前的編程都是在spark-shell中，過程中有沒有碰到什么問題？

（2）假如要寫入一個(gè)類，用spark-shell環(huán)境你覺得會(huì)碰到哪些問題？

（3）RDD是一個(gè)分區(qū)數(shù)據(jù)集合，是否了解過查看分區(qū)的辦法？

（4）有沒有碰到過需要自己定義RDD分區(qū)的狀況？

（5）了解過持久化的概念嗎？

2.探索性問題探索性問題需要老師深化鉆研教材的基礎(chǔ)上細(xì)心設(shè)計(jì)，提問的角度或者在引領(lǐng)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，舉行插入式提問或者是對(duì)引領(lǐng)式提問中尚未涉及但在課文中乂是重要的問題加以設(shè)問

（1）在IDEA中搭建Spark編程環(huán)境有哪些需要配置的內(nèi)容？

（2）如何在IDEA中編寫Spark程序？

（3）如何打包程序并提交到Spark集群中運(yùn)行？

（4）持久化RDD的辦法有哪些？

（5）自定義數(shù)據(jù)分區(qū)方式需要繼承哪個(gè)類，實(shí)現(xiàn)哪些辦法？

（6）程序運(yùn)行時(shí)有哪些集群參數(shù)能夠優(yōu)化？

3.拓展性問題拓展性問題需要老師深刻理解教材的意義，同學(xué)的學(xué)習(xí)動(dòng)態(tài)后，按照同學(xué)學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題亦能夠提供拓展資料供同學(xué)研習(xí)探討，完成拓展性問題

（1）repartition分區(qū)與自定義分區(qū)之間有什么異同點(diǎn)？

（2）在一個(gè)spark程序類中，利用SparkConf設(shè)置了appName,假如在使用spark-submit提交目標(biāo)到集群中時(shí)再次設(shè)置appName,那么根據(jù)參數(shù)的優(yōu)先級(jí)，終于使用了哪一個(gè)appName

二、主要學(xué)問點(diǎn)、重點(diǎn)與難點(diǎn)

1.主要學(xué)問點(diǎn)

（1）下載與安裝IntelliJIDEA

（2）Scala插件安裝與使用

（3）配置Spark運(yùn)行環(huán)境的辦法

（4）運(yùn)行Spark程序的辦法

（5）持久化辦法

（6）數(shù)據(jù)分區(qū)辦法

2.重點(diǎn)

（1）配置Spark運(yùn)行環(huán)境

（2）運(yùn)行Spark程序的方式

（3）持久化（緩存）實(shí)現(xiàn)

（4）數(shù)據(jù)分區(qū)

3.難點(diǎn)

（1）自定義數(shù)據(jù)分區(qū)

（2）打包Spark工程并運(yùn)行

（3）Spark-submit提交程序的命令及參數(shù)設(shè)置

三、教學(xué)過程設(shè)計(jì)

1.理論教學(xué)過程

（1）搭建IDEA開發(fā)環(huán)境

（2）配置Spark運(yùn)行環(huán)境

（3）運(yùn)行Spark程序的方式

（4）持久化（緩存）實(shí)現(xiàn)

（5）數(shù)據(jù)分區(qū)

2.試驗(yàn)教學(xué)過程

（1）搭建開發(fā)環(huán)境

（2）自定義分區(qū)

（3）比賽網(wǎng)站拜訪日志分析

四、教材與參考資料

1.教材肖芳，張良均.Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第2版）（微課版）［M］.北京人民郵電出版社.

2022.

2.參考資料11］肖芳，張良均.Spark大數(shù)據(jù)技術(shù)與應(yīng)用［M］.北京人民郵電出版社.

2022.［2］王哲，張良均.Hado叩與大數(shù)據(jù)挖掘（第2版）［M］.北京機(jī)械工業(yè)出版社.

2022.［3］張軍，張良均.Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第2版）（微課版）［M］.北京人民郵電出版社.

2022.第5章SparkSQL結(jié)構(gòu)化數(shù)據(jù)文件處理教案課程名稱Spark大數(shù)據(jù)技術(shù)與應(yīng)用課程類別必修適用專業(yè)大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)64學(xué)時(shí)（其中理論40學(xué)時(shí)，試驗(yàn)24學(xué)時(shí)）總學(xué)分

4.0學(xué)分本章學(xué)時(shí)6學(xué)時(shí)

五、材料清單

（1）《Spark大數(shù)據(jù)技術(shù)與應(yīng)用》教材

（2）配套PPT“

（3）引領(lǐng)性提問

（4）探索性問題

（5）拓展性問題

六、教學(xué)任務(wù)與基本要求

3.教學(xué)任務(wù)主要介紹Spark四大組件之一SparkSQL,首先對(duì)SparkSQL的基本概念舉行簡(jiǎn)要概述，并且講解如何配置SparkSQL以及SparkSQL與Shell交互，接著具體介紹SparkSQL的核心抽象編程模型DataFrame,包括創(chuàng)建DataFrame對(duì)象、DataFrame上的Action操作、DataFramc對(duì)象上的查詢操作以及DataFrame對(duì)■象上的輸出操作，最后使用SparkSQL對(duì)法律服務(wù)網(wǎng)站數(shù)據(jù)舉行探究分析

4.基本要求

（5）了解SparkSQL的基本概念

（6）掌控SparkSQL與Shell交互

（7）掌控創(chuàng)建DataFrame對(duì)象的辦法

（8）掌控DataFrame查看數(shù)據(jù)的辦法

（9）掌控DataFrame的查詢及輸出操作

七、問題

5.引領(lǐng)性提問引領(lǐng)性提問需要老師按照教材內(nèi)容和同學(xué)實(shí)際水平，提出問題，引發(fā)引領(lǐng)同學(xué)去解決問題，提問，從而達(dá)到理解、掌控學(xué)問，進(jìn)展各種本事和提升思想覺悟的目的

（6）你學(xué)過MySQL嗎？是否了解MySQL的基本語法？

（7）你了解SparkSQL的基本概念嗎？

（8）是否接觸過DataFrame類型是否了解DataFrame類型的基本操作辦法？

（9）對(duì)于SparkSQL的使用方式，你知道有哪些？

6.探索性問題探索性問題需要老師深化鉆研教材的基礎(chǔ)上細(xì)心設(shè)計(jì)，提問的角度或者在引領(lǐng)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，舉行插入式提問或者是對(duì)引領(lǐng)式提問中尚未涉及但在課文中乂是重要的問題加以設(shè)問77）SparkSQL能夠拜訪哪些數(shù)據(jù)庫(kù)？88）SparkSQL如何讀取json格式的數(shù)據(jù)？99）SparkDataFrame與RDD有何區(qū)分？100）SparkSQL查詢一個(gè)DataFrame中的某個(gè)字段有哪些辦法？（IDSparkSQL如何注冊(cè)一個(gè)暫時(shí)表？

7.拓展性問題拓展性問題需要老師深刻理解教材的意義，同學(xué)的學(xué)習(xí)動(dòng)態(tài)后，按照同學(xué)學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題亦能夠提供拓展資料供同學(xué)研習(xí)探討，完成拓展性問題3RDD是一個(gè)數(shù)據(jù)存放在多個(gè)分區(qū)的集合,DataFrame是否也是相同的存儲(chǔ)方式？4SparkSQL支持自定義函數(shù)嗎？5你認(rèn)為SparkSQL能否徹低取代Hive技術(shù)？

八、主要學(xué)問點(diǎn)、重點(diǎn)與難點(diǎn)

8.主要學(xué)問點(diǎn)7SparkSQL簡(jiǎn)介8SparkSQL配置9SparkSQL與Shell交互實(shí)現(xiàn)10DataFrame基礎(chǔ)操作辦法

9.重點(diǎn)5SparkSQL與Shell交互實(shí)現(xiàn)6創(chuàng)建DataFrame對(duì)象的辦法7DataFrame查看數(shù)據(jù)的辦法8DataFrame的查詢及輸出操作

10.難點(diǎn)4創(chuàng)建DataFrame對(duì)象的辦法5將DataFrame舉行存儲(chǔ)

（6）DataFrame查詢數(shù)據(jù)操作

九、教學(xué)過程設(shè)計(jì)1L理論教學(xué)過程

（6）熟悉SparkSQL

（7）SparkSQL配置

（8）SparkSQL與Shell交互實(shí)現(xiàn)

（9）DataFrame基礎(chǔ)操作辦法

12.試驗(yàn)教學(xué)過程

（1）配置SparkSQL

（2）掌控DalaFrame基礎(chǔ)操作

（3）探究分析房屋售價(jià)數(shù)據(jù)

（4）統(tǒng)計(jì)分析顧客對(duì)某城市餐飲店的點(diǎn)評(píng)數(shù)據(jù)

十、教材與參考資料

13.教材肖芳，張良均.Spark大數(shù)據(jù)技術(shù)與應(yīng)用（笫2版）（微課版）