PySpark大數(shù)據(jù)技術(shù)與應(yīng)用 教案 第2章 PySpark安裝配置

第2章PySpark安裝配置教案課程名稱：PySpark大數(shù)據(jù)分析與應(yīng)用課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論32學(xué)時(shí)，實(shí)驗(yàn)32學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：8學(xué)時(shí)材料清單《PySpark大數(shù)據(jù)分析與應(yīng)用》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)根據(jù)目前數(shù)據(jù)分析發(fā)展?fàn)顩r，將數(shù)據(jù)分析具象化。而后介紹數(shù)據(jù)分析的概念，流程，目的以及應(yīng)用場(chǎng)景。闡述使用Python進(jìn)行數(shù)據(jù)分析的優(yōu)勢(shì)。列舉說明Python數(shù)據(jù)分析重要庫的功能。緊接著闡述Anaconda簡(jiǎn)介，實(shí)現(xiàn)在Windows和Linux兩個(gè)系統(tǒng)下Anaconda數(shù)據(jù)分析環(huán)境。最后展現(xiàn)Python數(shù)據(jù)分析工具JupyterNotebook的優(yōu)異特性及使用方法。為后學(xué)課程學(xué)習(xí)搭建數(shù)據(jù)分析環(huán)境，首先介紹在windows系統(tǒng)中搭建單機(jī)模式的數(shù)據(jù)分析環(huán)境，能夠運(yùn)行PySpark程序代碼；然后，介紹在Linux系統(tǒng)中搭建分布式模式的數(shù)據(jù)分析環(huán)境，了解Spark分布式模式的運(yùn)行機(jī)理，進(jìn)一步體會(huì)PySpark大數(shù)據(jù)處理能力。最后介紹Python中重要的數(shù)據(jù)結(jié)構(gòu)（元組、列表、字典）和函數(shù)式編程。基本要求掌握單機(jī)模式和分布式模式下PySpark開發(fā)環(huán)境的搭建過程。熟悉Linux操作系統(tǒng)虛擬機(jī)的安裝過程。掌握單機(jī)模式和分布式模式下Hadoop集群配置。掌握分布式模式下Spark集群配置。掌握Python重要的數(shù)據(jù)結(jié)構(gòu)及函數(shù)編程。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。搭建單機(jī)模式的PySpark開發(fā)環(huán)境需要哪些組件。單機(jī)模式的PySpark開發(fā)環(huán)境有哪些優(yōu)缺點(diǎn)。搭建分布式模式的PySpark開發(fā)環(huán)境需要哪些組件。分布式模式的PySpark開發(fā)環(huán)境有哪些優(yōu)缺點(diǎn)。單機(jī)模式和分布式模式PySpark開發(fā)環(huán)境的應(yīng)用場(chǎng)景。探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。單機(jī)模式中，安裝Hadoop組件的作用？大數(shù)據(jù)分析中數(shù)據(jù)庫與Hive的區(qū)別是什么？分布式模式中，計(jì)算機(jī)節(jié)點(diǎn)為什么要建立互信機(jī)制？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。分布式模式下，使用HDFS文件系統(tǒng)存儲(chǔ)大文件的優(yōu)勢(shì)。Spark與Hadoop進(jìn)行數(shù)據(jù)分析有哪些優(yōu)缺點(diǎn)。使用Python語言進(jìn)行數(shù)據(jù)分析的優(yōu)勢(shì)。主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)掌握單機(jī)模式和分布式模式下PySpark開發(fā)環(huán)境的搭建過程。安裝Linux操作系統(tǒng)虛擬機(jī)。開發(fā)環(huán)境中的各組件的安裝與配置。掌握Python重要的數(shù)據(jù)結(jié)構(gòu)及函數(shù)編程。重點(diǎn)搭建單機(jī)模式的PySpark開發(fā)環(huán)境。搭建分布式模式的PySpark開發(fā)環(huán)境。難點(diǎn)搭建分布式模式的PySpark開發(fā)環(huán)境。教學(xué)過程設(shè)計(jì)理論教學(xué)過程在Windows系統(tǒng)中安裝JDK。在Windows系統(tǒng)中安裝Anaconda。在Windows系統(tǒng)中安裝Hadoop。在Windows系統(tǒng)中安裝MySQL。在Windows系統(tǒng)中安裝Hive。在Windows系統(tǒng)中配置PySpark模塊。在Windows系統(tǒng)中安裝Linux虛擬機(jī)。在Linux系統(tǒng)中安裝Java。在Linux系統(tǒng)中搭建Hadoop分布式集群。在Linux系統(tǒng)中安裝MySQL數(shù)據(jù)庫。在Linux系統(tǒng)中安裝Hive數(shù)據(jù)倉庫。在Linux系統(tǒng)中搭建Spark完全分布式集群。Python中的常用數(shù)據(jù)結(jié)構(gòu)。Python函數(shù)式編程基礎(chǔ)。實(shí)驗(yàn)教學(xué)過程在Windows系統(tǒng)中安裝JDK。在Windows系統(tǒng)中安裝Anaconda。在Windows系統(tǒng)中安裝Hadoop。在Windows系統(tǒng)中安裝MySQL。在Windows系統(tǒng)中安裝Hive。在Windows系統(tǒng)中配置PySpark模塊。在Windows系統(tǒng)中安裝Linux虛擬機(jī)。在Linux系統(tǒng)中安裝Java。在Linux系統(tǒng)中搭建Hadoop分布式集群。在Linux系統(tǒng)中安裝MySQL數(shù)據(jù)庫。在Linux系統(tǒng)中安裝Hive數(shù)據(jù)倉庫。在Linux系統(tǒng)中搭建Spark完全分布式集群。教材與參考資料教材戴剛，張良均．《PySpark大數(shù)據(jù)分析與應(yīng)用》[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第2版）（微課版）[M]．北京：人民郵電出版社．2022．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機(jī)械工業(yè)出版社．2022．[3