Spark大數(shù)據(jù)分析實務 教案 項目4 基于Spark SQL實現(xiàn)廣告流量檢測數(shù)據(jù)探索分析 教案

項目4基于SparkSQL實現(xiàn)廣告流量檢測數(shù)據(jù)探索分析教案課程名稱：Spark大數(shù)據(jù)技術實務課程類別：必修適用專業(yè)：大數(shù)據(jù)技術類相關專業(yè)總學時：64學時（其中理論32學時，實驗32學時）總學分：4.0學分本章學時：8學時材料清單《Spark大數(shù)據(jù)技術實務》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標首先介紹SparkSQL的功能及運行過程，并介紹SparkSQLCLI的配置方法和SparkSQL與Shell交互；接著詳細介紹通過結構化數(shù)據(jù)文件、外部數(shù)據(jù)庫、RDD及Hive中的表4種方式創(chuàng)建DataFrame對象；最后介紹DataFrame數(shù)據(jù)的查看以及DataFrame的行列表查詢操作?；谥R介紹，根據(jù)廣告流量檢測數(shù)據(jù)創(chuàng)建DataFrame，通過DataFrame的查詢操作對廣告流量檢測數(shù)據(jù)進行基本數(shù)據(jù)查詢、缺失值分析以及特征字段進行探索分析?；诒卷椖繑?shù)據(jù)探索分析的結果，能夠更好地開展后續(xù)的數(shù)據(jù)挖掘與數(shù)據(jù)建模工作?；疽罅私釹parkSQL框架的功能及運行過程。了解SparkSQL與Shell交互。掌握SparkSQL的可編程數(shù)據(jù)模型DataFrame的創(chuàng)建、查詢等操作方法。能夠配置SparkSQLCLI，提供SparkSQL與Shell交互環(huán)境。能夠通過不同數(shù)據(jù)源創(chuàng)建DataFrame。能夠實現(xiàn)DataFrame數(shù)據(jù)及行列表的查詢操作。問題引導性提問引導性提問需要教師根據(jù)教材內容和學生實際水平，提出問題，啟發(fā)引導學生去解決問題，提問，從而達到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。SparkSQL和HiveSQL有什么區(qū)別？什么是DataFrame？DataFrame的相關操作有哪些？探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問?；蛘呤菍σ龑教釂栔猩形瓷婕暗谡n文中又是重要的問題加以設問。如何實現(xiàn)SparkSQL跟Hive的交互？DataFrame行列式是什么？有些查詢操作？數(shù)據(jù)探索分析有哪些要點？拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態(tài)后，根據(jù)學生學習層次，提出切實可行的關乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。Scala語言中的DataFrame和Python語言中的DataFrame有何區(qū)別？能否使用Python語言實現(xiàn)Spark分析操作？主要知識點、重點與難點主要知識點SparkSQL簡介。配置SparkSQLCLI。SparkSQL與Shell交互。通過結構化數(shù)據(jù)文件創(chuàng)建DataFrame。通過外部數(shù)據(jù)庫創(chuàng)建DataFrame。通過RDD創(chuàng)建DataFrame。通過Hive表創(chuàng)建DataFrame。printSchema()：輸出數(shù)據(jù)模式。show()：查看數(shù)據(jù)。first(head(take(takeAsList()：獲取若干行記錄。條件查詢。查詢指定字段的數(shù)據(jù)信息。查詢指定行數(shù)的數(shù)據(jù)。排序查詢。分組查詢。讀取數(shù)據(jù)創(chuàng)建DataFrame對象。簡單查詢DataFrame數(shù)據(jù)。探索分析日流量特征。探索分析IP地址的訪問次數(shù)特征。探索分析虛假流量數(shù)據(jù)特征。重點配置SparkSQLCLI。DataFrame的創(chuàng)建、數(shù)據(jù)查看、行列表查詢操作。難點DataFrame的創(chuàng)建、數(shù)據(jù)查看、行列表查詢操作。教學過程設計理論教學過程SparkSQL簡介。配置SparkSQLCLI。SparkSQL與Shell交互。通過結構化數(shù)據(jù)文件創(chuàng)建DataFrame。通過外部數(shù)據(jù)庫創(chuàng)建DataFrame。通過RDD創(chuàng)建DataFrame。通過Hive表創(chuàng)建DataFrame。printSchema()：輸出數(shù)據(jù)模式。show()：查看數(shù)據(jù)。first(head(take(takeAsList()：獲取若干行記錄。條件查詢。查詢指定字段的數(shù)據(jù)信息。查詢指定行數(shù)的數(shù)據(jù)。排序查詢。分組查詢。實踐教學過程創(chuàng)建數(shù)據(jù)庫語法格式。配置SparkSQLCLI。SparkSQL與Shell交互。通過結構化數(shù)據(jù)文件創(chuàng)建DataFrame。通過外部數(shù)據(jù)庫創(chuàng)建DataFrame。通過RDD創(chuàng)建DataFrame。通過Hive表創(chuàng)建DataFrame。查看DataFrame數(shù)據(jù)。printSchema()：輸出數(shù)據(jù)模式。show()：查看數(shù)據(jù)。first(head(take(takeAsList()：獲取若干行記錄。條件查詢。查詢指定字段的數(shù)據(jù)信息。查詢指定行數(shù)的數(shù)據(jù)。排序查詢。分組查詢。讀取數(shù)據(jù)創(chuàng)建DataFrame對象。查詢數(shù)據(jù)記錄數(shù)。查詢數(shù)據(jù)缺失值。探索分析日流量特征。探索分析IP地址的訪問次數(shù)特征。探索分析虛假流量數(shù)據(jù)特征。教材與參考資料教材鄭浩森，張榮．Spark大數(shù)據(jù)技術分析[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數(shù)據(jù)技術與應用（第2版）（微課版）[M]．北京：人民郵電出