課程標準 - spark大數(shù)據(jù)技術

大數(shù)據(jù)應用專業(yè)Spark大數(shù)據(jù)技術與應用課程標準一、基本信息1.課程名稱：Spark大數(shù)據(jù)技術與應用2.課程編碼：3.適應對象：三年制大數(shù)據(jù)應用專業(yè)4.總學時：64學時5.學分：56.教學條件：一體化教室、武漢偉創(chuàng)聚贏科技有限公司7.建設團隊：共有教師x人，專職講師x人8.審定機構：教務處9.審定日期：二、課程理念1.課程定位本課程是為大數(shù)據(jù)技術類相關專業(yè)學生開設的課程。Spark繼承了MapReduce分布式計算的優(yōu)點并改進了MapReduce明顯的缺陷。Spark擁有HadoopMapReduce所具有的優(yōu)點，但不同于MapReduce，Spark的中間輸出結果可以保存在內(nèi)存中，從而大大減少了讀寫HDFS的次數(shù)，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習中需要迭代的算法。目前，Spark在企業(yè)中的運用越來越廣泛，學習Spark分布式計算框架已然是進入大數(shù)據(jù)行業(yè)所必不可少的一步。2.課程改革理念大數(shù)據(jù)技術蓬勃發(fā)展，基于開源技術的Hadoop在行業(yè)中應用廣泛。但是Hadoop本身還存在諸多缺陷，最主要的缺陷是其MapReduce計算模型延遲過高，無法勝任實時、快速計算的需求。Spark的誕生彌補了MapReduce的缺陷。3.課程設計思路本課程采用理論與實踐相結合的教學方法。在理論上，通過典型案例引入概念、原理和方法。在實踐上，由教師講解案例背景，提供簡單思路。引導學生對案例進行針對性的分析，審理和討論，擴展學生的思維，增加學生的興趣。通過學生的討論、自主實踐和練習，提高學生的判斷能力，專業(yè)能力和綜合素質。要求學生自主搭建Spark集群、完成章節(jié)任務、掌握基本理論和提升專業(yè)能力。在每章的任務教學中，可適當布置聯(lián)系、組織討論、引導提出擴展的解決方案，充分調動學生的主觀能動性，錘煉學生的專業(yè)精神并提升動手能力，以達到本課程的培養(yǎng)目的。三、課程目標1.總目標通過本課程的學習，使學生對Spark分布式計算框架有一個全面的理解，課程內(nèi)容主要包括了Spark基本原理與架構、集群安裝配置、Scala與Spark編程、Spark代表組件，完整項目案例等精選內(nèi)容。涉及的知識點簡要精到，實踐操作性強。2.具體目標（1）知識目標1.了解Spark概念2掌握如何搭建Spark分布式環(huán)境3掌握SparkRDD的概念4了解Spark的運行流程和原理5掌握RDD的轉化操作和行動操作方法6掌握鍵值對RDD的操作7掌握文本文件的讀取和存儲（2）能力目標 1掌握如何在IDEA中配置Spark編程環(huán)境 2掌握Spark程序的編寫 3掌握SparkSQL使用方法 4掌握SparkStreaming使用方法 5掌握SparkGraphX使用方法 6掌握SparkMLlib使用方法 7學習ALS算法 8掌握MLlib算法包的使用（3）素質目標①學生自主探究學習狀態(tài)②學生合作學習狀態(tài)③學生的自我感受(共鳴度、愉悅度、價值度)④與人合作的積極性四、課程教學內(nèi)容本課程由8個教學項目組成，課程具體教學內(nèi)容見表1。表1課程教學內(nèi)容一覽表序號項目/模塊/任務教學內(nèi)容/任務教學/學習目標教學活動設計教學資源學習地點學時1Spark基礎知識Spark概述Spark基本概念Spark發(fā)展和應用Spark環(huán)境配置方法Spark架構及原理了解Spark概念掌握如何搭建Spark分布式環(huán)境掌握SparkRDD的概念了解Spark的運行流程和原理課件、教案、素材、教學環(huán)境、實踐項目實訓機房42Spark編程從內(nèi)存中已有數(shù)據(jù)創(chuàng)建RDD從外部存儲創(chuàng)建RDDRDD轉化操作和行動操作方法RDD鍵值對操作文件讀取與存儲掌握RDD的轉化操作和行動操作方法掌握鍵值對RDD的操作掌握文本文件的讀取和存儲課件、教案、素材、教學環(huán)境、實踐項目實訓機房83Spark編程進階下載與安裝IntelliJIDEAScala插件安裝與使用配置Spark運行環(huán)境的方法運行Spark程序的方法持久化方法數(shù)據(jù)分區(qū)方法掌握如何在IDEA中配置Spark編程環(huán)境掌握Spark程序的編寫課件、教案、素材、教學環(huán)境、實踐項目實訓機房104SparkSQL：結構化數(shù)據(jù)文件處理SparkSQL簡介SparkSQLCLI配置SparkSQL與Shell交互DataFrame基礎操作方法掌握SparkSQL使用方法課件、教案、素材、教學環(huán)境、實踐項目實訓機房85SparkStreaming：實時計算框架SparkStreaming運行原理SparkStreaming使用方法DStream編程模型基本方法掌握SparkStreaming使用方法課件、教案、素材、教學環(huán)境、實踐項目實訓機房86Python爬蟲高階框架知識SparkGraphX：圖計算框架圖的基本概念圖計算的應用GraphX的基礎概念圖的創(chuàng)建與存儲數(shù)據(jù)查詢與數(shù)據(jù)轉換結構轉換與關聯(lián)聚合掌握SparkGraphX使用方法課件、教案、素材、教學環(huán)境、實踐項目實訓機房87SparkMLlib：功能強大的算法庫機器學習MLlib介紹和應用掌握SparkMLlib使用方法課件、教案、素材、教學環(huán)境、實踐項目實訓機房8項目案例：餐飲平臺菜品智能推薦常用推薦算法異常數(shù)據(jù)處理方法數(shù)據(jù)變換方法學習ALS算法掌握MLlib算法包的使用課件、教案、素材、教學環(huán)境、實踐項目實訓機房12學時合計64五、考核辦法突出學生解決實際問題的能力，加強過程性考核。突出學生解決實際問題的能力，加強過程性考核。課程考核的成績構成=出勤（10%）+平時作業(yè)與課堂練習（30%）+課程設計（60%），題型可采用判斷題、選擇、簡答、應用題等方式。表2課程考試考核內(nèi)容與形式一覽表序號項目/模塊/任務單元教學內(nèi)容理論考試技能考核備注權重內(nèi)容考試形式權重內(nèi)容考核方式1Spark基礎知識Spark概述5%搭建Spark分布式環(huán)境線上學習平臺考核5%掌握SparkRDD的概念、了解Spark的運行流程和原理作業(yè)提交或考試2Spark編程5%掌握RDD的轉化操作和行動操作方法線上學習平臺考核5%掌握鍵值對RDD的操作掌握文本文件的讀取和存儲作業(yè)提交或考試3Spark編程進階8%掌握如何在IDEA中配置Spark編程環(huán)境線上學習平臺考核8%掌握Spark程序的編寫作業(yè)提交或考試4Spark計算框架SparkSQL：結構化數(shù)據(jù)文件處理8%掌握SparkSQL使用方法線上學習平臺考核8%掌握SparkSQL使用方法作業(yè)提交或考試5SparkStreaming：實時計算框架8%掌握SparkStreaming使用方法線上學習平臺考核8%掌握SparkStreaming使用方法作業(yè)提交或考試6SparkGraphX：圖計算框架5%SparkGraphX使用方法線上學習平臺考核5%SparkGraphX使用方法作業(yè)提交或考試7SparkMLlib：功能強大的算法庫5%SparkMLlib使用方法線上學習平臺考核5%SparkMLlib使用方法作業(yè)提交或考試8項目案例：餐飲平臺菜品智能推薦6%學習ALS算法筆試或線上考試6%掌握MLlib算法包的使用作業(yè)提交或考試六、學分計算本課程為專業(yè)必修課，根據(jù)《武漢警官職業(yè)學院學分制管理辦法》，共計5學分。學生必須參加32學時的理論學習和32學時的實驗（實訓、實習、設計等）教學活動，并經(jīng)考核合格才能取得相應學時學分，學分績點根據(jù)課程綜合評定成績計算。課程期末總評成績45～59.9分（按百分制折算）的學生，允許參加正常補考一次，補考內(nèi)容包括理論考試和技能考核，各占50%，總評合格者給予相應學時學分七、教學建議（一）教學方法本課程采用理論與實踐相結合的教學方法。在理論上，通過典型案例引入概念、原理和方法。在實踐上，由教師講解案例背景，提供簡單思路。引導學生對案例進行針對性的分析，審理和討論，擴展學生的思維，增加學生的興趣。通過學生的討論、自主實踐和練習，提高學生的判斷能力，專業(yè)能力和綜合素質。要求學生自主搭建Spark集群、完成章節(jié)任務、掌握基本理論和提升專業(yè)能力。在每章的任務教學中，可適當布置聯(lián)系、組織討論、引導提出擴展的解決方案，充分調動學生的主觀能動性，錘煉學生的專業(yè)精神并提升動手能力，以達到本課程的培養(yǎng)目的。（二）教學條件1.教室機房安裝所有大數(shù)據(jù)VM,Spark,hadoop,scala專業(yè)應用的相關軟件，比如常用軟件虛擬機,等軟件。2.校內(nèi)實訓基地表3XX課程實驗室主要儀器設備實訓室名稱設備名稱規(guī)格數(shù)量大數(shù)據(jù)實訓室教師機I5處理器，8G內(nèi)存，4G獨立顯卡1學生機I5處理器，8G內(nèi)存，4G獨立顯卡50投影儀EPSONCB-X041投影幕布120寸紅葉電動幕布1投影機吊箱定制1音響系統(tǒng)萬利達Y51路由器H3CER31001機柜標準600*600*12001交換機H3CS1024R24口百兆3理線器16空位3服務器晨光溢海1八、資源開發(fā)與利用（一）教材編寫與使用情況教材肖芳，張良均．Spark大數(shù)據(jù)技術與應用[M]．北京：人民郵電出版社．2018