《Spark技術(shù)與應(yīng)用》課程標(biāo)準(zhǔn)

《Spark技術(shù)與應(yīng)用》課程標(biāo)準(zhǔn)學(xué)分：4參考學(xué)時：64一、課程概述1、課程性質(zhì)《Spark技術(shù)與應(yīng)用》課程是大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)的一門專業(yè)核心課程，位于職業(yè)能力形成階段。隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)來源越來越多，數(shù)據(jù)量越來越大，對大數(shù)據(jù)技術(shù)的應(yīng)用需求越來越旺盛，對掌握分布式計算大數(shù)據(jù)技術(shù)的人才需求也越來越迫切。用于大數(shù)據(jù)的分布式計算技術(shù)也在向更廣的適用性、更高的運行效率、更便捷的開發(fā)、更加的系統(tǒng)化等變化，形成了以Hadoop+Spark為核心的技術(shù)生態(tài)系統(tǒng)，其中Spark基于內(nèi)存的分布式計算引擎正在逐漸代替Hadoop的MapReduce分布式計算模型而被廣泛使用。本課程是一門技術(shù)性、實踐性很強的專業(yè)課程。本課程圍繞數(shù)據(jù)采集、數(shù)據(jù)清洗、大數(shù)據(jù)分析、大數(shù)據(jù)可視化、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)運維等大數(shù)據(jù)技術(shù)與服務(wù)主要崗位的知識與技能，培養(yǎng)學(xué)生的大數(shù)據(jù)處理分析與應(yīng)用能力和大數(shù)據(jù)相關(guān)崗位職業(yè)素養(yǎng)。本課程與其它課程的銜接：前置課程：大數(shù)據(jù)基礎(chǔ)。后續(xù)課程：生產(chǎn)性實訓(xùn)。2、設(shè)計思路（1）本課程設(shè)置的依據(jù)本課程是面向大數(shù)據(jù)技術(shù)與服務(wù)崗位設(shè)置。針對在實際工作中從事大數(shù)據(jù)處理分析與應(yīng)用所需的知識、技能和素質(zhì)要求設(shè)置課程。（2）課程內(nèi)容確定的依據(jù)以就業(yè)為導(dǎo)向，進行學(xué)生的就業(yè)面向和職業(yè)崗位任職要求分析，基于工作過程系統(tǒng)化的理念開發(fā)課程。在課程設(shè)計的整個過程中以學(xué)生就業(yè)“所需”為主體，突出“幫助學(xué)生養(yǎng)成良好的職業(yè)道德”和“培養(yǎng)具有適應(yīng)就業(yè)需要的專業(yè)技能”，促進學(xué)生能夠可持續(xù)發(fā)展，提高其終身學(xué)習(xí)的能力。課程設(shè)計遵循“調(diào)研→設(shè)計→實現(xiàn)→運行→反饋→改進”的項目開發(fā)過程，以大數(shù)據(jù)處理分析與應(yīng)用能力培養(yǎng)為主線，融入大數(shù)據(jù)相關(guān)行業(yè)及企業(yè)的職業(yè)要素，使課程的職業(yè)性、實踐性和開放性得以充分體現(xiàn)。根據(jù)人才市場的調(diào)查，在各類企事業(yè)單位中，大數(shù)據(jù)技術(shù)與服務(wù)相關(guān)工作崗位有：數(shù)據(jù)采集、數(shù)據(jù)清洗、大數(shù)據(jù)分析、大數(shù)據(jù)可視化、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)運維等。本課程的教學(xué)立足于大數(shù)據(jù)技術(shù)與服務(wù)相關(guān)崗位，培養(yǎng)學(xué)生的大數(shù)據(jù)處理分析與應(yīng)用能力和大數(shù)據(jù)相關(guān)崗位職業(yè)素養(yǎng)，為學(xué)生的可持續(xù)發(fā)展奠定基礎(chǔ)。（3）學(xué)習(xí)任務(wù)的基本架構(gòu)及活動設(shè)計的基本思路根據(jù)大數(shù)據(jù)技術(shù)與服務(wù)崗位的職業(yè)能力要求，基于能力培養(yǎng)和訓(xùn)練，以典型工作任務(wù)為載體，按照從簡單到復(fù)雜的過程，組織項目化、案例化的學(xué)習(xí)情境，完成課程設(shè)計。課程教學(xué)以大數(shù)據(jù)實際生產(chǎn)過程設(shè)計教學(xué)項目，每個項目又分解出多個學(xué)習(xí)型工作任務(wù)，組織設(shè)計教學(xué)情境。以模擬生產(chǎn)“邊學(xué)邊練”的形式實施教學(xué)，使學(xué)生在項目實施過程中完成知識的學(xué)習(xí)和技能訓(xùn)練，針對學(xué)習(xí)情境中的任務(wù)完成情況，結(jié)合項目任務(wù)書對學(xué)生進行實時考核與評價。本課程通過項目教學(xué)使學(xué)生能運用Spark開發(fā)分布式應(yīng)用程序。項目編號項目名稱工作任務(wù)任務(wù)編號任務(wù)名稱項目1認識Scala語言任務(wù)1初識Scala任務(wù)2學(xué)習(xí)Scala的基礎(chǔ)語法任務(wù)3學(xué)習(xí)Scala的數(shù)據(jù)結(jié)構(gòu)任務(wù)4學(xué)習(xí)Scala面向?qū)ο蟮奶卣魅蝿?wù)5學(xué)習(xí)Scala的模式匹配與樣例類項目2部署和使用Spark集群任務(wù)6初識Spark任務(wù)7搭建Spark開發(fā)環(huán)境任務(wù)8認識Spark運行架構(gòu)與原理任務(wù)9使用Spark集群完成基本操作項目3使用SparkRDD彈性分布式數(shù)據(jù)集任務(wù)10使用多種方式創(chuàng)建RDD任務(wù)11操作處理RDD任務(wù)12認識RDD的分區(qū)和依賴關(guān)系任務(wù)13認識RDD兩種處理機制任務(wù)14認識Spark任務(wù)調(diào)度流程項目4使用SparkSQL處理結(jié)構(gòu)化數(shù)據(jù)任務(wù)15認識SparkSQL任務(wù)16認識DataFrame任務(wù)17認識Dataset任務(wù)18將RDD轉(zhuǎn)換為DataFrame任務(wù)19使用SparkSQL操作數(shù)據(jù)源項目5使用SparkStreaming框架進行實時計算任務(wù)20認識SparkStreaming任務(wù)21使用Spark的DStream進行操作項目6認識SparkMLlib機器學(xué)習(xí)算法庫任務(wù)22初識機器學(xué)習(xí)任務(wù)23認識Spark機器學(xué)習(xí)庫MLlib通過6個項目，學(xué)生學(xué)習(xí)后具有Scala語言基礎(chǔ)，掌握Spark的設(shè)計與運行原理，具備Spark環(huán)境搭建和使用能力，具備Spark核心RDD編程能力、具備SparkSQL、SparkStreaming、Spark機器學(xué)習(xí)等Spark組件編程能力。（4）教學(xué)方法本課程的實踐性強，因此采用“教學(xué)做一體化教學(xué)”，以項目為載體展開教學(xué)。學(xué)習(xí)任務(wù)按企業(yè)工作崗位技能要求內(nèi)容進行，使學(xué)生掌握實際工作方法，提高Spark技術(shù)與應(yīng)用能力，同時可以培養(yǎng)科學(xué)思維能力、語言文字能力、溝通交流能力、環(huán)保意識、批判性思維等職業(yè)素質(zhì)。二、課程目標(biāo)（職業(yè)能力目標(biāo)）1.知識目標(biāo)：（1）掌握Scala語言基礎(chǔ)的相關(guān)知識；（2）掌握Spark基礎(chǔ)中的基本概念、原理和相關(guān)操作；（3）掌握Spark核心RDD編程知識；（4）掌握SparkSQL組件的編程知識；（5）掌握SparkStreaming組件的編程知識；（6）掌握Spark機器學(xué)習(xí)的工作流程。2.能力目標(biāo)：（1）能夠掌握Scala環(huán)境的安裝配置，熟悉Scala語法規(guī)范，并實現(xiàn)使用Scala語言編寫自己的第一個Scala程序；（2）能夠獨立搭建Spark集群和SparkHA集群，同時對Spark系統(tǒng)的基礎(chǔ)操作和基本原理有初步了解；（3）了解RDD處理數(shù)據(jù)核心思想，并且能夠使用RDD編程，通過調(diào)用API實現(xiàn)對RDD的各種操作，解決實際中的數(shù)據(jù)分析問題；（4）能夠掌握利用SparkSQL操作MySQL和Hive兩種常見數(shù)據(jù)源，執(zhí)行SQL語句讀寫數(shù)據(jù)庫，實現(xiàn)對結(jié)構(gòu)化數(shù)據(jù)的處理；（5）能夠掌握SparkStreaming程序的開發(fā)步驟；（6）能夠了解機器學(xué)習(xí)和SparkMLlib機器學(xué)習(xí)庫的概念，及理解Spark機器學(xué)習(xí)的工作流程。3.素質(zhì)目標(biāo)：（1）培養(yǎng)學(xué)生愛國主義情懷；（2）培養(yǎng)學(xué)生具有居安思危意識；（3）培養(yǎng)學(xué)生具有不怕困難，迎面而上的精神；（4）培養(yǎng)學(xué)生敢于質(zhì)疑，勇于自主創(chuàng)新的精神；（5）培養(yǎng)學(xué)生注意網(wǎng)絡(luò)安全，具有保護個人信息意識；（6）培養(yǎng)學(xué)生發(fā)現(xiàn)問題、解決問題的能力；（7）培養(yǎng)學(xué)生自主、開放的學(xué)習(xí)能力；（8）培養(yǎng)學(xué)生誠實守信、嚴(yán)謹求實、敬業(yè)樂業(yè)的工作作風(fēng)。三、能力解析表能力目標(biāo)能進行Scala語言編程編號1具體描述了解Scala語言基礎(chǔ)知識，能夠進行面向?qū)ο缶幊毯秃瘮?shù)式編程。步驟1．初識Scala2．Scala的基礎(chǔ)語法3．Scala的數(shù)據(jù)結(jié)構(gòu)4．Scala面向?qū)ο蟮奶匦?．Scala的模式匹配與樣例類工具與設(shè)備1．計算機、互聯(lián)網(wǎng)2．虛擬機、Linux3．Spark軟件知識基礎(chǔ)1．大數(shù)據(jù)基本概念2．Scala語言基本概念通用能力與職業(yè)素質(zhì)科學(xué)思維能力、信息處理能力、與人合作能力、環(huán)保意識、批判性思維考核標(biāo)準(zhǔn)1．正確理解Scala語言特點2．正確理解Scala基礎(chǔ)知識、數(shù)據(jù)結(jié)構(gòu)3．正確進行面向?qū)ο缶幊?．正確進行函數(shù)式編程5．正確解決操作時遇到的問題6．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語能力目標(biāo)能掌握Spark的設(shè)計與運行原理編號2具體描述了解Spark概念、Spark生態(tài)系統(tǒng)、Spark運行架構(gòu)，能夠進行Spark的部署。步驟1．Spark概述2．Spark生態(tài)系統(tǒng)3．Spark運行架構(gòu)4．Spark的部署方式工具與設(shè)備1．計算機、互聯(lián)網(wǎng)2．虛擬機、Linux3．Spark軟件知識基礎(chǔ)1．大數(shù)據(jù)基本概念2．Spark基本概念通用能力與職業(yè)素質(zhì)科學(xué)思維能力、信息處理能力、與人合作能力、環(huán)保意識、批判性思維考核標(biāo)準(zhǔn)1．正確理解Spark概念2．正確理解Spark生態(tài)系統(tǒng)3．正確理解Spark運行架構(gòu)4．正確理解Spark的部署方式5．正確解決操作時遇到的問題6．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語能力目標(biāo)能進行Spark環(huán)境搭建和使用編號3具體描述能夠安裝Spark，在spark—shell中運行代碼，開發(fā)Spark獨立應(yīng)用程序，搭建Spark集群環(huán)境，在集群上運行Spark應(yīng)用程序。步驟1．安裝Spark2．在spark—shell中運行代碼3．開發(fā)Spark獨立應(yīng)用程序4．Spark集群環(huán)境搭建5．在集群上運行Spark應(yīng)用程序工具與設(shè)備1．計算機、互聯(lián)網(wǎng)2．虛擬機、Linux3．Spark軟件知識基礎(chǔ)1．大數(shù)據(jù)基本概念2．Spark基本概念通用能力與職業(yè)素質(zhì)科學(xué)思維能力、信息處理能力、與人合作能力、環(huán)保意識、批判性思維考核標(biāo)準(zhǔn)1．正確安裝Spark2．在spark—shell中正確運行代碼3．正確開發(fā)Spark獨立應(yīng)用程序4．正確搭建Spark集群環(huán)境搭建5．在集群上正確運行Spark應(yīng)用程序6．正確解決操作時遇到的問題7．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語能力目標(biāo)能進行RDD編程編號4具體描述能夠進行RDD基礎(chǔ)編程，鍵值對RDD編程，數(shù)據(jù)讀寫編程，并能綜合運用。步驟1．RDD概述與創(chuàng)建方式2．RDD的處理過程3．RDD的分區(qū)和依賴關(guān)系4．RDD機制5．Spark的任務(wù)調(diào)度工具與設(shè)備1．計算機、互聯(lián)網(wǎng)2．虛擬機、Linux3．Spark軟件知識基礎(chǔ)1．大數(shù)據(jù)基本概念2．Spark基本概念通用能力與職業(yè)素質(zhì)科學(xué)思維能力、信息處理能力、與人合作能力、環(huán)保意識、批判性思維考核標(biāo)準(zhǔn)1．正確進行RDD基礎(chǔ)編程2．正確理解RDD的處理過程3．正確理解RDD的分區(qū)、依賴關(guān)系、機制與任務(wù)調(diào)度4．正確進行綜合運用5．正確解決操作時遇到的問題6．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語能力目標(biāo)能進行SparkSQL編程編號5具體描述了解SparkSQL概念，能夠進行DataFrame編程，從RDD轉(zhuǎn)換得到DataFrame，使用SparkSQL讀寫數(shù)據(jù)庫。步驟1．SparkSQL的基礎(chǔ)知識2．DataFrame的基礎(chǔ)知識3．Dataset的基礎(chǔ)知識4．RDD轉(zhuǎn)換為DataFrame5．SparkSQL操作數(shù)據(jù)源工具與設(shè)備1．計算機、互聯(lián)網(wǎng)2．虛擬機、Linux3．Spark軟件知識基礎(chǔ)1．大數(shù)據(jù)基本概念2．Spark基本概念通用能力與職業(yè)素質(zhì)科學(xué)思維能力、信息處理能力、與人合作能力、環(huán)保意識、批判性思維考核標(biāo)準(zhǔn)1．正確理解SparkSQL概念2．正確進行DataFrame編程3．正確理解Dataset及掌握Dataset的創(chuàng)建方法4．從RDD正確轉(zhuǎn)換得到DataFrame5．正確使用SparkSQL讀寫數(shù)據(jù)庫6．正確解決操作時遇到的問題7．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語能力目標(biāo)能進行SparkStreaming編程編號6具體描述了解流計算概念、SparkStreaming原理與特點、DStream操作概念，能夠進行基本輸入源操作、高級數(shù)據(jù)源操作、轉(zhuǎn)換操作、輸出操作、StructuredStreaming操作。步驟1．SparkStreaming概述2．Spark的DStream工具與設(shè)備1．計算機、互聯(lián)網(wǎng)2．虛擬機、Linux3．Spark軟件知識基礎(chǔ)1．大數(shù)據(jù)基本概念2．Spark基本概念通用能力與職業(yè)素質(zhì)科學(xué)思維能力、信息處理能力、與人合作能力、環(huán)保意識、批判性思維考核標(biāo)準(zhǔn)1．正確理解流計算概念2．正確理解SparkStreaming原理與特點3．正確理解DStream操作概念4．正確進行轉(zhuǎn)換操作5．正確進行輸出操作6．正確解決操作時遇到的問題7．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語能力目標(biāo)能進行Spark機器學(xué)習(xí)編程編號7具體描述了解Spark機器學(xué)習(xí)、SparkMllib的概述及SparkMllib機器學(xué)習(xí)庫的應(yīng)用。步驟1．初識機器學(xué)習(xí)2．Spark機器學(xué)習(xí)庫Mllib的概述工具與設(shè)備1．計算機、互聯(lián)網(wǎng)2．虛擬機、Linux3．Spark軟件知識基礎(chǔ)1．大數(shù)據(jù)基本概念2．Spark基本概念通用能力與職業(yè)素質(zhì)科學(xué)思維能力、信息處理能力、與人合作能力、環(huán)保意識、批判性思維考核標(biāo)準(zhǔn)1．正確理解Spark機器學(xué)習(xí)概念2．正確理解機器SparkMllib概念3．正確解決操作時遇到的問題4．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語四、課程內(nèi)容1．基本框架序號學(xué)習(xí)任務(wù)學(xué)習(xí)活動教學(xué)方法參考學(xué)時1認識Scala語言1.1初識Scala講解項目制作21.2學(xué)習(xí)Scala基礎(chǔ)知識講解項目制作21.3學(xué)習(xí)Scala的數(shù)據(jù)結(jié)構(gòu)講解項目制作41.4學(xué)習(xí)Scala面向?qū)ο蟮奶卣髦v解項目制作21.5學(xué)習(xí)Scala的模式匹配與樣例類講解項目制作22部署和使用Spark集群2.1初識Spark講解22.2搭建Spark開發(fā)環(huán)境講解42.3認識Spark運行架構(gòu)與原理講解22.4使用Spark集群完成基本操作講解項目制作43使用SparkRDD彈性分布式數(shù)據(jù)集3.1使用多種方式創(chuàng)建RDD講解項目制作43.2操作處理RDD講解項目制作63.3認識RDD的分區(qū)和依賴關(guān)系講解項目制作23.4認識RDD兩種機制講解項目制作23.5認識Spark任務(wù)調(diào)度流程講解項目制作24使用SparkSQL處理結(jié)構(gòu)化數(shù)據(jù)4.1認識SparkSQL講解24.2認識DataFrame講解項目制作24.3認識Dataset講解項目制作24.4將RDD轉(zhuǎn)換為DataFrame講解項目制作24.5使用parkSQL操作數(shù)據(jù)源講解項目制作45使用SparkStreaming框架進行實時計算5.1認識SparkStreaming講解25.2使用Spark的DStream進行操作講解項目制作66認識SparkMLlib機器學(xué)習(xí)算法庫6.1初識機器學(xué)習(xí)講解26.2認識Spark機器學(xué)習(xí)庫MLlib講解項目制作22．主要內(nèi)容與要求項目1：認識Scala語言1.1初識Scala1、Scala概述2、Scala的下載與安裝3、在IDEA開發(fā)工具中下載安裝Scala插件4、開發(fā)第一個Scala程序1.2學(xué)習(xí)Scala的基礎(chǔ)語法1、聲明值和變量2、數(shù)據(jù)類型3、算術(shù)和操作符重載4、控制結(jié)構(gòu)語句5、方法和函數(shù)1.3學(xué)習(xí)Scala的數(shù)據(jù)結(jié)構(gòu)1、數(shù)組2、元組3、集合1.4學(xué)習(xí)Scala面向?qū)ο蟮奶卣?、類和對象2、繼承3、單例對象和伴生對象4、特質(zhì)1.5學(xué)習(xí)Scala的模式匹配與樣例類1、模式匹配2、樣例類項目2：部署和使用Spark集群2.1初識Spark1、Spark概述2、Spark的特點3、Spark的應(yīng)用場景4、Spark與Hadoop對比2.2搭建Spark開發(fā)環(huán)境1、環(huán)境準(zhǔn)備2、Spark的部署方式3、Spark集群安裝部署4、SparkHA集群部署2.3認識Spark運行架構(gòu)與原理1、基本概念2、Spark集群運行架構(gòu)3、Spark運行基本流程2.4使用Spark集群完成基本操作1、體驗第一個Spark程序2、啟動Spark—Shell3、IDEA開發(fā)WordCount程序項目3：使用SparkRDD彈性分布式數(shù)據(jù)集3.1使用多種方式創(chuàng)建RDD1、RDD簡介2、RDD的創(chuàng)建方式3.2操作處理RDD1、轉(zhuǎn)換算子2、行動算子3、編寫WordCount詞頻統(tǒng)計案例3.3認識RDD的分區(qū)和依賴關(guān)系1、RDD的分區(qū)2、RDD的依賴關(guān)系3.4認識RDD兩種處理機制1、持久化機制2、容錯機制3.5認識Spark任務(wù)調(diào)度流程1、DAG的概念2、RDD在Spark中的運行流程項目4：使用SparkSQL處理結(jié)構(gòu)化數(shù)據(jù)4.1認識SparkSQL1、SparkSQL的簡介2、SparkSQL架構(gòu)4.2認識DataFrame1、DataFrame簡介2、DataFrame的創(chuàng)建3、DataFrame的常用操作4.3認識Dataset1、Dataset2、Dataset對象的創(chuàng)建4.4將RDD轉(zhuǎn)換為DataFrame1、反射機制推斷Schema2、編程方式定義Schema4.5使用SparkSQL操作數(shù)據(jù)源1、操作MySQL2、操作Hive數(shù)據(jù)集項目5：使用SparkStreaming框架進行實時計算5.1認識SparkStreaming1、實時計算的基礎(chǔ)知識2、SparkStreaming的基礎(chǔ)知識5.2使用Spark的Dstream進行操作1、Dstream簡介與編程模型2、Dstream轉(zhuǎn)換操作3、Dstream窗口操作4、Dstream輸出操作項目6：認識SparkMLlib機器學(xué)習(xí)算法庫6.1初識機器學(xué)習(xí)1、什么是機器學(xué)習(xí)2、機器學(xué)習(xí)的應(yīng)用6.2認識Spark機器學(xué)習(xí)庫MLlib1、MLlib的簡介2、Spark機器學(xué)習(xí)工作流程五、考核方案（一）職業(yè)能力目標(biāo)考核方案序號職業(yè)能力目標(biāo)考核標(biāo)準(zhǔn)考核方式證據(jù)材料1能進行Scala語言編程1．正確理解Scala語言特點2．正確理解Scala基礎(chǔ)知識3．正確進行面向?qū)ο缶幊?．正確進行函數(shù)式編程5．正確解決操作時遇到的問題6．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語項目制作Scala下載、安裝和學(xué)習(xí)Scala基礎(chǔ)操作項目報告2能掌握Spark的設(shè)計與運行原理1．正確理解Spark概念2．正確理解Spark生態(tài)系統(tǒng)3．正確理解Spark運行架構(gòu)4．正確理解Spark的部署方式5．正確解決操作時遇到的問題6．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語項目制作Spark的設(shè)計與運行原理項目報告3能進行Spark環(huán)境搭建和使用1．正確安裝Spark2．在spark—shell中正確運行代碼3．正確開發(fā)Spark獨立應(yīng)用程序4．正確搭建Spark集群環(huán)境搭建5．在集群上正確運行Spark應(yīng)用程序6．正確解決操作時遇到的問題7．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語項目制作Spark和SparkHA集群環(huán)境搭建操作項目報告4能進行RDD編程1．正確進行RDD基礎(chǔ)編程2．正確理解RDD的處理過程3．正確理解RDD的分區(qū)、依賴關(guān)系、機制與任務(wù)調(diào)度4．正確進行綜合運用5．正確解決操作時遇到的問題6．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語項目制作RDD創(chuàng)建、轉(zhuǎn)換算子和行動算子常用操作項目報告5能進行SparkSQL編程1．正確理解SparkSQL概念2．正確進行DataFrame編程3．正確理解Dataset及掌握Dataset的創(chuàng)建方法4．從RDD正確轉(zhuǎn)換得到DataFrame5．正確使用SparkSQL讀寫數(shù)據(jù)庫6．正確解決操作時遇到的問題7．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語項目制作DataFrame創(chuàng)建、Dataset創(chuàng)建、RDD轉(zhuǎn)換為DataFrame、Spark進行數(shù)據(jù)庫讀寫操作項目報告6能進行SparkStreaming編程1．正確理解流計算概念2．正確理解SparkStreaming原理與特點3．正確理解DStream操作概念4．正確進行轉(zhuǎn)換操作5．正確進行輸出操作6．正確進行StructuredStreaming操作7．正確解決操作時遇到的問題8．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語項目制作編寫程序?qū)崿F(xiàn)DStream的轉(zhuǎn)換操作、窗口操作和輸出操作項目報告7能進行Spark機器學(xué)習(xí)編程1．正確理解Spark機器學(xué)習(xí)概念2．正確理解機器SparkMllib概念3．正確解決操作時遇到的問題4．報告符合體例，描述條理清晰，正確使用專業(yè)術(shù)語項目制作Spark機器學(xué)習(xí)項目報告總成績計算公式：總成績的構(gòu)成：總評成績=平時成績*60%+期中成績*20%+期末成績*20%平時成績考核項目：任務(wù)成績、考勤、課堂討論、網(wǎng)絡(luò)課程資源學(xué)習(xí)、章節(jié)測驗期中成績：主要測試期中之前所有知識點。期末成績：期中之后的所有知識點的考核。具體考核情況如下：項目內(nèi)容項目所占比例所占總評成績的比例平時成績?nèi)蝿?wù)成績40%60%考勤5%課堂討論5%網(wǎng)絡(luò)課程資源學(xué)習(xí)5%章節(jié)測驗5%期中成績網(wǎng)上測試期中之前知識點20%20%期末成績期中之后知識點20%20%項目內(nèi)容項目所占比例所占總評成績的比例平時成績?nèi)蝿?wù)成績40%60%考勤5%課堂討論5%網(wǎng)絡(luò)課程資源學(xué)習(xí)5%章節(jié)測驗5%期中成績網(wǎng)上測試期中之前知識點20%20%期末成績期中之后知識點20%20%評價標(biāo)準(zhǔn)：考核點考核比例評價標(biāo)準(zhǔn)優(yōu)秀（86—100）良好（70—85）及格（60—69）不及格（60以下）任務(wù)實操40%能夠依據(jù)項目指導(dǎo)書完成任務(wù)書的全部內(nèi)容，能夠獨立解決項目中出現(xiàn)的問題，并總結(jié)相關(guān)問題形成文檔；總結(jié)報告排版美觀，圖文并茂，內(nèi)容詳細有條理。能夠依據(jù)項目指導(dǎo)書完成任務(wù)書的全部內(nèi)容，總結(jié)報告排版符合要求，不存在明顯錯誤，內(nèi)容較詳細。能夠依據(jù)項目指導(dǎo)書完成任務(wù)書的80%內(nèi)容，總結(jié)報告排版基本符合要求，不存在明顯錯誤，內(nèi)容較詳細。能夠依據(jù)項目指導(dǎo)書完成任務(wù)書的50%內(nèi)容，總結(jié)報告排版較差，存在明顯錯誤，內(nèi)容不夠詳細?？记?%按要求參與學(xué)習(xí)，無遲到、無早退、無曠課，缺勤5%以下，缺勤包括事假、病假和曠課，三次遲到或早退為一次曠課。按要求參與學(xué)習(xí)，有遲到、有早退、無曠課，缺勤10%以下，缺勤包括事假、病假和曠課，三次遲到或早退為一次曠課。按要求參與學(xué)習(xí)，有遲到、有早退、有曠課，缺勤20%以下，缺勤包括事假、病假和曠課，三次遲到或早退為一次曠課。不按要求參與學(xué)習(xí)，有遲到、有早退、有曠課，缺勤40%以上，缺勤包括事假、病假和曠課，三次遲到或早退為一次曠課。課堂討論5%積極參與課堂討論，每個課堂討論的回帖次數(shù)為3次以上。積極參與課堂討論，每個課堂討論的回帖次數(shù)為2次以上。積極參與課堂討論，每個課堂討論的回帖次數(shù)為1次以上。不能積極參與課堂討論，總回帖字數(shù)小于6次。網(wǎng)絡(luò)課程資源學(xué)習(xí)5%認真學(xué)習(xí)網(wǎng)絡(luò)課程資源，學(xué)習(xí)完成率為95%以上。認真學(xué)習(xí)網(wǎng)絡(luò)課程資源，學(xué)習(xí)完成率為75%以上。認真學(xué)習(xí)網(wǎng)絡(luò)課程資源，學(xué)習(xí)完成率為65%以上。不能認真學(xué)習(xí)網(wǎng)絡(luò)課程資源，學(xué)習(xí)完成率為60%以下。章節(jié)測驗5%章節(jié)測驗平均分86分以上章節(jié)測驗平均分70分以上章節(jié)測驗平均分60分以上章節(jié)測驗平均分60分以下期中考核20%期中成績86分以上期中成績70分以上期中成績60分以上期中成績60分以下期末考核20%期末成績86分以上期末成績70分以上期末成績60分以上期末成績60分以下六、教學(xué)文件資源開發(fā)意見1．課程教學(xué)設(shè)計方案編寫意見課程教學(xué)設(shè)計的內(nèi)容包括：課程總體方案設(shè)計、學(xué)習(xí)任務(wù)方案設(shè)計和學(xué)習(xí)活動方案設(shè)計。其中課程總體方案設(shè)計包括課程總體的學(xué)習(xí)內(nèi)容、教學(xué)內(nèi)容、組織形式、能力目標(biāo)、學(xué)習(xí)成果要求、考核方案和教學(xué)組織設(shè)計等。學(xué)習(xí)任務(wù)方案設(shè)計包括每個任務(wù)的學(xué)習(xí)內(nèi)容、能力目標(biāo)、專業(yè)知識、學(xué)習(xí)環(huán)境、專業(yè)工作方法、學(xué)習(xí)成果、評價標(biāo)準(zhǔn)和教學(xué)組織的設(shè)計。學(xué)習(xí)活動方案設(shè)計包括每個活動的學(xué)習(xí)內(nèi)容、能力目標(biāo)、學(xué)習(xí)成果、評價方案和評分標(biāo)準(zhǔn)、教學(xué)組織、教學(xué)過程等的設(shè)計。課程總體方案中的學(xué)習(xí)內(nèi)容、教學(xué)內(nèi)容要與課標(biāo)保持一致，能力目標(biāo)要包含課標(biāo)中的能力目標(biāo)，考核方案要注重過程考核。學(xué)習(xí)任務(wù)方案是課程總體方案的細化，每個任務(wù)的學(xué)習(xí)內(nèi)容、能力目標(biāo)要與課標(biāo)保持一致，學(xué)習(xí)成果為完成任務(wù)的所有成果列表，成果包括任務(wù)成果和過程資料。學(xué)習(xí)活動方案描述了學(xué)習(xí)任務(wù)方案中每一個活動的內(nèi)容，屬于相同任務(wù)的學(xué)習(xí)活動中的學(xué)習(xí)內(nèi)容、能力目標(biāo)、學(xué)習(xí)成果應(yīng)涵蓋學(xué)習(xí)任務(wù)方案中的內(nèi)容。根據(jù)專業(yè)人才培養(yǎng)目標(biāo)和崗位技能要求，編寫課程教學(xué)設(shè)計方案，并定期對教學(xué)文件進行討論和修改，以適應(yīng)教學(xué)改革和人才培養(yǎng)的需要。同時，及時將在教學(xué)過程中發(fā)現(xiàn)的問題和新想法在一起交流，不斷完善課程教學(xué)設(shè)計方案，保持課程教學(xué)設(shè)計方案的先進性。2．項目指導(dǎo)書（教學(xué)案例集）、校本教材等教學(xué)資料的開發(fā)思路與意見項目指導(dǎo)書包括：項目目的、項目內(nèi)容、學(xué)習(xí)內(nèi)容、學(xué)習(xí)方法和步驟、需要的工具、容易出現(xiàn)的問題及如何解決等方面。項目指導(dǎo)書按照項目任務(wù)分章節(jié)編寫。每個任務(wù)均需要描述學(xué)習(xí)內(nèi)容、能力目標(biāo)、學(xué)習(xí)成果列表、評價方案和評分標(biāo)準(zhǔn)；描述任務(wù)完成的步驟；描述會發(fā)生的問題及問題的解決辦法。學(xué)生可以按照項目指導(dǎo)書中的任務(wù)步驟完成相關(guān)任務(wù)。校本教材：編撰校本教材要優(yōu)化教學(xué)內(nèi)容，滿足學(xué)生的個性發(fā)展需要。準(zhǔn)確把握素材深度廣度，使理論化、系統(tǒng)化的知識通過生動形象的載體表現(xiàn)出來。編排順序靈活多樣，可以突破統(tǒng)編教材以知識及能力的螺旋遞進為經(jīng)線進行編排的體例，構(gòu)建全新教材結(jié)構(gòu)，各模塊既各自獨立又相互聯(lián)系，使學(xué)生能更好理解教材內(nèi)容，化抽象為形象，化深奧為淺顯。校本教材應(yīng)該是一個由基本概念、原理和基本材料等組成的有機知