Spark大數(shù)據(jù)分析平臺

1、DataGuru專業(yè)數(shù)據(jù)分析社區(qū)網(wǎng)址： Spark大數(shù)據(jù)分析平臺2015年，Spark只用了一年多時間，已實(shí)現(xiàn)開源到火爆,亦逐漸顯露出與通用大數(shù)據(jù)平臺Hadoop的分庭抗?fàn)幹畡?。在這個大背景下，在大數(shù)據(jù)領(lǐng)域時代，誰將是獨(dú)領(lǐng)風(fēng)騷？Spark無疑是最大的競爭者，無論是2015Spark技術(shù)峰會，還是國內(nèi)的大數(shù)據(jù)大會，可以看到中國力量正在崛起，Spark最大的集群來自騰訊8000個節(jié)點(diǎn)，單個Job最大分別是阿里巴巴和Databricks1PB,震撼人心！同時，截止2015年6月，Spark的Contributor比2014年漲了3倍，達(dá)到730人；總代碼行數(shù)也比2014年漲了2倍多，達(dá)到40萬行，不

2、但大量的互聯(lián)網(wǎng)企業(yè)已經(jīng)在使用或者正準(zhǔn)備使用Spark，而且大量的電信、金融、證券和傳統(tǒng)企業(yè)已經(jīng)開始引入了Spark。然而作為一個高速發(fā)展中的開源項(xiàng)目，其部署過程中存在的門檻和挑戰(zhàn)亦不可謂不大,本課程將主要介紹Spark1.4.0,引領(lǐng)大家進(jìn)入大數(shù)據(jù)Spark入門。課程大綱：第一課：Spark生態(tài)和安裝部署Spark概述Spark現(xiàn)狀安裝部署Spark安裝簡介Spark的源碼編譯SparkStandalone安裝SparkStandaloneHA安裝Spark工具Spark交互式工具spark-shellSpark應(yīng)用程序部署工具spark-submit第二課：Spark編程模型和解析Spark

3、的編程模型RDD的特點(diǎn)、操作、依賴關(guān)系緩存策略廣播變量和累加器Spark編程環(huán)境搭建Spark編程實(shí)例第三課：Spark運(yùn)行架構(gòu)和解析Spark的運(yùn)行架構(gòu)基本術(shù)語運(yùn)行架構(gòu)（DAGScheduler、TaskSeduler、Task、容錯性、推測機(jī)制、數(shù)據(jù)本地性）SparkonStandalone運(yùn)行過程SparkonYARN運(yùn)行過程第四課：hive入門hive的運(yùn)行架構(gòu)hive的安裝hive的實(shí)例演示第五課：SparkSQL原理和實(shí)踐Spark的運(yùn)行架構(gòu)CatalystsqlontexthiveContextThriftServer和CLIThriftServerCLISparkSQL的實(shí)例演

4、示和編程spark-shell實(shí)例演示spark-sql實(shí)例演示SparkSQL的編程第六課：SparkStreaming原理和實(shí)踐SparkStreaming原理SparkStreaming的原理SparkStreaming的運(yùn)行方式DStream的特點(diǎn)和操作SparkStreaming實(shí)例演示網(wǎng)絡(luò)數(shù)據(jù)演示文本實(shí)例演示W(wǎng)indow操作演示第七課：MLlib入門什么是機(jī)器學(xué)習(xí)MLlib的架構(gòu)Mllib實(shí)例演示聚類算法演示推薦系統(tǒng)演示第八課：GraphX入門圖論基礎(chǔ)GraphX的架構(gòu)GraphX實(shí)例演示圖的基本操作PageRank演示第九課：Spark運(yùn)維SparkOnYARNhistoryse

5、rverjobserverSpark的監(jiān)控SparkUI監(jiān)控第十課：scalaonSparkspark常用的scala基礎(chǔ)如何閱讀spark源代碼如何構(gòu)建spark項(xiàng)目技術(shù)成就夢想DataGuru專業(yè)數(shù)據(jù)分析社區(qū)網(wǎng)址： ATABURU第十一課：Spark編程RDD的編程Spark綜合實(shí)例(SparkSQL+sparkMlib+R)第十二課：Spark源碼研讀Spark源碼總體介紹SparkCore源碼細(xì)解SparkExamples介紹第十三課：雜談Spark相關(guān)項(xiàng)目BlinkDB簡介SparkR的安裝和實(shí)例Techyon授課對象：有Java開發(fā)經(jīng)驗(yàn)或Scala開發(fā)經(jīng)驗(yàn)，最好了解Hadoop,H

6、ive等使用經(jīng)驗(yàn)。課程對于Spark初學(xué)者，Spark開發(fā)人員及Spark運(yùn)維人員都具有比較大的學(xué)習(xí)價值。收獲預(yù)期：深入理解Spark的運(yùn)行原理學(xué)會搭建Spark,hadoop集群環(huán)境完全掌握Spark編程基礎(chǔ)，了解Spark運(yùn)維的基礎(chǔ)知識完成大數(shù)據(jù)入門，可逐漸轉(zhuǎn)崗大數(shù)據(jù)相關(guān)職位。課程環(huán)境:Spark版本：Sparkl.4準(zhǔn)備環(huán)境：CentOS,eclipse或IntelliJIDEA,Scala,JDK,Maven,sbt,Hadoop,hive，建議三臺虛擬機(jī)。授課講師：冰風(fēng)影，超過12年的軟件研發(fā)經(jīng)驗(yàn)，曾在ERP，醫(yī)學(xué)，互聯(lián)網(wǎng)行業(yè)企業(yè)擔(dān)任高級軟件工程ATABURU歸50技術(shù)成就夢想DataGuru專業(yè)數(shù)據(jù)分析社區(qū)網(wǎng)址： 師、架構(gòu)師，技術(shù)總監(jiān)。具備軟件產(chǎn)品設(shè)計(jì)和開發(fā)經(jīng)驗(yàn)，豐富的大型項(xiàng)目架構(gòu)設(shè)計(jì)和編碼經(jīng)驗(yàn)。目前主要的研究方向是大數(shù)據(jù)，分布式技術(shù)，Hadoop和spark。國內(nèi)知名的開源分布式數(shù)據(jù)庫中間件MyCAT的核心開發(fā)成員，在