2023學(xué)年完整公開課版Spark技術(shù)簡(jiǎn)介

Spark技術(shù)簡(jiǎn)介1.了解Spark技術(shù)背景知識(shí)

2.知道Spark解決問(wèn)題的場(chǎng)景

3.掌握Spark支持的語(yǔ)言及技術(shù)特點(diǎn)

01Spark背景介紹02Spark解決問(wèn)題的場(chǎng)景03Spark支持的語(yǔ)言04Spark技術(shù)的特點(diǎn)Spark背景介紹01背景介紹Spark是加州大學(xué)伯克利分校AMP實(shí)驗(yàn)室（AlgorithmsMachinesandPeopleLab）開發(fā)通用并行計(jì)算框架。Spark在2013年6月進(jìn)入Apache成為孵化項(xiàng)目，8個(gè)月后成為Apache頂級(jí)項(xiàng)目。Spark以其先進(jìn)的設(shè)計(jì)理念，迅速成為社區(qū)的熱門項(xiàng)目，圍繞著Spark推出了SparkSQL、SparkStreaming、MLLib和GraphX等組件，也就是BDAS（伯克利數(shù)據(jù)分析棧），這些組件逐漸形成大數(shù)據(jù)處理一站式解決平臺(tái)。

Spark解決問(wèn)題的場(chǎng)景02解決問(wèn)題的場(chǎng)景Spark的目標(biāo)是使數(shù)據(jù)分析更快，幾乎大數(shù)據(jù)所有的場(chǎng)景Spark都能處理：針對(duì)批次數(shù)據(jù)處理Spark中的SparkCore可以處理；針對(duì)流式數(shù)據(jù)Spark中有SparkStreaming處理；針對(duì)即席數(shù)據(jù)查詢Spark中有SparkSQL處理；針對(duì)圖計(jì)算場(chǎng)景Spark中有SparkGraphx處理；針對(duì)大數(shù)據(jù)中機(jī)器學(xué)習(xí)的場(chǎng)景Spark中有SparkMLlib機(jī)器學(xué)習(xí)庫(kù)來(lái)提供支持。Spark支持的語(yǔ)言03支持的語(yǔ)言目前開發(fā)Spark使用最方便的語(yǔ)言是Scala語(yǔ)言，這得益于Spark底層的源碼是Scala編寫ScalaJavaPythonRSpark支持的語(yǔ)言Spark技術(shù)的特點(diǎn)04技術(shù)的特點(diǎn)速度快簡(jiǎn)單易用通用性運(yùn)行模式多樣特點(diǎn)一：速度快

Spark處理數(shù)據(jù)快的原因：

相對(duì)于Hadoop體系中的MapReduce來(lái)說(shuō)是可以將處理的結(jié)果保存到內(nèi)存中，這樣在迭代計(jì)算的場(chǎng)景下，Spark的速度快的顯著。

Spark底層有DAG執(zhí)行引擎優(yōu)化任務(wù)，Spark是粗粒度的資源調(diào)度框架利于集群中多job資源共享等。特點(diǎn)二：簡(jiǎn)單易用

使用Scala,Java,Python,R,SQL語(yǔ)言編寫Spark程序，Spark針對(duì)以上語(yǔ)言提供了80個(gè)以上的高效的方法，我們可以使用這些方法來(lái)輕松的構(gòu)建并行的分布式應(yīng)用程序，同時(shí)Spark提供了交互式的操作窗口，我們也可以在交互式的操作窗口中對(duì)Spark進(jìn)行編程。特點(diǎn)三：通用性Spark技術(shù)棧提供了豐富的組件，我們可以在一個(gè)組件內(nèi)調(diào)用其他組件的庫(kù)來(lái)進(jìn)行編程，這樣就可以在一個(gè)應(yīng)用程序中無(wú)縫的結(jié)合各個(gè)組件。特點(diǎn)四：運(yùn)行模式多樣Spark可以運(yùn)行在HadoopYarn、ApacheMesos、Kubernetes、SparkStandalone中。Spark可以讀取HDFS、Alluxio、ApacheCassandra、ApacheHBase、ApacheHive等各種源頭的數(shù)據(jù)，SparkApi提供了讀取這些數(shù)據(jù)的支