Spark大數(shù)據(jù)分析實(shí)務(wù) 課件 項(xiàng)目2 Spark大數(shù)據(jù)環(huán)境安裝搭建-技能拓展+測(cè)試題V1.0

Spark大數(shù)據(jù)環(huán)境安裝搭建技能拓展+測(cè)試題技能拓展1.搭建單機(jī)版環(huán)境單機(jī)版環(huán)境可以滿足對(duì)Spark的應(yīng)用程序測(cè)試工作，對(duì)于初學(xué)者而言是非常有益的。搭建單機(jī)版Spark集群的步驟如下。在Spark官網(wǎng)選擇對(duì)應(yīng)版本的Spark安裝包并下載至Windows本地路徑下。將Spark安裝包上傳至Linux虛擬機(jī)的/opt目錄下。將Spark安裝包解壓至/usr/local目錄下，如代碼248所示。解壓后，單機(jī)版的Spark集群即可搭建成功。技能拓展進(jìn)入Spark安裝目錄的/bin目錄下，使用SparkPi計(jì)算Pi的值，如代碼249所示，其中，參數(shù)“2”是指兩個(gè)并行度，運(yùn)行結(jié)果如下圖。需要注意的是，由于計(jì)算Pi的過程是基于隨機(jī)點(diǎn)的生成和判斷，所以每次運(yùn)行時(shí)結(jié)果都會(huì)有一定的誤差。技能拓展2.搭建單機(jī)偽分布式環(huán)境Spark單機(jī)偽分布式集群指的是在一臺(tái)機(jī)器上既有Master進(jìn)程，又有Worker進(jìn)程。Spark單機(jī)偽分布式集群可在Hadoop偽分布式的基礎(chǔ)上進(jìn)行搭建。讀者可自行了解如何搭建Hadoop偽分布式集群（本書使用的Hadoop安裝包版本為3.1.4），本書不做介紹。搭建Spark單機(jī)偽分布式集群的步驟如下。將Spark安裝包解壓至Linux的/usr/local目錄下。復(fù)制配置文件。進(jìn)入解壓后的Spark安裝目錄的/conf目錄下，復(fù)制spark-env.sh.template文件并重命名為spark-env.sh。技能拓展修改配置文件。使用vim命令打開spark-env.sh文件，在文件末尾添加內(nèi)容。啟動(dòng)Spark單機(jī)偽分布式集群。切換到Spark安裝目錄的/sbin目錄下，啟動(dòng)Spark單機(jī)偽分布式集群。查看進(jìn)程。通過命令“jps”查看進(jìn)程，如果既有Master進(jìn)程又有Worker進(jìn)程，那么說明Spark單機(jī)偽分布式集群啟動(dòng)成功，如下圖。技能拓展計(jì)算SparkPi。切換至Spark安裝包的/bin目錄下，使用SparkPi計(jì)算Pi的值，運(yùn)行結(jié)果如下圖。注意：由于計(jì)算Pi采用隨機(jī)數(shù)，所以每次計(jì)算結(jié)果也會(huì)有差異。知識(shí)測(cè)試（1）下列不屬于Hadoop集群環(huán)境搭建模式的是（）。A．單機(jī)環(huán)境B．偽分布式環(huán)境C．完全分布式環(huán)境D．嵌入式分布式環(huán)境（2）配置Hadoop時(shí)，下列配置文件中包含JAVA_HOME變量的是（）。A．hadoop-default.xmlB．hadoop-env.shC．hadoop-site.xmlD．configuration.xs知識(shí)測(cè)試（3）在CentOS7.8版本的Linux系統(tǒng)中，使用（）命令可以查看某個(gè)虛擬機(jī)的IP地址。A．servicenetworkrestartB．ipaddrC．servicenetworkstartD．ip（4）yarn-site.xml文件的作用是（）。A．設(shè)置了Hadoop運(yùn)行基本環(huán)境的配置B．設(shè)置了YARN框架運(yùn)行環(huán)境的配置C．設(shè)置了YARN框架的相關(guān)配置D．設(shè)置了MapReduce框架的相關(guān)配置知識(shí)測(cè)試（5）現(xiàn)有一個(gè)節(jié)點(diǎn)，在節(jié)點(diǎn)中有解壓的Hadoop安裝包（未配置），若搭建包含4個(gè)節(jié)點(diǎn)的Hadoop集群，則下列選項(xiàng)中步驟正確的是（）。①克隆虛擬機(jī)②配置SSH免密碼登錄③格式化NameNode④修改配置文件⑤配置時(shí)間同步服務(wù)A．④①②⑤③B．③②①⑤④C．⑤①③②④D．④①③②⑤知識(shí)測(cè)試（6）下列不屬于Spark架構(gòu)中的組件的是（）。A．DriverB．SparkContextC．ClusterManagerD．ResourceManager（7）Spark是Hadoop生態(tài)下（）組件的替代方案。A．HadoopB．YARNC．HDFSD．MapReduce知識(shí)測(cè)試（8）Spark支持的運(yùn)行模式不包括（）。A．Standalone模式B．Mesos模式C．YARN模式D．Local模式（9）在Spark中，如果需要對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行流式計(jì)算，那么使用的子框架是（）。A．SparkMLlibB．SparkSQLC．SparkStreamingD．SparkGraphX知識(shí)測(cè)試（10）關(guān)于SparkRDD，下列說法不正確的是（）。A．Hive支持類SQL語言B．Hive不適用于復(fù)雜的機(jī)器學(xué)習(xí)算法，復(fù)雜的科學(xué)計(jì)算等場(chǎng)景。C．Hive能做到交互式的實(shí)時(shí)查詢D．Hive目前主要應(yīng)用在日志分析、多維度數(shù)據(jù)分析、海量結(jié)構(gòu)化數(shù)據(jù)離線分析等方面技能測(cè)試測(cè)試修改master虛擬機(jī)的IP地址測(cè)試要點(diǎn)掌握CentOS版本的Linux系統(tǒng)網(wǎng)絡(luò)配置方法。掌握IP地址的修改方法。需求說明根據(jù)具體的集群搭建需求及不同的個(gè)人計(jì)算機(jī)，有些時(shí)候需要更改Hadoo