單元9 任務9.3部署與操作Spark on YARN

單元9

Spark計算框架部署任務9.3部署與操作SparkonYARN任務9.3部署與操作SparkonYARN【任務場景】經(jīng)理：小張，你把Spark集群部署到Hadoop集群吧，這樣能夠充分利用計算資源。小張：如果將Spark部署到Hadoop集群的話，我們可以使用SparkonYARN模式，這種模式下，直接在HadoopYARN中啟動Spark任務。經(jīng)理：那就部署SparkonYARN模式吧。小張：好的。任務9.3部署與操作SparkonYARN任務布置：配置SparkonYARN模式，提交Spark任務到YARN中，并從YARN中查看計算任務。知識點1：SparkonYARN運行原理

SparkonYARN是工作中或生產(chǎn)上用的非常多的一種運行模式。其主要優(yōu)勢是可以將Spark、MapReduce、Flink等框架跑在同一個YARN集群中，使用YARN統(tǒng)一管理控制計算資源，多種計算框架可以共享集群資源，按需分配，這樣可以提升整個資源的利用率。

HDFSYARN:資源管理和調度框架MapReduceSparkStormFlink...知識點1：SparkonYARN運行原理

當在YARN上運行Spark作業(yè)，每個Sparkexecutor作為一個YARN容器(container)運行。Spark可以使得多個Tasks在同一個容器(container)里面運行。這是個很大的優(yōu)點。

有兩種部署模式可用于在YARN上啟動Spark應用程序。cluster模式和client模式。

在cluster模式下，Spark驅動程序在集群上由YARN管理的應用程序主進程內運行，客戶端可以在啟動應用程序后離開，Cluster模式主要用于生產(chǎn)環(huán)境中，因為Driver運行在Yarn集群中某一臺nodeManager中，每次提交任務的Driver所在的機器都是隨機的，不會產(chǎn)生某一臺機器網(wǎng)卡流量激增的現(xiàn)象，缺點是任務提交后不能看到日志。只能通過yarn查看日志。在client模式中，driver運行在client進程中，applicationmaster只用于向YARN請求資源。client模式適用于測試場景，因為Driver運行在本地，任務執(zhí)行后可直接看到執(zhí)行結果，但是此模式下Driver會與yarn集群中的Executor進行大量的通信，會造成客戶機網(wǎng)卡流量的大量增加。知識點1：SparkonYARN運行原理Yarn-cluster模式提交任務流程如下：1.客戶機提交Application應用程序，發(fā)送請求到RS(ResourceManager),請求啟動AM(ApplicationMaster)。2.RS收到請求后隨機在一臺NM(NodeManager)上啟動AM（相當于Driver端）。3.AM啟動，AM發(fā)送請求到RS，請求一批container用于啟動Executor。4.RS返回一批NM節(jié)點給AM。5.AM連接到NM,發(fā)送請求到NM啟動Executor。6.Executor反向注冊到AM所在的節(jié)點的Driver。Driver發(fā)送task到Executor。知識點1：SparkonYARN運行原理Yarn-client模式提交任務流程：1.客戶端提交一個Application，在客戶端啟動一個Driver進程。2.Driver進程會向RS(ResourceManager)發(fā)送請求，啟動AM(ApplicationMaster)。3.RS收到請求，隨機選擇一臺NM(NodeManager)啟動AM。這里的NM相當于Standalone中的Worker節(jié)點。4.AM啟動后，會向RS請求一批container資源，用于啟動Executor。5.RS會找到一批NM返回給AM,用于啟動Executor。AM會向NM發(fā)送命令啟動Executor。6.Executor啟動后，會反向注冊給Driver，Driver發(fā)送task到Executor,執(zhí)行情況和結果返回給Driver端。知識點1：SparkonYARN運行原理

在YARN上啟動Spark，需配置HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群配置文件的目錄。這些配置用于寫入HDFS并連接到YARNResourceManager。此目錄中包含的配置將分發(fā)到YARN集群，以便應用程序使用的所有容器都使用相同的配置。

與Spark支持的其他集群管理器在--master

參數(shù)中指定master的地址不同，在YARN模式下，ResourceManager的地址是從Hadoop配置中獲取的。因此，--master參數(shù)為yarn。或直接修改配置文件spark-defaults.conf中的“spark.master”，將模式配置配置為yarn。SparkonYARN部署流程1.檢查依賴的Hadoop環(huán)境我們需要將Spark部署在HadoopMaster節(jié)點上用來提交任務，首先檢查已部署Hadoop環(huán)境并統(tǒng)計集群信息。節(jié)點類型節(jié)點名稱IP地址組件Mastermaster01192.168.137.214NameNodeSecondaryNameNodeResourceManagerSpark客戶端Workerworker01192.168.137.215DataNodeNodeManagerWorkerworker02192.168.137.216DataNodeNodeManagerSparkonYARN部署流程2.在Hadoop集群的Master節(jié)點上部署Spark。（1）下載并解壓Spark安裝包下載spark-3.2.0-bin-hadoop3.2.tgz文件，解壓并放到/opt/目錄下。[root@master01~]#tar-zxvfspark-3.2.0-bin-hadoop3.2.tgz[root@master01~]#mvspark-3.2.0-bin-hadoop3.2/opt/spark（2）準備spark-shell運行所需要的jar包[root@master01~]#hdfsdfs-mkdir/spark_jars[root@master01~]#hdfsdfs-put/opt/spark/jars/*/spark_jars修改spark-env.sh配置文件[root@localhost~]#vim/opt/spark/conf/spark-env.shspark.yarn.jars=hdfs://master01:9000/spark_jars/*SparkonYARN部署流程（3）配置yarn以運行Spark任務在/opt/hadoop/etc/hadoop/yarn-site.xml添加如下配置

<property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>（4）將修改的Hadoop部署配置文件同步到其他節(jié)點[root@master01~]#yuminstall-yrsync[root@master01~]#rsync-a/opt/hadoopworker01:/opt/[root@master01~]#rsync-a/opt/hadoopworker02:/opt/SparkonYARN部署流程（5）配置系統(tǒng)環(huán)境變量在master節(jié)點上修改profile文件[root@master01~]#vim/etc/profileSPARK_HOME=/opt/sparkSPARK_CONF_DIR=$SPARK_HOME/confexportPATH=$PATH:$SPARK_HOME/binexportHADOOP_CONF_DIR=/opt/hadoop/etc/hadoopexportYARN_CONF_DIR=/opt/hadoop/etc/hadoop[root@master01~]#source/etc/profile（6）安裝pyspark[root@master01~]#yuminstall-ypython3[root@master01~]#pipinstallpysparkSparkonYARN部署流程3.驗證SparkonYARN提交spark-submit任務，查看任務執(zhí)行情況[root@master01~]#spark-submit--classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modecluster--driver-memory4g--executor-memory2g--executor-cores2--queuedefaultexamples/jars/spark-examples*.jar10查看YARN的WebUI，確認sp